(0721) 8030188    [email protected]   

All of ITERA Repository
Titles

MODEL FUSION AUDIO SPECTROGRAM TRANSFORMER DANCNN UNTUK KLASIFIKASI SUBGENRE EDM BERBASIS MEL-SPECTROGRAM DAN TEMPOGRAM


View/Open

Author
ZIDAN, RAIHAN

Date Published
10 Aug 2026

Advisor
I Wayan Wiprayoga Wisesa, S.Kom., M.Kom.,

Subject
Teknik Informatika

Publisher


Electronic Dance Music (EDM) berkembang pesat menjadi puluhan sub-genre yang sangat spesifik dengan batas antar kelas yang kabur (fuzzy) akibat kemiripan tempo dan struktur ritme. Klasifikasi sub-genre EDM secara granular menjadi tantangan tersendiri karena pendekatan berbasis fitur tunggal, seperti Mel-Spectrogram saja, belum mampu menangkap karakteristik spektral sekaligus ritmis secara bersamaan. Penelitian ini mengusulkan model fusion dual-stream yang menggabungkan Audio Spectrogram Transformer (AST) berbasis representasi Mel-Spectrogram dan Convolutional Neural Network (CNN) berbasis arsitektur ResNet-18 dengan representasi Fourier Tempogram, untuk mengklasifikasikan 30 sub-genre EDM. Empat strategi late fusion dievaluasi, yaitu Average, Weighted Average, Random Forest, dan Stacking dengan Logistic Regression sebagai meta-learner. Data penelitian berupa 15.090 trek audio dari 30 sub-genre EDM yang diperoleh dari platform Beatport, diproses menggunakan skema subject-wise 5-fold cross validation. Model AST dioptimasi melalui strategi gradual unfreezing, sedangkan model ResNet-18 dioptimasi menggunakan Bayesian Optimization dengan Tree-structured Parzen Estimator (TPE). Hasil penelitian menunjukkan model unimodal AST berbasis Mel-Spectrogrammencapaiakurasi57,15%, sedangkanmodelunimodalResNet 18 berbasis Tempogram mencapai 40,63%. Model fusion terbaik menggunakan metode Stacking berhasil meningkatkan akurasi hingga 71,74% pada tingkat lagu (track-level) melalui mekanisme confidence-weighted averaging, atau meningkat 14,59 poin persentase dibandingkan model unimodal AST. Hasil ini membuktikan bahwa representasi spektral dan ritmis bersifat saling melengkapi dalam membedakan sub-genre EDM, dan pendekatan meta-learner seperti Stacking lebih efektif memanfaatkan hubungan nonlinier antar modalitas dibandingkan metode agregasi statis.

URI
https://repo.itera.ac.id/depan/submission/SB2608070013

Keyword
Audio Spectrogram Transformer Convolutional Neural Network klasifikasi sub-genre Mel-Spectrogram Tempogram