MODEL FUSION AUDIO SPECTROGRAM TRANSFORMER DANCNN UNTUK KLASIFIKASI SUBGENRE EDM BERBASIS MEL-SPECTROGRAM DAN TEMPOGRAM
Electronic Dance Music (EDM) berkembang pesat menjadi puluhan sub-genre
yang sangat spesifik dengan batas antar kelas yang kabur (fuzzy) akibat
kemiripan tempo dan struktur ritme. Klasifikasi sub-genre EDM secara
granular menjadi tantangan tersendiri karena pendekatan berbasis fitur tunggal,
seperti Mel-Spectrogram saja, belum mampu menangkap karakteristik spektral
sekaligus ritmis secara bersamaan. Penelitian ini mengusulkan model fusion
dual-stream yang menggabungkan Audio Spectrogram Transformer (AST)
berbasis representasi Mel-Spectrogram dan Convolutional Neural Network
(CNN) berbasis arsitektur ResNet-18 dengan representasi Fourier Tempogram,
untuk mengklasifikasikan 30 sub-genre EDM. Empat strategi late fusion
dievaluasi, yaitu Average, Weighted Average, Random Forest, dan Stacking
dengan Logistic Regression sebagai meta-learner. Data penelitian berupa 15.090
trek audio dari 30 sub-genre EDM yang diperoleh dari platform Beatport,
diproses menggunakan skema subject-wise 5-fold cross validation. Model AST
dioptimasi melalui strategi gradual unfreezing, sedangkan model ResNet-18
dioptimasi menggunakan Bayesian Optimization dengan Tree-structured Parzen
Estimator (TPE). Hasil penelitian menunjukkan model unimodal AST berbasis
Mel-Spectrogrammencapaiakurasi57,15%, sedangkanmodelunimodalResNet
18 berbasis Tempogram mencapai 40,63%. Model fusion terbaik menggunakan
metode Stacking berhasil meningkatkan akurasi hingga 71,74% pada tingkat
lagu (track-level) melalui mekanisme confidence-weighted averaging, atau
meningkat 14,59 poin persentase dibandingkan model unimodal AST. Hasil ini
membuktikan bahwa representasi spektral dan ritmis bersifat saling melengkapi
dalam membedakan sub-genre EDM, dan pendekatan meta-learner seperti
Stacking lebih efektif memanfaatkan hubungan nonlinier antar modalitas
dibandingkan metode agregasi statis.
URI
https://repo.itera.ac.id/depan/submission/SB2608070013
Keyword
Audio Spectrogram Transformer Convolutional Neural Network klasifikasi sub-genre Mel-Spectrogram Tempogram