View/Open

Author
TAWAKKAL, RABBANI MUHAMMAD

Date Published
04 Aug 2026

Advisor
Martin Clinton Tosima Manullang, S.T., M.T., Ph.D.,

Subject
Teknik Informatika

Publisher

Sinyal Electroencephalography (EEG) mampu merekam aktivitas listrik otak secara langsung sehingga menjadi sumber pengenalan emosi yang lebih objektif dibanding ekspresi wajah atau suara yang dapat dikontrol secara sadar. Namun, sinyal EEG bersifat kompleks dengan amplitudo kecil, rentan terhadap noise, berdimensi tinggi, dan memiliki variabilitas pola antar individu. Penelitian ini bertujuan untuk memvalidasi kemampuan representasi Short-Time Fourier Transform (STFT) dalam mempertahankan karakteristik temporal dan spektral sinyal EEG, serta mengukur kinerja arsitektur ResNet-18 pada dua mode pelatihan, pretrained dari ImageNet dan from scratch dalam mengklasifikasikan emosi positif, netral, dan negatif. Data bersumber dari dataset publik SEED yang berisi rekaman EEG 62 kanal dari 15 partisipan (200 Hz). Sinyal disegmentasi menjadi jendela 5 detik, ditransformasi STFT, lalu dipetakan ke citra RGB 224×224 piksel berdasarkan pita frekuensi Theta, Alpha, dan Beta+Low Gamma. Evaluasi menggunakan skema subject-dependent three-way split dengan tiga random seed. Hasil menunjukkan model pretrained mencapai akurasi rata-rata 62,06% (F1-Score 0,6069) dan model from scratch mencapai 62,33% (F1-Score 0,6102), dengan selisih hanya 0,27 poin persentase. Emosi Positif paling mudah dikenali (recall 80,99%), sedangkan Negatif dan Netral cenderung saling tertukar. Variabilitas performa antar subjek berkisar 42,59%–80,00%, namun konsisten antar seed (standar deviasi 1,87%), menunjukkan perbedaan berasal dari karakteristik sinyal individu. Dapat disimpulkan bahwa representasi STFT memadai untuk klasifikasi emosi berbasis EEG, sementara transfer learning dari ImageNet tidak memberikan keuntungan signifikan pada domain spektrogram EEG.

URI
https://repo.itera.ac.id/depan/submission/SB2608040008

Keyword
EEG Klasifikasi Emosi STFT ResNet-18 Transfer Learning