Analisis Komparatif Pendekatan Spasial dan Spasiotemporal untuk Klasifikasi Video Deepfake Menggunakan Vision Transformer dan VideoMAE
Perkembangan kecerdasan buatan generatif telah meningkatkan kemampuan pembuatan video deepfake yang semakin realistis, sehingga menimbulkan tantangan dalam keamanan informasi dan kepercayaan digital. Deteksi deepfake pada data video dunia nyata menjadi semakin sulit karena adanya variasi kualitas visual, pose, pencahayaan, resolusi, dan karakteristik temporal. Penelitian ini menganalisis kontribusi pendekatan spasiotemporal berbasis VideoMAE dibandingkan pendekatan spasial berbasis Vision Transformer (ViT) dalam klasifikasi video deepfake. Selain itu, penelitian ini menganalisis sensitivitas kedua pendekatan terhadap perubahan konfigurasi pelatihan dan karakteristik input, serta mengevaluasi konsistensi efektivitasnya pada skenario lintas-dataset. Dataset utama yang digunakan adalah WildDeepfake, sedangkan Celeb-DF v2 digunakan sebagai dataset eksternal untuk evaluasi zero-shot. Tahapan penelitian meliputi preprocessing data, pembentukan klip 46 frame, strided temporal sampling, pelatihan model, pengujian konfigurasi, dan evaluasi menggunakan accuracy, precision, recall, F1-score, AUC-ROC, dan confusion matrix. Pada eksperimen baseline di WildDeepfake, model spasiotemporal memperoleh accuracy sebesar 85,8%, F1-score sebesar 84,5%, dan AUC sebesar 92,3%, sedangkan model spasial memperoleh accuracy sebesar 79,2%, F1-score sebesar 76,7%, dan AUC sebesar 86,8%. Hasil tersebut menunjukkan bahwa informasi antar-frame memberikan kontribusi positif pada evaluasi internal. Namun, pada evaluasi lintas-dataset terhadap Celeb-DF v2, model spasial memperoleh accuracy sebesar 72,9
URI
https://repo.itera.ac.id/depan/submission/SB2606210055
Keyword
ViT VideoMAE spatiotemporal WildDeepfake spasiotemporal