View/Open

Author
Lucky Immanuel, Sitanggang

Date Published
20 Jun 2026

Advisor
I Wayan Wiprayoga Wisesa, S.Kom., M.Kom.,

Subject
Teknik Informatika

Publisher

Bahasa Isyarat Indonesia (SIBI) merupakan sistem komunikasi utama bagi komunitas Tuli di Indonesia, namun keterbatasan sistem pengenalan otomatis berbasis video masih menjadi hambatan signifikan dalam aksesibilitas komunikasi. Penelitian ini menganalisis kinerja model Video Masked Autoencoder (VideoMAE) dalam mengklasifikasikan gerakan visual sepuluh kata dasar SIBI menggunakan dataset yang dikumpulkan langsung di Sekolah Luar Biasa Negeri (SLBN) PKK Provinsi Lampung yang terdiri dari 924 klip video. Evaluasi dilakukan menggunakan skema Stratified 5-Fold Cross Validation. Sebanyak 12 konfigurasi eksperimen VideoMAE dirancang secara sistematis untuk menginvestigasi pengaruh pilihan backbone (ViT-Small, ViT-Base), dataset pre-train (Kinetics-400, SSV2), strategi pelatihan (two-stage fine-tune vs. scratch), strategi sampling frame (uniform vs. dense), jumlah epoch, dan augmentasi (mixup, CutMix, reprob). Sebagai pembanding, model ViViT-B/16x2 dan I3D turut dievaluasi. Hasil menunjukkan bahwa bobot pra-latih merupakan prasyarat mutlak: model yang dilatih dari bobot acak hanya mencapai akurasi 11–12 persen, sedangkan konfigurasi two-stage pre-train dengan bobot SSV2 meningkatkan akurasi menjadi 63,85 persen. Pada perbandingan strategi sampling yang terkontrol, uniform sampling mengungguli dense sampling (63,85 persen vs. 56,07 persen), tetapi temuan paling signifikan adalah bahwa augmentasi mixup, CutMix, dan reprob terbukti kontraproduktif pada dataset isyarat berskala kecil karena merusak konteks spasio-temporal gerakan, sehingga penonaktifannya meningkatkan akurasi menjadi 93,94 persen. Konfigurasi terbaik secara keseluruhan adalah VideoMAE ViT-Base dengan bobot Kinetics-400 dan dense sampling tanpa augmentasi (E12) yang mencapai akurasi rata-rata 97,18 persen, menunjukkan bahwa efektivitas strategi sampling bergantung pada interaksinya dengan konfigurasi model, dan sedikit melampaui I3D (96,86 persen) dan ViViT (94,81 persen).

URI
https://repo.itera.ac.id/depan/submission/SB2606200052

Keyword
VideoMAE Bahasa Isyarat SIBI Klasifikasi Video Vision Transformer Fine-tuning