(0721) 8030188    [email protected]   

All of ITERA Repository
Titles

Implementasi Sistem Gaze Tracking Berbasis Convolutional Neural Network pada Game Interaktif untuk Latihan Fokus Anak dengan Gangguan Spektrum Autisme


Gangguan Spektrum Autisme (GSA) ditandai dengan defisit Joint Attention yang berkaitan dengan kesulitan mempertahankan fokus visual, sehingga diperlukan pemantauan fokus anak secara real-time. Penelitian ini mengimplementasikan sistem gaze tracking berbasis Convolutional Neural Network (CNN) yang diintegrasikan ke dalam game interaktif sebagai media latihan fokus anak dengan GSA. Gaze tracking berperan sebagai sistem pemantauan arah pandangan secara real-time, bukan sebagai kontrol dalam permainan. Sistem dikembangkan dengan memodifikasi arsitektur iTracker menggunakan MobileNetV2 yang dilatih pada subset dataset GazeCapture sebagai pre-trained model, kemudian di-fine-tune menggunakan self-collected dataset penerapan nine-point calibration. Hasil fine-tuning menurunkan Mean Euclidean Distance Error dari 11,33 cm menjadi 9,55 cm (15,71%), namun evaluasi menunjukkan korelasi prediksi terhadap ground truth masih lemah (R² = -0,0179 pada sumbu X dan R² = - 0,5637 pada sumbu Y), sehingga diterapkan kalibrasi individu sebelum sesi permainan untuk menyesuaikan terhadap karakteristik pengguna. Setelah kalibrasi individu diterapkan, sistem memperoleh Accuracy sistem sebesar 91% pada evaluasi integrasi dan dapat berjalan real-time dengan rata-rata 11,40 FPS dan latency 42,16 ms. Hasil ini menunjukkan bahwa kombinasi fine-tuning dan kalibrasi individu efektif meningkatkan akurasi sistem gaze tracking berbasis CNN dalam mendukung latihan fokus anak dengan GSA secara real-time.

URI
https://repo.itera.ac.id/depan/submission/SB2609100029

Keyword
Convolutional Neural Network Gangguan Spektrum Autisme Gaze Tracking Latihan Fokus