View/Open

Author
Dimas Trio, Roysaputra

Advisor
Ahmad, Suaif, S.Si., M.Si.
Septia Eka Marsha, Putra, S.Si., M.Eng., Ph.D

Koleksi
Teknik Fisika

Publisher

Bahasa Isyarat Indonesia (BISINDO) merupakan salah satu bahasa isyarat yang dipakai oleh teman tuli (tunarungu) di Indonesia untuk berinteraksi. Pada umumnya teman dengar (masayarakat normal) di Indonesia tidak bisa menggunakan bahasa isyarat seperti BISINDO untuk memahami dan memberikan respon ketika berinteraksi dengan teman tuli, tak sedikit juga masyarakat disabilitas atau teman tuli yang tidak bisa membaca maupun menulis untuk dapat berkomunikasi dengan teman dengar. Penelitian ini bertujuan untuk menganalisis kemampuan model Deep Learning untuk mengklasifikasikan gestur kosa kata yang ada pada BISINDO. Kemudian mengaplikasikan model tersebut pada perangkat smartphone yang dapat menjembatani keterbatasan komunikasi antara teman tuli dan teman dengar. Data yang digunakan dalam penelitian ini bersumber dari 21 gestur kosa kata pada konteks percakapan jual-beli. Metode Long Short-Term Memory (LSTM) digunakan sebagai arsitektur model Deep Learning ini. LSTM adalah metode yang dapat digunakan untuk mempelajari suatu pola pada data deret waktu, yang cocok untuk penelitian ini. Hasil penelitian menunjukkan bahwa, model LSTM yang sudah dilakukan Hyperparameter Tuning dapat mendeteksi gestur isyarat BISINDO dengan baik dibuktikan dengan analisis metrik evaluasi, seperti mendapatkan akurasi sebesar 98.9 %, dan loss minim sebesar 0.07 pada kurva learning, nilai ROC AUC sebesar 99.5%, dan rata – rata presisi 99% pada classification metrics. Setelah model dilakukan deployment ke perangkat android dan diuji secara realtime, didapatkan akurasi sebesar 94.76% pada pengujian 21 kosa kata dan 81.75% pada pengujian 8 kelas kalimat yang berbeda.

URI
https://repo.itera.ac.id/depan/submission/SB2309250004

Keyword