(0721) 8030188    [email protected]   

All of ITERA Repository
Titles

Implementasi Fine-Tuning OpenAI Whisper Base untuk Automatic Speech Recognition Bahasa Minangkabau


View/Open

Author
FATHAN, ANDI KARTAGAMA

Date Published
30 Apr 2026

Advisor
Martin Clinton Tosima Manullang, S.T., M.T., Ph.D.,

Subject
Teknik Informatika

Publisher


Teknologi pengenalan wicara atau Automatic Speech Recognition (ASR) saat ini mayoritas terpusat pada bahasa dengan sumber daya besar (high-resource), sementara bahasa daerah seperti Minangkabau yang berstatus extremely low-resource (1,3 jam data latih) belum terfasilitasi dengan baik. Hal ini mengakibatkan rendahnya akurasi sistem ASR generik akibat kompleksitas ragam dialek lokal. Penelitian ini bertujuan untuk meningkatkan akurasi sistem ASR bahasa Minangkabau melalui implementasi fine-tuning pada model pre-trained OpenAI Whisper Base. Metodologi difokuskan pada teknik Parameter-Efficient Fine-Tuning (PEFT) menggunakan Low-Rank Adaptation (LoRA) untuk meminimalisasi beban komputasi, serta dibandingkan dengan strategi Freeze Encoder. Selain itu, fungsi Weighted Cross-Entropy (WCE) dengan pemisahan temporal diperkenalkan untuk menangani ketidakseimbangan sebaran fonem tanpa membocorkan data validasi. Performa model dievaluasi menggunakan skema 5-Fold Cross-Validation dengan metrik Word Error Rate (WER) dan Character Error Rate (CER). Hasil pengujian mengonfirmasi bahwa LoRA secara konsisten mengungguli Freeze Encoder, mencapai rata-rata WER 15,67

URI
https://repo.itera.ac.id/depan/submission/SB2604300025

Keyword
Whisper OpenAI Minangkabau Fine-Tuning LoRA Speech Recognition Bahasa Artificial Intelligence