View/Open

Author
GABRIELLA, NATALYA RUMAPEA

Date Published
24 Aug 2026

Advisor
Andre Febrianto, S.Kom., M.Eng,

Subject
Teknik Informatika

Publisher

Pengisian Data Induk Mahasiswa (DIM) pada proses Penerimaan Mahasiswa Baru (PMB) ITERA memerlukan informasi yang jelas dan konsisten. Penelitian ini mengimplementasikan chatbot berbasis Retrieval Augmented Generation (RAG) menggunakan Dify sebagai asisten pengisian DIM PMB ITERA. Dataset evaluasi disusun dari catatan pengujian ulang tanggal 26 Juli 2026 yang telah dibersihkan. Dari 165 interaksi diperoleh 159 kandidat unik dan 156 kandidat yang memenuhi syarat, kemudian dipilih 100 kueri menggunakan metode stratified sampling. Evaluasi retrieval dilakukan secara terpisah melalui Dify Dataset API, kemudian pihak PMB ITERA memberikan penilaian relevansi terhadap hasil pencarian. Pada 92 kueri diperoleh Precision@3 sebesar 0,6812, Recall@3 pada hasil yang dinilai sebesar 0,9348, F1@3 sebesar 0,7587, MRR@3 sebesar 0,9076, dan nDCG@3 pada hasil yang dinilai sebesar 0,8891. Evaluasi RAGAS dilakukan pada 91 sampel yang memenuhi kelengkapan data dan menghasilkan Answer Relevancy sebesar 0,4015, Faithfulness sebesar 0,5308, Context Precision sebesar 0,8132, dan Context Recall sebesar 0,8409. Sebanyak 85 kueri digunakan pada kedua evaluasi. Hasil penelitian menunjukkan bahwa chatbot mampu memperoleh performa retrieval yang baik, sedangkan kualitas generation masih memerlukan peningkatan. Hasil evaluasi diinterpretasikan sesuai dengan ruang lingkup data yang diuji.

URI
https://repo.itera.ac.id/depan/submission/SB2608210027

Keyword
Chatbot Retrieval Augmented Generation DIM PMB ITERA RAGAS