Penerapan dan Evaluasi Model Bidirectional and Auto-Regressive Transformer (BART) dalam Peringkasan Teks Abstraktif Artikel Ilmiah
Penelitian ini bertujuan mengevaluasi performa model Bidirectional and Auto-Regressive Transformer (BART) dalam menghasilkan ringkasan abstraktif untuk artikel ilmiah bertema "data science". Sebelum pelatihan model, dilakukan analisis distribusi kata pada data mentah hasil scraping dari arXiv dan data yang telah melalui tahap preprocessing, termasuk frekuensi kata, visualisasi Word Cloud, dan distribusi panjang kalimat. Hasil analisis menunjukkan bahwa preprocessing berperan penting dalam meningkatkan representasi data. Data kemudian dibagi menjadi data latih dan uji (80:20), dan model dilatih menggunakan kombinasi hyperparameter tertentu. Evaluasi dilakukan secara kuantitatif menggunakan metrik ROUGE dan secara kualitatif melalui interpretasi ringkasan. Konfigurasi terbaik mencapai ROUGE-1 sebesar 0.60, ROUGE-2 sebesar 0.52, dan ROUGE-L sebesar 0.56. Saat diuji pada artikel baru, diperoleh ROUGE-1 sebesar 0.48, ROUGE-2 sebesar 0.36, dan ROUGE-L sebesar 0.43. Hasil ringkasan menunjukkan kemampuan model dalam menangkap inti pembahasan artikel, meskipun beberapa detail teknis belum tergambarkan. Penelitian ini menunjukkan potensi BART untuk diterapkan lebih lanjut dalam otomatisasi peringkasan teks ilmiah.
URI
https://repo.itera.ac.id/depan/submission/SB2509030031
Keyword
Ringkasan Abstraktif, BART, ROUGE Score