View/Open

Author

Date Published
27 Apr 2026

Advisor

Subject
Teknik Informatika

Publisher

Perkembangan media sosial telah mendorong munculnya berbagai bentuk konten digital, termasuk meme yang menggabungkan elemen visual dan teks. Di antara berbagai jenis meme, terdapat meme yang mengandungindikasi self-harm dan berpotensi memberikan dampak negatif terhadap pengguna. Tantangan utama dalam mengidentifikasi meme self-harm terletak pada sifatnya yang implisit, karena makna sering kali muncul dari interaksi antara gambar dan teks, bukan dari satu modalitas saja. Penelitian ini bertujuan mengembangkan model klasifikasi biner berbasis multimodal untuk mendeteksi meme self-harm dengan mengintegrasikan Contrastive Language-Image Pre-training (CLIP) sebagai image encoder dan Efficiently Learning an Encoder that Classifies Token Replacements Accurately (ELECTRA)sebagai text encoder melalui skema intermediate fusion. Data penelitian berasal dari gabungan data primer dan sekunder, yang kemudian dianotasi menggunakan pendekatan ensemble pseudo labeling berbasis model multimodal. Proses penelitian meliputi pre-processing, pengembangan model unimodal dan multimodal, serta evaluasi menggunakan metrik berbasis confusion matrix. Hasil penelitian menunjukkan bahwa model multimodal memperoleh F1-score sebesar 96,1%, lebih tinggi dibandingkan model unimodal gambar sebesar 91,5

URI
https://repo.itera.ac.id/depan/submission/SB2604300031

Keyword
self-harm meme multimodal CLIP ELECTRA