Utilization of Chatbots for Sentiment Prediction of Alumni Data Using IndoRoBERTa Classifier:  Pemanfaatan Chatbot dalam Prediksi Sentimen Data Alumni Menggunakan IndoRoBERTa Classifier

Nova Noor Kamala Sari; Tomas Leonardo; Efrans Christian; Viktor Handrianus Pranatawijaya; Widiatry Widiatry

doi:10.32938/jitu.v5i2.9174

Authors

Nova Noor Kamala Sari Universitas Palangka Raya
Tomas Leonardo Universitas Palangka Raya
Efrans Christian Universitas Palangka Raya
Viktor Handrianus Pranatawijaya Universitas Palangka Raya
Widiatry Widiatry Universitas Palangka Raya

DOI:

https://doi.org/10.32938/jitu.v5i2.9174

Keywords:

Chatbot, Analisis Sentimen, Alumni, IndoRoBERTa, Natural Language Processing (NLP)

Abstract

Dalam era digital, analisis sentimen menjadi alat penting bagi institusi pendidikan untuk memahami opini alumni. Data yang tidak terstruktur dari survei dan media sosial memerlukan pendekatan berbasis kecerdasan buatan (AI) agar analisis lebih efisien. Namun, model Natural Language Processing (NLP) yang tersedia belum sepenuhnya dioptimalkan untuk Bahasa Indonesia, sehingga akurasi klasifikasi sentimen masih terbatas. Penelitian ini mengembangkan chatbot berbasis IndoRoBERTa Classifier untuk memprediksi sentimen alumni secara otomatis dalam tiga kategori: positif, negatif, dan netral. Hasil evaluasi menunjukkan bahwa model ini lebih akurat dibandingkan metode machine learning konvensional. Selain itu, chatbot yang dikembangkan dapat mempercepat analisis dengan memberikan respons real-time terhadap pengguna. Implementasi chatbot ini membantu institusi pendidikan dalam memahami kepuasan alumni dan meningkatkan layanan akademik. Penelitian ini merekomendasikan eksplorasi lebih lanjut terhadap model NLP deep learning serta integrasi chatbot dengan sistem pengelolaan umpan balik untuk mendukung pengambilan keputusan akademik yang lebih efektif.

References

[1] S. A. Mahira, I. Sukoco, C. S. Barkah, N. Jamil, A. Novel, and J. A. Bisnis, “Teknologi Artificial Intelligence Dalam Analisis Sentimen: Studi Literatur Pada Perusahaan KATA.AI,” Jurnal Pemikiran Dan Penelitian Bidang Administrasi, Sosial, Humaniora Dan Kebijakan Publik, vol. 6, no. 2, pp. 139–148, Aug. 2023.

[2] R. Cahya Hutama and R. Titi Komalasari, “Aplikasi Chatbot Berbasis Teks Menggunakan Algoritma Naive Bayes Classifier Faq Grabads,” STRING (Satuan Tulisan Riset dan Inovasi Teknologi), p. 90, Aug. 2021.

[3] A. Souha, C. Ouaddi, L. Benaddi, and A. Jakimi, “Pre-Trained Models for Intent Classification in Chatbot: Comparative Study and Critical Analysis,” International Conference on Advanced Communication Technologies and Networking (CommNet) : CommNet : proceedings : hybrid conference, Dec. 2023.

[4] F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” Proceedings ofthe 28th International Conference on Computational Linguistics, pp. 757–770, Dec. 2020, [Online]. Available: https://huggingface.co/

[5] Naman, S. Kumar, and S. Dahiya, “Comparative Study Of Machine Learning Models And Deep Learning Models On E-Commerce Review Sentiment Analysis,” International Research Journal of Modernization in Engineering Technology and Science, pp. 4411–4415, May 2024, doi: 10.56726/IRJMETS56626.

[6] A. Juipa, L. Guzman, and E. Diaz, “Sentiment Analysis-Based Chatbot System to Enhance Customer Satisfaction in Technical Support Complaints Service for Telecommunications Companies,” in ICSBT International Conference on Smart Business Technologies, Science and Technology Publications, Lda, 2024, pp. 28–36. doi: 10.5220/0012807200003764.

[7] D. Tiyasya Putra and E. Budi Setiawan, “Sentiment Analysis on Social Media with Glove Using Combination CNN and RoBERTa,” vol. 10, no. 3, pp. 457–563, 2023, doi: 10.29207/resti.v7iX3.4892.

[8] A. Dwiyono, M. Fachrurrozi, J. Palembang-Prabumulih, K. Ogan Ilir, and S. Selatan, “Analisis Perbandingan Klasifikasi Intent Chatbot Menggunakan Deep Learning BERT, RoBERTa, dan IndoBERT,” Journal of Information System Research, vol. 6, no. 1, pp. 605–616, 2024, doi: 10.47065/josh.v6i1.6051.

[9] N. A. R. Putri and Ardiansyah, “Analisis Sentimen Terhadap Kemajuan Kecerdasan Buatan di Indonesia Menggunakan BERT dan RoBERTa,” Jurnal Sains dan Informatika, vol. 9, no. 2, pp. 136–145, Nov. 2023, doi: 10.34128/jsi.v9i2.649.

[10] N. Rohim and E. Zuliarso, “Penerapan Algoritma Deep Learning Untuk Pengembangan Chatbot Yang Digunakan Untuk Konsultasi Dan Pengenalan Tentang Virus Covid-19,” Jurnal Ilmiah Elektronika Dan KOMPUTER, vol. 15, pp. 267–278, Dec. 2022.

[11] C. M. Putri, M. Afdal, R. Novita, and M. Mustakim, “Perbandingan Evaluasi Kernel Support Vector Machine dalam Analisis Sentimen Chatbot AI pada Ulasan Google Play Store,” Jurnal Teknologi Sistem Informasi dan Aplikasi, vol. 7, no. 3, pp. 1236–1245, Jul. 2024, doi: 10.32493/jtsi.v7i3.41354.

[12] B. Hakim, “Analisa Sentimen Data Text Preprocessing Pada Data Mining Dengan Menggunakan Machine Learning,” JBASE - Journal of Business and Audit Information Systems, vol. 4, no. 2, Aug. 2021, doi: 10.30813/jbase.v4i2.3000.

[13] A. Faadilah, “Analisis Sentimen Pada Ulasan Aplikasi Tokopedia Di Google Play Store Menggunakan Metode Long Short Term Memory,” Universitas Islam Negeri Syarif HIdayatullah Jakarta, 2020.

[14] A. Agung, A. Daniswara, I. Kadek, and D. Nuryana, “Data Preprocessing Pola Pada Penilaian Mahasiswa Program Profesi Guru,” Journal of Informatics and Computer Science, vol. 05, 2023.

[15] D. A. Salsabila, “Analisis Dan Perbandingan Stopword Terhadap Akurasi Analisis Sentimen Teks Dengan Menggunakan Tf-Idf Studi Kasus Nlp,” Universitas Muhammadiyah Makassar, 2024.

[16] V. H. Pranatawijaya, N. N. K. Sari, R. A. Rahman, E. Christian, and S. Geges, “Unveiling User Sentiment: Aspect-Based Analysis and Topic Modeling of Ride-Hailing and Google Play App Reviews,” Journal of Information Systems Engineering and Business Intelligence, vol. 10, no. 3, pp. 328–339, Oct. 2024, doi: 10.20473/jisebi.10.3.328-339.

[17] R. Khusuma, W. Maharani, and P. H. Gani, “Personality Detection On Twitter User With RoBERTa,” JURNAL MEDIA INFORMATIKA BUDIDARMA, vol. 7, no. 1, p. 542, Feb. 2023, doi: 10.30865/mib.v7i1.5598.