SKRIPSI DIGITAL
Optimalisasi Akurasi Jawaban pada Sistem Tanya Jawab melalui Fine-Tuning Model Transformer dan Integrasi Retrieval-Augmented Generation (RAG) = Optimizing Answer Accuracy in Question-Answering Systems through Transformer Model Fine-Tuning and Retrieval-Augmented Generation (RAG) Integration
Akses terhadap dokumentasi teknis yang efisien menjadi tantangan signifikan dalam industri telekomunikasi. Penelitian ini mengembangkan sebuah sistem tanya jawab domain spesifik yang mengombinasikan metode Retrieval-Augmented Generation (RAG) dengan model Transformer yang telah di-fine-tuning untuk menjawab kueri teknis di bidang telekomunikasi. Sebuah kerangka kerja retrieval hibrida dikembangkan dengan mengintegrasikan pencarian leksikal BM25, retrieval semantik Sentence-BERT. Lima model Transformer (BERT, DistilBERT, RoBERTa, ALBERT, dan ELECTRA) di-fine-tuning menggunakan dataset berformat SquAD yang dibuat khusus dari dokumentasi BTS Indosat Ooredoo Hutchison wilayah Jawa Tengah. Sistem retrieval dievaluasi menggunakan metrik MAP, MRR, dan nDCG terhadap 4.800 sampel ground truth berformat TREC, sedangkan model reader dievaluasi menggunakan skor Exact Match (EM) dan F1. Hasil penelitian menunjukkan bahwa pendekatan retrieval hibrida mencapai kinerja superior (MAP: 0,69; MRR: 0,71; nDCG: 0,71) dibandingkan dengan metode individual. Di antara model Transformer, RoBERTa mencapai kinerja tertinggi dengan skor F1 sebesar 97.80% dan EM sebesar 97.80%. Sistem ini berhasil diimplementasikan sebagai prototipe menggunakan Streamlit dengan antarmuka percakapan, yang menunjukkan aplikabilitas praktisnya untuk dukungan teknis pada lingkungan perusahaan telekomunikasi. Penelitian ini berkontribusi dalam pengembangan sistem tanya jawab domain spesifik dan menyediakan sebuah kerangka kerja yang skalabel untuk akses dokumentasi teknis di industri telekomunikasi.
Tidak tersedia versi lain