Chatbot AI Berbasis NLP: Studi Kasus Perpustakaan dan Lembar Kerja
Pelajari NLP, TF-IDF, dan Naive Bayes melalui proyek chatbot perpustakaan dengan Python. Dilengkapi dataset, kode, LK asli, skenario pengujian, dan diskusi perbaikan chatbot.

Pernahkah Anda bertanya mengapa chatbot dapat menjawab pertanyaan meskipun kalimat pengguna berbeda-beda? Pada diskusi ini kita mempelajari Natural Language Processing (NLP), lalu membuat chatbot perpustakaan dengan Python. Kita juga akan menguji kapan jawabannya membantu dan kapan perlu diperbaiki.
Tujuan pembelajaran
Menjelaskan pengertian NLP dan contoh penggunaannya.
Membedakan pola pertanyaan, intent, dan respons dalam dataset.
Menjelaskan peran TF-IDF dan Naive Bayes pada chatbot sederhana.
Menjalankan proyek chatbot perpustakaan di Google Colab.
Menguji sedikitnya lima percakapan, mengevaluasi kesalahan, dan mengusulkan perbaikan berdasarkan bukti.
1. Mengenal NLP
Natural Language Processing adalah bidang AI yang mengolah bahasa manusia, seperti bahasa Indonesia, Inggris, atau Sunda. Sistem mengubah teks menjadi representasi yang dapat dihitung, kemudian menggunakan aturan atau model untuk menjalankan tugas tertentu. Kemampuan sistem bergantung pada data, metode, dan konteks penggunaan.
NLP digunakan untuk klasifikasi teks, analisis sentimen, pengenalan entitas, penerjemahan, tanya jawab, peringkasan, dan pembuatan teks. Pada aplikasi suara, pengenalan ucapan mengubah audio menjadi teks, lalu pemrosesan bahasa dapat membantu memahami isi perintah.
Klasifikasi teks: mengelompokkan pesan sebagai spam atau bukan spam, atau menentukan kategori pertanyaan perpustakaan.
Analisis sentimen: memperkirakan kecenderungan opini dalam ulasan. Kalimat sindiran dan konteks dapat menyulitkan analisis.
Named Entity Recognition: mengenali entitas. Pada kalimat “Ndha mengunjungi Bandung pada hari Senin”, sistem dapat menandai nama orang, lokasi, dan waktu.
Penerjemahan dan peringkasan: menerjemahkan bahasa atau merangkum dokumen dengan tetap memeriksa makna hasilnya.
Question answering dan text generation: menjawab pertanyaan berdasarkan sumber atau menghasilkan teks sesuai masukan.
2. Bagaimana chatbot perpustakaan bekerja?
Chatbot proyek ini mengklasifikasikan maksud pertanyaan, kemudian memilih jawaban yang tersedia di dataset. Ia belum memiliki akses langsung ke stok buku dan tidak mengarang jawaban baru seperti model bahasa generatif.
Alur kerja: pertanyaan pengguna → pembersihan teks → TF-IDF → prediksi intent dengan Naive Bayes → pemilihan respons → jawaban atau permintaan penjelasan.
Patterns: contoh kalimat pengguna, misalnya “berapa lama pinjam buku”.
Intent: maksud atau kategori kalimat, misalnya
aturan_pinjam.Response: jawaban yang dikaitkan dengan pertanyaan tersebut.
TF-IDF: mengubah teks menjadi bobot numerik berdasarkan kemunculan kata dan seberapa umum kata itu dalam kumpulan teks.
Multinomial Naive Bayes: mempelajari hubungan fitur teks dengan label intent.
Fallback: respons cadangan ketika sistem belum cukup yakin, misalnya meminta pengguna memperjelas pertanyaan atau menghubungi petugas.
3. Studi kasus: PerpusBot untuk layanan sekolah
Petugas perpustakaan sedang melayani peminjaman, sementara siswa lain ingin mengetahui jam buka, lama peminjaman, denda, dan layanan hari Sabtu. Tugas Anda adalah membuat chatbot yang membantu menjawab pertanyaan rutin tersebut.
Contoh informasi dalam dataset latihan: perpustakaan buka Senin–Jumat pukul 08.00–15.00, peminjaman maksimal dua buku selama tujuh hari, dan terdapat contoh denda Rp1.000 per hari. Informasi ini merupakan data simulasi dari berkas latihan. Sesuaikan dan verifikasi kebijakan sebelum memakainya untuk perpustakaan nyata.
Kalimat “Kapan perpus buka?” dan “Jam buka perpustakaan jam berapa?” seharusnya mengarah ke informasi serupa. Namun, pertanyaan “Hari Sabtu buka?” memerlukan jawaban yang menyebut hari Sabtu secara jelas. Prediksi intent yang benar belum menjamin respons yang dipilih benar-benar menjawab rincian pertanyaan.
4. Dataset dan LK dari barcode
Buka folder dataset dan kode asli chatbot perpustakaan
Folder berisi chatbot_perpus.csv dan chatbot_perpus.py. Unduh kedua berkas. CSV memiliki kolom Patterns, Intent, dan Response, dengan 450 baris data pada berkas yang diperiksa.
Buka LK asli: Chatbot Perpustakaan Berbasis NLP (3 halaman)
LK mencakup penyiapan dataset dan proyek, kode Python, serta evaluasi dan refleksi. Gunakan LK tersebut untuk mencatat pekerjaan. Tautan membuka Canva, bukan unduhan PDF langsung. Jika Canva meminta akun untuk menyalin atau mengunduh, ikuti akses yang tersedia pada akun Anda.
5. Langkah praktik di Google Colab
Buka Google Colab dan buat notebook baru.
Unggah
chatbot_perpus.csvmelalui panel Files pada sesi Colab. Berkas perlu diunggah kembali jika sesi berganti.Jalankan sel instalasi di bawah ini, lalu salin kode praktik ke sel berikutnya.
Jalankan program. Ketik pertanyaan perpustakaan dan akhiri dengan
keluar.Catat sedikitnya lima skenario percakapan dalam LK, termasuk pertanyaan yang gagal dijawab.
!pip install pandas scikit-learn6. Contoh kode praktik
LK asli memakai TF-IDF, Naive Bayes, respons acak per intent, dan fuzzy matching saat confidence rendah. Contoh berikut merupakan pengembangan untuk latihan: label dibersihkan, respons dipilih berdasarkan kemiripan TF-IDF, dan masukan yang tidak dikenali mendapat fallback. Perubahan ini mengurangi beberapa kelemahan sederhana, tetapi hasilnya tetap perlu diuji.
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics.pairwise import cosine_similarity
# Simpan chatbot_perpus.csv pada folder kerja yang sama.
df = pd.read_csv('chatbot_perpus.csv')
kolom = ['Patterns', 'Intent', 'Response']
if not set(kolom).issubset(df.columns):
raise ValueError('CSV harus memiliki kolom Patterns, Intent, Response')
df = df.dropna(subset=kolom).copy()
for nama in kolom:
df[nama] = df[nama].astype(str).str.strip()
df = df[(df[kolom] != '').all(axis=1)]
df = df.drop_duplicates(subset=kolom).reset_index(drop=True)
if df.empty:
raise ValueError('Dataset tidak memiliki baris yang dapat dipakai')
vectorizer = TfidfVectorizer(ngram_range=(1, 2))
X = vectorizer.fit_transform(df['Patterns'])
model = MultinomialNB()
model.fit(X, df['Intent'])
# Nilai awal untuk eksperimen, bukan jaminan jawaban benar.
AMBANG_PROBABILITAS = 0.25
AMBANG_KEMIRIPAN = 0.35
def chatbot_response(teks):
teks = teks.strip()
if not teks:
return 'Silakan tulis pertanyaan tentang perpustakaan.'
fitur = vectorizer.transform([teks])
if fitur.nnz == 0:
return 'Maaf, topik ini belum saya kenali. Silakan hubungi petugas.'
probabilitas = model.predict_proba(fitur)[0]
indeks_intent = int(probabilitas.argmax())
intent = model.classes_[indeks_intent]
kemiripan = cosine_similarity(fitur, X)[0]
if probabilitas[indeks_intent] >= AMBANG_PROBABILITAS:
kandidat = df.index[df['Intent'] == intent].tolist()
terbaik = max(kandidat, key=lambda i: kemiripan[i])
else:
# Fallback: ambil contoh terdekat dari seluruh pola.
terbaik = int(kemiripan.argmax())
if kemiripan[terbaik] < AMBANG_KEMIRIPAN:
return 'Maaf, saya belum yakin. Bisa diperjelas atau tanyakan ke petugas?'
return df.loc[terbaik, 'Response']
if __name__ == '__main__':
print('PerpusBot NLP. Ketik keluar untuk berhenti.')
while True:
pesan = input('Anda: ').strip()
if pesan.lower() == 'keluar':
print('Bot: Terima kasih. Sampai jumpa di perpustakaan!')
break
print('Bot:', chatbot_response(pesan))Bagian penting: str.strip() menghapus spasi di awal dan akhir kolom. Dataset awal memuat 55 variasi label, yang menjadi 29 label setelah spasi tepi dihapus. ngram_range=(1, 2) memasukkan kata tunggal serta pasangan kata sebagai fitur. cosine_similarity membantu memilih pola terdekat, sedangkan fitur.nnz == 0 mendeteksi teks tanpa fitur yang dikenal.
Ambang probabilitas 0,25 dan kemiripan 0,35 adalah nilai awal eksperimen. Keduanya bukan persentase akurasi dan perlu dievaluasi menggunakan pertanyaan baru. Model Naive Bayes dapat memberi estimasi probabilitas yang kurang terkalibrasi, sehingga confidence tinggi tidak menjamin jawaban benar. Model ini juga tidak menyimpan riwayat percakapan. Pertanyaan lanjutan seperti “kalau Sabtu?” dapat kehilangan konteks.
7. Skenario pengujian dan pemecahan masalah
Pertanyaan rutin: “Kapan jam buka perpustakaan?” Periksa apakah jawaban menyebut jam buka yang sesuai dataset.
Aturan peminjaman: “Berapa lama boleh pinjam buku?” Periksa apakah respons menjawab durasi, bukan sekadar jumlah buku atau syarat kartu.
Rincian waktu: “Apakah perpustakaan buka hari Sabtu?” Periksa apakah respons menyatakan layanan hari Sabtu secara jelas.
Denda: “Apa denda kalau telat?” Periksa apakah nilai denda sesuai data latihan.
Data yang belum tersedia: “Ada berapa total koleksi buku?” Periksa apakah dataset memiliki jumlah yang pasti. Jika tidak, respons seharusnya menyatakan keterbatasan atau mengarahkan ke petugas.
Uji tambahan: coba kalimat kosong, typo, sinonim, dan pertanyaan di luar perpustakaan. Periksa apakah fallback bekerja secara wajar.
Format catatan uji: pertanyaan | jawaban yang diharapkan | jawaban aktual | sesuai/tidak | dugaan penyebab | usulan perbaikan. Tuliskan hasil aktual setelah menjalankan kode. Jangan menyalin keluaran yang hanya diperkirakan.
FileNotFoundError: periksa nama berkas dan lokasi unggahan CSV.
KeyError: periksa ejaan kolom Patterns, Intent, dan Response.
Kategori terpecah: bersihkan spasi label sebelum training.
Respons salah meskipun topiknya benar: pisahkan intent yang terlalu luas atau perbaiki pasangan pola–jawaban. Pemilihan jawaban acak pada kode asli bisa menghasilkan rincian yang kurang sesuai.
Kesalahan pada stok atau lokasi buku: jawaban statis perlu data katalog yang terverifikasi. Kemiripan teks tidak membuktikan ketersediaan buku.
Contoh hasil uji kode praktik
Pada pengujian dengan dataset yang disediakan, pertanyaan “Kapan jam buka perpustakaan?” menghasilkan “Perpus buka Senin–Jumat jam 08.00–15.00.” Pertanyaan lama peminjaman menghasilkan “Peminjaman 1 minggu ya.” Pertanyaan layanan Sabtu menghasilkan “Sabtu dan Minggu libur ya.” Untuk “Ada berapa total koleksi buku?”, responsnya “Ada banyak dan selalu bertambah.” Jawaban terakhir belum memberikan jumlah pasti. Catat kelemahan ini dan usulkan respons yang lebih jelas tentang keterbatasan data.
8. Tugas LK, evaluasi, dan refleksi
Isi identitas pada LK, lalu jalankan chatbot dengan dataset yang disediakan.
Catat minimal lima skenario, mencakup pertanyaan wajib dan contoh yang gagal dijawab.
Jawab pertanyaan evaluasi LK: apakah chatbot menjawab semua pertanyaan wajib, pertanyaan mana yang gagal, kapan chatbot salah memahami, dan perbaikan apa yang dapat dilakukan?
Lakukan satu perbaikan, misalnya menambah variasi kalimat atau memperjelas intent. Uji kembali dengan pertanyaan yang belum dipakai melatih.
Jawab refleksi LK: hal paling menarik, bagian tersulit, manfaat chatbot bagi perpustakaan, dan perasaan setelah berhasil membuat chatbot.
Untuk evaluasi lanjutan, pisahkan data latihan dan uji sebelum melatih TF-IDF maupun model. Hindari pola yang sama muncul pada kedua bagian. Bandingkan ketepatan intent dan kesesuaian isi jawaban, karena keduanya dapat memberikan hasil berbeda. Lima percakapan adalah pemeriksaan awal, belum cukup untuk menyatakan chatbot andal.
9. Pengumpulan dan diskusi
Setelah mengerjakan LK, simpan hasil pekerjaan dalam PDF dan unggah ke Google Drive. Sertakan catatan pengujian serta tautan notebook Colab yang dapat dibuka guru. Kirim tautan hasil pekerjaan, nama, dan kelas pada kolom Tanggapan di bagian bawah halaman ini. Periksa izin akses berkas sebelum mengirim, dan hindari mencantumkan data pribadi pengguna perpustakaan dalam dataset latihan.
Mengapa kalimat yang berbeda dapat memiliki intent yang sama?
Apa perbedaan chatbot pemilih respons pada proyek ini dengan chatbot generatif?
Tunjukkan satu jawaban yang salah atau kurang lengkap. Menurut Anda, masalahnya terletak pada dataset, intent, model, atau pemilihan respons?
Bagaimana chatbot sebaiknya merespons jika jumlah koleksi buku tidak tersedia dalam sumber data?
Tanggapi satu hasil pengujian teman dengan usulan perbaikan yang disertai alasan.
Rujukan teknis
Untuk mempelajari representasi teks dan model lebih lanjut, baca dokumentasi ekstraksi fitur teks scikit-learn serta dokumentasi Naive Bayes scikit-learn.