Model bahasa menjawab dengan kalimat yang terdengar wajar, dan itu berlaku juga saat ia tidak tahu. Di layanan pelanggan, jawaban yang terdengar benar adalah jenis kesalahan yang paling mahal: ia tidak muncul sebagai error di log mana pun, ia muncul sebagai pembeli yang menuntut apa yang dijanjikan kepadanya.
Kenapa model bisa sangat yakin dan tetap salah
Yang dikerjakan model adalah melanjutkan teks dengan kelanjutan yang paling mungkin. Kalau bahan tentang usaha Anda tidak ada di depannya, kelanjutan yang paling mungkin adalah kebiasaan umum toko sejenis: ongkir yang biasanya gratis, garansi yang biasanya sebulan, jam buka yang biasanya sampai sore. Tidak ada satu pun dari itu yang berasal dari usaha Anda.
Karena itu bagian terpenting dari menyiapkan AI bukan memilih model, melainkan menentukan dari mana jawabannya boleh diambil.
Apa yang terjadi saat Anda mengunggah SOP
- Dipotong. Teks atau PDF yang Anda unggah dipecah menjadi potongan-potongan yang masih utuh maknanya.
- Diubah menjadi vektor. Setiap potongan dihitung menjadi angka (embedding) yang mewakili maknanya, lalu disimpan bersama potongan aslinya.
- Dipanggil saat relevan. Pertanyaan pelanggan dihitung dengan cara yang sama, lalu beberapa potongan yang paling dekat maknanya ikut dikirim ke model sebagai bahan menjawab. Berapa banyak yang diambil adalah setelan server,
RAG_TOP_K.
Proses ini tidak selalu berhasil, dan halaman Knowledge menampilkan statusnya apa adanya: menunggu, sedang diproses, siap, atau gagal beserta sebabnya. Dokumen yang gagal diproses tidak akan pernah muncul di jawaban, jadi status itu yang pertama diperiksa kalau AI seperti tidak membaca materi Anda.
Cara menulis SOP yang mudah dipanggil
- Satu topik per bagian, dengan judul memakai kata pelanggan. "Ongkir dan pengiriman", bukan "Ketentuan Logistik Umum". Yang dicocokkan adalah kemiripan makna dengan pertanyaan yang diketik pelanggan.
- Selesaikan jawabannya di satu tempat. Jawaban yang tersebar di tiga halaman berarti hanya sepotong yang terpanggil, dan sepotong jawaban adalah jawaban yang salah.
- Hindari "lihat lampiran" dan "seperti tabel di atas". Potongan yang dipanggil datang tanpa halaman di sekitarnya, jadi rujukan seperti itu menjadi kalimat yang menggantung.
- Tulis juga yang tidak Anda layani. "Kami tidak menerima retur untuk barang sale" mencegah jawaban yang paling merugikan, yaitu tebakan yang terdengar ramah.
Harga dan stok jangan dititipkan ke model
Harga barang punya satu sumber, yaitu katalog produk di dashboard, dan yang boleh membacanya untuk berhitung adalah kode, bukan model bahasa. Model yang diminta menjumlahkan tiga harga akan menjawab dengan angka yang terdengar benar, dan pelanggan yang membayar angka itu sudah memegang bukti kesepakatan.
Kalau jawabannya memang tidak ada
Percakapannya dialihkan ke staf beserta alasannya, bukan diisi tebakan. Itu keputusan produk, bukan keterbatasan sementara: tidak tahu lebih baik daripada mengarang, karena yang kedua baru terlihat setelah pelanggan menagihnya. Daftar keadaan yang membuat AI berhenti dan cara menyiapkan gilirannya ada di tulisan tentang penyerahan ke staf.