Apa itu RAG (Retrieval-Augmented Generation)?

RAG (Retrieval-Augmented Generation) adalah teknik yang memungkinkan LLM merujuk pada kumpulan dokumen sebelum menjawab pertanyaan.

Cara kerjanya

1. Anda punya korpus (PDF, halaman web, record database…)
2. Sistem mengubah setiap chunk menjadi embedding (vector angka)
3. Saat user bertanya, pertanyaannya juga di-embed
4. Cari chunk yang vector-nya paling dekat dengan pertanyaan
5. Sisipkan chunk itu ke dalam prompt → LLM menjawab berdasarkan chunk tersebut

Mengapa pakai RAG?

• LLM hanya tahu apa yang ada di training data — RAG memberi mereka informasi terbaru, privat, atau khusus
• LLM berhalusinasi saat tidak tahu sesuatu — RAG memaksa mereka mengandalkan sumber
• Anda tidak bisa memasukkan terabyte dokumen ke prompt — RAG hanya mengambil bagian yang relevan

Contoh

Sebuah bank ingin chatbot customer support. Daripada fine-tuning LLM (mahal, lambat), mereka pakai RAG: saat pelanggan bertanya “Berapa suku bunga deposito 6 bulan?”, sistem mengambil daftar suku bunga terbaru, memberikannya ke LLM, lalu LLM menjawab dengan angka yang akurat.

Kapan pakai RAG

• Anda punya korpus internal yang dibutuhkan model
• Jawaban harus mencerminkan data terkini
• Anda perlu mengurangi halusinasi

Kapan TIDAK pakai RAG

• Pertanyaannya tidak butuh pengetahuan eksternal (“tulis email izin cuti untuk saya”)
• Korpus Anda kecil (<100 halaman) — masukkan saja ke context window
• Anda mau persona/style yang konsisten — itu tugas fine-tuning

Terkait

• Embedding
• Vector Database
• Hallucination