Retrieval-Augmented Generation (RAG)

Large Language Models — Pertemuan ke-2

Anggit Wirasto, S.Si., M.Eng.

Apa itu RAG?

Retrieval-Augmented Generation (RAG) menggabungkan dua ide:

  1. Retrieval: mengambil potongan teks relevan dari sumber eksternal (dokumen, basis pengetahuan, basis data teks).
  2. Generation: model bahasa (LLM) menulis jawaban dengan memanfaatkan potongan yang diambil sebagai konteks.

Intinya: jawaban tidak hanya mengandalkan “ingatan” parameter model, tetapi juga bukti dari dokumen yang Anda sediakan.

Mengapa RAG Diperlukan?

Keterbatasan LLM murni (tanpa RAG):

  • Pengetahuan statis: model dilatih pada data hingga batas waktu tertentu; sulit mengikuti peristiwa atau kebijakan terbaru tanpa pelatihan ulang.
  • Halusinasi: model dapat menghasilkan teks yang plausibel tetapi faktual salah bila tidak punya rujukan tegas.
  • Domain sempit: detail organisasi (prosedur internal, FAQ produk) jarang tercakup penuh dalam pre-training.

RAG menambahkan saluran pengetahuan yang dapat diperbarui tanpa selalu melatih ulang seluruh model.

Arsitektur RAG (gambaran alur)

flowchart LR
  Q[Pertanyaan pengguna] --> R[Pencarian / retrieval]
  K[Korpus dokumen] --> R
  R --> C[Konteks terpilih]
  C --> P[Prompt + konteks]
  Q --> P
  P --> LLM[LLM]
  LLM --> A[Jawaban]

Ringkas: ambil dokumen relevan → tempelkan ke prompt (atau setara) → LLM menjawab dengan mendasarkan pada konteks tersebut.

Komponen utama sistem RAG (1)

Komponen Peran
Korpus Kumpulan dokumen sumber (PDF, HTML, wiki, tiket, dll.).
Pra-pemrosesan Pembersihan teks, metadata, akses kontrol.
Pemotongan (chunking) Membagi dokumen menjadi segmen agar masuk jendela konteks dan retrieval lebih presisi.

Komponen utama sistem RAG (2)

Komponen Peran
Embedding Representasi vektor tiap segmen (dan biasanya juga query).
Penyimpanan vektor Indeks untuk pencarian kemiripan (vector database atau modul serupa).
Retriever Mengambil \(k\) segmen paling relevan untuk query.
Generator (LLM) Menyusun jawaban conditioned on konteks + instruksi.

Embedding dan pencarian kemiripan

Embedding memetakan teks ke vektor berdimensi tinggi sedemikian rupa sehingga teks yang maknanya mirip cenderung dekat dalam ruang vektor.

Retrieval umum:

  • Hitung embedding untuk query dan (sekali jalan) untuk tiap chunk.
  • Urutkan chunk menurut kemiripan (misalnya cosine similarity) dan ambil top-\(k\).

Catatan: embedding bukan “pemahaman” manusiawi; ia statistik dari data pelatihan embedder. Pilihan model dan bahasa sangat memengaruhi hasil.

Chunking: mengapa penting?

Chunk terlalu besar: noise tinggi, banyak teks tidak relevan masuk konteks, boros token.

Chunk terlalu kecil: konteks putus, definisi atau premis hilang, retrieval salah fragmen.

Praktik umum:

  • Potong dengan overlap antar-segmen agar kalimat di perbatasan tidak terpotong semaunya.
  • Sertakan metadata (judul bab, URL, tanggal) pada chunk bila membantu filter atau penjelasan sumber.
  • Untuk dokumen terstruktur, pertimbangkan potongan mengikuti heading atau paragraf alami.

Vector store dan ANN

Untuk jutaan chunk, perbandingan brute-force ke semua vektor lambat. Banyak sistem memakai Approximate Nearest Neighbor (ANN) (mis. HNSW, IVF) untuk trade-off kecepatan vs. recall.

Istilah yang sering muncul: indeks vektor, metadata filter (mis. “hanya dokumen departemen X”), dan hybrid search (gabungan lexical + semantic).

Prompting untuk RAG

Pola umum:

  • Beri instruksi eksplisit: jawab hanya berdasarkan konteks yang diberikan; jika tidak ada, katakan tidak tahu.
  • Tempatkan konteks dan pertanyaan dengan delimiter yang jelas.
  • Minta kutipan atau rujukan ke potongan (mis. ID chunk atau judul) bila diperlukan untuk auditabilitas.

Grounding yang baik mengurangi halusinasi tetapi tidak menghilangkannya sepenuhnya — kualitas retrieval dan instruksi tetap krusial.

Hybrid retrieval dan re-ranking

Hybrid: menggabungkan BM25 / full-text dengan semantic untuk menangkap kata kunci tepat dan sinonim.

Re-ranker: model kedua (sering lebih kecil atau khusus) menyusun ulang daftar kandidat dari retriever tahap pertama agar urutan top-\(k\) lebih akurat.

Keduanya sering dipakai di produksi ketika recall tahap pertama masih “berisik”.

Evaluasi sistem RAG

Dimensi yang umum diukur:

  • Relevansi retrieval: apakah chunk yang benar ikut terambil? (mis. recall@\(k\), nDCG).
  • Kualitas jawaban: faktualitas, kelengkapan, gaya (human eval atau LLM-as-judge dengan hati-hati).
  • Latensi dan biaya: token LLM, biaya embedding, beban infrastruktur.

Data uji: pertanyaan dengan jawaban dan sumber emas (ground truth) dari dokumen Anda sendiri.

Risiko dan kegagalan umum

  • Dokumen kualitas rendah / kontradiktif: RAG hanya sebaik korpusnya.
  • Chunk salah atau retrieval miss: LLM akan tetap “percaya diri” jika instruksi lemah.
  • Context window: terlalu banyak chunk → noise; terlalu sedikit → informasi kurang.
  • Keamanan: injeksi melalui dokumen (mis. teks yang memerintahkan model mengabaikan kebijakan) harus di mitigasi bersama kebijakan LLM.

Variasi dan penyempurnaan

  • Query expansion / rewrite: ubah pertanyaan pengguna agar lebih cocok dengan gaya dokumen.
  • Multi-hop: beberapa putaran retrieval untuk pertanyaan yang membutuhkan beberapa fakta.
  • Graph RAG: struktur graf (entitas–relasi) sebagai pelengkap atau pengganti sebagian potongan teks murni.

Topik ini berkembang cepat; prinsip intinya tetap: sumber teks → retrieval berkualitas → prompt yang jelas → LLM.

Ringkasan

  1. RAG menambahkan pengetahuan eksternal dan terbarui lewat retrieval sebelum generasi.

  2. Pipeline meliputi korpus, chunking, embedding, indeks, retriever, dan LLM dengan instruksi grounding.

  3. Kualitas sangat bergantung pada data, ukuran/overlap chunk, pilihan embedder, dan evaluasi berkelanjutan.

Ringkasan

  1. Hybrid search, re-ranking, dan desain prompt adalah alat praktis meningkatkan presisi di aplikasi nyata.

Referensi untuk mendalami

  • Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (kerangka klasik RAG).
  • Dokumentasi vector database dan tutorial resmi penyedia LLM (OpenAI, Anthropic, dll.) untuk pola integrasi terkini.
  • Survei dan blog teknis tentang chunking, evaluation, dan Graph RAG untuk studi lanjut.

(Cek kebaruan literatur; ekosistem berubah cepat.)