flowchart LR Q[Pertanyaan pengguna] --> R[Pencarian / retrieval] K[Korpus dokumen] --> R R --> C[Konteks terpilih] C --> P[Prompt + konteks] Q --> P P --> LLM[LLM] LLM --> A[Jawaban]
Large Language Models — Pertemuan ke-2
Retrieval-Augmented Generation (RAG) menggabungkan dua ide:
Intinya: jawaban tidak hanya mengandalkan “ingatan” parameter model, tetapi juga bukti dari dokumen yang Anda sediakan.
Keterbatasan LLM murni (tanpa RAG):
RAG menambahkan saluran pengetahuan yang dapat diperbarui tanpa selalu melatih ulang seluruh model.
flowchart LR Q[Pertanyaan pengguna] --> R[Pencarian / retrieval] K[Korpus dokumen] --> R R --> C[Konteks terpilih] C --> P[Prompt + konteks] Q --> P P --> LLM[LLM] LLM --> A[Jawaban]
Ringkas: ambil dokumen relevan → tempelkan ke prompt (atau setara) → LLM menjawab dengan mendasarkan pada konteks tersebut.
| Komponen | Peran |
|---|---|
| Korpus | Kumpulan dokumen sumber (PDF, HTML, wiki, tiket, dll.). |
| Pra-pemrosesan | Pembersihan teks, metadata, akses kontrol. |
| Pemotongan (chunking) | Membagi dokumen menjadi segmen agar masuk jendela konteks dan retrieval lebih presisi. |
| Komponen | Peran |
|---|---|
| Embedding | Representasi vektor tiap segmen (dan biasanya juga query). |
| Penyimpanan vektor | Indeks untuk pencarian kemiripan (vector database atau modul serupa). |
| Retriever | Mengambil \(k\) segmen paling relevan untuk query. |
| Generator (LLM) | Menyusun jawaban conditioned on konteks + instruksi. |
Embedding memetakan teks ke vektor berdimensi tinggi sedemikian rupa sehingga teks yang maknanya mirip cenderung dekat dalam ruang vektor.
Retrieval umum:
Catatan: embedding bukan “pemahaman” manusiawi; ia statistik dari data pelatihan embedder. Pilihan model dan bahasa sangat memengaruhi hasil.
Chunk terlalu besar: noise tinggi, banyak teks tidak relevan masuk konteks, boros token.
Chunk terlalu kecil: konteks putus, definisi atau premis hilang, retrieval salah fragmen.
Praktik umum:
Untuk jutaan chunk, perbandingan brute-force ke semua vektor lambat. Banyak sistem memakai Approximate Nearest Neighbor (ANN) (mis. HNSW, IVF) untuk trade-off kecepatan vs. recall.
Istilah yang sering muncul: indeks vektor, metadata filter (mis. “hanya dokumen departemen X”), dan hybrid search (gabungan lexical + semantic).
Pola umum:
Grounding yang baik mengurangi halusinasi tetapi tidak menghilangkannya sepenuhnya — kualitas retrieval dan instruksi tetap krusial.
Hybrid: menggabungkan BM25 / full-text dengan semantic untuk menangkap kata kunci tepat dan sinonim.
Re-ranker: model kedua (sering lebih kecil atau khusus) menyusun ulang daftar kandidat dari retriever tahap pertama agar urutan top-\(k\) lebih akurat.
Keduanya sering dipakai di produksi ketika recall tahap pertama masih “berisik”.
Dimensi yang umum diukur:
Data uji: pertanyaan dengan jawaban dan sumber emas (ground truth) dari dokumen Anda sendiri.
Topik ini berkembang cepat; prinsip intinya tetap: sumber teks → retrieval berkualitas → prompt yang jelas → LLM.
RAG menambahkan pengetahuan eksternal dan terbarui lewat retrieval sebelum generasi.
Pipeline meliputi korpus, chunking, embedding, indeks, retriever, dan LLM dengan instruksi grounding.
Kualitas sangat bergantung pada data, ukuran/overlap chunk, pilihan embedder, dan evaluasi berkelanjutan.
(Cek kebaruan literatur; ekosistem berubah cepat.)
MK Large Language Models 02 - Anggit Wirasto