Large Language Models — Pertemuan ke-4
Setelah materi ini, peserta diharapkan mampu:
Analogi satu kalimat: token = satuan bahan; parameter = bumbu dan api kompor; evaluasi = cicip rasa berulang dengan catatan resep.
Anda tidak perlu bisa coding; cukup paham istilah, dampak bisnis, dan proses uji agar komunikasi dengan tim engineering lebih cepat.
Token ≈ potongan teks yang menjadi satuan bagi model: bisa satu kata pendek, sebagian kata panjang, atau tanda baca sendiri.
Analogi koper: Anda membawa koper ke bandara. Maskapai menimbang kg, bukan “jumlah baju”. LLM sering menghitung token, bukan “jumlah kata”.
Contoh intuitif (bahasa Inggris sering terpecah):
hello bisa 1 token.unhappiness bisa jadi beberapa token tergantung tokenizer.Contoh intuitif (bahasa Indonesia):
Bayangkan Anda mengetik email panjang ke chatbot internal.
Implikasi: Versi B biasanya lebih murah, lebih cepat, dan lebih mudah diawasi — asalkan ringkasan Anda tidak membuang informasi penting.
Model punya batas meja (context window): hanya muat sekian token prompt + jawaban dalam satu permintaan.
Analogi: meja kerja 120 cm. Jika Anda menumpuk dokumen terlalu tebal, dokumen paling bawah “terdorong keluar” dari jangkauan pandangan.
Saat merancang template prompt, pikirkan prioritas — apa yang harus selalu ada di “lapisan atas meja”.
RAG (Retrieval-Augmented Generation): sebelum model menjawab, sistem mencari cuplikan yang relevan dari basis dokumen (vektor/pencarian teks), lalu hanya cuplikan itu (+ instruksi singkat) yang dimasukkan ke prompt.
Ya, RAG bisa menghemat token prompt dibanding strategi “tempel seluruh policy / manual / wiki” pada setiap pertanyaan — isi konteks mengikuti pertanyaan, bukan seluruh perpustakaan.
Analogi: membawa resep yang dipilih untuk menu hari ini, bukan mengangkut seluruh buku masak ke dapur setiap kali memasak.
Cenderung hemat jika basis pengetahuan besar dan tiap pertanyaan hanya butuh beberapa paragraf terpilih; batas konteks tidak “penuh” oleh dokumen statis.
Belum tentu hemat jika:
Intinya: RAG menghemat token dengan mengganti “semua dokumen” dengan “cuplikan relevan”; efisiensi sejati bergantung pada kualitas retrieval dan disiplin panjang cuplikan.
Selain token masukan, ada token keluaran (output).
Analogi wartawan: Anda meminta “wawancara singkat 3 pertanyaan” vs “laporan investigasi 20 halaman”. Biaya waktu dan halaman berbeda.
Parameter umum: batas maksimum panjang jawaban (sering disebut max tokens / sejenisnya) — seperti batas kata pada esai.
Tokenisasi = aturan + alat untuk mengubah teks mentah menjadi rangkaian token.
Analogi dapur: sayuran diiris konsisten agar matang merata. Irisan tidak selalu sama dengan “sepotong menu pada piring”.
Mengapa peduli?
Input: string Unicode (teks Anda). Output: rangkaian ID integer dalam kosakata (vocabulary) model — satu ID per token.
Alur umum (konseptual):
Model dilatih dan diinferensikan pada urutan ID yang sama; mengganti tokenizer tanpa menyesuaikan model tidak valid.
Ide inti BPE: mulai dari huruf (atau byte); secara berulang gabungkan pasangan yang paling sering muncul di korpus hingga terbentuk merge rules (aturan penggabungan) dan daftar potongan panjang.
Contoh ilustratif (bukan tokenizer nyata):
Teks: low — awalnya bisa [l] [o] [w]. Jika korpus sering punya low sebagai satu kesatuan, merge bisa menghasilkan token tunggal low.
Teks: lower — bisa jadi [low] [er] jika merge low sudah ada, lalu er sering mengikuti.
Kata langka atau baru (mis. nama produk) sering jadi beberapa token karena belum pernah “digabung” utuh saat latihan.
Inggris (kata yang sudah sangat umum di korpus latihan barat):
"Hello world" → mungkin 2–3 token (tergantung model).
Indonesia / kata panjang / istilah campuran:
"Pemerintah" → sering 2+ subtoken.
"tokenisasi" → bisa terpecah (bukan kata Inggris dominan di korpus).
"GPT-4o-mini" → tanda `-`, angka, huruf sering **dipisah** menjadi beberapa token.
Implikasi teknis: prompt “sama panjangnya” dalam karakter bisa beda jumlah token antar bahasa atau format (JSON rapat vs prosa).
Tokenizer menambahkan token kontrol, misalnya:
system / user / assistant.Contoh konseptual: prompt chat tidak hanya teks Anda mentah, melainkan template yang dibungkus token struktural — sehingga hitungan token di playground bisa sedikit lebih besar dari “copy-paste teks polos”.
Di layanan API, tagihan sering memisahkan:
Analogi kafe: Anda bayar pesanan (bahan) + minuman yang disajikan (hasil). Keduanya punya harga per unit.
Tips praktis:
PERTANYAAN:, JAWABAN:) agar model tidak “bingung layout”.Analogi: briefing rapat — bukan membaca buku teks seluruhnya di slide pertama.
Parameter adalah setelan pada satu permintaan ke model (melalui API atau panel produk).
Bukan mengganti model secara fundamental; lebih seperti mengatur konsistensi, kreativitas, dan kapan berhenti.
Tiga yang akan kita dalami: temperature, nucleus sampling (top-p), stop sequences.
Di antarmuka chat umum, Anda biasanya mengatur hal seperti:
temperature atau top_p yang terbuka.Analogi: Anda memilih mode berkendara di mobil rental; bukan membuka ECU dan mengubah peta injeksi bahan bakar sendiri.
Implikasi: eksperimen di chat tetap berguna untuk ide dan penyempurnaan prompt, tetapi sulit menjadikan “angka parameter persis” sebagai sumber kebenaran untuk uji formal antar-tim.
API (REST/SDK ke OpenAI, Google AI, Azure OpenAI, Vertex AI, Bedrock, …):
temperature, top_p, max_tokens, stop, penalti)—nilainya tertulis di payload sehingga mudah divariasikan per fitur, dicatat di log, dan direplikasi saat evaluasi atau A/B.Dashboard / konsol penyedia (playground, deployment, kebijakan):
Ringkas perbandingan:
Praktik umum: menyusun prompt dan persona di chat untuk iterasi cepat, lalu memindahkan pasangan prompt + parameter yang stabil ke API atau template dashboard untuk produksi.
Intuisi: semakin tinggi temperature, semakin besar peluang model memilih kata/kalimat yang kurang umum — sering terasa lebih “hidup”, tetapi risiko halusinasi atau gaya liar naik.
Analogi musik:
Contoh penggunaan:
Skenario A — kontrak & kepatuhan: jawaban harus konsisten dengan template. Pilih temperature rendah + contoh format.
Skenario B — latihan roleplay sales: variasi lawan bicara membantu latihan. Temperature lebih tinggi bisa membantu, asalkan ada penjaga (moderation, aturan output).
Skenario C — terjemahan harfiah: biasanya rendah agar tidak “kreatif” mengubah makna.
Peringatan: temperature bukan pengganti fakta. Model tetap bisa salah; setelan ini hanya mengubah gaya sampling jawaban.
Catatan: berikut contoh pedagogis — model, versi, dan seed berbeda bisa menghasilkan kalimat lain; yang penting pola perbedaannya.
Prompt (tetap):
Tulis tepat SATU kalimat deskripsi produk untuk headphone ANC "SkyTone Pro",
Bahasa Indonesia, nada formal. Jangan tambah bullet atau paragraf kedua.
Setelan A — temperature rendah (mis. 0,2):
SkyTone Pro dilengkapi peredam bising aktif dan desain ringan untuk pemakaian sehari-hari.
Setelan B — temperature tinggi (mis. 0,9):
SkyTone Pro membungkus suasana kota yang bising dalam senyap yang nyaman—ANC yang siap menemani ritme harian Anda.
Perbedaan tipikal: A kering dan aman; B lebih metafora dan bervariasi, risiko “melewati brief” sedikit lebih besar.
Prompt:
Sebutkan 3 manfaat minuman isotonik dalam bentuk DAFTAR NOMOR (1–3), masing-masing maksimal 8 kata.
Top-p ketat (mis. 0,3) + temperature sedang — pilihan kata cenderung “aman” dan mirip pola umum:
Prompt:
Sebutkan 3 manfaat minuman isotonik dalam bentuk DAFTAR NOMOR (1–3), masing-masing maksimal 8 kata.
Top-p lebih longgar (mis. 0,95) + temperature sedang — masih masuk akal, tetapi frasa bisa lebih beragam (kadang lebih kiasan):
Intinya: top-p memangkas ekor kata yang sangat tidak mungkin; efeknya sering lebih halus dibanding temperature — bandingkan dengan prompt identik di log evaluasi Anda.
Top-p (sering disebut nucleus sampling) membatasi pilihan token berikutnya ke kelompok kecil kata yang paling masuk akal menurut model — misalnya hanya yang jumlah probabilitasnya mencapai p (mis. 0.9).
Analogi restoran:
Efek praktis: jawaban cenderung koheren dan “aman”, tetapi variasi bisa berkurang.
Keduanya memengaruhi variasi, tetapi mechanism-nya beda:
Analogi cuaca:
Praktik: banyak tim memakai temperature sedang + top-p 0.9–0.95 sebagai titik awal, lalu menyesuaikan lewat evaluasi.
Stop sequence = rangkaian teks yang jika muncul, model menghentikan generasi (seperti titik akhir yang disepakati).
Analogi panggung: sutradara memberi tanda lampu merah — artinya pemain berhenti berbicara, meskipan masih ada improvisasi di kepala.
Contoh kegunaan:
Intinya: ini alat kontrol batas — berguna saat Anda ingin jawaban pendek dan tertutup.
Prompt: “Jawab dalam format: JAWABAN: … lalu baris kosong.”
Model sering menambahkan paragraf penjelas tambahan meski tidak diminta.
Tanpa stop sequence (ilustrasi):
JAWABAN: Paket Anda sedang dalam pengiriman.
Selain itu, jika Anda membutuhkan informasi lebih lanjut, silakan hubungi
layanan pelanggan kami melalui kanal resmi. Kami juga menyarankan untuk
memeriksa status secara berkala di aplikasi.
Dengan stop sequence mis. \n\n setelah baris pertama jawaban (atau string penutup yang disepakati) — generasi berhenti begitu pola itu tercapai:
JAWABAN: Paket Anda sedang dalam pengiriman.
(Teks setelah itu tidak ikut ter-generate.)
Catatan: pilih stop string yang tidak muncul di tengah jawaban sah (mis. jangan memakai titik tunggal jika jawaban bisa berupa daftar).
Instruksi bahasa alami kadang dipatuhi, kadang tidak — terutama di bawah sampling agresif.
Stop sequence lebih seperti pagar pembatas fisik ketimbang poster “dilarang masuk”.
Analogi: penjaga gerbang vs papan pengumuman. Keduanya penting; pagar lebih “keras”.
Untuk keputusan bisnis, yang paling sering didiskusikan tetap temperature, top-p, dan stop.
Tujuan: jawaban singkat, sopan, mengikuti skrip, minim variasi.
Setelan arah (bukan resep tunggal):
Metrik bisnis: waktu penyelesaian tiket, escalasi ke manusia, skor kepuasan pelanggan.
Tujuan: banyak variasi, manusia memilih.
Setelan arah:
Peringatan: semakin kreatif, semakin perlu moderation dan brand guideline.
Evaluasi menjawab: “Apakah perubahan kita benar untuk pengguna dan tujuan bisnis?”
Analogi restoran: rasa enak di dapur uji belum tentu sama dengan kepuasan pengunjung saat sibuk.
Kita ingin bukti yang bisa dibandingkan antar-versi.
Pilih 3–7 kriteria yang terukur atau skor rubrik jelas, misalnya:
Analogi lomba debat: juri memakai rubrik, bukan “suasana hati”.
Versioning mencatat: apa yang berubah, kapan, siapa, dan mengapa.
Lingkupnya bisa:
Analogi dokumen kontrak: setiap revisi diberi nomor halaman dan riwayat amendemen.
Versi 1.2 — 12 Apr
Manfaat: saat ada regresi, tim bisa kembali ke versi stabil tanpa debat panjang.
A/B testing membandingkan dua varian (A vs B) pada traffic atau sampel yang mirip.
Analogi ritel: setengah toko memajang poster biru, setengah poster hijau; kita ukur konversi.
Untuk LLM:
Metrik contoh: tingkat kelulusan QA internal, waktu edit manusia, rating pengguna.
Analogi uji obat: kelompok kontrol vs perlakuan harus sebanding.
LLM-as-a-judge meminta model lain (atau model sama dengan prompt berbeda) untuk menilai jawaban dengan rubrik.
Analogi: Anda minta rekan sekretaris merangkum dua proposal — cepat, tetapi rekan itu punya selera pribadi.
Kelebihan: skalabel untuk ribuan jawaban.
Kekurangan: juri LLM bisa memihak gaya tertentu, panjang jawaban, atau urutan presentasi (position bias).
Analogi: mesin sortir di bandara + pemeriksaan manual acak.
Analogi: pengembangan produk fisik — prototipe, uji lab, uji lapangan, produksi massal.
Golden set = kumpulan pertanyaan/kasus representatif + jawaban referensi atau kriteria penerimaan.
Analogi ujian nasional: bank soal yang disepakati dewan guru.
Manfaat: setiap kali model atau prompt berubah, Anda menjalankan regresi cepat — melihat apakah “murid baru” masih lulus soal lama.
Untuk domain medis, hukum, keuangan, atau keselamatan, LLM sebaiknya mendukang, bukan mengganti profesional bersertifikat.
Analogi autopilot pesawat: pilot tetap bertanggung jawab; autopilot membantu beban kerja.
Setelah Anda menguasai token, parameter, dan evaluasi, langkah natural berikutnya adalah merakit sistem:
Lihat modul “Agen, Alat (Tools), dan Alur Multi-Langkah” di situs materi (berkas llm05).
MK Large Language Models 04 - Anggit Wirasto