Tokenisasi, Parameter API, dan Evaluasi LLM

Large Language Models — Pertemuan ke-4

Anggit Wirasto, S.Si., M.Eng.

Tujuan pembelajaran

Setelah materi ini, peserta diharapkan mampu:

  • Menjelaskan token dengan bahasa sehari-hari dan mengaitkannya dengan biaya, batas panjang, dan kualitas jawaban — serta alur tokenisasi (teks → ID, subkata/BPE) pada tingkat konsep.
  • Menjelaskan hubungan RAG dengan token prompt: kapan menghemat konteks dan kapan overhead retrieval membuat penghematan tidak otomatis.
  • Memahami parameter API utama (temperature, nucleus sampling / top-p, stop sequences) serta kapan memutar tombolnya naik atau turun.
  • Membedakan pengaturan perilaku di chat konsumen (ChatGPT, Gemini, …) dengan API / dashboard penyedia layanan (reproduksibilitas, audit, kontrol produk).
  • Merancang evaluasi sederhana: versi prompt, uji A/B, dan LLM sebagai juri — beserta risiko dan mitigasinya.
  • Menyusun siklus iterasi yang realistis antara tim bisnis, konten, produk, dan tim teknis.

Tiga “tombol” yang sering disentuh (gambaran besar)

  1. Tokenisasi — bagaimana teks “dipotong-potong” agar komputer bisa memprosesnya (seperti bahan mentah sebelum dimasak).
  2. Parameter — pengaturan yang mengubah gaya dan variasi jawaban tanpa mengganti model.
  3. Evaluasi — cara kita membuktikan bahwa perubahan itu benar-benar membuat hasil lebih baik untuk pengguna, bukan sekadar “terasa lebih bagus”.

Analogi satu kalimat: token = satuan bahan; parameter = bumbu dan api kompor; evaluasi = cicip rasa berulang dengan catatan resep.

Mengapa materi ini relevan bagi pemangku bisnis & produk?

  • Biaya & SLA: layanan LLM sering ditagih per token; batas waktu respons juga terkait panjang teks.
  • Risiko brand: parameter yang “kreatif” bisa menghasilkan jawaban melewati batas gaya perusahaan.
  • Keputusan produk: memilih “versi prompt A vs B” harus didukung bukti, bukan opini satu orang saja.

Anda tidak perlu bisa coding; cukup paham istilah, dampak bisnis, dan proses uji agar komunikasi dengan tim engineering lebih cepat.

Apa itu token? (bukan selalu “satu kata”)

Token ≈ potongan teks yang menjadi satuan bagi model: bisa satu kata pendek, sebagian kata panjang, atau tanda baca sendiri.

Analogi koper: Anda membawa koper ke bandara. Maskapai menimbang kg, bukan “jumlah baju”. LLM sering menghitung token, bukan “jumlah kata”.

Contoh intuitif (bahasa Inggris sering terpecah):

  • hello bisa 1 token.
  • unhappiness bisa jadi beberapa token tergantung tokenizer.

Contoh intuitif (bahasa Indonesia):

  • Kata majemuk atau nama panjang sering terpecah menjadi beberapa token.

Token vs kata: contoh “nyata”

Bayangkan Anda mengetik email panjang ke chatbot internal.

  • Versi A: paragraf panjang + lampiran policy PDF → banyak token masukan (input).
  • Versi B: ringkasan poin-poin + satu tautan → token masukan jauh lebih sedikit.

Implikasi: Versi B biasanya lebih murah, lebih cepat, dan lebih mudah diawasi — asalkan ringkasan Anda tidak membuang informasi penting.

Konteks (context) seperti meja kerja berukuran tetap

Model punya batas meja (context window): hanya muat sekian token prompt + jawaban dalam satu permintaan.

Analogi: meja kerja 120 cm. Jika Anda menumpuk dokumen terlalu tebal, dokumen paling bawah “terdorong keluar” dari jangkauan pandangan.

Saat merancang template prompt, pikirkan prioritas — apa yang harus selalu ada di “lapisan atas meja”.

RAG dan token: apakah lebih hemat?

RAG (Retrieval-Augmented Generation): sebelum model menjawab, sistem mencari cuplikan yang relevan dari basis dokumen (vektor/pencarian teks), lalu hanya cuplikan itu (+ instruksi singkat) yang dimasukkan ke prompt.

Ya, RAG bisa menghemat token prompt dibanding strategi “tempel seluruh policy / manual / wiki” pada setiap pertanyaan — isi konteks mengikuti pertanyaan, bukan seluruh perpustakaan.

Analogi: membawa resep yang dipilih untuk menu hari ini, bukan mengangkut seluruh buku masak ke dapur setiap kali memasak.

RAG: kapan hemat, kapan tidak?

Cenderung hemat jika basis pengetahuan besar dan tiap pertanyaan hanya butuh beberapa paragraf terpilih; batas konteks tidak “penuh” oleh dokumen statis.

Belum tentu hemat jika:

  • Cuplikan yang diambil terlalu banyak (retrieval longgar) atau sering ganda antar putaran obrolan.
  • Ada overhead teks: instruksi “wajib kutip sumber”, daftar metadata, format JSON panjang di sekitar cuplikan.
  • Biaya pencarian + embedding ditagih terpisah — hemat di prompt token, tetapi total biaya sistem bisa naik atau turun tergantung arsitektur.

Intinya: RAG menghemat token dengan mengganti “semua dokumen” dengan “cuplikan relevan”; efisiensi sejati bergantung pada kualitas retrieval dan disiplin panjang cuplikan.

Token output dan “batas panjang jawaban”

Selain token masukan, ada token keluaran (output).

Analogi wartawan: Anda meminta “wawancara singkat 3 pertanyaan” vs “laporan investigasi 20 halaman”. Biaya waktu dan halaman berbeda.

Parameter umum: batas maksimum panjang jawaban (sering disebut max tokens / sejenisnya) — seperti batas kata pada esai.

Apa itu tokenisasi (proses memotong teks)?

Tokenisasi = aturan + alat untuk mengubah teks mentah menjadi rangkaian token.

Analogi dapur: sayuran diiris konsisten agar matang merata. Irisan tidak selalu sama dengan “sepotong menu pada piring”.

Mengapa peduli?

  • Menjelaskan mengapa biaya tidak proporsional dengan jumlah kata.
  • Menjelaskan mengapa prompt bahasa Indonesia kadang “lebih boros token” dibanding bahasa tertentu lain — tergantung tokenizer dan model.

Proses tokenisasi secara teknis (ringkas)

Input: string Unicode (teks Anda). Output: rangkaian ID integer dalam kosakata (vocabulary) model — satu ID per token.

Alur umum (konseptual):

  1. Normalisasi — misalnya menyamakan bentuk unicode/spasi agar konsisten.
  2. Pecahan ke subkata — algoritma seperti BPE (Byte-Pair Encoding) atau SentencePiece belajar potongan frekuent dari korpus latihan; hasilnya gabungan kata utuh + fragmen untuk kata jarang.
  3. Peta ke ID — tiap potongan punya indeks tetap; inilah yang “dilihat” jaringan neural sebagai langkah waktu.

Model dilatih dan diinferensikan pada urutan ID yang sama; mengganti tokenizer tanpa menyesuaikan model tidak valid.

BPE & “penggabungan” pasangan byte/karakter

Ide inti BPE: mulai dari huruf (atau byte); secara berulang gabungkan pasangan yang paling sering muncul di korpus hingga terbentuk merge rules (aturan penggabungan) dan daftar potongan panjang.

Contoh ilustratif (bukan tokenizer nyata):

Teks: low — awalnya bisa [l] [o] [w]. Jika korpus sering punya low sebagai satu kesatuan, merge bisa menghasilkan token tunggal low.

Teks: lower — bisa jadi [low] [er] jika merge low sudah ada, lalu er sering mengikuti.

Kata langka atau baru (mis. nama produk) sering jadi beberapa token karena belum pernah “digabung” utuh saat latihan.

Contoh potongan: bahasa Inggris vs Indonesia

Inggris (kata yang sudah sangat umum di korpus latihan barat):

"Hello world"  →  mungkin 2–3 token (tergantung model).

Indonesia / kata panjang / istilah campuran:

"Pemerintah"     →  sering 2+ subtoken.
"tokenisasi"     →  bisa terpecah (bukan kata Inggris dominan di korpus).
"GPT-4o-mini"    →  tanda `-`, angka, huruf sering **dipisah** menjadi beberapa token.

Implikasi teknis: prompt “sama panjangnya” dalam karakter bisa beda jumlah token antar bahasa atau format (JSON rapat vs prosa).

Token khusus & embedding

Tokenizer menambahkan token kontrol, misalnya:

  • BOS (begin of sequence) / EOS (end of sequence) — menandai awal/akhir rangkaian.
  • PAD — pengisi batch (kurang relevan saat inferensi chat tunggal).
  • Role / pemisah chat — pada model chat, ada token atau pola khusus yang memisahkan system / user / assistant.

Contoh konseptual: prompt chat tidak hanya teks Anda mentah, melainkan template yang dibungkus token struktural — sehingga hitungan token di playground bisa sedikit lebih besar dari “copy-paste teks polos”.

“Prompt token” vs “completion token”

Di layanan API, tagihan sering memisahkan:

  • Prompt tokens: semua yang Anda kirim (instruksi + contoh + dokumen ringkas).
  • Completion tokens: teks yang dihasilkan model.

Analogi kafe: Anda bayar pesanan (bahan) + minuman yang disajikan (hasil). Keduanya punya harga per unit.

Ringkas prompt tanpa memangkas maksud

Tips praktis:

  • Gunakan format yang konsisten (mis. label PERTANYAAN:, JAWABAN:) agar model tidak “bingung layout”.
  • Hindari mengulang policy panjang jika sudah ada di basis pengetahuan; cukup referensi singkat.
  • Untuk daftar aturan: prioritaskan 5–10 aturan utama; detail sekunder bisa di tahap berikutnya.

Analogi: briefing rapat — bukan membaca buku teks seluruhnya di slide pertama.

Parameter API: gambaran “panel kontrol”

Parameter adalah setelan pada satu permintaan ke model (melalui API atau panel produk).

Bukan mengganti model secara fundamental; lebih seperti mengatur konsistensi, kreativitas, dan kapan berhenti.

Tiga yang akan kita dalami: temperature, nucleus sampling (top-p), stop sequences.

Parameter di chat (ChatGPT, Gemini, …)

Di antarmuka chat umum, Anda biasanya mengatur hal seperti:

  • Pilihan model (mis. “cepat” vs “paling capable”), lampiran file, instruksi kustom / persona, atau mode khusus (riset, koding, multimodal)—bukan selalu bilangan temperature atau top_p yang terbuka.
  • Banyak produk mengemas perilaku sampling ke bahasa sehari-hari (“lebih presisi”, “lebih kreatif”) atau mengunci sebagian setelan demi konsistensi, keamanan, dan pengalaman satu merek.
  • Stop sequence dan max tokens mentah jarang ditawarkan sebagai kolom isian; pembatasan panjang lebih sering lewat batas paket, alur UI, atau pemotongan otomatis.

Parameter di chat (ChatGPT, Gemini, …)

Analogi: Anda memilih mode berkendara di mobil rental; bukan membuka ECU dan mengubah peta injeksi bahan bakar sendiri.

Implikasi: eksperimen di chat tetap berguna untuk ide dan penyempurnaan prompt, tetapi sulit menjadikan “angka parameter persis” sebagai sumber kebenaran untuk uji formal antar-tim.

API, dashboard, dan perbandingan dengan chat

API (REST/SDK ke OpenAI, Google AI, Azure OpenAI, Vertex AI, Bedrock, …):

  • Tiap permintaan dapat menyertakan parameter numerik (mis. temperature, top_p, max_tokens, stop, penalti)—nilainya tertulis di payload sehingga mudah divariasikan per fitur, dicatat di log, dan direplikasi saat evaluasi atau A/B.

Dashboard / konsol penyedia (playground, deployment, kebijakan):

  • Tempat mengatur default deployment, model yang diizinkan, kuota, filter, kadang template permintaan—cocok untuk standar organisasi dan tim yang tidak menulis kode setiap hari tetapi perlu satu panel kebenaran.

API, dashboard, dan perbandingan dengan chat

Ringkas perbandingan:

  • Transparansi parameter mentah: chat umum sering rendah–sedang; API/dashboard tinggi.
  • Reproduksi uji & audit: chat sulit (UI dan produk berubah); API lebih kuat lewat versi kode + log permintaan.
  • Siapa yang mengontrol: di chat, penyedia produk banyak yang memutuskan “batas aman”; di produk Anda lewat API, tim Anda (dalam batas penyedia layanan).

Praktik umum: menyusun prompt dan persona di chat untuk iterasi cepat, lalu memindahkan pasangan prompt + parameter yang stabil ke API atau template dashboard untuk produksi.

Temperature: dial “kreativitas vs konsistensi”

Intuisi: semakin tinggi temperature, semakin besar peluang model memilih kata/kalimat yang kurang umum — sering terasa lebih “hidup”, tetapi risiko halusinasi atau gaya liar naik.

Analogi musik:

  • Temperature rendah ≈ main sesuai partitur ketat (stabil, kurang kejutan).
  • temperature tinggi ≈ improvisasi jazz (seru, tapi bisa “keluar jalur”).

Contoh penggunaan:

  • Rendah untuk FAQ hukum, angka, prosedur HR, kode pembayaran.
  • Sedang untuk naskah marketing yang perlu variasi terbatas.
  • Tinggi untuk brainstorming ide nama kampanye — dengan pengawas manusia.

Temperature: skenario singkat

Skenario A — kontrak & kepatuhan: jawaban harus konsisten dengan template. Pilih temperature rendah + contoh format.

Skenario B — latihan roleplay sales: variasi lawan bicara membantu latihan. Temperature lebih tinggi bisa membantu, asalkan ada penjaga (moderation, aturan output).

Skenario C — terjemahan harfiah: biasanya rendah agar tidak “kreatif” mengubah makna.

Peringatan: temperature bukan pengganti fakta. Model tetap bisa salah; setelan ini hanya mengubah gaya sampling jawaban.

Sampel ilustratif: temperature (prompt sama)

Catatan: berikut contoh pedagogis — model, versi, dan seed berbeda bisa menghasilkan kalimat lain; yang penting pola perbedaannya.

Prompt (tetap):

Tulis tepat SATU kalimat deskripsi produk untuk headphone ANC "SkyTone Pro",
Bahasa Indonesia, nada formal. Jangan tambah bullet atau paragraf kedua.

Setelan A — temperature rendah (mis. 0,2):

SkyTone Pro dilengkapi peredam bising aktif dan desain ringan untuk pemakaian sehari-hari.

Setelan B — temperature tinggi (mis. 0,9):

SkyTone Pro membungkus suasana kota yang bising dalam senyap yang nyaman—ANC yang siap menemani ritme harian Anda.

Perbedaan tipikal: A kering dan aman; B lebih metafora dan bervariasi, risiko “melewati brief” sedikit lebih besar.

Sampel ilustratif: top-p & kombinasi singkat

Prompt:

Sebutkan 3 manfaat minuman isotonik dalam bentuk DAFTAR NOMOR (1–3), masing-masing maksimal 8 kata.

Top-p ketat (mis. 0,3) + temperature sedang — pilihan kata cenderung “aman” dan mirip pola umum:

  1. Menggantikan cairan tubuh yang hilang saat beraktivitas.
  2. Membantu menjaga keseimbangan elektrolit sederhana.
  3. Praktis dikonsumsi setelah olahraga ringan.

Sampel ilustratif: top-p & kombinasi singkat

Prompt:

Sebutkan 3 manfaat minuman isotonik dalam bentuk DAFTAR NOMOR (1–3), masing-masing maksimal 8 kata.

Top-p lebih longgar (mis. 0,95) + temperature sedang — masih masuk akal, tetapi frasa bisa lebih beragam (kadang lebih kiasan):

  1. Menyegarkan tubuh setelah keringat menguap di lapangan.
  2. Menyokong ritme hidrasi tanpa terasa “berat” di perut.
  3. Teman setia setelah lari sore atau kerja panas.

Intinya: top-p memangkas ekor kata yang sangat tidak mungkin; efeknya sering lebih halus dibanding temperature — bandingkan dengan prompt identik di log evaluasi Anda.

Nucleus sampling (top-p): “menu yang dipangkas”

Top-p (sering disebut nucleus sampling) membatasi pilihan token berikutnya ke kelompok kecil kata yang paling masuk akal menurut model — misalnya hanya yang jumlah probabilitasnya mencapai p (mis. 0.9).

Analogi restoran:

  • Tanpa nucleus: Anda boleh memilih dari seluruh menu dunia (termasuk kombinasi aneh).
  • Dengan nucleus ketat: Anda hanya boleh memilih dari 10 hidangan teratas yang masuk akal hari ini.

Efek praktis: jawaban cenderung koheren dan “aman”, tetapi variasi bisa berkurang.

Top-p vs temperature (cara berpikir tim produk)

Keduanya memengaruhi variasi, tetapi mechanism-nya beda:

  • Temperature mengubah “seberapa tajam distribusi probabilitas” (lebih datar = lebih acak).
  • Top-p memotong ekor distribusi (menyingkirkan pilihan yang sangat tidak mungkin).

Analogi cuaca:

  • Temperature seperti seberapa besar kemungkinan hujan diinterpretasi lebar atau sempit.
  • Top-p seperti membuang prediksi cuaca yang terlalu aneh di pinggiran model.

Praktik: banyak tim memakai temperature sedang + top-p 0.9–0.95 sebagai titik awal, lalu menyesuaikan lewat evaluasi.

Stop sequences: “tanda berhenti” eksplisit

Stop sequence = rangkaian teks yang jika muncul, model menghentikan generasi (seperti titik akhir yang disepakati).

Analogi panggung: sutradara memberi tanda lampu merah — artinya pemain berhenti berbicara, meskipan masih ada improvisasi di kepala.

Contoh kegunaan:

  • Menghentikan jawaban sebelum model menambahkan “Catatan tambahan yang tidak diminta”.
  • Mencegah keluaran berlebihan setelah format JSON selesai (jika pipeline Anda sensitif).

Intinya: ini alat kontrol batas — berguna saat Anda ingin jawaban pendek dan tertutup.

Sampel ilustratif: stop sequence (dengan vs tanpa)

Prompt: “Jawab dalam format: JAWABAN: … lalu baris kosong.”
Model sering menambahkan paragraf penjelas tambahan meski tidak diminta.

Tanpa stop sequence (ilustrasi):

JAWABAN: Paket Anda sedang dalam pengiriman.

Selain itu, jika Anda membutuhkan informasi lebih lanjut, silakan hubungi
layanan pelanggan kami melalui kanal resmi. Kami juga menyarankan untuk
memeriksa status secara berkala di aplikasi.

Dengan stop sequence mis. \n\n setelah baris pertama jawaban (atau string penutup yang disepakati) — generasi berhenti begitu pola itu tercapai:

JAWABAN: Paket Anda sedang dalam pengiriman.

(Teks setelah itu tidak ikut ter-generate.)

Catatan: pilih stop string yang tidak muncul di tengah jawaban sah (mis. jangan memakai titik tunggal jika jawaban bisa berupa daftar).

Stop sequences vs instruksi “cukup sampai sini”

Instruksi bahasa alami kadang dipatuhi, kadang tidak — terutama di bawah sampling agresif.

Stop sequence lebih seperti pagar pembatas fisik ketimbang poster “dilarang masuk”.

Analogi: penjaga gerbang vs papan pengumuman. Keduanya penting; pagar lebih “keras”.

Parameter lain yang sering muncul (sekadar peta jalan)

  • Max tokens / batas panjang: membatasi panjang jawaban (mengontrol biaya & waktu).
  • Frequency / presence penalty (jika ada): mengurangi pengulangan frasa atau topik tertentu — seperti meminta MC acara tidak mengulang lelucon yang sama.

Untuk keputusan bisnis, yang paling sering didiskusikan tetap temperature, top-p, dan stop.

Studi kasus ringkas — “chatbot CS”

Tujuan: jawaban singkat, sopan, mengikuti skrip, minim variasi.

Setelan arah (bukan resep tunggal):

  • temperature rendah
  • top-p sedang–ketat
  • stop sequences untuk mengakhiri setelah bagian “Solusi:”

Metrik bisnis: waktu penyelesaian tiket, escalasi ke manusia, skor kepuasan pelanggan.

Studi kasus ringkas — “asisten ide konten”

Tujuan: banyak variasi, manusia memilih.

Setelan arah:

  • temperature lebih tinggi
  • top-p lebih longgar (dengan filter manusia)
  • tanpa stop yang terlalu ketat agar ide mengalir

Peringatan: semakin kreatif, semakin perlu moderation dan brand guideline.

Evaluasi: mengapa “terasa bagus” tidak cukup?

Evaluasi menjawab: “Apakah perubahan kita benar untuk pengguna dan tujuan bisnis?”

Analogi restoran: rasa enak di dapur uji belum tentu sama dengan kepuasan pengunjung saat sibuk.

Kita ingin bukti yang bisa dibandingkan antar-versi.

Kriteria evaluasi dengan rubrik sederhana

Pilih 3–7 kriteria yang terukur atau skor rubrik jelas, misalnya:

  • Benar secara fakta (untuk domain yang bisa diverifikasi).
  • Mengikuti format (tabel/checklist).
  • Nada sesuai brand (formal/santai).
  • Tidak meminta data sensitif / tidak melanggar policy.
  • Menyelesaikan tugas (mis. “apakah nomor tiket tercantum?”).

Analogi lomba debat: juri memakai rubrik, bukan “suasana hati”.

Versioning: “changelog” untuk prompt dan konfigurasi

Versioning mencatat: apa yang berubah, kapan, siapa, dan mengapa.

Lingkupnya bisa:

  • Teks prompt utama, contoh few-shot, urutan instruksi.
  • Parameter (temperature/top-p/stop).
  • Model atau rilis model (mis. “versi stabil Maret” vs “versi eksperimental”).

Analogi dokumen kontrak: setiap revisi diberi nomor halaman dan riwayat amendemen.

Versioning: contoh entri sederhana

Versi 1.2 — 12 Apr

  • Perubahan: menambahkan larangan memberi diagnosis medis.
  • Alasan: audit risiko.
  • Parameter: temperature 0.2 → 0.1.
  • Hasil evaluasi: pelanggaran policy turun 30% pada set uji 200 kasus.

Manfaat: saat ada regresi, tim bisa kembali ke versi stabil tanpa debat panjang.

Uji A/B: dua resep, satu dapur kontrol

A/B testing membandingkan dua varian (A vs B) pada traffic atau sampel yang mirip.

Analogi ritel: setengah toko memajang poster biru, setengah poster hijau; kita ukur konversi.

Untuk LLM:

  • A: prompt singkat + temperature rendah.
  • B: prompt panjang dengan contoh + temperature sedang.

Metrik contoh: tingkat kelulusan QA internal, waktu edit manusia, rating pengguna.

A/B: aturan main yang adil

  • Acak pemetaan pengguna/sampel agar tidak bias (mis. hanya pengguna marah yang masuk varian B).
  • Satu perubahan besar pada satu waktu — jika A dan B beda model dan beda prompt, sulit tahu pemenangnya karena apa.
  • Durasi & ukuran sampel cukup agar noise kebetulan turun.

Analogi uji obat: kelompok kontrol vs perlakuan harus sebanding.

LLM sebagai juri: “konsultan kedua” yang murah, tapi bias

LLM-as-a-judge meminta model lain (atau model sama dengan prompt berbeda) untuk menilai jawaban dengan rubrik.

Analogi: Anda minta rekan sekretaris merangkum dua proposal — cepat, tetapi rekan itu punya selera pribadi.

Kelebihan: skalabel untuk ribuan jawaban.

Kekurangan: juri LLM bisa memihak gaya tertentu, panjang jawaban, atau urutan presentasi (position bias).

Mitigasi bias pada LLM-as-a-judge

  • Rubrik ketat + skor numerik + contoh anchor (contoh nilai 1 vs 5).
  • Balik urutan kandidat jawaban dan rata-rata skor (mengurangi position bias).
  • Campuran: LLM juri untuk penyaringan awal, manusia untuk sampel acak dan kasus berisiko tinggi.

Analogi: mesin sortir di bandara + pemeriksaan manual acak.

Siklus iterasi yang disarankan (gambaran alur)

  1. Definisikan tugas & risiko (domain tinggi risiko vs rendah risiko).
  2. Baselines: prompt awal + parameter default yang konservatif.
  3. Evaluasi kecil (puluhan kasus) sebelum ratusan kasus.
  4. Satu perubahan → ukur → catat versi.
  5. A/B pada traffic terbatas → jika menang, rollout bertahap.
  6. Audit berkala karena model/vendor bisa berubah diam-diam.

Analogi: pengembangan produk fisik — prototipe, uji lab, uji lapangan, produksi massal.

“Golden set”: kumpulan pertanyaan emas

Golden set = kumpulan pertanyaan/kasus representatif + jawaban referensi atau kriteria penerimaan.

Analogi ujian nasional: bank soal yang disepakati dewan guru.

Manfaat: setiap kali model atau prompt berubah, Anda menjalankan regresi cepat — melihat apakah “murid baru” masih lulus soal lama.

Human-in-the-loop: manusia tetap pemutus akhir

Untuk domain medis, hukum, keuangan, atau keselamatan, LLM sebaiknya mendukang, bukan mengganti profesional bersertifikat.

Analogi autopilot pesawat: pilot tetap bertanggung jawab; autopilot membantu beban kerja.

Checklist diskusi dengan tim engineering

  • Berapa token rata-rata masukan/keluaran pada kasus kami?
  • Context window yang dipakai produk cukup untuk dokumen apa saja?
  • Temperature/top-p/stop untuk tiap use-case sudah ada default dan batas aman?
  • Apakah kami punya golden set + rubrik + versioning?
  • Rencana A/B dan rollback jika rilis buruk?

Kesimpulan

  • Token adalah satuan yang memengaruhi biaya, kecepatan, dan batas konteks — jangan mengira selalu sama dengan kata.
  • Temperature, top-p, dan stop sequences adalah pengatur perilaku sampling dan batas — pilih berdasarkan risiko dan kreativitas yang dibutuhkan.
  • Evaluasi membutuhkan kriteria, data uji, dan disiplin versi; A/B memberi bukti di dunia nyata; LLM juri membantu skala tetapi butuh kendali bias.

Materi berikutnya (pertemuan 5)

Setelah Anda menguasai token, parameter, dan evaluasi, langkah natural berikutnya adalah merakit sistem:

  • Agen & alur multi-langkah: kapan cukup satu panggilan model, kapan perlu loop berpikir–bertindak–mengamati.
  • Tools / function calling: model mengusulkan aksi terstruktur; runtime Anda yang menjalankan dan mengembalikan hasil.
  • Biaya & latensi rantai, kegagalan umum (argumen salah, loop), dan keamanan jalur alat (hak akses, HITL).

Lihat modul “Agen, Alat (Tools), dan Alur Multi-Langkah” di situs materi (berkas llm05).

Referensi arah (untuk melanjutkan mandiri)

  • Dokumentasi penyedia model tentang sampling dan token billing.
  • Bacaan tentang LLM evaluation dan limitations of automated metrics.
  • Praktik prompt versioning di organisasi (template + changelog + akses).

Pertanyaan refleksi

  1. Untuk pekerjaan Anda sehari-hari, domain mana yang harus konservatif pada temperature/top-p?
  2. Kriteria apa yang paling penting di rubrik evaluasi tim Anda — dan apakah sudah terukur?
  3. Versi prompt terakhir yang Anda “tanpa sengaja” ubah — bagaimana Anda akan mencatatnya mulai minggu depan?