Mekanisme, arsitektur, dan rekayasa — Pertemuan ke-1
Setelah materi ini, mahasiswa diharapkan mampu:
Prasyarat: pertemuan ke-0 (kosakata). Materi ini tidak mengulang daftar istilah; fokus pada mengapa dan bagaimana di balik perilaku LLM.
Pada setiap langkah \(t\), model menghitung distribusi bersyarat:
\[ P(x_t \mid x_1,\ldots,x_{t-1}) \]
Prosedur: mulai dari prompt sebagai token awal; sampel atau pilih satu token berikutnya; gabungkan ke prefiks; ulang sampai EOS atau batas panjang.
Contoh alur (diskrit):
Prefiks: [token awal] + "Hari" + "ini"
→ model keluarkan distribusi atas token berikutnya
→ pilih "cerah" (greedy atau sampling)
Prefiks: ... "cerah" → langkah berikutnya, dst.
Ini menjelaskan mengapa kesalahan bisa menyebar: token salah di awal mengubah kondisi seluruh sisa teks.
Logit = skor mentah per token dalam kosakata \(V\) (ukuran bisa puluh ribu–ratus ribu). Softmax mengubah logit menjadi probabilitas yang jumlahnya 1.
Greedy decoding: pilih \(\arg\max\) token berikutnya — cepat, deterministik (tanpa noise lain), tetapi bisa suboptimal global untuk kalimat utuh.
Stochastic decoding: ambil contoh dari distribusi (setelah temperature / top-p seperti di pertemuan 0) — lebih bervariasi.
Beam search mempertahankan beberapa hipotesis prefiks teratas secara paralel (bukan hanya satu greedy).
Kapan dipakai: dulu umum di mesin terjemahan klasik; untuk LLM chat kurang dominan dibanding sampling, tetapi masih muncul di pipeline yang mengutamakan skor likelihood.
Trade-off: biaya komputasi naik dengan lebar beam.
Likelihood teks menurut model ≈ probabilitas model menghasilkan urutan token itu (produk bersyarat, sering dalam log-probabilitas untuk stabilitas numerik).
Perplexity (PP) = ukuran “terkejut” model: $ (-P(x_t|)) $ — lebih rendah biasanya berarti model lebih cocok dengan data uji (hati-hati: bukan sama dengan kualitas manusia).
Contoh pemakaian: membandingkan dua model bahasa pada korpus hold-out dengan PP; tidak otomatis memprediksi keselamatan atau kebenaran fakta.
| Jenis | Contoh arah | Ciri | Tugas tipis |
|---|---|---|---|
| Encoder-only | BERT | Melihat dua arah konteks sekaligus | Klasifikasi, QA ekstraktif dengan span |
| Decoder-only | GPT, Llama | Kausal — hanya lihat token sebelumnya | Generasi teks, chat |
| Encoder–decoder | T5, BART | Encoder merangkum; decoder menghasilkan | Terjemahan, ringkasan klasik |
LLM populer untuk chat hampir selalu decoder-only (kadang dengan blok tambahan untuk gambar).
Decoder-only memakai mask agar posisi \(t\) tidak dapat mengintip token masa depan saat latih dan inferensi.
Konsekuensi: model dilatih konsisten dengan generasi kiri-ke-kanan; berbeda dari BERT yang melihat seluruh kalimat untuk mengisi mask.
Byte Pair Encoding (BPE) membangun kosakata dengan menggabungkan pasangan simbol yang paling sering berdampingan dalam korpus, berulang kali.
Mengapa subkata: mengurangi token “OOV” (out-of-vocabulary) untuk kata jarang atau typo; bahasa morfologis atau istilah teknis sering jadi beberapa token.
Bedanya dengan pertemuan 0: di sini fokus proses merge, bukan sekadar contoh potongan string — tokenizer konkret (Llama, GPT) punya tabel merge sendiri.
Model chat memakai token khusus: awal/akhir urutan, pemisah peran, atau penanda alat (tool).
Contoh pola (ilustratif, bervariasi per model):
<s>[INST] <<SYS>>{system}<</SYS>>\n{user} [/INST]
Di ekosistem Hugging Face, banyak model menyertakan chat template (sering format Jinja) agar string percakapan dibentuk konsisten dengan latihan.
Kesalahan umum: mengirim format chat vendor A ke model B → jawaban buruk meski model “pintar”.
Transformer butuh tahu urutan token; dilengkapi positional encoding.
RoPE (Rotary Position Embedding) dipakai banyak LLM modern: memutar representasi menurut posisi sehingga relatif posisi tercermin dengan cara yang cocok untuk panjang konteks tertentu.
Detail matematis dilimpahkan ke kuliah DL; yang penting di sini: panjang konteks dan ekstrapolasi posisi adalah isu desain, bukan sekadar “parameter lebih besar”.
Penelitian menunjukkan model bisa kurang andal memakai informasi yang berada di tengah konteks sangat panjang dibanding di awal/akhir — meski teknis masih “muat” di jendela.
Implikasi rekayasa: taruh instruksi kritis atau fakta penting di awal/akhir yang eksplisit; jangan mengandalkan satu teks panjang tanpa struktur; pertimbangkan RAG selektif (materi berikutnya).
Setiap langkah decoder menghitung Key dan Value per kepala perhatian untuk token sebelumnya. KV-cache menyimpan nilai itu agar langkah berikutnya tidak mengulang seluruh prefiks dari nol.
Tanpa KV-cache: kompleksitas per langkah naik drastis seiring panjang prefiks.
Implikasi: layanan API mengenakan biaya menurut token juga karena beban GPU/TPU; konteks panjang + keluaran panjang = lebih mahal dan lebih lambat.
Kuantisasi menurunkan presisi bobot/aktivasi (mis. FP16 → INT8 → INT4) agar model muat di VRAM lebih kecil dengan sedikit degradasi.
Format seperti GGUF (llama.cpp) mempopulerkan menjalankan model di laptop dengan CPU/GPU terbatas.
Trade-off: kualitas, kecepatan, dan kompatibilitas hardware; model terkuantisasi tidak selalu identik dengan FP16 referensi.
Pada rezim tertentu, loss pelatihan turun secara teratur seiring naiknya compute, data, dan ukuran model (lihat mis. Kaplan et al. untuk GPT-style).
Bukan ramalan sempurna: transfer ke kemampuan downstream, keselamatan, dan efisiensi inferensi tidak selalu mengikuti kurva yang sama.
Berguna untuk memahami mengapa industri memburu cluster GPU besar — bukan untuk menghafal angka eksponen.
Emergent abilities: beberapa kemampuan (mis. pola chain-of-thought pada skala tertentu) tampak muncul tiba-tiba saat model membesar (Wei et al.).
Kritik (Schaeffer et al.): sebagian “lonjakan” bisa dijelaskan oleh metrik pengukuran dan threshold, bukan necessarily transisi fisika magis.
Pelajaran: jangan hanya mengandalkan narasi marketing “skala = sihir”; uji pada tugas Anda.
Model besar dapat menghafal fragmen latihan; benchmark populer bisa bocor ke korpus latih.
Konsekuensi: skor tinggi di uji tertentu tidak menjamin performa di domain baru; canary strings dipakai riset untuk mendeteksi memorisasi.
Untuk praktisi: anggap model sebagai komponen yang harus diverifikasi di data produksi.
Logit bias: menambah skor ke token tertentu (mis. paksa format JSON, hindari token terlarang) sebelum softmax.
Seed: pada beberapa stack, seed + temperature 0 (atau greedy) mendekati deterministik; pada layanan cloud, konsistensi penuh tidak selalu dijamin (load balancing, versi model).
Praktik: jika butuh keluaran tepat terulang, desain pipeline + batasi sampling.
MoE mengganti sebagian lapisan feed-forward dengan beberapa “ahli”; untuk satu token hanya subset ahli yang diaktifkan (sparse).
Manfaat: kapasitas besar dengan aktivasi lebih kecil per langkah (efisiensi latih/infer relatif).
Contoh keluarga: Mixtral, beberapa varian besar penyedia cloud — istilah ini sering muncul di release note model.
Selain teks web/manusia, pelatihan modern sering memakai data sintetis (model lain menulis, filter kualitas, pipeline augmentasi).
Risiko: model collapse jika model dilatih berulang pada keluaran model tanpa diversitas; bias dan kesalahan sistemik dapat diperkuat.
Relevansi dengan LLM: memahami bahwa “data latih” bukan hanya Wikipedia mentah.
MK Large Language Models 01 - Anggit Wirasto