Istilah, konsep, dan contoh — Pertemuan ke-0
Setelah materi ini, mahasiswa diharapkan mampu:
LLM adalah model pembelajaran mesin (biasanya berbasis transformer) yang dilatih pada korpus teks sangat besar untuk memprediksi/menghasilkan rangkaian token berikutnya.
“Large” mengacu pada skala parameter (miliaran), data latih, dan sumber daya komputasi — bukan sekadar “bisa bahasa Inggris”.
Contoh perilaku: diberi teks masukan, model mengeluarkan keluaran yang statistiknya menyerupai pola data latih (bukan “memori” seperti database).
Contoh tugas: ringkasan dokumen, terjemahan, bantu menulis kode, menjawab pertanyaan terbuka, chatbot.
Bukan sihir: keluaran adalah prediksi berikutnya yang dirangkai; bisa salah atau mengada-ada.
Model klasik (n-gram): menghitung frekuensi kata berikutnya dari beberapa kata sebelumnya — cepat tetapi kaku.
Model neural (RNN/LSTM dulu, kini dominan Transformer): memetakan sejarah teks ke representasi vektor dan memprediksi token berikutnya.
LLM adalah kelanjutan skala: lebih banyak parameter + lebih banyak data + lebih banyak komputasi → kemampuan emergen seperti mengikuti instruksi kompleks (tidak dijamin selalu benar).
Token adalah unit potongan teks yang diproses model — bisa berupa subkata, kata utuh, atau tanda baca, tergantung tokenizer (mis. BPE, SentencePiece).
Contoh (ilustratif — tokenizer nyata bisa berbeda):
Teks: "Saya makan nasi."
Token mungkin: ["Saya", " makan", " nasi", "."]
atau subkata: ["Say", "a", " makan", " nas", "i", "."]
Mengapa penting: biaya API sering per token; batas context window dihitung dalam token.
Context window = panjang maksimum token masukan + keluaran yang dapat diproses sekaligus dalam satu permintaan (mis. 4K, 128K token — tergantung model).
Contoh: Anda menempel 30 halaman PDF; jika melebihi batas, bagian akhir/awal bisa terpotong atau perlu chunking (dibahas di materi RAG).
Implikasi: LLM tidak melihat “seluruh internet” live dalam satu prompt; ia hanya melihat apa yang Anda (atau sistem) masukkan ke jendela itu.
Contoh satu putaran (chat):
User: Jelaskan apa itu firewall dalam satu kalimat.
Assistant: Firewall adalah ...
Di API chat modern biasanya ada peran:
| Peran | Fungsi singkat |
|---|---|
| System | Aturan global, gaya, batasan kebijakan (instruksi “di belakang layar”). |
| User | Permintaan atau data dari pengguna akhir. |
| Assistant | Jawaban model sebelumnya (untuk melanjutkan percakapan). |
Contoh isi system: “Jawab dalam bahasa Indonesia. Jangan memberi nasihat medis.”
Pre-training: fase latih awal pada teks besar dengan tujuan memodelkan bahasa (mis. memprediksi kata/token berikutnya atau variasi masked language modeling).
Analogi kasar: membaca ensiklopedia raksasa untuk belajar tata bahasa, fakta umum, dan pola teks — tanpa tugas aplikasi spesifik Anda.
Hasilnya sering disebut model dasar (base) yang belum “diarahkan” sopan mengikuti instruksi pengguna.
Fine-tuning: melatih lanjut pada data lebih kecil dan tugas tertentu (mis. format JSON, gaya perusahaan, domain hukum).
Alignment / instruction tuning: melatih agar model mengikuti instruksi dan (idealnya) menolak permintaan berbahaya — sering melibatkan RLHF, DPO, atau teknik serupa.
Contoh perbedaan perilaku: model base mungkin “melanjutkan teks acak”; model chat menjawab pertanyaan dengan gaya asisten.
Contoh prompt ke base (bisa aneh):
User: Apa ibukota Prancis?
(base mungkin melanjutkan:) ... adalah pertanyaan umum. Paris sering disebut ...
Instruct lebih cenderung menjawab langsung: “Ibukota Prancis adalah Paris.”
Inferensi = menjalankan model sudah terlatih untuk menghasilkan keluaran pada masukan baru (beda dari training).
Yang diukur di produksi: latensi (detik sampai jawaban), throughput (token/detik), biaya GPU/TPU, dan kualitas.
Contoh: satu permintaan ke API OpenAI adalah satu sesi inferensi (di sisi penyedia).
Temperature mengatur randomness pada pemilihan token berikutnya (setelah logits di-scale).
Contoh tugas: ringkasan fakta → temperature rendah; brainstorming ide cerita → sedikit lebih tinggi.
Top-k: hanya mempertimbangkan k token dengan skor tertinggi berikutnya.
Top-p (nucleus): mempertimbangkan kumpulan token terkecil yang kumulatif probabilitasnya mencapai ambang \(p\).
Keduanya memangkas ekor distribusi agar keluaran tidak terlalu “aneh” dari token probabilitas sangat rendah.
Praktik: banyak API menggabungkan temperature + top_p; baca preset default penyedia.
\n\nHuman: pada format lama).Contoh: “Jawab maksimal 3 kalimat” di instruksi + max_tokens kecil = kontrol ganda.
Halusinasi: model menghasilkan pernyataan yang plausibel secara bahasa tetapi salah secara faktual atau tidak berdasar pada sumber yang diberikan.
Contoh:
Prompt: Siapa penemu algoritma QuickSort versi tahun 1850?
(Keluaran salah mungkin:) Charles Babbage merancang QuickSort pada 1850 ...
Mitigasi (gambaran): RAG dengan sumber tepercaya, verifikasi manusia, tolak jawab jika tidak yakin (instruksi + desain sistem).
Embedding memetakan teks (atau gambar, kode) ke vektor bilangan real di ruang berdimensi tinggi; teks yang “mirip makna” cenderung dekat dalam jarak kosinus/Euclidean.
Contoh penggunaan: pencarian semantik, klaster dokumen, input ke model klasifikasi, retrieval pada RAG.
Bukan: “pemahaman” manusia; hasil bergantung pada data latih embedder.
Parameter = bobot yang dipelajari dalam jaringan; 7B artinya sekitar 7 miliar bilangan yang disimpan.
Intuisi: lebih banyak parameter sering berarti kapasitas lebih besar, tetapi butuh VRAM lebih besar saat inferensi lokal.
Contoh: menjalankan Llama-3 8B quantized di laptop gaming vs API cloud model 400B+ — trade-off biaya, privasi, latensi.
Transformer memakai mekanisme self-attention agar setiap posisi teks dapat “melihat” posisi lain dalam jendela konteks secara parallel — fondasi hampir semua LLM modern.
Tanpa rumus: attention memberi bobot relevansi antar token untuk konteks kalimat panjang.
Detail arsitektur dibahas di kuliah deep learning; di sini cukup sebagai kosakata saat membaca paper atau dokumentasi.
Untuk aplikasi Anda: uji kasus nyata + rubrik manusia sering lebih relevan daripada skor leaderboard saja.
Multimodal = model yang menerima/lebih dari satu modalitas: teks + gambar, teks + audio, dll.
Contoh: “Jelaskan isi gambar ini” dengan unggahan foto; input diagram untuk diekstrak menjadi tabel.
Istilah VLM (vision-language model) sering dipakai untuk cabang ini.
Contoh risiko: prompt berisi PII atau rahasia perusahaan → perlakukan seperti data sensitif.
Pertemuan ke-0 ini memberi kosakata; materi berikutnya menumpuk teknik dan rekayasa sistem untuk aplikasi LLM.
| Istilah | Arti satu kalimat |
|---|---|
| LLM | Model neural besar yang menghasilkan teks token demi token. |
| Token | Potongan teks yang diproses tokenizer. |
| Context | Semua token dalam satu permintaan (batas = window). |
| Prompt | Masukan Anda ke model. |
| Inference | Menjalankan model untuk jawaban, bukan melatihnya. |
| Fine-tuning | Latih lanjut pada data/tugas spesifik. |
| Istilah | Arti satu kalimat |
|---|---|
| Temperature / top-p | Mengatur variasi vs determinisme sampling. |
| Hallucination | Jawaban meyakinkan tetapi salah/tanpa dasar. |
| Embedding | Vektor representasi teks untuk kemiripan semantik. |
| Transformer | Arsitektur berbasis attention untuk urutan. |
| Multimodal | Input/output lebih dari satu jenis data (teks+gambar, dll.). |
MK Large Language Models 00 - Anggit Wirasto