Pengantar Large Language Models

Istilah, konsep, dan contoh — Pertemuan ke-0

Anggit Wirasto, S.Si., M.Eng.

Tujuan pembelajaran

Setelah materi ini, mahasiswa diharapkan mampu:

  • Mendefinisikan LLM dan membedakannya dari model bahasa klasik secara konsep.
  • Memahami istilah operasional: token, konteks, prompt, inferensi, sampling.
  • Menjelaskan pelatihan vs penjajaran (alignment) pada tingkat gambaran besar.
  • Mengenali halusinasi, embedding, dan model multimodal dengan contoh.
  • Menempatkan materi lanjutan (RAG, prompting) dalam peta topik kuliah.

Apa itu Large Language Model (LLM)?

LLM adalah model pembelajaran mesin (biasanya berbasis transformer) yang dilatih pada korpus teks sangat besar untuk memprediksi/menghasilkan rangkaian token berikutnya.

“Large” mengacu pada skala parameter (miliaran), data latih, dan sumber daya komputasi — bukan sekadar “bisa bahasa Inggris”.

Contoh perilaku: diberi teks masukan, model mengeluarkan keluaran yang statistiknya menyerupai pola data latih (bukan “memori” seperti database).

Contoh LLM yang sering disebut

  • Tutup sumber / layanan: GPT-4, Claude, Gemini (akses lewat web atau API).
  • Terbuka (open weights): Llama, Mistral, Qwen — bisa dijalankan mandiri dengan GPU/memori cukup.

Contoh tugas: ringkasan dokumen, terjemahan, bantu menulis kode, menjawab pertanyaan terbuka, chatbot.

Bukan sihir: keluaran adalah prediksi berikutnya yang dirangkai; bisa salah atau mengada-ada.

Model bahasa: dari n-gram ke neural

Model klasik (n-gram): menghitung frekuensi kata berikutnya dari beberapa kata sebelumnya — cepat tetapi kaku.

Model neural (RNN/LSTM dulu, kini dominan Transformer): memetakan sejarah teks ke representasi vektor dan memprediksi token berikutnya.

LLM adalah kelanjutan skala: lebih banyak parameter + lebih banyak data + lebih banyak komputasi → kemampuan emergen seperti mengikuti instruksi kompleks (tidak dijamin selalu benar).

Token & tokenisasi

Token adalah unit potongan teks yang diproses model — bisa berupa subkata, kata utuh, atau tanda baca, tergantung tokenizer (mis. BPE, SentencePiece).

Contoh (ilustratif — tokenizer nyata bisa berbeda):

Teks: "Saya makan nasi."
Token mungkin: ["Saya", " makan", " nasi", "."]
atau subkata: ["Say", "a", " makan", " nas", "i", "."]

Mengapa penting: biaya API sering per token; batas context window dihitung dalam token.

Context window (jendela konteks)

Context window = panjang maksimum token masukan + keluaran yang dapat diproses sekaligus dalam satu permintaan (mis. 4K, 128K token — tergantung model).

Contoh: Anda menempel 30 halaman PDF; jika melebihi batas, bagian akhir/awal bisa terpotong atau perlu chunking (dibahas di materi RAG).

Implikasi: LLM tidak melihat “seluruh internet” live dalam satu prompt; ia hanya melihat apa yang Anda (atau sistem) masukkan ke jendela itu.

Prompt, completion, dan chat

  • Prompt: teks (atau multimodal) yang Anda berikan sebagai masukan.
  • Completion: keluaran model yang dilanjutkan dari prompt (istilah dari API generatif klasik).
  • Chat: percakapan berantai user ↔︎ assistant; setiap putaran menambah riwayat ke konteks.

Contoh satu putaran (chat):

User: Jelaskan apa itu firewall dalam satu kalimat.
Assistant: Firewall adalah ...

Pesan sistem, pengguna, asisten

Di API chat modern biasanya ada peran:

Peran Fungsi singkat
System Aturan global, gaya, batasan kebijakan (instruksi “di belakang layar”).
User Permintaan atau data dari pengguna akhir.
Assistant Jawaban model sebelumnya (untuk melanjutkan percakapan).

Contoh isi system: “Jawab dalam bahasa Indonesia. Jangan memberi nasihat medis.”

Pre-training (pra-pelatihan)

Pre-training: fase latih awal pada teks besar dengan tujuan memodelkan bahasa (mis. memprediksi kata/token berikutnya atau variasi masked language modeling).

Analogi kasar: membaca ensiklopedia raksasa untuk belajar tata bahasa, fakta umum, dan pola teks — tanpa tugas aplikasi spesifik Anda.

Hasilnya sering disebut model dasar (base) yang belum “diarahkan” sopan mengikuti instruksi pengguna.

Fine-tuning & alignment (penyesuaian)

Fine-tuning: melatih lanjut pada data lebih kecil dan tugas tertentu (mis. format JSON, gaya perusahaan, domain hukum).

Alignment / instruction tuning: melatih agar model mengikuti instruksi dan (idealnya) menolak permintaan berbahaya — sering melibatkan RLHF, DPO, atau teknik serupa.

Contoh perbedaan perilaku: model base mungkin “melanjutkan teks acak”; model chat menjawab pertanyaan dengan gaya asisten.

Model “base” vs “instruct” / chat

  • Base: keluaran = kelanjutan statistik teks; cocok untuk riset atau pipeline khusus.
  • Instruct / chat: dioptimalkan untuk dialog dan instruksi; dipakai di hampir semua aplikasi chat komersial.

Contoh prompt ke base (bisa aneh):

User: Apa ibukota Prancis?
(base mungkin melanjutkan:) ... adalah pertanyaan umum. Paris sering disebut ...

Instruct lebih cenderung menjawab langsung: “Ibukota Prancis adalah Paris.”

Inferensi (inference)

Inferensi = menjalankan model sudah terlatih untuk menghasilkan keluaran pada masukan baru (beda dari training).

Yang diukur di produksi: latensi (detik sampai jawaban), throughput (token/detik), biaya GPU/TPU, dan kualitas.

Contoh: satu permintaan ke API OpenAI adalah satu sesi inferensi (di sisi penyedia).

Sampling: temperature

Temperature mengatur randomness pada pemilihan token berikutnya (setelah logits di-scale).

  • Rendah (mis. 0.2): keluaran lebih deterministik dan konservatif.
  • Tinggi (mis. 1.2): lebih kreatif dan bervariasi; risiko tidak fokus atau “ngelantur” naik.

Contoh tugas: ringkasan fakta → temperature rendah; brainstorming ide cerita → sedikit lebih tinggi.

Top-k dan top-p (nucleus sampling)

Top-k: hanya mempertimbangkan k token dengan skor tertinggi berikutnya.

Top-p (nucleus): mempertimbangkan kumpulan token terkecil yang kumulatif probabilitasnya mencapai ambang \(p\).

Keduanya memangkas ekor distribusi agar keluaran tidak terlalu “aneh” dari token probabilitas sangat rendah.

Praktik: banyak API menggabungkan temperature + top_p; baca preset default penyedia.

Max tokens & stop sequence

  • Max tokens (output): batas panjang keluaran yang dihasilkan (menghemat biaya dan waktu).
  • Stop sequence: string yang jika muncul menghentikan generasi (mis. \n\nHuman: pada format lama).

Contoh: “Jawab maksimal 3 kalimat” di instruksi + max_tokens kecil = kontrol ganda.

Halusinasi (hallucination)

Halusinasi: model menghasilkan pernyataan yang plausibel secara bahasa tetapi salah secara faktual atau tidak berdasar pada sumber yang diberikan.

Contoh:

Prompt: Siapa penemu algoritma QuickSort versi tahun 1850?
(Keluaran salah mungkin:) Charles Babbage merancang QuickSort pada 1850 ...

Mitigasi (gambaran): RAG dengan sumber tepercaya, verifikasi manusia, tolak jawab jika tidak yakin (instruksi + desain sistem).

Embedding (penyematan vektor)

Embedding memetakan teks (atau gambar, kode) ke vektor bilangan real di ruang berdimensi tinggi; teks yang “mirip makna” cenderung dekat dalam jarak kosinus/Euclidean.

Contoh penggunaan: pencarian semantik, klaster dokumen, input ke model klasifikasi, retrieval pada RAG.

Bukan: “pemahaman” manusia; hasil bergantung pada data latih embedder.

Parameter model (skala “besar”)

Parameter = bobot yang dipelajari dalam jaringan; 7B artinya sekitar 7 miliar bilangan yang disimpan.

Intuisi: lebih banyak parameter sering berarti kapasitas lebih besar, tetapi butuh VRAM lebih besar saat inferensi lokal.

Contoh: menjalankan Llama-3 8B quantized di laptop gaming vs API cloud model 400B+ — trade-off biaya, privasi, latensi.

Transformer & perhatian (attention) — gambaran

Transformer memakai mekanisme self-attention agar setiap posisi teks dapat “melihat” posisi lain dalam jendela konteks secara parallel — fondasi hampir semua LLM modern.

Tanpa rumus: attention memberi bobot relevansi antar token untuk konteks kalimat panjang.

Detail arsitektur dibahas di kuliah deep learning; di sini cukup sebagai kosakata saat membaca paper atau dokumentasi.

Benchmark & evaluasi (istilah)

  • MMLU, GSM8K, HumanEval, dll.: kumpulan soal uji untuk mengukur pengetahuan umum, matematika, atau kemampuan kode.
  • BLEU / ROUGE: metrik overlap n-gram untuk terjemahan/ringkasan (banyak dipakai riset, tidak sempurna untuk kualitas semantik).

Untuk aplikasi Anda: uji kasus nyata + rubrik manusia sering lebih relevan daripada skor leaderboard saja.

Multimodal

Multimodal = model yang menerima/lebih dari satu modalitas: teks + gambar, teks + audio, dll.

Contoh: “Jelaskan isi gambar ini” dengan unggahan foto; input diagram untuk diekstrak menjadi tabel.

Istilah VLM (vision-language model) sering dipakai untuk cabang ini.

API, kuota, dan keamanan operasional

  • API key: kredensial akses; harus rahasia, tidak di-commit ke Git.
  • Rate limit: batas permintaan per menit/hari.
  • Logging: penyedia bisa menyimpan prompt untuk pelatihan kecuali Anda memilih opsi privasi (baca kebijakan).

Contoh risiko: prompt berisi PII atau rahasia perusahaan → perlakukan seperti data sensitif.

RAG, prompting, evaluasi, dan sistem — ke mana lanjutannya?

  • RAG (pertemuan 2): menambahkan dokumen eksternal ke konteks agar jawaban berpaut pada sumber.
  • Prompting (pertemuan 3): merancang instruksi, format, dan contoh agar keluaran stabil.
  • Token & evaluasi (pertemuan 4): biaya/token, parameter API, dan bukti perbaikan (golden set, A/B).
  • Agen & tools (pertemuan 5): LLM dalam alur multi-langkah dengan pemanggilan alat terkontrol.

Pertemuan ke-0 ini memberi kosakata; materi berikutnya menumpuk teknik dan rekayasa sistem untuk aplikasi LLM.

Glosarium cepat (A–Z ringkas)

Istilah Arti satu kalimat
LLM Model neural besar yang menghasilkan teks token demi token.
Token Potongan teks yang diproses tokenizer.
Context Semua token dalam satu permintaan (batas = window).
Prompt Masukan Anda ke model.
Inference Menjalankan model untuk jawaban, bukan melatihnya.
Fine-tuning Latih lanjut pada data/tugas spesifik.

Glosarium cepat (lanjutan)

Istilah Arti satu kalimat
Temperature / top-p Mengatur variasi vs determinisme sampling.
Hallucination Jawaban meyakinkan tetapi salah/tanpa dasar.
Embedding Vektor representasi teks untuk kemiripan semantik.
Transformer Arsitektur berbasis attention untuk urutan.
Multimodal Input/output lebih dari satu jenis data (teks+gambar, dll.).

Ringkasan

  1. LLM memprediksi token berikutnya pada skala besar; istilah token dan context window mengatur biaya dan batas masukan.
  2. Pre-training vs fine-tuning/alignment menjelaskan dari mana perilaku “asisten” berasal.
  3. Sampling (temperature, top-p) dan max tokens mengontrol gaya dan panjang keluaran.

Ringkasan

  1. Halusinasi adalah risiko inheren; embedding mendukung pencarian dan RAG.
  2. Transformer adalah fondasi arsitektur; multimodal memperluas jenis masukan.
  3. Materi berikutnya: RAG → prompting → token & evaluasi → agen/tools & alur multi-langkah (urutan di situs kuliah).

Referensi untuk mendalami

  • Vaswani et al. — Attention Is All You Need (transformer asli).
  • Devlin et al. — BERT; Brown et al. — GPT-3 (few-shot); literatur scaling laws (Kaplan et al.).
  • Dokumentasi resmi penyedia (OpenAI, Anthropic, Google, Hugging Face) — glosarium API dan panduan inferensi.
  • Tulisan survei terbaru tentang LLM di arXiv untuk istilah yang terus bertambah (MoE, long context, dll.).