Skip to main content

Tokenisasi & Halusinasi LLM

Modul terkait: llm04_tokenisasi_parameter_evaluasi_slide.qmd, llm00_intro_slide.qmd
Mata kuliah: Large Language Models
Perkiraan durasi membaca: 25–35 menit (disesuaikan kecepatan dan jeda tanya jawab)


Pembukaan

Banyak orang sudah pernah memakai ChatGPT, Gemini, atau chatbot sejenis. Pertanyaannya datang dalam bentuk kalimat biasa — bahasa manusia. Namun di balik layar, komputer tidak “membaca” kalimat seperti kita. Teks harus dipecah dulu menjadi potongan-potongan kecil yang disebut token, baru model bisa memprosesnya.

Materi ini membahas dua hal yang sering membingungkan pemula, tetapi sangat penting untuk dipahami sebelum memakai LLM secara serius: proses tokenisasi (bagaimana teks Anda “dipotong-potong”) dan halusinasi (mengapa AI kadang terdengar meyakinkan padahal isinya salah).

Keduanya saling berkaitan. Tokenisasi menjelaskan mengapa biaya, batas panjang, dan keanehan teknis tertentu muncul. Halusinasi menjelaskan mengapa jawaban yang terdengar lancar dan profesional belum tentu benar — dan apa yang bisa Anda lakukan sebagai pengguna biasa.


Bagian 1 — Mengapa LLM tidak “membaca kata” seperti manusia?

Bayangkan Anda mengetik pesan WhatsApp: “Besok saya mau ke Bandung.” Bagi manusia, itu satu kalimat utuh dengan makna jelas. Bagi LLM, kalimat itu harus diubah menjadi rangkaian angka — ID token — yang mewakili potongan teks.

Analogi sederhana: tokenisasi seperti memotong bahan di dapur sebelum dimasak. Anda tidak memasukkan seikat bayam utuh ke dalam panci; bayam diiris agar matang merata. LLM pun demikian — teks diiris menjadi potongan konsisten agar “matang” di dalam jaringan neural.

Yang perlu diingat sejak awal: satu token tidak selalu sama dengan satu kata.

Contoh untuk orang awam:

  • Kata pendek “halo” mungkin jadi 1 token.
  • Kata panjang “Pemerintah” bisa jadi 2 token atau lebih, tergantung model.
  • Tanda baca seperti titik, koma, atau tanda tanya sering jadi token sendiri.
  • Angka, emoji, atau kode seperti GPT-4o-mini sering terpecah menjadi beberapa token karena kombinasi huruf, angka, dan simbol.

Jadi, jika Anda berpikir “saya mengetik 100 kata, berarti model memproses 100 satuan” — itu belum tentu benar. Model memproses token, bukan kata.


Bagian 2 — Apa itu token, dengan bahasa sehari-hari?

Token adalah potongan teks terkecil yang dipakai model sebagai satuan kerja. Token bisa berupa:

  • satu kata pendek (“makan”),
  • sebagian dari kata panjang (“isasi” dari “tokenisasi”),
  • tanda baca (“.”, “?”),
  • bahkan potongan kata asing atau istilah teknis yang jarang muncul di data latihan model.

Analogi koper di bandara: maskapai menimbang bagasi dalam kilogram, bukan “jumlah baju”. Demikian pula, penyedia layanan LLM sering menagih per token, bukan per “jumlah kata” atau “jumlah kalimat”.

Contoh nyata untuk pemula:

Anda meminta chatbot merangkum artikel berita 800 kata. Di layar, biaya atau batas penggunaan mungkin tertulis “12.000 token terpakai”. Artinya teks masukan plus jawaban yang dihasilkan sudah dihitung dalam satuan token — dan jumlahnya bisa lebih besar atau lebih kecil dari jumlah kata yang Anda kira.


Bagian 3 — Proses tokenisasi: dari teks ke angka

Tokenisasi adalah proses mengubah teks mentah menjadi rangkaian token, lalu menjadi angka ID yang dipahami model. Alurnya secara konseptual:

  1. Normalisasi — teks diseragamkan dulu (spasi, huruf besar/kecil, karakter unicode) agar pemotongannya konsisten.
  2. Pemecahan menjadi subkata — algoritma seperti BPE (Byte-Pair Encoding) atau SentencePiece memotong teks berdasarkan pola yang sering muncul di data latihan model.
  3. Pemetaan ke ID — setiap potongan teks punya nomor indeks tetap. Inilah yang “dilihat” model: bukan huruf, melainkan urutan angka.

Analogi puzzle: bayangkan kotak berisi potongan puzzle dengan ukuran bervariasi. Kata yang sering muncul di dunia (seperti “the” dalam bahasa Inggris) punya potongan puzzle utuh. Kata langka atau nama baru harus dirakit dari potongan kecil-kecil.

Contoh ilustratif (bukan hasil tokenizer nyata)

Teks: “low”
Awalnya bisa dipecah: [l] [o] [w].
Setelah model belajar dari jutaan teks, potongan “low” mungkin sudah sering digabung jadi satu token.

Teks: “lower”
Bisa jadi: [low] [er] — karena “low” sudah dikenal, dan “er” sering menempel di banyak kata Inggris.

Teks: “tokenisasi” (bahasa Indonesia)
Kemungkinan terpecah menjadi beberapa token, misalnya [token] [isasi] atau lebih banyak lagi — karena kata ini tidak sepopuler “hello” di data latihan model internasional.

Teks: “Jalan Sudirman No. 12, Jakarta”
Angka, titik, koma, dan nama proper sering menambah jumlah token dibanding kalimat naratif sederhana dengan panjang serupa.

Mengapa proses ini penting bagi pengguna biasa?

Pertama, biaya. Layanan berbayar seperti API OpenAI, Anthropic, atau Google biasanya menagih per token masukan (input) dan token keluaran (output). Prompt yang “terasa pendek” bisa lebih mahal jika banyak token tersembunyi — misalnya JSON rapat, daftar panjang, atau teks berbahasa Indonesia yang terpecah banyak.

Kedua, batas panjang. Model punya jendela konteks (context window) — batas maksimum token yang muat dalam satu percakapan. Analogi: meja kerja berukuran tetap. Jika Anda menumpuk terlalu banyak dokumen, yang paling lama atau paling bawah bisa “terdorong keluar” dari jangkauan model.

Ketiga, perbedaan antarbahasa. Prompt dengan jumlah karakter sama bisa punya jumlah token berbeda antara bahasa Indonesia, Inggris, atau campuran kode. Jangan heran jika teks Indonesia terasa “lebih boros” pada model yang dilatih dominan pada korpus barat.


Bagian 4 — Token masukan vs token keluaran

Saat Anda chat dengan LLM, ada dua arus token:

Token masukan (prompt tokens) — semua yang Anda kirim: pertanyaan, instruksi, dokumen yang ditempel, riwayat obrolan sebelumnya.

Token keluaran (completion tokens) — teks yang ditulis model sebagai jawaban.

Analogi kafe: Anda bayar bahan pesanan dan minuman yang disajikan. Keduanya dihitung terpisah.

Contoh untuk orang awam:

Situasi Token masukan (perkiraan) Token keluaran
“Apa ibukota Prancis?” Sedikit (pertanyaan singkat) Sedikit (jawaban singkat)
“Ringkas artikel 10 halaman ini” + lampiran PDF Banyak Sedang (tergantung panjang ringkasan)
Obrolan panjang 30 putaran Sangat banyak (riwayat ikut terbawa) Terakumulasi dari setiap jawaban

Tips praktis tanpa perlu jadi programmer:

  • Ajukan pertanyaan to the point jika tidak perlu konteks panjang.
  • Jangan tempel seluruh dokumen jika cukup cuplikan relevan saja.
  • Mulai obrolan baru jika topik sudah berganti — riwayat lama ikut “memakan” token.

Bagian 5 — Contoh tokenisasi untuk orang awam (perbandingan)

Bayangkan tiga orang mengetik prompt dengan panjang karakter hampir sama, tetapi jumlah token bisa berbeda:

Prompt A (prosa sederhana):
“Tolong jelaskan cara menanam tomat di pot.”
→ Relatif sedikit token; kata-kata umum, struktur kalimat standar.

Prompt B (daftar + format kaku):
“1. Nama tanaman: tomat. Media: pot 30 cm. Frekuensi siram: 2x/hari”
→ Angka, titik dua, baris baru, dan simbol sering menambah token.

Prompt C (campuran Indonesia–Inggris + istilah):
“Buatkan SQL query untuk filter user dengan status active di table users.”
→ Kata “SQL”, “query”, “filter”, “active”, “table”, “users” bisa terpecah berbeda-beda.

Kesimpulan sederhana: jumlah kata ≠ jumlah token. Untuk memperkirakan biaya atau batas, gunakan fitur “token counter” di playground API penyedia layanan — jangan menebak dari jumlah kata saja.


Bagian 6 — Apa itu halusinasi?

Halusinasi (hallucination) dalam konteks LLM berarti model menghasilkan pernyataan yang terdengar meyakinkan dan lancar secara bahasa, tetapi salah secara faktual, tidak bisa diverifikasi, atau tidak didukung oleh sumber yang seharusnya menjadi acuan.

Ini bukan “bug” sederhana seperti aplikasi yang crash. Halusinasi muncul karena cara kerja LLM: model dilatih untuk memprediksi teks berikutnya yang paling masuk akal secara statistik, bukan untuk memverifikasi kebenaran seperti jurnalis atau ilmuwan.

Analogi mahasiswa ujian essay tanpa buku: dia bisa menulis paragraf yang rapi, memakai istilah yang terdengar pintar, dan struktur kalimat sempurna — padahal sebagian fakta yang disebutkan dikarang karena tidak punya catatan di tangan.

Probabilitas: bagaimana model “memilih” kata berikutnya

Di balik layar, LLM pada dasarnya memainkan permainan tebak-tebakan berbobot. Setiap kali satu token (potongan teks) sudah ditulis, model menghitung seberapa mungkin token-token kandidat berikutnya muncul — inilah probabilitas. Token dengan peluang tertinggi sering dipilih; token dengan peluang rendah jarang dipilih, kecuali pengaturan “kreativitas” (temperature) dinaikkan.

Analogi autocomplete di ponsel: ketik “Selamat pagi, semoga…” — keyboard Anda mungkin menawarkan “hari Anda menyenangkan” sebagai saran utama. Itu karena frasa itu sering muncul di pesan sebelumnya. LLM bekerja serupa, tetapi skalanya jauh lebih besar dan melibatkan jutaan pola dari data latihan.

Contoh sederhana (angka ilustratif, bukan output model nyata):

Anda mengetik: “Ibukota Indonesia adalah…”

Kandidat token berikutnya Probabilitas (perkiraan)
Jakarta sangat tinggi (~85%)
Surabaya rendah (~3%)
Bandung rendah (~2%)
token lain sisanya

Model hampir pasti melanjutkan dengan “Jakarta” — karena di data latihnya, kombinasi “ibukota Indonesia” + “Jakarta” muncul sangat sering. Ini bukti bahwa model “tahu” fakta umum yang sering tercatat.

Namun probabilitas juga menjelaskan mengapa halusinasi terjadi. Pertimbangkan prompt: “Penemu algoritma QuickSort pada tahun 1850 adalah…”

Di data latih, frasa “penemu” + “algoritma” + “QuickSort” hampir selalu diikuti nama Tony Hoare dan tahun 1960-an — bukan 1850. Tetapi karena prompt Anda memaksa tahun 1850, model tetap harus melanjutkan teks. Kandidat berikutnya mungkin terlihat seperti:

Kandidat kelanjutan Probabilitas (perkiraan)
menolak premis / “tidak ada” sedang (~25%)
Charles Babbage (tokoh abad 19, sering muncul di teks sejarah) sedang (~20%)
Tony Hoare (benar secara faktual, tapi “bentrok” dengan 1850) rendah (~10%)
nama tokoh lain yang terdengar meyakinkan sisanya

Model tidak memilih yang “benar” — model memilih yang paling masuk akal secara bahasa diberi teks sebelumnya. Jika “Charles Babbage” terdengar cocok dengan pola “tahun 1850” + “penemu”, probabilitasnya bisa menang meskipun faktual salah. Inilah inti halusinasi: kelancaran kalimat ≠ kebenaran isi.

Satu contoh lagi, lebih dekat ke kehidupan sehari-hari. Prompt: “Restoran Sate Pak Budi di Jalan Diponegoro buka jam…”

Model tidak punya jadwal restoran itu di memori. Tetapi ia “tahu” bahwa kalimat “buka jam” di data latih sering diikuti angka seperti “10.00”, “11.00”, atau “08.00”. Probabilitas token angka jam operasional tinggi, probabilitas “saya tidak tahu” lebih rendah — terutama jika prompt tidak meminta model untuk ragu. Hasilnya: model menulis jam buka yang terdengar wajar, padahal bisa saja tebak-tebakan.

Pelajaran singkat: LLM adalah mesin probabilitas teks, bukan mesin kebenaran. Semakin spesifik dan langka pertanyaan Anda, semakin besar ruang bagi token “meyakinkan tapi salah” untuk menang — kecuali Anda memberi sumber, meminta model menolak jika tidak yakin, atau memverifikasi sendiri jawabannya.

Ciri jawaban yang mungkin halusinasi

  • Menyebut nama, tanggal, nomor, atau kutipan spesifik tanpa Anda minta sumber.
  • Memberi referensi buku, paper, atau URL yang terdengar valid tetapi tidak ada saat dicek.
  • Menjawab pertanyaan mustahil atau aneh dengan nada yakin, alih-alih menolak atau ragu.
  • Merangkum dokumen yang Anda berikan dengan detail tambahan yang tidak ada di teks asli.

Bagian 7 — Contoh halusinasi untuk orang awam

Contoh 1: Fakta sejarah yang salah

Anda tanya:
“Siapa yang menemukan algoritma QuickSort pada tahun 1850?”

Masalah: QuickSort ditemukan oleh Tony Hoare pada abad ke-20 — bukan tahun 1850. Pertanyaannya sudah mengandung premis salah.

Jawaban halusinasi (contoh):
“Charles Babbage merancang algoritma QuickSort pada 1850 sebagai bagian dari mesin analitiknya…”

Kalimatnya terdengar akademis. Ada nama tokoh sejarah (Charles Babbage). Ada tahun. Tapi isinya fiktif — model “melanjutkan pola” pertanyaan alih-alih menolak premis yang salah.

Yang seharusnya diharapkan: model menolak atau koreksi: QuickSort bukan dari 1850; algoritma ini dikenal dari abad ke-20.


Contoh 2: Kutipan atau sumber palsu

Anda tanya:
“Sebutkan 3 paper ilmiah tentang efek kopi terhadap produktivitas kerja, lengkap dengan DOI.”

Jawaban halusinasi (contoh):
Model menulis daftar paper dengan judul meyakinkan, nama jurnal bergengsi, dan DOI yang terformat benar — tetapi saat Anda buka DOI-nya, halaman tidak ditemukan.

Ini sangat berbahaya bagi mahasiswa atau profesional yang copy-paste daftar pustaka tanpa cek manual.

Pelajaran: jangan percaya daftar referensi dari LLM tanpa verifikasi independen (Google Scholar, DOI resmi, perpustakaan kampus).


Contoh 3: Detail personal atau lokal yang dikarang

Anda tanya:
“Apa jam operasional Restoran X di Jalan Y, Surabaya?”

Jawaban halusinasi (contoh):
“Restoran X buka setiap hari pukul 10.00–22.00 WIB, kecuali hari Selasa libur.”

Model tidak punya akses real-time ke jam buka restoran lokal kecuali terhubung ke tools pencarian web yang mutakhir — dan even then, data bisa usang. Jawaban di atas mungkin benar, mungkin salah; model sering mengisi kekosongan dengan jam operasional “typical” yang terdengar masuk akal.

Pelajaran: untuk informasi faktual yang berubah-ubah (jam buka, harga, promo, jadwal), cek langsung ke sumber resmi — website, Google Maps, telepon.


Contoh 4: Merangkum dokumen dengan tambahan fiktif

Anda beri: kontrak kerja 5 halaman, lalu minta: “Apakah ada klausul cuti melahirkan 6 bulan?”

Jawaban halusinasi (contoh):
“Ya, Pasal 12 ayat 3 menyatakan cuti melahirkan 6 bulan penuh dengan gaji 100%.”

Padahal di dokumen asli tidak ada pasal semacam itu — model “menyimpulkan” dari pengetahuan umum tentang cuti melahirkan di Indonesia.

Pelajaran: untuk dokumen hukum, medis, atau keuangan, baca sendiri atau minta review ahli. Jangan mengandalkan LLM sebagai otoritas final.


Bagian 8 — Mengapa halusinasi terjadi?

Tanpa masuk ke matematika, ada beberapa penyebab utama:

Pertama, tujuan latihan model. LLM dilatih memprediksi kata berikutnya dari teks sebelumnya. Tugasnya bukan “cari fakta di internet”, melainkan “lanjutkan pola yang paling mungkin”.

Kedua, pengetahuan terbatas dan usang. Model hanya “tahu” apa yang ada di data latihnya sampai tanggal cutoff. Peristiwa setelah itu, harga terbaru, atau kebijakan baru bisa tidak ada — tapi model tetap bisa menjawab dengan gaya yakin.

Ketiga, prompt yang memaksa jawaban. Pertanyaan seperti “Jelaskan secara detail meskipun tidak yakin” atau “Jangan katakan tidak tahu” menaikkan risiko halusinasi.

Keempat, parameter kreativitas tinggi. Pengaturan seperti temperature tinggi membuat model lebih berani memilih kata-kata yang kurang umum — jawaban terasa lebih hidup, tetapi risiko ngawur naik.

Kelima, tidak ada grounding. Jika model tidak diberi sumber tepercaya (dokumen, database, hasil pencarian), ia mengandalkan “ingatan statistik” dari latihan — yang bisa salah atau tidak lengkap.


Bagian 9 — Tokenisasi dan halusinasi: hubungannya

Kedua topik ini tampak terpisah, tetapi saling berkaitan dalam praktik:

  • Prompt terlalu panjang (banyak token) bisa membuat model kehilangan fokus pada bagian penting dokumen — risiko halusinasi saat merangkum naik.
  • Prompt terlalu pendek tanpa konteks cukup memaksa model mengisi sendiri — lagi-lagi risiko halusinasi.
  • Riwayat obrolan panjang memakan token; model bisa “lupa” instruksi awal Anda dan mulai mengarang detail baru.
  • Bahasa Indonesia yang terpecah banyak token berarti Anda punya “anggaran” konteks lebih sempit untuk dokumen panjang — perencanaan prompt jadi lebih penting.

Intinya: kelola token dengan bijak (cukup konteks, tidak berlebihan) dan jangan equate kelancaran bahasa dengan kebenaran.


Bagian 10 — Apa yang bisa dilakukan pengguna awam?

Anda tidak perlu jadi engineer untuk mengurangi risiko. Beberapa kebiasaan sederhana:

Untuk tokenisasi:

  1. Tulis prompt jelas dan ringkas — hindari pengulangan policy panjang.
  2. Tempel cuplikan relevan, bukan seluruh dokumen, jika tidak perlu.
  3. Mulai obrolan baru saat ganti topik agar riwayat tidak memakan token.
  4. Jika memakai layanan berbayar, cek perkiraan token di dashboard penyedia sebelum produksi skala besar.

Untuk halusinasi:

  1. Verifikasi fakta penting — terutama nama, tanggal, angka, hukum, kesehatan, dan keuangan.
  2. Minta model mengutip bagian dokumen yang Anda berikan, bukan “mengingat” dari luar.
  3. Ajukan pertanyaan terbuka dan jujur: “Jika tidak yakin, katakan tidak tahu.”
  4. Untuk informasi mutakhir, gunakan fitur pencarian web (jika tersedia) atau cek sumber resmi sendiri.
  5. Jangan gunakan LLM sebagai pengganti dokter, lawyer, atau accountant — gunakan sebagai asisten drafting yang tetap perlu review manusia.

Bagian 11 — Skenario lengkap: dari prompt sampai evaluasi

Bayangkan Ibu Rina, pemilik toko kue, ingin membuat caption Instagram tentang promo lebaran. Ia memakai chatbot gratis.

Langkah 1 — Prompt awal (boros token):
Ia menempel seluruh catatan resep 2 halaman plus instruksi panjang tentang gaya bahasa. Token masukan membengkak; biaya API (jika berbayar) naik.

Langkah 2 — Prompt diperbaiki:
“Buat 3 caption Instagram untuk promo kue kering lebaran. Target: ibu rumah tangga. Maksimal 2 kalimat per caption. Produk: nastar, kastengel, putri salju. Harga paket Rp 150.000.”

Lebih sedikit token, jawaban lebih fokus.

Langkah 3 — Halusinasi muncul:
Salah satu caption menyebut: “Dijamin halal sertifikasi MUI No. 1234567890.”
Ibu Rina tidak pernah memberi nomor sertifikat. Itu halusinasi — model menambahkan detail yang terdengar meyakinkan.

Langkah 4 — Mitigasi:
Ibu Rina hapus klaim sertifikat, ganti dengan “Produk homemade, bahan pilihan” — fakta yang ia yakini benar. Atau ia tambahkan di prompt: “Jangan sebut nomor sertifikat atau klaim halal jika tidak saya cantumkan.”

Skenario kecil ini merangkum pelajaran materi: hemat token dengan prompt fokus, dan curigai detail spesifik yang model tambahkan sendiri.


Penutup

Tokenisasi adalah cara LLM “memotong” teks Anda menjadi satuan kerja. Proses ini menjelaskan biaya, batas panjang obrolan, dan mengapa jumlah kata tidak sama dengan jumlah token. Halusinasi adalah kecenderungan model menghasilkan teks yang lancar tetapi salah atau tidak berdasar — bukan karena model “berbohong dengan sengaja”, melainkan karena desainnya: memprediksi teks yang masuk akal, bukan memverifikasi kebenaran.

Sebagai pengguna awam, Anda tidak perlu hafal algoritma BPE atau arsitektur transformer. Cukup ingat dua kalimat:

  1. Teks dihitung per token, bukan per kata — kelola prompt agar efisien dan muat dalam batas konteks.
  2. Jawaban yang bagus bahasanya belum tentu benar isinya — verifikasi sebelum dipakai untuk keputusan penting.

Dengan dua prinsip itu, Anda sudah lebih siap memakai LLM sebagai alat bantu sehari-hari — tanpa terlalu percaya, tanpa terlalu takut, dan dengan ekspektasi yang realistis.


Referensi lanjutan (opsional)