14 — Encoding Kategorikal: One-Hot, Ordinal, Target Encoding, dan Leakage
Tujuan: Menjelaskan cara mengubah fitur kategorikal menjadi representasi numerik untuk model ML, memilih skema yang tepat, dan mencegah leakage — terutama pada target encoding.
Poin checklist terkait:
- Encoding kategorikal (one-hot / ordinal / target encoding — hati-hati leakage)
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 13 — Missing values · Materi berikutnya: 15 — Scaling & normalisasi
Terkait: 04 — Data leakage · 12 — Data cleaning.
Dua “encoding” yang sering tertukar
Perbaikan charset dan standarisasi label (Laki-laki / L / Pria → satu nilai) adalah urusan cleaning (12). Encoding kategorikal di materi ini adalah transformasi kategori menjadi angka atau vektor agar model bisa belajar. Kerjakan standarisasi dulu, baru encoding ML.
Sebagian besar pipeline sklearn membutuhkan input numerik. Beberapa implementasi pohon menangani kategori secara native; di skripsi tetap wajib menjelaskan representasi akhir yang dipakai. Bedakan nominal (tidak ada urutan bermakna: kota, warna, jurusan) dari ordinal (ada urutan domain: rendah < sedang < tinggi; SD < SMP < SMA). Salah memperlakukan yang satu sebagai yang lain adalah kesalahan metodologis yang sering lolos di draf awal.
One-hot, ordinal, dan target encoding
One-hot membuat setiap level menjadi kolom biner. Cocok untuk nominal berkardinalitas rendah–sedang, terutama pada model linear atau berbasis jarak yang akan salah membaca angka ordinal palsu. Kardinalitas tinggi memicu ledakan dimensi; kategori yang hanya muncul di test perlu kebijakan eksplisit (handle_unknown atau gabung ke other). Pada model linear, drop='first' kadang dipakai untuk menghindari multikolinearitas sempurna. Secara leakage, one-hot relatif aman jika daftar kategori dipelajari dari train lalu dipakai skema yang sama di val/test (04).
Ordinal encoding memetakan kategori ke bilangan menurut urutan domain — rendah=0, sedang=1, tinggi=2. Tepat hanya jika urutan itu substansial. Memetakan kota ke 0, 1, 2 menyiratkan jarak palsu dan berbahaya bagi regresi logistik atau kNN; pohon lebih toleran, tetapi justifikasi domain tetap wajib.
Encoding ordinal dipakai karena level pendidikan memiliki urutan substansi SD < SMP < SMA < S1, sesuai definisi operasional variabel.
Target encoding mengganti kategori dengan statistik target pada level itu, misalnya \(P(y=1 \mid \text{kota}=X)\). Kompak dan sering kuat pada kardinalitas tinggi, tetapi paling rawan bocor karena memakai label. Jangan hitung mean dari seluruh data, dari train+val untuk tuning, atau encode global lalu CV sehingga fold validasi melihat label dirinya sendiri. Split dulu; hitung hanya dari train atau train-fold; untuk CV pakai out-of-fold; pertimbangkan smoothing agar kategori jarang tidak ekstrem. Jika protokol anti-leakage belum dikuasai, skripsi S1 sering lebih aman dengan one-hot, ordinal, atau penggabungan level jarang ke other.
Ordinal domain jelas → ordinal (urutannya ditulis)
Nominal, #level sedang → one-hot
Nominal, #level sangat besar → other + one-hot, atau target encoding (anti-leakage ketat)
Pohon + native categorical → boleh, tetap dokumentasikan
Pipeline dan dokumentasi
Split / folds
→ cleaning & missing (statistik dari train)
→ fit encoder pada train
→ transform train / val / test
→ scaling / FE lanjutan / model
Pola aman di sklearn: ColumnTransformer + OneHotEncoder(handle_unknown="ignore") dalam Pipeline bersama model; tuning memakai CV pada pipeline, bukan encode manual di luar CV.
| Item | Contoh |
|---|---|
| Fitur yang di-encode | gender, kota, tingkat_keparahan |
| Jenis | nominal / ordinal |
| Metode | one-hot / ordinal / target encoding |
| Mapping ordinal | rendah=0 … tinggi=2 |
| Kategori langka/baru | other; handle_unknown=ignore |
| Anti-leakage | fit pada train; CV via pipeline |
Fitur nominal
kotadanjurusandiubah dengan one-hot; frekuensi < 1% pada data latih digabung menjadiother. Fitur ordinaltingkat_keparahandipetakan ke 0–3 sesuai urutan klinis. Encoder dipasang hanya pada data latih. Target encoding tidak digunakan karena risiko leakage pada validasi silang.
Yang sering bermasalah
- Label-encode semua nominal lalu memakai model jarak/linear seolah jarak bermakna.
- One-hot atau target encoding memakai seluruh dataset sebelum split.
- Target encoding tanpa smoothing dan tanpa out-of-fold.
- Menyebut “dilakukan encoding” tanpa metode per fitur.
- Tertukar dengan perbaikan charset/cleaning.
Sebelum lanjut ke scaling
Representasi kategorikal yang dapat dibela cocok dengan jenis fitur dan tidak membiarkan label evaluasi membentuk statistik encoding. Setelah kolom numerik final terbentuk, langkah berikutnya biasanya scaling: 15.