Skip to main content

06 — Hyperparameter Tuning: Grid, Random, dan Bayesian

Tujuan: Menjelaskan teori dan praktik pencarian hyperparameter agar tuning meningkatkan model tanpa membocorkan test set atau menggelembungkan klaim kinerja.

Poin checklist terkait:
- Ruang hyperparameter dan metode tuning (grid/random/bayesian)
- Validasi dipakai untuk pemilihan model / hyperparameter
- Hyperparameter terbaik dicatat lengkap
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 05 — Baseline & perbandingan adil · Materi berikutnya: 07 — Metrik evaluasi
Terkait: 03 — Cross-validation & partisi · 04 — Data leakage.


Parameter yang dipelajari vs yang Anda pilih

Saat fit, model memperkirakan parameter dari data: koefisien regresi, split pohon, support vector. Di atas itu ada hyperparameter yang Anda tetapkan sebelum atau selama pencarian: C, max_depth, learning_rate, k pada kNN, dan semacamnya.

Tuning adalah proses mencari konfigurasi hyperparameter yang baik menurut metrik utama pada validation / inner CV — bukan pada test. Setelah setting terpilih, model di-refit pada data latih yang diizinkan, lalu diklaim pada test atau outer fold (03).


Mengapa test tidak boleh jadi “alat pilih setting”?

Jika skor test dipakai untuk memilih max_depth atau membandingkan puluhan konfigurasi, test kehilangan statusnya sebagai data unseen. Model secara tidak langsung menyesuaikan diri ke test; skor akhir menjadi optimis. Ini bentuk leakage seleksi (04).

Aturan praktis: tune di val/inner → klaim di test/outer. Nested CV adalah versi paling ketat dari pemisahan itu; alternatif skripsi yang lazim adalah hold-out test suci plus CV tuning di dalam train.

Ada risiko kedua yang sering luput: overfitting ke validation. Semakin luas ruang pencarian dan semakin banyak trial, semakin besar peluang “menang” karena keberuntungan pada val. Karena itu budget pencarian perlu dibatasi, metrik dikunci di muka, dan — bila klaim ketat — nested CV atau test akhir yang jarang disentuh.


Tiga strategi pencarian

Grid search menguji semua kombinasi pada kisi nilai yang Anda tentukan. Sederhana dan mudah dilaporkan, tetapi mahal begitu dimensi hyperparameter bertambah. Cocok untuk ruang kecil: dua sampai empat hyperparameter dengan sedikit nilai diskret.

Random search mengambil kombinasi acak dari distribusi ruang pencarian. Intuisinya: sering hanya sebagian hyperparameter yang sangat berpengaruh; dalam budget evaluasi yang sama, random biasanya menjelajahi lebih banyak nilai penting dibanding grid penuh pada ruang besar. Cocok untuk ruang sedang–besar dengan batas waktu jelas.

Bayesian optimization membangun model surrogat atas hubungan konfigurasi → skor, lalu memilih trial berikutnya dengan menyeimbangkan eksplorasi dan eksploitasi. Efisien ketika setiap trial mahal (deep learning, training lama), tetapi lebih rumit dilaporkan: sebut library, acquisition function bila relevan, dan seed. Jangan menyembunyikan bahwa hasil bergantung pada urutan trial.

Metode lain yang semakin umum — successive halving, Hyperband, multi-fidelity — berbagi ide yang sama: jangan habiskan budget penuh pada konfigurasi yang sudah terlihat buruk di evaluasi murah. Jika dipakai, jelaskan secara singkat di BAB III.

Sebelum search besar, jalankan dulu default atau setting literatur sebagai titik acuan. Tuning yang “menang” hanya terhadap default lemah, sementara baseline sederhana tidak dilaporkan, sulit dibela (05).


Mendesain ruang pencarian yang masuk akal

Mulai dari default dan rentang yang dipakai studi terkait, bukan dari “semua bilangan 1–100”. Untuk parameter yang rentangnya lebar (C, learning_rate), pakai skala log. Samakan budget antar model jika klaim bersifat komparatif — jumlah trial atau wall-time kira-kira setara. Kunci metrik tuning agar sama dengan metrik utama penelitian (07); mengganti metrik di tengah search setelah melihat leaderboard adalah redesign post hoc.


Protokol yang disarankan

Hold-out test (suci)
└─ Train
    └─ Grid / Random / Bayesian + CV (atau val set)
         → pilih hyperparameter terbaik
    → refit pada seluruh train
→ evaluasi sekali pada test

ATAU nested CV:
Outer = klaim; Inner = tuning

Untuk setiap model, catat metode tuning, ruang pencarian, metrik dan skema CV, konfigurasi terbaik, serta seed. Tanpa catatan itu, eksperimen sulit diulang dan sulit diaudit di sidang.


Pelaporan di naskah

BAB III:

Hyperparameter dituning dengan [GridSearchCV / RandomizedSearchCV / Bayesian] pada [5-fold stratified CV] memakai metrik […]. Ruang pencarian meliputi …. Test set tidak digunakan saat tuning.

BAB IV / lampiran: tabel model → hyperparameter terbaik → skor CV (mean ± std) → skor test. Jika nested CV, laporkan skor outer sebagai klaim; skor inner hanya untuk proses seleksi.


Yang sering bermasalah

  1. Tuning di test set.
  2. Menyebut “tuning” tanpa ruang dan metode.
  3. Grid raksasa tanpa budget atau justifikasi.
  4. Model A dituning intensif, Model B dibiarkan default, lalu klaim A unggul.
  5. Seed dan konfigurasi final tidak dicatat.
  6. Melaporkan skor CV tuning sebagai klaim akhir seolah-olah itu skor test.

Hyperparameter tuning yang sah meningkatkan model lewat pencarian sistematis pada validation/inner CV, dengan ruang dan budget yang adil, tanpa menjadikan test sebagai alat memilih setting.