Skip to main content

03 — Cross-Validation dan Strategi Partisi Data

Tujuan: Menjelaskan teori dan praktik partisi data — hold-out, k-fold, stratified, nested CV, dan time-based split — agar estimasi kinerja model tidak optimis palsu dan protokol skripsi dapat diaudit.

Poin checklist terkait:
- Strategi partisi data: hold-out / k-fold / nested CV / time-based split
- Rasio train–val–test ditentukan dan dijustifikasi
- Interval kepercayaan / cross-validation score (mean ± std) jika relevan
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 02 — Hipotesis / kriteria keberhasilan · Materi berikutnya: 04 — Data leakage
Terkait: 06 — Hyperparameter tuning · 15 — Scaling & normalisasi · 17 — Feature selection.


Mengapa partisi data menentukan klaim

Evaluasi prediktif bukan soal “seberapa cocok model pada data yang sudah dilihat”, melainkan seberapa baik ia digeneralisasi ke data baru. Jika data yang sama dipakai sekaligus untuk memilih model/hyperparameter dan untuk melaporkan kinerja akhir, skor cenderung terlalu optimis — selection bias terhadap protokol evaluasi itu sendiri.

Cross-validation dan skema partisi menata ulang peran data: menaksir kinerja dengan variasi yang lebih stabil, memisahkan tuning dari klaim akhir, dan — bila preprocessing masuk pipeline per fold — menekan leakage statistik. Metrik utama dan aturan keputusan harus menyebut set mana yang dipakai untuk klaim (02).

Set Peran Boleh dipakai untuk
Train Mempelajari parameter model Fitting; statistik preprocessing dengan hati-hati
Validation Memilih model / hyperparameter / fitur Model selection, early stopping
Test Klaim kinerja akhir Evaluasi sekali (atau seminimal mungkin)

Dalam CV, peran validation digilir antar fold. Test, jika ada, tetap di luar putaran tuning.


Hold-out

Hold-out membagi data sekali — acak atau stratified — menjadi dua atau tiga bagian. Rasio lazim: 70/30, 80/20, atau 60/20/20 (train/val/test). Cocok bila dataset relatif besar, biaya komputasi tinggi (deep learning), atau protokol perlu sederhana dan cepat.

Kelemahannya jelas pada \(n\) kecil: satu pembagian bisa “keberuntungan”, varians estimasi tinggi, dan sulit membedakan model yang benar-benar bagus dari split yang menguntungkan. Di BAB III, justifikasikan rasio: \(n\) besar boleh 80/20; tuning berat butuh val terpisah atau CV di dalam train; kelas jarang hampir selalu meminta stratified hold-out.


k-fold cross-validation

Data (biasanya bagian training, atau seluruh data jika tidak ada test eksternal) dibagi menjadi \(k\) lipatan berukuran hampir sama. Untuk setiap \(i = 1,\ldots,k\), lipatan \(i\) menjadi validation, sisanya train; model dilatih dan menghasilkan skor \(s_i\). Estimasi CV:

\[ \bar{s} = \frac{1}{k}\sum_{i=1}^{k} s_i \]

Laporan yang baik menambah sebaran: \(\bar{s} \pm \mathrm{std}(s_i)\). Pilihan \(k\) menukar bias–varians: \(k=3\) memberi validasi lebih besar per fold tetapi estimasi lebih kasar; 5 atau 10 adalah kompromi paling umum di skripsi; LOOCV (\(k=n\)) mahal dan variansnya bisa tinggi. Tidak ada \(k\) “paling benar” secara universal — yang penting konsisten dan dijustifikasi.

Pada klasifikasi, stratified k-fold menjaga proporsi kelas di tiap fold mendekati proporsi global; sangat disarankan bila kelas tidak seimbang. Jika baris tidak independen (banyak record per pasien, siswa, atau perangkat), jangan biarkan entitas yang sama tersebar di train dan val — pakai GroupKFold atau blocking menurut ID. Tanpa itu, CV bocor lewat korelasi dalam grup.


Nested cross-validation

Nested CV adalah evaluasi dua lapisan: data yang memakai untuk memilih setting tidak boleh sama dengan data yang dipakai untuk melaporkan skor akhir. Tanpa pemisahan itu, model sering tampak terlalu akurat karena optimism bias dari proses seleksi — meski preprocessing sudah “benar” secara teknis.

Pada CV biasa plus tuning, banyak konfigurasi diuji di fold validasi, yang terbaik dipilih, lalu skor terbaik itu dilaporkan seolah kinerja model. Validasi sudah ikut memilih; skor bukan lagi estimasi murni pada data yang tak terlihat selama seleksi. Nested CV menutup celah itu.

Outer loop (klaim): bagi seluruh dataset menjadi \(K_{\text{outer}}\) fold; tahan satu sebagai outer test; serahkan sisa (outer train) ke inner loop; setelah tuning, refit setting terbaik pada seluruh outer train; skor pada outer test; ulangi sampai setiap fold luar pernah jadi test; laporkan mean ± std skor outer.

Inner loop (seleksi): hanya pada outer train, jalankan CV lagi (\(K_{\text{inner}}\)) untuk hyperparameter, pipeline, atau subset fitur; pilih konfigurasi terbaik menurut metrik yang dikunci di muka (02); jangan sentuh outer test.

Dataset
└─ Outer fold 1..K
     ├─ Outer test   → hanya skor akhir putaran ini
     └─ Outer train
          └─ Inner CV (tuning / selection)
               → setting terbaik
          → refit pada seluruh outer train
          → evaluasi pada outer test
→ mean ± std skor outer

Contoh biaya: outer 5-fold, inner 3-fold, 12 kombinasi hyperparameter → per outer fold hingga \(3\times12\) evaluasi plus refit, diulang lima kali. Jujur, tetapi mahal — kira-kira sebanding \(K_{\text{outer}} \times K_{\text{inner}} \times |\text{ruang hyperparameter}|\).

Yang dihasilkan terutama adalah estimasi kinerja setelah tuning. Setting terbaik boleh berbeda antar outer fold; itu normal. “Satu hyperparameter final” untuk deployment biasanya ditambah langkah terpisah: ulang tuning pada seluruh data latih final, atau pilih setting yang paling sering menang, lalu evaluasi sekali pada hold-out jika ada.

Nested sangat disarankan bila \(n\) tidak besar tetapi klaim komparatif/tuning ketat, atau bila search luas digabung feature selection (17, 06). Boleh diganti protokol praktis jika training sangat mahal atau dataset besar dengan test suci yang dijaga ketat:

  1. simpan hold-out test sejak awal;
  2. tuning dengan CV hanya di train;
  3. refit terbaik pada seluruh train;
  4. klaim akhir hanya dari test (sekali).

Secara filosofis itu meniru nested (selection ≠ evaluation), tetapi estimasi akhir dari satu split — varians lebih tinggi. Tuliskan keterbatasan itu.

Yang sering salah disebut “nested”: hanya GridSearchCV lalu memreport skor CV inner sebagai hasil akhir; outer test ikut memilih model; preprocessing di-fit global sebelum nested dimulai; \(K_{\text{outer}}\), \(K_{\text{inner}}\), dan mean ± std outer tidak dilaporkan.


Time-based split

Untuk forecasting atau data temporal, jangan random k-fold yang mencampur masa depan ke train. Split menurut waktu: train = periode awal, test = kemudian; atau rolling-origin / expanding window.

Train: Jan–Sep  → Test: Okt
Train: Jan–Okt  → Test: Nov
Train: Jan–Nov  → Test: Des

Klaim generalisasi = kinerja pada periode ke depan. Logika nested tetap berlaku: tuning pada window masa lalu; evaluasi pada window ke depan yang ditahan.


Preprocessing di dalam fold

CV hanya adil jika seluruh langkah berstatistik di-fit di dalam train-fold: imputasi, scaling (15), target encoding, feature selection, SMOTE — semuanya ya. Filter inklusi domain yang tidak memakai info label evaluasi boleh di luar. Praktik terbaik: bungkus preprocess + model dalam Pipeline, lalu CV/GridSearchCV/nested pada pipeline. Detail tipologi leakage dilanjutkan di 04.


Memilih strategi dan menulisnya di naskah

Data temporal?     → time-based / rolling
Ada grouping?      → GroupKFold / blocked
n kecil, butuh stabil? → k-fold 5/10 (stratified jika klasifikasi)
Tuning + klaim ketat?  → nested, atau test suci + CV di train
n besar, biaya tinggi? → hold-out (± val)

Minimal dilaporkan: skema; \(k\) atau rasio plus stratified/grouped; untuk nested \(K_{\text{outer}}\), \(K_{\text{inner}}\), ruang hyperparameter; metrik yang di-average; mean ± std bila CV; apakah klaim dari outer CV atau test hold-out; seed.

BAB III:

Data dievaluasi dengan [stratified hold-out 80/20 / stratified 5-fold CV / nested CV (\(K_{\text{outer}}=5\), \(K_{\text{inner}}=3\))]. Hyperparameter dituning pada [inner CV / CV di data latih] dan tidak memakai [outer test / hold-out test]. Preprocessing disematkan dalam pipeline agar statistik fold tidak bocor. Kinerja akhir dilaporkan sebagai [metrik] = … ± … pada [outer CV / test set].

BAB IV:

Rata-rata F1 makro pada 5-fold stratified CV adalah 0,81 ± 0,03.
(Nested) Rata-rata F1 makro outer loop adalah 0,79 ± 0,04; skor ini lebih rendah daripada skor inner terbaik, sesuai harapan karena outer test tidak dipakai saat tuning.


Yang sering bermasalah

  1. Melaporkan akurasi train sebagai hasil utama.
  2. Memakai test berulang untuk memilih model atau metrik.
  3. CV acak pada time series; atau pasien yang sama di train dan val.
  4. Scaling/SMOTE/selection di luar fold.
  5. Menyebut “menggunakan CV” tanpa \(k\), stratified, dan metrik rata-rata.
  6. Mengklaim nested padahal hanya GridSearchCV dengan skor inner.
  7. Tidak membedakan skor tuning dari skor klaim akhir.

Sebelum eksperimen utama


Cross-validation menaksir generalisasi dengan menggilir subset validasi sehingga klaim tidak bergantung pada satu hold-out beruntung. Nested menambah lapisan kedua agar skor akhir tidak kemasukan informasi dari proses seleksi — dengan harga komputasi yang jauh lebih tinggi. Partisi yang dapat dibela menghormati struktur data (kelas, grup, waktu) dan menempatkan seluruh langkah berstatistik di dalam fold pelatihan; pelanggaran terhadap itu adalah inti pembahasan leakage di materi berikutnya.