Skip to main content

04 — Data Leakage: Konsep, Tipe, dan Audit Pipeline

Tujuan: Menjelaskan teori data leakage sebagai kesalahan metodologis paling sering di skripsi DS/ML — agar mahasiswa mampu menulis aturan anti-leakage di BAB III dan mengaudit pipeline secara sistematis.

Poin checklist terkait:
- Aturan anti-leakage ditulis (split sebelum SMOTE/scaling/feature selection)
- Tidak ada informasi dari test set yang “bocor” ke training
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 03 — Cross-validation & partisi · Materi berikutnya: 05 — Baseline & perbandingan adil
Terkait: 08 — Class imbalance & SMOTE · 14 — Encoding kategorikal · 15 — Scaling & normalisasi · 17 — Feature selection.


Leakage sebagai ancaman validitas

Data leakage terjadi ketika informasi yang seharusnya tidak tersedia saat prediksi ikut dipakai saat pelatihan atau pemilihan model. Skor lalu terlihat lebih baik dari kemampuan generalisasi yang sesungguhnya. Di sidang, gejalanya klasik: metrik sangat tinggi tanpa justifikasi domain, skor ambruk pada data benar-benar baru, atau penguji menemukan scaling/SMOTE/selection dilakukan sebelum split.

Ini bukan sekadar bug kode. Leakage adalah ancaman validitas klaim ilmiah: Anda menguji model pada sinyal yang tidak akan ada saat deployment. Tanpa leakage, skor mendekati estimasi di data baru dan perbandingan antar metode adil; dengan leakage, ranking model bisa palsu dan “keberhasilan” di kertas gagal di praktik.

Materi 03 sudah menekankan pemisahan tuning vs klaim. Materi ini memetakan dari mana informasi terlarang biasanya masuk.


Lima bentuk yang sering muncul

Train–test leakage (prosedural). Statistik atau sampel dari set evaluasi ikut membentuk model: StandardScaler.fit(X_all) lalu baru split; imputasi mean dari seluruh data; SMOTE sebelum split; feature selection atau PCA pada seluruh data; duplikat yang sama ada di train dan test. Aturan praktis: split atau fold dulu → fit hanya pada train → transform val/test. Rincian langkah ada di 15, 14, 17, dan 08.

Target leakage (fitur terlarang). Kolom yang merupakan akibat atau proksi langsung dari label ikut jadi fitur — misalnya memprediksi rawat ICU dengan “lama rawat ICU”, churn dengan tanggal pembatalan, atau diagnosis dengan kode tindakan yang baru ada setelah diagnosis. Uji dengan satu pertanyaan: apakah fitur ini sudah diketahui pada saat model harus memprediksi di dunia nyata? Jika tidak, itu kandidat target leakage.

Temporal leakage. Informasi masa depan dipakai untuk memprediksi masa lalu atau sekarang: random k-fold pada time series; agregasi “rata-rata 30 hari” yang menyentuh hari setelah titik prediksi; statistik Desember ikut membentuk model yang “diuji” Desember. Partisi waktu dibahas di 03.

Group leakage. Unit yang berkorelasi kuat tersebar di train dan test — beberapa baris dari pasien, siswa, atau perangkat yang sama. Model mengingat individu, bukan pola umum. Solusi: GroupKFold atau split by ID.

Leakage lewat model selection. Test (atau fold yang sama) dipakai berulang untuk memilih model, metrik, atau hyperparameter. Nested CV dan test suci menutup celah ini (03, 06).


Peta risiko di pipeline

Langkah Risiko Praktik aman
Cleaning berbasis aturan domain tetap Rendah OK global jika tidak memakai label evaluasi
Imputasi statistik Tinggi Fit di train/fold
Encoding (terutama target encoding) Tinggi Fit di train/fold
Scaling Tinggi Fit di train/fold
Feature selection / PCA Tinggi Fit di train/inner loop
SMOTE / resampling Tinggi Hanya pada train-fold
Feature engineering temporal Tinggi Window hanya ke masa lalu
Tuning hyperparameter Tinggi jika pakai test Val/inner CV saja

Yang sering muncul di naskah

  1. “Data dinormalisasi lalu dibagi train/test”.
  2. Metrik 0,99 pada masalah sulit tanpa audit fitur.
  3. Satu pasien muncul di train dan test.
  4. Fitur yang secara logika baru ada setelah label.
  5. Menyebut anti-leakage tanpa menjelaskan langkah mana yang dilindungi.

Anti-leakage berarti model hanya belajar dari informasi yang sah tersedia saat prediksi. Setelah aturan itu dikunci, eksperimen komparatif baru bisa adil — termasuk pemilihan baseline di materi berikutnya.