04 — Data Leakage: Konsep, Tipe, dan Audit Pipeline
Tujuan: Menjelaskan teori data leakage sebagai kesalahan metodologis paling sering di skripsi DS/ML — agar mahasiswa mampu menulis aturan anti-leakage di BAB III dan mengaudit pipeline secara sistematis.
Poin checklist terkait:
- Aturan anti-leakage ditulis (split sebelum SMOTE/scaling/feature selection)
- Tidak ada informasi dari test set yang “bocor” ke training
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 03 — Cross-validation & partisi · Materi berikutnya: 05 — Baseline & perbandingan adil
Terkait: 08 — Class imbalance & SMOTE · 14 — Encoding kategorikal · 15 — Scaling & normalisasi · 17 — Feature selection.
Leakage sebagai ancaman validitas
Data leakage terjadi ketika informasi yang seharusnya tidak tersedia saat prediksi ikut dipakai saat pelatihan atau pemilihan model. Skor lalu terlihat lebih baik dari kemampuan generalisasi yang sesungguhnya. Di sidang, gejalanya klasik: metrik sangat tinggi tanpa justifikasi domain, skor ambruk pada data benar-benar baru, atau penguji menemukan scaling/SMOTE/selection dilakukan sebelum split.
Ini bukan sekadar bug kode. Leakage adalah ancaman validitas klaim ilmiah: Anda menguji model pada sinyal yang tidak akan ada saat deployment. Tanpa leakage, skor mendekati estimasi di data baru dan perbandingan antar metode adil; dengan leakage, ranking model bisa palsu dan “keberhasilan” di kertas gagal di praktik.
Materi 03 sudah menekankan pemisahan tuning vs klaim. Materi ini memetakan dari mana informasi terlarang biasanya masuk.
Lima bentuk yang sering muncul
Train–test leakage (prosedural). Statistik atau sampel dari set evaluasi ikut membentuk model: StandardScaler.fit(X_all) lalu baru split; imputasi mean dari seluruh data; SMOTE sebelum split; feature selection atau PCA pada seluruh data; duplikat yang sama ada di train dan test. Aturan praktis: split atau fold dulu → fit hanya pada train → transform val/test. Rincian langkah ada di 15, 14, 17, dan 08.
Target leakage (fitur terlarang). Kolom yang merupakan akibat atau proksi langsung dari label ikut jadi fitur — misalnya memprediksi rawat ICU dengan “lama rawat ICU”, churn dengan tanggal pembatalan, atau diagnosis dengan kode tindakan yang baru ada setelah diagnosis. Uji dengan satu pertanyaan: apakah fitur ini sudah diketahui pada saat model harus memprediksi di dunia nyata? Jika tidak, itu kandidat target leakage.
Temporal leakage. Informasi masa depan dipakai untuk memprediksi masa lalu atau sekarang: random k-fold pada time series; agregasi “rata-rata 30 hari” yang menyentuh hari setelah titik prediksi; statistik Desember ikut membentuk model yang “diuji” Desember. Partisi waktu dibahas di 03.
Group leakage. Unit yang berkorelasi kuat tersebar di train dan test — beberapa baris dari pasien, siswa, atau perangkat yang sama. Model mengingat individu, bukan pola umum. Solusi: GroupKFold atau split by ID.
Leakage lewat model selection. Test (atau fold yang sama) dipakai berulang untuk memilih model, metrik, atau hyperparameter. Nested CV dan test suci menutup celah ini (03, 06).
Peta risiko di pipeline
| Langkah | Risiko | Praktik aman |
|---|---|---|
| Cleaning berbasis aturan domain tetap | Rendah | OK global jika tidak memakai label evaluasi |
| Imputasi statistik | Tinggi | Fit di train/fold |
| Encoding (terutama target encoding) | Tinggi | Fit di train/fold |
| Scaling | Tinggi | Fit di train/fold |
| Feature selection / PCA | Tinggi | Fit di train/inner loop |
| SMOTE / resampling | Tinggi | Hanya pada train-fold |
| Feature engineering temporal | Tinggi | Window hanya ke masa lalu |
| Tuning hyperparameter | Tinggi jika pakai test | Val/inner CV saja |
Yang sering muncul di naskah
- “Data dinormalisasi lalu dibagi train/test”.
- Metrik 0,99 pada masalah sulit tanpa audit fitur.
- Satu pasien muncul di train dan test.
- Fitur yang secara logika baru ada setelah label.
- Menyebut anti-leakage tanpa menjelaskan langkah mana yang dilindungi.
Anti-leakage berarti model hanya belajar dari informasi yang sah tersedia saat prediksi. Setelah aturan itu dikunci, eksperimen komparatif baru bisa adil — termasuk pemilihan baseline di materi berikutnya.