13 — Penanganan Missing Values: Drop, Impute, dan Justifikasi
Tujuan: Membantu mahasiswa memilih dan mempertahankan keputusan penanganan missing values secara metodologis — setiap drop/impute harus punya alasan, jejak jumlah, dan kesadaran terhadap leakage.
Poin checklist terkait:
- Penanganan missing values (drop / impute) + justifikasi
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 12 — Data cleaning · Materi berikutnya: 14 — Encoding kategorikal
Terkait: 03 — Cross-validation & partisi · 04 — Data leakage.
Missing sebagai keputusan metodologis
Data hilang bukan sekadar lubang di tabel. Mekanisme hilangnya memengaruhi bias, validitas, dan kinerja model. Tanpa justifikasi, penguji tidak tahu apakah sampel akhir masih mewakili populasi klaim; imputasi yang salah bisa menciptakan sinyal palsu; statistik yang dihitung dari seluruh data sebelum split menimbulkan leakage (04).
Mapping sentinel (999, -1, teks "NA") menjadi NaN adalah urusan cleaning (12). Materi ini fokus pada keputusan drop vs impute setelah missing resmi teridentifikasi.
Sebelum memutuskan, audit: kolom mana yang missing dan berapa persen; apakah missingness terkait target atau fitur lain; apakah tampak acak atau sistematis. Tiga mekanisme klasik membantu menuliskan asumsi — tidak selalu harus dibuktikan formal di S1, tetapi asumsi wajib ada:
| Mekanisme | Arti singkat | Implikasi |
|---|---|---|
| MCAR | Hilang sepenuhnya acak | Drop/impute sederhana relatif lebih aman |
| MAR | Hilang tergantung variabel teramati | Imputasi memakai fitur terkait lebih masuk akal |
| MNAR | Hilang tergantung nilai tak teramati | Paling riskan; butuh asumsi domain atau indikator missingness |
Drop atau impute?
Missing ditemukan
├─ Proporsi kecil, mendekati MCAR, N masih cukup → pertimbangkan drop
├─ Fitur penting / missing cukup besar / pola MAR → impute (anti-leakage)
├─ Kolom hampir kosong / tidak informatif → drop kolom + alasan
└─ Missing adalah sinyal (MNAR) → flag missingness ± impute, atau model khusus
Tidak ada aturan tunggal “missing > 5% harus dihapus”. Ambang hanya membantu jika disertai konteks domain dan dampak ke ukuran sampel serta distribusi target.
Drop baris cocok bila missing sedikit dan asumsi mendekati MCAR, tetapi mengurangi power dan bisa bias jika missing terkait target (pasien parah lebih sering tidak mengisi field tertentu). Drop kolom cocok bila % missing sangat tinggi, fitur tidak krusial untuk RQ, atau redundan. Dokumentasikan \(N\) sebelum/sesudah dan dampak ke distribusi kelas.
Imputasi sederhana: median (numerik, tahan outlier), modus atau kategori unknown (kategorikal — unknown menjaga sinyal “tidak diisi”). Imputasi lebih maju (KNN, iterative/MICE, multiple imputation) pilih sepadan dengan klaim; jangan memakai MICE hanya agar terlihat canggih jika median sudah cukup. Jika dugaan MNAR, buat flag feature_is_missing lalu impute nilai — sering lebih jujur daripada mengisi seolah data lengkap.
Anti-leakage
Salah: hitung mean/median dari seluruh dataset, impute semua baris, baru split. Benar: split dulu → pelajari statistik hanya dari train → terapkan ke val/test. Dalam CV, imputasi di dalam fold atau lewat pipeline (03). Model imputasi KNN/MICE pun tidak boleh melihat data uji.
Justifikasi yang diterima penguji
Lemah: “Missing dihapus agar data bersih.”
Lebih baik memuat temuan (% per kolom), asumsi mekanisme atau alasan domain, keputusan drop/impute, dan dampak (\(N\) sebelum–sesudah, kelayakan analisis).
Analisis missing menunjukkan kolom A (x%), B (y%), dan C (z%). Kolom C dihapus karena missing tinggi dan tidak esensial terhadap RQ. Kolom numerik A diimputasi median data latih (asumsi mendekati MAR berdasarkan …). Kategorikal B diisi
unknown. Statistik imputasi hanya dari data latih. Observasi bergerak dari N₀ menjadi N₁.
| Fitur | % missing | Keputusan | Alasan singkat | Leakage-safe |
|---|---|---|---|---|
| usia | 3,2% | impute median | kecil; tahan outlier | median dari train |
| penghasilan | 41% | drop kolom | terlalu kosong; bukan inti RQ | — |
| status_merokok | 12% | impute unknown |
nonresponse mungkin bermakna | konstanta |
| tekanan_darah | 8% | median + flag | indikasi MNAR ringan | flag sebelum impute |
Sentinel dan format rusak sudah dibersihkan di cleaning; encoding kategorikal (14) menyusul setelah keputusan missing (unknown ikut di-encode); scaling di-fit pada data yang sudah diimpute per split.
Sebelum lanjut ke encoding
Drop atau impute adalah keputusan beralasan dan anti-leakage, didokumentasikan dengan jejak jumlah dan dampaknya pada data akhir — bukan sekadar agar tabel “terlihat lengkap”.