12 — Data Cleaning: Duplikat, Noise, Encoding Error, dan Format
Tujuan: Menjelaskan langkah cleaning data yang wajib terdokumentasi di skripsi DS/ML — bukan sekadar “data dibersihkan”, tetapi apa yang dibersihkan, mengapa, dan berapa sampel tersisa.
Poin checklist terkait:
- Cleaning: duplikat, noise, encoding error, format tanggal/numerik
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 11 — Populasi, sampel & sampling · Materi berikutnya: 13 — Missing values
Terkait: 04 — Data leakage · 14 — Encoding kategorikal.
Di mana cleaning duduk dalam alur
Akuisisi → EDA / audit kualitas → Cleaning → Missing → Encoding → (FE) → Scaling → Model
Cleaning memperbaiki kualitas representasi data sebelum keputusan imputasi atau encoding model. Ia melanjutkan jejak \(N\) dari sampling dan inklusi–eksklusi (11): setelah baris “lolos kriteria”, masih ada perbaikan format, deduplikasi, dan pembersihan entri rusak. Tanpa dokumentasi, jumlah sampel akhir dan klaim hasil sulit diaudit.
Empat isu yang paling sering muncul di checklist:
| Isu | Gejala tipikal | Risiko jika diabaikan |
|---|---|---|
| Duplikat | Baris identik / hampir identik berulang | Leakage train–test, metrik optimis |
| Noise | Nilai ekstrem, label salah, entri sampah | Model belajar pola palsu |
| Encoding error | Karakter rusak, kategori samar, kode tidak konsisten | Fitur pecah / kategori semu |
| Format tanggal/numerik | Tanggal ambigu, pemisah desimal lokal, angka sebagai teks | FE gagal, time-split salah |
Duplikat
Duplikat eksak (semua kolom sama) biasanya dihapus dengan menyisakan satu baris. Duplikat kunci — id sama tetapi isi beda — membutuhkan aturan resolusi: terbaru, terlengkap, atau prioritas sumber. Near-duplicate pada teks atau citra perlu dedup domain (hash, similarity). Yang paling berbahaya untuk klaim prediktif: record yang sama masuk train dan test — itu leakage (04).
Di naskah, sebut definisi duplikat (kolom mana), jumlah sebelum/sesudah, aturan konflik, dan apakah dedup dilakukan sebelum partisi (ideal: pada identitas unik sebelum split).
Duplikat didefinisikan sebagai kesamaan pada
patient_iddanexam_date. Dari 12.450 baris ditemukan 318 duplikat; disisakan rekaman dengan timestamp terbaru sehingga tersisa 12.132 baris.
Noise
Noise adalah informasi yang tidak relevan, salah, atau mengganggu sinyal yang ingin dipelajari: umur 250, skor di luar skala, baris uji (test, xxx), glitch sensor, atau OCR garbage. Bedakan outlier fenomenologis dari error entri. Jangan membuang titik hanya karena “jauh dari mean” tanpa alasan domain; setiap aturan filter harus bisa diaudit sebagai kriteria inklusi/eksklusi.
Dokumentasikan ambang atau whitelist yang dipakai, jumlah baris/nilai yang diperbaiki atau dibuang, dan justifikasi domainnya — bukan sekadar “outlier dihapus”.
Encoding error (bukan encoding ML)
Di sini “encoding” berarti kerusakan atau ketidakkonsistenan data mentah — mojibake (Pendidikan’s), sinonim kategori (Laki-laki / L / Pria), sentinel tersembunyi (999, -1, teks "NA"), whitespace/kapitalisasi, atau CSV yang pecah karena delimiter. Itu berbeda dari encoding kategorikal untuk model (one-hot, ordinal) di 14.
Tindakan tipikal: perbaiki charset sejak baca file; trim dan casefold; kamus rekod kategori; ganti sentinel menjadi NaN resmi sebelum imputasi; validasi skema kolom. Menyebut “dilakukan encoding” tanpa membedakan perbaikan mentah vs encoding model adalah kesalahan yang sering muncul di sidang.
Format tanggal dan numerik
01/02/24 bisa 1 Februari atau 2 Januari; tahun bisa 2024 atau 1924; satu kolom bisa bercampur ISO, teks bulan, dan serial Excel. Parse dengan format eksplisit, simpan datetime konsisten (lebih aman ISO YYYY-MM-DD), catat timezone jika relevan, dan pastikan urutan waktu benar sebelum time-based split.
Untuk numerik: pemisah ribuan/desimal lokal (1.234,56 vs 1,234.56), string berkontaminasi spasi atau simbol mata uang, persentase sebagai teks. Bersihkan simbol, seragamkan desimal, cast ke tipe numerik, dan catat berapa nilai gagal parse — gagal parse menjadi missing, jangan dipaksa 0 tanpa alasan. Langkah itu mengantar langsung ke keputusan drop/impute di 13.
Urutan kerja yang disarankan
1. Backup data mentah (versi immutable)
2. Audit skema & tipe kolom
3. Perbaiki charset & standarisasi string
4. Parse tanggal & numerik
5. Sentinel → missing
6. Deduplikasi
7. Filter noise / aturan inklusi–eksklusi
8. Catat N sebelum–sesudah
9. Lanjut imputasi & encoding ML
Jangan scaling atau SMOTE sebelum cleaning selesai dan split dipahami. Cleaning yang memakai statistik global (misalnya winsorize kuantil seluruh data sebelum split) juga bisa bocor — fit aturan pada train atau pakai batas domain yang tetap.
Tabel audit (untuk BAB III/IV atau lampiran)
| Langkah | Aturan | Sebelum | Sesudah | Keterangan |
|---|---|---|---|---|
| Deduplikasi | unik pada id |
12.450 | 12.132 | timestamp terbaru |
| Mapping gender | kamus standar | 4 label | 2 label | L/Pria → laki-laki |
| Parse tanggal | DD/MM/YYYY |
210 gagal | 12 → NaT | sisanya diperbaiki |
| Filter umur | 15–80 | 12.132 | 11.980 | di luar rentang dibuang |
Tanpa jejak seperti ini, kalimat “data telah dibersihkan” sulit diverifikasi.
Tahap cleaning meliputi: (1) standarisasi kategorikal dan perbaikan encoding karakter, (2) parsing tanggal ke
YYYY-MM-DDserta konversi numerik bertipe teks, (3) penghapusan duplikat berdasarkan[kunci], dan (4) filter noise menurut[aturan domain]. Observasi berkurang dari N₀ menjadi N₁. Data mentah disimpan sebagai v0; hasil cleaning sebagai v1.
Sebelum lanjut ke missing values
Cleaning yang dapat dibela mengubah data kotor menjadi data siap dianalisis dengan aturan yang dapat diulang dan jejak jumlah sebelum–sesudah. Setelah sentinel resmi menjadi missing, keputusan berikutnya adalah drop atau impute — materi 13.