Skip to main content

12 — Data Cleaning: Duplikat, Noise, Encoding Error, dan Format

Tujuan: Menjelaskan langkah cleaning data yang wajib terdokumentasi di skripsi DS/ML — bukan sekadar “data dibersihkan”, tetapi apa yang dibersihkan, mengapa, dan berapa sampel tersisa.

Poin checklist terkait:
- Cleaning: duplikat, noise, encoding error, format tanggal/numerik
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 11 — Populasi, sampel & sampling · Materi berikutnya: 13 — Missing values
Terkait: 04 — Data leakage · 14 — Encoding kategorikal.


Di mana cleaning duduk dalam alur

Akuisisi → EDA / audit kualitas → Cleaning → Missing → Encoding → (FE) → Scaling → Model

Cleaning memperbaiki kualitas representasi data sebelum keputusan imputasi atau encoding model. Ia melanjutkan jejak \(N\) dari sampling dan inklusi–eksklusi (11): setelah baris “lolos kriteria”, masih ada perbaikan format, deduplikasi, dan pembersihan entri rusak. Tanpa dokumentasi, jumlah sampel akhir dan klaim hasil sulit diaudit.

Empat isu yang paling sering muncul di checklist:

Isu Gejala tipikal Risiko jika diabaikan
Duplikat Baris identik / hampir identik berulang Leakage train–test, metrik optimis
Noise Nilai ekstrem, label salah, entri sampah Model belajar pola palsu
Encoding error Karakter rusak, kategori samar, kode tidak konsisten Fitur pecah / kategori semu
Format tanggal/numerik Tanggal ambigu, pemisah desimal lokal, angka sebagai teks FE gagal, time-split salah

Duplikat

Duplikat eksak (semua kolom sama) biasanya dihapus dengan menyisakan satu baris. Duplikat kunci — id sama tetapi isi beda — membutuhkan aturan resolusi: terbaru, terlengkap, atau prioritas sumber. Near-duplicate pada teks atau citra perlu dedup domain (hash, similarity). Yang paling berbahaya untuk klaim prediktif: record yang sama masuk train dan test — itu leakage (04).

Di naskah, sebut definisi duplikat (kolom mana), jumlah sebelum/sesudah, aturan konflik, dan apakah dedup dilakukan sebelum partisi (ideal: pada identitas unik sebelum split).

Duplikat didefinisikan sebagai kesamaan pada patient_id dan exam_date. Dari 12.450 baris ditemukan 318 duplikat; disisakan rekaman dengan timestamp terbaru sehingga tersisa 12.132 baris.


Noise

Noise adalah informasi yang tidak relevan, salah, atau mengganggu sinyal yang ingin dipelajari: umur 250, skor di luar skala, baris uji (test, xxx), glitch sensor, atau OCR garbage. Bedakan outlier fenomenologis dari error entri. Jangan membuang titik hanya karena “jauh dari mean” tanpa alasan domain; setiap aturan filter harus bisa diaudit sebagai kriteria inklusi/eksklusi.

Dokumentasikan ambang atau whitelist yang dipakai, jumlah baris/nilai yang diperbaiki atau dibuang, dan justifikasi domainnya — bukan sekadar “outlier dihapus”.


Encoding error (bukan encoding ML)

Di sini “encoding” berarti kerusakan atau ketidakkonsistenan data mentah — mojibake (Pendidikan’s), sinonim kategori (Laki-laki / L / Pria), sentinel tersembunyi (999, -1, teks "NA"), whitespace/kapitalisasi, atau CSV yang pecah karena delimiter. Itu berbeda dari encoding kategorikal untuk model (one-hot, ordinal) di 14.

Tindakan tipikal: perbaiki charset sejak baca file; trim dan casefold; kamus rekod kategori; ganti sentinel menjadi NaN resmi sebelum imputasi; validasi skema kolom. Menyebut “dilakukan encoding” tanpa membedakan perbaikan mentah vs encoding model adalah kesalahan yang sering muncul di sidang.


Format tanggal dan numerik

01/02/24 bisa 1 Februari atau 2 Januari; tahun bisa 2024 atau 1924; satu kolom bisa bercampur ISO, teks bulan, dan serial Excel. Parse dengan format eksplisit, simpan datetime konsisten (lebih aman ISO YYYY-MM-DD), catat timezone jika relevan, dan pastikan urutan waktu benar sebelum time-based split.

Untuk numerik: pemisah ribuan/desimal lokal (1.234,56 vs 1,234.56), string berkontaminasi spasi atau simbol mata uang, persentase sebagai teks. Bersihkan simbol, seragamkan desimal, cast ke tipe numerik, dan catat berapa nilai gagal parse — gagal parse menjadi missing, jangan dipaksa 0 tanpa alasan. Langkah itu mengantar langsung ke keputusan drop/impute di 13.


Urutan kerja yang disarankan

1. Backup data mentah (versi immutable)
2. Audit skema & tipe kolom
3. Perbaiki charset & standarisasi string
4. Parse tanggal & numerik
5. Sentinel → missing
6. Deduplikasi
7. Filter noise / aturan inklusi–eksklusi
8. Catat N sebelum–sesudah
9. Lanjut imputasi & encoding ML

Jangan scaling atau SMOTE sebelum cleaning selesai dan split dipahami. Cleaning yang memakai statistik global (misalnya winsorize kuantil seluruh data sebelum split) juga bisa bocor — fit aturan pada train atau pakai batas domain yang tetap.


Tabel audit (untuk BAB III/IV atau lampiran)

Langkah Aturan Sebelum Sesudah Keterangan
Deduplikasi unik pada id 12.450 12.132 timestamp terbaru
Mapping gender kamus standar 4 label 2 label L/Pria → laki-laki
Parse tanggal DD/MM/YYYY 210 gagal 12 → NaT sisanya diperbaiki
Filter umur 15–80 12.132 11.980 di luar rentang dibuang

Tanpa jejak seperti ini, kalimat “data telah dibersihkan” sulit diverifikasi.

Tahap cleaning meliputi: (1) standarisasi kategorikal dan perbaikan encoding karakter, (2) parsing tanggal ke YYYY-MM-DD serta konversi numerik bertipe teks, (3) penghapusan duplikat berdasarkan [kunci], dan (4) filter noise menurut [aturan domain]. Observasi berkurang dari N₀ menjadi N₁. Data mentah disimpan sebagai v0; hasil cleaning sebagai v1.


Sebelum lanjut ke missing values


Cleaning yang dapat dibela mengubah data kotor menjadi data siap dianalisis dengan aturan yang dapat diulang dan jejak jumlah sebelum–sesudah. Setelah sentinel resmi menjadi missing, keputusan berikutnya adalah drop atau impute — materi 13.