Tugas praktik: Pemilihan objek data & pembersihan data
Data Science — materi DS-06
Petunjuk umum
Kerjakan tugas ini di Jupyter Notebook (lokal) atau Google Colab. Laporan akhir berupa berkas PDF yang diekspor dari notebook, lalu unggah ke SCALSA sesuai tenggat dosen.
Rujukan materi: Pemilihan objek data & pembersihan data — slide.
Yang dinilai: kejelasan justifikasi pemilihan baris/kolom; analisis missing dan outlier (minimal IQR atau visual); log dokumentasi pembersihan yang lengkap dan selaras dengan materi slide; kode Pandas yang jalan; serta kepatuhan format pengumpulan.
Identitas (isi di notebook Anda)
Di cell Markdown paling atas notebook, tulis:
- Nama lengkap dan NIM
- Kelas / rombel
- Tanggal pengerjaan
- Lingkungan: Jupyter lokal / Google Colab
- Dataset yang dipakai (nama dan sumber)
Persiapan lingkungan
Jupyter lokal
python -m venv .venv
# Windows: .venv\Scripts\activate
# macOS/Linux: source .venv/bin/activate
pip install jupyter pandas numpy matplotlib seaborn ipykernelLingkungan lain (Conda / Mamba / Micromamba): jika tidak memakai venv, Anda boleh membuat environment terpisah dengan conda atau turunannya (mamba, micromamba). Contoh:
conda create -n materi-ds python=3.12 -y
conda activate materi-ds
pip install jupyter pandas numpy matplotlib seaborn ipykernelGanti nama materi-ds sesuai kebiasaan Anda. Di Windows, conda activate biasanya dijalankan dari Anaconda Prompt atau terminal yang sudah diinisialisasi conda. Setelah paket terpasang, daftarkan kernel ke Jupyter bila perlu: python -m ipykernel install --user --name=materi-ds --display-name="Python (materi-ds)".
Buka notebook baru dan pilih kernel yang mengarah ke environment tempat paket tugas terpasang (.venv atau conda).
Google Colab
Biasanya pandas, numpy, matplotlib, dan seaborn sudah tersedia; tambahkan jika perlu.
Dataset
Pilih satu dataset tabular publik dengan minimal satu kolom numerik yang rawan outlier atau skew, dan beberapa missing (alamiah atau Anda sisipkan secara terkontrol untuk latihan — jelaskan di notebook).
| Pilihan | Contoh |
|---|---|
| A | sns.load_dataset("diamonds") — subset baris jika perlu (sample) |
| B | sns.load_dataset("titanic") |
| C | Dataset dari Kaggle / OpenML — cantumkan URL di identitas |
Bagian 1 — Pemilihan objek data
- Tulis satu kalimat tujuan analisis (contoh: “melihat hubungan X dan Y pada populasi Z”).
- Filter baris yang relevan (waktu, kategori, atau kriteria lain); jelaskan mengapa.
- Pilih subset kolom yang dipakai sebagai fitur analisis; sebutkan kolom yang sengaja tidak dipakai dan alasan singkat.
- Periksa duplikat (pilih kunci yang masuk akal); laporkan jumlah dan tindakan (
drop_duplicatesatau tidak, dengan alasan).
Bagian 2 — Missing values
- Laporkan persentase missing per kolom (tabel atau ringkasan).
- Jelaskan apakah ada kode khusus yang harus diperlakukan sebagai missing.
- Terapkan minimal satu strategi: hapus baris, hapus kolom, atau imputasi (mean/median/modus atau metode lain); jelaskan trade-off pilihan Anda.
- Simpan DataFrame bersih ke variabel baru (mis.
df_clean) dan tampilkanhead().
Bagian 3 — Outlier
- Untuk minimal satu kolom numerik, tampilkan boxplot atau histogram.
- Tentukan outlier dengan aturan IQR (1.5×IQR) atau argumen domain; sebutkan berapa observasi yang tertandai.
- Pilih satu tindakan: biarkan dengan komentar domain, cap/winsorize, transformasi (mis. log jika cocok), atau hapus — jelaskan konsekuensi pada analisis singkat berikutnya (mis. ukuran sampel atau interpretasi).
Bagian 4 — Dokumentasi pembersihan (log)
Bagian ini wajib dan harus selaras dengan contoh log pada materi slide (judul slide tentang dokumentasi missing & outlier). Tulis di Markdown notebook Anda — boleh satu cell panjang atau beberapa subjudul.
4.1 Kepala log
Cantumkan minimal:
- Nama tugas / judul analisis singkat Anda
- Versi dataset: nama berkas atau identifikasi (mis. nama
csv, dataset Seaborn, atau URL + tanggal unduh)
- Tanggal pengerjaan
- Nama Anda (sudah ada di identitas boleh dirujuk singkat)
4.2 Tabel A — Missing values
Untuk setiap kolom yang mengalami missing (atau sentinel yang Anda ubah jadi missing), buat baris dengan informasi:
| Kolom | % atau (n/N) missing sebelum tindakan | Tindakan (hapus baris / hapus kolom / imputasi / indikator, dll.) | Parameter (median global, per grup, konstanta, subset dropna, dll.) |
|---|
Jika tidak ada missing alamiah, jelaskan itu secara eksplisit; untuk latihan Anda boleh menyisipkan missing terkontrol asalkan dijelaskan di log (kolom mana, berapa persen, mengapa).
4.3 Tabel B — Outlier
Untuk setiap variabel numerik yang Anda tangani sebagai pencilan, buat baris:
| Kolom | Metode deteksi (IQR 1,5×, boxplot + domain, dll.) | Ambang / rumus (tulis angka atau Q1, Q3, IQR) | Tindakan (biarkan, winsorize/cap, transformasi, hapus, dll.) | Perkiraan baris terdampak |
|---|
4.4 Catatan (bagian C)
Tambahkan paragraf pendek yang memuat minimal:
- Asumsi pola missing (MCAR / MAR / MNAR) secara kasar dan alasan singkat — atau pernyataan “sulit memastikan; saya mengasumsikan … untuk keperluan tugas”.
- Apakah statistik imputasi atau batas winsorize dihitung dari seluruh data atau dari split train saja — jika Anda tidak memakai split, tulis secara eksplisit “seluruh data latihan tugas”.
- Jumlah baris: \(N\) sebelum filter pemilihan data → \(N\) setelah filter → \(N\) akhir setelah penanganan missing/outlier (hapus baris), agar jejak perubahan sampel jelas.
Rujukan kerangka teks pada slide: buka materi slide DS-06 bagian Contoh format — kerangka log pembersihan dan contoh terisi.
Bagian 5 — Ringkasan
Tiga sampai lima poin: keputusan utama pemilihan data, penanganan missing, dan outlier; serta satu hal yang akan Anda ubah jika mendapat data lebih lengkap dari sumber. Jangan mengulang seluruh tabel log di sini; cukup poin-poin sintesis.
Pengumpulan: PDF dan SCALSA
- Selesaikan seluruh bagian (1–5) dalam satu notebook dengan heading Markdown per bagian, termasuk Bagian 4 — Dokumentasi.
- Pastikan semua cell sudah di-Run dan output tampil.
- Ekspor ke PDF (nbconvert / cetak dari HTML / fitur Colab) sesuai panduan kampus.
- Unggah PDF ke SCALSA sebelum tenggat.