Skip to main content

Tugas praktik: Pemilihan objek data & pembersihan data

Data Science — materi DS-06

Penulis

Anggit Wirasto, S.Si., M.Eng.

Petunjuk umum

Kerjakan tugas ini di Jupyter Notebook (lokal) atau Google Colab. Laporan akhir berupa berkas PDF yang diekspor dari notebook, lalu unggah ke SCALSA sesuai tenggat dosen.

Rujukan materi: Pemilihan objek data & pembersihan data — slide.

Yang dinilai: kejelasan justifikasi pemilihan baris/kolom; analisis missing dan outlier (minimal IQR atau visual); log dokumentasi pembersihan yang lengkap dan selaras dengan materi slide; kode Pandas yang jalan; serta kepatuhan format pengumpulan.


Identitas (isi di notebook Anda)

Di cell Markdown paling atas notebook, tulis:

  • Nama lengkap dan NIM
  • Kelas / rombel
  • Tanggal pengerjaan
  • Lingkungan: Jupyter lokal / Google Colab
  • Dataset yang dipakai (nama dan sumber)

Persiapan lingkungan

Jupyter lokal

python -m venv .venv
# Windows: .venv\Scripts\activate
# macOS/Linux: source .venv/bin/activate
pip install jupyter pandas numpy matplotlib seaborn ipykernel

Lingkungan lain (Conda / Mamba / Micromamba): jika tidak memakai venv, Anda boleh membuat environment terpisah dengan conda atau turunannya (mamba, micromamba). Contoh:

conda create -n materi-ds python=3.12 -y
conda activate materi-ds
pip install jupyter pandas numpy matplotlib seaborn ipykernel

Ganti nama materi-ds sesuai kebiasaan Anda. Di Windows, conda activate biasanya dijalankan dari Anaconda Prompt atau terminal yang sudah diinisialisasi conda. Setelah paket terpasang, daftarkan kernel ke Jupyter bila perlu: python -m ipykernel install --user --name=materi-ds --display-name="Python (materi-ds)".

Buka notebook baru dan pilih kernel yang mengarah ke environment tempat paket tugas terpasang (.venv atau conda).

Google Colab

Biasanya pandas, numpy, matplotlib, dan seaborn sudah tersedia; tambahkan jika perlu.


Dataset

Pilih satu dataset tabular publik dengan minimal satu kolom numerik yang rawan outlier atau skew, dan beberapa missing (alamiah atau Anda sisipkan secara terkontrol untuk latihan — jelaskan di notebook).

Pilihan Contoh
A sns.load_dataset("diamonds") — subset baris jika perlu (sample)
B sns.load_dataset("titanic")
C Dataset dari Kaggle / OpenML — cantumkan URL di identitas

Bagian 1 — Pemilihan objek data

  1. Tulis satu kalimat tujuan analisis (contoh: “melihat hubungan X dan Y pada populasi Z”).
  2. Filter baris yang relevan (waktu, kategori, atau kriteria lain); jelaskan mengapa.
  3. Pilih subset kolom yang dipakai sebagai fitur analisis; sebutkan kolom yang sengaja tidak dipakai dan alasan singkat.
  4. Periksa duplikat (pilih kunci yang masuk akal); laporkan jumlah dan tindakan (drop_duplicates atau tidak, dengan alasan).

Bagian 2 — Missing values

  1. Laporkan persentase missing per kolom (tabel atau ringkasan).
  2. Jelaskan apakah ada kode khusus yang harus diperlakukan sebagai missing.
  3. Terapkan minimal satu strategi: hapus baris, hapus kolom, atau imputasi (mean/median/modus atau metode lain); jelaskan trade-off pilihan Anda.
  4. Simpan DataFrame bersih ke variabel baru (mis. df_clean) dan tampilkan head().

Bagian 3 — Outlier

  1. Untuk minimal satu kolom numerik, tampilkan boxplot atau histogram.
  2. Tentukan outlier dengan aturan IQR (1.5×IQR) atau argumen domain; sebutkan berapa observasi yang tertandai.
  3. Pilih satu tindakan: biarkan dengan komentar domain, cap/winsorize, transformasi (mis. log jika cocok), atau hapus — jelaskan konsekuensi pada analisis singkat berikutnya (mis. ukuran sampel atau interpretasi).

Bagian 4 — Dokumentasi pembersihan (log)

Bagian ini wajib dan harus selaras dengan contoh log pada materi slide (judul slide tentang dokumentasi missing & outlier). Tulis di Markdown notebook Anda — boleh satu cell panjang atau beberapa subjudul.

4.1 Kepala log

Cantumkan minimal:

  • Nama tugas / judul analisis singkat Anda
  • Versi dataset: nama berkas atau identifikasi (mis. nama csv, dataset Seaborn, atau URL + tanggal unduh)
  • Tanggal pengerjaan
  • Nama Anda (sudah ada di identitas boleh dirujuk singkat)

4.2 Tabel A — Missing values

Untuk setiap kolom yang mengalami missing (atau sentinel yang Anda ubah jadi missing), buat baris dengan informasi:

Kolom % atau (n/N) missing sebelum tindakan Tindakan (hapus baris / hapus kolom / imputasi / indikator, dll.) Parameter (median global, per grup, konstanta, subset dropna, dll.)

Jika tidak ada missing alamiah, jelaskan itu secara eksplisit; untuk latihan Anda boleh menyisipkan missing terkontrol asalkan dijelaskan di log (kolom mana, berapa persen, mengapa).

4.3 Tabel B — Outlier

Untuk setiap variabel numerik yang Anda tangani sebagai pencilan, buat baris:

Kolom Metode deteksi (IQR 1,5×, boxplot + domain, dll.) Ambang / rumus (tulis angka atau Q1, Q3, IQR) Tindakan (biarkan, winsorize/cap, transformasi, hapus, dll.) Perkiraan baris terdampak

4.4 Catatan (bagian C)

Tambahkan paragraf pendek yang memuat minimal:

  • Asumsi pola missing (MCAR / MAR / MNAR) secara kasar dan alasan singkat — atau pernyataan “sulit memastikan; saya mengasumsikan … untuk keperluan tugas”.
  • Apakah statistik imputasi atau batas winsorize dihitung dari seluruh data atau dari split train saja — jika Anda tidak memakai split, tulis secara eksplisit “seluruh data latihan tugas”.
  • Jumlah baris: \(N\) sebelum filter pemilihan data → \(N\) setelah filter → \(N\) akhir setelah penanganan missing/outlier (hapus baris), agar jejak perubahan sampel jelas.

Rujukan kerangka teks pada slide: buka materi slide DS-06 bagian Contoh format — kerangka log pembersihan dan contoh terisi.


Bagian 5 — Ringkasan

Tiga sampai lima poin: keputusan utama pemilihan data, penanganan missing, dan outlier; serta satu hal yang akan Anda ubah jika mendapat data lebih lengkap dari sumber. Jangan mengulang seluruh tabel log di sini; cukup poin-poin sintesis.


Pengumpulan: PDF dan SCALSA

  1. Selesaikan seluruh bagian (1–5) dalam satu notebook dengan heading Markdown per bagian, termasuk Bagian 4 — Dokumentasi.
  2. Pastikan semua cell sudah di-Run dan output tampil.
  3. Ekspor ke PDF (nbconvert / cetak dari HTML / fitur Colab) sesuai panduan kampus.
  4. Unggah PDF ke SCALSA sebelum tenggat.

Checklist sebelum kumpul