Skip to main content

Tugas praktik: Validasi, transformasi fitur, & rekayasa fitur

Data Science — materi DS-07

Penulis

Anggit Wirasto, S.Si., M.Eng.

Petunjuk umum

Kerjakan tugas ini di Jupyter Notebook (lokal) atau Google Colab. Laporan akhir berupa berkas PDF yang diekspor dari notebook, lalu unggah ke SCALSA sesuai tenggat dosen.

Rujukan materi: Validasi data, transformasi fitur, & rekayasa fitur — slide.

Yang dinilai: daftar aturan validasi yang jelas; perbandingan minimal dua strategi penskalaan atau transformasi (dengan alasan); fitur baru yang terdefinisi operasional; integrasi dua sumber dengan dokumentasi kunci dan N baris; kode Pandas + scikit-learn yang jalan; serta kepatuhan format pengumpulan.


Identitas (isi di notebook Anda)

Di cell Markdown paling atas notebook, tulis:

  • Nama lengkap dan NIM
  • Kelas / rombel
  • Tanggal pengerjaan
  • Lingkungan: Jupyter lokal / Google Colab
  • Dataset yang dipakai (nama dan sumber)

Persiapan lingkungan

Jupyter lokal

python -m venv .venv
# Windows: .venv\Scripts\activate
# macOS/Linux: source .venv/bin/activate
pip install jupyter pandas numpy scikit-learn matplotlib seaborn ipykernel

Conda / Mamba / Micromamba: Anda boleh membuat environment terpisah; pastikan kernel Jupyter mengarah ke environment tempat paket tugas terpasang.

Google Colab

pandas, numpy, matplotlib, dan seaborn biasanya sudah ada; pasang scikit-learn bila perlu (biasanya sudah tersedia).


Dataset

Pilih satu dataset tabular publik yang memungkinkan:

  • Minimal dua kolom numerik dengan skala berbeda (mis. harga vs jumlah), dan
  • Minimal satu kolom kategorik atau kolom waktu (untuk ekstraksi fitur).
Pilihan Contoh
A sns.load_dataset("diamonds") — subset baris jika perlu
B sns.load_dataset("tips")
C Dataset Kaggle / OpenML — cantumkan URL di identitas

Anda akan membuat sumber kedua sintetis atau dari agregasi (lihat Bagian 4) sehingga ada latihan merge.


Bagian 1 — Validasi data

  1. Tulis satu kalimat tujuan analisis (deskriptif atau prediktif sederhana).
  2. Definisikan minimal lima aturan validasi (Markdown berpoin atau tabel), mencakup gabungan dari: tipe/rentang nilai, unikness ID jika ada, konsistensi silang sederhana, atau subset kategori yang diizinkan.
  3. Implementasikan pemeriksaan di Pandas; laporkan untuk setiap aturan: PASS/FAIL dan jumlah baris yang gagal (jika FAIL).
  4. Jika semua PASS pada data asli, sisipkan minimal satu baris sintetis yang melanggar satu aturan (jelaskan di Markdown) agar terlihat perilaku deteksi.

Bagian 2 — Transformasi & penskalaan fitur

  1. Pilih minimal dua dari: StandardScaler, MinMaxScaler, RobustScaler, atau transformasi nonlinear yang wajar (np.log1p pada kolom positif skew, dll.).
  2. Bagi data menjadi train/test (train_test_split, random_state tetap).
  3. Fit transformasi hanya pada train, terapkan ke test (disarankan: Pipeline atau fit/transform manual yang konsisten).
  4. Jelaskan mengapa Anda memilih pasangan transformasi tersebut untuk fitur yang dipakai (hubungkan dengan outlier/skew/algoritme yang Anda bayangkan, mis. k-NN vs pohon).

Bagian 3 — Rekayasa fitur (ekstraksi)

Buat minimal tiga fitur baru yang bukan sekadar salinan kolom lama, misalnya:

  • Rasio atau selisih dua kolom numerik (hati-hati pembagian nol).
  • Agregasi rolling atau “jumlah dalam grup” jika Anda punya kolom grup/waktu (jika tidak ada waktu, gunakan grup kategorik).
  • Dari waktu atau string: komponen tanggal, panjang teks, indikator.

Untuk setiap fitur baru, tulis satu kalimat definisi operasional (cara menghitungnya dari baris tabel).


Bagian 4 — Integrasi dataset

  1. Buat DataFrame kedua yang bisa di-merge dengan DataFrame utama: mis. tabel master kategori (kategori, deskripsi, poin_prioritas) yang Anda tulis manual di pd.DataFrame, atau agregasi per grup dari dataset yang sama dengan kolom baru.
  2. Gabungkan dengan merge (jelaskan how= dan kunci).
  3. Laporkan: kunci gabungan, jenis merge, jumlah baris sebelum dan sesudah merge, dan apa yang terjadi pada baris tanpa pasangan di tabel kedua.
  4. Jika ada konflik nama kolom duplikat setelah merge, tunjukkan bagaimana Anda menanganinya (suffixes= atau rename).

Bagian 5 — Ringkasan

Empat sampai enam poin: aturan validasi paling penting, pilihan penskalaan/transformasi, fitur baru paling informatif menurut Anda, dan satu risiko data leakage yang Anda hindari dengan pemisahan train/test atau definisi fitur.


Pengumpulan: PDF dan SCALSA

  1. Selesaikan seluruh bagian (1–5) dalam satu notebook dengan heading Markdown per bagian.
  2. Pastikan semua cell sudah di-Run dan output tampil.
  3. Ekspor ke PDF sesuai panduan kampus.
  4. Unggah PDF ke SCALSA sebelum tenggat.

Checklist sebelum kumpul