Tugas praktik: Validasi, transformasi fitur, & rekayasa fitur
Data Science — materi DS-07
Petunjuk umum
Kerjakan tugas ini di Jupyter Notebook (lokal) atau Google Colab. Laporan akhir berupa berkas PDF yang diekspor dari notebook, lalu unggah ke SCALSA sesuai tenggat dosen.
Rujukan materi: Validasi data, transformasi fitur, & rekayasa fitur — slide.
Yang dinilai: daftar aturan validasi yang jelas; perbandingan minimal dua strategi penskalaan atau transformasi (dengan alasan); fitur baru yang terdefinisi operasional; integrasi dua sumber dengan dokumentasi kunci dan N baris; kode Pandas + scikit-learn yang jalan; serta kepatuhan format pengumpulan.
Identitas (isi di notebook Anda)
Di cell Markdown paling atas notebook, tulis:
- Nama lengkap dan NIM
- Kelas / rombel
- Tanggal pengerjaan
- Lingkungan: Jupyter lokal / Google Colab
- Dataset yang dipakai (nama dan sumber)
Persiapan lingkungan
Jupyter lokal
python -m venv .venv
# Windows: .venv\Scripts\activate
# macOS/Linux: source .venv/bin/activate
pip install jupyter pandas numpy scikit-learn matplotlib seaborn ipykernelConda / Mamba / Micromamba: Anda boleh membuat environment terpisah; pastikan kernel Jupyter mengarah ke environment tempat paket tugas terpasang.
Google Colab
pandas, numpy, matplotlib, dan seaborn biasanya sudah ada; pasang scikit-learn bila perlu (biasanya sudah tersedia).
Dataset
Pilih satu dataset tabular publik yang memungkinkan:
- Minimal dua kolom numerik dengan skala berbeda (mis. harga vs jumlah), dan
- Minimal satu kolom kategorik atau kolom waktu (untuk ekstraksi fitur).
| Pilihan | Contoh |
|---|---|
| A | sns.load_dataset("diamonds") — subset baris jika perlu |
| B | sns.load_dataset("tips") |
| C | Dataset Kaggle / OpenML — cantumkan URL di identitas |
Anda akan membuat sumber kedua sintetis atau dari agregasi (lihat Bagian 4) sehingga ada latihan merge.
Bagian 1 — Validasi data
- Tulis satu kalimat tujuan analisis (deskriptif atau prediktif sederhana).
- Definisikan minimal lima aturan validasi (Markdown berpoin atau tabel), mencakup gabungan dari: tipe/rentang nilai, unikness ID jika ada, konsistensi silang sederhana, atau subset kategori yang diizinkan.
- Implementasikan pemeriksaan di Pandas; laporkan untuk setiap aturan: PASS/FAIL dan jumlah baris yang gagal (jika FAIL).
- Jika semua PASS pada data asli, sisipkan minimal satu baris sintetis yang melanggar satu aturan (jelaskan di Markdown) agar terlihat perilaku deteksi.
Bagian 2 — Transformasi & penskalaan fitur
- Pilih minimal dua dari:
StandardScaler,MinMaxScaler,RobustScaler, atau transformasi nonlinear yang wajar (np.log1ppada kolom positif skew, dll.).
- Bagi data menjadi train/test (
train_test_split,random_statetetap).
- Fit transformasi hanya pada train, terapkan ke test (disarankan:
Pipelineataufit/transformmanual yang konsisten).
- Jelaskan mengapa Anda memilih pasangan transformasi tersebut untuk fitur yang dipakai (hubungkan dengan outlier/skew/algoritme yang Anda bayangkan, mis. k-NN vs pohon).
Bagian 3 — Rekayasa fitur (ekstraksi)
Buat minimal tiga fitur baru yang bukan sekadar salinan kolom lama, misalnya:
- Rasio atau selisih dua kolom numerik (hati-hati pembagian nol).
- Agregasi rolling atau “jumlah dalam grup” jika Anda punya kolom grup/waktu (jika tidak ada waktu, gunakan grup kategorik).
- Dari waktu atau string: komponen tanggal, panjang teks, indikator.
Untuk setiap fitur baru, tulis satu kalimat definisi operasional (cara menghitungnya dari baris tabel).
Bagian 4 — Integrasi dataset
- Buat DataFrame kedua yang bisa di-
mergedengan DataFrame utama: mis. tabel master kategori (kategori,deskripsi,poin_prioritas) yang Anda tulis manual dipd.DataFrame, atau agregasi per grup dari dataset yang sama dengan kolom baru.
- Gabungkan dengan
merge(jelaskanhow=dan kunci).
- Laporkan: kunci gabungan, jenis merge, jumlah baris sebelum dan sesudah merge, dan apa yang terjadi pada baris tanpa pasangan di tabel kedua.
- Jika ada konflik nama kolom duplikat setelah merge, tunjukkan bagaimana Anda menanganinya (
suffixes=ataurename).
Bagian 5 — Ringkasan
Empat sampai enam poin: aturan validasi paling penting, pilihan penskalaan/transformasi, fitur baru paling informatif menurut Anda, dan satu risiko data leakage yang Anda hindari dengan pemisahan train/test atau definisi fitur.
Pengumpulan: PDF dan SCALSA
- Selesaikan seluruh bagian (1–5) dalam satu notebook dengan heading Markdown per bagian.
- Pastikan semua cell sudah di-Run dan output tampil.
- Ekspor ke PDF sesuai panduan kampus.
- Unggah PDF ke SCALSA sebelum tenggat.