Skip to main content

Tugas praktik: Metrik evaluasi & cross-validation

Data Science — materi DS-11

Penulis

Anggit Wirasto, S.Si., M.Eng.

Petunjuk umum

Kerjakan tugas ini di Jupyter Notebook (lokal) atau Google Colab. Laporan akhir berupa berkas PDF yang diekspor dari notebook, lalu unggah ke SCALSA sesuai tenggat dosen.

Rujukan materi:

Yang dinilai: pemilihan metrik yang selaras konteks (regresi dan klasifikasi); interpretasi MAE / RMSE / \(R^2\); confusion matrix serta precision, recall, specificity, dan F1; kurva ROC dan AUC pada model probabilistik; cross-validation dan (opsional) GridSearchCV tanpa mengutak-atik set uji; evaluasi final sekali pada test; Pipeline (fit di latih saja); kode scikit-learn yang jalan; narasi singkat per bagian.


Identitas (isi di notebook Anda)

Di cell Markdown paling atas notebook, tulis:

  • Nama lengkap dan NIM
  • Kelas / rombel
  • Tanggal pengerjaan
  • Lingkungan: Jupyter lokal / Google Colab
  • Dataset regresi dan dataset klasifikasi (nama, sumber, ukuran)
  • Konteks bisnis singkat untuk klasifikasi (siapa kelas positif, mengapa FP atau FN lebih mahal)

Persiapan lingkungan

pip install jupyter pandas numpy scikit-learn matplotlib seaborn

Dataset

Gunakan dua dataset (boleh keduanya dari sklearn):

Tugas Pilihan (contoh) Target
Regresi fetch_california_housing, load_diabetes numerik kontinu
Klasifikasi biner load_breast_cancer, make_classification dengan weights tidak seimbang dua kelas

Split tetap: random_state=42 (atau nilai Anda, konsisten di seluruh notebook). Klasifikasi: stratify=y. Semua penskalaan / imputasi hanya di dalam Pipeline dengan fit pada latih.


Bagian 1 — Metrik regresi (9.1)

  1. train_test_split untuk dataset regresi (test_size 0,2–0,3).
  2. Latih baseline (prediksi mean train — DummyRegressor(strategy="mean") atau manual) dan satu model regresi (LinearRegression, Ridge, atau RandomForestRegressor) dalam Pipeline jika perlu penskalaan.
  3. Pada set uji, laporkan MAE, RMSE, dan \(R^2\) untuk baseline dan model (satu tabel ringkas).
  4. Hitung rasio RMSE / MAE pada model utama; jelaskan dalam 3–5 kalimat apa artinya jika rasio > 1,5 (kaitkan dengan outlier residual).
  5. Dua grafik pada uji: prediksi vs aktual (garis \(y = \hat{y}\)) dan residual vs \(\hat{y}\) — apakah residual tampak acak atau berpola?
  6. Satu paragraf: mengapa MAE lebih mudah dijelaskan ke stakeholder dibanding \(R^2\)?

Bagian 2 — Metrik klasifikasi (9.2)

  1. train_test_split dengan stratify=y untuk klasifikasi biner.
  2. Latih LogisticRegression (disarankan, untuk Bagian 3) atau SVC(probability=True) dalam Pipeline + StandardScaler jika perlu.
  3. Tampilkan confusion matrix (tabel + heatmap); sebutkan TP, FN, FP, TN dalam narasi.
  4. Laporkan accuracy, precision, recall (= sensitivity), specificity, dan F1 untuk kelas positif; lampirkan classification_report.
  5. Satu paragraf: jika accuracy tinggi tetapi recall kelas positif rendah, apa implikasi untuk konteks bisnis yang Anda tulis di identitas?
  6. (Opsional) Jika multi-kelas: laporkan F1-macro dan jelaskan perbedaannya dengan F1 pada satu kelas.

Bagian 3 — ROC curve & AUC (9.2)

  1. Dari model Bagian 2, ambil skor kelas positif (predict_proba(X_test)[:, 1] atau decision_function).
  2. Plot kurva ROC (RocCurveDisplay.from_predictions atau roc_curve + plot manual); tandai garis acak (diagonal).
  3. Laporkan AUC (roc_auc_score).
  4. Pilih tiga threshold (mis. 0,3 / 0,5 / 0,7); untuk masing-masing, buat tabel kecil: TPR, FPR, precision, recall (boleh confusion_matrix per threshold).
  5. Satu paragraf: mengapa AUC tinggi tidak menggantikan pemilihan threshold operasional?
  6. (Opsional) Bandingkan AUC dengan satu model kedua (mis. DummyClassifier atau KNeighborsClassifier) pada data latih/uji yang sama.

Bagian 4 — Cross-validation (9.3)

  1. Gunakan hanya X_train, y_train klasifikasi untuk CV (jangan memasukkan test).
  2. StratifiedKFold (n_splits=5, shuffle=True, random_state=42) + cross_val_score dengan f1_macro untuk dua model berbeda (mis. Logistic Regression vs Random Forest), masing-masing dalam Pipeline.
  3. Laporkan mean ± std skor CV; jelaskan apakah std besar mengindikasikan model tidak stabil.
  4. (Opsional) GridSearchCV untuk satu hiperparameter (mis. C pada LR atau n_neighbors pada k-NN); cantumkan best_params_ dan best_score_ — ingat ini bukan skor test.
  5. Evaluasi final: latih ulang model terbaik menurut CV pada seluruh train (atau pakai best_estimator_ dari grid), prediksi sekali pada test; laporkan F1-macro (atau F1 kelas positif jika biner dan itu metrik bisnis Anda).
  6. Refleksi singkat: bandingkan skor latih vs CV vs test — apakah ada tanda overfitting?

Format pengumpulan

  • Satu PDF dari notebook (seluruh output terlihat, grafik terbaca).
  • Tidak wajib mengumpulkan aplikasi web atau berkas serialisasi model.

Lampiran contoh — metrik regresi

import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

def report_reg(y_true, y_pred, label=""):
    mae = mean_absolute_error(y_true, y_pred)
    rmse = float(np.sqrt(mean_squared_error(y_true, y_pred)))
    r2 = r2_score(y_true, y_pred)
    print(f"{label} MAE={mae:.4f} RMSE={rmse:.4f} R²={r2:.4f}  RMSE/MAE={rmse/mae:.2f}")

Lampiran contoh — klasifikasi & ROC

from sklearn.metrics import (
    RocCurveDisplay,
    classification_report,
    confusion_matrix,
    roc_auc_score,
)
import matplotlib.pyplot as plt

# y_proba = pipe.predict_proba(X_test)[:, 1]
# RocCurveDisplay.from_predictions(y_test, y_proba).plot()
# print("AUC:", roc_auc_score(y_test, y_proba))
# print(classification_report(y_test, pipe.predict(X_test)))

Lampiran contoh — CV

from sklearn.model_selection import StratifiedKFold, cross_val_score

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(pipe, X_train, y_train, cv=cv, scoring="f1_macro")
print("F1-macro per lipatan:", scores.round(3))
print("Mean ± std:", scores.mean().round(3), "±", scores.std().round(3))

Sesuaikan nama variabel, model, dataset, dan narasi dengan konteks Anda. Acuan interpretasi metrik: 10 contoh kasus di materi teori.