Tugas praktik: Metrik evaluasi & cross-validation
Data Science — materi DS-11
Petunjuk umum
Kerjakan tugas ini di Jupyter Notebook (lokal) atau Google Colab. Laporan akhir berupa berkas PDF yang diekspor dari notebook, lalu unggah ke SCALSA sesuai tenggat dosen.
Rujukan materi:
Yang dinilai: pemilihan metrik yang selaras konteks (regresi dan klasifikasi); interpretasi MAE / RMSE / \(R^2\); confusion matrix serta precision, recall, specificity, dan F1; kurva ROC dan AUC pada model probabilistik; cross-validation dan (opsional) GridSearchCV tanpa mengutak-atik set uji; evaluasi final sekali pada test; Pipeline (fit di latih saja); kode scikit-learn yang jalan; narasi singkat per bagian.
Identitas (isi di notebook Anda)
Di cell Markdown paling atas notebook, tulis:
- Nama lengkap dan NIM
- Kelas / rombel
- Tanggal pengerjaan
- Lingkungan: Jupyter lokal / Google Colab
- Dataset regresi dan dataset klasifikasi (nama, sumber, ukuran)
- Konteks bisnis singkat untuk klasifikasi (siapa kelas positif, mengapa FP atau FN lebih mahal)
Persiapan lingkungan
pip install jupyter pandas numpy scikit-learn matplotlib seabornDataset
Gunakan dua dataset (boleh keduanya dari sklearn):
| Tugas | Pilihan (contoh) | Target |
|---|---|---|
| Regresi | fetch_california_housing, load_diabetes |
numerik kontinu |
| Klasifikasi biner | load_breast_cancer, make_classification dengan weights tidak seimbang |
dua kelas |
Split tetap: random_state=42 (atau nilai Anda, konsisten di seluruh notebook). Klasifikasi: stratify=y. Semua penskalaan / imputasi hanya di dalam Pipeline dengan fit pada latih.
Bagian 1 — Metrik regresi (9.1)
train_test_splituntuk dataset regresi (test_size0,2–0,3).
- Latih baseline (prediksi mean train —
DummyRegressor(strategy="mean")atau manual) dan satu model regresi (LinearRegression,Ridge, atauRandomForestRegressor) dalamPipelinejika perlu penskalaan.
- Pada set uji, laporkan MAE, RMSE, dan \(R^2\) untuk baseline dan model (satu tabel ringkas).
- Hitung rasio RMSE / MAE pada model utama; jelaskan dalam 3–5 kalimat apa artinya jika rasio > 1,5 (kaitkan dengan outlier residual).
- Dua grafik pada uji: prediksi vs aktual (garis \(y = \hat{y}\)) dan residual vs \(\hat{y}\) — apakah residual tampak acak atau berpola?
- Satu paragraf: mengapa MAE lebih mudah dijelaskan ke stakeholder dibanding \(R^2\)?
Bagian 2 — Metrik klasifikasi (9.2)
train_test_splitdenganstratify=yuntuk klasifikasi biner.
- Latih
LogisticRegression(disarankan, untuk Bagian 3) atauSVC(probability=True)dalamPipeline+StandardScalerjika perlu.
- Tampilkan confusion matrix (tabel + heatmap); sebutkan TP, FN, FP, TN dalam narasi.
- Laporkan accuracy, precision, recall (= sensitivity), specificity, dan F1 untuk kelas positif; lampirkan
classification_report.
- Satu paragraf: jika accuracy tinggi tetapi recall kelas positif rendah, apa implikasi untuk konteks bisnis yang Anda tulis di identitas?
- (Opsional) Jika multi-kelas: laporkan F1-macro dan jelaskan perbedaannya dengan F1 pada satu kelas.
Bagian 3 — ROC curve & AUC (9.2)
- Dari model Bagian 2, ambil skor kelas positif (
predict_proba(X_test)[:, 1]ataudecision_function).
- Plot kurva ROC (
RocCurveDisplay.from_predictionsatauroc_curve+ plot manual); tandai garis acak (diagonal).
- Laporkan AUC (
roc_auc_score).
- Pilih tiga threshold (mis. 0,3 / 0,5 / 0,7); untuk masing-masing, buat tabel kecil: TPR, FPR, precision, recall (boleh
confusion_matrixper threshold).
- Satu paragraf: mengapa AUC tinggi tidak menggantikan pemilihan threshold operasional?
- (Opsional) Bandingkan AUC dengan satu model kedua (mis.
DummyClassifieratauKNeighborsClassifier) pada data latih/uji yang sama.
Bagian 4 — Cross-validation (9.3)
- Gunakan hanya
X_train, y_trainklasifikasi untuk CV (jangan memasukkan test).
StratifiedKFold(n_splits=5,shuffle=True,random_state=42) +cross_val_scoredenganf1_macrountuk dua model berbeda (mis. Logistic Regression vs Random Forest), masing-masing dalamPipeline.
- Laporkan mean ± std skor CV; jelaskan apakah std besar mengindikasikan model tidak stabil.
- (Opsional)
GridSearchCVuntuk satu hiperparameter (mis.Cpada LR ataun_neighborspada k-NN); cantumkanbest_params_danbest_score_— ingat ini bukan skor test.
- Evaluasi final: latih ulang model terbaik menurut CV pada seluruh train (atau pakai
best_estimator_dari grid), prediksi sekali pada test; laporkan F1-macro (atau F1 kelas positif jika biner dan itu metrik bisnis Anda).
- Refleksi singkat: bandingkan skor latih vs CV vs test — apakah ada tanda overfitting?
Format pengumpulan
- Satu PDF dari notebook (seluruh output terlihat, grafik terbaca).
- Tidak wajib mengumpulkan aplikasi web atau berkas serialisasi model.
Lampiran contoh — metrik regresi
import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
def report_reg(y_true, y_pred, label=""):
mae = mean_absolute_error(y_true, y_pred)
rmse = float(np.sqrt(mean_squared_error(y_true, y_pred)))
r2 = r2_score(y_true, y_pred)
print(f"{label} MAE={mae:.4f} RMSE={rmse:.4f} R²={r2:.4f} RMSE/MAE={rmse/mae:.2f}")Lampiran contoh — klasifikasi & ROC
from sklearn.metrics import (
RocCurveDisplay,
classification_report,
confusion_matrix,
roc_auc_score,
)
import matplotlib.pyplot as plt
# y_proba = pipe.predict_proba(X_test)[:, 1]
# RocCurveDisplay.from_predictions(y_test, y_proba).plot()
# print("AUC:", roc_auc_score(y_test, y_proba))
# print(classification_report(y_test, pipe.predict(X_test)))Lampiran contoh — CV
from sklearn.model_selection import StratifiedKFold, cross_val_score
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(pipe, X_train, y_train, cv=cv, scoring="f1_macro")
print("F1-macro per lipatan:", scores.round(3))
print("Mean ± std:", scores.mean().round(3), "±", scores.std().round(3))Sesuaikan nama variabel, model, dataset, dan narasi dengan konteks Anda. Acuan interpretasi metrik: 10 contoh kasus di materi teori.