Prinsip merentang semua subbab: ukur performa pada data yang belum dipakai untuk menyesuaikan model; dokumentasikan metrik utama sebelum eksperimen.
Mengapa evaluasi terpisah dari “memilih algoritme”?
Algoritme menjawab: bagaimana kita mempelajari \(f(x)\) dari data latih.
Evaluasi menjawab: seberapa baik\(f\)generalisasi pada observasi baru — dan metrik mana yang mencerminkan biaya kesalahan di dunia nyata.
Tanpa evaluasi yang disiplin, skor tinggi di latih sering berarti overfitting (menghafal noise), bukan model yang siap dipakai stakeholder atau pengguna akhir.
Protokol evaluasi yang disiplin
Tetapkan metrik utama (dan metrik pendukung) sebelum melihat hasil uji.
Pisahkan set latih / uji (atau validasi) — uji suci untuk laporan akhir.
Semua transformasi (skala, imputasi, encoding) → fit di latih, transform di uji (Pipeline).
Tuning hiperparameter → cross-validation di latih, bukan mengulang skor test.
Deployment → simpan artefak (model + preprocessor) yang identik dengan yang dilatih.
9.1 — Metrik evaluasi regresi
Untuk target kontinu \(y_i\) dan prediksi \(\hat{y}_i\), \(i = 1,\ldots,n\) (biasanya \(n\) = ukuran set uji):
dengan \(\bar{y}\) = rata-rata \(y\) pada set yang sama (umumnya test).
MAE vs RMSE — kapan memakai yang mana?
Metrik
Satuan
Sensitivitas
Kapan diprioritaskan
MAE
sama dengan \(y\)
residual besar dihitung linear
outlier moderat; laporan “rata-rata salah X rupiah/kWh”
RMSE
sama dengan \(y\)
residual besar dihukum kuadrat
selaras dengan optimasi MSE; penalti ekstrem lebih berat
\(R^2\)
tanpa satuan (skala 0–1, bisa negatif)
proporsi varians terjelaskan
perbandingan model pada dataset yang sama
RMSE \(\geq\) MAE (kesenaksamaan Cauchy–Schwarz); jika RMSE jauh lebih besar dari MAE, sering ada beberapa prediksi yang sangat meleset.
\(R^2\) — bahasa awam & jebakan
Bahasa awam:\(R^2 \approx 0{,}85\) artinya model menjelaskan sekitar 85% variasi target dibandingkan model “tebak rata-rata saja” — pada data yang diukur.
Jebakan:
\(R^2\) tinggi di latih, rendah di uji → kemungkinan overfitting.
\(R^2\) negatif di uji → model lebih buruk dari prediksi konstan \(\bar{y}\).
\(R^2\) tidak comparable antar dataset berbeda — bandingkan model pada split yang sama.
Pada multi-kelas, matriks \(C \times C\): baris = label aktual, kolom = label prediksi; diagonal = benar per kelas.
Confusion matrix — bahasa awam
Bayangkan skrining penyakit: baris = kondisi pasien sebenarnya, kolom = keputusan model. Diagonal = tepat sasaran; sel lain = jenis salah yang tidak setara biayanya — mengira sehat padahal sakit (FN) sering lebih berbahaya daripada sebaliknya (FP), tergantung konteks.
Akurasi saja bisa menyesatkan jika 99% populasi sehat: model yang selalu bilang “sehat” tetap 99% akurat tetapi gagal total menemukan yang sakit.
Micro-F1 pada multi-kelas sering setara dengan akurasi jika setiap observasi satu label.
Memilih metrik — contoh domain
Konteks
Metrik yang sering diprioritaskan
Harga / permintaan (regresi)
RMSE + MAE; \(R^2\) sebagai pelengkap
Deteksi fraud / penyakit
Recall kelas positif, F1, PR-AUC (lanjutan)
Filter spam / rekomendasi iklan
Precision (kurangi gangguan FP)
Klasifikasi multi-kelas seimbang
F1-macro, confusion matrix per kelas
Model probabilistik / ranking skor
ROC & AUC; threshold operasional
9.3 — Cross-validation: tujuan
Cross-validation (CV) memecah set latih menjadi beberapa lipatan (fold):
Model dilatih di \(k-1\) lipatan, dievaluasi di lipatan tersisa.
Diulang \(k\) kali → distribusi skor validasi.
Manfaat:
Estimasi performa lebih stabil daripada satu split kebetulan.
Pemilihan hiperparameter tanpa menyentuh set uji.
Mendeteksi variansi tinggi antar lipatan → model tidak stabil atau data kecil.
k-Fold CV — skema
import matplotlib.pyplot as pltimport matplotlib.patches as mpatchesimport numpy as npk =5n =20fold_size = n // ktrain_color = (0.85, 0.85, 0.85, 1)val_color ="#e74c3c"fig, ax = plt.subplots(figsize=(9, 3.6))for f inrange(k):for i inrange(n): is_val = (i // fold_size) == f ax.add_patch( plt.Rectangle( (i, f),1,0.8, color=val_color if is_val else train_color, ec="white", linewidth=0.8, ) )for b inrange(1, k): ax.axvline(b * fold_size, color="#555555", linewidth=0.8, linestyle=":", alpha=0.7)for b inrange(k): ax.text( b * fold_size + fold_size /2, k +0.12,f"L{b +1}", ha="center", va="bottom", fontsize=9, fontweight="bold", )ax.set_xlim(0, n)ax.set_ylim(-0.5, k +0.45)ax.set_yticks(range(k))ax.set_yticklabels([f"Lipatan {i +1} validasi"for i inrange(k)])ax.set_xlabel("Observasi (5 lipatan kontigu, masing-masing 4 sampel)")ax.set_xticks([i * fold_size + fold_size /2for i inrange(k)])ax.set_xticklabels([f"{i * fold_size +1}–{(i +1) * fold_size}"for i inrange(k)])ax.set_title("5-fold CV — rotasi lipatan validasi")ax.legend( handles=[ mpatches.Patch(color=train_color, label="Latih"), mpatches.Patch(color=val_color, label="Validasi"), ], loc="upper right", framealpha=0.95,)plt.tight_layout()
k-Fold CV — skema
CV — bahasa awam
Alih-alih satu ujian mini, Anda mengadakan lima ujian bergilir pada data latih: setiap kali satu bagian disembunyikan sebagai “ujian sementara”, empat bagian lain untuk belajar. Rata-rata skor lima ujian memberi gambaran lebih adil daripada keberuntungan satu pembagian acak.
Set uji besar tetap disimpan untuk laporan akhir sekali — seperti ujian nasional yang tidak boleh dipakai saat latihan harian.
Stratified K-Fold & Repeated CV
StratifiedKFold: proporsi kelas di tiap lipatan mendekati proporsi global — penting untuk klasifikasi tidak seimbang.
RepeatedKFold / RepeatedStratifiedKFold: ulangi pembagian acak \(r\) kali → \(k \times r\) skor → estimasi mean ± std lebih andal (biaya komputasi naik).
Leave-One-Out (LOO):\(k = n\) — tidak bias tetapi sangat mahal untuk \(n\) besar.
best_score_ = rata-rata skor CV di data latih penuh — bukan skor test. Setelah memilih \(k\), baru evaluasi sekali pada X_test, y_test jika split tersedia.
GridSearchCV — tuning tanpa bocor ke test
Best k: {'m__n_neighbors': 15}
Best CV F1-macro: 0.979
Best estimator (refit on full X): Pipeline(steps=[('sc', StandardScaler()),
('m', KNeighborsClassifier(n_neighbors=15))])
Nested CV (gambaran)
Masalah: jika Anda memakai CV untuk tuning, lalu melaporkan skor CV yang sama sebagai estimasi performa final, estimasi bisa optimis.
Nested CV:
Lipatan luar: estimasi performa generalisasi.
Lipatan dalam: tuning hiperparameter.
Digunakan pada penelitian / dataset kecil; di industri sering cukup train / valid / test eksplisit.
Overfitting & peran CV
Gejala
Skor latih
Skor CV / uji
Tindakan
Underfitting
rendah
rendah
model lebih kaya, fitur lebih baik
Pas (good fit)
baik
mendekati latih
dokumentasikan & deploy
Overfitting
sangat baik
jauh lebih rendah
regularisasi, kurangi kompleksitas, lebih banyak data, CV untuk tuning
Kurva validasi (skor vs kompleksitas model) membantu memilih titik sweet spot — materi lanjutan sering memplot learning curve.
Train / validation / test (alternatif CV)
Subset
Peran
Train
latih parameter model
Validation
pilih hiperparameter, early stopping
Test
laporan akhir sekali
CV pada praktiknya membuat validation berputar di dalam train tanpa membuang data.
ROC & AUC (ringkas)
Model probabilistik mengeluarkan skor\(P(Y{=}1 \mid x)\); threshold\(\tau\) menentukan label biner.