07 — Metrik Evaluasi Model: Memilih, Mengunci, dan Menafsirkan
Tujuan: Menjelaskan teori metrik evaluasi agar mahasiswa mengunci metrik utama yang sesuai masalah (bukan asal accuracy), dan menafsirkannya konsisten dengan kriteria keberhasilan serta diagnostik error.
Poin checklist terkait:
- Metrik utama dan metrik pendukung dipilih sesuai masalah
- Metrik utama dihitung pada set yang tepat (val saat tuning; test saat klaim akhir)
- Analisis per kelas (macro/micro/weighted) pada masalah multiclass/imbalance
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 06 — Hyperparameter tuning · Materi berikutnya: 08 — Class imbalance & SMOTE
Terkait: 02 — Hipotesis / kriteria keberhasilan · 08 — Class imbalance & SMOTE · 18 — Confusion matrix / residual.
Metrik menjawab pertanyaan apa?
Metrik bukan sekadar “angka bagus”. Setiap metrik menekankan aspek kesalahan yang berbeda. Accuracy menghukum semua salah secara seragam; recall peduli pada kasus positif yang terlewat; RMSE menekan error besar. Karena itu pemilihan metrik adalah keputusan substantif — selaras dengan biaya kesalahan di domain — bukan pelengkap setelah model selesai.
| Pertanyaan riset | Arah metrik |
|---|---|
| Seberapa sering prediksi benar secara keseluruhan? | Accuracy (hati-hati jika imbalance) |
| Dari yang diprediksi positif, berapa yang benar? | Precision |
| Dari yang memang positif, berapa yang tertangkap? | Recall / Sensitivity |
| Keseimbangan precision–recall? | F1 |
| Kualitas ranking skor lintas ambang? | ROC-AUC / PR-AUC |
| Seberapa jauh prediksi numerik dari aktual? | MAE, RMSE, MAPE, \(R^2\) |
Kunci di muka: satu metrik utama plus beberapa pendukung — lihat 02. Variabilitas skor (mean ± std antar fold, atau interval) memperkuat klaim dan menjembatani ke uji beda di 09.
Klasifikasi, multiclass, dan regresi
Empat sel confusion matrix (TP, FP, TN, FN) menurunkan accuracy, precision, recall, specificity, dan F1 — detail diagnostik di 18.
\[ \mathrm{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN}, \quad \mathrm{Precision} = \frac{TP}{TP+FP}, \quad \mathrm{Recall} = \frac{TP}{TP+FN}, \quad \mathrm{F1} = 2\cdot\frac{\mathrm{Precision}\cdot\mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}} \]
Accuracy menipu saat 95% sampel mayoritas: model “selalu prediksi mayoritas” bisa mendapat 0,95 tanpa belajar. Pada imbalance, jadikan precision/recall/F1/PR-AUC kandidat metrik utama (08). ROC-AUC menilai ranking TPR–FPR lintas threshold (lebih cocok kelas relatif seimbang); PR-AUC lebih informatif saat positif jarang. AUC menilai ranking; keputusan operasional biasanya memilih satu threshold — laporkan keduanya jika RQ menyentuh pemakaian praktis. Pelengkap berguna: balanced accuracy, MCC, Cohen’s \(\kappa\); untuk skor sebagai risiko, pertimbangkan log-loss atau Brier.
Pada multiclass, macro merata-rata per kelas dengan bobot sama (peka kelas jarang), weighted dibobot support, micro mengagregasi TP/FP/FN global. Skripsi yang peduli minoritas sering memilih macro-F1.
Untuk regresi: MAE mudah dijelaskan dan relatif tahan outlier; RMSE menekan error besar; MAPE bermasalah jika \(y\) dekat 0; \(R^2\) bisa tinggi meski error praktis besar — jangan sendirian. Residual analysis melengkapi angka tunggal (18).
Metrik utama menentukan ranking dan lulus/gagal; pendukung untuk diagnosis. Jangan mengganti yang utama setelah melihat test. Tuning memakai val/inner CV; klaim akhir memakai test/outer CV; metrik train bukan klaim utama. Task lain: Precision@K/MAP/NDCG (ranking); Silhouette/ARI (clustering); MAE/RMSE plus time-based split (forecasting).
Metrik utama ditetapkan sebagai [macro-F1 / PR-AUC / RMSE] karena [alasan domain: imbalance / biaya FN / skala error]. Metrik pendukung meliputi …. Pemilihan model memakai metrik utama pada [val / inner CV]; klaim akhir memakai metrik yang sama pada [test / outer CV].
Yang sering bermasalah
- Accuracy sebagai satu-satunya metrik pada data imbalance.
- Banyak metrik tanpa menentukan yang utama.
- AUC dilaporkan tanpa konteks threshold/keputusan.
- Macro vs micro tidak dijelaskan pada multiclass.
- Metrik dihitung di train untuk klaim akhir.
- Metrik utama diganti setelah melihat test set.
Metrik yang dapat dibela selaras dengan biaya kesalahan dan struktur data, dikunci sebelum eksperimen, dan dihitung pada set evaluasi yang tepat — validation untuk tuning, test atau outer CV untuk klaim.