Skip to main content

18 — Confusion Matrix, Residual Analysis, dan Distribusi Error

Tujuan: Menjelaskan cara menyajikan dan menafsirkan diagnostik error model — agar BAB IV tidak berhenti di angka metrik tunggal.

Poin checklist terkait:
- Confusion matrix / residual analysis / error distribution disajikan
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 17 — Feature selection · Materi berikutnya: 19 — Overfitting & ancaman validitas
Terkait: 05 — Baseline & perbandingan adil · 07 — Metrik evaluasi · 08 — Class imbalance & SMOTE.


Dari “seberapa baik” ke “di mana salah”

Metrik ringkas — F1, RMSE, accuracy — menjawab seberapa baik (07). Diagnostik di materi ini menjawab di mana dan bagaimana model salah. Tanpa itu, BAB IV tinggal tabel angka yang sulit dibela saat penguji bertanya pola kegagalan.

Jenis masalah Diagnostik utama Pelengkap
Klasifikasi Confusion matrix Precision/Recall/F1 per kelas, ROC/PR
Regresi Residual analysis Residual vs fitted, Q–Q
Semua prediktif Distribusi error Histogram, persentil, contoh kasus gagal

Hitung diagnostik pada set yang sama dengan klaim akhir (biasanya test atau outer CV), bukan pada data latih.


Confusion matrix (klasifikasi)

Tabel membandingkan label aktual dengan prediksi. Untuk biner: TN, FP di baris negatif; FN, TP di baris positif. Dari situ diturunkan accuracy, precision, recall, specificity, dan F1 — tetapi kekuatan matriks ada pada pola kesalahan, bukan pada rumus yang sudah dikenal.

Laporkan matriks dengan label baris/kolom yang tidak tertukar; untuk multikelas, matriks \(n \times n\) plus ringkasan per kelas. Tafsirkan kelas mana yang sering tertukar. Pada imbalance, jangan menyimpulkan model “sangat baik” hanya karena diagonal mayoritas dominan (08).

Dari 100 sampel kelas positif, model mengenali 72 (TP) dan melewatkan 28 (FN). Dari 90 prediksi positif, 18 ternyata negatif (FP). Pola ini menjelaskan mengapa recall lebih rendah daripada precision.

Yang digugat penguji: matriks dipasang tanpa dibahas di teks; dihitung di train lalu diklaim sebagai generalisasi; atau threshold operasional tidak pernah disentuh padahal keputusan bisnis butuh ambang tetap.


Residual analysis (regresi)

Residual \(e_i = y_i - \hat{y}_i\) memeriksa apakah error berperilaku wajar atau menyimpan pola sistematis. Plot residual vs fitted mencari lengkung atau funnel (heteroskedastisitas); histogram/KDE melihat apakah error terpusat di nol; Q–Q menguji normalitas bila diasumsikan; residual vs fitur tertentu mengungkap ketergantungan tersembunyi.

Pola residual Indikasi tipikal Arah perbaikan
Acak di sekitar 0 Error relatif sehat Dukung klaim kecukupan model
Bentuk U / lengkung Nonlinier belum tertangkap Fitur nonlinier / model lain
Funnel melebar Varians tidak konstan Transformasi \(y\), model robust
Outlier ekstrem Titik berpengaruh / noise Audit data, metode robust
Berkorelasi waktu Autocorrelation Time-aware split + model sekuensial

Pada model ML nonparametrik, asumsi residual klasik tidak selalu berlaku ketat — tetap berguna sebagai diagnostik pola, bukan sebagai uji formal wajib.

Residual terhadap prediksi relatif acak pada rentang rendah–menengah, tetapi pada prediksi tinggi cenderung negatif (overestimate). Klaim akurasi pada wilayah ekstrem perlu dibatasi.


Distribusi error

Angka tunggal menyembunyikan bentuk kesalahan. Dua model bisa berbagi RMSE yang sama: yang satu banyak error kecil, yang lain jarang salah tetapi sesekali sangat besar. Ekor distribusi (P90, P95 absolute error) sering lebih relevan untuk keputusan praktis.

Untuk regresi, ringkas residual, absolute error, atau MAPE jika skala memungkinkan. Untuk klasifikasi, “distribusi error” bisa berupa skor probabilitas pada FP/FN, proporsi salah per kelas atau subgroup, dan apakah model salah dengan yakin atau ragu.

Model MAE RMSE P50 Abs P95 Abs
Baseline … … … …
Model A … … … …
Model B … … … …

Jika B unggul di MAE tetapi P95 jauh lebih buruk, diskusi harus menjelaskan trade-off itu — selaras semangat perbandingan adil (05).


Menyusun BAB IV

Metrik ringkas
  ├─ Klasifikasi → confusion matrix → kelas mana tertukar?
  ├─ Regresi → residual → error sistematis?
  └─ Semua → distribusi / persentil → seberapa parah & seberapa sering?

Urutan yang rapi: tabel metrik utama → confusion matrix atau residual plots → distribusi/persentil → interpretasi singkat yang mengarah ke limitasi (19).

BAB III: Evaluasi mencakup metrik utama […], dilengkapi [confusion matrix / residual] dan ringkasan distribusi error pada data uji.

BAB IV (klasifikasi): Confusion matrix pada data uji menunjukkan …; kesalahan paling sering pada pasangan kelas ….

BAB IV (regresi): Residual menunjukkan …; distribusi absolute error memiliki median … dan P95 ….


Sebelum ujian


Diagnostik error mengubah skor menjadi cerita tentang kegagalan model. Cerita itu yang penguji cari di BAB IV — dan yang mengantar ke overfitting, learning curve, serta ancaman validitas di materi penutup.