Skip to main content

09 — Uji Statistik Perbandingan Model

Tujuan: Menjelaskan kapan dan bagaimana menguji apakah perbedaan kinerja antar model bermakna secara statistik — agar skripsi komparatif tidak berhenti pada “angka A lebih tinggi”.

Poin checklist terkait:
- Uji statistik perbandingan model (jika komparatif): McNemar, Wilcoxon, DeLong, dll.
- Uji signifikansi antar model (untuk studi komparatif)
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 08 — Class imbalance & SMOTE · Materi berikutnya: 10 — Provenance, label & etika
Terkait: 02 — Hipotesis / kriteria keberhasilan · 05 — Baseline & perbandingan adil · 07 — Metrik evaluasi.


“Lebih tinggi” belum tentu bermakna

Selisih metrik bisa lahir dari perbedaan model yang nyata, atau dari kebetulan partisi, fold, dan seed. Uji statistik menaksir apakah selisih masih masuk akal di bawah asumsi peluang acak. Ia pelengkap interpretasi domain — bukan penggantinya — dan tidak wajib untuk setiap skripsi.

Pakai uji jika jenis penelitian komparatif atau eksperimen perlakuan, jika hipotesis menyatakan perbedaan kinerja, atau jika klaim “secara signifikan lebih baik” ingin dibela di sidang. Jika fokus deskriptif atau selisih tidak diklaim signifikan, uji boleh dilewati — tulis batasan itu secara eksplisit.

Sebelum memilih uji, kunci metrik dan protokol dulu (02, 07). Bandingkan secara berpasangan pada data evaluasi yang sama. Tetapkan \(\alpha\) di muka (umum: 0,05) dan arah uji. Jika banyak pasangan model diuji tanpa rencana, koreksi multiple testing. Laporkan nama uji, \(\alpha\), statistik, p-value, dan selisih metrik atau effect size — jangan hanya kata “signifikan”.


Uji yang sering dipakai di skripsi ML

McNemar membandingkan dua classifier pada sampel uji yang sama, dengan fokus pada kasus yang mereka beda pendapat (discordant pairs). Cocok untuk dua model berlabel diskrit pada test set identik. Ia tidak langsung menguji perbedaan F1 atau AUC kontinu, meskipun terkait lewat pola kesalahan. Variasi dengan koreksi kontinuitas umum dipakai; untuk multiclass sering dipecah pairwise atau diganti uji lain.

Wilcoxon signed-rank memakai skor berpasangan antar fold atau repeated split: pada setiap unit, hitung skor A dan B, lalu uji apakah selisih berpusat di nol. Asumsinya lebih longgar daripada paired t-test. Jumlah fold kecil berarti power rendah — jangan overclaim.

Paired t-test pada skor fold mirip Wilcoxon tetapi mengasumsikan selisih berdistribusi normal. Banyak literatur ML mengkritik t-test CV naif karena fold saling bergantung; jika dipakai, sebutkan keterbatasan itu.

DeLong menguji perbedaan ROC-AUC (atau AUC berkorelasi) pada sampel yang sama. Pilih hanya jika metrik utama memang AUC; untuk F1 pada threshold tetap, cari uji yang selaras metrik.

5×2 CV paired t-test (Dietterich) dan kerabatnya dirancang untuk mengurangi bias uji pada CV. Opsional di S1, tetapi berguna jika klaim komparatif sangat sentral. Untuk lebih dari dua model, rencanakan pairwise terhadap baseline dengan koreksi (Bonferroni/Holm), atau uji omnibus (Friedman) plus post-hoc jika jumlah model dan fold memadai.

Klaim tentang perbedaan error klasifikasi pada test yang sama?
  → McNemar (dua model)

Klaim tentang perbedaan metrik rata-rata antar fold/run?
  → Wilcoxon signed-rank (atau paired t-test + batasan)

Klaim tentang perbedaan ROC-AUC?
  → DeLong

Banyak model (>2)?
  → pairwise vs baseline + koreksi, atau Friedman + post-hoc

Jika klaim akhir dari outer CV, uji dapat memakai skor berpasangan antar outer fold. Jika dari satu test hold-out, McNemar/DeLong pada prediksi test sangat alami. Jangan menjalankan banyak uji di test sampai menemukan yang “signifikan”. Lihat 03 dan 05.

Effect size tetap penting: \(p < 0,05\) dengan \(\Delta\)F1 = 0,005 jarang bermakna praktis. Interval kepercayaan untuk selisih metrik (bootstrap, jika memungkinkan) memperkuat diskusi.


Pelaporan di BAB III & IV

BAB III:

Perbandingan model dilakukan secara berpasangan terhadap baseline. Uji statistik yang dipakai adalah [McNemar / Wilcoxon / DeLong] pada [test set / skor fold], dengan α = 0,05. Hipotesis nol: tidak terdapat perbedaan kinerja antara model A dan B menurut uji tersebut.

BAB IV:

Model X mencapai F1 = 0,81 dan baseline 0,74 pada data uji (Δ = 0,07). Uji McNemar menunjukkan … (statistik = …, p = …). Dengan α = 0,05, perbedaan [signifikan / tidak signifikan]. Interpretasi domain: …

Batasan Implikasi
Sampel uji kecil Power rendah; gagal menolak \(H_0\) ≠ bukti “sama”
Banyak perbandingan Risiko false positive; perlu koreksi/rencana
Fold CV saling bergantung p-value bersifat aproksimasi
Signifikan statistik Tidak otomatis signifikan praktis

Yang sering bermasalah

  1. Klaim “signifikan” tanpa nama uji dan \(\alpha\).
  2. Membandingkan model pada test set berbeda.
  3. Memilih uji setelah melihat hasil.
  4. Menguji banyak pasangan tanpa koreksi multiple testing.
  5. Menyamakan “\(p < 0,05\)” dengan “model layak deployment”.

Uji statistik menanyakan apakah selisih kinerja sulit dijelaskan sebagai kebetulan pada protokol evaluasi yang sama. Ia pelengkap metrik dan desain yang adil — bukan pengganti keduanya.

Dengan blok desain dan evaluasi (01–09) terkunci, langkah berikutnya kembali ke fondasi klaim: asal data, kualitas label, dan etika — lihat 10 — Provenance, label & etika.