02 — Hipotesis atau Kriteria Keberhasilan Model
Tujuan: Menjelaskan cara menetapkan di muka (sebelum melihat hasil test) apa yang diuji atau apa yang membuat model/prosedur dinyatakan berhasil — agar evaluasi tidak berubah menjadi p-hacking metrik.
Poin checklist terkait:
- Hipotesis atau kriteria keberhasilan model ditentukan di muka
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 01 — Jenis penelitian DS/ML · Materi berikutnya: 03 — Cross-validation & partisi
Terkait: 05 — Baseline & perbandingan adil · 07 — Metrik evaluasi · 09 — Uji statistik.
Menentukan “berhasil” sebelum melihat angka
Tanpa kriteria awal, skripsi DS/ML sering jatuh ke pola: jalankan banyak model dan metrik, pilih angka terbaik, baru tulis “tujuan tercapai”. Klaim seperti itu sulit dibela. Menentukan hipotesis atau kriteria di muka memaksa metrik utama terkunci, ambang atau aturan keputusan jelas, pembanding (baseline) ditentukan, dan hasil negatif tetap sah secara ilmiah.
Tidak semua riset ML wajib berhipotesis statistik formal. Pilih bentuk yang selaras jenis penelitian (01), atau gabungan yang konsisten. Keduanya harus tertulis di BAB III sebelum hasil BAB IV.
| Bentuk | Cocok untuk | Inti |
|---|---|---|
| Hipotesis | Komparatif / eksperimen yang menguji efek perlakuan | Dugaan arah atau perbedaan yang diuji |
| Kriteria keberhasilan | Prediktif / terapan / rekayasa model | Ambang metrik + aturan lulus/gagal sebelum eksperimen utama |
Hipotesis yang operasional
Hindari rumusan samar (“model dapat mengklasifikasikan penyakit dengan baik”). Operasionalkan ke metrik, pembanding, set evaluasi, dan — jika diklaim signifikan — uji plus \(\alpha\):
Pada data uji, F1 makro XGBoost lebih tinggi daripada baseline regresi logistik, dan perbedaan proporsi kesalahan terhadap baseline signifikan menurut uji McNemar (α = 0,05).
Arah hipotesis yang lazim: model A unggul vs B; SMOTE on-train meningkatkan recall minoritas vs kontrol; subset fitur tidak inferior bermakna vs full features dengan dimensi lebih kecil; kinerja tidak turun di bawah ambang X pada subgroup Y.
Jika memakai uji statistik, tulis \(H_0\), \(H_1\), \(\alpha\), metrik, dan set evaluasi (test / outer CV) di muka (09). Jika tidak memakai uji, jangan memaksakan format \(H_0\)/\(H_1\) semata formalitas — pakai kriteria keberhasilan yang jelas.
Kriteria keberhasilan
Kriteria keberhasilan menjawab: kapan penelitian dianggap mencapai tujuan teknisnya? Komponen minimal: metrik utama; set evaluasi (val untuk tuning, test untuk klaim); pembanding/baseline (05); ambang atau aturan relatif; syarat sekunder opsional (latency, fairness subgroup, stabilitas CV).
Contoh yang dapat dibela:
Model dinyatakan berhasil jika pada data uji F1 kelas positif ≥ 0,75 dan tidak lebih buruk dari baseline dalam precision.
Model terbaik = F1 makro tertinggi pada data uji; jika selisih < 0,01, pilih yang lebih sederhana. Uji McNemar untuk klaim “berbeda signifikan” terhadap baseline.
Perlakuan efektif jika ΔRecall minoritas ≥ 0,05 pada rata-rata CV 5-fold, tanpa penurunan precision > 0,03.
Pipeline diterima jika MAE ≤ 10 pada test bulanan dan 95% absolute error ≤ 25.
Kriteria lemah: “akurasi tinggi” tanpa angka; “lebih baik dari penelitian terdahulu” tanpa metrik/dataset sebanding; ambang dikunci setelah melihat test; banyak metrik tanpa yang primer.
Metrik utama menentukan ranking dan lulus/gagal; metrik pendukung untuk diagnosis dan diskusi (07). Jangan mengganti yang utama setelah eksperimen. Pada imbalance, accuracy jarang layak jadi metrik utama tanpa justifikasi kuat.
| Jenis penelitian | Bentuk paling alami |
|---|---|
| Eksperimen komputasi | Hipotesis efek perlakuan + Δ metrik |
| Komparatif | Ranking + (opsional) uji beda |
| Prediktif | Ambang kinerja + baseline |
| Deskriptif-analitik | Kualitas cluster, stabilitas, interpretabilitas — bukan leaderboard prediksi jika itu bukan tujuan |
Kapan kriteria boleh diubah?
| Situasi | Boleh? | Cara jujur |
|---|---|---|
| Pilot/EDA mengubah pemahaman metrik sebelum eksperimen utama | Ya | Catat revisi; kunci ulang sebelum test final |
| Mengganti metrik utama setelah melihat test | Tidak | Redesign post hoc |
| Analisis eksploratif di luar kriteria | Ya | Pisahkan hasil terdaftar vs eksploratif |
| Ambang dari stakeholder | Ya | Sitasi SOP/literatur/kesepakatan |
Prinsipnya: test set bukan tempat mencari kriteria.
Template BAB III
Hipotesis: Pada data uji, [metrik] model [A] lebih tinggi daripada [baseline]. Pengujian: [uji], α = ….
Kriteria: (1) metrik utama … pada …; (2) ambang/aturan …; (3) baseline …; (4) syarat tambahan …. Dinyatakan berhasil jika seluruh syarat terpenuhi.
Gabungan: Menguji hipotesis bahwa teknik [X] meningkatkan [metrik] terhadap kontrol; keberhasilan praktis tambahan bila [metrik] ≥ [ambang] pada data uji.
Yang sering bermasalah
- Tidak ada kriteria — hanya tabel metrik di BAB IV.
- “Model terbaik” dengan metrik yang berganti-ganti.
- Ambang ditulis setelah hasil diketahui.
- Hipotesis tidak bisa dioperasionalkan menjadi pengukuran.
- Klaim signifikan tanpa uji dan tanpa \(\alpha\).
- Success criteria mustahil atau terlalu longgar.
Sebelum eksperimen utama
Hipotesis atau kriteria di muka mengubah eksperimen dari “mencari angka bagus” menjadi pengujian klaim yang dapat digagalkan secara jujur. Setelah itu, partisi data menentukan di set mana klaim diukur — 03.