Skip to main content

05 — Baseline dan Perbandingan Model yang Adil

Tujuan: Menjelaskan mengapa setiap eksperimen ML wajib punya baseline, apa saja jenisnya, dan bagaimana membandingkan model secara adil agar klaim “model A lebih baik” dapat dibela di sidang.

Poin checklist terkait:
- Daftar model kandidat + baseline (majority class / simple model / prior art)
- Baseline dijalankan lebih dulu dan dilaporkan
- Model kandidat diimplementasikan dengan setting yang adil (data & preprocessing sama)
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 04 — Data leakage · Materi berikutnya: 06 — Hyperparameter tuning
Terkait: 02 — Hipotesis / kriteria keberhasilan · 09 — Uji statistik.


Mengapa baseline wajib?

Tanpa baseline, angka metrik sulit ditafsirkan. F1 = 0,72 baru bermakna jika dibandingkan dengan tebakan trivial (mayoritas/mean), model sederhana, atau prior art yang relevan. Baseline menjawab: apakah kompleksitas model baru benar-benar menambah nilai?

Jenis yang lazim: majority/dummy sebagai lantai kinerja; model sederhana (regresi logistik, pohon tunggal) untuk menguji apakah ensemble/deep perlu; prior art jika mengklaim lebih baik dari literatur; kontrol tanpa perlakuan (tanpa SMOTE/selection/FE) jika RQ menguji teknik X; opsional aturan SOP/human pada riset terapan. Minimal skripsi: dummy plus satu model sederhana — tambah prior art bila klaim terhadap literatur.


Apa arti “perbandingan yang adil”?

Agar ranking model sah, konstantakan sebanyak mungkin faktor non-perlakuan.

Harus sama Boleh beda (perlakuan)
Dataset & filter inklusi Algoritma model
Split / folds / seed partisi Hyperparameter dalam ruang yang setara
Preprocessing inti (kecuali itu yang diuji) Teknik khusus yang menjadi RQ
Metrik utama & set evaluasi —
Protokol anti-leakage —

Tidak adil jika:

  • Model A memakai SMOTE + feature selection, Model B tidak, lalu disimpulkan “XGBoost lebih baik”;
  • Model A dituning lama di test, Model B default;
  • Preprocessing berbeda tanpa menjadi variabel eksperimen.

Jika ingin membandingkan algoritma, isolasi variabel: bedakan hanya algoritma (atau hanya perlakuan yang diuji).


Desain eksperimen komparatif (pola skripsi)

Pola A — bandingkan algoritma

Data & preprocess sama
├─ Baseline dummy
├─ Baseline logistik / pohon
├─ Model kandidat 1..n (RF, SVM, XGB, …)
└─ Ranking menurut metrik utama + (opsional) uji statistik

Pola B — bandingkan teknik (SMOTE, selection, FE)

Model backbone sama (mis. RF)
├─ Kontrol: tanpa teknik X
└─ Perlakuan: dengan teknik X

Jangan mencampur Pola A dan B dalam satu klaim tanpa desain faktorial yang jelas.


Protokol praktis yang rapi

  1. Kunci metrik utama & kriteria sukses (02, 07).
  2. Kunci partisi/CV (03).
  3. Jalankan baseline lebih dulu, catat skor.
  4. Jalankan kandidat dengan pipeline yang sama.
  5. Laporkan tabel ringkas: model × metrik (± std jika CV).
  6. Jika klaim “berbeda signifikan”: lanjut ke 09 — Uji statistik.
  7. Diskusikan trade-off (kinerja vs kompleksitas/interpretabilitas).

Tabel hasil yang disarankan

Model Metrik utama Metrik pendukung Catatan
Dummy (majority) … … lantai
Logistic Regression … … baseline sederhana
Random Forest … … kandidat
XGBoost … … kandidat

Tambahkan kolom waktu latih/inferensi jika efisiensi masuk klaim.


Template BAB III

Baseline yang digunakan meliputi: (1) majority-class classifier, dan (2) regresi logistik sebagai model linear sederhana. Model kandidat … dibandingkan pada pipeline preprocessing yang sama, partisi data yang sama, dan metrik utama […]. Hyperparameter dituning pada [val/inner CV] dengan protokol setara antar model. Model terbaik ditentukan menurut kriteria … yang dikunci sebelum eksperimen utama.


Yang sering bermasalah

  1. Tidak ada baseline sama sekali.
  2. Menyimpulkan model unggul hanya karena lebih kompleks.
  3. Preprocessing/tuning tidak setara antar kandidat.
  4. Membandingkan angka dari paper lain tanpa konteks data/metrik yang sebanding.
  5. Baseline dijalankan tetapi tidak dilaporkan di BAB IV.

Baseline dan perbandingan adil mengubah tabel metrik dari daftar angka menjadi bukti bahwa peningkatan berasal dari perlakuan yang diuji. Setelah pembanding dikunci, ruang hyperparameter boleh dicari — dengan budget yang sama adilnya — di 06.