Skip to main content

19 — Overfitting, Learning Curve, dan Ancaman Validitas

Tujuan: Menutup rangkaian metodologi dengan cara membaca gejala overfitting/underfitting, memakai learning/validation curve sebagai diagnostik, dan menuliskan ancaman validitas serta limitasi secara proporsional di BAB IV–V.

Poin checklist terkait:
- Learning curve / validation curve (jika membantu argumen overfitting/underfitting)
- Keterbatasan metodologis ditulis jujur
- Ancaman validitas (leakage, selection bias, overfitting, dataset shift) dibahas
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 18 — Confusion matrix / residual
Terkait: 03 — Cross-validation & partisi · 04 — Data leakage · 05 — Baseline & perbandingan adil · 07 — Metrik evaluasi · 10 — Provenance, label & etika.


Mengapa materi ini menutup rangkaian?

Materi 01–18 membangun desain, data, pipeline, dan evaluasi. Materi ini menjawab pertanyaan penguji yang sering muncul di akhir: angka itu bisa dipercaya sejauh mana? Skor test yang tinggi belum tentu berarti model siap dipakai. Bisa saja model menghafal noise, metrik yang dipilih menipu, atau sampel tidak mewakili populasi yang diklaim.

Bagaca overfitting dan ancaman validitas adalah cara mengikat seluruh keputusan sebelumnya — partisi, anti-leakage, baseline, metrik, provenance — ke dalam diskusi yang jujur.


Overfitting dan underfitting

Intuisi paling sederhana: bandingkan kinerja pada data yang sudah dilihat (train) dengan data yang ditahan (val/test).

Kondisi Gejala tipikal Intuisi
Underfitting Train dan val sama-sama buruk Model terlalu sederhana, atau fitur belum membawa sinyal
Good fit Train baik, val mendekati train Generalisasi relatif sehat
Overfitting Train sangat baik, val/test jauh lebih buruk Model menghafal noise atau terlalu kompleks untuk ukuran data

Overfitting berarti model menangkap pola yang tidak bertahan pada data baru. Di skripsi, itu ancaman langsung terhadap klaim “model akurat di dunia nyata”.

Penyebab yang sering muncul saling terkait dengan materi sebelumnya:

  • kompleksitas model tidak sebanding dengan \(n\) (pohon dalam, jaringan besar, terlalu banyak fitur);
  • tuning atau seleksi fitur memakai informasi dari set evaluasi (06, 04);
  • metrik utama tidak cocok sehingga “keberhasilan” palsu (07, 08);
  • perbandingan tidak adil sehingga model tampak unggul hanya karena protokol longgar (05);
  • terlalu banyak trial tanpa nested CV atau test yang dijaga suci (03).

Underfitting juga perlu dibedakan. Jika baseline sederhana dan model kompleks sama-sama lemah, masalahnya mungkin bukan algoritma, melainkan kualitas label, ukuran sampel, atau fitur yang belum relevan.


Learning curve dan validation curve

Learning curve menampilkan kinerja train dan validation sebagai fungsi ukuran data latih. Kurva ini membantu menjawab: apakah model masih lapar data, atau sudah jenuh?

Pola yang terbaca Interpretasi Arah perbaikan
Train dan val rendah, gap kecil Underfitting / bias tinggi Perkaya model atau FE domain
Train tinggi, val rendah, gap besar Overfitting / varians tinggi Regularisasi, kurangi kompleksitas, tambah data
Val terus naik saat \(n\) bertambah Model masih diuntungkan data tambahan Prioritaskan pengumpulan data
Val plateau meski \(n\) naik Tambah data saja mungkin kurang membantu Ubah fitur, label, atau keluarga algoritma

Pada skripsi dengan \(n\) kecil, learning curve sering “berisik”. Itu normal. Yang penting bukan garis yang mulus, melainkan apakah gap train–val melebar saat kapasitas model dinaikkan, dan apakah val masih membaik ketika lebih banyak data dipakai.

Validation curve memplot kinerja terhadap nilai satu hyperparameter (misalnya max_depth atau C). Pola klasik: skor val naik, lalu turun setelah titik tertentu — di situ daerah overfitting dimulai. Kurva ini berguna untuk mempersempit ruang tuning agar tidak menghabiskan budget di wilayah yang sudah jelas merugikan.

Kedua kurva adalah alat diagnostik. Klaim akhir tetap memakai skor pada test atau outer CV, bukan “titik terbaik” yang dibaca secara post hoc dari kurva tanpa protokol.


Melengkapi angka dengan error analysis

Kurva menjelaskan apakah model overfit; error analysis menjelaskan di mana model gagal. Periksa contoh false positive dan false negative, pola kesalahan pada subgroup (usia, lokasi, periode waktu), dan apakah outlier atau label noise mendominasi residual. Materi 18 menyediakan kerangka diagnostik itu.

Jika kesalahan terkonsentrasi pada satu segmen, diskusi overfitting digeser: mungkin bukan kapasitas model yang salah, melainkan representasi sampel atau kualitas label pada segmen tersebut.


Ancaman validitas dalam riset DS/ML

Limitasi skripsi yang kuat mengaitkan kelemahan desain ke ancaman validitas, bukan ke “waktu pengerjaan terbatas”. Gunakan daftar berikut sebagai bak pemeriksaan saat menulis BAB IV–V.

Ancaman Arti singkat Mitigasi / disclosure
Data leakage Informasi terlarang ikut ke train atau seleksi model Pipeline anti-leakage; audit 04
Selection bias Sampel tidak mewakili populasi yang diklaim Batasi generalisasi; jelaskan frame sampling 11
Overfitting Model menyesuaikan noise atau protokol evaluasi CV/nested, regularisasi, test suci, learning curve
Dataset shift Distribusi saat pakai ≠ distribusi data latih Uji subgroup/waktu; batasi klaim operasional
Label noise / proxy label Target tidak murni atau hanya proksi konstruk Disclosure kualitas label 10
Confounding / spurious correlation Model mengandalkan artefak, bukan mekanisme Error analysis, review domain
Optimism dari multiple testing Banyak model/metrik dicoba tanpa rencana Kunci kriteria di muka (02); pisahkan hasil terdaftar vs eksploratif
Perbandingan tidak adil “Keunggulan” muncul dari preprocessing/tuning timpang Samakan protokol (05)

Dataset shift — tiga wajah yang sering dicampur

  • Covariate shift: \(P(X)\) berubah, sementara \(P(y \mid X)\) relatif sama (misalnya proporsi mahasiswa transfer berubah).
  • Label shift: \(P(y)\) berubah (kelas positif jadi lebih jarang di periode baru).
  • Concept shift: hubungan \(X \rightarrow y\) berubah (aturan bisnis atau kriteria diagnosis berubah).

Contoh konkret: model attrition yang dilatih pada data 2019 lalu dipakai mentah ke 2026 tanpa cek drift. Skor historis tetap “bagus”, tetapi klaim operasional sudah goyah.


Template singkat BAB IV–V

Diagnostik:

Learning curve menunjukkan gap train–val yang melebar pada kedalaman pohon tinggi, indikasi overfitting. Model final memakai kedalaman lebih rendah menurut validation curve, dan klaim akhir diambil dari test set yang tidak dipakai saat pemilihan kedalaman.

Limitasi:

Ancaman validitas utama meliputi …. Mitigasi yang sudah dilakukan …; yang belum diuji … sehingga generalisasi dibatasi pada ….

Kesimpulan (agar selaras):

Temuan menjawab RQ dalam batas populasi dan protokol yang dinyatakan di BAB III; klaim tidak diperluas ke validasi eksternal / operasional yang belum diuji.


Yang sering membuat sidang goyah

  1. Hanya skor test tinggi tanpa membandingkan train vs val.
  2. Learning curve dipasang sebagai hiasan tanpa interpretasi.
  3. Limitasi generik non-metodologis (“waktu terbatas”).
  4. Desain rentan leakage atau shift, tetapi tidak dibahas.
  5. Mengklaim siap produksi padahal validitas eksternal belum diuji.
  6. Metrik diganti diam-diam setelah melihat hasil, lalu overfitting “hilang” di atas kertas.

Checklist penutup metodologi


Penutup rangkaian

Angka kinerja adalah bukti bersyarat: sah hanya dalam batas data, label, partisi, dan protokol yang Anda tulis. Overfitting dan ancaman validitas menjelaskan mengapa angka bagus bisa menipu; learning curve serta limitasi yang jujur menunjukkan bahwa peneliti memahami batas klaimnya — dan itu yang membedakan eksperimen ML yang dapat dibela dari sekadar tabel metrik.