19 — Overfitting, Learning Curve, dan Ancaman Validitas
Tujuan: Menutup rangkaian metodologi dengan cara membaca gejala overfitting/underfitting, memakai learning/validation curve sebagai diagnostik, dan menuliskan ancaman validitas serta limitasi secara proporsional di BAB IV–V.
Poin checklist terkait:
- Learning curve / validation curve (jika membantu argumen overfitting/underfitting)
- Keterbatasan metodologis ditulis jujur
- Ancaman validitas (leakage, selection bias, overfitting, dataset shift) dibahas
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 18 — Confusion matrix / residual
Terkait: 03 — Cross-validation & partisi · 04 — Data leakage · 05 — Baseline & perbandingan adil · 07 — Metrik evaluasi · 10 — Provenance, label & etika.
Overfitting dan underfitting
Intuisi paling sederhana: bandingkan kinerja pada data yang sudah dilihat (train) dengan data yang ditahan (val/test).
| Kondisi | Gejala tipikal | Intuisi |
|---|---|---|
| Underfitting | Train dan val sama-sama buruk | Model terlalu sederhana, atau fitur belum membawa sinyal |
| Good fit | Train baik, val mendekati train | Generalisasi relatif sehat |
| Overfitting | Train sangat baik, val/test jauh lebih buruk | Model menghafal noise atau terlalu kompleks untuk ukuran data |
Overfitting berarti model menangkap pola yang tidak bertahan pada data baru. Di skripsi, itu ancaman langsung terhadap klaim “model akurat di dunia nyata”.
Penyebab yang sering muncul saling terkait dengan materi sebelumnya:
- kompleksitas model tidak sebanding dengan \(n\) (pohon dalam, jaringan besar, terlalu banyak fitur);
- tuning atau seleksi fitur memakai informasi dari set evaluasi (06, 04);
- metrik utama tidak cocok sehingga “keberhasilan” palsu (07, 08);
- perbandingan tidak adil sehingga model tampak unggul hanya karena protokol longgar (05);
- terlalu banyak trial tanpa nested CV atau test yang dijaga suci (03).
Underfitting juga perlu dibedakan. Jika baseline sederhana dan model kompleks sama-sama lemah, masalahnya mungkin bukan algoritma, melainkan kualitas label, ukuran sampel, atau fitur yang belum relevan.
Learning curve dan validation curve
Learning curve menampilkan kinerja train dan validation sebagai fungsi ukuran data latih. Kurva ini membantu menjawab: apakah model masih lapar data, atau sudah jenuh?
| Pola yang terbaca | Interpretasi | Arah perbaikan |
|---|---|---|
| Train dan val rendah, gap kecil | Underfitting / bias tinggi | Perkaya model atau FE domain |
| Train tinggi, val rendah, gap besar | Overfitting / varians tinggi | Regularisasi, kurangi kompleksitas, tambah data |
| Val terus naik saat \(n\) bertambah | Model masih diuntungkan data tambahan | Prioritaskan pengumpulan data |
| Val plateau meski \(n\) naik | Tambah data saja mungkin kurang membantu | Ubah fitur, label, atau keluarga algoritma |
Pada skripsi dengan \(n\) kecil, learning curve sering “berisik”. Itu normal. Yang penting bukan garis yang mulus, melainkan apakah gap train–val melebar saat kapasitas model dinaikkan, dan apakah val masih membaik ketika lebih banyak data dipakai.
Validation curve memplot kinerja terhadap nilai satu hyperparameter (misalnya max_depth atau C). Pola klasik: skor val naik, lalu turun setelah titik tertentu — di situ daerah overfitting dimulai. Kurva ini berguna untuk mempersempit ruang tuning agar tidak menghabiskan budget di wilayah yang sudah jelas merugikan.
Kedua kurva adalah alat diagnostik. Klaim akhir tetap memakai skor pada test atau outer CV, bukan “titik terbaik” yang dibaca secara post hoc dari kurva tanpa protokol.
Melengkapi angka dengan error analysis
Kurva menjelaskan apakah model overfit; error analysis menjelaskan di mana model gagal. Periksa contoh false positive dan false negative, pola kesalahan pada subgroup (usia, lokasi, periode waktu), dan apakah outlier atau label noise mendominasi residual. Materi 18 menyediakan kerangka diagnostik itu.
Jika kesalahan terkonsentrasi pada satu segmen, diskusi overfitting digeser: mungkin bukan kapasitas model yang salah, melainkan representasi sampel atau kualitas label pada segmen tersebut.
Ancaman validitas dalam riset DS/ML
Limitasi skripsi yang kuat mengaitkan kelemahan desain ke ancaman validitas, bukan ke “waktu pengerjaan terbatas”. Gunakan daftar berikut sebagai bak pemeriksaan saat menulis BAB IV–V.
| Ancaman | Arti singkat | Mitigasi / disclosure |
|---|---|---|
| Data leakage | Informasi terlarang ikut ke train atau seleksi model | Pipeline anti-leakage; audit 04 |
| Selection bias | Sampel tidak mewakili populasi yang diklaim | Batasi generalisasi; jelaskan frame sampling 11 |
| Overfitting | Model menyesuaikan noise atau protokol evaluasi | CV/nested, regularisasi, test suci, learning curve |
| Dataset shift | Distribusi saat pakai ≠ distribusi data latih | Uji subgroup/waktu; batasi klaim operasional |
| Label noise / proxy label | Target tidak murni atau hanya proksi konstruk | Disclosure kualitas label 10 |
| Confounding / spurious correlation | Model mengandalkan artefak, bukan mekanisme | Error analysis, review domain |
| Optimism dari multiple testing | Banyak model/metrik dicoba tanpa rencana | Kunci kriteria di muka (02); pisahkan hasil terdaftar vs eksploratif |
| Perbandingan tidak adil | “Keunggulan” muncul dari preprocessing/tuning timpang | Samakan protokol (05) |
Dataset shift — tiga wajah yang sering dicampur
- Covariate shift: \(P(X)\) berubah, sementara \(P(y \mid X)\) relatif sama (misalnya proporsi mahasiswa transfer berubah).
- Label shift: \(P(y)\) berubah (kelas positif jadi lebih jarang di periode baru).
- Concept shift: hubungan \(X \rightarrow y\) berubah (aturan bisnis atau kriteria diagnosis berubah).
Contoh konkret: model attrition yang dilatih pada data 2019 lalu dipakai mentah ke 2026 tanpa cek drift. Skor historis tetap “bagus”, tetapi klaim operasional sudah goyah.
Template singkat BAB IV–V
Diagnostik:
Learning curve menunjukkan gap train–val yang melebar pada kedalaman pohon tinggi, indikasi overfitting. Model final memakai kedalaman lebih rendah menurut validation curve, dan klaim akhir diambil dari test set yang tidak dipakai saat pemilihan kedalaman.
Limitasi:
Ancaman validitas utama meliputi …. Mitigasi yang sudah dilakukan …; yang belum diuji … sehingga generalisasi dibatasi pada ….
Kesimpulan (agar selaras):
Temuan menjawab RQ dalam batas populasi dan protokol yang dinyatakan di BAB III; klaim tidak diperluas ke validasi eksternal / operasional yang belum diuji.
Yang sering membuat sidang goyah
- Hanya skor test tinggi tanpa membandingkan train vs val.
- Learning curve dipasang sebagai hiasan tanpa interpretasi.
- Limitasi generik non-metodologis (“waktu terbatas”).
- Desain rentan leakage atau shift, tetapi tidak dibahas.
- Mengklaim siap produksi padahal validitas eksternal belum diuji.
- Metrik diganti diam-diam setelah melihat hasil, lalu overfitting “hilang” di atas kertas.
Checklist penutup metodologi
Penutup rangkaian
Angka kinerja adalah bukti bersyarat: sah hanya dalam batas data, label, partisi, dan protokol yang Anda tulis. Overfitting dan ancaman validitas menjelaskan mengapa angka bagus bisa menipu; learning curve serta limitasi yang jujur menunjukkan bahwa peneliti memahami batas klaimnya — dan itu yang membedakan eksperimen ML yang dapat dibela dari sekadar tabel metrik.