08 — Class Imbalance dan SMOTE: Teori serta Praktik Anti-Leakage
Tujuan: Menjelaskan mengapa kelas tidak seimbang mengubah makna metrik dan pelatihan model, serta cara menangani imbalance (termasuk SMOTE) tanpa menimbulkan data leakage.
Poin checklist terkait:
- Strategi penanganan class imbalance (jika ada) dipilih dan dibatasi pada data latih
- Penanganan imbalance (SMOTE/class weight/dll.) hanya pada train
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 07 — Metrik evaluasi · Materi berikutnya: 09 — Uji statistik
Terkait: 03 — Cross-validation & partisi · 04 — Data leakage · 07 — Metrik evaluasi.
Ketidakseimbangan kelas di skripsi DS/ML
Class imbalance muncul ketika proporsi kelas target jauh tidak merata — misalnya 95% negatif dan 5% positif. Itu sifat distribusi label, bukan bukti bahwa data “jelek”. Yang membuat sidang goyah biasanya bukan rasionya sendiri, melainkan tiga akibat yang sering diabaikan: metrik yang menipu (accuracy tinggi tanpa menangkap kelas jarang), model yang condong ke mayoritas, dan resampling yang dilakukan dengan cara bocor ke data evaluasi.
Banyak algoritma, secara implisit, meminimalkan error keseluruhan. Jika kesalahan pada kelas minoritas jarang tampak dalam loss agregat, model “aman” dengan mengabaikannya. Di lapangan itu berarti recall positif rendah, false negative tinggi, dan confusion matrix yang didominasi true negative — tampak rapi sampai biaya domain (penyakit terlewat, fraud lolos, mahasiswa berisiko tidak terdeteksi) dibahas.
Ukur dulu, baru pilih strategi
Sebelum memutuskan SMOTE atau class weight, tulis di BAB III/IV: jumlah dan proporsi per kelas (train vs test, atau per fold), apakah imbalance mencerminkan populasi atau artefak sampling, serta biaya relatif false negative versus false positive menurut domain. Deteksi fraud, misalnya, biasanya menghukum FN lebih mahal daripada FP; recall atau PR-AUC lalu lebih relevan daripada accuracy (07).
Tanpa angka proporsi di naskah, penguji sulit menilai apakah “F1 0,70” berarti kemajuan atau hanya artefak kelas mayoritas.
Lima jalur penanganan (bukan hanya SMOTE)
Metrik yang tepat sering menjadi langkah paling berdaya. Pada data tidak seimbang, kandidat metrik utama biasanya precision/recall/F1 (per kelas atau makro), PR-AUC, atau balanced accuracy bila relevan. Accuracy boleh tetap dilaporkan sebagai pendukung, bukan sebagai satu-satunya dasar keputusan.
Class weight / cost-sensitive learning memberi bobot lebih besar pada kelas minoritas di fungsi loss (misalnya class_weight='balanced'). Pendekatan ini tidak menyintesis sampel baru sehingga relatif aman terhadap leakage, dan sering cukup sebagai baseline perlakuan sebelum SMOTE dicoba.
Resampling pada data latih mengubah komposisi train saja. Undersampling mayoritas membuang informasi dan menaikkan varians; oversampling acak menduplikasi minoritas dan mudah overfit; SMOTE mensintesis tetangga minoritas di ruang fitur — lebih halus daripada duplikasi, tetapi tetap wajib hanya di train. Varian seperti Borderline-SMOTE atau ADASYN menambah kompleksitas; pakai hanya jika ada alasan jelas di metode.
Threshold moving menggeser ambang keputusan pada skor probabilitas agar recall atau precision mengikuti biaya domain. Geser ambang di validation, bukan di test.
Mengumpulkan data minoritas tetap solusi paling substantif bila feasible — sering di luar kendali skripsi yang memakai data sekunder.
SMOTE: ide, asumsi, dan batas
Untuk sampel minoritas \(x\), SMOTE mencari \(k\) tetangga sekelas lalu membuat titik sintetik pada garis antara \(x\) dan tetangganya:
\[ x_{\text{new}} = x + \lambda (x_{\text{NN}} - x), \quad \lambda \in [0,1] \]
Tujuannya memperkaya representasi minoritas tanpa sekadar menyalin titik yang sama. Asumsinya: ruang fitur numerik (kategori perlu encoding atau pendekatan khusus seperti SMOTE-NC), dan tetangga geometris masih “dekat” secara makna. Asumsi itu mudah pecah pada teks sparse, embedding berdimensi sangat tinggi, atau kelas yang saling tumpang tindih — di situ SMOTE bisa menyuntikkan noise. SMOTE bukan obat ajaib; metrik dan protokol evaluasi tetap menentukan apakah klaim “meningkat” dapat dibela.
Anti-leakage: yang tidak boleh dinegosiasikan
Kesalahan klasik: menjalankan SMOTE pada seluruh dataset lalu baru split. Sampel sintetik ikut “belajar” dari struktur yang seharusnya tersembunyi; skor uji menjadi optimis palsu (04).
Urutan yang benar: tentukan split atau folds dulu; SMOTE hanya pada train atau train-fold; biarkan val/test pada distribusi asli. Statistik preprocessing (imputasi, encoding, scaling) juga di-fit dari train. Dalam CV, SMOTE masuk di dalam pipeline tiap fold, bukan di luar loop (03).
Train fold:
impute / encode (fit)
→ SMOTE (opsional)
→ scale (fit)
→ model.fit
Val / Test:
impute / encode (transform)
→ tanpa SMOTE
→ scale (transform)
→ predict
Sebagian praktisi menskala sebelum SMOTE. Yang tidak boleh digeser: parameter hanya dari train, dan test tidak di-SMOTE. Catat urutan yang Anda pilih di BAB III agar dapat diulang.
Desain eksperimen yang adil
Agar klaim “SMOTE meningkatkan kinerja” sah, bandingkan setidaknya: (1) baseline tanpa penanganan khusus, (2) class weight saja, (3) SMOTE on train. Kombinasi SMOTE + class weight hanya jika dijustifikasi. Semua setting memakai metrik utama yang sama, partisi yang sama, dan test tanpa resampling — selaras semangat perbandingan adil di 05.
Laporkan proporsi kelas pada train sebelum dan sesudah SMOTE (jika dipakai), plus skor pada test yang tidak disentuh resampling.
Template BAB III
Dataset memiliki ketidakseimbangan kelas ([proporsi]). Karena biaya [FN/FP] lebih tinggi pada kelas [minoritas], metrik utama ditetapkan [F1 kelas positif / macro-F1 / PR-AUC]. Penanganan imbalance menggunakan [SMOTE / class_weight] yang diterapkan hanya pada data latih. Data validasi dan uji tidak diresampling agar mencerminkan distribusi asli. Pipeline disematkan dalam CV untuk mencegah leakage.
Yang sering bermasalah di sidang
- SMOTE sebelum train/test split, atau test ikut di-oversample.
- Sukses diklaim hanya karena accuracy naik.
- Proporsi kelas sebelum/sesudah (pada train) tidak dilaporkan.
- SMOTE dianggap wajib padahal class weight sudah memadai.
- Tidak ada pembanding tanpa SMOTE.
- SMOTE dipaksa pada ruang berdimensi sangat tinggi atau teks sparse tanpa representasi yang memadai.
Ketidakseimbangan kelas ditangani lewat metrik yang selaras biaya kesalahan, lalu — bila perlu — perlakuan pada data latih saja. Jika SMOTE dipakai, skor uji harus tetap mencerminkan dunia nyata, bukan dunia sampel sintetik. Setelah protokol imbalance terkunci, klaim “model A lebih baik” dapat diuji secara statistik di materi berikutnya.