Skip to main content

17 — Feature Selection: Filter, Wrapper, dan Embedded

Tujuan: Menjelaskan kapan dan bagaimana memilih subset fitur secara metodologis — membedakan filter/wrapper/embedded, menyusun protokol anti-leakage, dan menulis justifikasi seleksi di skripsi DS/ML.

Poin checklist terkait:
- Feature selection (filter/wrapper/embedded) jika dilakukan
- Seleksi fitur hanya memakai informasi dari data latih / CV inner loop
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 16 — Feature engineering · Materi berikutnya: 18 — Confusion matrix / residual
Terkait: 03 — Cross-validation & partisi · 04 — Data leakage · 05 — Baseline & perbandingan adil · 06 — Hyperparameter tuning · 16 — Feature engineering.


Memilih subset, bukan membuat fitur baru

Feature selection memilih subset dari fitur yang sudah ada — mentah maupun hasil engineering (16) — untuk model akhir. Ia berbeda dari pembuatan fitur baru, dari PCA atau proyeksi dimensi (reduksi matematis yang jangan diklaim sebagai “selection” tanpa catatan), dan dari regularisasi semata yang tidak pernah menganalisis subset secara eksplisit.

Selection tidak selalu wajib. Pertimbangkan bila dimensi tinggi relatif terhadap \(n\), banyak fitur redundan atau noisy, model perlu lebih hemat/interpretable, atau RQ memang menguji efek seleksi. Boleh dilewati jika fitur sudah sedikit dan bermakna domain, fokus klaim pada algoritma lain, atau subset bukan bagian argumen utama. Jika dilewati, tulis satu kalimat justifikasi — jangan menghilangkan topik diam-diam bila proposal sempat menjanjikannya.


Tiga keluarga metode

Filter menilai fitur relatif independen dari model akhir (korelasi, \(\chi^2\), ANOVA-F, mutual information, variance threshold, correlation filter antar prediktor), lalu mengambil top-\(k\) atau yang lolos ambang. Cepat dan mudah dijelaskan, tetapi cenderung mengabaikan interaksi multi-fitur dan kecocokan dengan model spesifik. VIF atau correlation filter menilai redundansi antar prediktor — bukan relevansi ke target.

Wrapper mencari subset dengan mengevaluasi model berulang kali: forward, backward, RFE/RFECV. Subset menyesuaikan model dan metrik riset, tetapi mahal dan rawan overfitting jika tidak masuk nested CV atau inner loop (03, 06).

Embedded menyisipkan seleksi ke dalam training: Lasso/L1/Elastic Net memaksa koefisien ke nol; importance pohon atau jalur regularisasi boosting memangkas fitur. Efisien, tetapi importance bukan kausalitas, dan subset bisa bergeser antar seed atau sampel.

Dimensi sangat besar, butuh penjelasan cepat?
  → Filter (± buang redundansi)

Subset optimal untuk model tertentu, komputasi cukup?
  → Wrapper (RFE/RFECV) + inner CV

Seleksi “ikut” training model linear/pohon?
  → Embedded (L1 / importance)

Kombinasi lazim: filter kasar dulu, lalu wrapper atau embedded yang lebih halus.


Anti-leakage dan eksperimen adil

Kesalahan klasik: hitung skor/importance pada seluruh data, pilih subset, baru split — test menjadi optimis palsu (04).

Outer evaluation (test / outer CV)
   └─ Inner pipeline:
         fit selection pada TRAIN(-fold) saja
         terapkan mask fitur ke val/test
         train model pada fitur terpilih

Val/test hanya mengikuti daftar yang sudah dipilih. Jika selection digabung tuning, bungkus keduanya dalam pipeline di dalam CV atau nested CV. Jangan memilih subset dari performa test.

Agar klaim “selection meningkatkan kinerja” sah, bandingkan baseline berfitur penuh dengan subset terpilih pada split, preprocessing, keluarga model, metrik, dan seed yang sama (05). Laporkan \(p\) sebelum/sesudah, daftar fitur akhir (atau top plus lampiran), dan bila relevan stabilitas lintas fold — berapa kali fitur yang sama terpilih.


Batas interpretasi

Aman dikatakan Tidak aman dikatakan
Fitur masuk subset terbaik menurut metode X Fitur menyebabkan target
Importance tinggi pada model Y Ranking importance pasti benar di populasi
Subset lebih hemat tanpa turun metrik bermakna Model sudah optimal secara kausal

Klaim interpretatif yang kuat membutuhkan analisis sensitivitas atau stabilitas, bukan satu kali ranking importance.


Dokumentasi di BAB III / IV

Metode Parameter #awal #akhir Dipilih pada Metrik Banding
MI filter top-k=30 72 30 train — full vs top-30
RFECV + RF cv=5 30 14 inner CV F1 makro full vs 14

Feature selection menggunakan pendekatan [filter/wrapper/embedded], yaitu …. Seleksi dilakukan hanya pada data latih (dan di dalam inner CV saat tuning). Jumlah fitur berkurang dari p₀ menjadi p₁. Kinerja subset dibandingkan dengan model berfitur penuh pada protokol evaluasi yang sama.

Jika tidak dilakukan:

Feature selection tidak diterapkan karena jumlah fitur kandidat terbatas (p = …) dan seluruh fitur memiliki landasan domain yang relevan terhadap RQ.


Yang sering bermasalah

  1. Menyebut filter/wrapper/embedded tanpa menjelaskan yang mana.
  2. Selection sebelum split, atau subset dipilih dari test.
  3. Klaim peningkatan tanpa baseline full features.
  4. Menyamakan PCA dengan feature selection tanpa catatan.
  5. Daftar fitur akhir tidak ada di naskah/lampiran.
  6. Interpretasi kausal dari importance semata.

Sebelum modelling akhir


Feature selection yang dapat dibela memilih subset dengan metode jelas, tanpa leakage, dan dengan pembanding adil terhadap model berfitur penuh. Setelah fitur final terkunci, BAB IV beralih ke diagnostik kesalahan — 18 — Confusion matrix / residual.