15 — Scaling & Normalisasi: Fit pada Train, Transform ke Val/Test
Tujuan: Menjelaskan kapan scaling/normalisasi diperlukan, perbedaan metode umum, dan protokol anti-leakage: parameter scaling hanya dipelajari dari data latih.
Poin checklist terkait:
- Scaling/normalisasi fit hanya pada train, lalu transform ke val/test
Lihat Checklist Metodologi Penelitian ML-DS.
Materi sebelumnya: 14 — Encoding kategorikal · Materi berikutnya: 16 — Feature engineering
Terkait: 03 — Cross-validation & partisi · 04 — Data leakage.
Mengapa skala fitur bisa mengubah hasil model?
Banyak algoritma membaca jarak, gradien, atau regularisasi dalam satuan numerik mentah. Fitur penghasilan dalam jutaan akan mendominasi fitur umur dalam puluhan — bukan karena lebih informatif, melainkan karena skalanya lebih besar. Tanpa penskalaan, model distance-based atau linear bisa “belajar” artefak satuan, bukan hubungan substansi.
Sensitivitas terhadap skala tidak seragam:
| Lebih sensitif terhadap skala | Relatif lebih tahan |
|---|---|
| Regresi linear/logistik (terutama dengan regularisasi), SVM, kNN, k-means | Pohon keputusan, Random Forest |
| PCA, LDA, jaringan saraf | Gradient boosting berbasis pohon (sering tahan, meski scaling kadang tetap membantu campuran fitur) |
Jika skripsi hanya memakai Random Forest dan ingin pipeline sederhana, boleh tidak menskala — tetapi tuliskan alasannya. Keputusan “tidak scaling” tetap keputusan metodologis.
Menyeragamkan istilah di naskah
Di literatur dan tutorial, “normalisasi” dan “scaling” sering dipakai longgar. Di BAB III, kunci definisi operasional Anda:
| Istilah | Makna tipikal |
|---|---|
| Standardization (z-score) | \((x - \mu)/\sigma\) per kolom |
| Min–max scaling | \((x - x_{\min})/(x_{\max}-x_{\min})\), biasanya ke \([0,1]\) |
| Robust scaling | memakai median dan IQR — lebih tahan outlier |
| Normalisasi L2 per baris | menskala vektor sampel (lazim di teks/embedding), bukan penskalaan kolom tabular |
Dalam checklist ini, “scaling/normalisasi” merujuk terutama pada penskalaan kolom fitur sebelum model.
Aturan yang tidak boleh dilanggar
Parameter scaling (\(\mu\), \(\sigma\), min, max, median, IQR) adalah statistik yang dipelajari dari data. Jika dihitung dari gabungan train+test, informasi distribusi test ikut “membentuk” preprocessing — bentuk leakage yang sering tampak sepele tetapi ditolak penguji yang teliti (04).
Urutan yang benar:
- partisi dulu (hold-out atau folds);
- fit scaler hanya pada train / train-fold;
- transform train dengan parameter itu;
- transform val/test dengan parameter yang sama — jangan di-fit ulang.
Pada cross-validation, scaler harus di-fit di dalam tiap fold pada train-fold, lalu diterapkan ke val-fold. Cara paling aman: bungkus scaler dalam Pipeline / ColumnTransformer bersama model, lalu serahkan ke CV (03).
# buruk: statistik global sebelum split
scaler.fit(X)
X_scaled = scaler.transform(X)
X_train, X_test = split(X_scaled)
# baik
X_train, X_test = split(X)
scaler.fit(X_train)
X_train = scaler.transform(X_train)
X_test = scaler.transform(X_test)Perbedaan angka antara std global dan std train sering kecil. Secara metodologis tetap salah: evaluasi tidak lagi murni “unseen”.
Memilih metode
| Metode | Kapan dipilih | Catatan praktis |
|---|---|---|
| StandardScaler | Distribusi relatif simetris; SVM, logreg, PCA, NN | Sensitif outlier ekstrem |
| MinMaxScaler | Perlu rentang tetap (mis. \([0,1]\)) | Sangat sensitif outlier; nilai test di luar min/max train boleh keluar dari \([0,1]\) — jangan “diperbaiki” dengan memasukkan test ke perhitungan |
| RobustScaler | Banyak outlier pada data tabular | Sering pilihan aman untuk data kotor |
| Tanpa scaling | Model pohon murni + keinginan pipeline sederhana | Jelaskan mengapa |
Transform terkait yang sering digabung diskusi (tetapi bukan scaling kolom klasik): log, Box–Cox, atau Yeo–Johnson untuk menekan skewness. Jika dipakai, perlakukan sama secara leakage — parameter transform dipelajari dari train.
Untuk regresi, menskala target (\(y\)) jarang diperlukan pada model pohon; pada jaringan saraf atau model tertentu boleh, asalkan inverse-transform dipahami saat melaporkan error dalam satuan asli.
Di mana scaling duduk dalam pipeline?
Urutan kanonik yang disarankan rangkaian ini:
Cleaning → missing values → encoding kategorikal
→ feature engineering (domain; boleh sebagian sebelum encoding)
→ (opsional) feature selection
→ scaling pada kolom numerik final
→ model
Scaling dihitung pada nilai numerik yang benar-benar masuk model. Karena itu ia biasanya setelah cleaning, imputasi, encoding, dan FE yang menghasilkan kolom numerik baru. Materi 16 membahas FE; jika FE menambah rasio atau skor numerik, scaler ikut memproses kolom tersebut — tetap dengan fit-on-train.
One-hot umumnya tidak perlu di-z-score bersama fitur kontinu dalam satu scaler naif. Pola yang rapi: ColumnTransformer memisahkan
- numerik → impute + scale;
- kategorikal → impute + one-hot/ordinal;
lalu digabung dalam Pipeline bersama model.
Yang ditulis di BAB III
Sebutkan apakah scaling dipakai; jika tidak, mengapa. Sebut metode, kolom mana yang di-scale, dan pernyataan eksplisit bahwa parameter dipelajari hanya dari data latih (dan per fold jika CV).
Fitur numerik diskalakan dengan StandardScaler. Parameter mean dan standar deviasi diperkirakan hanya dari data latih, kemudian diterapkan untuk mentransformasi data validasi dan uji. Scaling disematkan dalam pipeline bersama model agar pada validasi silang tidak terjadi kebocoran statistik antar fold.
Kesalahan yang sering lolos di draf awal
- Menulis “data dinormalisasi” tanpa metode dan protokol fit/transform.
- Scaling sebelum train/test split.
- Fit scaler pada test “agar rentangnya cocok”.
- Menskala one-hot tanpa alasan hingga interpretasi koefisien membingungkan.
- Di CV, scaler di-fit sekali di luar loop.
Sebelum modelling
Scaling yang benar bukan soal memilih merek transformer. Intinya metodologis: pelajari parameter hanya dari data yang boleh dilihat saat pelatihan, lalu terapkan ke data evaluasi tanpa menyesuaikan ulang ke data tersebut.