Regresi mencari fungsi yang mendekati nilai riil (bisa bilangan bulat yang diperlakukan kontinu, mis. jumlah unit terjual), sering dengan mengoptimalkan error kuadrat atau variannya.
Konsep dasar regresi
Input (fitur): vektor \(x \in \mathbb{R}^p\) — bisa berisi suhu, luas bangunan, indikator kampanye, dll.
Output (target): skalar \(y \in \mathbb{R}\) yang ingin diprediksi.
Model:\(\hat{y} = f(x;\theta)\) dengan parameter \(\theta\) yang dipelajari dari data.
Pelatihan: pilih \(\theta\) yang meminimumkan fungsi kerugian pada data latih, misalnya mean squared error (MSE):
Evaluasi: ukur generalisasi pada data validasi/test (bukan hanya MSE latih) — hindari optimisme karena overfitting.
Asumsi & interpretasi (praktis)
Hubungan sinyal–noise:\(y = f^\star(x) + \varepsilon\); model memperkirakan \(f^\star\).
Independensi observasi sering diasumsikan untuk inferensi statistik klasik; di ML modern, fokus sering ke prediksi + validasi empiris.
Outlier memengaruhi kuadrat error — robust regression atau transformasi / penalti lain bisa relevan (kuliah lanjutan).
Kausalitas: koefisien linear menjelaskan asosiasi pada data observasional; klaim sebab-akibat butuh desain eksperimen atau metode kausal.
Mengapa MSE? (hubungan dengan noise Gaussian)
Jika \(y_i = f(x_i;\theta) + \varepsilon_i\) dengan \(\varepsilon_i \sim \mathcal{N}(0,\sigma^2)\)i.i.d., maksimum log-likelihood terhadap \(\theta\) (dengan \(\sigma\) tetap) setara dengan meminimumkan \(\sum_i \bigl(y_i - f(x_i;\theta)\bigr)^2\) — inti least squares.
Implikasi: memilih MSE mengasumsikan error simetris di sekitar prediksi; residual besar dihukum sangat kuat (kuadrat). Untuk target dengan outlier berat, MAE (loss \(L_1\)) atau model robust sering lebih wajar.
Bias, varians, & error generalisasi
Untuk prediktor \(\hat{f}\) yang diestimasi dari sampel latih, risiko MSE di titik \(x\) dapat diurai secara kasar sebagai:
Underfitting: model terlalu sederhana → bias besar, varians kecil.
Overfitting: model terlalu fleksibel / terlalu banyak derajat kebebasan relatif terhadap \(n\) → bias kecil di latih tetapi varians besar → error test memburuk.
Regularisasi menambah bias terkontrol agar varians turun dan MSE test membaik.
Regresi linear sederhana (satu fitur)
Model:
\[
\hat{y} = \beta_0 + \beta_1 x
\]
Ordinary Least Squares (OLS): pilih \(\beta_0,\beta_1\) yang meminimumkan \(\sum_i (y_i - \beta_0 - \beta_1 x_i)^2\).
Interpretasi:\(\beta_1\) adalah perubahan prediksi\(y\) per satuan peningkatan \(x\) (linear, marginal).
Visual: data, garis OLS, & residual
import matplotlib.pyplot as pltimport numpy as npfrom sklearn.linear_model import LinearRegressionrng = np.random.default_rng(9)n =80x = rng.uniform(2, 18, size=n)y_true =5.0+1.35* xy = y_true + rng.normal(0, 2.2, size=n)X = x.reshape(-1, 1)model = LinearRegression().fit(X, y)xp = np.linspace(x.min(), x.max(), 200).reshape(-1, 1)yp = model.predict(xp)y_hat = model.predict(X)res = y - y_hatfig, axes = plt.subplots(1, 2, figsize=(12, 4.5))axes[0].scatter(x, y, alpha=0.85, edgecolors="white", linewidths=0.5, label="Data")axes[0].plot(xp.ravel(), yp, color="darkred", linewidth=2, label="OLS")axes[0].set_xlabel("x (mis. jam belajar / minggu)")axes[0].set_ylabel("y (mis. skor ujian)")axes[0].legend()axes[0].set_title("Regresi linear sederhana")axes[1].scatter(x, res, alpha=0.85, edgecolors="white", linewidths=0.5)axes[1].axhline(0, color="darkred", linewidth=1.5)axes[1].set_xlabel("x")axes[1].set_ylabel("Residual (y - ŷ)")axes[1].set_title("Plot residual — sebaran di sekitar 0")plt.tight_layout()
Residual ideal (secara kasar): tidak ber pola; mean \(\approx 0\); varian homogen. Pola melengkung → pertimbangkan nonlinearitas atau transformasi.
Visual: data, garis OLS, & residual
Metrik evaluasi regresi (ringkas)
MSE / RMSE: sensitif outlier; RMSE dalam satuan \(y\).
MAE: rata-rata \(|y-\hat{y}|\) — lebih robust terhadap ekstrem.
\(R^2\): proporsi varians \(y\) yang “dijelaskan” model (bisa negatif pada test jika model buruk).
Praktik: laporkan RMSE/MAE pada test + interval prediksi jika bisnis membutuhkan rentang ketidakpastian.
Contoh kasus regresi — dari pertanyaan ke target \(y\)
Konteks
Target \(y\) (kontinu)
Fitur tipikal
Catatan metrik / validasi
Properti
Harga transaksi / sewa bulanan
luas, kamar, jarak ke CBD
RMSE dalam mata uang; waspada outlier transaksi mencurigakan
Ritel / SCM
Permintaan harian / mingguan
harga, promosi, musim, stok
split waktu (bukan acak) jika deret waktu
SDM / kompensasi
Gaji awal (log sering dipakai)
pengalaman, pendidikan, kota
bias & fairness; transformasi log(y)
Operasional IT
Waktu penyelesaian tiket (jam)
prioritas, kompleksitas, tim
distribusi menceng → median / MAE atau log
Energi / bangunan
kWh, beban puncak
luas, penghuni, HVAC
multikolinearitas sensor → Ridge
Pertanian presisi
Hasil ton/ha
NDVI, curah hujan, pupuk
geospasial: blok random vs titik
Bio-statistik
Respons dosis (tekanan darah Δ)
dosis obat, covariat
desain eksperimen; nonlinear → polynomial parsial
Inti: definisikan satuan \(y\) dan jangkauan inferensi (individu vs agregat) sebelum memilih model.
Contoh mini: harga sewa vs luas (sintetis, 1 fitur)
Skenario: memprediksi sewa bulanan (juta Rp) dari luas bersih (m²) pada pasar sewa tertentu. Hubungan mendekati linear dengan noise; di dunia nyata tambahkan lokasi, lantai, furnished.
Jika \((\mathbf{X}^\top \mathbf{X})\) invertible: \(\boldsymbol{\beta}^\star = (\mathbf{X}^\top \mathbf{X})^{-1}\mathbf{X}^\top \mathbf{y}\).
Interpretasi parsial:\(\beta_j\) = efek marginal\(x_j\) jika fitur lain tetap (hati-hati jika multikolinearitas tinggi — koefisien tidak stabil).
Studi kasus (sintetis): prediksi konsumsi energi
Latar: prediksi kWh/hari dari luas bangunan (m²), jumlah penghuni, dan suhu rata-rata luar (°C). Data di bawah dibuat sintetis agar reproduksibel di kelas.
Titik mendekati garis identitas → prediksi kalibrasi baik pada rentang data.
Prediksi vs aktual (test set)
Outlier: apa dampaknya pada OLS?
Outlier bisa berupa nilai \(y\) ekstrem (residual besar), kombinasi \(x\) ekstrem dengan \(y\) tidak mengikuti pola (leverage tinggi), atau kesalahan ukur / input.
OLS meminimumkan jumlah kuadrat residual — satu titik dengan error besar memberi kontribusi proposional kuadrat sehingga garis / hyperplane dapat tertarik ke arah outlier (bias estimasi pada wilayah “normal”).
Akibat praktis: RMSE meledak; koefisien tidak lagi mencerminkan mayoritas data; prediksi di rentang tipikal memburuk.
Pesan: MSE latih bisa turun drastis sementara MSE test memburuk — pilih derajat / kompleksitas via validasi silang atau penalti.
Risiko overfitting pada derajat tinggi
Validasi silang: memilih derajat polinomial
Prosedur: bagi data menjadi \(k\) lipatan; untuk tiap kandidat derajat \(d\), latih pada \(k-1\) lipatan, evaluasi MSE pada lipatan tersisa; ratakan MSE validasi. Pilih \(d\) yang meminimumkan error validasi (atau aturan one-standard-error jika ingin model lebih sederhana).
\(\rho\) (l1_ratio di sklearn): campuran Lasso–Ridge. Berguna saat banyak grup fitur berkorelasi.
Intuisi geometris: L1 vs L2
Tanpa penalti, solusi OLS meminimumkan SSE pada ruang \(\mathbb{R}^{p+1}\). Dengan penalti, solusi menjadi titik kompromi antara cocok dengan data dan kecilnya norma koefisien.
Ridge (L2): kontur penalti berbentuk bola — koefisien mengecil bersamaan (shrinking halus).
Lasso (L1): kontur penalti berbentuk diamond dengan puncak di sumbu — optimum sering menyentuh puncak sehingga beberapa koefisien tepat nol → sparse.
Catatan: Ridge/Lasso di atas memakai standarisasi fitur di pipeline — penting karena penalti membandingkan magnitudo koefisien.
Demo: Ridge vs Lasso pada data Diabetes
RMSE test OLS: 56.68
RMSE test Ridge: 57.194
alpha Ridge terpilih: 28.94266
RMSE test Lasso: 57.017
alpha Lasso terpilih: 0.41246
Kurva validasi: Ridge vs \(\alpha\) (data Diabetes)
import matplotlib.pyplot as pltimport numpy as npfrom sklearn.datasets import load_diabetesfrom sklearn.linear_model import Ridgefrom sklearn.metrics import mean_squared_errorfrom sklearn.model_selection import KFoldfrom sklearn.pipeline import Pipelinefrom sklearn.preprocessing import StandardScalerX, y = load_diabetes(return_X_y=True, as_frame=False)alphas = np.logspace(-2, 4, 45)kf = KFold(n_splits=5, shuffle=True, random_state=3)cv_rmse = []for a in alphas: fold_rmse = []for tr, va in kf.split(X): pipe = Pipeline( [ ("scale", StandardScaler()), ("ridge", Ridge(alpha=a)), ] ) pipe.fit(X[tr], y[tr]) pred = pipe.predict(X[va]) fold_rmse.append(float(np.sqrt(mean_squared_error(y[va], pred)))) cv_rmse.append(np.mean(fold_rmse))best_a = alphas[int(np.argmin(cv_rmse))]fig, ax = plt.subplots(figsize=(7.2, 4.3))ax.semilogx(alphas, cv_rmse, color="steelblue", linewidth=2)ax.scatter([best_a], [min(cv_rmse)], color="darkred", s=70, zorder=3, label=f"α ≈ {best_a:.3f}")ax.set_xlabel("α (Ridge)")ax.set_ylabel("RMSE validasi (5-fold)")ax.set_title("α terlalu kecil → hampir OLS; α besar → underfit (bias)")ax.legend()plt.tight_layout()
Kurva validasi: Ridge vs \(\alpha\) (data Diabetes)
Studi kasus ringkas (domain)
Domain
Target
Fitur (contoh)
Catatan pemodelan
Properti
Harga jual
luas, lokasi, umur bangunan
nonlinear spasial; polynomial parsial; regularisasi jika \(p\) besar
Ritel
Permintaan harian
promosi, harga, musim
lag & musiman; validasi waktu (time-series split)
Manufaktur
Waktu siklus mesin
suhu, getaran, operator
sensor berkorelasi → Ridge/Elastic Net
Kesehatan (agregat)
LOS rumah sakit
diagnosis grup, usia
etika & bias data; interpretabilitas
Keuangan
Spread / imbal hasil
rating, tenor, likuiditas
outlier acara pasar; robust atau winsorize
Lingkungan
PM2.5 harian
angin, pembangkit, musim
data sensor: missing & spike; validasi musiman
Materi pengayaan (lanjutan mandiri)
Heteroskedastisitas: varians residual bergantung pada \(\hat{y}\) — diplot |residual| vs \(\hat{y}\); sering membantu log(y) atau weighted least squares.
Transformasi Box–Cox / Yeo–Johnson pada \(y\) atau fitur (hati-hati interpretasi) — sklearn.preprocessing.PowerTransformer.
Interaksi\(x_1 x_2\) memperkaya linear tanpa derajat polinomial tinggi di satu sumbu.
Polynomial + Ridge:PolynomialFeatures + Ridge dalam satu Pipeline mengurangi osilasi liar di tepi rentang \(x\).
Ekstrapolasi: polinomial tinggi di luar rentang latih bisa sangat salah — batasi prediksi pada domain data atau gunakan model dengan perilaku asimptotik.
Interval prediksi vs interval kepercayaan mean — bedakan ketidakpastian rata-rata vs satu observasi baru (statistik klasik + bootstrap).
Regresi = supervised learning dengan target kontinu; kerugian standar MSE setara memaksimumkan likelihood Gaussian dengan varians tetap (hubungan konseptual).
Contoh kasus memetakan pertanyaan → \(y\) → metrik → validasi (acak vs waktu vs spasial).
Outlier dapat menggeser OLS karena penalti kuadrat; bandingkan RMSE vs MAE, audit data, dan pertimbangkan Huber / transformasi.
Linear & polynomial (dalam basis) memberi kontrol eksplisit atas kompleksitas; polynomial tinggi mudah overfit.
Ridge menstabilkan koefisien; Lasso mendorong sparse; Elastic Net menggabungkan keduanya.
Penskalaan fitur dan validasi adalah bagian integral, bukan “pilihan kosmetik”.
Referensi untuk mendalami
James et al., An Introduction to Statistical Learning — bab regresi linear & regularisasi.