Skip to main content

Modul teori — Dasar pengenalan pola & deteksi objek (Computer Vision)

Pengolahan Citra Digital (PCD), pertemuan ke-15

Modul ini menutup rangkaian analisis citra → keputusan: setelah ekstraksi ciri (PCD 14) menghasilkan vektor fitur \(\mathbf{x}\), kita memakai pengenalan pola (pattern recognition) untuk mengklasifikasi objek, dan mempelajari deteksi objek — menemukan di mana objek berada di citra, bukan hanya apa kelasnya. Keduanya adalah inti Computer Vision (CV): sistem yang menginterpretasi citra untuk aplikasi industri, medis, transportasi, dan robotika.

Contoh penggunaan:

Gambar 1: Contoh citra riil per kasus di atas. 1 — Sortir industri: kacang/walnut di conveyor (klasifikasi + lokasi pick). 2 — Pengawasan: area parkir dari udara (CCTV/template); marka jalan (Hough garis). 3 — Medis: sel darah merah mikroskop (Hough lingkaran, klasifikasi morfologi). 4 — OCR: halaman teks koran (sliding window + klasifikasi karakter). 5 — Kendaraan otonom: lalu lintas jalan tol (deteksi objek modern). Sumber & lisensi: PCD/assets/pcd15_contoh_kasus/ATTRIBUTIONS.md.

Alur modul: definisi CV & tiga tingkat tugas → pengenalan pola (kNN, evaluasi) → deteksi klasik (template, sliding window) → transformasi Hough → outlook deep learning → capstone pipeline PCD 09–15.

Gambar 2: Tiga tingkat tugas Computer Vision pada citra yang sama: segmentasi (wilayah), pengenalan pola (kelas per objek), dan deteksi objek (kotak batas + kelas di seluruh citra).

0.1 Tujuan pembelajaran

  1. Membedakan segmentasi, pengenalan pola (klasifikasi), dan deteksi objek dalam pipeline Computer Vision.
  2. Menerapkan k-nearest neighbors (kNN) pada vektor ciri dan memahami peran train/test split serta normalisasi.
  3. Membaca dan menginterpretasikan confusion matrix, akurasi, presisi, recall, dan F1.
  4. Menjelaskan template matching (korelasi normalisasi) dan keterbatasannya terhadap skala/rotasi.
  5. Menggambarkan sliding window + klasifikator sebagai pendekatan deteksi klasik dan kompleksitas komputasinya.
  6. Memahami transformasi Hough untuk mendeteksi garis dan lingkaran dari peta tepi.
  7. Membandingkan pipeline handcrafted (PCD 09–15) dengan deep learning (CNN, detektor modern) secara konseptual.
  8. Merangkai capstone: Otsu → morfologi → ekstraksi ciri → kNN.

1 Computer Vision dan tiga tingkat tugas

Computer Vision adalah bidang yang membangun sistem agar komputer menginterpretasi citra atau video: mengenali objek, memperkirakan pose, memantau adegan, atau memandu robot. Pengolahan citra digital (PCD) sering menjadi pra-proses — peningkatan kualitas, segmentasi, ekstraksi tepi/fitur — sebelum keputusan tingkat tinggi.

Tingkat tugas Pertanyaan utama Output tipikal Modul PCD terkait
Segmentasi Piksel/region mana yang termasuk objek? mask biner, label per piksel PCD 12–13
Pengenalan pola Objek/region ini kelas apa? label kelas per sampel PCD 14 + modul ini
Deteksi objek Objek kelas X ada di mana? kotak batas (bounding box), skor modul ini

Klasifikasi citra penuh (satu kelas per citra, mis. “kucing” vs “anjing”) adalah kasus pengenalan pola tanpa lokasi. Deteksi menambah lokalisasi: setiap objek dilaporkan sebagai \((x, y, w, h, \text{kelas}, \text{skor})\).

flowchart TD
  A[Citra / video] --> B[Pra-proses PCD]
  B --> C{Jenis tugas}
  C -->|Wilayah| D[Segmentasi]
  C -->|Kelas per ROI| E[Pengenalan pola]
  C -->|Lokasi + kelas| F[Deteksi objek]
  D --> G[Mask / label]
  G --> H[Ekstraksi ciri PCD 14]
  H --> E
  F --> I[Template / sliding window / Hough / DL]
  E --> J[Keputusan aplikasi]
  I --> J

2 Pipeline klasik PCD 09–15

Rangkaian modul yang sudah dipelajari membentuk baseline industri yang masih dipakai bila data sedikit, aturan jelas, atau interpretabilitas penting:

flowchart LR
  subgraph prep ["Pra-analisis"]
    P1["Tepi PCD 10-11"]
    P2["Segmentasi PCD 12-13"]
    P3["Morfologi PCD 09"]
  end
  subgraph feat ["Fitur"]
    F1["Bentuk, warna, tekstur PCD 14"]
  end
  subgraph dec ["Keputusan modul ini"]
    D1["kNN / SVM / aturan"]
    D2["Template / Hough"]
  end
  P2 --> P3 --> F1 --> D1
  P1 --> D2

Tahap Input Output Contoh
Threshold Otsu citra grayscale mask kasar PCD 12
Opening/closing mask biner noise hilang PCD 09
Labeling mask bersih ID per objek PCD 11
Ekstraksi ciri ROI per label vektor \(\mathbf{x}\) PCD 14
Klasifikasi \(\mathbf{x}\) kelas bab berikut
Deteksi citra penuh lokasi objek bab deteksi

3 Pengenalan pola (klasifikasi)

Pengenalan pola memetakan representasi masukan \(\mathbf{x} \in \mathbb{R}^d\) ke kelas \(y \in \{1,\ldots,C\}\). Pada pipeline PCD, \(\mathbf{x}\) biasanya vektor ciri handcrafted dari PCD 14; klasifikator dapat berupa kNN, pohon keputusan, SVM, atau jaringan saraf.

3.1 Formulasi supervised learning

Diberikan dataset latih \(\{(\mathbf{x}_i, y_i)\}_{i=1}^N\). Tujuan: pelajari fungsi \(f(\mathbf{x})\) yang memprediksi \(y\) pada data baru. Overfitting terjadi bila \(f\) menghafal latih tetapi gagal uji — mitigasi: train/test split, validasi silang (cross-validation), regularisasi, atau lebih banyak data.

Train/test split umum: 70–80% latih, 20–30% uji; normalisasi (z-score dari statistik hanya train) diterapkan sebelum jarak/similaritas — sama seperti di PCD 14.

3.2 k-nearest neighbors (kNN)

kNN adalah klasifikator non-parametrik: tidak melatih bobot eksplisit; pada prediksi, cari \(k\) sampel latih terdekat dalam ruang fitur.

\[\hat{y}(\mathbf{x}) = \arg\max_{c} \sum_{i \in \mathcal{N}_k(\mathbf{x})} \mathbb{1}[y_i = c]\]

\(\mathcal{N}_k(\mathbf{x})\): indeks \(k\) tetangga dengan jarak Euclidean \(\|\mathbf{x} - \mathbf{x}_i\|\) terkecil. \(k\) ganjil menghindari seri pada klasifikasi biner. \(k\) kecil → sensitif noise; \(k\) besar → batas keputusan lebih halus tetapi bisa underfit.

Gambar 3: kNN pada fitur 2D (sintetis): titik uji (bintang) diklasifikasi menurut mayoritas kelas dari \(k=5\) tetangga terdekat. Garis putus-putus: perkiraan batas keputusan.

3.3 Confusion matrix dan metrik

Untuk \(C\) kelas, confusion matrix \(\mathbf{M}\) berukuran \(C \times C\): \(M_{ij}\) = jumlah sampel benar kelas \(i\) diprediksi kelas \(j\).

Pred 0 Pred 1
Benar 0 TN FP
Benar 1 FN TP
  • Akurasi = \(\frac{\text{benar}}{\text{total}}\) — menyesatkan jika kelas tidak seimbang.
  • Presisi kelas \(c\): \(\frac{TP_c}{TP_c + FP_c}\) — seberapa dapat dipercaya prediksi positif.
  • Recall (sensitivitas) kelas \(c\): \(\frac{TP_c}{TP_c + FN_c}\) — seberapa banyak positif yang tertangkap.
  • F1 = harmonik presisi dan recall: \(2PR/(P+R)\).
Gambar 4: Confusion matrix contoh (3 kelas) dari klasifikasi kNN pada fitur sintetis; diagonal = prediksi benar.

4 Deteksi objek (pendekatan klasik)

Deteksi mencari instance objek di citra: setiap deteksi = lokasi (kotak, mask, atau parameter geometri) + label + skor kepercayaan.

4.1 Template matching

Template matching mencari sub-citra \(t\) yang paling mirip dengan pola referensi di citra \(f\). Metrik umum: korelasi silang ter-normalisasi (normalized cross-correlation, NCC):

\[\gamma(u,v) = \frac{\sum_{x,y} [f(x+u,y+v) - \bar{f}_{u,v}][t(x,y) - \bar{t}]}{\sqrt{\sum_{x,y}[f(x+u,y+v)-\bar{f}_{u,v}]^2 \sum_{x,y}[t(x,y)-\bar{t}]^2}}\]

Puncak \(\gamma\) → kandidat lokasi objek. Kelebihan: sederhana, cepat untuk pola kecil. Kekurangan: sensitif terhadap skala, rotasi, perubahan pencahayaan, dan oklusi sebagian.

Gambar 5: Template matching: kiri citra dengan pola target; tengah template; kanan peta NCC — puncak (bintang) menunjukkan lokasi kecocokan terbaik.

4.2 Sliding window

Untuk objek yang variasi ukurannya atau tidak cocok satu template, citra di-scan dengan jendela bergeser berbagai ukuran (sering digabung image pyramid):

  1. Tentukan ukuran window \((w \times h)\) dan langkah geser (stride).
  2. Potong patch → ekstrak fitur atau klasifikasi (mis. kNN/SVM: “objek vs latar”).
  3. Patch dengan skor tinggi → non-maximum suppression (NMS) untuk menghapus deteksi tumpang tindih.

Kompleksitas: \(O(\text{piksel} \times \text{jumlah skala} \times \text{biaya klasifikator})\) — mahal pada citra besar; ini sebagian alasan deep learning memakai region proposal atau deteksi satu tahap (YOLO).

Metode Input Kekuatan Kelemahan
Template matching pola tetap sangat cepat, mudah skala/rotasi
Sliding window + klasifikator fitur per patch fleksibel lambat, butuh fitur baik
Hough peta tepi struktur parametrik (garis, lingkaran) clutter, parameter
CNN / YOLO citra mentah akurasi tinggi data & GPU

5 Transformasi Hough

Hough transform mendeteksi bentuk parametrik dengan voting di ruang parameter — bukan mencari korelasi template pixel-per-pixel. Titik tepi dari deteksi tepi (PCD 10–11) “memilih” parameter bentuk yang konsisten.

5.1 Hough garis

Garis dalam koordinat gambar memenuhi \(\rho = x\cos\theta + y\sin\theta\) dengan \(\rho\) jarak tegak lurus dari origin, \(\theta \in [0, \pi)\). Setiap titik tepi \((x,y)\) memberi kurva sinus di ruang \((\rho, \theta)\); titik perpotongan banyak kurva → akumulator puncak = garis dominan.

5.2 Hough lingkaran

Lingkaran: pusat \((a,b)\), jari-jari \(r\). Setiap titik tepi memberi vote untuk kemungkinan \((a,b)\) pada berbagai \(r\) (atau \(r\) diketahui → vote 2D lebih murah).

Gambar 6: Hough garis (sketsa): kiri citra sintetis dengan tepi garis; kanan akumulator \((\rho, \theta)\) — puncak terang = parameter garis dominan.

Praktik: OpenCV cv2.HoughLines, cv2.HoughCircles; scikit-image transform.hough_line, hough_circle. Pra-syarat: tepi bersih (Canny membantu mengurangi noise akumulator).

6 Evaluasi deteksi objek (gambaran)

Klasifikasi per ROI memakai confusion matrix; deteksi membutuhkan metrik yang mempertimbangkan overlap kotak:

  • Intersection over Union (IoU): \(\mathrm{IoU} = \frac{|B_{\text{pred}} \cap B_{\text{gt}}|}{|B_{\text{pred}} \cup B_{\text{gt}}|}\); deteksi benar jika IoU \(\geq\) ambang (mis. 0,5).
  • mAP (mean Average Precision): ringkasan kurva presisi–recall pada berbagai ambang IoU — standar benchmark COCO/Pascal VOC.

Pipeline klasik jarang mencapai mAP tinggi pada adegan kompleks; deep learning mendominasi benchmark modern.

7 Outlook: deep learning & detektor modern

Convolutional Neural Network (CNN) mempelajari representasi hierarkis langsung dari piksel. Untuk klasifikasi, CNN menggantikan vektor Hu+GLCM manual pada banyak dataset besar — tetapi butuh banyak data berlabel dan GPU untuk pelatihan praktis.

Deteksi objek modern (gambaran konsep, tanpa implementasi di modul ini):

Keluarga Ide utama Contoh
Two-stage proposal region → klasifikasi per region R-CNN, Faster R-CNN
One-stage grid langsung prediksi kotak + kelas YOLO, SSD, RetinaNet
Transformer attention global pada patch DETR

flowchart LR
  subgraph classic ["Pipeline klasik PCD"]
    C1[Segmentasi] --> C2[Fitur handcrafted]
    C2 --> C3[kNN / SVM]
  end
  subgraph dl ["Deep learning"]
    D1[CNN backbone] --> D2[Head klasifikasi / deteksi]
  end
  classic --> H[Baseline / data sedikit / explainability]
  dl --> I[Variasi kompleks / data banyak]

Kapan tetap pakai klasik? Data sedikit, aturan domain jelas (sortir ukuran), hardware terbatas, atau audit/regulasi mensyaratkan fitur interpretable. Hybrid (CNN embedding + fitur geometri) umum di industri.

8 Capstone: Otsu → morfologi → ciri → kNN

Studi kasus menyatukan modul PCD 09, 12, 11, 14, dan klasifikasi di modul ini:

  1. Otsu pada citra grayscale → mask kasar.
  2. Opening menghilangkan noise kecil.
  3. Labeling komponen terhubung → satu ID per benda.
  4. Ekstraksi ciri bentuk (area, kompakitas) + warna (mean HSV) per label.
  5. Normalisasi z-score dari train → kNN dua kelas (lolos / cacat).
Gambar 7: Capstone pipeline: Otsu → opening → labeling → ekstraksi ciri (area vs mean hue) → scatter kelas dengan batas kNN.

9 Alur pipeline lengkap (PCD 09–15)

flowchart TB
  subgraph edge ["Tepi & struktur PCD 10-11"]
    E1[Canny / Sobel]
    E2[Hough garis/lingkaran]
  end
  subgraph seg ["Segmentasi & morfologi PCD 09, 12-13"]
    S1[Threshold / warna]
    S2[Opening / closing]
    S3[Label komponen]
  end
  subgraph ml ["Keputusan PCD 14-15"]
    M1[Vektor ciri]
    M2[kNN / metrik]
    M3[Template / sliding window]
  end
  A[Citra masuk] --> S1 --> S2 --> S3 --> M1 --> M2
  A --> E1 --> E2
  A --> M3
  M2 --> Z[Aplikasi: sortir, QC, navigasi]
  E2 --> Z
  M3 --> Z

10 Implementasi referensi (Python)

Daftar 1
import numpy as np
from sklearn.metrics import confusion_matrix, classification_report


def knn_fit_predict(
    X_train: np.ndarray,
    y_train: np.ndarray,
    X_test: np.ndarray,
    k: int = 5,
) -> np.ndarray:
    """kNN brute-force; X sudah dinormalisasi."""
    preds = []
    for x in X_test:
        d = np.linalg.norm(X_train - x, axis=1)
        nn = np.argsort(d)[:k]
        vals, cnts = np.unique(y_train[nn], return_counts=True)
        preds.append(vals[cnts.argmax()])
    return np.array(preds)


def zscore_train_apply(X_train: np.ndarray, X_test: np.ndarray):
    mu = X_train.mean(axis=0)
    sig = X_train.std(axis=0) + 1e-9
    return (X_train - mu) / sig, (X_test - mu) / sig


# Contoh evaluasi
# y_pred = knn_fit_predict(X_tr_n, y_tr, X_te_n, k=5)
# print(confusion_matrix(y_te, y_pred))
# print(classification_report(y_te, y_pred))

Pustaka deteksi: OpenCV cv2.matchTemplate, cv2.HoughLines, cv2.HoughCircles; scikit-image feature.match_template, transform.hough_line, transform.hough_circle; deep learning (di luar cakupan modul): PyTorch + torchvision, Ultralytics YOLO.

11 Latihan mandiri

  1. Jelaskan perbedaan klasifikasi citra penuh vs deteksi objek — berikan satu contoh aplikasi untuk masing-masing.
  2. Mengapa normalisasi z-score penting sebelum kNN tetapi kurang kritis untuk pohon keputusan?
  3. Template matching gagal jika objek mengalami rotasi 45° — jelaskan dua strategi untuk mengatasinya (salah satu boleh berbasis deep learning).
  4. Hitung presisi dan recall kelas positif dari confusion matrix 2×2: TP=8, FP=2, FN=3, TN=17.
  5. Sliding window dengan stride 8 piksel pada citra \(640\times480\) dan 3 skala — perkirakan jumlah window (order of magnitude).
  6. Pada Hough garis, mengapa setiap titik tepi memberi vote untuk banyak pasangan \((\rho, \theta)\), bukan satu saja?
  7. Rancang capstone untuk sortir koin: fitur PCD 14 apa yang dipakai? Berapa kelas? Metode deteksi vs klasifikasi per koin?
  8. Sebut satu kelebihan dan satu kekurangan detektor YOLO dibanding pipeline Otsu→fitur→kNN.

12 Referensi

  • R. C. Gonzalez & R. E. Woods, Digital Image Processing — bab pengenalan pola, template matching, Hough transform.
  • R. O. Duda & P. E. Hart, Use of the Hough Transformation to Detect Lines and Curves in Pictures (1972).
  • D. H. Ballard, Generalizing the Hough Transform to Detect Arbitrary Shapes (1981).
  • T. Cover & P. Hart, Nearest Neighbor Pattern Classification (1967) — kNN.
  • J. Redmon et al., You Only Look Once: Unified, Real-Time Object Detection (2016) — YOLO (outlook).
  • OpenCV — template matching
  • scikit-image — Hough transform
  • scikit-learn — classification metrics