Skip to main content

08 — Anotasi ahli, kappa, dan dua logika sampling

Tujuan: Menjelaskan ground truth ordinal, kesepakatan antar-rater, dan mengapa sampel bertingkat skor berbeda makna dari batch acak \(n=60\).

Poin checklist terkait:
- Membaca label ordinal (andal / meragukan / likely-artifact) dan Fleiss’ \(\kappa\)
- Membedakan sampling bertingkat skor dari sampel acak independen
Lihat Checklist membaca naskah SR-keandalan.
Materi sebelumnya: 07 — IQA tanpa referensi · Materi berikutnya: 09 — Statistik validasi skor
Terkait: DS-10 Provenance & label · DS-11 Sampling.


Skor otomatis tanpa jangkar manusia hanya peta numerik. Naskah menjangkarkan peta itu ke tiga radiologis gigi yang menilai keandalan rekonstruksi, bukan kondisi klinis pada patch. Instruksi itu, plus overlay grid dan triptych LR–SR–HR (bila HR ada), adalah bagian protokol, bukan kosmetik. Jika rater secara diam-diam menilai “apakah ada karies”, korelasi ke sFRC kehilangan makna yang diklaim.

Skala tiga tingkat

Reliable / questionable / likely-artifact dipilih agar beban kognitif rendah. Itu data ordinal, bukan interval. Mayoritas suara (dan median jika tiga-arah) menjadi label konsensus. Distribusi terealisasi pada \(n=200\): 66 andal, 79 meragukan, 55 likely-artifact. Framing biner menggabungkan dua kelas terakhir; base rate positif 67%. AUPRC harus dibaca terhadap baseline naif \(\approx 0{,}67\), bukan terhadap 0,5.

Kappa sebagai kualitas jangkar, bukan sebagai akurasi skor

Fleiss’ \(\kappa=0{,}702\) (substantial menurut Landis & Koch) mengatakan tiga orang cenderung menamai region yang sama dengan kategori yang sama. Pairwise Cohen 0,641–0,757; hanya 0,5% region disagreement tiga arah. Jangkar yang kacau akan membuat bahkan sinyal sempurna terlihat lemah. \(\kappa\) substantial mendukung bacaan: korelasi skor-ke-label yang sedang lebih mungkin sifat sinyal, bukan derau rater semata. Ia tidak membuktikan bahwa “keandalan rekonstruksi” tidak ambigu di setiap kasus — naskah tidak mengklaim itu.

Sampling bertingkat pada skor model

Anotasi mahal. Sampel acak dari 1,09 juta region akan didominasi ekor kiri (97,6% region RFDN di bawah 0,2). Radiologis akan menilai tumpukan kasus “mudah andal”, dan daya untuk membedakan ekor berisiko runtuh. Stratifikasi ke lima kuintil skor gabungan (40 per bin) sengaja menyeimbangkan paparan. Harga metodologis: ROI dipilih bergantung pada skor yang nanti dikorelasikan dengan label. Bagian dari agreement bisa berasal dari cara menyampel, bukan dari validitas universal.

Naskah mengantisipasi itu dengan batch kedua: \(n=60\), acak sederhana, disjoint, \(\kappa=0{,}733\). Terhadap konsensus, \(\rho=0{,}214\), CI memuat nol, \(p=0{,}101\) — null menurut aturan terkunci. Satu rater sudah signifikan (\(\rho=0{,}323\)). MDES pada \(n=60\) kira-kira 0,355, di atas efek yang diamati di kedua batch. Bacaan yang adil: underpowered, CI tumpang tindih dengan batch primer, bukan konfirmasi independen dan bukan pembatalan primer. Penguji yang menagih “sampling on the score” berhak mendapat paragraf ini, bukan pembelaan.

Unit analisis: region, citra, clustering

200 ROI berasal dari 184 citra (maksimum 3 region per citra; 7,6% citra menyumbang lebih dari satu). Mengasumsikan 200 undian bebas meremehkan varians jika region serumah berkorelasi. Block bootstrap setingkat citra hampir tidak melebarkan CI. Cek itu harus diulang jika kelak sampling per citra lebih padat (DS-11 merinci beda populasi, frame, dan unit).

Dengan jangkar dan desain sampel di tangan, modul berikutnya adalah bahasa angka yang menentukan kata partial validation.