Skip to main content

09 — Spearman, ROC, bootstrap, MDES, dan pra-registrasi luaran

Tujuan: Menafsirkan statistik yang mengunci klaim naskah — termasuk mengapa \(\rho=0{,}312\) disebut validasi parsial, bukan kegagalan dan bukan kemenangan bersih.

Poin checklist terkait:
- Menafsirkan Spearman \(\rho\), AUROC, AUPRC, dan base rate kelas positif
- Menjelaskan bootstrap CI, MDES, dan kategori luaran pra-registrasi (clean / partial / null)
- Membaca endpoint konfirmatori vs analisis sekunder tanpa koreksi uji ganda
Lihat Checklist membaca naskah SR-keandalan.
Materi sebelumnya: 08 — Anotasi ahli dan sampling · Materi berikutnya: 10 — Ablasi, klaim, dan batasan
Terkait: DS-02 Hipotesis / kriteria · DS-07 Metrik · DS-09 Uji statistik.


Naskah tidak mencari akurasi klasifikasi gigi. Ia mencari apakah ranking skor otomatis selaras ranking (ordinal) manusia, dan — sebagai framing kedua — apakah skor memisahkan “andal” dari “tidak andal”. Dua pertanyaan, dua keluarga angka. Keduanya dikunci sebelum melihat hasil, mengikuti semangat DS-02: kriteria bukan temuan post hoc.

Spearman, bukan Pearson

Label 1–2–3 bukan interval. Spearman \(\rho\) adalah korelasi ranking: apakah region dengan skor risiko lebih tinggi cenderung mendapat kategori lebih parah. Nol berarti ranking acak. Nilai 0,312 (RFDN) dengan \(p=6{,}9\times 10^{-6}\) menolak nol dengan nyaman; magnitudo sedang. CI bootstrap 95% \([0{,}178,\,0{,}433]\) memakai resampling, bukan rumus asymptotic — selaras ukuran \(n=200\) dan distribusi skor yang miring. SPAN \(\rho=0{,}315\) adalah replikasi sekunder pada ROI yang sama, bukan endpoint kedua.

Per-rater \(\rho\) 0,305 / 0,269 / 0,332 menutup celah “konsensus yang aneh menciptakan korelasi”. Median skor per kategori naik monoton (0,075 / 0,080 / 0,110), selaras arah Spearman meski tumpang tindih IQR — isyarat sinyal, bukan pemisah rapi.

AUROC dan AUPRC

Biner: andal vs gabungan meragukan + likely-artifact. AUROC 0,647 (CI \([0{,}560,\,0{,}723]\)) di atas 0,5; bukan detektor klinis. AUPRC 0,790 harus dibanding 0,670 (prevalensi). Kenaikan ada, tidak dramatis. Kurva ini bahan ambang operasi ilustratif (§5.3), bukan SOP rumah sakit.

Wilcoxon bertanda pada 17.070 patch membandingkan RFDN vs SPAN: \(p<0{,}0001\) karena \(n\) raksasa; selisih median kecil (0,089 vs 0,110). Signifikansi di sini bukan “SPAN gagal”; ia “hampir sama, RFDN sedikit lebih rendah risikonya”. Jangan menukar makna \(p\) dengan effect size — tema yang sama di DS-09.

MDES dan tiga laci luaran

Sebelum anotasi, naskah menghitung korelasi minimum yang \(n=200\), \(\alpha=0{,}05\), power 0,8 masih bisa tangkap: \(\rho \approx 0{,}197\). Tiga laci dikunci: clean (kuat, \(\rho \ge 0{,}5\) dan konsisten), partial (sedang/lemah tetapi signifikan, ambang lemah \(\rho \ge 0{,}3\)), null (tidak signifikan, dengan diskusi daya). Ketiganya dianggap layak terbit. Titik 0,312 melewati 0,3 tetapi CI lower 0,178 di bawah 0,3 dan di bawah MDES, sehingga mesin aturan menulis partial. Itu disiplin, bukan rasa-rasaan. Underpowered detection tetap menjadi kontributor yang diakui.

Endpoint konfirmatori tunggal: Spearman skor gabungan vs konsensus, RFDN, \(n=200\). SPAN, per-rater, semua baseline, domain shift, Wilcoxon arsitektur — sekunder, tanpa koreksi multiple comparison, untuk konteks. Membaca Table 3 sebagai delapan tes konfirmatori adalah kesalahan protokol.

Domain shift: dua klaim terpisah

Mann–Whitney pada jutaan region menolak kesamaan distribusi in-domain vs klinis (mean 0,092 vs 0,299). Itu pergeseran sinyal. Clean validation \(\rho=0{,}913\), AUROC 0,969 pada \(n=30\) adalah pergeseran yang diikat ahli, pada sampel kecil bertingkat. Jangan menggabungkan keduanya menjadi “seluruh citra klinis terbukti tiga kali lebih berhalusinasi menurut radiologis”.

Statistik sudah cukup untuk membaca §4. Modul terakhir merakit ablasi menjadi klaim yang boleh diucapkan di sidang.