Laringoloji
From Subjectivity to Reliability: A Multi-Rater Framework for Ground-Truth Generation in Laryngeal Spatial Segmentation
Journal of Voice ·
Ghasemzadeh H, Ford DS, Powell ME, et al.
Laringeal görüntülerde elle segmentasyonun güvenilirliği çok değerlendiricili bir çerçeveyle sınandı. Yüksek hızlı videoendoskopi ile alınan 12 kayıtta vokal kord kenarları 3 uzman tarafından aşamalı bir çerçeveyle işaretlendi. Çerçeve ilk segmentasyon, uyumsuz bölgelerin uzlaştırılması ve ortak gözden geçirme aşamalarından oluşuyordu. Uzmanların ilk segmentasyonları arasında büyük farklar bulunurken değerlendirici sayısı arttıkça güvenilirlik anlamlı olarak yükseldi ve en büyük kazanç tek değerlendiriciden ikiye geçişte görüldü. Çerçeve hem değerlendirici içi hem değerlendiriciler arası güvenilirliği belirgin olarak iyileştirirken en büyük iyileşme uzlaşı aşamasında sağlandı. Bulgular, otomatik yöntemlerin eğitiminde kullanılan referans segmentasyonların birden çok değerlendiriciyle hazırlanması ve güvenilirliğin açıkça raporlanması gerektiğini göstermektedir.
Expert segmentations of vocal fold edges in high-speed videoendoscopy recordings differed substantially, which argues for using multiple raters when building ground truth. Three experts segmented 12 recordings through initial segmentation, reconciliation of discrepancies, and consensus review. Ground-truth reliability rose and uncertainty fell as raters were added, most from one to two raters and, across stages, at consensus review. A proposed maximum edge variability metric also served as a robust alternative to Intersection over Union, which is sensitive to glottal area size.
Yapay zekâ desteğiyle özetlendi