Metode baru menilai dan meningkatkan keandalan laporan diagnostik radiologi | Berita MIT

Karena ambiguitas yang melekat dalam gambar medis seperti sinar-X, ahli radiologi sering menggunakan kata-kata seperti “mungkin” atau “kemungkinan” ketika menggambarkan keberadaan patologi tertentu, seperti pneumonia.

Tetapi apakah kata -kata yang digunakan para radiologi untuk mengekspresikan tingkat kepercayaan mereka secara akurat mencerminkan seberapa sering patologi tertentu terjadi pada pasien? Sebuah studi baru menunjukkan bahwa ketika para ahli radiologi mengungkapkan kepercayaan diri tentang patologi tertentu menggunakan frasa seperti “sangat mungkin,” mereka cenderung terlalu percaya diri, dan sebaliknya ketika mereka mengekspresikan kepercayaan diri yang kurang menggunakan kata seperti “mungkin.”

Menggunakan Data Klinis, tim multidisiplin peneliti MIT bekerja sama dengan para peneliti dan dokter di rumah sakit yang berafiliasi dengan Harvard Medical School menciptakan kerangka kerja untuk mengukur bagaimana ahli radiologi yang andal ketika mereka menyatakan kepastian menggunakan istilah bahasa alami.

Mereka menggunakan pendekatan ini untuk memberikan saran yang jelas yang membantu ahli radiologi memilih frasa kepastian yang akan meningkatkan keandalan pelaporan klinis mereka. Mereka juga menunjukkan bahwa teknik yang sama dapat secara efektif mengukur dan meningkatkan kalibrasi model bahasa besar dengan lebih menyelaraskan kata -kata yang digunakan model untuk mengekspresikan kepercayaan diri dengan keakuratan prediksi mereka.

Dengan membantu ahli radiologi lebih akurat menggambarkan kemungkinan patologi tertentu dalam gambar medis, kerangka kerja baru ini dapat meningkatkan keandalan informasi klinis kritis.

“Kata -kata yang digunakan para radiologi penting. Mereka mempengaruhi bagaimana dokter mengintervensi, dalam hal pengambilan keputusan mereka untuk pasien. Jika para praktisi ini dapat lebih dapat diandalkan dalam pelaporan mereka, pasien akan menjadi penerima manfaat utama,” kata Peiqi Wang, seorang mahasiswa pascasarjana MIT dan utama penulis a a Makalah tentang penelitian ini.

Dia bergabung di atas kertas oleh penulis senior Polina Golland, seorang profesor Sunlin dan Priscilla Chou dari Teknik Listrik dan Ilmu Komputer (EECS), seorang penyelidik utama dalam Laboratorium Komputer MIT dan Laboratorium Intelijen Buatan (CSAIL), dan pemimpin kelompok visi medis; serta Barbara D. Lam, seorang klinis di Pusat Medis Beth Israel Deaconess; Yingcheng Liu, di mahasiswa pascasarjana MIT; Ameneh Asgari-Targhi, seorang peneliti di Massachusetts General Brigham (MGB); Rameswar Panda, seorang anggota staf peneliti di Lab MIT-IBM Watson AI; William M. Wells, seorang profesor radiologi di MGB dan seorang ilmuwan peneliti di CSAIL; dan Tina Kapur, asisten profesor radiologi di MGB. Penelitian ini akan dipresentasikan pada Konferensi Internasional tentang Representasi Pembelajaran.

Decoding ketidakpastian dalam kata -kata

Seorang ahli radiologi yang menulis laporan tentang rontgen dada mungkin mengatakan gambar itu menunjukkan pneumonia “yang mungkin”, yang merupakan infeksi yang memperluas kantung udara di paru-paru. Dalam hal ini, seorang dokter dapat memesan CT scan tindak lanjut untuk mengkonfirmasi diagnosis.

Namun, jika ahli radiologi menulis bahwa x-ray menunjukkan pneumonia “kemungkinan”, dokter mungkin segera memulai perawatan, seperti dengan meresepkan antibiotik, sambil tetap memesan tes tambahan untuk menilai keparahan.

Mencoba mengukur kalibrasi, atau keandalan, dari istilah bahasa alami yang ambigu seperti “mungkin” dan “kemungkinan” menghadirkan banyak tantangan, kata Wang.

Metode kalibrasi yang ada biasanya bergantung pada skor kepercayaan yang disediakan oleh model AI, yang mewakili perkiraan kemungkinan model bahwa prediksinya benar.

Misalnya, aplikasi cuaca mungkin memprediksi 83 persen peluang hujan besok. Model itu dikalibrasi dengan baik, di semua contoh di mana ia memprediksi 83 persen kemungkinan hujan, hujan turun sekitar 83 persen dari waktu.

“Tetapi manusia menggunakan bahasa alami, dan jika kita memetakan frasa ini ke satu angka, itu bukan deskripsi yang akurat tentang dunia nyata. Jika seseorang mengatakan suatu peristiwa ‘mungkin,’ mereka tidak perlu memikirkan probabilitas yang tepat, seperti 75 persen,” kata Wang.

Daripada mencoba memetakan frasa kepastian menjadi satu persentase, pendekatan para peneliti memperlakukan mereka sebagai distribusi probabilitas. Distribusi menggambarkan kisaran nilai yang mungkin dan kemungkinannya – pikirkan kurva lonceng klasik dalam statistik.

“Ini menangkap lebih banyak nuansa dari apa arti masing -masing kata,” tambah Wang.

Menilai dan meningkatkan kalibrasi

Para peneliti memanfaatkan pekerjaan sebelumnya yang mensurvei ahli radiologi untuk mendapatkan distribusi probabilitas yang sesuai dengan setiap frasa kepastian diagnostik, mulai dari “sangat mungkin” hingga “konsisten dengan.”

Misalnya, karena lebih banyak ahli radiologi percaya frasa “konsisten dengan” berarti patologi hadir dalam citra medis, distribusi probabilitasnya naik tajam ke puncak yang tinggi, dengan sebagian besar nilai dikelompokkan di sekitar kisaran 90 hingga 100 persen.

Sebaliknya frasa “dapat mewakili” menyampaikan ketidakpastian yang lebih besar, yang mengarah ke distribusi berbentuk lonceng yang lebih luas yang berpusat sekitar 50 persen.

Metode tipikal mengevaluasi kalibrasi dengan membandingkan seberapa baik skor probabilitas yang diprediksi model selaras dengan jumlah aktual hasil positif.

Pendekatan para peneliti mengikuti kerangka umum yang sama tetapi memperluasnya untuk menjelaskan fakta bahwa frasa kepastian mewakili distribusi probabilitas daripada probabilitas.

Untuk meningkatkan kalibrasi, para peneliti merumuskan dan memecahkan masalah optimasi yang menyesuaikan seberapa sering frasa tertentu digunakan, untuk lebih menyelaraskan kepercayaan diri dengan kenyataan.

Mereka memperoleh peta kalibrasi yang menunjukkan istilah kepastian yang harus digunakan oleh ahli radiologi untuk membuat laporan lebih akurat untuk patologi tertentu.

“Mungkin, untuk dataset ini, jika setiap kali ahli radiologi mengatakan pneumonia ‘hadir,’ mereka mengubah frasa menjadi ‘kemungkinan besar’ sebagai gantinya, maka mereka akan menjadi lebih baik dikalibrasi,” Wang menjelaskan.

Ketika para peneliti menggunakan kerangka kerja mereka untuk mengevaluasi laporan klinis, mereka menemukan bahwa ahli radiologi umumnya kurang percaya ketika mendiagnosis kondisi umum seperti atelektasis, tetapi terlalu percaya diri dengan kondisi yang lebih ambigu seperti infeksi.

Selain itu, para peneliti mengevaluasi keandalan model bahasa menggunakan metode mereka, memberikan representasi kepercayaan yang lebih bernuansa daripada metode klasik yang bergantung pada skor kepercayaan diri.

“Sering kali, model ini menggunakan frasa seperti ‘tentu saja.’ Tetapi karena mereka begitu percaya diri dalam jawaban mereka, itu tidak mendorong orang untuk memverifikasi kebenaran pernyataan itu sendiri, ”tambah Wang.

Di masa depan, para peneliti berencana untuk terus berkolaborasi dengan dokter dengan harapan meningkatkan diagnosis dan perawatan. Mereka bekerja untuk memperluas studi mereka untuk memasukkan data dari CT scan abdominal.

Selain itu, mereka tertarik untuk mempelajari bagaimana para ahli radiologi reseptif terhadap saran yang meningkatkan kalibrasi dan apakah mereka dapat secara mental menyesuaikan penggunaan frasa kepastian secara efektif.

“Expression of diagnostic certainty is a crucial aspect of the radiology report, as it influences significant management decisions. This study takes a novel approach to analyzing and calibrating how radiologists express diagnostic certainty in chest X-ray reports, offering feedback on term usage and associated outcomes,” says Atul B. Shinagare, associate professor of radiology at Harvard Medical School, who was not involved with this work. “Pendekatan ini memiliki potensi untuk meningkatkan akurasi dan komunikasi radiologi, yang akan membantu meningkatkan perawatan pasien.”

Pekerjaan itu didanai, sebagian, oleh Takeda Fellowship, MIT-IBM Watson AI Lab, Program Wistrom MIT CSAIL, dan MIT Jameel Clinic.