Membuat model AI lebih dapat dipercaya untuk pengaturan berisiko tinggi | Berita MIT

Ambiguitas dalam pencitraan medis dapat menghadirkan tantangan besar bagi dokter yang mencoba mengidentifikasi penyakit. Misalnya, dalam rontgen dada, efusi pleura, penumpukan cairan yang abnormal di paru-paru, dapat terlihat sangat mirip dengan infiltrat paru, yang merupakan akumulasi nanah atau darah.

Model kecerdasan buatan dapat membantu dokter dalam analisis x-ray dengan membantu mengidentifikasi detail halus dan meningkatkan efisiensi proses diagnosis. Tetapi karena begitu banyak kondisi yang mungkin terjadi dalam satu gambar, dokter kemungkinan ingin mempertimbangkan serangkaian kemungkinan, daripada hanya memiliki satu prediksi AI untuk dievaluasi.

Salah satu cara yang menjanjikan untuk menghasilkan serangkaian kemungkinan, yang disebut klasifikasi konformal, lebih mudah karena dapat dengan mudah diimplementasikan di atas model pembelajaran mesin yang ada. Namun, itu dapat menghasilkan set yang tidak praktis besar.

Peneliti MIT kini telah mengembangkan peningkatan sederhana dan efektif yang dapat mengurangi ukuran set prediksi hingga 30 persen sementara juga membuat prediksi lebih dapat diandalkan.

Memiliki set prediksi yang lebih kecil dapat membantu dokter nol pada diagnosis yang tepat secara lebih efisien, yang dapat meningkatkan dan merampingkan pengobatan untuk pasien. Metode ini dapat berguna di berbagai tugas klasifikasi – katakanlah, untuk mengidentifikasi spesies hewan dalam gambar dari taman satwa liar – karena memberikan serangkaian pilihan yang lebih kecil namun lebih akurat.

“Dengan lebih sedikit kelas yang perlu dipertimbangkan, set prediksi secara alami lebih informatif karena Anda memilih antara pilihan yang lebih sedikit. Dalam arti tertentu, Anda tidak benar -benar mengorbankan apa pun dalam hal akurasi untuk sesuatu yang lebih informatif,” kata Divya Shanmugam PhD ’24, seorang postdoc di Cornell Tech yang melakukan penelitian ini ketika dia adalah seorang mahasiswa mit.

Shanmugam bergabung di kertas oleh Helen Lu ’24; Swami Sankaranarayanan, mantan postdoc MIT yang sekarang menjadi ilmuwan peneliti di Lilia Biosciences; dan penulis senior John Guttag, Profesor Ilmu Komputer dan Teknik Listrik Dugald C. Jackson di MIT dan anggota Laboratorium Ilmu Komputer MIT dan Kecerdasan Buatan (CSAIL). Penelitian akan dipresentasikan pada konferensi tentang visi komputer dan pengenalan pola pada bulan Juni.

Jaminan prediksi

Asisten AI yang digunakan untuk tugas-tugas berisiko tinggi, seperti mengklasifikasikan penyakit dalam gambar medis, biasanya dirancang untuk menghasilkan skor probabilitas bersama dengan setiap prediksi sehingga pengguna dapat mengukur kepercayaan model. Misalnya, model mungkin memprediksi bahwa ada kemungkinan 20 persen gambar sesuai dengan diagnosis tertentu, seperti pleurisy.

Tetapi sulit untuk mempercayai kepercayaan yang diprediksi model karena banyak penelitian sebelumnya telah menunjukkan bahwa probabilitas ini bisa tidak akurat. Dengan klasifikasi konformal, prediksi model digantikan oleh satu set diagnosis yang paling mungkin bersama dengan jaminan bahwa diagnosis yang benar adalah suatu tempat di set.

Tetapi ketidakpastian yang melekat dalam prediksi AI sering menyebabkan model output set yang terlalu besar untuk berguna.

Misalnya, jika suatu model mengklasifikasikan hewan dalam gambar sebagai salah satu dari 10.000 spesies potensial, itu mungkin menghasilkan satu set 200 prediksi sehingga dapat menawarkan jaminan yang kuat.

“Itu adalah beberapa kelas bagi seseorang untuk menyaring untuk mencari tahu apa kelas yang tepat,” kata Shanmugam.

Teknik ini juga bisa tidak dapat diandalkan karena perubahan kecil pada input, seperti sedikit memutar gambar, dapat menghasilkan set prediksi yang sama sekali berbeda.

Untuk membuat klasifikasi konformal lebih berguna, para peneliti menerapkan teknik yang dikembangkan untuk meningkatkan keakuratan model visi komputer yang disebut augmentasi waktu tes (TTA).

TTA membuat beberapa augmentasi dari satu gambar dalam dataset, mungkin dengan memangkas gambar, membalikkannya, memperbesar, dll. Kemudian menerapkan model visi komputer untuk setiap versi dari gambar yang sama dan mengumpulkan prediksi.

“Dengan cara ini, Anda mendapatkan beberapa prediksi dari satu contoh. Mengagap prediksi dengan cara ini meningkatkan prediksi dalam hal akurasi dan ketahanan,” jelas Shanmugam.

Memaksimalkan akurasi

Untuk menerapkan TTA, para peneliti mengulurkan beberapa data gambar berlabel yang digunakan untuk proses klasifikasi konformal. Mereka belajar untuk mengumpulkan augmentasi pada data yang ditahan ini, secara otomatis menambah gambar dengan cara yang memaksimalkan keakuratan prediksi model yang mendasarinya.

Kemudian mereka menjalankan klasifikasi konformal pada prediksi baru yang ditransformasi oleh TTA. Klasifikasi konformal menghasilkan serangkaian prediksi yang lebih kecil untuk jaminan kepercayaan yang sama.

“Menggabungkan augmentasi waktu tes dengan prediksi konformal mudah diimplementasikan, efektif dalam praktik, dan tidak memerlukan pelatihan ulang model,” kata Shanmugam.

Dibandingkan dengan pekerjaan sebelumnya dalam prediksi konformal di beberapa tolok ukur klasifikasi gambar standar, metode Augmmented TTA mengurangi ukuran prediksi di seluruh percobaan, dari 10 hingga 30 persen.

Yang penting, teknik ini mencapai pengurangan ukuran set prediksi ini sambil mempertahankan jaminan probabilitas.

Para peneliti juga menemukan bahwa, meskipun mereka mengorbankan beberapa data berlabel yang biasanya akan digunakan untuk prosedur klasifikasi konformal, TTA meningkatkan akurasi yang cukup untuk lebih besar daripada biaya kehilangan data tersebut.

“Ini menimbulkan pertanyaan menarik tentang bagaimana kami menggunakan data berlabel setelah pelatihan model. Alokasi data berlabel antara langkah-langkah pasca-pelatihan yang berbeda adalah arah penting untuk pekerjaan di masa depan,” kata Shanmugam.

Di masa depan, para peneliti ingin memvalidasi efektivitas pendekatan semacam itu dalam konteks model yang mengklasifikasikan teks alih -alih gambar. Untuk lebih meningkatkan pekerjaan, para peneliti juga mempertimbangkan cara untuk mengurangi jumlah perhitungan yang diperlukan untuk TTA.

Penelitian ini didanai, sebagian, oleh Wistrom Corporation.