AI di bidang kesehatan harus diatur, tapi jangan lupakan algoritmanya, kata peneliti | Berita MIT

Ada yang mungkin berpendapat bahwa salah satu tugas utama seorang dokter adalah terus-menerus mengevaluasi dan mengevaluasi kembali kemungkinan-kemungkinan yang ada: Seberapa besar kemungkinan keberhasilan suatu prosedur medis? Apakah pasien berisiko mengalami gejala yang parah? Kapan pasien harus kembali untuk pemeriksaan lebih lanjut? Di tengah pertimbangan kritis ini, munculnya kecerdasan buatan menjanjikan pengurangan risiko dalam kondisi klinis dan membantu dokter memprioritaskan perawatan pasien berisiko tinggi.

Terlepas dari potensinya, para peneliti dari Departemen Teknik Elektro dan Ilmu Komputer (EECS) MIT, Equality AI, dan Boston University menyerukan lebih banyak pengawasan terhadap AI dari badan pengatur di negara-negara maju. komentar baru diterbitkan di AI Jurnal Kedokteran New England (NEJM AI) Edisi Oktober setelah Kantor Hak Sipil AS (OCR) di Departemen Kesehatan dan Layanan Kemanusiaan (HHS) mengeluarkan aturan baru berdasarkan Affordable Care Act (ACA).

Pada bulan Mei, OCR menerbitkan aturan terakhir dalam ACA yang melarang diskriminasi berdasarkan ras, warna kulit, asal negara, usia, disabilitas, atau jenis kelamin dalam “alat pendukung keputusan perawatan pasien,” sebuah istilah baru yang mencakup AI dan alat non-otomatis yang digunakan dalam pengobatan.

Dikembangkan sebagai tanggapan terhadap pernyataan Presiden Joe Biden Perintah Eksekutif tentang Pengembangan dan Penggunaan Kecerdasan Buatan yang Aman, Terjamin, dan Dapat Dipercaya mulai tahun 2023, peraturan terakhir ini didasarkan pada komitmen pemerintahan Biden-Harris untuk memajukan kesetaraan kesehatan dengan berfokus pada pencegahan diskriminasi.

Menurut penulis senior dan profesor di EECS Marzyeh Ghassemi, “peraturan ini merupakan langkah maju yang penting.” Ghassemi, yang berafiliasi dengan MIT Abdul Latif Jameel Clinic for Machine Learning in Health (Jameel Clinic), Computer Science and Artificial Intelligence Laboratory (CSAIL), dan Institute for Medical Engineering and Science (IMES), menambahkan bahwa aturan tersebut “ harus menentukan perbaikan yang didorong oleh keadilan terhadap algoritme non-AI dan alat pendukung keputusan klinis yang sudah digunakan di seluruh subspesialisasi klinis.”

Jumlah perangkat yang mendukung AI yang disetujui oleh Badan Pengawas Obat dan Makanan AS telah meningkat secara dramatis dalam dekade terakhir sejak perangkat pertama yang mendukung AI disetujui pada tahun 1995 (Sistem Pengujian PAPNET, sebuah alat untuk skrining serviks). Pada bulan OktoberFDA telah menyetujui hampir 1.000 perangkat berkemampuan AI, banyak di antaranya dirancang untuk mendukung pengambilan keputusan klinis.

Namun, para peneliti menunjukkan bahwa tidak ada badan pengawas yang mengawasi skor risiko klinis yang dihasilkan oleh alat pendukung keputusan klinis, meskipun faktanya sebagian besar dokter AS (65 persen) menggunakan alat ini setiap bulan untuk menentukan langkah selanjutnya dalam menangani penyakit. perawatan pasien.

Untuk mengatasi kekurangan ini, Klinik Jameel akan mengadakan klinik lain konferensi peraturan pada bulan Maret 2025. Konferensi tahun lalu memicu serangkaian diskusi dan perdebatan di antara fakultas, regulator dari seluruh dunia, dan pakar industri yang berfokus pada regulasi AI di bidang kesehatan.

“Skor risiko klinis tidak sejelas algoritma ‘AI’ karena biasanya hanya melibatkan segelintir variabel yang dihubungkan dalam model sederhana,” komentar Isaac Kohane, ketua Departemen Informatika Biomedis di Harvard Medical School dan pemimpin redaksi dari NEJM AI. “Meskipun demikian, bahkan skor ini hanya akan bagus jika kumpulan data yang digunakan untuk ‘melatih’ mereka dan sebagai variabel yang dipilih atau dipelajari oleh para ahli dalam kelompok tertentu. Jika hal tersebut memengaruhi pengambilan keputusan klinis, maka hal tersebut harus memiliki standar yang sama dengan kerabat AI yang lebih baru dan jauh lebih kompleks.”

Selain itu, meskipun banyak alat pendukung pengambilan keputusan tidak menggunakan AI, para peneliti mencatat bahwa alat-alat ini juga berperan dalam melanggengkan bias dalam layanan kesehatan, dan memerlukan pengawasan.

“Mengatur skor risiko klinis menimbulkan tantangan yang signifikan karena semakin banyaknya alat pendukung keputusan klinis yang tertanam dalam rekam medis elektronik dan penggunaannya secara luas dalam praktik klinis,” kata rekan penulis Maia Hightower, CEO Equality AI. “Peraturan seperti itu tetap diperlukan untuk memastikan transparansi dan non-diskriminasi.”

Namun, Hightower menambahkan bahwa di bawah pemerintahan yang akan datang, regulasi skor risiko klinis mungkin terbukti “sangat menantang, mengingat penekanannya pada deregulasi dan penolakan terhadap Undang-Undang Perawatan Terjangkau dan kebijakan non-diskriminasi tertentu.”