Peneliti mengurangi bias dalam model AI sambil menjaga atau meningkatkan akurasi | Berita MIT

Model pembelajaran mesin bisa gagal ketika mencoba membuat prediksi untuk individu yang kurang terwakili dalam kumpulan data tempat mereka dilatih.

Misalnya, model yang memprediksi pilihan pengobatan terbaik untuk seseorang dengan penyakit kronis dapat dilatih menggunakan kumpulan data yang sebagian besar berisi pasien laki-laki. Model tersebut mungkin memberikan prediksi yang salah untuk pasien wanita saat ditempatkan di rumah sakit.

Untuk meningkatkan hasil, teknisi dapat mencoba menyeimbangkan kumpulan data pelatihan dengan menghapus titik data hingga semua subgrup terwakili secara merata. Meskipun penyeimbangan kumpulan data menjanjikan, sering kali hal ini memerlukan penghapusan data dalam jumlah besar, sehingga mengganggu performa model secara keseluruhan.

Peneliti MIT mengembangkan teknik baru yang mengidentifikasi dan menghilangkan titik-titik tertentu dalam kumpulan data pelatihan yang berkontribusi paling besar terhadap kegagalan model pada subkelompok minoritas. Dengan menghapus titik data yang jauh lebih sedikit dibandingkan pendekatan lainnya, teknik ini menjaga keakuratan model secara keseluruhan sekaligus meningkatkan kinerjanya pada kelompok yang kurang terwakili.

Selain itu, teknik ini dapat mengidentifikasi sumber bias tersembunyi dalam kumpulan data pelatihan yang tidak memiliki label. Data yang tidak berlabel jauh lebih umum dibandingkan data berlabel pada banyak aplikasi.

Metode ini juga dapat dikombinasikan dengan pendekatan lain untuk meningkatkan keadilan model pembelajaran mesin yang diterapkan dalam situasi berisiko tinggi. Misalnya, hal ini suatu hari nanti dapat membantu memastikan pasien yang kurang terwakili tidak salah didiagnosis karena model AI yang bias.

“Banyak algoritme lain yang mencoba mengatasi masalah ini menganggap setiap titik data sama pentingnya dengan titik data lainnya. Dalam tulisan ini, kami menunjukkan bahwa asumsi tersebut tidak benar. Ada titik-titik tertentu dalam kumpulan data kami yang berkontribusi terhadap bias ini, dan kami dapat menemukan titik-titik data tersebut, menghapusnya, dan mendapatkan kinerja yang lebih baik,” kata Kimia Hamidieh, mahasiswa pascasarjana teknik elektro dan ilmu komputer (EECS) di MIT and co. -penulis utama a makalah tentang teknik ini.

Dia menulis makalah tersebut bersama penulis utama Saachi Jain PhD ’24 dan sesama mahasiswa pascasarjana EECS Kristian Georgiev; Andrew Ilyas MEng ’18, PhD ’23, Rekan Stein di Universitas Stanford; dan penulis senior Marzyeh Ghassemi, seorang profesor di EECS dan anggota Institut Ilmu Teknik Medis dan Laboratorium Sistem Informasi dan Keputusan, dan Aleksander Madry, Profesor Sistem Desain Irama di MIT. Penelitian ini akan dipresentasikan pada Konferensi Sistem Pemrosesan Informasi Neural.

Menghapus contoh buruk

Seringkali, model pembelajaran mesin dilatih menggunakan kumpulan data besar yang dikumpulkan dari berbagai sumber di internet. Kumpulan data ini terlalu besar untuk dikurasi secara manual dan hati-hati, sehingga mungkin berisi contoh buruk yang mengganggu performa model.

Para ilmuwan juga mengetahui bahwa beberapa titik data lebih berdampak pada performa model pada tugas hilir tertentu dibandingkan titik data lainnya.

Para peneliti MIT menggabungkan kedua ide ini menjadi sebuah pendekatan yang mengidentifikasi dan menghilangkan titik data bermasalah ini. Mereka berupaya memecahkan masalah yang dikenal sebagai kesalahan kelompok terburuk, yang terjadi ketika model berperforma buruk pada subgrup minoritas dalam kumpulan data pelatihan.

Teknik baru para peneliti didorong oleh penelitian sebelumnya di mana mereka memperkenalkan sebuah metode yang disebut TRAKyang mengidentifikasi contoh pelatihan paling penting untuk keluaran model tertentu.

Untuk teknik baru ini, mereka mengambil prediksi salah yang dibuat model tentang subkelompok minoritas dan menggunakan TRAK untuk mengidentifikasi contoh pelatihan mana yang paling berkontribusi terhadap prediksi salah tersebut.

“Dengan menggabungkan informasi ini dari seluruh prediksi tes yang buruk dengan cara yang benar, kami dapat menemukan bagian spesifik dari pelatihan yang secara keseluruhan menurunkan akurasi kelompok terburuk,” jelas Ilyas.

Kemudian mereka menghapus sampel spesifik tersebut dan melatih kembali model pada data yang tersisa.

Karena memiliki lebih banyak data biasanya menghasilkan performa keseluruhan yang lebih baik, menghapus hanya sampel yang menyebabkan kegagalan kelompok terburuk akan mempertahankan keakuratan model secara keseluruhan sekaligus meningkatkan performanya pada subgrup minoritas.

Pendekatan yang lebih mudah diakses

Pada tiga kumpulan data pembelajaran mesin, metode mereka mengungguli beberapa teknik. Dalam satu contoh, metode ini meningkatkan akurasi kelompok terburuk sekaligus menghapus sekitar 20.000 sampel pelatihan lebih sedikit dibandingkan metode penyeimbangan data konvensional. Teknik mereka juga mencapai akurasi yang lebih tinggi daripada metode yang memerlukan perubahan pada cara kerja model.

Karena metode MIT melibatkan perubahan kumpulan data, maka akan lebih mudah bagi praktisi untuk menggunakannya dan dapat diterapkan pada banyak jenis model.

Hal ini juga dapat digunakan ketika bias tidak diketahui karena subkelompok dalam kumpulan data pelatihan tidak diberi label. Dengan mengidentifikasi titik data yang berkontribusi paling besar pada fitur yang dipelajari model, mereka dapat memahami variabel yang digunakan untuk membuat prediksi.

“Ini adalah alat yang dapat digunakan siapa saja saat mereka melatih model pembelajaran mesin. Mereka dapat melihat titik data tersebut dan melihat apakah titik data tersebut selaras dengan kemampuan yang mereka coba ajarkan pada model tersebut,” kata Hamidieh.

Menggunakan teknik ini untuk mendeteksi bias subkelompok yang tidak diketahui akan memerlukan intuisi tentang kelompok mana yang harus dicari, sehingga para peneliti berharap dapat memvalidasinya dan mengeksplorasinya lebih penuh melalui penelitian pada manusia di masa depan.

Mereka juga ingin meningkatkan kinerja dan keandalan teknik mereka serta memastikan metode tersebut dapat diakses dan digunakan oleh para praktisi yang suatu hari nanti dapat menerapkannya di lingkungan dunia nyata.

“Ketika Anda memiliki alat yang memungkinkan Anda melihat data secara kritis dan mencari tahu titik data mana yang akan mengarah pada bias atau perilaku tidak diinginkan lainnya, hal ini memberi Anda langkah pertama untuk membangun model yang lebih adil dan lebih dapat diandalkan,” kata Ilyas.

Pekerjaan ini sebagian didanai oleh National Science Foundation dan Badan Proyek Penelitian Lanjutan Pertahanan AS.