AI pareidolia: Bisakah mesin mengenali wajah benda mati? | Berita MIT

Pada tahun 1994, perancang perhiasan Florida Diana Duyser menemukan apa yang dia yakini sebagai gambar Perawan Maria dalam sandwich keju panggang, yang dia awetkan dan kemudian dilelang seharga $28.000. Tapi seberapa banyak kita memahami tentang pareidolia, fenomena melihat wajah dan pola pada objek padahal sebenarnya tidak ada?

Yang baru belajar dari Laboratorium Ilmu Komputer dan Kecerdasan Buatan (CSAIL) MIT menyelidiki fenomena ini, memperkenalkan kumpulan data ekstensif yang diberi label manusia sebanyak 5.000 gambar pareidolic, jauh melampaui koleksi sebelumnya. Dengan menggunakan kumpulan data ini, tim menemukan beberapa hasil mengejutkan tentang perbedaan antara persepsi manusia dan mesin, dan bagaimana kemampuan melihat wajah dalam sepotong roti panggang bisa menyelamatkan nyawa kerabat jauh Anda.

“Pareidolia wajah telah lama memesona para psikolog, namun sebagian besar belum dijelajahi dalam komunitas visi komputer,” kata Mark Hamilton, mahasiswa PhD MIT di bidang teknik elektro dan ilmu komputer, afiliasi CSAIL, dan peneliti utama dalam penelitian tersebut. “Kami ingin menciptakan sumber daya yang dapat membantu kami memahami bagaimana manusia dan sistem AI memproses wajah-wajah ilusi ini.”

Jadi, apa yang terungkap dari semua wajah palsu ini? Pertama, model AI sepertinya tidak mengenali wajah pareidolic seperti kita. Yang mengejutkan, tim menemukan bahwa setelah mereka melatih algoritma untuk mengenali wajah hewan, mereka menjadi jauh lebih baik dalam mendeteksi wajah pareidolic. Hubungan tak terduga ini mengisyaratkan kemungkinan adanya hubungan evolusioner antara kemampuan kita mengenali wajah binatang – yang penting untuk kelangsungan hidup – dan kecenderungan kita untuk melihat wajah pada benda mati. “Hasil seperti ini sepertinya menunjukkan bahwa pareidolia mungkin tidak muncul dari perilaku sosial manusia, tapi dari sesuatu yang lebih dalam: seperti melihat harimau yang mengintai dengan cepat, atau mengidentifikasi ke arah mana rusa melihat sehingga nenek moyang primordial kita bisa berburu,” kata Hamilton.

Penemuan menarik lainnya adalah apa yang para peneliti sebut sebagai “Goldilocks Zone of Pareidolia,” sebuah kelas gambar di mana pareidolia paling mungkin muncul. “Ada rentang kompleksitas visual tertentu di mana manusia dan mesin paling mungkin melihat wajah pada objek non-wajah,” kata William T. Freeman, profesor teknik elektro dan ilmu komputer MIT dan peneliti utama proyek tersebut. “Terlalu sederhana, dan tidak cukup detail untuk membentuk sebuah wajah. Terlalu rumit, dan itu menjadi gangguan visual.”

Untuk mengungkap hal ini, tim mengembangkan persamaan yang memodelkan bagaimana manusia dan algoritma mendeteksi wajah ilusi. Saat menganalisis persamaan ini, mereka menemukan “puncak pareidolic” yang jelas di mana kemungkinan melihat wajah paling tinggi, sesuai dengan gambar yang memiliki “jumlah kompleksitas yang tepat”. Prediksi “zona Goldilocks” ini kemudian divalidasi dalam pengujian dengan subjek manusia nyata dan sistem deteksi wajah AI.

Kumpulan data baru ini, “Wajah dalam Benda”mengerdilkan penelitian sebelumnya yang biasanya hanya menggunakan 20-30 rangsangan. Skala ini memungkinkan para peneliti untuk mengeksplorasi bagaimana algoritma deteksi wajah canggih berperilaku setelah melakukan penyesuaian pada wajah pareidolic, menunjukkan bahwa algoritma ini tidak hanya dapat diedit untuk mendeteksi wajah-wajah ini, tetapi juga dapat bertindak sebagai silikon. mewakili otak kita sendiri, memungkinkan tim untuk bertanya dan menjawab pertanyaan tentang asal usul deteksi wajah pareidolic yang tidak mungkin ditanyakan pada manusia.

Untuk membangun kumpulan data ini, tim mengumpulkan sekitar 20.000 gambar kandidat dari kumpulan data LAION-5B, yang kemudian diberi label dengan cermat dan dinilai oleh anotator manusia. Proses ini melibatkan menggambar kotak pembatas di sekitar wajah yang terlihat dan menjawab pertanyaan mendetail tentang setiap wajah, seperti emosi yang dirasakan, usia, dan apakah wajah tersebut disengaja atau tidak. “Mengumpulkan dan memberi anotasi pada ribuan gambar adalah tugas yang sangat besar,” kata Hamilton. “Sebagian besar kumpulan data ini berasal dari ibu saya,” seorang pensiunan bankir, “yang menghabiskan waktu berjam-jam dengan penuh kasih memberi label pada gambar untuk analisis kami.”

Studi ini juga memiliki potensi penerapan dalam meningkatkan sistem deteksi wajah dengan mengurangi kesalahan positif, yang dapat berdampak pada bidang-bidang seperti mobil tanpa pengemudi, interaksi manusia-komputer, dan robotika. Kumpulan data dan model juga dapat membantu bidang seperti desain produk, di mana pemahaman dan pengendalian pareidolia dapat menciptakan produk yang lebih baik. “Bayangkan bisa secara otomatis mengubah desain mobil atau mainan anak-anak agar terlihat lebih ramah, atau memastikan perangkat medis tidak tampak mengancam secara tidak sengaja,” kata Hamilton.

“Sungguh menakjubkan bagaimana manusia secara naluriah mengartikan benda mati yang memiliki ciri-ciri mirip manusia. Misalnya saja, saat Anda melirik stopkontak listrik, Anda mungkin langsung membayangkan stopkontak tersebut bernyanyi, dan Anda bahkan dapat membayangkan bagaimana stopkontak tersebut ‘menggerakkan bibirnya’. Namun, algoritma tidak secara alami mengenali wajah-wajah kartun ini seperti yang kita lakukan,” kata Hamilton. “Hal ini menimbulkan pertanyaan menarik: Apa yang menyebabkan perbedaan antara persepsi manusia dan interpretasi algoritmik? Apakah pareidolia bermanfaat atau merugikan? Mengapa algoritme tidak mengalami efek ini seperti yang kita alami? Pertanyaan-pertanyaan ini memicu penyelidikan kami, karena fenomena psikologis klasik pada manusia ini belum dieksplorasi secara menyeluruh dalam algoritma.”

Saat para peneliti bersiap untuk membagikan kumpulan data mereka kepada komunitas ilmiah, mereka sudah melihat ke depan. Pekerjaan di masa depan mungkin melibatkan pelatihan model bahasa penglihatan untuk memahami dan mendeskripsikan wajah pareidolic, yang berpotensi mengarah pada sistem AI yang dapat berinteraksi dengan rangsangan visual dengan cara yang lebih mirip manusia.

“Ini adalah makalah yang menyenangkan! Membacanya menyenangkan dan membuat saya berpikir. Hamilton dkk. ajukan pertanyaan yang menggiurkan: Mengapa kita melihat wajah pada benda?” kata Pietro Perona, Profesor Teknik Elektro Allen E. Puckett di Caltech, yang tidak terlibat dalam pekerjaan ini. “Seperti yang mereka tunjukkan, belajar dari contoh, termasuk wajah binatang, hanya menjelaskan setengah dari fenomena tersebut. Saya yakin memikirkan pertanyaan ini akan mengajarkan kita sesuatu yang penting tentang bagaimana sistem visual kita menggeneralisasi melampaui pelatihan yang diterimanya sepanjang hidup.”

Rekan penulis Hamilton dan Freeman termasuk Simon Stent, staf ilmuwan peneliti di Toyota Research Institute; Ruth Rosenholtz, ilmuwan peneliti utama di Departemen Ilmu Otak dan Kognitif, ilmuwan peneliti NVIDIA, dan mantan anggota CSAIL; dan postdoc afiliasi CSAIL Vasha DuTell, Anne Harrington MEng ’23, dan Ilmuwan Riset Jennifer Corbett. Pekerjaan mereka didukung, sebagian, oleh National Science Foundation dan CSAIL MENTorEd Opportunities in Research (METEOR) Fellowship, sementara disponsori oleh Laboratorium Penelitian Angkatan Udara Amerika Serikat dan Akselerator Kecerdasan Buatan Angkatan Udara Amerika Serikat. MIT SuperCloud dan Lincoln Laboratory Supercomputing Center menyediakan sumber daya HPC untuk hasil para peneliti.

Karya ini dipresentasikan minggu ini di Konferensi Eropa tentang Visi Komputer.