“Tabel Pembelajaran Mesin Berkala” dapat memicu penemuan AI | Berita MIT

Peneliti MIT telah membuat tabel periodik yang menunjukkan bagaimana lebih dari 20 algoritma pembelajaran mesin klasik terhubung. Kerangka kerja baru menjelaskan bagaimana para ilmuwan dapat menggabungkan strategi dari berbagai metode untuk meningkatkan model AI yang ada atau menghasilkan yang baru.

Misalnya, para peneliti menggunakan kerangka kerja mereka untuk menggabungkan elemen dari dua algoritma yang berbeda untuk membuat algoritma klasifikasi gambar baru yang berkinerja 8 persen lebih baik daripada pendekatan canggih saat ini.

Tabel periodik berasal dari satu ide utama: semua algoritma ini mempelajari jenis hubungan tertentu antara titik data. Sementara setiap algoritma dapat mencapai hal itu dengan cara yang sedikit berbeda, matematika inti di balik setiap pendekatan adalah sama.

Membangun wawasan ini, para peneliti mengidentifikasi persamaan pemersatu yang mendasari banyak algoritma AI klasik. Mereka menggunakan persamaan itu untuk membingkai ulang metode populer dan mengaturnya menjadi tabel, mengkategorikan masing -masing berdasarkan perkiraan hubungan yang dipelajari.

Sama seperti tabel periodik elemen kimia, yang awalnya berisi kotak -kotak kosong yang kemudian diisi oleh para ilmuwan, tabel periodik pembelajaran mesin juga memiliki ruang kosong. Ruang -ruang ini memprediksi di mana algoritma seharusnya ada, tetapi yang belum ditemukan.

Tabel ini memberi para peneliti alat untuk merancang algoritma baru tanpa perlu menemukan kembali ide -ide dari pendekatan sebelumnya, kata Shaden Alshammari, seorang mahasiswa pascasarjana MIT dan penulis utama a kertas tentang kerangka baru ini.

“Ini bukan hanya metafora,” tambah Alshammari. “Kami mulai melihat pembelajaran mesin sebagai sistem dengan struktur yang merupakan ruang yang dapat kami jelajahi daripada hanya menebak jalan kami.”

Dia bergabung di atas kertas oleh John Hershey, seorang peneliti di Google AI Persepsi; Axel Feldmann, seorang mahasiswa pascasarjana MIT; William Freeman, Profesor Teknik Elektro dan Ilmu Komputer Thomas dan Gerd Perkins dan anggota Laboratorium Komputer dan Laboratorium Kecerdasan Buatan (CSAIL); dan penulis senior Mark Hamilton, seorang mahasiswa pascasarjana MIT dan manajer teknik senior di Microsoft. Penelitian ini akan dipresentasikan pada Konferensi Internasional tentang Representasi Pembelajaran.

Persamaan yang tidak disengaja

Para peneliti tidak berangkat untuk membuat tabel pembelajaran mesin secara berkala.

Setelah bergabung dengan Freeman Lab, Alshammari mulai belajar pengelompokan, teknik pembelajaran mesin yang mengklasifikasikan gambar dengan belajar mengatur gambar serupa ke dalam kelompok terdekat.

Dia menyadari algoritma pengelompokan yang dia pelajari mirip dengan algoritma pembelajaran mesin klasik lainnya, yang disebut pembelajaran kontras, dan mulai menggali lebih dalam ke dalam matematika. Alshammari menemukan bahwa kedua algoritma yang berbeda ini dapat dibingkai ulang dengan menggunakan persamaan yang mendasari yang sama.

“Kami hampir sampai pada persamaan pemersatu ini secara tidak sengaja. Setelah Shaden menemukan bahwa ia menghubungkan dua metode, kami baru saja mulai memimpikan metode baru untuk membawa ke dalam kerangka kerja ini. Hampir setiap yang kami coba dapat ditambahkan,” kata Hamilton.

Kerangka kerja yang mereka buat, Information Contrast Learning (I-Con), menunjukkan bagaimana berbagai algoritma dapat dilihat melalui lensa persamaan pemersatu ini. Ini mencakup segala sesuatu mulai dari algoritma klasifikasi yang dapat mendeteksi spam ke algoritma pembelajaran mendalam yang menjadi LLMS Power.

Persamaan ini menjelaskan bagaimana algoritma tersebut menemukan koneksi antara titik data nyata dan kemudian mendekati koneksi tersebut secara internal.

Setiap algoritma bertujuan untuk meminimalkan jumlah penyimpangan antara koneksi yang dipelajari untuk perkiraan dan koneksi nyata dalam data pelatihannya.

Mereka memutuskan untuk mengatur I-Con ke dalam tabel periodik untuk mengkategorikan algoritma berdasarkan bagaimana titik terhubung dalam set data nyata dan cara utama algoritma dapat mendekati koneksi tersebut.

“Pekerjaan berjalan secara bertahap, tetapi begitu kami telah mengidentifikasi struktur umum persamaan ini, lebih mudah untuk menambahkan lebih banyak metode ke kerangka kerja kami,” kata Alshammari.

Alat untuk penemuan

Ketika mereka mengatur meja, para peneliti mulai melihat celah di mana algoritma bisa ada, tetapi yang belum ditemukan.

Para peneliti mengisi satu celah dengan meminjam ide-ide dari teknik pembelajaran mesin yang disebut pembelajaran kontras dan menerapkannya pada pengelompokan gambar. Ini menghasilkan algoritma baru yang dapat mengklasifikasikan gambar yang tidak berlabel 8 persen lebih baik daripada pendekatan canggih lainnya.

Mereka juga menggunakan I-Con untuk menunjukkan bagaimana teknik debiasing data yang dikembangkan untuk pembelajaran kontras dapat digunakan untuk meningkatkan keakuratan algoritma pengelompokan.

Selain itu, tabel periodik yang fleksibel memungkinkan para peneliti untuk menambahkan baris dan kolom baru untuk mewakili jenis tambahan koneksi datapoint.

Pada akhirnya, memiliki I-Con sebagai pemandu dapat membantu mesin pembelajaran mesin berpikir di luar kotak, mendorong mereka untuk menggabungkan ide-ide dengan cara yang tidak harus mereka pikirkan sebaliknya, kata Hamilton.

“Kami telah menunjukkan bahwa hanya satu persamaan yang sangat elegan, yang berakar pada ilmu informasi, memberi Anda algoritma kaya yang mencakup 100 tahun penelitian dalam pembelajaran mesin. Ini membuka banyak jalan baru untuk penemuan,” tambahnya.

“Mungkin aspek yang paling menantang dari menjadi peneliti pembelajaran mesin akhir-akhir ini adalah jumlah makalah yang tampaknya tidak terbatas yang muncul setiap tahun. Dalam konteks ini, makalah yang menyatukan dan menghubungkan algoritma yang ada adalah hal yang sangat penting, namun mereka sangat jarang. I-Con memberikan contoh yang sangat baik, kata-kata Yeiss, kata-kata Yeiss, yang diharapkan akan menginspirasi orang lain untuk menerapkan pendekatan yang serupa dengan domain yang sama,” Yudis akan menginspirasi orang lain untuk menerapkan pendekatan yang sama dengan domain yang sama, “Youdy Youdy untuk menerapkan domain yang sama,” Youdy Youdy untuk menerapkan pendekatan yang sama dengan Machine, “Yeary Moundse. Universitas Ibrani Yerusalem, yang tidak terlibat dalam penelitian ini.

Penelitian ini didanai, sebagian, oleh akselerator kecerdasan buatan Angkatan Udara, Institut AI Institut AI untuk Kecerdasan Buatan dan Interaksi Fundamental, dan Komputer Quanta.