Sistem yang ramah pengguna dapat membantu pengembang membangun simulasi yang lebih efisien dan model AI | Berita MIT

Model kecerdasan buatan jaringan saraf yang digunakan dalam aplikasi seperti pemrosesan gambar medis dan pengenalan suara melakukan operasi pada struktur data yang sangat kompleks yang membutuhkan sejumlah besar perhitungan untuk diproses. Ini adalah salah satu alasan model pembelajaran dalam mengonsumsi begitu banyak energi.
Untuk meningkatkan efisiensi model AI, peneliti MIT menciptakan sistem otomatis yang memungkinkan pengembang algoritma pembelajaran mendalam untuk secara bersamaan memanfaatkan dua jenis redundansi data. Ini mengurangi jumlah perhitungan, bandwidth, dan penyimpanan memori yang diperlukan untuk operasi pembelajaran mesin.
Teknik yang ada untuk mengoptimalkan algoritma dapat menjadi rumit dan biasanya hanya memungkinkan pengembang untuk memanfaatkan sparsity atau simetri – dua jenis redundansi yang ada dalam struktur data pembelajaran yang mendalam.
Dengan memungkinkan pengembang untuk membangun algoritma dari awal yang memanfaatkan kedua redudansi sekaligus, pendekatan peneliti MIT meningkatkan kecepatan perhitungan hampir 30 kali dalam beberapa percobaan.
Karena sistem menggunakan bahasa pemrograman yang ramah pengguna, ia dapat mengoptimalkan algoritma pembelajaran mesin untuk berbagai aplikasi. Sistem ini juga dapat membantu para ilmuwan yang tidak ahli dalam pembelajaran mendalam tetapi ingin meningkatkan efisiensi algoritma AI yang mereka gunakan untuk memproses data. Selain itu, sistem dapat memiliki aplikasi dalam komputasi ilmiah.
“Untuk waktu yang lama, menangkap redudansi data ini membutuhkan banyak upaya implementasi. Sebaliknya, seorang ilmuwan dapat memberi tahu sistem kami apa yang ingin mereka hitung dengan cara yang lebih abstrak, tanpa memberi tahu sistem dengan tepat bagaimana cara menghitungnya, ”kata Willow Ahrens, mit postdoc dan rekan penulis a kertas di sistemyang akan disajikan pada simposium internasional tentang pembuatan kode dan optimasi.
Dia bergabung di atas kertas oleh penulis utama Radha Patel ’23, SM ’24 dan penulis senior Saman Amarasinghe, seorang profesor di Departemen Teknik Listrik dan Ilmu Komputer (EEC) dan seorang peneliti utama dalam Laboratorium Ilmu Komputer dan Kecerdasan Buatan (Buatan (Laboratorium Kecerdasan (EECS ( CSAIL).
Memotong perhitungan
Dalam pembelajaran mesin, data sering diwakili dan dimanipulasi sebagai susunan multidimensi yang dikenal sebagai tensor. Tensor seperti matriks, yang merupakan susunan nilai persegi panjang yang diatur pada dua sumbu, baris dan kolom. Tetapi tidak seperti matriks dua dimensi, tensor dapat memiliki banyak dimensi, atau sumbu, membuat tensor lebih sulit dimanipulasi.
Model pembelajaran dalam melakukan operasi pada tensor menggunakan multiplikasi matriks berulang dan penambahan-proses ini adalah bagaimana jaringan saraf mempelajari pola kompleks dalam data. Volume perhitungan yang harus dilakukan pada struktur data multidimensi ini membutuhkan sejumlah besar perhitungan dan energi.
Tetapi karena cara data dalam tensor diatur, para insinyur seringkali dapat meningkatkan kecepatan jaringan saraf dengan memotong perhitungan yang berlebihan.
Misalnya, jika tensor mewakili data tinjauan pengguna dari situs e-commerce, karena tidak setiap pengguna meninjau setiap produk, sebagian besar nilai dalam tensor itu cenderung nol. Jenis redundansi data ini disebut sparsity. Model dapat menghemat waktu dan perhitungan dengan hanya menyimpan dan mengoperasikan nilai non-nol.
Selain itu, kadang -kadang tensor simetris, yang berarti setengah bagian atas dan bagian bawah dari struktur data adalah sama. Dalam hal ini, model hanya perlu beroperasi pada setengahnya, mengurangi jumlah perhitungan. Jenis redundansi data ini disebut simetri.
“Tetapi ketika Anda mencoba menangkap kedua optimasi ini, situasinya menjadi sangat kompleks,” kata Ahrens.
Untuk menyederhanakan prosesnya, ia dan kolaboratornya membangun kompiler baru, yang merupakan program komputer yang menerjemahkan kode kompleks ke dalam bahasa yang lebih sederhana yang dapat diproses oleh mesin. Kompiler mereka, yang disebut Systec, dapat mengoptimalkan perhitungan dengan secara otomatis mengambil keuntungan dari sparsity dan simetri dalam tensor.
Mereka memulai proses membangun SYSTEC dengan mengidentifikasi tiga optimisasi utama yang dapat mereka lakukan menggunakan simetri.
Pertama, jika tensor output algoritma simetris, maka ia hanya perlu menghitung setengahnya. Kedua, jika tensor input simetris, maka algoritma hanya perlu membaca setengahnya. Akhirnya, jika hasil menengah dari operasi tensor simetris, algoritma dapat melewatkan perhitungan yang berlebihan.
Optimalisasi Simultan
Untuk menggunakan Systec, pengembang memasukkan program mereka dan sistem secara otomatis mengoptimalkan kode mereka untuk ketiga jenis simetri. Kemudian fase kedua SYSTEC melakukan transformasi tambahan untuk hanya menyimpan nilai data yang tidak nol, mengoptimalkan program untuk sparsity.
Pada akhirnya, Systec menghasilkan kode siap pakai.
“Dengan cara ini, kami mendapatkan manfaat dari kedua optimasi. Dan hal yang menarik tentang simetri adalah, karena tensor Anda memiliki lebih banyak dimensi, Anda bisa mendapatkan lebih banyak penghematan dalam perhitungan, ”kata Ahrens.
Para peneliti menunjukkan speedup hampir faktor 30 dengan kode yang dihasilkan secara otomatis oleh Systec.
Karena sistem ini otomatis, itu bisa sangat berguna dalam situasi di mana seorang ilmuwan ingin memproses data menggunakan algoritma yang mereka tulis dari awal.
Di masa depan, para peneliti ingin mengintegrasikan Systec ke dalam sistem kompiler tensor jarang yang ada untuk menciptakan antarmuka yang mulus bagi pengguna. Selain itu, mereka ingin menggunakannya untuk mengoptimalkan kode untuk program yang lebih rumit.
Pekerjaan ini didanai, sebagian, oleh Intel, National Science Foundation, Defense Advanced Research Projects Agency, dan Departemen Energi.
Informasi ini pertama kali tayang di MIT.edu klik disini untuk melihat berita lainnya.
Discover more from Kitiran Media
Subscribe to get the latest posts sent to your email.