Proses menemukan molekul yang memiliki sifat -sifat yang diperlukan untuk membuat obat -obatan dan bahan baru rumit dan mahal, mengonsumsi sumber daya komputasi yang luas dan berbulan -bulan tenaga kerja manusia untuk mempersempit ruang besar kandidat potensial.
Model bahasa besar (LLM) seperti ChatGPT dapat merampingkan proses ini, tetapi memungkinkan LLM untuk memahami dan bernalar tentang atom dan ikatan yang membentuk molekul, dengan cara yang sama dengan kata -kata yang membentuk kalimat, telah menghadirkan blok sandungan ilmiah.
Para peneliti dari MIT dan MIT-IBM Watson AI Lab menciptakan pendekatan yang menjanjikan yang menambah LLM dengan model pembelajaran mesin lain yang dikenal sebagai model berbasis grafik, yang secara khusus dirancang untuk menghasilkan dan memprediksi struktur molekuler.
Metode mereka menggunakan LLM dasar untuk menafsirkan kueri bahasa alami yang menentukan sifat molekuler yang diinginkan. Secara otomatis beralih antara LLM dasar dan modul AI berbasis grafik untuk merancang molekul, menjelaskan alasan tersebut, dan menghasilkan rencana langkah demi langkah untuk mensintesisnya. Ini menyela teks, grafik, dan sintesis pembuatan langkah, menggabungkan kata -kata, grafik, dan reaksi menjadi kosakata umum untuk dikonsumsi LLM.
Jika dibandingkan dengan pendekatan berbasis LLM yang ada, teknik multimodal ini menghasilkan molekul yang lebih cocok dengan spesifikasi pengguna dan lebih cenderung memiliki rencana sintesis yang valid, meningkatkan rasio keberhasilan dari 5 persen menjadi 35 persen.
Ini juga mengungguli LLMS yang lebih dari 10 kali ukurannya dan bahwa molekul desain dan rute sintesis hanya dengan representasi berbasis teks, menunjukkan multimodality adalah kunci keberhasilan sistem baru.
“Ini semoga bisa menjadi solusi ujung ke ujung di mana, dari awal hingga akhir, kami akan mengotomatiskan seluruh proses merancang dan membuat molekul. Jika LLM bisa memberi Anda jawaban dalam beberapa detik, itu akan menjadi penghemat waktu yang besar bagi perusahaan farmasi,” kata Michael Sun, seorang mahasiswa pascasarjana MIT dan rekan penulis a-penulis a. kertas tentang teknik ini.
Rekan penulis Sun termasuk penulis utama Gang Liu, seorang mahasiswa pascasarjana di University of Notre Dame; Wojciech Matusik, seorang profesor Teknik Listrik dan Ilmu Komputer di MIT yang memimpin kelompok desain dan fabrikasi komputasi dalam Laboratorium Ilmu Komputer dan Kecerdasan Buatan (CSAIL); Meng Jiang, Associate Professor di University of Notre Dame; dan penulis senior Jie Chen, seorang ilmuwan dan manajer peneliti senior di Lab MIT-IBM Watson AI. Penelitian ini akan dipresentasikan pada Konferensi Internasional tentang Representasi Pembelajaran.
Terbaik dari kedua dunia
Model bahasa besar tidak dibangun untuk memahami nuansa kimia, yang merupakan salah satu alasan mereka berjuang dengan desain molekuler terbalik, suatu proses mengidentifikasi struktur molekuler yang memiliki fungsi atau sifat tertentu.
LLMS mengubah teks menjadi representasi yang disebut token, yang mereka gunakan untuk memprediksi kata berikutnya dalam kalimat. Tetapi molekul adalah “struktur grafik,” yang terdiri dari atom dan ikatan tanpa pemesanan tertentu, membuatnya sulit untuk dikodekan sebagai teks berurutan.
Di sisi lain, model AI berbasis grafik yang kuat mewakili atom dan ikatan molekuler sebagai node dan tepi yang saling berhubungan dalam grafik. Meskipun model -model ini populer untuk desain molekuler terbalik, mereka membutuhkan input yang kompleks, tidak dapat memahami bahasa alami, dan menghasilkan hasil yang sulit ditafsirkan.
Para peneliti MIT menggabungkan LLM dengan model AI berbasis grafik menjadi kerangka kerja terpadu yang mendapatkan yang terbaik dari kedua dunia.
Llamole, yang merupakan singkatan dari Model Bahasa Besar untuk Penemuan Molekuler, menggunakan LLM dasar sebagai penjaga gerbang untuk memahami kueri pengguna-permintaan bahasa polos untuk molekul dengan sifat-sifat tertentu.
Misalnya, mungkin pengguna mencari molekul yang dapat menembus penghalang darah-otak dan menghambat HIV, mengingat bahwa ia memiliki berat molekul 209 dan karakteristik ikatan tertentu.
Saat LLM memprediksi teks sebagai respons terhadap kueri, ia beralih di antara modul grafik.
Satu modul menggunakan model difusi grafik untuk menghasilkan struktur molekul yang dikondisikan pada persyaratan input. Modul kedua menggunakan jaringan saraf grafik untuk mengkode struktur molekul yang dihasilkan kembali ke token untuk dikonsumsi LLMS. Modul grafik akhir adalah prediktor reaksi grafik yang mengambil input struktur molekul menengah dan memprediksi langkah reaksi, mencari set langkah yang tepat untuk membuat molekul dari blok bangunan dasar.
Para peneliti menciptakan tipe baru token pemicu yang memberi tahu LLM kapan harus mengaktifkan setiap modul. Ketika LLM memprediksi token pemicu “desain”, ia beralih ke modul yang membuat sketsa struktur molekuler, dan ketika memprediksi token pemicu “retro”, ia beralih ke modul perencanaan retrosintetik yang memprediksi langkah reaksi berikutnya.
“Keindahan dari ini adalah bahwa semua yang dihasilkan LLM sebelum mengaktifkan modul tertentu dimasukkan ke dalam modul itu sendiri. Modul ini belajar beroperasi dengan cara yang konsisten dengan apa yang terjadi sebelumnya,” kata Sun.
Dengan cara yang sama, output dari setiap modul dikodekan dan dimasukkan kembali ke dalam proses pembuatan LLM, sehingga memahami apa yang dilakukan setiap modul dan akan terus memprediksi token berdasarkan data tersebut.
Struktur molekul yang lebih baik dan lebih sederhana
Pada akhirnya, Llamole mengeluarkan gambar struktur molekul, deskripsi tekstual dari molekul, dan rencana sintesis langkah demi langkah yang memberikan perincian tentang cara membuatnya, hingga reaksi kimia individu.
Dalam percobaan yang melibatkan merancang molekul yang cocok dengan spesifikasi pengguna, Llamole mengungguli 10 LLM standar, empat LLM yang disesuaikan, dan metode khusus domain canggih. Pada saat yang sama, ia meningkatkan tingkat keberhasilan perencanaan retrosintetik dari 5 persen menjadi 35 persen dengan menghasilkan molekul yang berkualitas lebih tinggi, yang berarti mereka memiliki struktur yang lebih sederhana dan blok bangunan berbiaya lebih rendah.
“Sendiri, LLMS berjuang untuk mencari tahu cara mensintesis molekul karena membutuhkan banyak perencanaan multistep. Metode kami dapat menghasilkan struktur molekul yang lebih baik yang juga lebih mudah disintesis,” kata Liu.
Untuk melatih dan mengevaluasi Llamole, para peneliti membangun dua dataset dari awal karena set data struktur molekuler yang ada tidak mengandung detail yang cukup. Mereka menambah ratusan ribu molekul yang dipatenkan dengan deskripsi bahasa alami yang dihasilkan AI dan templat deskripsi yang disesuaikan.
Dataset yang mereka buat untuk menyempurnakan LLM mencakup templat yang terkait dengan 10 sifat molekuler, jadi salah satu batasan llamole adalah dilatih untuk merancang molekul yang hanya mempertimbangkan 10 sifat numerik tersebut.
Dalam pekerjaan di masa depan, para peneliti ingin menggeneralisasi llamole sehingga dapat menggabungkan properti molekuler apa pun. Selain itu, mereka berencana untuk meningkatkan modul grafik untuk meningkatkan tingkat keberhasilan retrosintesis Llamole.
Dan dalam jangka panjang, mereka berharap untuk menggunakan pendekatan ini untuk melampaui molekul, menciptakan LLM multimodal yang dapat menangani jenis data berbasis grafik lainnya, seperti sensor yang saling berhubungan dalam jaringan listrik atau transaksi di pasar keuangan.
“Llamole menunjukkan kelayakan menggunakan model bahasa besar sebagai antarmuka untuk data kompleks di luar deskripsi tekstual, dan kami mengantisipasi mereka untuk menjadi fondasi yang berinteraksi dengan algoritma AI lainnya untuk menyelesaikan masalah grafik,” kata Chen.
Penelitian ini didanai, sebagian, oleh MIT-IBM Watson AI Lab, National Science Foundation, dan Kantor Penelitian Angkatan Laut.
Informasi ini pertama kali tayang di MIT.edu klik disini untuk melihat berita lainnya.
Discover more from Kitiran Media
Subscribe to get the latest posts sent to your email.
