Mengajari robot batas kemampuannya, untuk menyelesaikan tugas terbuka dengan aman | Berita MIT

Jika seseorang menasihati Anda untuk “mengetahui batasan Anda”, kemungkinan besar mereka menyarankan Anda melakukan hal-hal seperti berolahraga secukupnya. Namun bagi robot, moto tersebut mewakili batasan pembelajaran, atau batasan tugas tertentu dalam lingkungan mesin, untuk melakukan tugas dengan aman dan benar.

Misalnya, bayangkan meminta robot untuk membersihkan dapur Anda ketika robot tersebut tidak memahami fisika lingkungannya. Bagaimana mesin dapat menghasilkan rencana multilangkah yang praktis untuk memastikan ruangan tetap bersih? Model bahasa besar (LLM) dapat mendekatkan hal tersebut, namun jika model hanya dilatih dalam bentuk teks, kemungkinan besar model tersebut akan kehilangan hal-hal spesifik mengenai batasan fisik robot, seperti seberapa jauh jangkauannya atau apakah ada hambatan terdekat yang harus dihindari. Gunakan LLM saja, dan kemungkinan besar Anda akan membersihkan noda pasta dari papan lantai Anda.

Untuk memandu robot dalam melaksanakan tugas-tugas terbuka ini, para peneliti di Laboratorium Ilmu Komputer dan Kecerdasan Buatan (CSAIL) MIT menggunakan model penglihatan untuk melihat apa yang ada di dekat mesin dan memodelkan batasannya. Strategi tim melibatkan LLM yang membuat sketsa rencana yang diperiksa dalam simulator untuk memastikannya aman dan realistis. Jika urutan tindakan tersebut tidak memungkinkan, model bahasa akan menghasilkan rencana baru, hingga tiba pada rencana yang dapat dijalankan oleh robot.

Metode coba-coba ini, yang oleh para peneliti disebut “Perencanaan Robot melalui Kode untuk Kepuasan Kendala Berkelanjutan” (PRoC3S), menguji rencana jangka panjang untuk memastikan rencana tersebut memenuhi semua batasan, dan memungkinkan robot melakukan beragam tugas seperti menulis. huruf individual, menggambar bintang, dan menyortir serta menempatkan balok di posisi berbeda. Di masa depan, PRoC3S dapat membantu robot menyelesaikan tugas-tugas yang lebih rumit di lingkungan yang dinamis seperti rumah, di mana mereka mungkin diminta untuk melakukan tugas umum yang terdiri dari banyak langkah (seperti “membuatkan saya sarapan”).

“LLM dan sistem robotika klasik seperti perencana tugas dan gerak tidak dapat melaksanakan tugas-tugas semacam ini sendirian, namun bersama-sama, sinergi mereka memungkinkan penyelesaian masalah yang terbuka,” kata mahasiswa PhD Nishanth Kumar SM ’24, salah satu pemimpin penulis makalah baru tentang PRoC3S. “Kami membuat simulasi langsung tentang apa yang ada di sekitar robot dan mencoba banyak kemungkinan rencana tindakan. Model visi membantu kita menciptakan dunia digital yang sangat realistis yang memungkinkan robot memikirkan tindakan yang mungkin dilakukan untuk setiap langkah dalam rencana jangka panjang.”

Hasil kerja tim dipresentasikan bulan lalu dalam makalah yang ditampilkan pada Conference on Robot Learning (CoRL) di Munich, Jerman.

Metode peneliti menggunakan LLM yang telah dilatih sebelumnya tentang teks dari internet. Sebelum meminta PRoC3S melakukan suatu tugas, tim menyediakan model bahasa mereka dengan contoh tugas (seperti menggambar persegi) yang terkait dengan targetnya (menggambar bintang). Contoh tugas mencakup deskripsi aktivitas, rencana jangka panjang, dan detail yang relevan tentang lingkungan robot.

Namun bagaimana rencana ini berjalan dalam praktiknya? Dalam simulasi, PRoC3S berhasil menggambar bintang dan huruf masing-masing sebanyak delapan kali dari 10 kali. Ia juga dapat menumpuk balok-balok digital dalam bentuk piramida dan garis, serta menempatkan benda-benda dengan akurat, seperti buah-buahan di atas piring. Di setiap demo digital ini, metode CSAIL menyelesaikan tugas yang diminta dengan lebih konsisten dibandingkan pendekatan serupa “LLM3” Dan “Kode sebagai Kebijakan”.

Para insinyur CSAIL selanjutnya membawa pendekatan mereka ke dunia nyata. Metode mereka mengembangkan dan melaksanakan rencana pada lengan robot, mengajarkannya untuk meletakkan balok dalam garis lurus. PRoC3S juga memungkinkan mesin untuk menempatkan balok biru dan merah ke dalam mangkuk yang serasi dan memindahkan semua benda ke dekat tengah meja.

Kumar dan rekan penulis utama Aidan Curtis SM ’23, yang juga seorang mahasiswa PhD yang bekerja di CSAIL, mengatakan temuan ini menunjukkan bagaimana LLM dapat mengembangkan rencana yang lebih aman yang dapat dipercaya oleh manusia untuk diterapkan dalam praktik. Para peneliti membayangkan sebuah robot rumahan yang dapat diberikan permintaan yang lebih umum (seperti “bawakan saya beberapa chip”) dan dengan andal mengetahui langkah-langkah spesifik yang diperlukan untuk melaksanakannya. PRoC3S dapat membantu robot menguji rencana dalam lingkungan digital yang identik untuk menemukan tindakan yang berhasil — dan yang lebih penting, memberikan Anda camilan lezat.

Untuk pekerjaan di masa depan, para peneliti bertujuan untuk meningkatkan hasil dengan menggunakan simulator fisika yang lebih canggih dan memperluas tugas-tugas cakrawala yang lebih panjang melalui teknik pencarian data yang lebih terukur. Selain itu, mereka berencana untuk menerapkan PRoC3S pada robot bergerak seperti hewan berkaki empat untuk tugas-tugas yang mencakup berjalan dan memindai lingkungan sekitar.

“Menggunakan model dasar seperti ChatGPT untuk mengontrol tindakan robot dapat menyebabkan perilaku tidak aman atau salah karena halusinasi,” kata peneliti AI Institute Eric Rosen, yang tidak terlibat dalam penelitian ini. “PRoC3S mengatasi masalah ini dengan memanfaatkan model dasar untuk panduan tugas tingkat tinggi, sambil menggunakan teknik AI yang secara eksplisit menjelaskan keadaan dunia untuk memastikan tindakan yang aman dan benar. Kombinasi pendekatan berbasis perencanaan dan berbasis data ini mungkin menjadi kunci untuk mengembangkan robot yang mampu memahami dan secara andal melakukan tugas yang lebih luas daripada yang mungkin dilakukan saat ini.”

Rekan penulis Kumar dan Curtis juga merupakan afiliasi CSAIL: peneliti sarjana MIT Jing Cao dan profesor Departemen Teknik Elektro dan Ilmu Komputer MIT Leslie Pack Kaelbling dan Tomás Lozano-Pérez. Pekerjaan mereka didukung, sebagian, oleh National Science Foundation, Kantor Penelitian Ilmiah Angkatan Udara, Kantor Penelitian Angkatan Laut, Kantor Penelitian Angkatan Darat, MIT Quest for Intelligence, dan The AI ​​Institute.