Cara baru untuk membawa barang -barang pribadi ke realitas campuran | Berita MIT

Pikirkan barang -barang Anda yang paling berharga. Di dunia yang semakin virtual, bukankah lebih baik untuk menyimpan salinan barang berharga itu dan semua kenangan yang dipegangnya?

Dalam pengaturan realitas campuran, Anda dapat membuat kembar digital dari item fisik, seperti boneka tua. Tapi sulit untuk mereplikasi elemen interaktif, seperti cara bergerak atau suara yang dibuatnya – jenis fitur interaktif unik yang membuat mainan berbeda di tempat pertama.

Para peneliti dari Ilmu Komputer MIT dan Laboratorium Kecerdasan Buatan (CSAIL) berusaha mengubahnya, dan mereka memiliki solusi potensial. Program “Interecon” mereka memungkinkan pengguna untuk merebut kembali objek dunia nyata dalam aplikasi seluler, dan kemudian menghidupkannya di lingkungan realitas campuran.

Prototipe ini dapat menciptakan kembali fungsi interaksi di dunia fisik, seperti gerakan kepala bobblehead favorit Anda, atau memutar video klasik pada versi digital TV vintage Anda. Ini menciptakan lebih banyak lingkungan digital seperti hidup dan pribadi sambil menjaga ingatan.

Kemampuan Interecon untuk merekonstruksi pengalaman interaktif dari item yang berbeda dapat menjadikannya alat yang berguna bagi guru yang menjelaskan konsep -konsep penting, seperti menunjukkan bagaimana gravitasi menarik objek ke bawah. Ini juga dapat menambahkan komponen visual baru ke pameran museum, seperti menjiwai lukisan atau menghidupkan manekin sejarah (tanpa ketakutan karakter dari “Night at the Museum”). Akhirnya, interecon mungkin dapat mengajarkan operasi organ magang dokter atau prosedur kosmetik dengan memvisualisasikan setiap gerakan yang diperlukan untuk menyelesaikan tugas.

Potensi interecon yang menarik berasal dari kemampuannya untuk menambahkan gerakan atau fungsi interaktif ke banyak objek yang berbeda, menurut peneliti yang berkunjung CSAIL Zisu Li, penulis utama a kertas memperkenalkan alat.

“Meskipun mengambil gambar atau video adalah cara yang bagus untuk melestarikan ingatan, salinan digital itu statis,” kata Li, yang juga seorang mahasiswa PhD di Universitas Sains dan Teknologi Hong Kong. “Kami menemukan bahwa pengguna ingin merekonstruksi barang -barang pribadi sambil melestarikan interaktivitas mereka untuk memperkaya ingatan mereka. Dengan kekuatan realitas campuran, interecon dapat membuat ingatan ini hidup lebih lama dalam pengaturan virtual sebagai item digital interaktif.”

Li dan rekan -rekannya akan menghadirkan interecon pada Konferensi CHI ACM 2025 tentang Faktor Manusia dalam Sistem Komputasi.

Membuat dunia virtual lebih realistis

Untuk memungkinkan interaktivitas digital, tim pertama kali mengembangkan aplikasi iPhone. Menggunakan kamera Anda, Anda memindai item sepanjang tiga kali untuk memastikannya sepenuhnya ditangkap. Model 3D kemudian dapat diimpor ke antarmuka realitas campuran interecon, di mana Anda dapat menandai (“segmen”) area individu untuk memilih bagian mana dari model yang akan interaktif (seperti lengan boneka, kepala, tubuh, dan kaki). Atau, Anda dapat menggunakan fungsi yang disediakan oleh interecon untuk segmentasi otomatis.

Antarmuka interecon dapat diakses melalui headset realitas campuran (seperti Hololens 2 dan Quest). Ini memungkinkan Anda untuk memilih gerakan yang dapat diprogram untuk bagian dari item yang ingin Anda animasi setelah model Anda tersegmentasi.

Opsi gerakan disajikan sebagai demonstrasi gerak, memungkinkan Anda untuk bermain -main dengan mereka sebelum memutuskan satu – katakanlah, gerakan gagal yang meniru bagaimana telinga boneka kelinci bergerak. Anda bahkan dapat mencubit bagian tertentu dan mengeksplorasi berbagai cara untuk menghidupkannya, seperti geser, menggantung, dan berbelok seperti pendulum.

IPod lama Anda, Digitalisasi

Tim menunjukkan bahwa interecon juga dapat merebut kembali antarmuka perangkat elektronik fisik, seperti TV vintage. Setelah membuat salinan digital item, Anda dapat menyesuaikan model 3D dengan antarmuka yang berbeda.

Pengguna dapat bermain dengan contoh widget dari antarmuka yang berbeda sebelum memilih gerakan: layar (baik tampilan TV atau jendela bidik kamera), tombol berputar (untuk, katakanlah, menyesuaikan volume), tombol “on/off” -day, dan slider (untuk mengubah pengaturan pada sesuatu seperti bilik DJ).

Li dan kolega menyajikan aplikasi yang menciptakan kembali interaktivitas TV vintage dengan memasukkan widget virtual seperti tombol “on/off”, layar, dan saluran sakelar pada model TV, bersama dengan menanamkan video lama ke dalamnya. Ini membuat model TV menjadi hidup. Anda juga dapat mengunggah file MP3 dan menambahkan “Tombol Putar” ke model 3D iPod untuk mendengarkan lagu favorit Anda dalam realitas campuran.

Para peneliti percaya Interecon membuka jalan baru yang menarik dalam merancang lingkungan virtual yang seperti hidup. Sebuah studi pengguna mengkonfirmasi bahwa orang -orang dari berbagai bidang berbagi antusiasme ini, melihatnya semudah dipelajari dan beragam dalam kemampuannya untuk mengekspresikan kekayaan ingatan pengguna.

“Satu hal yang sangat saya hargai adalah bahwa barang -barang yang diingat pengguna tidak sempurna,” kata Faruz Faruqi SM ’22, penulis lain di atas kertas yang juga merupakan afiliasi CSAIL dan mahasiswa PhD MIT di bidang teknik listrik dan ilmu komputer. “Interecon membawa ketidaksempurnaan itu ke dalam realitas campuran, secara akurat menciptakan kembali apa yang membuat barang pribadi seperti boneka beruang kehilangan beberapa tombol yang begitu istimewa.”

Dalam studi terkait, pengguna membayangkan bagaimana teknologi ini dapat diterapkan pada skenario profesional, dari mengajar mahasiswa kedokteran bagaimana melakukan operasi hingga membantu pelancong dan peneliti mencatat perjalanan mereka, dan bahkan membantu perancang busana dalam bereksperimen dengan bahan.

Namun, sebelum interecon digunakan dalam pengaturan yang lebih maju, tim ingin meningkatkan mesin simulasi fisik mereka menjadi sesuatu yang lebih tepat. Ini akan memungkinkan aplikasi seperti membantu magang dokter untuk mempelajari akurasi yang diperlukan untuk melakukan manuver bedah tertentu.

Li dan Faruqi juga dapat menggabungkan model bahasa besar dan model generatif yang dapat membuat ulang item pribadi yang hilang menjadi model 3D melalui deskripsi bahasa, serta menjelaskan fitur antarmuka.

Adapun langkah-langkah selanjutnya para peneliti, LI bekerja menuju pipa yang lebih otomatis dan kuat yang dapat membuat kembar digital yang terpelihara interaktivitas dari lingkungan fisik yang lebih besar dalam realitas campuran untuk pengguna akhir, seperti ruang kantor virtual. Faruqi sedang mencari untuk membangun pendekatan yang secara fisik dapat menciptakan kembali barang -barang yang hilang melalui printer 3D.

“Interecon mewakili perbatasan baru yang menarik di bidang realitas campuran, melampaui replikasi visual belaka untuk menangkap interaktivitas unik dari benda -benda fisik,” kata Hanwang Zhang, seorang profesor di College of Computing dan Data Science, yang tidak terlibat dalam penelitian ini. “Teknologi ini memiliki potensi untuk merevolusi pameran pendidikan, perawatan kesehatan, dan budaya dengan membawa tingkat perendaman dan koneksi pribadi yang baru ke lingkungan virtual.”

Li dan Faruqi menulis makalah itu dengan mahasiswa master Hong Kong University of Science and Technology (HKUST) Jiawei Li, mahasiswa PhD Shumeng Zhang, Associate Professor Xiaojuan MA, dan Asisten Profesor Mingming Fan dan Chen Liang dari Hkust; ETH Zurich PhD Siswa Zeyu Xiong; dan Stefanie Mueller, Profesor Associate Pengembangan Karir TIBCO di Departemen MIT Teknik Listrik dan Ilmu Komputer dan Teknik Mesin, dan pemimpin kelompok teknik HCI. Pekerjaan mereka didukung oleh laboratorium Apex dari Universitas Sains dan Teknologi Hong Kong (Guangzhou) bekerja sama dengan kelompok teknik HCI.