Pemodelan 3D Anda dapat merasakan | Berita MIT

Penting untuk banyak industri mulai dari citra yang dihasilkan komputer Hollywood hingga desain produk, alat pemodelan 3D sering menggunakan permintaan teks atau gambar untuk mendikte berbagai aspek penampilan visual, seperti warna dan bentuk. Sebanyak ini masuk akal sebagai titik kontak pertama, sistem ini masih terbatas dalam realisme mereka karena pengabaian mereka terhadap sesuatu yang penting bagi pengalaman manusia: sentuhan.

Dasar untuk keunikan objek fisik adalah sifat sentuhannya, seperti kekasaran, kesibukan, atau nuansa bahan seperti kayu atau batu. Metode pemodelan yang ada sering membutuhkan keahlian desain berbantuan komputer canggih dan jarang mendukung umpan balik taktil yang bisa sangat penting untuk bagaimana kita memandang dan berinteraksi dengan dunia fisik.

Dengan mengingat hal itu, para peneliti di MIT’s Computer Science dan Buatan Kecerdasan Laboratorium (CSAIL) telah menciptakan sistem baru untuk menata model 3D menggunakan prompt gambar, secara efektif mereplikasi penampilan visual dan sifat taktil.

Alat “TactStyle” tim CSAIL memungkinkan pembuat untuk gaya model 3D berdasarkan gambar sementara juga menggabungkan sifat taktil yang diharapkan dari tekstur. Tactstyle memisahkan stylization visual dan geometris, memungkinkan replikasi sifat visual dan taktil dari input gambar tunggal.

Mahasiswa PhD Faruz Faruqi, penulis utama makalah baru tentang proyek tersebut, mengatakan bahwa TactStyle dapat memiliki aplikasi yang jauh, memperluas dari dekorasi rumah dan aksesori pribadi ke alat pembelajaran taktil. TactStyle memungkinkan pengguna untuk mengunduh desain dasar – seperti dudukan headphone dari Thingiverse – dan menyesuaikannya dengan gaya dan tekstur yang mereka inginkan. Dalam pendidikan, peserta didik dapat mengeksplorasi beragam tekstur dari seluruh dunia tanpa meninggalkan ruang kelas, sementara dalam desain produk, prototyping cepat menjadi lebih mudah karena desainer dengan cepat mencetak beberapa iterasi untuk memperbaiki kualitas taktil.

“Anda dapat membayangkan menggunakan sistem semacam ini untuk benda-benda umum, seperti dudukan telepon dan casing earbud, untuk memungkinkan tekstur yang lebih kompleks dan meningkatkan umpan balik taktil dalam berbagai cara,” kata Faruqi, yang ikut menulis makalah bersama associate profesor MIT Stefanie Mueller, pemimpin kelompok rekayasa manusia-komputer (HCI) di CSE-COCINEING DI CSEAIL. “Anda dapat membuat alat pendidikan taktil untuk menunjukkan berbagai konsep yang berbeda di bidang seperti biologi, geometri, dan topografi.”

Metode tradisional untuk mereplikasi tekstur melibatkan penggunaan sensor sentuhan khusus – seperti Gelsight, yang dikembangkan di MIT – yang secara fisik menyentuh objek untuk menangkap mikrogeometri permukaannya sebagai “ladang tinggi.” Tetapi ini membutuhkan objek fisik atau permukaan yang direkam untuk replikasi. TactStyle memungkinkan pengguna untuk mereplikasi mikrogeometri permukaan dengan memanfaatkan AI generatif untuk menghasilkan level tinggi langsung dari gambar tekstur.

Selain itu, untuk platform seperti repositori pencetakan 3D Thingiverse, sulit untuk mengambil desain individual dan menyesuaikannya. Memang, jika pengguna tidak memiliki latar belakang teknis yang cukup, mengubah desain secara manual berisiko benar -benar “melanggar” sehingga tidak dapat dicetak lagi. Semua faktor ini mendorong Faruqi untuk bertanya -tanya tentang membangun alat yang memungkinkan penyesuaian model yang dapat diunduh pada tingkat tinggi, tetapi itu juga menjaga fungsionalitas.

Dalam percobaan, TactStyle menunjukkan peningkatan yang signifikan dibandingkan metode stylization tradisional dengan menghasilkan korelasi yang akurat antara gambar visual tekstur dan lini tinggi. Ini memungkinkan replikasi sifat taktil langsung dari suatu gambar. Salah satu percobaan psikofisik menunjukkan bahwa pengguna menganggap tekstur Tactstyle yang dihasilkan sebagai mirip dengan sifat taktil yang diharapkan dari input visual dan fitur taktil dari tekstur asli, yang mengarah ke taktil terpadu dan pengalaman visual.

Tactstyle memanfaatkan metode yang sudah ada sebelumnya, yang disebut “Style2fab”Untuk memodifikasi saluran warna model agar sesuai dengan gaya visual gambar input. Pengguna pertama-tama memberikan gambar dari tekstur yang diinginkan, dan kemudian autoencoder variasional yang disesuaikan digunakan untuk menerjemahkan gambar input ke dalam ladang tinggi yang sesuai. Lapangan tinggi ini kemudian diterapkan untuk memodifikasi geometri model untuk membuat properti taktil.

Modul stylization warna dan geometri bekerja bersama -sama, menata sifat visual dan taktil dari model 3D dari input gambar tunggal. Faruqi mengatakan bahwa inovasi inti terletak pada modul stylization geometri, yang menggunakan model difusi yang disesuaikan untuk menghasilkan limur tinggi dari gambar tekstur-sesuatu kerangka kerja stylization sebelumnya tidak secara akurat mereplikasi.

Ke depan, Faruqi mengatakan tim bertujuan untuk memperluas TactStyle untuk menghasilkan model 3D baru menggunakan AI generatif dengan tekstur tertanam. Ini membutuhkan penjelajahan dengan tepat jenis pipa yang diperlukan untuk mereplikasi bentuk dan fungsi model 3D yang dibuat. Mereka juga berencana untuk menyelidiki “ketidakcocokan visuo-haptik” untuk menciptakan pengalaman baru dengan bahan-bahan yang menentang harapan konvensional, seperti sesuatu yang tampaknya terbuat dari marmer tetapi terasa seperti terbuat dari kayu.

Faruqi dan Mueller ikut menulis makalah baru bersama mahasiswa PhD Maxine Perroni-Sccharf dan Yunyi Zhu, mengunjungi mahasiswa sarjana Jaskaran Singh Walia, Mahasiswa Master yang berkunjung Shuyue Feng, dan Asisten Profesor Donald DeGraen dari Human Interface Technology (HIT) Lab Nz di New Zoalan.