Teknik pencitraan menghilangkan efek air di adegan bawah air | Berita MIT

Lautan penuh dengan kehidupan. Tetapi kecuali Anda mendekat, banyak dunia laut dapat dengan mudah tetap tidak terlihat. Itu karena air itu sendiri dapat bertindak sebagai jubah yang efektif: cahaya yang bersinar melalui laut dapat menekuk, menyebarkan, dan dengan cepat memudar saat bergerak melalui media air yang padat dan memantulkan kabut partikel laut yang terus -menerus. Ini membuatnya sangat menantang untuk menangkap warna sebenarnya dari benda -benda di laut tanpa membayangkan mereka dari jarak dekat.

Sekarang sebuah tim dari MIT and the Woods Hole Oceanographic Institution (WHOI) telah mengembangkan alat analisis gambar yang memotong efek optik lautan dan menghasilkan gambar lingkungan bawah air yang terlihat seolah-olah air telah terkuras, mengungkapkan warna-warna sejati adegan laut. Tim memasangkan alat koreksi warna dengan model komputasi yang mengubah gambar adegan menjadi “dunia” bawah air tiga dimensi, yang kemudian dapat dieksplorasi secara virtual.

Para peneliti telah menjuluki alat baru “seasplat,” mengacu pada aplikasi bawah air dan metode yang dikenal sebagai 3D Gaussian Splatting (3DG), yang mengambil gambar adegan dan menjahit mereka bersama-sama untuk menghasilkan representasi lengkap, tiga dimensi yang dapat dilihat secara rinci, dari perspektif apa pun.

“Dengan Seasplat, ia dapat memodelkan secara eksplisit apa yang dilakukan air, dan sebagai hasilnya dalam beberapa hal dapat menghilangkan air, dan menghasilkan model 3D yang lebih baik dari adegan bawah air,” kata mahasiswa pascasarjana MIT Daniel Yang.

Para peneliti menerapkan seasplat pada gambar dasar laut yang diambil oleh penyelam dan kendaraan bawah air, di berbagai lokasi termasuk Kepulauan Virgin AS. Metode ini menghasilkan “dunia” 3D dari gambar yang lebih benar dan lebih jelas dan bervariasi dalam warna, dibandingkan dengan metode sebelumnya.

Tim mengatakan Seasplat dapat membantu ahli biologi kelautan memantau kesehatan komunitas laut tertentu. Misalnya, ketika robot bawah air mengeksplorasi dan mengambil gambar terumbu karang, Seasplat secara bersamaan akan memproses gambar dan membuat representasi 3D warna sejati, bahwa para ilmuwan kemudian dapat “terbang” melalui, dengan kecepatan dan jalan mereka sendiri, untuk memeriksa adegan bawah air, misalnya untuk tanda-tanda pemisahan koral.

“Pemutihan terlihat putih dari dekat, tetapi bisa tampak biru dan kabur dari jauh, dan Anda mungkin tidak dapat mendeteksinya,” kata Yogesh Girdhar, seorang ilmuwan rekan di Whoi. “Pemutihan karang, dan spesies karang yang berbeda, bisa lebih mudah dideteksi dengan citra seasplat, untuk mendapatkan warna yang sebenarnya di lautan.”

Girdhar dan Yang akan menghadirkan a Paper Detailing Seasplat di Konferensi Internasional IEEE tentang Robotika dan Otomasi (ICRA). Rekan penulis studi mereka adalah John Leonard, profesor teknik mesin di MIT.

Optik air

Di laut, warna dan kejernihan benda terdistorsi oleh efek cahaya yang bergerak melalui air. Dalam beberapa tahun terakhir, para peneliti telah mengembangkan alat koreksi warna yang bertujuan untuk mereproduksi warna sejati di lautan. Upaya -upaya ini melibatkan alat adaptasi yang awalnya dikembangkan untuk lingkungan di luar air, misalnya untuk mengungkapkan warna fitur yang sebenarnya dalam kondisi berkabut. Satu karya baru-baru ini secara akurat mereproduksi warna-warna sejati di laut, dengan algoritma bernama “Sea-Thru,” meskipun metode ini membutuhkan sejumlah besar kekuatan komputasi, yang memanfaatkannya dalam menghasilkan model adegan 3D yang menantang.

Secara paralel, yang lain telah membuat kemajuan dalam percikan Gaussian 3D, dengan alat -alat yang dengan mulus menjahit gambar -gambar adegan bersama -sama, dan secara cerdas mengisi celah apa pun untuk membuat keseluruhan, versi adegan 3D. Dunia 3D ini memungkinkan “sintesis tampilan novel,” yang berarti bahwa seseorang dapat melihat adegan 3D yang dihasilkan, tidak hanya dari perspektif gambar asli, tetapi dari sudut dan jarak apa pun.

Tetapi 3DGS hanya berhasil diterapkan pada lingkungan keluar dari air. Upaya untuk mengadaptasi rekonstruksi 3D dengan citra bawah air telah terhambat, terutama oleh dua efek bawah laut optik: hamburan balik dan pelemahan. Backscatter terjadi ketika cahaya memantulkan partikel-partikel kecil di laut, menciptakan kabut seperti kerudung. Atenuasi adalah fenomena dimana cahaya panjang gelombang tertentu dilemahkan, atau memudar dengan jarak. Di lautan, misalnya, benda merah tampak memudar lebih dari objek biru bila dilihat dari jauh.

Keluar dari air, warna benda tampak kurang lebih sama terlepas dari sudut atau jarak dari mana mereka dilihat. Namun, dalam air, warna dapat dengan cepat berubah dan memudar tergantung pada perspektif seseorang. Ketika metode 3DGS berusaha menjahit gambar di bawah air ke dalam keseluruhan 3D yang kohesif, mereka tidak dapat menyelesaikan objek karena hamburan balik air dan efek atenuasi yang mendistorsi warna objek pada sudut yang berbeda.

“Satu mimpi penglihatan robot bawah air yang kita miliki adalah: bayangkan jika Anda bisa menghilangkan semua air di laut. Apa yang akan Anda lihat?” Kata Leonard.

Model berenang

Dalam karya baru mereka, Yang dan rekan-rekannya mengembangkan algoritma yang mengoreksi warna yang memperhitungkan efek optik hamburan balik dan atenuasi. Algoritma menentukan sejauh mana setiap piksel dalam suatu gambar pasti telah terdistorsi oleh hamburan balik dan efek atenuasi, dan kemudian pada dasarnya menghilangkan efek akuatik tersebut, dan menghitung apa yang harus dilakukan oleh warna piksel yang sebenarnya.

Yang kemudian mengerjakan algoritma yang mengoreksi warna ke dalam model percikan Gaussian 3D untuk membuat seasplat, yang dapat dengan cepat menganalisis gambar bawah air dari sebuah adegan dan menghasilkan versi virtual 3D yang benar dari adegan yang sama yang dapat dieksplorasi secara rinci dari sudut dan jarak apa pun.

Tim menerapkan Seasplat ke beberapa adegan bawah laut, termasuk gambar yang diambil di Laut Merah, di Karibia di lepas pantai Curaçao, dan Samudra Pasifik, dekat Panama. Gambar-gambar ini, yang diambil tim dari dataset yang sudah ada sebelumnya, mewakili berbagai lokasi laut dan kondisi air. Mereka juga menguji seasplat pada gambar yang diambil oleh robot bawah air yang dikendalikan dari jarak jauh di Kepulauan Virgin AS.

Dari gambar masing-masing adegan laut, Seasplat menghasilkan dunia 3D warna sejati yang dapat dieksplorasi oleh para peneliti, misalnya zoom masuk dan keluar dari adegan dan melihat fitur-fitur tertentu dari berbagai perspektif. Bahkan ketika melihat dari sudut dan jarak yang berbeda, mereka menemukan benda -benda di setiap adegan mempertahankan warna asli mereka, daripada memudar seperti yang mereka lakukan jika dilihat melalui lautan yang sebenarnya.

“Setelah menghasilkan model 3D, seorang ilmuwan dapat ‘berenang’ melalui model seolah-olah mereka sedang menyelam, dan melihat hal-hal dengan detail tinggi, dengan warna asli,” kata Yang.

Untuk saat ini, metode ini membutuhkan sumber daya komputasi yang besar dalam bentuk komputer desktop yang akan terlalu besar untuk dibawa ke atas robot bawah air. Namun, Seasplat dapat bekerja untuk operasi yang tertambat, di mana kendaraan, diikat ke kapal, dapat mengeksplorasi dan mengambil gambar yang dapat dikirim ke komputer kapal.

“Ini adalah pendekatan pertama yang dapat dengan sangat cepat membangun model 3D berkualitas tinggi dengan warna yang akurat, di bawah air, dan itu dapat membuatnya dan membuatnya cepat,” kata Girdhar. “Itu akan membantu mengukur keanekaragaman hayati, dan menilai kesehatan terumbu karang dan komunitas laut lainnya.”

Pekerjaan ini didukung, sebagian, oleh Investasi dalam Dana Sains di WHOI, dan oleh Yayasan Sains Nasional AS.