Teknik validasi dapat membantu para ilmuwan membuat ramalan yang lebih akurat | Berita MIT

Haruskah Anda mengambil payung sebelum berjalan keluar pintu? Memeriksa ramalan cuaca sebelumnya hanya akan membantu jika ramalan itu akurat.

Masalah prediksi spasial, seperti perkiraan cuaca atau estimasi polusi udara, melibatkan memprediksi nilai variabel di lokasi baru berdasarkan nilai yang diketahui di lokasi lain. Para ilmuwan biasanya menggunakan metode validasi yang dicoba dan benar untuk menentukan berapa banyak untuk mempercayai prediksi ini.

Tetapi peneliti MIT telah menunjukkan bahwa metode validasi populer ini dapat gagal cukup buruk untuk tugas prediksi spasial. Ini mungkin membuat seseorang percaya bahwa perkiraan itu akurat atau bahwa metode prediksi baru efektif, padahal kenyataannya bukan itu masalahnya.

Para peneliti mengembangkan teknik untuk menilai metode prediksi-validasi dan menggunakannya untuk membuktikan bahwa dua metode klasik dapat salah secara substansial pada masalah spasial. Mereka kemudian menentukan mengapa metode ini dapat gagal dan membuat metode baru yang dirancang untuk menangani jenis data yang digunakan untuk prediksi spasial.

Dalam percobaan dengan data nyata dan simulasi, metode baru mereka memberikan validasi yang lebih akurat daripada dua teknik yang paling umum. Para peneliti mengevaluasi setiap metode menggunakan masalah spasial yang realistis, termasuk memprediksi kecepatan angin di bandara Chicago O-Hare dan memperkirakan suhu udara di lima lokasi metro AS.

Metode validasi mereka dapat diterapkan pada berbagai masalah, dari membantu para ilmuwan iklim memprediksi suhu permukaan laut hingga membantu ahli epidemiologi dalam memperkirakan efek polusi udara pada penyakit tertentu.

“Mudah -mudahan, ini akan mengarah pada evaluasi yang lebih dapat diandalkan ketika orang datang dengan metode prediktif baru dan pemahaman yang lebih baik tentang seberapa baik kinerja metode,” kata Tamara Broderick, seorang profesor di Departemen Teknik Listrik dan Ilmu Komputer MIT (EECS) , anggota Laboratorium untuk Sistem Informasi dan Keputusan dan Institut Data, Sistem, dan Masyarakat, dan afiliasi dari Ilmu Komputer dan Laboratorium Kecerdasan Buatan (CSAIL).

Broderick bergabung di kertas Oleh Penulis Utama dan MIT Postdoc David R. Burt dan Mahasiswa Pascasarjana EECS Yunyi Shen. Penelitian ini akan dipresentasikan pada Konferensi Internasional tentang Kecerdasan dan Statistik Buatan.

Mengevaluasi validasi

Grup Broderick baru-baru ini berkolaborasi dengan Oseanographers dan ilmuwan atmosfer untuk mengembangkan model prediksi pembelajaran mesin yang dapat digunakan untuk masalah dengan komponen spasial yang kuat.

Melalui pekerjaan ini, mereka memperhatikan bahwa metode validasi tradisional dapat tidak akurat dalam pengaturan spasial. Metode -metode ini menampung sejumlah kecil data pelatihan, yang disebut data validasi, dan menggunakannya untuk menilai keakuratan prediktor.

Untuk menemukan akar masalah, mereka melakukan analisis menyeluruh dan menentukan bahwa metode tradisional membuat asumsi yang tidak pantas untuk data spasial. Metode evaluasi mengandalkan asumsi tentang bagaimana data validasi dan data yang ingin diprediksi, yang disebut data uji, terkait.

Metode tradisional mengasumsikan bahwa data validasi dan data pengujian independen dan terdistribusi secara identik, yang menyiratkan bahwa nilai titik data apa pun tidak tergantung pada titik data lainnya. Tetapi dalam aplikasi spasial, ini sering tidak terjadi.

Misalnya, seorang ilmuwan dapat menggunakan data validasi dari sensor polusi udara EPA untuk menguji keakuratan metode yang memprediksi polusi udara di kawasan konservasi. Namun, sensor EPA tidak independen – mereka ditempatkan berdasarkan lokasi sensor lain.

Selain itu, mungkin data validasi berasal dari sensor EPA di dekat kota -kota sementara lokasi konservasi berada di daerah pedesaan. Karena data ini berasal dari lokasi yang berbeda, mereka kemungkinan memiliki sifat statistik yang berbeda, sehingga mereka tidak terdistribusi secara identik.

“Eksperimen kami menunjukkan bahwa Anda mendapatkan beberapa jawaban yang benar -benar salah dalam kasus spasial ketika asumsi yang dibuat oleh metode validasi ini rusak,” kata Broderick.

Para peneliti perlu membuat asumsi baru.

Khususnya spasial

Berpikir secara khusus tentang konteks spasial, di mana data dikumpulkan dari lokasi yang berbeda, mereka merancang metode yang mengasumsikan data validasi dan data uji bervariasi dengan lancar di ruang.

Misalnya, tingkat polusi udara tidak mungkin berubah secara dramatis antara dua rumah tetangga.

“Asumsi keteraturan ini sesuai untuk banyak proses spasial, dan memungkinkan kita untuk menciptakan cara untuk mengevaluasi prediktor spasial dalam domain spasial. Sepengetahuan kami, tidak ada yang melakukan evaluasi teori sistematis tentang apa yang salah untuk menghasilkan pendekatan yang lebih baik, ”kata Broderick.

Untuk menggunakan teknik evaluasi mereka, orang akan memasukkan prediktor mereka, lokasi yang ingin mereka prediksi, dan data validasi mereka, maka secara otomatis melakukan sisanya. Pada akhirnya, memperkirakan seberapa akurat perkiraan prediktor untuk lokasi yang dimaksud. Namun, secara efektif menilai teknik validasi mereka terbukti menjadi tantangan.

“Kami tidak mengevaluasi suatu metode, sebaliknya kami sedang mengevaluasi evaluasi. Jadi, kami harus mundur, berpikir dengan hati -hati, dan menjadi kreatif tentang eksperimen yang sesuai yang bisa kami gunakan, ”jelas Broderick.

Pertama, mereka merancang beberapa tes menggunakan data simulasi, yang memiliki aspek yang tidak realistis tetapi memungkinkan mereka untuk mengontrol parameter kunci dengan hati -hati. Kemudian, mereka membuat data yang lebih realistis dan semi-simulasi dengan memodifikasi data nyata. Akhirnya, mereka menggunakan data nyata untuk beberapa percobaan.

Menggunakan tiga jenis data dari masalah realistis, seperti memprediksi harga flat di Inggris berdasarkan lokasinya dan memperkirakan kecepatan angin, memungkinkan mereka untuk melakukan evaluasi yang komprehensif. Dalam sebagian besar percobaan, teknik mereka lebih akurat daripada metode tradisional yang mereka bandingkan.

Di masa depan, para peneliti berencana untuk menerapkan teknik -teknik ini untuk meningkatkan kuantifikasi ketidakpastian dalam pengaturan spasial. Mereka juga ingin menemukan area lain di mana asumsi keteraturan dapat meningkatkan kinerja prediktor, seperti dengan data seri waktu.

Penelitian ini didanai, sebagian, oleh National Science Foundation dan Kantor Penelitian Angkatan Laut.