Sabtu lalu, sebuah pesan Telegram muncul di ponsel Heejin dari pengirim anonim. “Foto dan informasi pribadi Anda telah bocor. Mari kita bahas.”

Saat mahasiswi itu masuk ke ruang obrolan untuk membaca pesan tersebut, dia menerima foto dirinya yang diambil beberapa tahun lalu saat dia masih kuliah. Diikuti oleh gambar kedua menggunakan foto yang sama, hanya saja kali ini eksplisit secara seksual, dan palsu.

Ketakutan, Heejin, yang bukan nama aslinya, tidak menanggapi, tetapi gambar-gambar itu terus bermunculan. Di semua gambar itu, wajahnya telah ditempelkan pada tubuh yang sedang melakukan hubungan seks, menggunakan teknologi deepfake yang canggih.

Deepfake, yang sebagian besar menggabungkan wajah orang asli dengan tubuh palsu yang eksplisit secara seksual, semakin banyak dibuat menggunakan kecerdasan buatan.

“Saya ketakutan, saya merasa sangat kesepian,” kata Heejin kepada BBC.

Namun dia tidak sendirian.

Dua hari sebelumnya, jurnalis Korea Selatan Ko Narin telah menerbitkan berita yang kemudian menjadi berita terbesar dalam kariernya. Baru-baru ini terungkap bahwa polisi sedang menyelidiki jaringan pornografi deepfake di dua universitas besar di negara itu, dan Ko yakin pasti ada lebih banyak lagi.

Dia mulai mencari di media sosial dan menemukan lusinan grup obrolan pada aplikasi perpesanan Telegram tempat para pengguna berbagi foto wanita yang mereka kenal dan menggunakan perangkat lunak AI untuk mengubahnya menjadi gambar pornografi palsu dalam hitungan detik.

“Setiap menit, orang-orang mengunggah foto gadis-gadis yang mereka kenal dan meminta foto-foto itu diubah menjadi deepfake,” tutur Ibu Ko kepada kami.

Ibu Ko menemukan bahwa kelompok-kelompok ini tidak hanya menargetkan mahasiswa. Ada ruang khusus untuk sekolah menengah atas dan bahkan sekolah menengah pertama tertentu. Jika banyak konten dibuat menggunakan gambar siswa tertentu, ia bahkan mungkin diberi ruangnya sendiri. Ruang-ruang ini sering kali diberi label “ruang penghinaan” atau “ruang teman dari teman”, dan sering kali disertai dengan persyaratan masuk yang ketat.

Laporan Ibu Ko di surat kabar Hankyoreh telah mengejutkan Korea Selatan. Pada hari Senin, polisi mengumumkan bahwa mereka sedang mempertimbangkan untuk membuka penyelidikan terhadap Telegram, mengikuti arahan dari pihak berwenang di Prancis, yang baru-baru ini mendakwa pendiri Telegram asal Rusia atas kejahatan yang berkaitan dengan aplikasi tersebut. Pemerintah telah berjanji untuk memberikan hukuman yang lebih berat bagi mereka yang terlibat, dan presiden telah meminta agar para pemuda mendapatkan pendidikan yang lebih baik.

Telegram mengatakan pihaknya “secara aktif memerangi konten berbahaya di platformnya, termasuk pornografi ilegal,” dalam sebuah pernyataan yang diberikan kepada BBC.

BBC telah melihat deskripsi sejumlah ruang obrolan ini. Salah satunya meminta anggota untuk mengunggah lebih dari empat foto seseorang beserta nama, usia, dan daerah tempat tinggal mereka.

“Saya terkejut melihat betapa sistematis dan terorganisirnya proses tersebut,” kata Ibu Ko. “Hal paling mengerikan yang saya temukan adalah kelompok untuk murid di bawah umur di satu sekolah yang beranggotakan lebih dari 2.000 orang.”

Pada beberapa hari setelah artikel Ko diterbitkan, aktivis hak-hak perempuan juga mulai menelusuri Telegram, dan mengikuti petunjuk.

Pada akhir minggu itu, lebih dari 500 sekolah dan universitas telah ditetapkan sebagai target. Jumlah sebenarnya yang terkena dampak masih harus dipastikan, tetapi banyak yang diyakini berusia di bawah 16 tahun, yang merupakan usia legal di Korea Selatan. Sebagian besar tersangka pelaku adalah remaja itu sendiri.

Heejin mengatakan bahwa mengetahui skala krisis tersebut telah memperburuk kecemasannya, karena ia kini khawatir berapa banyak orang yang mungkin telah melihat deepfake-nya. Awalnya ia menyalahkan dirinya sendiri. “Saya tidak dapat berhenti berpikir apakah ini terjadi karena saya mengunggah foto-foto saya ke media sosial, haruskah saya lebih berhati-hati?”

Puluhan wanita dan remaja di seluruh negeri sejak itu menghapus foto-foto mereka dari media sosial atau menonaktifkan akun mereka sama sekali, karena takut mereka akan dieksploitasi selanjutnya.

“Kami frustrasi dan marah karena harus menyensor perilaku dan penggunaan media sosial kami, padahal kami tidak melakukan kesalahan apa pun,” kata seorang mahasiswa, Ah-eun, yang teman-temannya menjadi sasaran.

Ah-eun mengatakan salah satu korban di universitasnya diberitahu oleh polisi untuk tidak repot-repot mengejar kasusnya karena akan terlalu sulit untuk menangkap pelaku, dan itu “bukan benar-benar kejahatan” karena “foto-fotonya palsu”.

Inti dari skandal ini adalah aplikasi perpesanan Telegram. Aplikasi ini dikenal memiliki sikap moderasi yang “ringan” dan telah dituduh tidak melakukan pengawasan yang cukup terhadap konten dan khususnya kelompok selama bertahun-tahun.

Hal ini telah menjadikannya sebuah ruang utama bagi berkembangnya perilaku kriminal.

Minggu lalu, politisi dan polisi menanggapi dengan tegas, berjanji untuk menyelidiki kejahatan ini dan membawa para pelakunya ke pengadilan.

Pada hari Senin, Badan Kepolisian Nasional Seoul mengumumkan pihaknya akan menyelidiki Telegram atas perannya dalam menyebarkan gambar pornografi anak palsu.

• Korea Selatan hadapi “darurat” pornografi deepfake
• Perempuan Korea Selatan berunjuk rasa di Seoul terkait kamera tersembunyi untuk berhubungan seks

Pendiri aplikasi tersebut, Pavel Durov, adalah didakwa di Prancis minggu lalu terlibat dalam sejumlah kejahatan terkait aplikasi tersebut, termasuk memungkinkan penyebaran pornografi anak.

Namun, aktivis hak-hak perempuan menuduh pihak berwenang di Korea Selatan membiarkan pelecehan seksual di Telegram berlangsung tanpa kendali terlalu lama, karena Korea pernah menghadapi krisis ini sebelumnya. Pada tahun 2019, terungkap bahwa jaringan seks menggunakan Telegram untuk memaksa perempuan dan anak-anak membuat dan membagikan gambar-gambar eksplisit seksual tentang diri mereka.

Polisi saat itu meminta bantuan Telegram untuk penyelidikan mereka, tetapi aplikasi tersebut mengabaikan ketujuh permintaan mereka. Meskipun pemimpin kelompok itu akhirnya dijatuhi hukuman lebih dari 40 tahun penjara, tidak ada tindakan yang diambil terhadap platform tersebut, karena kekhawatiran akan penyensoran.

“Mereka menjatuhkan hukuman kepada para pelaku utama, tetapi mengabaikan situasi, dan saya pikir hal ini memperburuk situasi,” kata Ibu Ko.

Park Jihyun, yang saat masih menjadi jurnalis muda, mengungkap jaringan seks Nth Room pada tahun 2019, kini telah menjadi advokat politik bagi para korban kejahatan seks digital. Ia mengatakan bahwa sejak skandal deepfake mencuat, murid-murid dan orang tua meneleponnya beberapa kali sehari sambil menangis.

“Mereka melihat sekolah mereka tercantum dalam daftar yang dibagikan di media sosial dan merasa takut.”

Ibu Park telah memimpin seruan kepada pemerintah untuk mengatur atau bahkan melarang aplikasi tersebut di Korea Selatan. “Jika perusahaan teknologi ini tidak mau bekerja sama dengan lembaga penegak hukum, maka negara harus mengatur mereka untuk melindungi warga negaranya,” katanya.

Sebelum krisis terbaru ini meledak, Pusat Advokasi Korea Selatan untuk Korban Pelecehan Seksual Daring (ACOSAV) telah memperhatikan peningkatan tajam dalam jumlah korban pornografi deepfake di bawah umur.

Pada tahun 2023, mereka memberikan konseling kepada 86 korban remaja. Jumlah tersebut melonjak menjadi 238 hanya dalam delapan bulan pertama tahun ini. Dalam seminggu terakhir saja, 64 korban remaja lainnya telah melapor.

Salah satu pimpinan pusat tersebut, Park Seonghye, mengatakan bahwa selama seminggu terakhir stafnya dibanjiri telepon dan bekerja sepanjang waktu. “Ini merupakan keadaan darurat bagi kami, seperti situasi masa perang,” katanya.

“Dengan teknologi deepfake terkini, kini ada lebih banyak rekaman daripada sebelumnya, dan kami khawatir jumlahnya akan terus bertambah.”

Selain memberikan konseling kepada para korban, pusat tersebut melacak konten yang berbahaya dan bekerja sama dengan platform daring untuk menghapusnya. Ibu Park mengatakan ada beberapa contoh di mana Telegram menghapus konten atas permintaan mereka. “Jadi, bukan tidak mungkin,” katanya.

Dalam sebuah pernyataan, Telegram mengatakan kepada BBC bahwa moderatornya “secara proaktif memantau bagian publik aplikasi, menggunakan alat AI, dan menerima laporan pengguna untuk menghapus jutaan konten setiap hari yang melanggar ketentuan layanan Telegram”.

Sementara organisasi hak-hak perempuan menerima bahwa teknologi AI baru memudahkan eksploitasi korban, mereka berpendapat ini hanyalah bentuk misogini terbaru yang terjadi secara daring di Korea Selatan.

Pertama, wanita menjadi sasaran gelombang pelecehan verbal daring. Kemudian muncul epidemi kamera mata-mata, di mana mereka difilmkan secara diam-diam saat menggunakan toilet umum dan ruang ganti.

“Akar penyebabnya adalah seksisme struktural dan solusinya adalah kesetaraan gender,” demikian bunyi pernyataan yang ditandatangani oleh 84 kelompok perempuan.

Ini adalah kritik langsung terhadap Presiden negara tersebut Yoon Suk Yeol, yang telah menyangkal keberadaan seksisme struktural, memotong dana untuk kelompok dukungan korban, dan menghapus kementerian kesetaraan gender pemerintah.

Lee Myung-hwa, yang menangani pelaku kejahatan seksual remaja, setuju bahwa meskipun merebaknya penyalahgunaan deepfake mungkin tampak tiba-tiba, hal itu sudah lama tersembunyi di balik permukaan. “Bagi remaja, deepfake telah menjadi bagian dari budaya mereka, hal itu dianggap sebagai permainan atau lelucon,” kata konselor yang mengelola Pusat Kebudayaan Remaja Aha Seoul.

Ibu Lee mengatakan sangat penting untuk mendidik para pria muda, dengan mengutip penelitian yang menunjukkan bahwa ketika Anda memberi tahu para pelaku dengan tepat apa kesalahan mereka, mereka akan lebih sadar akan apa yang termasuk dalam pelecehan seksual, yang akan menghentikan mereka untuk mengulangi kejahatannya.

Sementara itu, pemerintah mengatakan akan meningkatkan hukuman pidana bagi mereka yang membuat dan menyebarkan gambar deepfake, dan juga akan menghukum mereka yang melihat pornografi.

Hal ini menyusul kritik bahwa tidak cukup banyak pelaku yang dihukum. Salah satu masalahnya adalah bahwa mayoritas pelaku adalah remaja, yang biasanya diadili di pengadilan anak-anak, di mana mereka menerima hukuman yang lebih ringan.

Sejak ruang obrolan itu terbongkar, banyak yang telah ditutup, tetapi hampir pasti akan ada ruang obrolan baru yang menggantikannya. Ruang penghinaan telah dibuat untuk menyasar jurnalis yang meliput berita ini. Ko, yang mengabarkan berita itu, mengatakan hal ini membuatnya tidak bisa tidur. “Saya terus memeriksa ruang obrolan untuk melihat apakah foto saya telah diunggah,” katanya.

Kecemasan semacam itu telah menyebar ke hampir setiap gadis remaja dan wanita muda di Korea Selatan. Ah-eun, mahasiswa, mengatakan hal itu telah membuatnya curiga terhadap kenalan laki-lakinya.

“Saya sekarang tidak bisa yakin orang-orang tidak akan melakukan kejahatan ini di belakang saya, tanpa sepengetahuan saya,” katanya. “Saya menjadi sangat waspada dalam semua interaksi saya dengan orang lain, yang tentu saja tidak baik.”

Pelaporan tambahan oleh Hosu Lee dan Suhnwook Lee