Saat itu tahun 2022 dan Cai, yang saat itu berusia 16 tahun, sedang asyik bermain ponsel. Ia mengatakan salah satu video pertama yang ia lihat di media sosialnya adalah video seekor anjing lucu. Namun, kemudian, semuanya berubah.

Ia mengatakan “entah dari mana” ia direkomendasikan video seseorang yang tertabrak mobil, monolog dari seorang influencer yang berbagi pandangan misoginis, dan klip perkelahian yang penuh kekerasan. Ia mendapati dirinya bertanya – mengapa saya?

Di Dublin, Andrew Kaung bekerja sebagai analis keselamatan pengguna di TikTok, peran yang dipegangnya selama 19 bulan dari Desember 2020 hingga Juni 2022.

Ia mengatakan bahwa ia dan seorang rekannya memutuskan untuk meneliti pengguna di Inggris yang direkomendasikan oleh algoritma aplikasi tersebut, termasuk beberapa remaja berusia 16 tahun. Tidak lama sebelumnya, ia bekerja untuk perusahaan saingannya, Meta, yang memiliki Instagram – salah satu situs yang digunakan Cai.

Ketika Andrew melihat konten TikTok, ia terkejut karena menemukan beberapa remaja laki-laki diperlihatkan unggahan yang menampilkan kekerasan dan pornografi, serta mempromosikan pandangan misoginis, ungkapnya kepada BBC Panorama. Ia mengatakan, secara umum, remaja perempuan direkomendasikan konten yang sangat berbeda berdasarkan minat mereka.

TikTok dan perusahaan media sosial lainnya menggunakan perangkat AI untuk menghapus sebagian besar konten berbahaya dan menandai konten lain untuk ditinjau oleh moderator manusia, terlepas dari jumlah penayangan yang telah dilakukan. Namun, perangkat AI tidak dapat mengidentifikasi semuanya.

Andrew Kaung mengatakan bahwa selama dia bekerja di TikTok, semua video yang tidak dihapus atau ditandai ke moderator manusia oleh AI – atau dilaporkan oleh pengguna lain ke moderator – baru akan ditinjau lagi secara manual jika mencapai ambang batas tertentu.

Ia mengatakan pada satu titik jumlah penayangannya ditetapkan menjadi 10.000 atau lebih. Ia khawatir ini berarti beberapa pengguna yang lebih muda terpapar video yang berbahaya. Sebagian besar perusahaan media sosial besar mengizinkan orang berusia 13 tahun atau lebih untuk mendaftar.

TikTok menyatakan 99% konten yang dihapus karena melanggar aturannya dihapus oleh AI atau moderator manusia sebelum mencapai 10.000 penayangan. TikTok juga menyatakan melakukan investigasi proaktif pada video dengan jumlah penayangan lebih sedikit dari itu.

Saat bekerja di Meta antara tahun 2019 dan Desember 2020, Andrew Kaung mengatakan ada masalah yang berbeda. Ia mengatakan bahwa, meskipun sebagian besar video dihapus atau dilaporkan ke moderator oleh perangkat AI, situs tersebut mengandalkan pengguna untuk melaporkan video lain setelah mereka melihatnya.

Ia mengatakan bahwa ia menyampaikan kekhawatirannya saat bekerja di kedua perusahaan, tetapi tidak ada tindakan yang diambil karena, katanya, kekhawatiran tentang jumlah pekerjaan yang terlibat atau biayanya. Ia mengatakan kemudian beberapa perbaikan dilakukan di TikTok dan Meta, tetapi ia mengatakan pengguna yang lebih muda, seperti Cai, tetap berisiko.

Beberapa mantan karyawan perusahaan media sosial mengatakan kepada BBC bahwa kekhawatiran Andrew Kaung sesuai dengan pengetahuan dan pengalaman mereka sendiri.

Algoritma dari semua perusahaan media sosial besar telah merekomendasikan konten yang berbahaya bagi anak-anak, bahkan jika tidak disengaja, kata regulator Inggris Ofcom kepada BBC.

“Perusahaan telah menutup mata dan memperlakukan anak-anak sebagaimana mereka memperlakukan orang dewasa,” kata Almudena Lara, direktur pengembangan kebijakan keselamatan daring Ofcom.

TikTok mengatakan kepada BBC bahwa mereka memiliki pengaturan keamanan “terdepan di industri” untuk remaja dan mempekerjakan lebih dari 40.000 orang yang bekerja untuk menjaga keamanan pengguna. Tahun ini saja, mereka berharap untuk menginvestasikan “lebih dari $2 miliar (£1,5 miliar) untuk keamanan”, dan dari konten yang dihapus karena melanggar aturan, 98% di antaranya ditemukan secara proaktif.

Meta, yang merupakan perusahaan induk Instagram dan Facebook, menyatakan bahwa mereka memiliki lebih dari 50 alat, sumber daya, dan fitur berbeda untuk memberikan “pengalaman positif dan sesuai usia” kepada remaja.

Cai mengatakan kepada BBC bahwa dia mencoba menggunakan salah satu alat di Instagram dan alat serupa di TikTok untuk mengatakan bahwa dia tidak tertarik pada konten kekerasan atau misoginis – tetapi dia mengatakan dia terus direkomendasikan untuk menggunakannya.

Ia tertarik dengan UFC – Ultimate Fighting Championship. Ia juga mendapati dirinya menonton video dari influencer kontroversial saat video tersebut dikirimkan kepadanya, tetapi ia mengatakan tidak ingin konten yang lebih ekstrem ini direkomendasikan.

“Gambaran itu ada di kepala Anda, tetapi Anda tidak bisa mengeluarkannya. [It] menodai otak Anda. Jadi Anda memikirkannya sepanjang hari,” katanya.

Gadis-gadis yang dikenalnya yang seusia telah direkomendasikan video tentang topik-topik seperti musik dan tata rias daripada kekerasan, katanya.

Sementara itu, Cai, kini berusia 18 tahun, mengatakan ia masih terus menerima konten kekerasan dan misoginis di Instagram dan TikTok.

Saat kita menelusuri Reel Instagram miliknya, ada gambar yang mengolok-olok kekerasan dalam rumah tangga. Gambar itu memperlihatkan dua karakter berdampingan, salah satunya memiliki memar, dengan judul: “Bahasa Cintaku”. Gambar lainnya memperlihatkan seseorang yang tertabrak truk.

Cai mengatakan dia telah memperhatikan bahwa video dengan jutaan like dapat meyakinkan pria muda lain seusianya.

Misalnya, dia mengatakan salah satu temannya tertarik pada konten dari seorang influencer kontroversial – dan mulai menganut pandangan misoginis.

Temannya “berlebihan”, kata Cai. “Dia mulai mengatakan hal-hal tentang wanita. Rasanya seperti Anda harus memberi tahu teman Anda kenyataan yang sebenarnya.”

Cai mengatakan bahwa ia telah mengomentari unggahan yang menyatakan bahwa ia tidak menyukainya, dan ketika ia tidak sengaja menyukai video, ia telah mencoba untuk membatalkannya, dengan harapan hal itu akan menyetel ulang algoritme. Namun, ia mengatakan bahwa ia malah mendapati lebih banyak video yang memenuhi feed-nya.

Jadi, bagaimana sebenarnya algoritma TikTok bekerja?

Menurut Andrew Kaung, bahan bakar algoritme adalah keterlibatan, terlepas dari apakah keterlibatan itu positif atau negatif. Itu dapat menjelaskan sebagian mengapa upaya Cai untuk memanipulasi algoritme tidak berhasil.

Langkah pertama bagi pengguna adalah menentukan beberapa kesukaan dan minat saat mereka mendaftar. Andrew mengatakan beberapa konten yang awalnya disajikan oleh algoritme kepada, misalnya, remaja berusia 16 tahun, didasarkan pada preferensi yang mereka berikan dan preferensi pengguna lain yang berusia sama di lokasi yang sama.

Menurut TikTok, algoritme tidak didasarkan pada jenis kelamin pengguna. Namun Andrew mengatakan minat yang ditunjukkan remaja saat mendaftar sering kali berdampak pada pengelompokan mereka berdasarkan jenis kelamin.

Mantan karyawan TikTok tersebut mengatakan sejumlah remaja laki-laki berusia 16 tahun bisa saja terpapar konten kekerasan “segera”, karena pengguna remaja lain dengan preferensi serupa telah menunjukkan ketertarikan pada jenis konten ini – meskipun itu berarti hanya menghabiskan lebih banyak waktu pada video yang menarik perhatian mereka sedikit lebih lama.

Minat yang ditunjukkan oleh banyak gadis remaja dalam profil yang ia teliti – “penyanyi pop, lagu, tata rias” – berarti mereka tidak direkomendasikan konten kekerasan ini, katanya.

Dia mengatakan algoritma tersebut menggunakan “pembelajaran penguatan” – sebuah metode di mana sistem AI belajar melalui coba-coba – dan melatih diri untuk mendeteksi perilaku terhadap video yang berbeda.

Andrew Kaung mengatakan bahwa iklan tersebut dirancang untuk memaksimalkan keterlibatan dengan menunjukkan video yang mereka harapkan akan membuat Anda menonton lebih lama, memberi komentar, atau menyukai video tersebut – semua itu agar Anda terus kembali lagi.

Algoritma yang merekomendasikan konten ke “Halaman Untuk Anda” TikTok, katanya, tidak selalu membedakan antara konten yang berbahaya dan tidak berbahaya.

Menurut Andrew, salah satu masalah yang ia identifikasi saat bekerja di TikTok adalah bahwa tim yang terlibat dalam pelatihan dan pengkodean algoritma itu tidak selalu mengetahui sifat pasti video yang direkomendasikan.

“Mereka melihat jumlah penonton, usia, tren, dan data yang sangat abstrak seperti itu. Mereka belum tentu benar-benar terpapar pada konten tersebut,” kata mantan analis TikTok itu kepada saya.

Itulah sebabnya, pada tahun 2022, ia dan seorang rekannya memutuskan untuk melihat jenis video apa yang direkomendasikan kepada berbagai pengguna, termasuk beberapa anak berusia 16 tahun.

Ia mengatakan mereka prihatin mengenai konten kekerasan dan berbahaya yang ditayangkan kepada sejumlah remaja, dan mengusulkan kepada TikTok agar memperbarui sistem moderasinya.

Mereka ingin TikTok memberi label video dengan jelas sehingga setiap orang yang bekerja di sana dapat melihat alasan video tersebut berbahaya – kekerasan ekstrem, pelecehan, pornografi, dan sebagainya – dan mempekerjakan lebih banyak moderator yang mengkhususkan diri dalam berbagai bidang tersebut. Andrew mengatakan saran mereka ditolak saat itu.

TikTok mengatakan bahwa mereka memiliki moderator spesialis pada saat itu dan, seiring berkembangnya platform tersebut, mereka terus merekrut lebih banyak lagi. TikTok juga mengatakan bahwa mereka memisahkan berbagai jenis konten berbahaya – ke dalam apa yang mereka sebut antrean – untuk moderator.

Panorama: Bisakah Kita Hidup Tanpa Ponsel?

Apa yang terjadi jika ponsel pintar diambil dari anak-anak selama seminggu? Panorama mencari tahu dengan bantuan dua keluarga dan banyak kamera jarak jauh. Dan dengan adanya seruan agar ponsel pintar dilarang untuk anak-anak, Marianna Spring berbicara kepada orang tua, remaja, dan orang dalam perusahaan media sosial untuk menyelidiki apakah konten yang diunggah ke feed mereka membahayakan mereka.

Saksikan pada hari Senin di BBC One pukul 20:00 BST (20:30 di Skotlandia) atau di BBC iPlayer (Hanya Inggris)

Andrew Kaung mengatakan bahwa dari dalam TikTok dan Meta, rasanya sangat sulit untuk membuat perubahan yang menurutnya perlu.

“Kami meminta perusahaan swasta yang berkepentingan untuk mempromosikan produk mereka untuk bersikap moderat, yang mana sama saja dengan meminta harimau untuk tidak memangsa Anda,” katanya.

Ia juga mengatakan menurutnya kehidupan anak-anak dan remaja akan lebih baik jika mereka berhenti menggunakan telepon pintar.

Namun bagi Cai, pelarangan ponsel atau media sosial bagi remaja bukanlah solusinya. Ponselnya sangat penting dalam hidupnya – alat yang sangat penting untuk mengobrol dengan teman, mencari jalan saat bepergian, dan membayar berbagai barang.

Sebaliknya, ia ingin perusahaan media sosial lebih mendengarkan apa yang tidak ingin dilihat remaja. Ia ingin perusahaan membuat alat yang memungkinkan pengguna menunjukkan preferensi mereka lebih efektif.

“Saya merasa perusahaan media sosial tidak menghargai pendapat Anda, selama itu menghasilkan uang bagi mereka,” kata Cai kepada saya.

Di Inggris, undang-undang baru akan memaksa perusahaan media sosial untuk memverifikasi usia anak-anak dan menghentikan situs yang merekomendasikan konten porno atau konten berbahaya lainnya kepada kaum muda. Regulator media Inggris Ofcom bertugas untuk menegakkannya.

Almudena Lara, direktur pengembangan kebijakan keselamatan daring Ofcom, mengatakan bahwa meskipun konten berbahaya yang sebagian besar memengaruhi wanita muda – seperti video yang mempromosikan gangguan makan dan menyakiti diri sendiri – telah menjadi sorotan, jalur algoritmik yang mendorong kebencian dan kekerasan terutama terhadap remaja laki-laki dan pria muda kurang mendapat perhatian.

“Hal ini cenderung menjadi minoritas [children] yang terpapar konten yang paling berbahaya. Namun, kami tahu bahwa begitu Anda terpapar konten berbahaya tersebut, hal itu menjadi tidak dapat dihindari,” kata Lara.

Ofcom mengatakan pihaknya dapat mendenda perusahaan dan mengajukan tuntutan pidana jika mereka tidak berbuat lebih banyak, tetapi tindakan tersebut tidak akan berlaku hingga tahun 2025.

TikTok menyatakan bahwa mereka menggunakan “teknologi inovatif” dan menyediakan pengaturan keamanan dan privasi “terdepan di industri” untuk remaja, termasuk sistem untuk memblokir konten yang mungkin tidak sesuai, dan bahwa mereka tidak mengizinkan kekerasan ekstrem atau kebencian terhadap perempuan.

Meta, yang memiliki Instagram dan Facebook, mengatakan bahwa mereka memiliki lebih dari “50 alat, sumber daya, dan fitur berbeda” untuk memberikan “pengalaman positif dan sesuai usia” kepada remaja. Menurut Meta, mereka mencari masukan dari tim mereka sendiri dan perubahan kebijakan yang potensial akan melalui proses yang kuat.