Dewan Pengawas, dewan kebijakan semi-independen Meta, mengalihkan perhatiannya pada bagaimana platform sosial perusahaan menangani gambar eksplisit yang dihasilkan AI. Pada hari Selasa, mereka mengumumkan penyelidikan terhadap dua kasus terpisah mengenai bagaimana Instagram di India dan Facebook di AS menangani gambar figur publik yang dihasilkan AI setelah sistem Meta gagal mendeteksi dan merespons konten eksplisit.
Dalam kedua kasus tersebut, situs tersebut kini telah menutup medianya. Dewan tidak menyebutkan nama individu yang menjadi sasaran gambar AI “untuk menghindari pelecehan berbasis gender,” menurut email Meta yang dikirim ke TechCrunch.
Dewan menangani kasus-kasus tentang keputusan moderasi Meta. Pengguna harus mengajukan banding ke Meta terlebih dahulu tentang langkah moderasi sebelum mendekati Dewan Pengawas. Dewan akan mempublikasikan temuan dan kesimpulan lengkapnya di masa depan.
Kasus-kasusnya
Menggambarkan kasus pertama, dewan tersebut mengatakan bahwa seorang pengguna melaporkan foto telanjang seorang figur publik dari India yang dibuat oleh AI di Instagram sebagai pornografi. Gambar tersebut diposting oleh akun yang secara eksklusif memposting gambar wanita India yang dibuat oleh AI, dan sebagian besar pengguna yang bereaksi terhadap gambar tersebut berbasis di India.
Meta gagal menghapus gambar tersebut setelah laporan pertama, dan tiket untuk laporan tersebut ditutup secara otomatis setelah 48 jam setelah perusahaan tidak meninjau laporan tersebut lebih lanjut. Ketika pelapor awal mengajukan banding atas keputusan tersebut, laporan tersebut kembali ditutup secara otomatis tanpa pengawasan apa pun dari Meta. Dengan kata lain, setelah dua laporan, gambar eksplisit yang dihasilkan AI tetap ada di Instagram.
Pengguna akhirnya mengajukan banding ke dewan. Pada saat itu, perusahaan hanya bertindak untuk menghapus konten yang tidak pantas dan menghapus gambar tersebut karena melanggar standar komunitasnya mengenai penindasan dan pelecehan.
Kasus kedua berkaitan dengan Facebook, di mana pengguna memposting gambar eksplisit yang dihasilkan AI yang menyerupai tokoh masyarakat AS di Grup yang berfokus pada kreasi AI. Dalam kasus ini, jejaring sosial tersebut menghapus gambar tersebut seperti yang diposting oleh pengguna lain sebelumnya, dan Meta telah menambahkannya ke Bank Layanan Pencocokan Media di bawah kategori “photoshop atau gambar yang menghina secara seksual”.
Ketika TechCrunch bertanya mengapa dewan memilih kasus di mana perusahaan berhasil menghapus gambar eksplisit yang dihasilkan AI, dewan mengatakan bahwa mereka memilih kasus “yang melambangkan masalah yang lebih luas di seluruh platform Meta.” Ia menambahkan bahwa kasus-kasus ini membantu dewan penasihat untuk melihat efektivitas global kebijakan dan proses Meta untuk berbagai topik.
“Kami tahu bahwa Meta lebih cepat dan efektif dalam memoderasi konten di beberapa pasar dan bahasa dibandingkan pasar dan bahasa lainnya. Dengan mengambil satu kasus dari AS dan satu kasus dari India, kami ingin melihat apakah Meta melindungi semua perempuan secara global dengan cara yang adil,” kata Ketua Dewan Pengawas Helle Thorning-Schmidt dalam sebuah pernyataan.
“Dewan percaya bahwa penting untuk mengeksplorasi apakah kebijakan Meta dan praktik penegakan hukumnya efektif dalam mengatasi masalah ini.”
Masalah pornografi palsu dan kekerasan online berbasis gender
Beberapa — tidak semua — alat AI generatif dalam beberapa tahun terakhir telah diperluas untuk memungkinkan pengguna menghasilkan pornografi. Seperti yang dilaporkan TechCrunch sebelumnya, kelompok seperti Unstable Diffusion mencoba memonetisasi pornografi AI dengan garis etika yang tidak jelas dan bias dalam data.
Di wilayah seperti India, deepfake juga menjadi masalah yang memprihatinkan. Tahun lalu, laporan dari BBC mencatat bahwa jumlah video palsu aktris India telah melonjak dalam beberapa waktu terakhir. Data menyarankan bahwa perempuan lebih sering dijadikan subjek video deepfake.
Awal tahun ini, Wakil Menteri TI Rajeev Chandrasekhar menyatakan ketidakpuasannya terhadap pendekatan perusahaan teknologi dalam melawan deepfake.
“Jika sebuah platform berpikir bahwa mereka dapat melarikan diri tanpa menghapus video deepfake, atau hanya bersikap biasa-biasa saja, kami memiliki kekuatan untuk melindungi warga negara kami dengan memblokir platform tersebut,” kata Chandrasekhar dalam konferensi pers saat itu.
Meskipun India telah mempertimbangkan untuk memasukkan peraturan khusus terkait deepfake ke dalam undang-undangnya, namun belum ada keputusan pasti.
Meskipun negara ini mempunyai ketentuan untuk melaporkan kekerasan berbasis gender secara online berdasarkan undang-undang, para ahli mencatat hal tersebut prosesnya bisa membosankan, dan seringkali hanya ada sedikit dukungan. Dalam sebuah penelitian yang diterbitkan tahun lalu, kelompok advokasi India TI untuk Perubahan mencatat bahwa pengadilan di India perlu memiliki proses yang kuat untuk menangani kekerasan berbasis gender secara online dan tidak meremehkan kasus-kasus ini.
Saat ini hanya ada sedikit undang-undang di seluruh dunia yang mengatur produksi dan distribusi pornografi yang dihasilkan menggunakan alat AI. Sejumlah negara bagian AS memiliki undang-undang yang melarang deepfake. Inggris memperkenalkan undang-undang minggu ini untuk mengkriminalisasi pembuatan gambar yang ditenagai AI secara seksual eksplisit.
Respon Meta dan langkah selanjutnya
Menanggapi kasus Dewan Pengawas, Meta mengatakan telah menghapus kedua konten tersebut. Namun, perusahaan media sosial tersebut tidak mengatasi fakta bahwa mereka gagal menghapus konten di Instagram setelah laporan awal dari pengguna atau berapa lama konten tersebut ada di platform.
Meta mengatakan bahwa mereka menggunakan gabungan kecerdasan buatan dan tinjauan manusia untuk mendeteksi konten yang menjurus ke arah seksual. Raksasa media sosial tersebut mengatakan bahwa mereka tidak merekomendasikan konten semacam ini di tempat-tempat seperti rekomendasi Instagram Explore atau Reels.
Dewan Pengawas telah mencari komentar publik — dengan batas waktu hingga 30 April — mengenai masalah yang mengatasi dampak buruk dari pornografi palsu, informasi kontekstual tentang penyebaran konten semacam itu di wilayah seperti AS dan India, dan kemungkinan kendala dalam pendekatan Meta dalam mendeteksi gambar eksplisit yang dihasilkan AI.
Dewan akan menyelidiki kasus-kasus tersebut dan komentar-komentar publik serta memuat keputusan tersebut di situs tersebut dalam beberapa minggu.
Kasus-kasus ini menunjukkan bahwa platform besar masih bergulat dengan proses moderasi lama, sementara alat yang didukung AI telah memungkinkan pengguna membuat dan mendistribusikan berbagai jenis konten dengan cepat dan mudah. Perusahaan seperti Meta sedang bereksperimen dengan alat yang menggunakan AI untuk pembuatan konten, dengan beberapa upaya untuk mendeteksi citra tersebut. Namun, pelaku terus mencari cara untuk melarikan diri dari sistem deteksi ini dan memposting konten bermasalah di platform sosial.
