Bangalore, India – Pada tanggal 23 Januari, seorang ikon sinema dan politik India, M Karunanidhi muncul di hadapan penonton langsung di layar besar yang diproyeksikan, untuk memberi selamat kepada temannya yang berusia 82 tahun dan sesama politisi TR Baalu atas peluncuran buku otobiografinya.
Mengenakan kacamata hitam khasnya, kemeja putih, dan selendang kuning di bahunya — gaya Karunanidhi sangat tepat. Dalam delapan menitnya pidatopenyair veteran yang berubah menjadi politisi ini mengucapkan selamat kepada penulis buku tersebut, namun juga memuji secara berlebihan atas kepemimpinan yang cakap dari MK Stalin, putranya, dan pemimpin negara saat ini.
Karunanidhi telah meninggal sejak tahun 2018. Ini adalah ketiga kalinya, dalam enam bulan terakhir, pemimpin ikonik partai Dravida Munnetra Kazhagam (DMK) dibangkitkan kembali menggunakan kecerdasan buatan (AI) untuk acara publik semacam itu.
“Ketika pandemi COVID melanda dunia, Ketua Menteri kita berlari ke arah suara-suara panik masyarakat,” kata Karunanidhi. “Bangsa ini tahu cara Anda berjuang menyelamatkan nyawa banyak orang, dan saya juga.”
Senthil Nayagam, pendiri Muonium, perusahaan teknologi media AI yang membuat video Deepfake Karunanidhi, mengatakan kepada Al Jazeera bahwa “ada pasar yang terbuka. [for such deepfakes]…. Anda dapat mengatribusikan beberapa pernyataan kepada orang tertentu dan hal semacam itu memberi nilai lebih padanya”.
Penampilan publik pertama AI Karunanidhi adalah di media lokal peristiwa tahun lalu di bulan September, yang disusul dengan kampanye lain yang dilakukan oleh anggota partainya. Pemimpin yang bangkit ini sering memberikan ucapan selamat kepada para pekerja partai dan secara khusus memuji kepemimpinan putranya, MK Stalin – dengan tujuan untuk meningkatkan popularitasnya.
Pada peluncuran buku di bulan Januari, AI Karunanidhi menceritakan semuanya mulai dari pengampunan utang pelajar dan pemberian uang tunai kepada masyarakat miskin, hingga kebijakan ramah perempuan dan investasi – sebuah daftar pencapaian putranya selama bertahun-tahun yang telah mendorong negara ini maju.
Wawancara publik terakhir Karunanidhi adalah pada tahun 2016, sebelum suaranya menjadi kasar dan tubuhnya lemah. Nayagam menggunakan data Karunanidhi yang tersedia untuk umum untuk melatih model pidato dan menciptakan kembali kemiripan pemimpin tersebut pada tahun 1990-an ketika ia masih jauh lebih muda. Naskah pidato AI yang direkam sebelumnya, kata dia, disediakan oleh kader DMK setempat, dan diperiksa oleh personel partai.
TR Baalu, yang timnya menyetujui pembuatan AI Karunanidhi, tidak menanggapi permintaan komentar Al Jazeera.
Karunanidhi adalah salah satu legislator terlama di India yang memimpin negara bagian Tamil Nadu selama hampir dua dekade, dan menjabat total lima periode sebagai ketua menteri. Penyair yang beralih menjadi politisi ini menulis skenario tentang emansipasi kasta rendah dan terus berpengaruh di kalangan pemilih yang lebih tua.
Berdasarkan laporan media lokal, reaksi terhadap video AI ini telah mendorong pimpinan partai DMK untuk berpikir untuk membuat pidato kampanye AI Karunanidhi pada kampanye pemilu parlemen 2024 mendatang.
Masalah etika dan hukum
Bahkan ketika para pembuat kebijakan sedang mengevaluasi contoh-contoh jenis komunikasi AI yang harus diatur, sebuah partai politik menggunakan AI untuk membangkitkan pendukung politik di masa lalu untuk mempromosikan pemimpin saat ini.
Namun hal ini juga menimbulkan beberapa pertanyaan etika dan hukum yang meresahkan: “Penggunaan AI untuk membuat audio dan video sintetis oleh orang hidup yang telah menyetujui konten tersebut adalah satu hal. Menghidupkan kembali orang mati dan memberikan pendapat kepada mereka adalah hal yang berbeda,” kata Amber Sinha, peneliti senior untuk Trustworthy AI di Mozilla Foundation.
Namun jin itu sudah keluar dari botol. Menurut Diggaj Mogra, direktur Jarvis Consulting, salah satu konsultan politik terbesar di India, pemasaran konten yang difasilitasi AI untuk kampanye pemilu, termasuk panggilan suara dan SMS keluar, pembuatan avatar, penjangkauan media yang dipersonalisasi, dan materi iklan multibahasa yang dibuat oleh AI di media sosial adalah hal yang penting. perkiraan peluang pasar senilai $60 juta di India pada tahun pemilu ini.
“Di Tamil Nadu, semua pemimpin besar dari masing-masing partai sudah tidak ada lagi,” kata Nayagam, mengacu pada mantan aktor yang berubah menjadi politisi Jayalalitha, MG Ramachandran, dan Vijayakanth. Nayagam mengatakan dia telah menghubungi beberapa pejabat tingkat rendah di seluruh lini partai yang tertarik memanfaatkan AI untuk deepfake serupa.
Minat terhadap aplikasi semacam itu meningkat, katanya, setelah tahun lalu ia membagikan video berdurasi empat menit di X pada bulan September klip audio program Mann Ki Baat Perdana Menteri Narendra Modi yang telah dikloning oleh perusahaannya dalam delapan bahasa. Pertanyaan-pertanyaan menarik tersebut telah memberikan Nayagam dan konsultan lainnya gagasan tentang peluang bisnis dalam pemilu AI.
Secara global, lebih dari 60 negara akan menyelenggarakan pemilu nasional pada tahun 2024, dan kemungkinan penyalahgunaan kecerdasan buatan untuk mempengaruhi opini publik telah menyebabkan kepanikan moral, yang kemudian menjadi isu hangat global.
Menjelang kampanye presiden Indonesia, Prabowo Subianto, mantan jenderal militer yang dituduh melakukan kekejaman terhadap aktivis pro-demokrasi, menggunakan AI generatif untuk membayangkan kembali dirinya sebagai avatar AI yang berpipi tembem, untuk menarik pemilih muda.
Di Asia Selatan, penggunaan AI untuk kampanye dan penyalahgunaan telah menjadi hal yang menonjol. Di Bangladesh, akun-akun pro-pemerintah menggunakan deepfake untuk menargetkan partai-partai oposisi. Di Pakistan, mantan Perdana Menteri Imran Khan telah berkampanye dari dalam sel penjaranya dengan memberikan catatan tertulis kepada pengacaranya, yang kemudian diubah menjadi pidato audio AI menggunakan perangkat lunak dari perusahaan rintisan ElevenLabs yang berbasis di AS.
“Penggunaan AI dalam kampanye tampaknya mulai berkembang pesat di Asia Selatan,” kata Sinha dari Mozilla Foundation.
Pada tanggal 21 Januari, partai DMK menyelenggarakan konferensi sayap pemuda tahunan kedua di kota kuil Salem. Acara besar yang diselenggarakan di arena terbuka ini menarik 500.000 pendukung dan menandai peluncuran resmi kampanye pemilu DMK 2024. Para pemimpin partai memberikan pidato yang menantang Partai Bharatiya Janata (BJP) yang merupakan nasionalis Hindu, dan mengkritik kebijakan-kebijakannya termasuk dilusi kekuasaan negara oleh pusat yang dikuasai BJP.
Pada kampanye kali ini, AI Karunanidhi kembali membuat video kejutan. “Banyak hak-hak negara bagian yang berjuang keras telah hilang dalam 10 tahun pemerintahan BJP,” kata Karunanidhi, menjelaskan tentang berlanjutnya permusuhan BJP terhadap Tamil Nadu.
Video berdurasi tiga menit pidatoDiiringi musik inspiratif, diakhiri dengan AI Karunanidhi yang menyerukan penguatan hak-hak bernegara, dan mengajak kader-kader muda memperjuangkan masa depan demokrasi.
“Ini diciptakan oleh sayap media digital partai untuk mendorong dan membangkitkan semangat para kader,” kata juru bicara DMK Dharanidharan Selvam kepada Al Jazeera. “Saya kira para kader pasti antusias dan bersemangat.”
Para pemimpin yang sudah meninggal lebih menyukai kampanye politik “karena mereka lebih populer dibandingkan pemimpin yang masih hidup”, kata Sumanth Raman, seorang komentator politik yang berbasis di Chennai. “Anda tidak memiliki pemimpin massa sekaliber Ibu Jayalalitha” – bintang politik muda lainnya – “atau Tuan Karunanidhi di Tamil Nadu saat ini”.
Dalam 30 tahun terakhir, lebih dari setengah lusin partai politik didirikan oleh aktor-aktor di negara bagian. Banyak pemimpin datang dari dunia perfilman di mana mereka memainkan karakter yang lebih besar dari kehidupan, kata Raman, dan selalu dijunjung tinggi oleh masyarakat.
“Tetapi hal itu akan disesuaikan ketika kita beralih ke generasi berikutnya, yaitu generasi kita sekarang. Para pemimpin menghadapi pengawasan yang jauh lebih besar setiap hari, dan oleh karena itu Anda tidak memiliki aura yang besar mengenai hal itu,” katanya.
'Manfaatkan popularitas orang yang sudah meninggal'
Dampak kebangkitan para pemimpin ikonik terhadap khalayak masih terus berlangsung. “Saya pikir itu adalah upaya yang biasa saja — hal itu dilakukan oleh orang-orang di partainya sehingga mereka melakukannya,” kata Raman, tentang pidato video AI. “AI saat ini mampu menghasilkan citra yang lebih baik lagi.”
Untuk video peluncuran buku, jelas video tersebut sintetis karena lip sync-nya kurang pas. Namun, audio suara Karunanidhi mencerminkan kenyataan.
Nayagam, pencipta AI Karunanidhi mengatakan, salah satu penyebab ketidaksempurnaan visual adalah tidak tersedianya kumpulan data video berkualitas tinggi, sehingga memaksa mereka untuk mengambil sumber apa pun yang tersedia di internet.
Video yang ditayangkan di konferensi pemuda lebih baik, tetapi tidak konsisten di mulut. Namun, tanggapan penonton online terhadap video tersebut tetap sama baik, dengan beberapa orang berkomentar “super” di YouTube. Kedua video tersebut dengan jelas diberi label sebagai buatan AI.
India menyaksikan penggunaan deepfake untuk pertama kalinya dalam kampanye pemilu pada tahun 2020, ketika politisi BJP Manoj Tiwari menyetujui pembuatan dan distribusi video deepfake dirinya yang berkampanye dalam bahasa Haryanvi dan Inggris, bahasa yang tidak ia kuasai. Para ahli mengecam video tersebut, tetapi dengan alasan bahwa video tersebut dibagikan tanpa pengungkapan bahwa video tersebut dimanipulasi oleh AI.
Ada yang berpendapat bahwa pembuatan video AI yang menampilkan para politisi merupakan perpanjangan dari penggunaan foto atau gambar orang mati oleh partai politik mereka, kata Sinha, seperti penggunaan gambar Nehru, Indira Gandhi, atau Rajiv Gandhi setelah kematian mereka oleh orang India. Kongres Nasional.
“Namun, pembuatan audio atau video sintetis membutuhkan beberapa langkah lebih jauh,” kata Sinha. “Dalam kedua kasus tersebut, partai mencoba memanfaatkan popularitas orang yang sudah meninggal, namun dalam kasus terakhir, opini dan pesan secara aktif dianggap berasal dari mereka.”
Teka-teki tambahan dalam membangkitkan kembali politisi yang telah meninggal adalah: Siapa yang berhak atas suara dan rupa orang yang telah meninggal?
“Hal ini tentu saja tidak memiliki dasar hukum di India, karena kami tidak memiliki hak apa pun yang diabadikan atas orang yang meninggal di India, namun dari sudut pandang etika, persetujuan perlu dipertimbangkan,” kata Devika Malik, seorang Konsultan kebijakan teknologi yang berbasis di Delhi berfokus pada kepercayaan dan keamanan online. Hukum India menawarkan perlindungan hukum terhadap pencemaran nama baik terhadap orang yang sudah meninggal.
Politisi India juga secara aktif mencari solusi AI untuk kampanye mendatang. Mogra dari Jarvis Consulting mengatakan kandidat individu mencoba menggunakan klon suara AI untuk mendorong robocall keluar atau IVRS (Sistem Respon Suara Interaktif) dengan rekaman suara dan nama yang dipersonalisasi dalam pesan mereka. “Ada banyak vendor yang tersebar di berbagai negara untuk melakukan hal ini, menjualnya dengan harga yang sangat murah,” kata Mogra.
Sudah ada ekonomi media sintetik yang sedang berkembang mengenai penggunaan deepfake yang disetujui oleh para aktor dan CEO, dan pasar tersebut telah meluas ke ranah politik. Konsultan seperti Polymath Solutions, yang dioperasikan oleh Devendra Singh Jadoun, menggunakan kloning suara untuk menyampaikan “pesan yang dipersonalisasi” kepada pekerja partai di lapangan dari para politisi.
“Ini akan digunakan secara besar-besaran dalam pemilu kali ini,” kata Mogra. Namun, “ini adalah pedang bermata dua. Ini akan menciptakan banyak misinformasi dan disinformasi. Saya pikir manfaatnya lebih sedikit, dan masalah mis/disinformasi akan lebih tinggi.”
Dari sudut pandang dampak sosial, sejauh mana video AI ini – bahkan jika dibuat dengan buruk – dapat membentuk sikap pemilih masih belum jelas.
Bahkan ketika video tersebut tidak berkualitas tinggi, “dalam kasus pembicara populer di masa lalu seperti M Karunanidhi, hal ini dapat menarik lebih banyak perhatian untuk menyampaikan pesan tersebut dan membantunya menjadi viral”, kata Sinha.
Yang terbaru riset menyoroti bagaimana “aktor-aktor yang tersebar” atau konsultan politik, yang meskipun tidak berafiliasi dengan partai, berkolaborasi dengan kampanye untuk menyebarkan pesan mereka.
Memanfaatkan daya tarik sentimental dari pendukung atau keluarga tertentu – terutama ketika pesan tersebut dipersonalisasi dan dikirim melalui WhatsApp – dapat menjadi strategi komunikasi yang efektif dan dapat mempengaruhi opini pemilih, tambah Malik.
Namun perspektif pendukung dan praktisi kebijakan sangat berbeda mengenai efektivitas media sintetis.
Mogra dari Jarvis memperkirakan bahwa faktor kebaruan dalam pesan personal berbasis AI yang disampaikan oleh para politisi – baik berupa audio maupun video – akan segera habis. “Jika orang-orang mulai sering melihatnya, mereka akan menyadari bahwa hal ini terjadi di mana-mana, dan mereka melihatnya di mana-mana – seperti yang terjadi dengan WhatsApp,” katanya.
Sebelumnya, partai politik memberikan penekanan ekstra pada pembuatan grup WhatsApp untuk melakukan sosialisasi. Sekarang, semua orang tahu bahwa setiap orang adalah bagian dari ratusan grup dan tidak ada yang terlalu memperhatikan atau membaca semua obrolan.
“Saya pikir kita akan menghadapi masalah serupa dengan lebih cepat dengan solusi dan kasus penggunaan AI generatif ini,” kata Mogra.
