Sebuah fitur yang didemonstrasikan Google pada pertemuan I/O kemarin, menggunakan teknologi AI generatifnya untuk memindai panggilan suara secara real-time untuk mencari pola percakapan yang terkait dengan penipuan keuangan, telah membuat para pakar privasi dan keamanan merinding. fitur mewakili ujung tipis irisan. Mereka memperingatkan bahwa, ketika pemindaian sisi klien dimasukkan ke dalam infrastruktur seluler, hal ini dapat mengantarkan era sensor terpusat.
Demo fitur deteksi penipuan panggilan Google, yang menurut raksasa teknologi itu akan dibangun ke dalam versi masa depan OS Android-nya – diperkirakan berjalan pada sekitar tiga perempat ponsel pintar di dunia – didukung oleh Gemini Nano, yang terkecil dari produk-produknya. model AI generasi saat ini dimaksudkan untuk dijalankan sepenuhnya di perangkat.
Ini pada dasarnya adalah pemindaian sisi klien: Sebuah teknologi baru yang menimbulkan kontroversi besar dalam beberapa tahun terakhir sehubungan dengan upaya mendeteksi materi pelecehan seksual terhadap anak-anak (CSAM) atau bahkan aktivitas perawatan di platform pengiriman pesan.
Apple membatalkan rencana untuk menerapkan pemindaian sisi klien untuk CSAM pada tahun 2021 setelah mendapat reaksi keras terhadap privasi. Namun para pembuat kebijakan terus memberikan tekanan pada industri teknologi untuk menemukan cara mendeteksi aktivitas ilegal yang terjadi di platform mereka. Oleh karena itu, setiap langkah industri untuk membangun infrastruktur pemindaian pada perangkat dapat membuka jalan bagi semua jenis pemindaian konten secara default – baik yang dipimpin oleh pemerintah, atau terkait dengan agenda komersial tertentu.
Menanggapi demo pemindaian panggilan Google di a posting di X, Meredith Whittaker, presiden aplikasi pesan terenkripsi Signal yang berbasis di AS, memperingatkan: “Ini sangat berbahaya. Ini membuka jalan bagi pemindaian sisi klien tingkat perangkat yang terpusat.
“Dari mendeteksi 'penipuan', ini adalah langkah singkat menuju 'mendeteksi pola yang umumnya terkait dengan penipuan'[ith] mencari perawatan reproduksi' atau 'umum diasosiasikan w[ith] menyediakan sumber daya LGBTQ' atau 'umumnya dikaitkan dengan pelaporan pelanggaran kepada pekerja teknologi'.”
Pakar kriptografi Matthew Green, seorang profesor di Johns Hopkins, juga dibawa ke X untuk membunyikan alarm. “Di masa depan, model AI akan melakukan inferensi pada SMS dan panggilan suara Anda untuk mendeteksi dan melaporkan perilaku terlarang,” dia memperingatkan. “Agar data Anda dapat melewati penyedia layanan, Anda harus melampirkan bukti tanpa pengetahuan bahwa pemindaian telah dilakukan. Ini akan memblokir klien terbuka.”
Green berpendapat bahwa masa depan sensor distopia secara default hanya tinggal beberapa tahun lagi secara teknis mungkin dilakukan. “Kita masih jauh dari teknologi ini yang cukup efisien untuk direalisasikan, namun hanya dalam beberapa tahun. Paling lama satu dekade,” usulnya.
Pakar privasi dan keamanan Eropa juga dengan cepat menolaknya.
Bereaksi terhadap demo Google pada X, Lukasz Olejnik, seorang peneliti dan konsultan independen yang berbasis di Polandia untuk masalah privasi dan keamanan, menyambut baik fitur anti-penipuan yang dimiliki perusahaan tersebut tetapi memperingatkan bahwa infrastruktur tersebut dapat digunakan kembali untuk pengawasan sosial. “[T]ini juga berarti bahwa kemampuan teknis telah, atau sedang dikembangkan untuk memantau panggilan, pembuatan, penulisan teks atau dokumen, misalnya untuk mencari konten ilegal, berbahaya, penuh kebencian, atau konten yang tidak diinginkan atau tidak pantas – sehubungan dengan standar seseorang,” dia menulis.
“Lebih jauh lagi, model seperti itu bisa, misalnya, menampilkan peringatan. Atau menghalangi kemampuan untuk melanjutkan,” lanjut Olejnik dengan penekanan. “Atau laporkan ke suatu tempat. Modulasi teknologi terhadap perilaku sosial, atau sejenisnya. Hal ini merupakan ancaman besar terhadap privasi, namun juga terhadap sejumlah nilai-nilai dasar dan kebebasan. Kemampuannya sudah ada.”
Untuk mengungkapkan kekhawatirannya lebih lanjut, Olejnik mengatakan kepada TechCrunch: “Saya belum melihat detail teknisnya tetapi Google menjamin bahwa deteksi akan dilakukan di perangkat. Ini bagus untuk privasi pengguna. Namun, ada lebih banyak hal yang dipertaruhkan selain privasi. Hal ini menyoroti bagaimana AI/LLM yang tertanam dalam perangkat lunak dan sistem operasi dapat diubah untuk mendeteksi atau mengendalikan berbagai bentuk aktivitas manusia.
Hal ini menyoroti bagaimana AI/LLM yang tertanam dalam perangkat lunak dan sistem operasi dapat diubah untuk mendeteksi atau mengendalikan berbagai bentuk aktivitas manusia.
Lukasz Olejnik
“Sejauh ini untungnya menjadi lebih baik. Namun apa yang akan terjadi jika kemampuan teknis sudah ada dan tertanam di dalamnya? Fitur-fitur canggih tersebut menandakan potensi risiko di masa depan terkait dengan kemampuan penggunaan AI untuk mengendalikan perilaku masyarakat dalam skala besar atau selektif. Ini mungkin salah satu kemampuan teknologi informasi paling berbahaya yang pernah dikembangkan. Dan kita sedang mendekati titik itu. Bagaimana kita mengatur hal ini? Apakah kita bertindak terlalu jauh?”
Michael Veale, seorang profesor hukum teknologi di UCL, juga mengangkat momok mengerikan dari fungsi-creep yang mengalir dari AI pemindai percakapan Google — peringatan sebagai reaksi posting di X bahwa mereka “menyiapkan infrastruktur untuk pemindaian sisi klien pada perangkat untuk tujuan lebih dari ini, yang ingin disalahgunakan oleh regulator dan legislator.”
Pakar privasi di Eropa memiliki alasan khusus untuk merasa khawatir: Uni Eropa telah mengajukan proposal legislatif yang bersifat kontroversial, sejak tahun 2022, yang oleh para kritikus – termasuk Pengawas Perlindungan Data – dianggap sebagai titik kritis bagi hak-hak demokrasi di Eropa. wilayah karena akan memaksa platform untuk memindai pesan pribadi secara default.
Meskipun proposal legislatif saat ini mengklaim tidak mengenal teknologi, undang-undang tersebut diperkirakan secara luas akan mengarah pada platform yang menerapkan pemindaian sisi klien agar dapat merespons apa yang disebut “perintah deteksi” yang menuntut mereka mengenali baik yang diketahui maupun yang tidak. CSAM dan juga mengambil aktivitas perawatan secara real-time.
Awal bulan ini, ratusan pakar privasi dan keamanan menulis surat terbuka yang memperingatkan bahwa rencana tersebut dapat menyebabkan jutaan kesalahan positif setiap hari, karena teknologi pemindaian sisi klien yang mungkin digunakan oleh platform sebagai respons terhadap perintah hukum tidak terbukti. , sangat cacat dan rentan terhadap serangan.
Google dihubungi untuk menanggapi kekhawatiran bahwa AI pemindai percakapannya dapat mengikis privasi orang, tetapi hingga berita ini dimuat, Google belum memberikan tanggapan.
