Pada hari Selasa, BBC melaporkan bahwa kurir Uber Eats, Pa Edrissa Manjang, yang berkulit hitam, telah menerima pembayaran dari Uber setelah pemeriksaan pengenalan wajah yang “diskriminatif secara rasial” mencegahnya mengakses aplikasi tersebut, yang telah ia gunakan sejak November 2019 untuk mendapatkan pekerjaan sebagai pengantar makanan di Uber. platform.
Berita ini menimbulkan pertanyaan tentang seberapa tepat hukum Inggris dalam menghadapi meningkatnya penggunaan sistem AI. Secara khusus, kurangnya transparansi seputar sistem otomatis yang diluncurkan ke pasar, dengan janji untuk meningkatkan keselamatan pengguna dan/atau efisiensi layanan, dapat menimbulkan risiko kerugian individu yang lebih besar, bahkan ketika upaya untuk mendapatkan ganti rugi bagi mereka yang terkena dampak bias yang didorong oleh AI dapat memakan waktu lama. bertahun-tahun.
Gugatan tersebut menyusul sejumlah keluhan tentang kegagalan pemeriksaan pengenalan wajah sejak Uber menerapkan sistem Pemeriksaan ID Waktu Nyata di Inggris pada tahun 2017 April 2020. Sistem pengenalan wajah Uber – berdasarkan teknologi pengenalan wajah Microsoft – mengharuskan pemegang akun untuk mengirimkan foto selfie langsung yang dicocokkan dengan foto mereka yang disimpan di file untuk memverifikasi identitas mereka.
Pemeriksaan ID gagal
Berdasarkan keluhan Manjang, Uber menangguhkan dan kemudian menutup akunnya setelah pemeriksaan ID gagal dan proses otomatis berikutnya, mengklaim menemukan “ketidakcocokan yang berkelanjutan” pada foto wajahnya yang diambilnya untuk tujuan mengakses platform. Manjang mengajukan tuntutan hukum terhadap Uber pada Oktober 2021, didukung oleh Komisi Kesetaraan dan Hak Asasi Manusia (EHRC) dan App Drivers & Couriers Union (ADCU).
Proses litigasi bertahun-tahun menyusul, dan Uber gagal memenuhi tuntutan Manjang atau memerintahkan uang jaminan untuk melanjutkan kasus tersebut. Taktik tersebut tampaknya telah berkontribusi dalam memperlancar proses litigasi, dengan EHRC menggambarkan kasus ini masih dalam “tahap awal” pada musim gugur 2023, dan mencatat bahwa kasus tersebut menunjukkan “kompleksitas klaim yang berkaitan dengan teknologi AI”. Sidang terakhir telah dijadwalkan selama 17 hari pada November 2024.
Sidang tersebut sekarang tidak akan dilakukan setelah Uber menawarkan – dan Manjang menerima – pembayaran untuk diselesaikan, yang berarti rincian lebih lengkap tentang apa yang sebenarnya salah dan mengapa tidak akan dipublikasikan. Persyaratan penyelesaian keuangan juga belum diungkapkan. Uber tidak memberikan rincian saat kami bertanya, juga tidak memberikan komentar tentang apa yang salah.
Kami juga menghubungi Microsoft untuk memberikan tanggapan terhadap hasil kasus ini, namun perusahaan tersebut menolak berkomentar.
Meski sudah sepakat dengan Manjang, Uber tidak secara terbuka menerima bahwa sistem atau prosesnya salah. Pernyataannya tentang penyelesaian tersebut menyangkal bahwa akun kurir dapat dihentikan hanya sebagai hasil dari penilaian AI, karena mereka mengklaim bahwa pemeriksaan pengenalan wajah dihentikan dengan “peninjauan manusia yang kuat.”
“Pemeriksaan ID Real Time kami dirancang untuk membantu menjaga semua orang yang menggunakan aplikasi kami tetap aman, dan mencakup tinjauan manusia yang kuat untuk memastikan bahwa kami tidak membuat keputusan tentang penghidupan seseorang dalam ruang hampa, tanpa pengawasan,” kata perusahaan itu dalam sebuah pernyataan. . “Verifikasi wajah otomatis bukanlah alasan hilangnya akses sementara ke akun kurir Pak Manjang.”
Namun yang jelas, ada yang tidak beres dengan pemeriksaan identitas Uber dalam kasus Manjang.
Pertukaran Info Pekerja (WIE), sebuah organisasi advokasi hak-hak digital pekerja platform yang juga mendukung keluhan Manjang, berhasil mendapatkan semua foto selfie-nya dari Uber, melalui Permintaan Akses Subjek berdasarkan undang-undang perlindungan data Inggris, dan mampu menunjukkan bahwa semua foto yang ia kirimkan yang diperiksa pengenalan wajahnya memang foto dirinya.
“Setelah pemecatannya, Pa mengirimkan banyak pesan ke Uber untuk memperbaiki masalah tersebut, khususnya meminta seseorang untuk meninjau kirimannya. Setiap kali Pa diberitahu 'kami tidak dapat memastikan bahwa foto-foto yang diberikan benar-benar milik Anda dan karena ketidakcocokan yang terus berlanjut, kami telah membuat keputusan akhir untuk mengakhiri kemitraan kami dengan Anda',” WIE menceritakan dalam diskusi mengenai kasusnya di sebuah laporan yang lebih luas melihat “eksploitasi berbasis data dalam gig economy”.
Berdasarkan rincian pengaduan Manjang yang dipublikasikan, terlihat jelas pemeriksaan pengenalan wajah kedua Uber Dan sistem peninjauan manusia yang ditetapkan sebagai jaring pengaman untuk pengambilan keputusan otomatis gagal dalam kasus ini.
Hukum kesetaraan ditambah perlindungan data
Kasus ini menimbulkan pertanyaan seberapa tepat hukum Inggris mengatur penggunaan AI.
Manjang akhirnya bisa mendapatkan penyelesaian dari Uber melalui proses hukum berdasarkan undang-undang kesetaraan – khususnya, klaim diskriminasi berdasarkan Undang-Undang Kesetaraan Inggris tahun 2006, yang mencantumkan ras sebagai karakteristik yang dilindungi.
Baroness Kishwer Falkner, ketua EHRC, mengkritik fakta bahwa kurir Uber Eats harus mengajukan tuntutan hukum “untuk memahami proses tidak jelas yang memengaruhi pekerjaannya,” tulisnya dalam sebuah pernyataan.
“AI itu kompleks dan menghadirkan tantangan unik bagi pengusaha, pengacara, dan regulator. Penting untuk dipahami bahwa seiring dengan meningkatnya penggunaan AI, teknologi tersebut dapat menyebabkan diskriminasi dan pelanggaran hak asasi manusia,” dia menulis. “Kami sangat prihatin karena Pak Manjang tidak diberitahu bahwa akunnya sedang dalam proses penonaktifan, atau diberikan jalur yang jelas dan efektif untuk menantang teknologi tersebut. Masih banyak yang harus dilakukan untuk memastikan perusahaan bersikap transparan dan terbuka terhadap tenaga kerja mereka mengenai kapan dan bagaimana mereka menggunakan AI.”
Undang-undang perlindungan data Inggris adalah undang-undang relevan lainnya di sini. Di atas kertas, teknologi ini harus memberikan perlindungan yang kuat terhadap proses AI yang tidak jelas.
Data selfie yang relevan dengan klaim Manjang diperoleh dengan menggunakan hak akses data yang terdapat dalam GDPR Inggris. Jika dia tidak bisa mendapatkan bukti yang jelas bahwa pemeriksaan identitas Uber gagal, perusahaan tersebut mungkin tidak akan memilih untuk menyelesaikannya sama sekali. Membuktikan kelemahan sistem kepemilikan tanpa membiarkan individu mengakses data pribadi yang relevan akan semakin menambah peluang bagi platform yang memiliki sumber daya yang jauh lebih kaya.
Kesenjangan dalam penegakan hukum
Selain hak akses data, kewenangan lain dalam GDPR Inggris Raya juga diharapkan memberikan perlindungan tambahan kepada individu. Undang-undang tersebut menuntut dasar hukum untuk memproses data pribadi, dan mendorong penerapan sistem untuk bersikap proaktif dalam menilai potensi bahaya dengan melakukan penilaian dampak perlindungan data. Hal ini akan memaksa dilakukannya pemeriksaan lebih lanjut terhadap sistem AI yang berbahaya.
Namun, penegakan hukum diperlukan agar perlindungan ini dapat memberikan dampak – termasuk efek jera terhadap penyebaran AI yang bias.
Dalam kasus Inggris, penegak hukum yang relevan, Kantor Komisaris Informasi (ICO), gagal turun tangan dan menyelidiki pengaduan terhadap Uber, meskipun ada keluhan tentang kegagalan pemeriksaan tanda pengenal yang dilakukan sejak tahun 2021.
Jon Baines, spesialis perlindungan data senior di firma hukum Mishcon de Reya, berpendapat “kurangnya penegakan hukum yang tepat” oleh ICO telah melemahkan perlindungan hukum bagi individu.
“Kita tidak boleh berasumsi bahwa kerangka hukum dan peraturan yang ada tidak mampu menangani beberapa potensi bahaya dari sistem AI,” katanya kepada TechCrunch. “Dalam contoh ini, saya terkejut…bahwa Komisioner Informasi pasti mempunyai yurisdiksi untuk mempertimbangkan baik dalam kasus individual, maupun secara lebih luas, apakah pemrosesan yang dilakukan sah menurut GDPR Inggris.
“Hal-hal seperti – apakah prosesnya adil? Apakah ada dasar hukumnya? Apakah ada ketentuan Pasal 9 (mengingat kategori data pribadi khusus sedang diproses)? Namun yang terpenting, apakah ada Penilaian Dampak Perlindungan Data yang solid sebelum penerapan aplikasi verifikasi?”
“Jadi, ya, ICO harus lebih proaktif,” tambahnya, mempertanyakan kurangnya intervensi dari regulator.
Kami menghubungi ICO mengenai kasus Manjang, memintanya untuk mengonfirmasi apakah mereka sedang menyelidiki penggunaan AI oleh Uber untuk pemeriksaan ID sehubungan dengan adanya keluhan. Juru bicara badan pengawas tersebut tidak secara langsung menanggapi pertanyaan kami namun mengirimkan pernyataan umum yang menekankan perlunya organisasi untuk “mengetahui cara menggunakan teknologi biometrik dengan cara yang tidak mengganggu hak-hak masyarakat”.
“Yang terbaru dari kami panduan biometrik jelas bahwa organisasi harus memitigasi risiko yang timbul akibat penggunaan data biometrik, seperti kesalahan dalam mengidentifikasi orang secara akurat dan bias dalam sistem,” pernyataannya juga menyatakan, menambahkan: “Jika ada yang memiliki kekhawatiran tentang bagaimana data mereka ditangani, mereka dapat melaporkan kekhawatiran ini terhadap ICO.”
Sementara itu, pemerintah sedang dalam proses melemahkan undang-undang perlindungan data melalui undang-undang reformasi data pasca-Brexit.
Selain itu, pemerintah juga mengonfirmasi pada awal tahun ini bahwa mereka tidak akan memperkenalkan undang-undang khusus keselamatan AI saat ini, meskipun Perdana Menteri Rishi Sunak membuat klaim yang menarik bahwa keselamatan AI adalah bidang prioritas pemerintahannya.
Sebaliknya, mereka justru menegaskan sebuah proposal – yang dituangkan dalam whitepaper mengenai AI pada bulan Maret 2023 – yang menyatakan bahwa mereka bermaksud untuk mengandalkan undang-undang dan badan pengatur yang ada untuk memperluas aktivitas pengawasan untuk mencakup risiko AI yang mungkin timbul pada patch mereka. Salah satu perubahan pada pendekatan yang diumumkan pada bulan Februari adalah sejumlah kecil dana tambahan (£10 juta) untuk regulator, yang menurut pemerintah dapat digunakan untuk meneliti risiko AI dan mengembangkan alat untuk membantu mereka memeriksa sistem AI.
Tidak ada batas waktu yang diberikan untuk mencairkan dana tambahan dalam jumlah kecil ini. Ada banyak regulator yang terlibat di sini, jadi jika ada pembagian uang tunai yang sama antara badan-badan seperti ICO, EHRC, dan Badan Pengatur Obat dan Produk Kesehatan, sebutkan saja tiga dari 13 regulator dan departemen yang ada. Menteri Luar Negeri Inggris menulis surat bulan lalu Dengan meminta mereka untuk mempublikasikan pembaruan mengenai “pendekatan strategis terhadap AI”, mereka masing-masing dapat menerima kurang dari £1 juta untuk menambah anggaran guna mengatasi risiko AI yang berkembang pesat.
Sejujurnya, sumber daya tambahan bagi regulator yang sudah kewalahan akan sangat rendah jika keselamatan AI benar-benar menjadi prioritas pemerintah. Hal ini juga berarti masih belum adanya dana tunai atau pengawasan aktif terhadap dampak buruk AI yang masih belum terselesaikan dalam peraturan yang ada di Inggris, seperti yang telah diutarakan oleh para pengkritik pendekatan pemerintah tersebut sebelumnya.
Undang-undang keselamatan AI yang baru mungkin memberikan sinyal prioritas yang lebih kuat — mirip dengan kerangka kerja bahaya AI berbasis risiko di UE yang sedang cepat diadopsi sebagai undang-undang yang tegas oleh blok tersebut. Tapi juga perlu ada kemauan untuk benar-benar menegakkannya. Dan sinyal itu harus datang dari atas.
