Kota New York – Rachel S tinggal di lingkungan yang dapat dilalui dengan berjalan kaki di Brooklyn, New York. Hampir setiap hari dia bisa hidup nyaman tanpa mobil. Dia sering bekerja jarak jauh tetapi kadang-kadang dia perlu pergi ke kantor. Di situlah situasinya menjadi sedikit menantang. Ruang kerjanya tidak mudah diakses oleh transportasi umum.
Karena dia tidak perlu sering mengemudi, dia mengajukan permohonan ke platform berbagi mobil Zipcar untuk memenuhi kebutuhannya sesekali. Proses pengajuannya yang cukup cepat membuat konsumen dapat melakukan perjalanan menggunakan armada mobilnya dengan relatif cepat.
Sayangnya, hal itu tidak terjadi pada Rachel. Begitu dia menekan tombol kirim, dia dianggap tidak memenuhi syarat oleh perangkat lunak kecerdasan buatan yang digunakan perusahaan. Bingung dengan hasilnya, Rachel menghubungi tim layanan pelanggan perusahaan.
Lagipula, dia tidak memiliki kekurangan yang menunjukkan bahwa dia adalah pengemudi yang tidak bertanggung jawab. Dia tidak punya poin pada lisensinya. Satu-satunya kegagalan adalah tilang yang dia terima ketika dia berusia tujuh belas tahun dan biaya tersebut telah dibayar bertahun-tahun yang lalu.
Meskipun hukuman lalu lintas telah diperbaiki, kini di usianya yang tiga puluhan, dia masih harus menghadapi konsekuensinya.
Dia berbicara dengan tim layanan pelanggan Zipcar tetapi tidak berhasil. Meskipun catatan mengemudinya bersih, dia ditolak. Dia mengklaim bahwa perusahaan mengatakan dia tidak punya jalan lain dan keputusan tersebut tidak dapat ditimpa oleh manusia.
“Tidak ada jalan atau proses untuk mengajukan permohonan kepada manusia dan meskipun masuk akal, satu-satunya cara untuk mencoba lagi adalah dengan mengajukan permohonan kembali” yang mana ada biaya pendaftaran yang tidak dapat dikembalikan, kata Rachel kepada Al Jazeera mengingat percakapannya dengan perusahaan tersebut.
Zipcar tidak menanggapi permintaan komentar Al Jazeera.
Rachel adalah salah satu dari banyak konsumen yang ditolak pinjaman, keanggotaan, dan bahkan kesempatan kerja oleh sistem AI tanpa adanya kebijakan bantuan atau banding karena perusahaan terus mengandalkan AI untuk membuat keputusan penting yang berdampak pada kehidupan sehari-hari.
Itu termasuk D yang baru saja kehilangan pekerjaan.
Sebagai syarat wawancara, D meminta agar kami hanya menggunakan inisialnya untuk menghormati privasi mereka. D mencari peluang baru secara religius, tetapi tidak membuahkan hasil.
Setelah berbulan-bulan mencari, D akhirnya mendapatkan pekerjaan tetapi ada satu masalah besar — waktunya.
Masih ada beberapa minggu sebelum D memulai pekerjaan barunya dan beberapa minggu setelah itu D menerima gaji pertamanya.
Untuk mendapatkan bantuan tambahan, D mengajukan pinjaman pribadi di berbagai platform dalam upaya menghindari pinjaman gajian yang bersifat predator, hanya untuk bertahan hidup sementara waktu.
D ditolak untuk semua pinjaman yang mereka ajukan. Meskipun D tidak mengonfirmasi perusahaan mana yang spesifik, sektor ini memiliki banyak pilihan, antara lain Pemula, Peningkatan, SoFi, Telur Terbaik, dan Uang Bahagia.
D mengatakan ketika mereka menelepon perusahaan tersebut setelah mengajukan permohonan online, tidak ada yang bisa membantu atau mengajukan banding.
Ketika D berusia awal dua puluhan, mereka memiliki kartu kredit yang membuat mereka gagal membayar tagihan. Itu satu-satunya kartu kredit mereka. Mereka juga menyewa apartemen dan mengandalkan transportasi umum.
Menurut pemberi pinjaman online yang digerakkan oleh AI, kurangnya riwayat kredit dan agunan membuat mereka tidak memenuhi syarat untuk mendapatkan pinjaman meskipun telah melunasi utangnya enam tahun lalu.
D tidak mengonfirmasi perusahaan spesifik mana yang mereka coba untuk mendapatkan pinjaman. Al Jazeera menghubungi masing-masing perusahaan tersebut untuk memberikan komentar mengenai proses mereka – hanya dua yang merespons – Upgrade dan Upstart – yang merespons pada saat publikasi.
“Ada kalanya kami dapat mengubah keputusan pinjaman berdasarkan informasi tambahan, yaitu bukti sumber pendapatan lain, yang tidak diberikan dalam permohonan awal, namun jika menyangkut 'penghakiman manusia', ' Ada banyak ruang untuk bias pribadi yang merupakan sesuatu yang telah berusaha keras dihilangkan oleh regulator dan pemimpin industri,” kata juru bicara perusahaan Upgrade melalui email kepada Al Jazeera. “Teknologi telah membawa objektivitas dan keadilan dalam proses pemberian pinjaman, dan keputusan kini dibuat berdasarkan kelayakan pemohon.”
Bias sejarah semakin menguat
Namun tidak sesederhana itu. Bias sejarah yang ada seringkali diperkuat dengan teknologi modern. Menurut investigasi yang dilakukan oleh The Markup pada tahun 2021, orang kulit hitam Amerika 80 persen lebih mungkin ditolak secara otomatis oleh lembaga pemberi pinjaman dibandingkan orang kulit putih.
“AI hanyalah sebuah model yang dilatih berdasarkan data historis,” kata Naeem Siddiqi, penasihat senior di SAS, sebuah perusahaan AI dan data global, tempat ia memberikan nasihat kepada bank mengenai risiko kredit.
Hal ini dipicu oleh sejarah panjang praktik diskriminasi perbankan terhadap komunitas kulit berwarna di Amerika Serikat.
“Jika Anda mengambil data yang bias, semua yang dilakukan AI atau model apa pun pada dasarnya mengulangi apa yang Anda berikan,” kata Siddiqui.
“Sistem ini dirancang untuk membuat keputusan sebanyak mungkin dengan bias dan penilaian manusiawi yang sesedikit mungkin untuk menjadikannya keputusan yang obyektif. Ironisnya situasi ini… tentu saja ada beberapa yang gagal,” tambah Siddiqi.
Bukan hanya berdasarkan ras. Perusahaan seperti Apple dan Goldman Sachs bahkan dituduh secara sistematis memberikan batas kredit yang lebih rendah kepada perempuan dibandingkan laki-laki.
Kekhawatiran ini juga bersifat generasi. Siddiqi mengatakan penolakan tersebut juga sangat membatasi mobilitas sosial di kalangan generasi muda, seperti generasi muda milenial (mereka yang lahir antara tahun 1981 dan 1996) dan Gen Z (mereka yang lahir antara tahun 1997 dan 2012), di semua kelompok demografi.
Hal ini karena standar kesehatan keuangan yang kuat – termasuk kartu kredit, rumah dan mobil – ketika menilai tanggung jawab keuangan seseorang menjadi semakin tidak relevan. Hanya sekitar separuh generasi Z yang memiliki kartu kredit. Itu merupakan penurunan dari semua generasi sebelumnya.
Generasi Z juga cenderung tidak memiliki jaminan seperti mobil untuk dipertaruhkan saat mengajukan pinjaman. Menurut baru-baru ini belajar menurut McKinsey, kelompok umur cenderung memilih untuk mendapatkan SIM dibandingkan generasi sebelumnya. Hanya seperempat dari anak-anak berusia 16 tahun dan 45 persen dari anak-anak berusia 17 tahun yang memiliki SIM. Angka tersebut masing-masing turun 18 persen dan 17 persen.
Biro Perlindungan Keuangan Konsumen telah meningkatkan perlindungannya bagi konsumen. Pada bulan September, agensi diumumkan bahwa lembaga pemberi pinjaman kredit sekarang perlu menjelaskan alasan di balik penolakan pinjaman.
“Kreditor sering kali memasukkan algoritme kompleks ini dengan kumpulan data yang besar, terkadang termasuk data yang mungkin diambil dari pengawasan konsumen. Akibatnya, konsumen mungkin ditolak kreditnya karena alasan yang mereka anggap tidak relevan dengan keuangan mereka,” kata badan tersebut dalam rilisnya.
Namun, agensi tersebut tidak mengatasi kurangnya proses banding manusia karena D mengaku telah menanganinya secara pribadi.
D mengatakan mereka harus menunda pembayaran sejumlah tagihan yang akan merugikan kesehatan keuangan jangka panjang mereka dan dapat berdampak pada kemampuan mereka untuk mendapatkan pinjaman dengan tingkat bunga yang wajar, jika memang ada, di masa depan.
'Tertinggal dari peluang'
Siddiqi menyarankan agar pemberi pinjaman mulai mempertimbangkan data alternatif ketika membuat keputusan mengenai pinjaman yang dapat mencakup pembayaran sewa dan utilitas dan bahkan perilaku media sosial serta pola pengeluaran.
Di media sosial, check-in di luar negeri adalah indikator utama.
“Jika Anda memiliki lebih banyak uang, Anda cenderung lebih sering bepergian atau jika Anda mengikuti halaman-halaman seperti Bloomberg, Financial Times, dan Reuters, kemungkinan besar Anda bertanggung jawab secara finansial,” tambah Siddiqi.
Masalah penolakan otomatis bukan hanya masalah pengajuan pinjaman dan keanggotaan, tapi juga peluang kerja. Di seluruh platform media sosial seperti pengguna Reddit pos email penolakan yang mereka terima segera setelah mengirimkan aplikasi.
“Saya memenuhi semua persyaratan dan memenuhi semua kata kunci dan dalam satu menit setelah mengirimkan lamaran saya, saya mendapat pengakuan atas lamaran dan surat penolakan,” Matthew Mullen, pembuat poster asli, mengatakan kepada Al Jazeera.
Editor video yang berbasis di Connecticut mengatakan ini adalah yang pertama baginya. Para ahli seperti Lakia Elam, kepala perusahaan konsultan Sumber Daya Manusia Magnificent Differences Consulting mengatakan antara sistem pelacakan pelamar dan alat berbasis AI lainnya, hal ini semakin menjadi tema yang lebih besar dan semakin bermasalah.
Sistem pelacakan pelamar sering kali mengabaikan keterampilan yang dapat ditransfer yang mungkin tidak selalu sejalan dengan keahlian kandidat.
“Sering kali pelamar yang memiliki jalur karir non-linier, banyak di antaranya berasal dari latar belakang yang berbeda, diabaikan dalam peluang,” kata Elam kepada Al Jazeera.
“Saya terus mengatakan kepada organisasi-organisasi bahwa kita harus menjaga sentuhan kemanusiaan dalam proses ini,” kata Elam.
Namun semakin banyak organisasi yang lebih mengandalkan program seperti ATS dan ChatGPT. Elam berargumentasi bahwa hal itu menyisakan banyak pelamar pekerjaan yang berharga termasuk dirinya sendiri.
“Kalau hari ini saya harus melalui sistem AI, saya jamin ditolak,” kata Elam.
Dia memiliki GED—- ijazah sekolah menengah atas yang setara — dibandingkan dengan gelar empat tahun.
“Mereka melihat GED di resume saya dan mengatakan kita harus menghindari hal ini,” tambah Elam.
Hal ini juga yang menyebabkan orang Amerika tidak ingin AI terlibat dalam proses perekrutan. Menurut April 2023 laporan dari Pew Research, 41 persen orang Amerika percaya bahwa AI tidak boleh digunakan untuk meninjau lamaran pekerjaan.
“Ini adalah bagian dari perbincangan yang lebih besar tentang hilangnya jalan menuju proses hukum,” kata Rachel.
