Teknologi kecerdasan buatan telah menyusup ke setiap industri, tidak terkecuali layanan kesehatan. Sekarang kita punya Bersama oleh Reneesebuah aplikasi yang melacak riwayat kesehatan Anda, bertujuan untuk mengukur kesehatan Anda tekanan darah dengan selfie, dan deteksi gejala depresi atau kecemasan melalui suara Anda. ObatGPT, yang dikembangkan di Universitas Oxford, adalah alat yang dirancang untuk membantu dokter meresepkan obat dan memberikan informasi kepada pasien tentang apa yang mereka minum. Kamu bisa mengunduh Kemanusiaan“pelatih kesehatan” AI generatif yang menjanjikan untuk “mengurangi usia biologis”, dan Google sedang mengerjakan model pembelajaran mesin yang berpotensi mendiagnosis pasien berdasarkan suara batuk mereka.
Namun potensi konsekuensi dari aplikasi ini agak berbeda dibandingkan apa yang mungkin terjadi saat Anda menggunakan AI untuk membuat lagu. Sederhananya: nyawa berada dalam bahaya. Dan para ahli di bidang kesehatan dan teknologi menceritakannya Batu Bergulir mereka sangat ragu apakah inovasi ini dapat memberikan manfaat bagi masyarakat.
Bagi Bernard Robertson-Dunn, seorang insinyur sistem berpengalaman yang menjabat sebagai ketua komite kesehatan di Australian Privacy Foundation, salah satu masalah utamanya adalah pengembang sendiri yang salah menangani informasi pasien sejak awal. Beberapa dekade yang lalu, katanya, ada “dorongan besar” untuk mendigitalkan catatan medis, namun janji revolusi ini gagal karena para ahli teknologi menganggap data ini “seperti data transaksi keuangan.”
“Tidak,” kata Robertson-Dunn. “Data transaksi keuangan adalah fakta, dan makna transaksi yang ada tidak berubah seiring berjalannya waktu. Jika Anda melihat rekening bank Anda, itu tidak akan berubah tanpa alasan yang jelas.” Sementara itu, data kesehatan “dapat berubah dari hari ke hari tanpa Anda sadari dan apa alasannya. Anda mungkin tertular Covid, HIV, pilek, atau serangan jantung hari ini, yang membuat banyak data catatan kesehatan Anda seperti yang tercatat kemarin tidak valid,” kata Robertson-Dunn. Dalam pandangannya, kegilaan terhadap catatan kesehatan elektronik telah terbawa ke booming AI, “yang merupakan masalah yang jauh lebih besar.”
“Saya tidak akan pernah mengatakan bahwa teknologi itu berbahaya atau kita tidak boleh menggunakannya,” kata Julia Stoyanovich, ilmuwan komputer yang memimpin Pusat AI yang Bertanggung Jawab di Universitas New York. “Tetapi dalam kasus khusus ini, saya harus mengatakan bahwa saya skeptis, karena apa yang kami lihat adalah orang-orang terburu-buru menggunakan AI generatif untuk semua jenis aplikasi, hanya karena AI tersebut sudah tersedia, dan terlihat keren. dan pesaing menggunakannya.” Dia melihat serbuan AI muncul dari “pemikiran hype dan magis, bahwa orang-orang benar-benar ingin percaya bahwa ada sesuatu di luar sana yang akan melakukan hal yang mustahil.”
Stoyanovich dan Robertson-Dunn menunjukkan bahwa alat kesehatan AI saat ini menghindari uji klinis dan regulasi yang diperlukan untuk memasarkan perangkat medis. Stoyanovich menggambarkan “celah” yang memungkinkan hal ini terjadi. “Sebenarnya bukan alat yang akan meresepkan obat kepada Anda. Itu selalu merupakan alat yang digunakan dokter. Dan pada akhirnya dokter akan berkata, 'Ya, saya setuju' atau 'Saya tidak setuju.' Dan inilah mengapa alat-alat ini luput dari pengawasan yang diharapkan dapat dimiliki oleh alat tersebut dalam bidang medis.”
“Tapi itu masih bermasalah, kan?” Stoyanovich menambahkan. “Karena kita tahu bahwa manusia – tidak terkecuali dokter – akan terlalu bergantung pada alat-alat ini. Karena jika suatu alat memberi Anda jawaban yang tampaknya tepat, maka manusia akan berkata, 'Siapakah saya yang mempertanyakannya?'” Yang lebih buruk, katanya, bot dapat mengutip artikel di jurnal seperti Sains atau itu Lanset untuk mendukung kesimpulannya meskipun penelitian tersebut secara langsung bertentangan dengan kesimpulan tersebut.
Elaine O. Nsoesie, ilmuwan data di Boston University School of Public Health yang meneliti bagaimana teknologi dapat meningkatkan kesetaraan kesehatan, menjelaskan apa yang mungkin hilang dari model AI diagnostik ketika menilai gejala pasien. Alat-alat ini “pada dasarnya mempelajari semua informasi ini, dan kemudian memberikannya kembali kepada Anda, dan tidak memiliki konteks dan tidak memiliki nuansa,” katanya. “Jika ada pasien yang datang, mereka mungkin memiliki gejala tertentu, dan mungkin mereka memiliki riwayat kondisi yang berbeda, dan dokter mungkin dapat memberikan nasihat medis yang mungkin tidak standar, atau data apa yang telah digunakan untuk melatih kita. algoritma akan menghasilkan.”
Menurut Nsoesie, kecerdasan buatan juga dapat mereplikasi atau memperburuk kesenjangan kesehatan sistemik yang berdampak buruk terhadap perempuan, orang kulit berwarna, pasien LGBTQ, dan kelompok kurang beruntung lainnya. “Saat Anda melihat algoritme tidak melakukan apa yang seharusnya dilakukan, masalahnya biasanya dimulai pada data,” katanya. “Ketika Anda melihat datanya, Anda mulai melihat bahwa kelompok tertentu tidak terwakili, atau tidak terwakili secara adil. Jadi ada bias, mungkin stereotip yang melekat [the models], ada rasisme atau seksisme.” Dia ikut menulis makalah dengan topik: “Dalam dunia kedokteran, bagaimana kita bisa mempelajari sesuatu secara nyata?Laporan ini menguraikan bagaimana “sejarah panjang diskriminasi” di bidang layanan kesehatan telah menghasilkan data yang bias, yang jika digunakan dalam “penerapan yang naif” dapat menyebabkan sistem tidak berfungsi.
Namun, Nsoesie dan pihak lainnya tetap optimis bahwa AI dapat memberikan manfaat bagi kesehatan masyarakat – namun mungkin tidak seperti yang dilakukan perusahaan saat ini. “Jika menyangkut penggunaan berbagai bentuk AI untuk perawatan pasien secara langsung, detail penerapannya akan sangat berarti,” kata Nate Sharadin, peneliti di Center for AI Safety. “Sangat mudah untuk membayangkan dokter menggunakan berbagai alat AI dengan cara yang dapat menghemat waktu mereka untuk berinteraksi langsung dengan pasiennya. Transkripsi terlintas dalam pikiran, begitu pula ringkasan rekam medis dan penerimaan awal. Para dokter telah menunjukkan bahwa ketidakmampuan mereka untuk menghabiskan waktu yang berarti dengan pasien mereka merupakan masalah selama beberapa dekade, dan hal ini menyebabkan kelelahan di seluruh profesi, yang tentu saja diperburuk oleh Covid-19.”
Namun Sharadin juga melihat potensi risikonya, termasuk “fasilitas perawatan jangka panjang swasta yang mencari keuntungan dan mengurangi staf dengan mencoba mengotomatiskan berbagai hal dengan AI,” atau “penipu yang menjual suplemen tidak berguna yang setara dengan AI.” Dia mengidentifikasi aplikasi Together sebagai salah satu contohnya. “Sama sekali tidak mungkin mereka mendeteksi SpO2 secara akurat [blood oxygen levels] dengan selfie,” katanya. “Saya yakin mereka dan pelaku bisnis lainnya akan berhati-hati dalam menunjukkan bahwa produk mereka tidak dimaksudkan untuk mendiagnosis atau mengobati penyakit apa pun. Ini adalah label khas yang sesuai dengan standar FDA untuk menjual sesuatu yang sebenarnya tidak dibutuhkan orang, namun sebenarnya tidak berfungsi.”
Stoyanovich setuju dengan Sharadin bahwa kita perlu berpikir keras tentang apa sebenarnya yang kita inginkan dari teknologi ini, atau “kesenjangan apa yang kita harapkan dapat diisi oleh alat-alat ini” di bidang kedokteran. “Ini bukan permainan. Ini adalah kesehatan masyarakat dan kepercayaan masyarakat terhadap sistem medis.” Kerentanan utama dalam hal ini adalah privasi data kesehatan Anda. Apakah model AI seperti alat analisis batuk Google dapat bekerja dengan andal atau tidak, kata Stoyanovich, mereka “menyedot banyak informasi dari kita,” dan data medis sangatlah sensitif. Dia membayangkan masa depan di mana perusahaan asuransi kesehatan secara sistematis menaikkan premi bagi pelanggan berdasarkan informasi yang diperoleh dari aplikasi tersebut. “Mereka akan menggunakan data ini untuk membuat keputusan yang kemudian akan berdampak pada akses masyarakat terhadap layanan medis,” prediksi Stoyanovich, membandingkan situasi tersebut dengan penggunaan AI yang “tidak bertanggung jawab” dan “sewenang-wenang” dalam perekrutan dan pekerjaan. “Hal ini pada akhirnya merugikan orang-orang yang secara historis dirugikan.”
Stoyanovich juga khawatir bahwa melebih-lebihkan efektivitas model AI dalam lingkungan klinis karena beberapa hasil yang menjanjikan akan membawa kita ke jalur yang berbahaya. “Kami telah melihat banyak kegembiraan dari kasus-kasus tertentu yang dilaporkan, katakanlah, ChatGPT mampu mendiagnosis suatu kondisi yang diabaikan oleh beberapa dokter dan tidak dapat mendiagnosis dengan benar,” kata Stoyanovich. “Dan hal ini membuat kami sekarang percaya bahwa ChatGPT adalah seorang dokter. Namun ketika kita menilai apakah seseorang adalah dokter yang baik, kita tidak melihat berapa banyak kasus yang mereka tangani dengan benar. Kami melihat berapa banyak kasus yang mereka dapatkan salah. Setidaknya kita harus menjaga mesin-mesin ini dengan standar yang sama, tetapi terkesan dengan seorang dokter yang mendiagnosis satu kasus sulit tertentu, itu konyol. Kita sebenarnya perlu memiliki evaluasi yang kuat dan dapat diterapkan dalam setiap kasus.”
Para pakar teknologi dan kesehatan yang berbicara dengannya Batu Bergulir sebagian besar setuju bahwa meminta tenaga profesional medis untuk memeriksa ulang keluaran model AI akan menambah lapisan kebosanan dan inefisiensi pada layanan kesehatan. Robertson-Dunn mengatakan bahwa dalam kasus tes patologi – seperti tes yang melibatkan pembacaan sinar-X atau pemindaian MRI – “seorang petugas medis yang berkualifikasi dapat menilai diagnosis masing-masing tes, namun hal ini mengubah pekerjaan seorang praktisi yang sangat terampil menjadi sangat sulit. rutinitas mekanis yang membosankan, menghancurkan jiwa.”
Dan, seperti yang diamati oleh Nsoesie, mungkin kita dapat sepenuhnya mengubah peluang yang dimiliki AI dalam layanan kesehatan. Daripada mencoba mengukur kualitas biologis individu dengan mesin, kita mungkin menggunakan model tersebut untuk mempelajari sesuatu tentang seluruh wilayah dan komunitas. Nsoesie mengatakan gerakan AI di Afrika telah menghasilkan solusi yang menjanjikan, termasuk penggunaan AI untuk memantau polusi udara yang berdampak pada kesehatan. “Mampu mengumpulkan data dan memprosesnya serta memanfaatkannya untuk pembuatan kebijakan adalah hal yang cukup penting,” katanya.
Terkait kesehatan masyarakat, kata Nsoesie, fokusnya harus pada “mengatasi akar penyebab penyakit dan kesenjangan kesehatan, bukan hanya memperbaiki gejalanya.” Menurutnya, akan lebih baik jika kita memanfaatkan teknologi AI untuk menjawab pertanyaan mengapa kita memiliki “populasi tertentu dengan tingkat diabetes atau kanker yang lebih tinggi” daripada merancang aplikasi yang menargetkan orang-orang dengan kondisi tersebut. Solusi yang ideal, tambahnya, memerlukan pembicaraan dengan pasien dan dokter yang melayani mereka untuk mengetahui apa yang benar-benar mereka butuhkan, dan membiarkan masukan mereka memandu proses pengembangan. Pengembang aplikasi, kata Nsoesie, biasanya tidak melakukan penelitian atau meminta masukan.
“Itu lebih efektif,” simpulnya. “Tetapi hal ini mengharuskan Anda benar-benar memprioritaskan orang daripada uang.”
