Measuring algorithmic bias to analyze the reliability of AI tools that predict depression risk using smartphone sensed-behavioral data
Daniel A Adler, Caitlin A Stamatis, Jonah Meyerhoff, David C Mohr, Fei Wang, Gabriel J Aranovich, Srijan Sen, Tanzeem Choudhury
Abstrak
Perangkat AI ditujukan untuk mengubah perawatan kesehatan jiwa dengan menyediakan estimasi risiko depresi dari jarak jauh menggunakan data perilaku yang dikumpulkan melalui sensor yang tertanam pada ponsel pintar. Meskipun perangkat tersebut dapat memprediksi peningkatan gejala depresi secara akurat pada populasi berukuran kecil yang homogeny, penelitian terbaru menunjukkan bahwa perangkat-perangkat tersebut kurang akurat untuk digunakan pada populasi yang berukuran besar dan beragam.
Dalam penelitian ini, kami menunjukkan bahwa akurasi berkurang karena perilaku yang dirasakan merupakan prediktor depresi yang tidak dapat diandalkan pada individu: perilaku yang memprediksi risiko depresi tidak konsisten di antara subkelompok demografi dan sosial ekonom.
Pertama-tama, kami mengidentifikasi subkelompok dimana perangkat AI yang dikembangkan menunjukkan kinerja yang rendah dengan mengukur bias algoritmik, dimana subkelompok dengan depresi diprediksi secara keliru memiliki risiko lebih rendah dibandingkan dengan subkelompok yang lebih sehat. Kemudian, kami menemukan inkonsistensi antara perilaku yang dirasakan yang memprediksi depresi pada seluruh subkelompok.
Hasil temuan kami menunjukkan bahwa para peneliti yang mengembangkan perangkat AI untuk memprediksi kesehatan jiwa dari perilaku yang dirasakan harus berpikir kritis mengenai generalisasi perangkat tersebut, serta mempertimbangkan solusi khusus bagi populasi target.
Tautan ke artikel lengkap: https://pubmed.ncbi.nlm.nih.gov/38649446/
Kalimat Kutipan:
Adler DA, Stamatis CA, Meyerhoff J, Mohr DC, Wang F, Aranovich GJ, Sen S, Choudhury T. Measuring algorithmic bias to analyze the reliability of AI tools that predict depression risk using smartphone sensed-behavioral data. Npj Ment Health Res. 2024 Apr 22;3(1):17. doi: 10.1038/s44184-024-00057-y. PMID: 38649446; PMCID: PMC11035598.
