Por Andrew Myers l mundo está plagado de algoritmos de predicción de riesgos. Los algoritmos les dicen a los prestamistas si es probable que un prestatario incumpla. Las universidades utilizan algoritmos para predecir qué solicitantes no llegarán a graduarse. Los médicos confían en algoritmos para asesorar a los pacientes sobre problemas de salud. Los algoritmos de evaluación de riesgos se utilizan para predecir la probabilidad de que un delincuente sea reincidente. Todos estos algoritmos tienen una cosa en común: se basan en datos. Y así fue como Julian Nyarko, profesor de la Facultad de Derecho de Stanford y director asociado del Instituto de Stanford para la IA Centrada en el Ser Humano, llegó a estudiar la eficacia de los modelos de predicción basados en el riesgo. Lo que está en juego es si los modelos de evaluación de riesgos realmente predicen las verdades que pretenden predecir. Nyarko y dos colegas de la Universidad de Harvard han publicado un nuevo artículo en Science Advances que muestra que muchos modelos de riesgo pueden no ser todo lo que parecen, no porque carezcan de datos, sino porque tienen demasiados datos. Se refieren a la sabiduría convencional en el campo como el enfoque del "fregadero de la cocina", como en el "todo... y la estrategia del fregadero de la cocina", donde cuantos más datos, mejor. "La idea es: 'Démosle al modelo acceso a tantos datos como sea posible. No puede doler, ¿verdad?'". Nyarko explica. "Si los datos dicen que las manchas solares, o el tamaño de los zapatos, o el precio del café son buenos predictores de la reincidencia, los investigadores deberían querer saberlo y usar esa información en sus modelos". Votos por delegación El problema, dice Nyarko, es que los modelos de riesgo generalmente no miden lo que realmente están tratando de medir, que a menudo está oculto o no se puede medir, como ocurre con el crimen o muchas afecciones médicas. En cambio, estos modelos miden las cosas indirectamente utilizando proxies. El uso de proxies inadecuados conduce a un fenómeno de investigación conocido como sesgo de etiqueta. En esencia, el proxy ha sido etiquetado erróneamente como la verdad. Por lo tanto, si bien los modelos pueden ser muy buenos en la predicción de sus representes, terminan equivocados cuando intentan adivinar la verdad. Los investigadores demostraron el impacto del sesgo de la etiqueta en algunos estudios de casos del mundo real. El primero provino del sistema de justicia penal, donde los jueces a menudo usan modelos para estimar el riesgo para la seguridad pública con el fin de tomar decisiones sobre fianzas para las personas arrestadas. Los modelos existentes se entrenan en función de la probabilidad de futuros arrestos. Es decir, los arrestos sirven como un indicador de un comportamiento no observado, no del verdadero resultado del interés: la actividad delictiva futura. Nyarko y sus colegas demostraron que los arrestos en realidad pueden ser un mal predictor del riesgo para la seguridad pública porque dependen tanto del comportamiento como de la geografía. Es decir, aquellos que se involucran en el mismo comportamiento ilícito pueden ser arrestados a diferentes tasas dependiendo simplemente de dónde vivan. Señalan un estudio bien conocido que muestra cómo una ciudad importante de EE. UU. concentra la actividad policial en vecindarios específicos, lo que lleva a tasas de arresto más altas para los ciudadanos negros que para los blancos, a pesar de que los ciudadanos blancos tienen la misma probabilidad de volver a delinquir. Sobre la base de estos modelos, es más probable que a los detenidos negros se les niegue la libertad bajo fianza. Luego, los investigadores se centraron en el campo de la medicina, observando una herramienta de evaluación de riesgos utilizada para identificar a los pacientes para programas de gestión de atención de alto riesgo que pueden extender o incluso salvar vidas. Por lo general, estos modelos predicen los costos médicos futuros esperados como un indicador de la necesidad médica. Una vez más, las personas negras tienen menos probabilidades de inscribirse que las blancas; Los pacientes blancos tienen más probabilidades de buscar tratamiento médico, por lo que incurren en costos más altos que sus contrapartes negras igualmente enfermas y luego obtienen puntajes más altos en términos de costos médicos futuros anticipados. Bola pequeña Usando ese ejemplo, Nyarko y sus colaboradores entrenaron dos nuevos modelos de riesgo médico, uno más simple con 128 predictores de riesgo y el otro más complejo con 150. Mostraron que el modelo más simple identifica repetidamente a más pacientes de alta necesidad para los programas de atención de alto riesgo y también inscribe a más pacientes negros en esos programas. Atribuyen esta distribución más justa al modelo más simple que prioriza la necesidad médica inmediata sobre los costos futuros, un mejor indicador de la verdad. "Los investigadores deben ser conscientes y diligentes cuando no tienen los datos que realmente les importan, sino solo un proxy", aconseja Nyarko. "Y, cuando solo tenemos un proxy, ser conscientes en nuestra elección de proxy y hacer que los modelos sean menos complejos al excluir ciertos datos puede mejorar tanto la precisión como la equidad de la predicción de riesgos". Màs información en el estudio, Puntuaciones de riesgo, sesgo de etiqueta y Todo menos el fregadero de la cocina https://www.science.org/doi/epdf/10.1126/sciadv.adi8411