Por Dylan Walsh a promesa del aprendizaje automático en la educación se ve atenuada por las preocupaciones habituales: datos sesgados, violaciones de la privacidad, resultados desiguales, etc. Sigue existiendo una brecha significativa entre cómo se imagina la tecnología y cómo, de hecho, se implementa y utiliza. "Somos pioneros en un enfoque de IA participativo con el objetivo de desarrollar soluciones de IA para la educación éticas, centradas en el ser humano y equitativas", dice el profesor asistente de la Escuela de Graduados en Educación de Stanford, Hariharan Subramonyam , miembro del cuerpo docente del Instituto de Stanford para la IA centrada en el ser humano. . "Al involucrar a profesores y estudiantes desde el principio, nuestro objetivo es garantizar que nuestras prácticas de datos sean inclusivas y representativas de diversas experiencias y necesidades de los estudiantes". Subramonyam exploró cómo reunir a diferentes partes interesadas en la misma mesa puede ayudar a abordar estas necesidades con Mei Tan , candidata a doctorado en la Escuela de Graduados en Educación de Stanford; Hansol Lee , candidato a doctorado en ciencia de datos educativos de Stanford; y el profesor asociado de la Universidad Northeastern, Dakuo Wang. T rabajando en el mundo de la educación, los investigadores convocaron 10 reuniones en las que ingenieros, diseñadores, especialistas legales, profesores y estudiantes discutieron las especificaciones de datos de entrenamiento para cuatro herramientas diferentes de aprendizaje automático. (Estos incluyeron medir la participación de los estudiantes a través de imágenes, recomendaciones profesionales basadas en currículums, evaluación del riesgo de abandono y calificación automatizada de ensayos). En un nuevo artículo preimpreso, los investigadores resumen los resultados de este proceso en un marco que garantiza la combinación adecuada de las personas están juntas y pueden tener conversaciones productivas. Subramonyam y Tan hablaron con Stanford HAI para describir cómo sus hallazgos informan un método más concienzudo y eficaz para diseñar algoritmos de aprendizaje automático en la educación y más allá. Quiero comenzar con una pregunta contextual: ¿puede hablarnos sobre la diferencia entre las prácticas de IA centradas en modelos y centradas en datos? Subramonyam : Durante mucho tiempo, asumimos que la calidad de los datos básicamente no importa para estos modelos, siempre y cuando tengas muchos. Los ingenieros de aprendizaje automático y los investigadores de IA darían por sentado los datos y se centrarían principalmente en ajustar y mejorar el modelo. Ese enfoque tocó techo en los últimos años y la gente empezó a darse cuenta de que para mejorar el rendimiento del modelo era necesario pensar en la calidad de los datos. También es costoso recopilar muchos datos. Así que ahora estamos pensando en cómo recopilar menos datos y que sean de mayor calidad. En su trabajo educativo reciente, analiza un proceso colaborativo de múltiples partes interesadas que consideró qué datos deberían recopilarse. ¿Qué motivó esto y cómo pensaste sobre quién debería participar? Subramonyam : Los problemas relacionados con la transparencia de los datos (cómo se han recopilado y etiquetado, etc.) han existido durante un tiempo, pero todo esto sucede después del hecho: los datos ya están recopilados, el modelo ya está construido. Para mí, eso siempre me ha parecido la etiqueta de advertencia en los paquetes de cigarrillos. Es un reconocimiento de algo malo. En mi laboratorio, en la Escuela de Graduados en Educación, estoy interesado en cómo podemos ser más proactivos a la hora de abordar estos problemas posteriores. Tan : En el mundo de la IA y la educación, hay una buena cantidad de investigaciones que afirman lo obvio: muchas herramientas de IA no satisfacen las necesidades de los profesionales. Y existe mucha preocupación por los daños que las herramientas de IA mal diseñadas pueden tener en la educación, y muchos de estos daños residen en la calidad de los datos. Teniendo esto en cuenta, queríamos adoptar un enfoque inicial centrado en los datos en el que involucramos a expertos en el campo, las personas que pueden corregir ese error de cómo representamos el mundo de la educación a través de los datos. Cuando pensamos en a quién involucrar, obviamente comenzamos con profesores y estudiantes. Desde la perspectiva de la industria, pensábamos en ingenieros de aprendizaje automático, pero también en diseñadores de UX y especialistas legales, dadas las preocupaciones de privacidad en torno al trato a menores. Al pensar más en estos datos y este marco de diseño participativo, el modelo que nos gustaría defender ante el mundo no es uno en el que los investigadores o los desarrolladores de productos de aprendizaje automático definan a los expertos en el dominio. Más bien, deberíamos preguntarle a la comunidad: ¿Quiénes cree que son las partes interesadas valiosas en este caso? Los profesores, por ejemplo, a menudo planteaban a los administradores y consejeros escolares como personas que podían hacer contribuciones importantes. Estas dinámicas de grupo no son sencillas. ¿Cuáles son los desafíos de lograr que un equipo como este trabaje en conjunto? Tan : Quiero enfatizar que lo que hemos hecho aquí es una prueba de concepto, porque nadie había formado un grupo como este antes. Lo que vimos desarrollarse fue una especie de experimento. Al final, los ingenieros de aprendizaje automático tuvieron que traducir lo que una decisión sobre la recopilación de datos podría significar para el modelo y, en última instancia, para el usuario final. Se requería que un ingeniero en aprendizaje automático con mucha experiencia estuviera dispuesto y fuera capaz de entablar ese diálogo con un profesor o un estudiante. Vimos que algunos lo hicieron bien y otros lo hicieron peor. Lo mismo ocurrió con los profesores. Hubo algunos profesores que estaban muy dispuestos a participar en las decisiones y los detalles técnicos que tenían ante sí, y hubo otros para quienes la carga de entrada era demasiado alta. Aprendimos que para que este proceso funcione, necesitamos un andamiaje para ambas partes. Necesitamos ayudar a los profesores a comprender algunos de los parámetros básicos de un modelo de aprendizaje automático y cómo los datos recopilados encajan en el panorama general. Y necesitamos ayudar a los ingenieros de ML a hacer ese trabajo de traducción y comprender más sobre el dominio en el que están trabajando: la educación, en este caso. A menudo se hace hincapié en este primer paso: ayudar a los expertos no técnicos a comprender lo técnico. Hay mucho menos enfoque y trabajo para ayudar a los expertos técnicos a comprender el dominio. Necesitamos hacer un mejor trabajo al respecto. ¿Cuáles son algunos de los problemas que resultan de datos incorrectos y qué promesa vio en este enfoque? Tan : Hay todo tipo de daños que pueden resultar de datos incorrectos o sesgados. Para tomar sólo dos ejemplos, hay investigaciones sobre sistemas de aprendizaje adaptativo que muestran prejuicios raciales y de género en la forma en que estos sistemas evalúan la comprensión de un estudiante. También hay evidencia de que la tecnología utilizada para evaluar la participación basándose en una imagen del rostro de un estudiante está llena de sesgos dependiendo de las características de la apariencia del estudiante. En nuestro trabajo, vimos cómo los expertos en el dominio dan forma a variables clave que intervienen en la recopilación de datos y, de esa manera, alivian algunas de estas preocupaciones o errores. La representación es un ejemplo. Cuando actualmente pensamos en la representación en el desarrollo de conjuntos de datos de aprendizaje automático, pensamos en variables demográficas, si existe equidad entre género, raza y líneas socioeconómicas. Pero los expertos en el campo tenían ideas mucho más amplias sobre la representación en lo que respecta a la educación. Entonces, por ejemplo, ¿es esta una escuela pública o privada? ¿Es esta una clase pequeña o una conferencia grande? ¿Cuáles son las necesidades de aprendizaje individuales? ¿Existe neurodiversidad? ¿De qué tema estamos hablando? ¿Es esta una actividad grupal? Todos estos desempeñan un papel enorme en el aula y pueden afectar dramáticamente la experiencia de un estudiante y, por lo tanto, el acto de recopilación de datos y los modelos que se construyen. Más allá de la educación, ¿qué mostró esto sobre cómo pensar quiénes están involucrados en un proceso como este y qué tipo de andamiaje puede ayudarlo a tener éxito? Subramonyam : Hay algunas cosas en las que debemos pensar. El primero es la estructura de incentivos. En la industria, los equipos de productos se crean teniendo en mente la eficiencia, lo que significa que se dividen para trabajar de manera que los ingenieros de aprendizaje automático reciban incentivos diferentes a los del sector financiero y donde los flujos de trabajo favorezcan la separación. Nuestra primera recomendación es que necesitamos reunir a todas estas personas al comienzo del proceso de decisión. Requiere un enorme esfuerzo recopilar datos y entrenar modelos, por lo que es mejor hacerlo bien desde el principio. El segundo tiene que ver con la infraestructura. Necesitamos pensar en los tipos de herramientas que necesitamos para apoyar la colaboración. Uno de mis alumnos creó una visualización relacionada con estos modelos de aprendizaje automático para respaldar la colaboración entre científicos de datos y expertos en el dominio, donde la visualización descarga parte de la carga del ingeniero que normalmente tiene que traducir cosas para otras personas. Tan : Otra cosa en la que debemos pensar es el hecho de que el lenguaje y los estándares no se comparten en estos dominios. Los profesores quieren ver métricas de evaluación sobre cuánto está aprendiendo un estudiante. Este es un lenguaje muy común entre los profesores, pero es muy difícil para los ingenieros de ML definirlo en una ecuación. Mientras tanto, los ingenieros se preocupan por cosas como la precisión del modelo, lo que no significa nada para los profesores. Necesitamos sentar las bases para que estas diferentes partes interesadas puedan hablar sobre lo mismo sin un montón de discusiones indirectas. Y, finalmente, mencionaría la necesidad de una iteración continua. En este caso, reunimos a todos por un momento, mientras que el proceso de desarrollo de un modelo de ML puede durar meses. A medida que las cosas cambian, estas partes interesadas deben volver a reunirse para recalibrar la dirección en la que se mueven las cosas. Nuestra investigación muestra los beneficios de la colaboración ascendente, pero se necesita más trabajo para comprender cómo sostener el compromiso continuo. Esta investigación fue financiada por el Centro Familiar Stanford McCoy para la Ética en la Sociedad . Dakuo Wang fue investigador visitante en HAI, con el apoyo de IBM Research.