Por Beth Jensen El estudiante de doctorado en ciencias de la computación Zach Robertson está intrigado por la interacción entre humanos e IA, es decir, por descubrir formas de alinear los sistemas de IA con las preferencias humanas. Recientemente, sin embargo, se centró en un problema diferente: cómo garantizar que los humanos que clasifican los datos de entrenamiento de la IA estén protegidos del contenido tóxico y dañino que a veces contienen. "Mi interés comenzó cuando leí un artículo que hablaba sobre la anotación de datos y cómo algunas empresas no necesariamente están pagando a sus trabajadores una cantidad justa de dinero y están haciendo que los trabajadores vean y evalúen contenido muy perturbador", dice. "Lo están haciendo para ayudar a que estos modelos sean seguros para los consumidores, pero sin transparencia sobre lo que podría haber en esos datos. Para algunos de esos trabajadores, los efectos son traumatizantes". La anotación de datos, el proceso de agregar información a los datos utilizados para entrenar modelos de aprendizaje informático, proporciona a los algoritmos de máquina el contexto y la información que necesitan para aprender y hacer predicciones. Puede adoptar varias formas, como el etiquetado, el etiquetado, la transcripción y el procesamiento. "Me di cuenta de que la cultura del aprendizaje automático no siempre tiene una conciencia completa de la contribución que los humanos hacen a estos modelos", dice Robertson. "Quería ver si podía reunir a algunas personas multidisciplinarias para aprender más sobre este tema y tal vez incluso hacer algunos cambios". Construyendo un equipo Robertson desarrolló su idea como parte de un Grupo de Afinidad Estudiantil a través del Instituto de Stanford para la Inteligencia Artificial Centrada en el Ser Humano (HAI). Lanzado en 2022, el programa aporta una amplia gama de voces a la IA al invitar a estudiantes de cualquiera de las siete escuelas de Stanford a identificar un tema de interés para seguir. Los miembros del grupo reclutan a sus propios compañeros de equipo interdisciplinarios para los proyectos que se ejecutan durante el año académico. Cada proyecto es elegible para un financiamiento de hasta $1,000 para cubrir los gastos básicos. Robertson se asoció con el estudiante de doctorado en ingeniería mecánica Mohammadmahdi Honarmand, la estudiante de doctorado en ciencias de la computación Nava Haghighi y el estudiante de maestría de la Escuela de Posgrado de Negocios Jon Qian para explorar los desafíos éticos de la anotación de datos en el desarrollo de IA, particularmente en lo que respecta al contenido tóxico y dañino. Llamaron a su proyecto WellLabeled. "Queríamos ver qué tan generalizados eran estos problemas, comprender las razones principales de ellos y encontrar estrategias que pudieran remediar algunos de estos problemas", dice Robertson. "Queríamos saber si había soluciones sencillas que pudieran dar a los trabajadores más transparencia, reducir el daño a ellos y seguir obteniendo los datos que las empresas necesitan". Tareas tóxicas Los miembros del equipo se reunieron con representantes de Scale AI, una empresa con sede en San Francisco que proporciona datos etiquetados utilizados para entrenar la IA, donde aprendieron sobre los complejos desafíos que enfrentan las empresas para obtener datos anotados. También se reunieron con miembros de Turkopticon, una organización sin fines de lucro dirigida por trabajadores que apoya, entre otros, a los anotadores de datos que trabajan para el mercado de crowdsourcing Mechanical Turk de Amazon. "En Turkopticon, nos informaron de un caso en el que un trabajador inesperadamente tuvo que clasificar imágenes de suicidio sin ninguna orientación o consentimiento informado", dice. "Para algunos anotadores, este trabajo es su principal ingreso, por lo que a menudo no sienten que tienen la opción de elegir otro proyecto porque este tipo de trabajo puede ser la opción mejor pagada. La falta de transparencia, la falta de opciones, los lleva a hacer el trabajo que ha aumentado el riesgo". Experiencia presencial A medida que su investigación avanzaba, Robertson decidió llevar el proyecto un paso más allá y adquirir experiencia en el mundo real. Se inscribió para hacer anotaciones para Open AI, donde dedicó su tiempo a elaborar preguntas complejas diseñadas para probar el razonamiento y la lógica del modelo insignia de ChatGPT de la compañía. "Me sorprendió que me pagaran 100 dólares la hora, ya que los informes que había leído decían que algunos contratistas de todo el mundo recibían entre 1 y 2 dólares la hora. Eso me mostró que hay una estratificación del trabajo que va desde la anotación de datos muy gráfica y visceral que no paga mucho, hasta la creación de datos más abstracta y abierta que paga más porque solo los expertos pueden hacerlo", dice. El equipo de WellLabel terminó su proyecto esta primavera con nuevas ideas y sugerencias para proteger a las personas que trabajan con datos. Entre sus hallazgos: El trabajo con datos implica desafíos éticos complejos. Muchos trabajadores de anotación de datos deben clasificar el contenido tóxico sin transparencia sobre las asignaciones, el pago adecuado o los recursos para hacer frente a la exposición a material perturbador. Las empresas de IA también se enfrentan a desafíos: la anotación de datos tiene muchos componentes, es muy iterativa y depende de una tubería complicada y, a veces, global con muchas partes móviles que no siempre son completamente comprendidas o apreciadas por los investigadores de IA. Aunque los problemas asociados con el trabajo de datos pueden ser complejos, algunas soluciones no lo son, y estas deben desarrollarse teniendo en cuenta la perspectiva del trabajador, dice Robertson. Entre ellos se encuentran: Aprovechar la automatización y la IA para ayudar a proteger a los trabajadores, como el preprocesamiento de datos para difuminar imágenes gráficas de una manera que permita a los trabajadores identificar la toxicidad pero los proteja de los peores daños emocionales. El uso de técnicas como el red teaming, en el que los anotadores proporcionan indicaciones al modelo para provocar respuestas no deseadas. El red teaming puede ofrecer a los trabajadores más agencia que técnicas como la moderación de contenidos. Establecer estándares y mejores prácticas para toda la industria, como la transparencia inicial sobre la naturaleza de las asignaciones, las opciones para la reasignación a proyectos menos tóxicos y los recursos para aquellos que experimentan efectos adversos del trabajo o que sienten que se ven obligados a realizar un trabajo perjudicial. "El proceso de anotación es realmente donde podemos dirigir cómo la IA se adaptará a nuestras normas, lo que lo convierte en un punto de coyuntura importante para controlar tanto cómo se implementan estos modelos como el efecto que tendrán en las aplicaciones posteriores donde se utilizarán", dice. "Es donde añadimos nuestros valores como sociedad". El proyecto también le dio a Robertson y a sus compañeros de equipo la rara oportunidad de practicar técnicas de resolución de problemas junto con otros grupos que enfrentan desafíos similares. "Formar un grupo como este no es fácil, pero nos inspiramos en todos los grupos de afinidad que trabajan en cosas muy diferentes", dice Robertson. "Fue un ambiente de apoyo y una oportunidad increíble. Siento que hice un trabajo significativo que no iba a poder hacer sin el apoyo de HAI".