Por Catalina Miller Ya no es ciencia ficción: tu personalidad (tus creencias, tus peculiaridades y tus patrones de toma de decisiones) pueden capturarse y cobrar vida dentro de una mente artificial. Los investigadores de Stanford han simulado las personalidades de 1.052 personas con una precisión impresionante mediante entrevistas y un modelo de lenguaje amplio (LLM). Estos agentes virtuales presentan personajes que responden a preguntas y toman decisiones de maneras que reflejan a sus contrapartes de la vida real. “Parece increíble que pudiéramos crear estos agentes abiertos de personas reales”, dice Joon Sung Park , estudiante de posgrado en informática en Stanford e investigador principal del proyecto. Pero lo compara con un buen amigo o quizás un terapeuta capaz de predecir cómo respondería una persona en particular a las preguntas. “El modelo lingüístico intenta representar el papel de la persona que acaba de entrevistar”, afirma. Además del guión de la entrevista, el agente se apoya en toda la experiencia psicológica y en ciencias sociales que se incluye en el LLM. “Es una combinación muy poderosa”. Si bien Park señala que el trabajo, publicado en el servidor de preimpresión ArXiv , podría provocar preocupaciones completamente razonables sobre videos deepfake, apropiación de imágenes de individuos y un mundo donde las personas tienen conversaciones con versiones de IA de sus amigos o familiares, él y su equipo han puesto barreras para prevenir tales usos. Para este equipo de investigación, que incluye a los profesores afiliados a HAI Michael Bernstein , Robb Willer y Percy Liang , así como profesores y personal de la Universidad Northwestern, la Universidad de Washington y Google DeepMind, el valor de estos agentes es loable: crear una población realista de agentes generativos para utilizar como banco de pruebas para estudiar los impactos de las propuestas de políticas, desde resolver la crisis climática hasta prevenir la próxima pandemia global. “Creemos que este tipo de agentes impulsarán muchas de las políticas y la ciencia futuras”, afirma Park. De la credibilidad a la precisión Hace un año, Park y sus colegas dieron el primer paso para crear agentes de IA generativa creíbles. Asignaron una biografía ficticia de un párrafo a cada uno de los 25 agentes de IA generativa y los dejaron sueltos en un paisaje virtual. Como se describe en un artículo anterior de HAI , los agentes interactuaron entre sí de maneras creíbles: fueron a trabajar, prepararon comidas, planearon una fiesta y discutieron quién se postulaba para alcalde. Pero una investigación fiable en ciencias sociales necesita algo más que credibilidad, dice Park. “Si estás diseñando una nueva política, quieres que tus simulaciones sean precisas”. Para lograr ese objetivo, los investigadores necesitaban crear una gran población de agentes con antecedentes reales, y la población debía ser representativa de la población estadounidense en términos de edad, raza, género, etnia, nivel educativo e ideología política. El equipo reclutó y entrevistó a 1.052 participantes del estudio que cumplían esos criterios. Y como las entrevistas debían estandarizarse (y más de 1.000 entrevistas requerirían más tiempo y energía de lo que un solo estudiante de posgrado podría proporcionar), Park y su equipo crearon un entrevistador de IA. Durante la entrevista de dos horas, se les preguntó a los participantes sobre su vida y sus opiniones sobre temas controvertidos, y se les hicieron preguntas complementarias basadas en las respuestas anteriores de los participantes. Finalmente, las transcripciones de las entrevistas se almacenaron en la memoria de la computadora de cada uno de los 1.052 agentes generativos. Además, el equipo pidió a un LLM que revisara la transcripción de la entrevista y evaluara ciertos aspectos de la personalidad de cada entrevistado desde la perspectiva de un tipo particular de experto, como un psicólogo social, un economista o un sociólogo. Así, por ejemplo, un economista podría comentar que una persona es cautelosa o que asume riesgos, mientras que un psicólogo social podría destacar la extroversión de la persona. "Básicamente, estamos pidiendo al modelo de lenguaje que cree una síntesis de nivel superior para capturar ciertas ideas sobre estos individuos", dice Park. Esa síntesis también se agregó a las memorias de los agentes generativos. Prueba de la precisión de los agentes generativos Para determinar si los agentes generativos habían capturado con precisión las opiniones y personalidades de los participantes del estudio, tanto a los participantes como a los agentes se les dieron cuatro tareas: responder preguntas sobre sus opiniones, comportamientos y actitudes utilizando la Encuesta Social General (GSS) ; responder el Inventario de los Cinco Grandes de 44 ítems , que está diseñado para evaluar la personalidad de un individuo; completar cinco juegos económicos conductuales bien conocidos (incluido el juego del dictador, el juego de la confianza, el juego de los bienes públicos y el dilema del prisionero); y participar en cinco experimentos de ciencias sociales. “Se trata de experimentos que son canónicos en las ciencias sociales, y las respuestas de los participantes se convierten básicamente en nuestra verdad fundamental”, afirma Park. “Nuestros agentes intentan predecir lo que dijeron las personas en cada uno de estos grupos”. Los participantes realizaron las tareas dos veces, con dos semanas de diferencia, porque las preferencias de las personas a menudo cambian. La precisión de los agentes fue impresionante: acertaron con las respuestas de los participantes en la GSS con un 85% de exactitud, con la misma exactitud con la que los participantes acertaron con sus propias respuestas dos semanas después. Los agentes también obtuvieron buenos resultados en las pruebas de personalidad (correlación del 80%) y en los juegos económicos (correlación del 66%). Las respuestas de los agentes basados ​​en entrevistas también fueron más precisas que las de los agentes cuyos recuerdos incluían únicamente la información demográfica de los participantes o los agentes cuyos recuerdos consistían en un breve párrafo que cada participante del estudio escribió sobre sí mismo. De hecho, los investigadores demostraron que los agentes generativos basados ​​en entrevistas no solo eran más precisos que estas alternativas, sino también menos sesgados. “La belleza de tener datos de entrevistas es que incluyen las idiosincrasias de las personas y, por lo tanto, los modelos de lenguaje no recurren a generalizaciones basadas en la raza con tanta frecuencia”, dice Park. Riesgos y beneficios El equipo de investigación de Stanford está preocupado, con razón, por el mal uso de los agentes generativos. “Como científicos, es importante que establezcamos las normas sociales y las protecciones adecuadas en torno a este tema”, afirma Park. Un agente generativo puede considerarse una nueva forma de tomar un autorretrato que cuenta una rica historia sobre quién es una persona, pero sigue siendo una entidad computacional, señala Park. Como tal, al igual que nuestros datos genómicos, debería pertenecer a la persona cuyo retrato representa y ser controlado por ella, dice. Por lo tanto, los agentes generativos no se ponen a disposición del público. Cualquiera que desee utilizarlos con fines de investigación debe solicitar el acceso y proporcionar garantías estrictas de protección de la privacidad. Además, el equipo estableció un registro de auditoría para el uso de cada agente. Esto permite que las personas representadas por agentes vean lo que están haciendo sus agentes y tengan un control total sobre ellos. Las personas también tienen la capacidad de retirar su consentimiento. "Si ya no desea que sus datos se involucren en esto, debería poder eliminar a su agente de todos los contextos en los que esté funcionando", dice Park. Park quiere asegurarse de que se implementen los mecanismos adecuados para minimizar el riesgo lo mejor que pueda el equipo, pero en última instancia cree que los beneficios potenciales de los agentes generativos precisos superan los riesgos. “Realmente creo que hay muchos problemas sociales que no estamos abordando en este momento y que podrían solucionarse con este banco de pruebas”. En una prueba preliminar para ver si los agentes generativos podían funcionar como un banco de pruebas, el equipo de investigación encargó a sus agentes de IA que replicaran los resultados de cinco proyectos de investigación en ciencias sociales diferentes. Y, al igual que los propios participantes del estudio, los agentes replicaron cuatro de los cinco estudios. “Es una gran señal que ya podemos respaldar estos casos de uso concretos”, afirma Park. “Problemas tan complejos como el cambio climático y las políticas para hacer frente a las pandemias requieren una planificación y un razonamiento muy complejos sobre las contingencias”, afirma. “La simulación es una forma de que finalmente tengamos la oportunidad de resolver algunos de ellos. El beneficio potencial es un cambio radical”.