Por Shana Lynch as publicaciones de blog más leídas de este año se centran en el impacto de la IA en campos como la atención médica, el derecho y la democracia, y destacan tanto el potencial de la IA como sus desafíos. Como se detalla en el Índice de IA, la IA se está volviendo más abierta y se está integrando en las industrias, con un aumento de la inversión, particularmente en IA generativa. Sin embargo, como revelan los estudios sobre aplicaciones legales, médicas y de salud mental, estos modelos a menudo producen errores, "alucinan" información falsa y plantean inquietudes sobre la privacidad, la transparencia y la seguridad. En su trabajo, nuestros académicos también pidieron una supervisión más fuerte, marcos éticos, evaluación rigurosa y un enfoque centrado en el ser humano para la expansión de la IA. Índice de IA: el estado de la IA en 13 gráficos El Índice de IA, un informe exhaustivo de Stanford HAI, rastrea las tendencias globales más importantes en IA. Este artículo ofreció los puntos destacados para los lectores: el año fue testigo de un cambio hacia modelos de código abierto, un aumento de las inversiones en IA generativa y una mayor regulación de la IA. El año pasado se lanzaron un récord de 149 modelos básicos, el 66% de los cuales eran de código abierto (aunque los modelos de código cerrado siguen teniendo un mejor desempeño en los índices de referencia). Estados Unidos lideró el desarrollo de modelos y la inversión privada, con 67.200 millones de dólares en financiación de IA, superando con creces a otros países. La IA ha alcanzado o superado el desempeño a nivel humano en muchos índices de referencia, lo que impulsa a las empresas a adoptar herramientas de IA para la automatización y la personalización. A pesar de estos avances, las preocupaciones sobre la seguridad laboral, la seguridad de los productos de IA y la necesidad de medidas regulatorias están en aumento, y los grupos demográficos más jóvenes y con mayor nivel educativo están particularmente en sintonía con el impacto de la IA en el empleo. Privacidad en la era de la IA: ¿cómo protegemos nuestra información personal? El auge de la IA de propósito general, en particular los modelos de lenguaje extenso (LLM), genera serias preocupaciones en materia de privacidad: ¿cómo se utilizan y protegen nuestros datos personales? El potencial de uso indebido abarca desde datos web extraídos para el entrenamiento hasta amenazas impulsadas por la IA, como la clonación de voz y el robo de identidad. Para abordar estas amenazas, Jennifer King y Caroline Meinhardt, de Stanford HAI, sugieren en su informe técnico “Rethinking Privacy in the AI ​​Era” (Repensar la privacidad en la era de la IA) que son esenciales marcos regulatorios más sólidos. Abogan por un cambio hacia el intercambio de datos con consentimiento expreso, un enfoque de la cadena de suministro para la privacidad de los datos y soluciones colectivas como intermediarios de datos para empoderar a los usuarios en una era dominada por la IA y la recolección masiva de datos. Ley alucinante: los errores legales con los modelos lingüísticos de gran tamaño son generalizados La aparición de programas de máster como ChatGPT y PaLM está transformando el ámbito jurídico, pero conlleva riesgos preocupantes, especialmente en relación con las “alucinaciones” que generan información jurídica inexacta. Un estudio reciente de RegLab y Stanford HAI de Stanford revela que los programas de máster suelen producir respuestas falsas o engañosas a consultas jurídicas, con tasas de error que van del 69% al 88% en tareas clave. Estos errores son particularmente comunes en asuntos jurídicos complejos o localizados, donde los programas de máster tienden a malinterpretar precedentes judiciales, atribuir autorías erróneamente y responder con exceso de confianza a premisas erróneas. Si bien los LLM tienen potencial para democratizar el acceso a la información legal, sus limitaciones actuales plantean riesgos, en particular para los usuarios que más necesitan un apoyo legal preciso y matizado. Los hallazgos sugieren que las herramientas de IA en el ámbito legal requieren una integración cuidadosa y supervisada para garantizar que complementen, en lugar de socavar, el criterio humano y la diversidad legal. La IA a prueba: los modelos jurídicos alucinan en 1 de cada 6 (o más) consultas de evaluación comparativa Casi tres cuartas partes de los abogados planean utilizar la IA generativa para tareas como la redacción de contratos, la revisión de documentos y la investigación jurídica. Sin embargo, la fiabilidad es un problema: se sabe que estas herramientas “alucinan” o generan información falsa. Este estudio puso a prueba las afirmaciones de las herramientas de investigación jurídica impulsadas por IA de LexisNexis y Thomson Reuters y descubrió que, aunque estas herramientas reducían los errores en comparación con los modelos generales, seguían alucinando hasta el 34 % del tiempo. El estudio destaca los problemas del proceso de investigación jurídica asistido por IA, como las citas inexactas y la “adulación”, en la que las herramientas de IA coinciden con suposiciones falsas de los usuarios. Los hallazgos subrayan la necesidad de transparencia y una evaluación comparativa rigurosa de los productos de IA legales, ya que la opacidad actual en torno al diseño y el rendimiento de estas herramientas dificulta que los abogados evalúen su fiabilidad y cumplan con las obligaciones éticas. Generación de errores médicos: GenAI y referencias médicas erróneas Los modelos de lenguaje de gran tamaño se están abriendo camino rápidamente en el ámbito de la atención médica: uno de cada diez médicos utiliza ChatGPT para las tareas cotidianas y algunos pacientes recurren a la IA para el autodiagnóstico. A pesar del entusiasmo, un estudio reciente de Stanford destaca los desafíos significativos que plantea la confiabilidad de los LLM en el ámbito de la atención médica, en particular en lo que respecta a la fundamentación de la información médica. Los investigadores descubrieron que incluso los LLM más avanzados con frecuencia alucinan afirmaciones sin fundamento o citan fuentes irrelevantes, y modelos como la generación aumentada por recuperación de GPT-4 producen afirmaciones sin fundamento hasta el 30 % de las veces. Estos problemas son más pronunciados en las consultas de los legos, como las que se encuentran en r/AskDocs de Reddit, lo que sugiere que los pacientes que buscan información sin la mediación de un médico pueden ser engañados. A medida que las herramientas de IA se vuelven cada vez más comunes en el ámbito de la atención médica, los expertos instan a una evaluación y una regulación más rigurosas para garantizar que estos sistemas brinden información confiable y basada en evidencia. Stanford HAI cumple cinco años: pioneros en el futuro de la IA centrada en el ser humano Durante su tiempo en Google, la científica informática de Stanford Fei-Fei Li vio de primera mano cómo la IA estaba transformando industrias desde la agricultura hasta la energía. Inspirada, regresó a Stanford con una visión: hacer que la IA sirva a la humanidad de manera ética. Esto llevó a la fundación de Stanford HAI, que ahora lleva cinco años en su misión de dar forma a la IA ética. A través de la investigación interdisciplinaria, las colaboraciones con la industria y la participación activa en políticas, HAI se ha convertido en una voz líder en el desarrollo de IA responsable, invirtiendo más de $40 millones en proyectos de investigación que abarcan la atención médica, la asistencia a los refugiados y la minería sostenible, al tiempo que educa a la próxima generación de líderes y formuladores de políticas de IA. ¿Cuánta investigación escriben los grandes modelos lingüísticos? James Zou, de Stanford, y su equipo investigaron el creciente uso de los LLM en la redacción académica y las revisiones por pares, y revelaron que casi el 18 % de los artículos de informática y el 17 % de las revisiones por pares incluyen contenido generado por IA. A través del análisis lingüístico y la verificación de expertos, identificaron ciertas palabras "asociadas a la IA" cuyo uso aumentó tras el lanzamiento de ChatGPT. Esta rápida adopción, en particular en los campos de la IA y la informática, subraya tanto los posibles beneficios como los desafíos éticos de los LLM en la investigación. Zou aboga por una mayor transparencia en el uso de los LLM y señala que, si bien la IA puede mejorar la claridad y la eficiencia, los investigadores deben seguir siendo responsables de su trabajo para mantener la integridad en el proceso científico. Grandes modelos lingüísticos en el ámbito sanitario: ¿hemos llegado ya? A pesar de la promesa que ofrecen los LLM en el ámbito de la atención médica, tenemos que superar algunos desafíos importantes antes de que puedan integrarse de manera segura en la práctica clínica, según los investigadores de Stanford. Su estudio reciente destaca que, si bien los LLM podrían aliviar la carga de trabajo de los médicos al encargarse de tareas administrativas y responder a las consultas de los pacientes, estas herramientas plantean riesgos de seguridad y crean errores que podrían conducir a resultados perjudiciales. Las evaluaciones actuales de los LLM a menudo se basan en datos seleccionados en lugar de información de pacientes del mundo real, y los esfuerzos de evaluación son desiguales en las tareas y especialidades de atención médica. El equipo de investigación recomienda evaluaciones más rigurosas y sistemáticas utilizando datos de pacientes reales y sugiere aprovechar los agentes de inteligencia artificial guiados por humanos para ampliar los esfuerzos de evaluación. El golpe tecnológico: un nuevo libro muestra cómo el poder descontrolado de las empresas está desestabilizando la gobernanza En esta conversación con Marietje Schaake, becaria de políticas de Stanford HAI, la exmiembro del Parlamento Europeo advierte sobre la influencia descontrolada de las empresas tecnológicas en las instituciones democráticas. Sostiene que las empresas privadas desempeñan cada vez más funciones tradicionalmente reservadas a los gobiernos (como la vigilancia, la ciberseguridad e incluso la influencia sobre la infraestructura militar y electoral) sin la necesaria rendición de cuentas pública. Schaake se basa en sus experiencias en el Parlamento Europeo y en Stanford para abogar por una regulación, transparencia y supervisión más estrictas de las empresas tecnológicas, especialmente porque controlan vastos recursos y datos críticos para la democracia. Sugiere reformas que incluyan consejos asesores tecnológicos independientes para los legisladores y una mayor rendición de cuentas pública para las empresas que desempeñan funciones gubernamentales. Schaake hace un llamamiento a los ciudadanos para que exijan una regulación tecnológica federal, apoyen las leyes de protección de datos y promuevan la transparencia en torno a los centros de datos y los desarrollos de inteligencia artificial para salvaguardar los principios democráticos. Uso de PNL para detectar crisis de salud mental A medida que aumentan las necesidades de salud mental, los estudiantes de medicina de Stanford Akshay Swaminathan e Ivan Lopez desarrollaron una herramienta de inteligencia artificial llamada Crisis Message Detector 1 (CMD-1) para mejorar los tiempos de respuesta de los pacientes en crisis. CMD-1 utiliza el procesamiento del lenguaje natural para identificar y priorizar los mensajes de alto riesgo, lo que permite una clasificación rápida dentro de una interfaz de Slack donde los respondedores humanos revisan los casos marcados. Probado en datos del proveedor de salud mental Cerebral, CMD-1 logró una precisión del 97% en la identificación de casos urgentes y redujo los tiempos de espera de los pacientes de más de 10 horas a 10 minutos. El proyecto destaca el potencial de la IA para apoyar a los médicos al agilizar los flujos de trabajo y mejorar la respuesta a las crisis en los entornos de atención médica, y subraya la importancia del desarrollo colaborativo e interdisciplinario para satisfacer las necesidades clínicas de manera eficaz.