Los principales científicos de IA están pidiendo a los líderes mundiales que tomen medidas más enérgicas sobre los riesgos de la IA, advirtiendo que el progreso ha sido insuficiente desde la primera Cumbre de Seguridad de la IA en Bletchley Park hace seis meses. Luego, los líderes mundiales se comprometieron a gobernar la IA de manera responsable. Sin embargo, a medida que se acerca la segunda Cumbre de Seguridad de la IA en Seúl (21 y 22 de mayo), veinticinco de los principales científicos de IA del mundo dicen que no se está haciendo lo suficiente para protegernos de los riesgos de la tecnología. En un documento de consenso de expertos publicado hoy en Science, describen las prioridades políticas urgentes que los líderes mundiales deberían adoptar para contrarrestar las amenazas de las tecnologías de IA. El profesor Philip Torr, del Departamento de Ciencias de la Ingeniería de la Universidad de Oxford, coautor del artículo, dice: "El mundo estuvo de acuerdo durante la última cumbre de IA en que necesitábamos acción, pero ahora es el momento de pasar de propuestas vagas a compromisos concretos. Este documento proporciona muchas recomendaciones importantes sobre lo que las empresas y los gobiernos deben comprometerse a hacer". La respuesta mundial no va por buen camino ante un progreso potencialmente rápido de la IA Según los autores del artículo, es imperativo que los líderes mundiales se tomen en serio la posibilidad de que se desarrollen sistemas de IA generalistas muy potentes---que superen las capacidades humanas en muchos dominios críticos--- en la década actual o en la próxima. Dicen que, aunque los gobiernos de todo el mundo han estado discutiendo la IA de frontera y han hecho algún intento de introducir pautas iniciales, esto es simplemente inconmensurable con la posibilidad de un progreso rápido y transformador esperado por muchos expertos. La investigación actual sobre la seguridad de la IA es muy deficiente, ya que se estima que solo entre el 1 % y el 3 % de las publicaciones de IA se refieren a la seguridad. Además, no contamos con los mecanismos ni las instituciones para prevenir el uso indebido y la imprudencia, incluso en lo que respecta al uso de sistemas autónomos capaces de tomar medidas de forma independiente y perseguir objetivos. Los principales expertos en IA del mundo hacen un llamamiento a la acción A la luz de esto, una comunidad internacional de pioneros de la IA ha hecho un llamamiento urgente a la acción. Los coautores incluyen a Geoffrey Hinton, Andrew Yao, Dawn Song, el difunto Daniel Kahneman; en total, 25 de los principales expertos académicos del mundo en IA y su gobernanza. Los autores provienen de EE. UU., China, la UE, el Reino Unido y otras potencias de IA, e incluyen ganadores del premio Turing, premios Nobel y autores de libros de texto estándar de IA. Este artículo es la primera vez que un grupo tan grande e internacional de expertos ha acordado las prioridades de los responsables políticos mundiales con respecto a los riesgos de los sistemas avanzados de IA. Prioridades urgentes para la gobernanza de la IA Los autores recomiendan a los gobiernos: Establecer instituciones expertas y de acción rápida para la supervisión de la IA y proporcionarles una financiación mucho mayor de la que deberían recibir en virtud de casi cualquier plan de política actual. A modo de comparación, el Instituto de Seguridad de la IA de EE. UU. tiene actualmente un presupuesto anual de 10 millones de dólares, mientras que la Administración de Alimentos y Medicamentos de EE. UU. (FDA) tiene un presupuesto de 6.700 millones de dólares. exigir evaluaciones de riesgos mucho más rigurosas con consecuencias exigibles, en lugar de depender de evaluaciones voluntarias o modelos poco especificados. exigir a las empresas de IA que den prioridad a la seguridad y que demuestren que sus sistemas no pueden causar daños. Esto incluye el uso de "casos de seguridad" (utilizados para otras tecnologías críticas para la seguridad, como la aviación), lo que traslada la carga de demostrar la seguridad a los desarrolladores de IA. implementar estándares de mitigación acordes con los niveles de riesgo que plantean los sistemas de IA. Una prioridad urgente es establecer políticas que se activen automáticamente cuando la IA alcance ciertos hitos de capacidad. Si la IA avanza rápidamente, los requisitos estrictos entran en vigor automáticamente, pero si el progreso se ralentiza, los requisitos se relajan en consecuencia. Según los autores, para que los futuros sistemas de IA sean excepcionalmente capaces, los gobiernos deben estar preparados para tomar la iniciativa en la regulación. Esto incluye la concesión de licencias para el desarrollo de estos sistemas, la restricción de su autonomía en funciones sociales clave, la detención de su desarrollo y despliegue en respuesta a capacidades preocupantes, la exigencia de controles de acceso y la exigencia de medidas de seguridad de la información robustas para los piratas informáticos a nivel estatal, hasta que las protecciones adecuadas estén listas. Los impactos de la IA podrían ser catastróficos La IA ya está progresando rápidamente en dominios críticos como la piratería, la manipulación social y la planificación estratégica, y pronto podría plantear desafíos de control sin precedentes. Para avanzar en objetivos indeseables, los sistemas de IA podrían ganarse la confianza humana, adquirir recursos e influir en los principales responsables de la toma de decisiones. Para evitar la intervención humana, podrían ser capaces de copiar sus algoritmos a través de redes de servidores globales. La ciberdelincuencia a gran escala, la manipulación social y otros daños podrían aumentar rápidamente. En un conflicto abierto, los sistemas de IA podrían desplegar de forma autónoma una variedad de armas, incluidas las biológicas. En consecuencia, existe una posibilidad muy real de que el avance desenfrenado de la IA pueda culminar en una pérdida a gran escala de vidas y de la biosfera, y en la marginación o extinción de la humanidad. Stuart Russell OBE, profesor de Ciencias de la Computación en la Universidad de California en Berkeley y autor del libro de texto estándar mundial sobre IA, dice: "Este es un documento de consenso de los principales expertos, y pide una regulación estricta por parte de los gobiernos, no códigos de conducta voluntarios escritos por la industria. Es hora de tomarse en serio los sistemas avanzados de IA. Estos no son juguetes. Aumentar sus capacidades antes de que entendamos cómo hacerlos seguros es completamente imprudente. Las empresas se quejarán de que es demasiado difícil cumplir con las regulaciones, que "la regulación sofoca la innovación". Es ridículo. Hay más regulaciones sobre las tiendas de sándwiches que sobre las empresas de IA". El artículo «Gestión de los riesgos extremos de la IA en medio de un rápido progreso» se ha publicado en Science en https://www.science.org/doi/10.1126/science.adn0117 ILUSTRACIÓN: SARA GIRONI CARNEVALE