Transparencia en la implementación de AI EO: una evaluación 90 días despué

foto-resumen

l 28 de enero de 2024 marcó un hito en los esfuerzos de Estados Unidos por aprovechar y gobernar la IA. Se cumplieron 90 días desde que el presidente Biden firmó la Orden Ejecutiva 14110 sobre el desarrollo y uso seguro y confiable de la inteligencia artificial (“la EO de IA”). El gobierno está avanzando rápidamente en la implementación con un nivel de transparencia no visto en EO anteriores relacionadas con la IA . Una hoja informativa de la Casa Blanca documenta las acciones realizadas hasta la fecha, un bienvenido cambio respecto de la opacidad anterior sobre la implementación . El alcance y la amplitud del progreso del gobierno federal en materia de EO de IA es un éxito para la administración Biden y los Estados Unidos, y también demuestra la importancia de nuestra investigación sobre la necesidad de liderazgo, claridad y responsabilidad. Hoy anunciamos la primera actualización de nuestro AI EO Tracker seguro, protegido y confiable, un rastreador detallado a nivel de línea de pedido creado para seguir la implementación por parte del gobierno federal de los 150 requisitos de AI EO . Rastreador en: (https://docs.google.com/spreadsheets/d/1xOL4hkQ2pLR-IAs3awIiXjPLmhIeXyE5-giJ5nT-h1M/edit#gid=142633882)

foto-resumen

La Casa Blanca se jacta de que se “completaron” 21 requisitos en la primera etapa de la AI EO, lo que sugiere una tasa de éxito del 100 por ciento. Solo pudimos verificar de manera concluyente que 19 requisitos se implementaron completamente o mostraron un progreso sustancial, lo que sugiere una tasa de éxito del 90 por ciento para los requisitos "completados" de la primera etapa de AI EO que son verdaderamente transparentes para el público. Como explicamos en nuestros análisis iniciales , la EO es un esfuerzo audaz y urgente para impulsar la acción de IA en todo el gobierno federal. Sin embargo, su éxito depende de una implementación oportuna y transparente por parte de las entidades federales. Nuestra revisión de la información disponible públicamente encontró que todavía existen lagunas notables en la divulgación pública de algunos requisitos de EO de IA. Aunque la sensibilidad de algunos requisitos justifica una menor divulgación (por ejemplo, divulgaciones que plantean preocupaciones sobre ciberseguridad o seguridad nacional), la verificabilidad pública sigue siendo un problema con otros requisitos. Cómo realizamos el seguimiento de la implementación Nuestro rastreador actualizado proporciona información sobre el estado de implementación de 39 requisitos basados ​​en 1) la hoja informativa de la Casa Blanca; 2) anuncios o declaraciones públicas realizadas por las entidades o funcionarios federales responsables; y 3) documentos oficiales, informes de los medios y otras pruebas concluyentes sobre partidas específicas disponibles públicamente a partir del 8 de febrero de 2024. Los requisitos se marcan como “implementados” si hay suficiente evidencia pública de su implementación total (por ejemplo, anuncios oficiales, informes independientes) separada de la Hoja Informativa. Por ejemplo, el requisito de la sección 5.2(a)(i) de que la Fundación Nacional de Ciencias (NSF) lance un piloto del Recurso Nacional de Investigación de IA (NAIRR) se verifica no solo mediante la hoja informativa, sino también mediante el lanzamiento del Sitio web piloto de NAIRR y anuncios importantes de NSF, agencias asociadas y socios no gubernamentales . Marcamos los requisitos como “no implementados de manera verificable” si no pudimos encontrar evidencia concluyente de una implementación total, como los requisitos de la sección 8(c)(i) sobre IA en el transporte. Un requisito se considera "en progreso" si se ha completado solo parcialmente, el grado de progreso es ambiguo o la finalización total del requisito requiere una acción continua. Por ejemplo, si bien el programa piloto del Departamento de Estado para realizar entrevistas de renovación de visas dentro de los Estados Unidos cumple con la sección 5.1(a)(i), marcamos este requisito como en progreso porque la acción no satisface completamente la sección 5.1(a)(ii). , lo que requiere la disponibilidad continua de suficientes citas de visa para expertos en IA. Impresionantes mejoras en transparencia El gobierno federal ha sido admirablemente transparente durante los últimos tres meses sobre sus esfuerzos de implementación relacionados con la AI EO. La hoja informativa de la Casa Blanca , publicada en el hito de los 90 días, recopila una lista de acciones de la agencia que se han completado, junto con sus plazos prescritos. Las agencias federales también han emitido declaraciones oportunas sobre sus actividades. Por ejemplo, el Instituto Nacional de Estándares y Tecnología (NIST) creó una página web dedicada que describe las responsabilidades, los plazos y las noticias de la agencia relacionadas con la implementación de AI EO, y la Secretaria de Comercio, Gina Raimondo, ha hecho varios anuncios sobre acciones relacionadas con EO. . Estas divulgaciones proactivas son una mejora significativa con respecto a los esfuerzos gubernamentales anteriores para implementar EO relacionadas con la IA, que investigaciones anteriores realizadas por Stanford HAI y RegLab encontraron que eran inconsistentes y mal divulgadas . El año pasado, el Congreso respondió a las críticas planteadas por esta investigación junto con una mayor atención de los medios mediante la celebración de audiencias y solicitando actualizaciones periódicas de las agencias sobre sus iniciativas de gobernanza de la IA. La Administración parece haber tomado en serio estas lecciones. La AI EO incluye definiciones mucho más claras de tareas, responsabilidades asignadas, cronogramas y requisitos de presentación de informes. Y los mecanismos de rendición de cuentas pública parecen haber estimulado los esfuerzos para llenar el vacío de liderazgo (tanto en la Casa Blanca como en las agencias) y abordar la escasez de recursos en el aparato político de IA del gobierno federal. Progreso hasta ahora En sólo 90 días, el poder ejecutivo ha logrado importantes avances. Según la Casa Blanca , las agencias federales han completado 29 acciones en respuesta a la EO de IA, que asignamos a 31 requisitos distintos en nuestro rastreador. De estos, 21 requisitos vencieron en el plazo de 90 días o antes. Confirmamos el progreso de la implementación de 19 de esos 21 requisitos (90 por ciento): verificamos que 11 de ellos (52 por ciento) estaban completamente implementados y ocho de ellos (38 por ciento) estaban en progreso (consulte la metodología más arriba). Para dos requisitos (10 por ciento), no pudimos encontrar evidencia distinta y concluyente que confirme la afirmación de la Casa Blanca de una implementación total. La hoja informativa de la Casa Blanca también hace referencia a 10 requisitos adicionales que no tienen fechas límite o que aún no han vencido. Verificamos que cuatro de estos requisitos estuvieran completamente implementados y cinco requisitos como en progreso, mientras que no se pudo verificar que un requisito estuviera implementado o en progreso. Teniendo en cuenta que muchas de estas tareas no finalizarán hasta dentro de varios meses, esto muestra un progreso inicial impresionante. Además, notamos esfuerzos de implementación temprana relacionados con ocho requisitos adicionales a los que ni siquiera se hacía referencia en la hoja informativa.

foto-resumen

Es de destacar que la Fundación Nacional de Ciencias (NSF) lanzó formalmente su proyecto piloto del Recurso Nacional de Investigación de IA (NAIRR) en asociación con 10 agencias federales y 25 socios no gubernamentales. Como parte del lanzamiento, la NSF y el Departamento de Energía emitieron una convocatoria temprana de solicitudes para acceder a recursos informáticos avanzados. Este piloto es un primer paso histórico hacia la nivelación del campo de juego para equipar a los investigadores con recursos informáticos y de datos muy necesarios, fortaleciendo así el liderazgo estadounidense a largo plazo en la investigación e innovación en IA. El lanzamiento por parte del gobierno federal de un aumento de talento en IA es otro paso crítico en un tema que muchos creen que puede ser el mayor impedimento para la innovación responsable en IA en el gobierno. Más allá de dar prioridad a los especialistas en IA a través del Servicio Digital de EE. UU. y los Becarios Presidenciales de Innovación, agencias federales como el Departamento de Seguridad Nacional están llevando a cabo nuevas iniciativas de reclutamiento y talento en IA. Por ejemplo, la Oficina de Gestión de Personal ha autorizado a todo el gobierno la autoridad de contratación directa de especialistas en IA y ha lanzado una acción conjunta de contratación de científicos de datos. Sin embargo, aún se desconoce la magnitud total del aumento de la contratación de IA (por lo que consideramos que aún está en progreso) y es importante dadas las agudas necesidades de talento técnico en el gobierno. Además, muchas agencias han dado los primeros pasos para movilizar recursos que les permitirán implementar requisitos normativos más sustanciales en los próximos meses, incluido el establecimiento de dos nuevos grupos de trabajo y la publicación de siete solicitudes de información o comentarios. Áreas para mejorar A pesar de mejoras sustanciales con respecto a la implementación de EO anteriores relacionadas con la IA, todavía existen lagunas. Los informes de la Casa Blanca y las agencias sobre la implementación varían mucho en términos de nivel de detalle y accesibilidad. A los observadores externos puede resultarles difícil verificar de forma independiente las afirmaciones de que se han cumplido requisitos particulares. Hay una serie de razones razonables que desaconsejan una transparencia total en la implementación, incluidas las preocupaciones relacionadas con la seguridad nacional y la ciberseguridad, así como las estrictas limitaciones de tiempo impuestas por la EO de IA. Por ejemplo, el Departamento de Seguridad Nacional no publicó información detallada relacionada con las evaluaciones de la agencia sobre el riesgo que plantea el uso de IA en sistemas de infraestructura crítica requeridos en la sección 4.3(a)(i); sin embargo, la divulgación completa de estas evaluaciones de riesgos o información relacionada podría plantear riesgos para la seguridad nacional. Incluso la divulgación de qué agencias no han completado sus evaluaciones de riesgos podría considerarse información confidencial si indica la falta de preparación de una agencia. De manera similar, el Departamento de Comercio no reveló los detalles de sus interacciones con las empresas ni la información proporcionada por ellas con respecto a los informes del modelo de base de doble uso en virtud de la Ley de Producción de Defensa (DPA), de conformidad con las secciones 4.2 (a) de la EO de AI. A pesar de la información incompleta, existen suficientes declaraciones públicas e informes independientes para que consideremos que los requisitos relacionados con la DPA están en progreso. Pero en otros casos en los que la información pública sobre los detalles de la implementación no debería implicar preocupaciones de seguridad, la información pública sigue siendo incompleta. En estos casos, la información disponible públicamente consiste únicamente en declaraciones de alto nivel de la Casa Blanca y/o jefes de agencias, sin anuncios o declaraciones formales adicionales en el sitio web de la entidad correspondiente. Por ejemplo, no pudimos encontrar información específica más allá de la hoja informativa para respaldar la afirmación de que el Departamento de Transporte, como parte de su implementación de la sección 8(c), estableció un nuevo Grupo de Trabajo Ejecutivo Intermodal o dirigió varios consejos y comités. Brindar asesoramiento sobre el uso seguro y responsable de la IA en el transporte. Y aunque un alto funcionario del Departamento de Salud y Servicios Humanos (HHS) señaló en un testimonio ante el Congreso que el HHS lanzó el grupo de trabajo sobre IA en todo el departamento requerido en la sección 8(b)(i), no se hace pública más información sobre las actividades del grupo de trabajo. disponible. Otras veces, la información puede estar disponible públicamente pero es difícil de encontrar. Si bien muchas agencias tienen páginas web dedicadas a la IA, algunos sitios rara vez se actualizan y no lo han sido en años. Un recurso centralizado que detalle todas las acciones gubernamentales en materia de políticas de IA podría facilitar mejor la rendición de cuentas, la participación pública y la retroalimentación. Para las EO anteriores relacionadas con la IA, AI.gov sirvió como depósito de información sobre las actividades de políticas de IA entre las agencias. Sin embargo, como este sitio web se ha reutilizado en gran medida para anunciar el aumento de talentos en IA y recopilar comentarios públicos sobre los borradores de las reglas, se eliminó esta función de repositorio. Mirando hacia el futuro El progreso en los primeros 90 días después de la EO de IA demuestra que los funcionarios federales han movilizado recursos considerables para garantizar una implementación rápida y transparencia, ayudando a hacer realidad los esfuerzos de la Casa Blanca para liderar la innovación y la gobernanza de la IA. Sin embargo, se debe mantener (e incluso aumentar) el impulso para los 129 requisitos restantes. Otras 48 fechas límite a las que se enfrentan las agencias en los próximos 90 días. Aunque las agencias ya han logrado avances en algunas de estas tareas con anticipación, las acciones encomendadas son significativas. Los requisitos notables incluyen un programa para mitigar el riesgo de propiedad intelectual relacionado con la IA, pautas para el uso de IA generativa por parte de empleados federales y una evaluación de las amenazas a la bioseguridad de los sistemas de IA. A medida que se cierren muchas ventanas de presentación de solicitudes de información, las agencias también tendrán que digerir y traducir grandes cantidades de información en reglas y orientaciones. En particular, la Oficina de Gestión y Presupuesto deberá finalizar su orientación sobre el uso de la IA por parte del gobierno federal. Mientras tanto, muchos de los requisitos que la Casa Blanca afirma que ya están implementados requerirán atención continua para lograr los resultados previstos por la OE. Felicitamos a la Casa Blanca y a las agencias federales por su transparencia al documentar el progreso de la implementación. Nuestros esfuerzos por verificar de forma independiente la implementación con información disponible públicamente resaltan que todavía hay espacio para que el gobierno proporcione información aún más detallada y estructurada. También refuerzan el valor de las iniciativas de seguimiento independientes y otros mecanismos de rendición de cuentas públicas, a los cuales seguiremos contribuyendo. *******Autores: Caroline Meinhardt es directora de investigación de políticas en Stanford HAI. Kevin Klyman es asistente de investigación en Stanford HAI y candidato a maestría en la Universidad de Stanford. Hamzah Daud es asistente de investigación en Stanford HAI y candidato a maestría en la Universidad de Stanford. Christie M. Lawrence es estudiante simultánea de JD/MPP en la Facultad de Derecho de Stanford y en la Escuela Kennedy de Harvard. Rohini Kosoglu es miembro de políticas en Stanford HAI. Daniel Zhang es director senior de iniciativas políticas en Stanford HAI. Daniel E. Ho es profesor de derecho William Benjamin Scott y Luna M. Scott, profesor de ciencias políticas, profesor de informática (por cortesía), miembro principal de HAI, miembro principal de SIEPR y director del RegLab de la Universidad de Stanford. .