Por Thierry Poibeau DR CNRS, Escuela Normal Superior (ENS) – PSL El lanzamiento de ChatGPT marcó una nueva etapa en el desarrollo de tecnologías de procesamiento del lenguaje. En cualquier caso, es la primera vez que un sistema de IA, fruto directo de la investigación, despierta tanto entusiasmo: han aparecido numerosos artículos en la prensa especializada pero también generalista. ChatGPT (u OpenAI, la empresa que desarrolla ChatGPT, o ambos) siguen siendo tendencia en Twitter incluso hoy en día. ¿Por qué tal eco? ¿Las capacidades de ChatGPT son una desviación de las tecnologías anteriores de generación de texto? ChatGPT puede chatear Claramente, ChatGPT ha permitido un salto cualitativo: es capaz de responder, a menudo de manera relevante, a casi cualquier consulta en lenguaje natural. GPT2, luego GPT3 (los modelos de lenguaje anteriores desarrollados por OpenAI) ya eran muy buenos generando texto a partir de unas pocas palabras u oraciones dadas como punto de partida (lo que llamamos el “prompt”): a menudo hablábamos de “loros” (estocásticos) . loros ), como propone Emily Bender , y muchos otros investigadores críticos con estas técnicas. En efecto, se podría decir que estos sistemas produjeron texto a partir de fragmentos de frases extraídas de los inmensos corpus de que disponían... incluso si hay que matizar esta imagen del loro: los sistemas no repiten extractos palabra por palabra, sino que producen en general una texto original retomando, parafraseando y combinando elementos vistos en varios corpus. ChatGPT incorpora estas características, pero la parte de “chat” (diálogo) añade una dimensión completamente diferente y, a menudo, aparentemente sorprendente. El sistema ya no produce sólo un párrafo a partir de una frase dada como entrada. Ahora es capaz de responder correctamente a preguntas tanto simples como complejas, puede aportar elementos de razonamiento, expresarse en diferentes lenguajes, analizar o producir códigos informáticos, entre otras cosas. Por ejemplo, si preguntamos si dos personajes podrían haberse conocido, el sistema es capaz de determinar las fechas correspondientes a su existencia, comparar dichas fechas y deducir una respuesta . Esto es trivial para un humano, pero hasta ahora ningún sistema podía responder con tanta precisión a este tipo de preguntas sin ser altamente especializado. Más allá del lenguaje, ChatGPT también puede proporcionar elementos de razonamiento matemático (pero a menudo es erróneo ) y analizar código informático en particular. Desde este punto de vista, ChatGPT está un paso por delante de sus competidores. ChatGPT, un sistema cerrado En cuanto al funcionamiento del sistema, es difícil decir más, porque OpenAI, a pesar de su nombre, desarrolla sistemas cerrados. Es decir, el código informático (código fuente) utilizado no está disponible y la investigación relacionada con ChatGPT sigue siendo, por el momento, en gran medida un secreto comercial, aunque, obviamente, otros equipos están trabajando en sistemas similares , también basados ​​en el aprendizaje profundo. Por tanto, tenemos una idea de lo que utiliza OpenAI. Otras empresas han mantenido un modelo más abierto, por ejemplo Meta con los trabajos realizados en FAIR , generalmente abiertos y publicados en los principales congresos del sector. Pero, en términos más generales, asistimos cada vez más a un cierre de la investigación. Por ejemplo, mientras Apple siempre ha tenido un modelo de desarrollo privado y altamente reservado , Deepmind tenía un modelo abierto y podría decirse que es un poco menos abierto ahora que la empresa está bajo el control de Google . El propio sistema ChatGPT podría volverse comercial: OpenAI está financiado por Microsoft, que podría decidir cerrar el acceso al sistema algún día, si le conviene. Al probar ChatGPT, contribuyes (gratis) a mejorarlo Mientras tanto, OpenAI se beneficia de la enorme publicidad que le aporta su herramienta, y también de todas las interacciones que los usuarios tienen con ella. Si un usuario indica que una respuesta no es buena, o pide a la herramienta que reformule su respuesta teniendo en cuenta un elemento más, esta es toda la información que el sistema almacena y puede reutilizar para afinar su respuesta la próxima vez, sobre la consulta realizada o en una consulta similar. ¡Al probar ChatGPT, trabajamos gratis para OpenAI ! Volviendo al sistema en sí, la parte del diálogo es lo que hace que ChatGPT sea fuerte y único (en comparación con GPT3, por ejemplo). Ya no se trata de un modelo de lenguaje “simple” capaz de generar texto “por kilómetro”, sino de un verdadero sistema de diálogo. Esto probablemente se ha beneficiado de millones o miles de millones de ejemplos evaluados por humanos , y la fase actual – donde cientos de miles de usuarios “juegan” con el sistema casi gratis – todavía permite mejorarlo continuamente, ya que todas las interacciones obviamente se registran y utilizado para esto. Ahora es bastante sencillo acceder a corpus de miles de millones de palabras para desarrollar un modelo de lenguaje tipo “GPT”, al menos para los lenguajes ampliamente utilizados en Internet. Pero los datos que permitieron el desarrollo de ChatGPT (diálogos, interacciones con humanos) no son públicos, y esto es lo que le da a OpenAI una ventaja importante sobre la competencia. Google, por ejemplo, dispone de datos diferentes, pero sin duda también utilizables para este tipo de sistema, sobre todo porque Google ha desarrollado desde hace varios años un gráfico de conocimiento que podría permitir generar respuestas con mayor fiabilidad que ChatGPT. En particular, el análisis de las secuencias de consultas del motor de búsqueda de Google podría proporcionar información valiosa para guiar la interacción con el usuario... Pero, mientras tanto, es OpenAI el que tiene ChatGPT, y no Google: OpenAi tiene la ventaja. ChatGPT ha pasado las primeras pruebas De hecho, incluso si es posible eludir los límites de ChatGPT , el sistema se niega a explicar cómo crear una bomba, producir historias eróticas o expresar sus sentimientos (ChatGPT responde con frecuencia que es una máquina, que no tiene sentimientos). o personalidad ). Obviamente OpenAI se ha ocupado de su comunicación. La empresa también ha puesto mucho cuidado en “proteger” el sistema, para permitirle sortear la mayoría de las trampas que pueden arruinar en pocas horas este tipo de aplicaciones, como suele ocurrir en los sistemas abiertos al público. Podemos citar, por ejemplo, a Meta, que el pasado mes de noviembre tuvo que retirar su sistema llamado “Galactica” dos días después de ponerlo en línea . Galactica había sido formada en el campo científico y diseñada para ofrecer servicios a los investigadores. Primero se presentó como capaz de escribir artículos científicos automáticamente desde un mensaje ... antes de que la compañía aclarara que obviamente era solo una ayuda para la escritura. Pero esta desafortunada estrategia de comunicación desató una controversia que obligó a Meta a desconectar rápidamente Galactica. Por el contrario, ChatGPT sigue online y sigue despertando la misma pasión entre un gran público. Sin embargo, quedan preguntas: ¿qué impacto tendrá ChatGPT? ¿Qué aplicaciones se derivarán de ello? ¿Y a qué modelo económico se dirige la empresa OpenAI (y Microsoft, su principal inversor)?