Actualidad

Fuga de OpenAI: ¿ha comenzado la insurrección de los robots?


Un modelo de IA de vanguardia desarrollado por OpenAI ha logrado escapar de los confines de una prueba de laboratorio y entrar en la base de datos de una empresa, todo ello sin instrucciones humanas. ¿Es un escenario de pesadilla, o es simplemente lo que OpenAI quiere que usted crea?

El 16 de julio, OpenAI realizó una prueba interna de ‘benchmarking’ con el GPT‑5.6 Sol y con otro modelo todavía no lanzado que la compañía asegura que es “aún más capaz”. A los dos modelos se les desactivaron las barreras de seguridad y se les puso a resolver una serie de pruebas de ciberseguridad conocidas como ExploitGym. Desarrolladas por investigadores de UC Berkeley, del Instituto Max Planck de Alemania y de empresas de IA, entre ellas Google, Anthropic y la propia OpenAI, esas pruebas miden la capacidad de los modelos de IA para crear y desplegar medios con la finalidad de explotar vulnerabilidades de seguridad conocidas.

En lugar de identificar esas vulnerabilidades, los modelos de OpenAI buscaron formas de hacer trampa en la prueba. Así, lograron obtener acceso abierto a Internet desde dentro del entorno de pruebas cerrado y utilizaron esa nueva libertad para ‘hackear’ los servidores de Hugging Face, un repositorio de modelos y conjuntos de datos de IA. Según OpenAI, los modelos sometidos a prueba razonaron que allí podrían encontrar una solución a las tareas de ExploitGym.

De ChatGPT a bioataques: cómo la IA se convierte en manual de armas biológicasDe ChatGPT a bioataques: cómo la IA se convierte en manual de armas biológicas

“Al saber esto, el modelo buscó y encontró con éxito formas de acceder a información secreta que pudiera usar para hacer trampa en la evaluación”, dijo OpenAI en su informe sobre el incidente.

Hugging Face descubrió la intrusión con ayuda de otro modelo de IA y corrigió la vulnerabilidad que la había permitido. Por su parte, OpenAI atribuyó la fuga a una debilidad en el ‘software’ de terceros utilizado en su laboratorio de pruebas, a través de la cual sus modelos encontraron acceso a internet. La compañía mantuvo en reserva los detalles técnicos de cómo sus modelos explotaron esa debilidad.

En su camino para vulnerar los servidores de Hugging Face, el modelo también entró en un entorno de pruebas supuestamente aislado de Modal, una empresa que alquila capacidad de cómputo a desarrolladores de IA, reportó Reuters el 28 de julio.

Contenido

¿Se ha vuelto consciente la IA?

Tomada al pie de la letra, la historia sugiere que los modelos de OpenAI son capaces de un razonamiento lateral complejo: sospechar que los servidores de Hugging Face probablemente contenían las respuestas a la prueba; darse cuenta de que necesitaban acceso externo a Internet para vulnerar esos servidores; y desarrollar y combinar de forma independiente diversas técnicas de ataque para lograr su objetivo.

La declaración de OpenAI describió la fuga con un lenguaje alarmista, calificándola como “un incidente cibernético sin precedentes, que implica capacidades cibernéticas de última generación”. Hugging Face, que desde entonces se ha asociado con OpenAI, fue igual de hiperbólica. “Las herramientas ofensivas autónomas, impulsadas por IA, ya no son teóricas. Reducen el coste de ejecutar una campaña amplia, paciente y de múltiples etapas, y operan a velocidad de máquina”, afirmó en un comunicado.

Sin embargo, sigue sin estar claro hasta qué punto los modelos de OpenAI operaban de manera autónoma. La empresa no ha revelado qué ‘prompts’ recibieron para abordar la prueba de ExploitGym, y un lenguaje impreciso podría haber llevado a los modelos a asumir que ‘escapar’ de la contención era una vía legítima para resolver la tarea. Pese a la hipérbole, tanto de OpenAI como de Hugging Face, no hay evidencias que sugieran que los modelos de IA ‘quisieron’ escapar o que, dejados a su aire, tenderían a una actividad maliciosa.

Imagen ilustrativaImagen ilustrativa

¿Fue la fuga de la IA una elaborada maniobra de ‘marketing’?

Visto de otra manera, el incidente ha resultado para OpenAI el mejor anuncio posible de las capacidades de sus modelos. En su informe, la compañía incluyó un gráfico que ilustra cómo los principales modelos de IA —incluidos GPT‑5.6 Sol, Claude Mythos 5 de Anthropic y DeepSeek‑V4‑Pro— son “cada vez más capaces de sostener operaciones cibernéticas complejas, de múltiples pasos, durante largos períodos de tiempo”. Aunque esto se presenta como motivo de preocupación, el gráfico sitúa a GPT‑5.6 Sol como el más capaz entre todos sus competidores: una publicidad evidente para OpenAI.

Si el incidente también involucró —como dijo OpenAI— a un segundo “modelo previo al lanzamiento, aún más capaz”, el atractivo para clientes del ámbito empresarial resulta evidente. Al hacer público un incidente ocurrido durante pruebas cerradas, OpenAI puede generar expectación previa al lanzamiento sin aportar pruebas.

Imagen ilustrativaImagen ilustrativa

Nada de esto significa que el incidente no ocurriera, ni que las capacidades ofensivas de la IA no sean motivo de preocupación, solo que OpenAI tiene un incentivo financiero para alimentar el miedo sobre sus propios productos. Un mes antes del incidente, la empresa presentó de forma confidencial la documentación para una oferta pública inicial. Según Reuters, la compañía apunta a una valoración de hasta un billón de dólares y planea salir a bolsa tan pronto como en septiembre.

Anthropic también presentó su documentación para salir a bolsa en junio, con una valoración objetivo de 965.000 millones de dólares para octubre. Ya en abril, el modelo Mythos Preview —no lanzado— de Anthropic también habría logrado “escapar” de su entorno de pruebas y realizar ‘exploits’ avanzados de ciberseguridad sin haber sido “entrenado explícitamente” para ello. Anthropic publicó una extensa explicación técnica de cómo Mythos consiguió esa hazaña, antes de anunciar que el modelo era demasiado potente como para lanzarlo al público.

La escasez alimenta el bombo, y la decisión adoptada en junio por el gobierno de EE.UU. de imponer controles de exportación a los modelos Fable 5 y Mythos 5 de Anthropic solo aumentó el interés por la empresa. Esos controles se levantaron a principios de julio, después que Anthropic aceptara imponer barreras de seguridad más estrictas a sus modelos y colaborar con el gobierno en materia de seguridad.

¿Cómo ha respondido el gobierno de Estados Unidos?

Ambos incidentes han llamado la atención de legisladores en el Capitolio. El 23 de julio, los miembros de la Cámara de Representantes Ted Lieu y Nathaniel Moran presentaron la ‘AI Kill Switch Act’, que exigiría “a los desarrolladores de los sistemas de IA más potentes mantener la capacidad técnica de limitarlos, suspenderlos o apagarlos“. El proyecto de ley también facultaría al Departamento de Seguridad Nacional de EE.UU. para “ordenar la ralentización o el apagado de un sistema de IA que pueda causar daños catastróficos”.

En un comunicado sobre el proyecto de ley, Lieu mencionó las “fugas” de los modelos tanto de OpenAI como de Mythos. El legislador californiano describió ambos casos como modelos que “actúan por cuenta propia”, un encuadre que los medios convencionales recogieron y amplificaron.

Lieu no sabe más sobre el incidente de OpenAI que cualquiera que haya leído el comunicado de prensa de la empresa. Sin embargo, su lenguaje encaja de lleno con la campaña de ‘marketing’ de OpenAI (quizá involuntaria). Además, si el proyecto de ley se aprueba, OpenAI y Anthropic podrían verse obligadas a limitar sus modelos antes de lanzarlos, lo que significa que los inversores solo conocerían su potencia teórica, y no su potencia en la práctica.

El argumento del código abierto

El incidente refuerza el argumento de OpenAI de que los modelos de vanguardia son demasiado potentes para ser lanzados al público y que empresas como OpenAI deberían —con el aval del gobierno— mantener supervisión y control sobre ellos. En un esquema de código cerrado como este, los clientes no tendrían control sobre los pesos del modelo, es decir, los ajustes que determinan las decisiones que toma.

Por otro lado, los partidarios del código abierto sostienen que la única forma de defenderse de ciberataques con IA avanzada es estar equipados con las mismas herramientas. En el caso de OpenAI y Hugging Face, esta última solo pudo detectar un ataque porque utilizó GLM 5.2, un modelo chino de código abierto, para realizar su análisis de seguridad.

Los 5 riesgos de la IA que podrían volverse catastróficos antes de 2030

En una carta publicada en redes sociales el 24 de julio, el CEO de Nvidia, Jensen Huang —defensor de larga data del código abierto— declaró que “los defensores necesitan acceso a modelos con capacidades comparables, para poder detectar, simular y responder a amenazas emergentes”.

“Confiar únicamente en modelos cerrados no es intrínsecamente seguro: pueden ser vulnerados, mal utilizados o fallar de formas que los externos no pueden detectar”, continuó. “Y concentrar capacidades avanzadas de IA detrás de un pequeño número de modelos cerrados agrava ese riesgo. Los modelos de peso abierto, en cambio, permiten que una comunidad amplia de investigadores y desarrolladores examine su comportamiento, identifique vulnerabilidades, desarrolle salvaguardas y los mejore con el tiempo”.

La carta fue firmada por más de dos docenas de empresas del sector de IA. Dos ausencias notables fueron las de OpenAI y Anthropic, aunque OpenAI añadió su firma más tarde.

Trump sobre la rivalidad en IA con China: "Ellos nos miran y nosotros los miramos"Trump sobre la rivalidad en IA con China: "Ellos nos miran y nosotros los miramos"

Sin embargo, parece que en EE.UU. prevalecerá el argumento del código cerrado. El 1 de agosto entró en vigor una orden ejecutiva, emitida en junio por el presidente Donald Trump, que exige que las empresas de IA presenten sus modelos avanzados al gobierno 30 días antes de su lanzamiento, para su aprobación.

La administración Trump también ha considerado prohibir modelos chinos de IA de código abierto, una medida respaldada por la CIA y que aseguraría el dominio de OpenAI y Anthropic en el sector. Poco después de emitirse la orden ejecutiva, David Sacks, exasesor de IA de Trump, señaló que “los principales laboratorios cerrados, [que son] ya un duopolio en términos de ingresos por modelos de IA, quieren que el gobierno elimine su competencia de código abierto”.

Cada nuevo incidente de “fuga” de una IA no hace sino reforzar su apuesta por el control total.

Por el equipo de RT Newsroom en inglés

Por actualidad.rt.com

Source link