Com un agent d’OpenAI va vulnerar Hugging Face durant una prova

No sé si os acordáis del ataque que

sufrió nada más y nada menos que Haginf.

Haging Face es el repositorio de modelos

o de inteligencia artificial en general

más grande del mundo. Es donde se

publican primero todos los nuevos

modelos de pesos abiertos. Por ejemplo,

pues fijaos que hace 5 minutos, bueno,

hace 5 minutos se ha actualizado, se ha

aparecido química 3, donde ya tiene 2850

descargas, pero aquí han salido todos

los modelos que conocéis y que que

valoráis, también los de GPT, Microsoft

Saka, GLM 5.2, o sea, aquí sale todo,

todos los modelos de inteligencia

artificial llegan aquí. Entonces, Haginf

hace unas semanas publicó un artículo de

un incidente de seguridad que les había

ocurrido, donde comentaban que habían

detectado y habían respondido a una

intrusión aparte de su infraestructura

de producción y comentaba que esto era

totalmente diferente porque esto había

sido creado y conducido por un agente

autónomo de inteligencia artificial. O

sea, Skynet, no, hombre, no, pero una

inteligencia artificial. les había

hackeado, no les había tirado todo el

sistema, pero sí que habían llegado a

entrar con acceso no autorizado a

datasets internos y había llegado a

robar algunas credenciales que habían

utilizado en algunos de sus servicios.

Esto ya lo comentamos, pero ¿quién ha

sido? Pues ya sabemos quién ha sido. Fue

Open AI. Open AI la semana pasada

desveló que habían sido ellos, pero que

no lo sabían. Open AI y Haging Face se

alían para abordar un incidente de

seguridad al evaluar modelos. Parece ser

que James Face reveló el incidente de

seguridad al detectar y contener un

agente de inteligencia artificial que

comprometió su infraestructura. Dice

Open AI algo que esperamos, esto muy

fuerte, algo que esperamos que sea más

habitual con la proliferación de modelos

con capacidades cibernéticas cada vez

mayores. ¿Y cómo ocurrió esto? Pues

resulta que Open EI estaba probando

tanto GPT 5.6 Sol como un nuevo modelo

en versión preliminar aún más capaz que

GPT 5.6, todavía más capaz. Todo con

menos negativas en ciberseguridad, con

fines de evaluación. Claro, estaban

probando, estaban haciendo internamente

un benchmark de ciberseguridad, estaban

utilizando el exploit gym para ver si un

agente de inteligencia artificial podía

transformar eh vulnerabilidades de

seguridad en ataques reales. ¿Vale?

Entonces, esto es lo que comentado Peni

dice, "Consideramos que se trata de un

incidentes cibernéticos sin precedentes

con capacidades cibernéticas de última

generación y respondiendo en

consecuencias. Compartimos hayos

preliminares en esta fase para ayudar a

los defensores a entender qué ocurrió y

ajustar las expectativas sobre lo que

los modelos ya son capaces de hacer.

¿Qué es lo que pasó? Lo que pasó según

Open AI es que mientras estaban haciendo

la evaluación se le dice a los modelos

que tienen que intentar una explotación

avanzada mediante rutas de ataque

complejas con el objetivo de cuantificar

sus capacidades cibernéticas. ¿Vale?

Claro, ¿esto cómo lo hacen? están

básicamente como en un sandbox, en un

entorno de pruebas cerrado y le dicen,

"Vale, te voy a quitar todos los

arneses, o sea, estás liberado, puedes

hacer lo que quieras y ahora quiero que

intentes hacer tal." O sea, que hay

gente que entiende que fue de forma

autónoma, pero no fue autónoma, es que

le estaban pidiendo que hiciera algo,

¿vale? Le estaban pidiendo que hiciera

este tipo de ataques. ¿Qué es lo que

ocurrió? pues que mientras estaban

ejecutando esta evaluación, que se usa

para impedir que los modelos lleven a

cabo actividades cibernéticas de alto

riesgo, los benchmark se ejecutan un

entorno muy aislado con el acceso a la

red limitado a la capacidad de instalar

paquetes a través de un software de

terceros alojado internamente que actúa

como proxy y caché de los registros.

¿Qué pasó? que sus modelos identificaron

y encadenaron vulnerabilidades entre

este entorno de investigación que está

totalmente cerrado y la infraestructura

de producción de Haginface para obtener

soluciones de prueba directamente de la

base de datos de producción de Haging

Face. Todos los indicios sugieren que

los modelos estaban centrados de forma

obsesiva en encontrar una solución para

exploit gym y llegaron a extremos

desmesurados para lograr un objetivo de

prueba bastante limitado. Básicamente,

para que entendamos, lo que le estaba

diciendo a los agentes es, "Oye, tienes

que buscar las soluciones de este

examen. Haz lo que puedas hacer para

conseguirlo." ¿Qué pasa? que mientras

estaba ese entorno de pruebas estaba

buscando, buscando, buscando y encontró

una vulnerabilidad en el sistema de

instalación de dependencias que le

permitió llegar a la infraestructura de

producción de Haginface y dijo, "Ostras,

pues igual en este entorno de producción

de Haging Face, ahora que tengo acceso a

toda esta información, quizás aquí es

donde está la solución" y empezó a

indagar ahí. Eso es lo que ocurrió,

¿vale? Entonces, mientras operaba en

nuestro entorno, nuestro modelo es

dedicar una cantidad considerable de

computación a encontrar una forma de

obtener acceso abierto a internet para

resolver el problema de evaluación. Y

para obtener acceso, los modelos

identificaron y explotaron una

vulnerabilidad de día cero, que ya se lo

han dicho al proveedor, en el proxy de

caché del registro de paquetes. Con este

acceso, los modelos llevaron a cabo una

serie de acciones de escalada de

privilegios y movimiento lateral en

nuestro entorno de pruebas de

investigación hasta que llegaron a un

nodo con acceso a internet. Y una vez

que estaron ahí, los modelos infirieron

que Haginface podía alojar modelos

conjunto de datos y soluciones para

exploit. Con esto en mente, el modelo

Busco logró encontrar formas de acceder

a información secreta que podía usar

para hacer trampas, o sea, quería hacer

trampas. Y dice, es en un ejemplo, el

modelo encadenó múltiples vectores de

ataque y tal. El equipo de seguridad de

Open descubrió internamente esta

actividad anómala. Claro, como podéis

ver, una cosa que comentan por aquí es

que tardaron una semana en darse cuenta.

Haging Face cuando esto lo publicó el 16

de julio y este artículo es del 21 de

julio, pero es que según lo que comenta

la gente de Openi durante 7 días se

estuvo produciendo este ataque. O sea,

yo alucino con este tipo de cosas.

Alucino de que cómo puedes tener este

modelo durante 7 días y no darte cuenta.

Aquí podéis ver un poco pues habla un

poquito más de cosas. Ojo, qué bien

tirado está esto, amigos, porque el tema

es que Haging Face en el artículo le

pegaba una colleja a Open AI. ¿Por qué?

comentaba que había un problema de

asimetría, donde los atacantes podían

utilizar modelos avanzados de

inteligencia artificial, mientras que

los que se defienden no podían utilizar

para defenderse modelo frontera. Y

decía, sin decir nombres, decía, "Al

final hemos tenido que instalar GLM 5.2,

que es un modelo de pesos abiertos en

nuestra propia infraestructura para

poder defendernos e investigar el

problema, ¿no?" Y fijaos que Haging Face

en el propio blog de Open AI dice,

"Agradecemos la colaboración con OpenI

en este y otros temas." Este incidente,

quizá el primero este tipo, demuestra

algo que creemos desde hace mucho

tiempo. La seguridad de la inteligencia

artificial no la resolverá una sola

empresa trabajando en secreto. Se

resolverá de forma abierta, en

colaboración y con un amplio acceso a la

IA para todos los defensores en todas

partes. Zaska, Zaska. cómo

aprovechaba ahí el cofundador y el CEO

de Haging Face, Clem Dalangue, que vamos

a aprovechaba ahí en el propio blog,

¿eh? Pues hombre, ya que puedo ya que

puedo decir algo, voy a decir esto. Voy

a decir esto. Al final era un modelo de

Open Obviamente esto ha corrido como

pólvora. Y ahora os daré mi opinión,

pero como podéis ver esto ha ido, pues

un montón de artículos. cómo Penó el

control de un modelo de inteligencia

artificial y qué es lo que tiene que

cambiar. Y entonces por aquí pues eh

aquí más o menos sí que es verdad que va

comentando el de Time no está mal, no

está mal, o sea, es un artículo que más

o menos no hay gente que como un experto

en ciberseguridad que me lo estaba

leyendo antes este que dice que bueno,

un experto en ciberseguridad dice que

que escape de un laboratorio de test que

no hay evidencia que diga o que

significa que esta inteligencia

artificial realmente eh haya sido como

que se ha escapado y tal, sino que

realmente pues es un entorno de pruebas

que le están diciendo que haga algo y lo

intentó, encontró un vector de ataque y

ya está y lo hizo y punto. Que dice que

la capacidad no es lo mismo que la

intencionalidad, o sea, que el incidente

realmente es un problema de que estaba

mal el contenedor, o sea, es un problema

de open y, no una evidencia de que la

inteligencia artificial estaba eligiendo

escapar, ¿vale? O sea, que es importante

mantener esa diferencia porque realmente

cosas así se han visto durante mucho

tiempo y que es un poco exageración,

cosa que yo estoy de acuerdo. A mí me

parece que esto le ha ido bien a la

gente de Openai, aunque ya la Casa

Blanca ha vuelto a levantar una ceja.

Hay rumores de que han visto esto como

algo muy grave, que puede ser un peligro

nacional y tal, pero a la gente de Openi

le va bien para esa comparación con

Anthropic, ¿no? De que había de los

peligros, de la inteligencia artificial

y tal. Luego ya hay otros que se les ha

ido ya un poquito más las manos, o sea,

ya hay periódicos que dices, "Ostras,

madre mía." La IA puede puede destruir

el mundo sin querer, ¿sabes? Es como que

se tropieza y te mata. La IA puede

destruir el mundo sin querer. Dice, "La

IA cumple ya demasiado bien las órdenes

humanas. El ataque de un modelo de open

e a un rival no se produjo solo porque

quisiera hackearlo, sino porque sabía

que tenía la solución que buscaba. ¿Qué

escenarios se abren? Madre de Dios.

Jordi Pérez, yo sé que no lo haces con

mala intención. Esto se lo he visto a

Domingo Gallardo. Dice, "Una pena que

prensa sería como el país use estos

titulares apocalípticos." El artículo de

Jordi Pérez está bien y presenta

distintas opiniones y perspectivas, pero

podría haber usado un titular más serio

y menos alarmista. De hecho, estoy

bastante convencido que no es ni Jordi

Pérez. Yo creo que ni Jordi, que es el

que ha escrito el artículo, yo creo que

él no ha escrito el titular, creo yo,

¿eh? O sea, la IA puede destruir el

mundo sin querer. La madre mía.

Pero espérate que este también de

Associate Press, para algunos el llamado

Skynet Day [risas]

se ha quedado muy cerca al de la ciencia

ficción después de que una gente que se

ha revelado hackeado una startup. El

Skynet Day, tío. El Skynet Day. O sea,

es que la gente se le va. De hecho, yo

me imagino ya en más de un periódico

habrán aprovechado y habrán dicho,

"Vamos a buscar una foto." Y han puesto

esta, han puesto esta foto, han dicho,

"Venga, toma, pon esta foto en la

portada. A que no hay a que no

hay cojones." [risas] Y han puesto esta

y han dicho, "Venga, venga, el Skynet

Day. Ya está aquí, ya ha llegado, ya ha

llegado." A ver, un poco exagerado, pero

bueno, sí que es verdad, la historia es

cierta. Yo, si me preguntas, creo que

Openi la ha endulzado, ¿no? La le ha

adorado la pildorita un poco para ver,

¿no? Dice, ostras, qué bien nos va a

venir esta publicidad. Esto va a ser una

locura. Esta publicidad nos va a venir,

va a ser buenísimo. Qué buena idea hemos

tenido. Venga, venga, va, publicidad y

tal. No sé cómo lo veis vosotros, eh,

pero sí, o sea, ha pasado. Me lo puedo

creer. Yo creo que no es mentira. O sea,

ha ocurrido. Haging Face no sería parte

y yo creo que el artículo este es real,

pero bueno, sí que creo que sea se ha

exagerado, se ha exagerado un poco la

realidad. No es mentira, pero sí que se

ha exagerado un poco la realidad.

[música]

[música]

[música]