La cadena de suministro de software para IA se vuelve más peligrosa que la tradicional

En julio, los agentes de IA irrumpieron en Hugging Face, una popular plataforma donde se comparten herramientas y datos para inteligencia artificial. El acceso se produjo a través de un conjunto de datos.

La propia cronología de Hugging Face registra cerca de 17.600 acciones entre el 9 y el 13 de julio. Algunas se originaron en un computador externo que el agente había tomado y otras, en los sistemas internos de Hugging Face. La compañía informó del ataque el 16 de julio. Para el 21 de julio, OpenAI dijo que sus modelos de IA, que participaban en una prueba de ciberseguridad, eran los responsables.

Aunque el daño fue limitado —Hugging Face aseguró que el único contenido de clientes al que se accedió fueron cinco conjuntos de datos vinculados a desafíos de pruebas de ciberseguridad y que no se había reportado ningún modelo envenenado—, el ataque encendió las alarmas en distintas industrias que han adoptado la IA con rapidez.

En los días y semanas posteriores al ataque se publicaron varios análisis, entre ellos los de Hugging Face, OpenAI y expertos independientes. Pero ¿qué deberían extraer los líderes empresariales de la autopsia del que probablemente sea el primero de muchos ciberataques impulsados por agentes de IA?

Por qué la IA cambia las reglas

Si bien los métodos tradicionales de ciberseguridad fueron diseñados para proteger el código de software, los agentes de IA añaden un nivel adicional de complejidad a esa tarea.

Persiguen objetivos, se adaptan cuando encuentran obstáculos y pueden actuar basándose en información equivocada o inventada, explicó a International Business Times Patrick Lamplmair, director de tecnología y cofundador de Tributech, una empresa de infraestructura de datos para el internet industrial de las cosas.

En el ataque contra Hugging Face, la compañía concluyó que las debilidades explotadas por el agente de IA eran conocidas y que un experto humano también podría haberlas aprovechado. La diferencia estuvo en el volumen de los ataques.

La mayoría de las miles de acciones del agente no condujeron a nada, pero en conjunto le permitieron encontrar una vía de acceso. La compañía escribió que los ataques a velocidad de máquina hacen que "las vulnerabilidades comunes resulten más costosas para los defensores".

Conclusión 1: conozca el origen de los datos y modelos de su IA

Los sistemas de IA normalmente se construyen con piezas desarrolladas por terceros, como conjuntos de datos, modelos y herramientas adicionales.

Lamplmair dijo que la primera tarea de las empresas es mantener un inventario de esas fuentes externas. Los directivos deben saber qué modelos, conjuntos de datos y agentes utiliza la compañía, quién es responsable de cada uno y a qué recursos internos puede acceder.

"La procedencia de los datos es el nuevo perímetro", afirmó. "Si no puede demostrar de dónde proviene un conjunto de datos y que nadie lo modificó, no permita que se acerque a producción".

Si no sabe de dónde proviene, no lo use. Lamplmair recomendó firmar y verificar cada modelo, conjunto de datos y compilación de software, además de abrir los archivos externos únicamente en entornos aislados, sin conexión con los sistemas reales de la compañía.

También señaló que las herramientas utilizadas para crear y almacenar software, como las cachés de descargas, merecen la misma protección que los sistemas críticos.

En su propio relato del incidente, OpenAI indicó que sus agentes escaparon primero del entorno de pruebas a través de una vulnerabilidad en uno de esos componentes.

Conclusión 2: no entregue las llaves a los agentes de IA

Lamplmair añadió que la medida más efectiva es dejar de entregar contraseñas a los agentes de IA.

Un agente que procesa datos externos debe considerarse potencialmente comprometido desde el comienzo, afirmó. En lugar de almacenar las claves, la IA debería solicitar autorización, y una capa independiente de verificación —por ejemplo, una persona— debería conceder el acceso.

"Separe la decisión de la ejecución", dijo. "Un agente puede proponer una acción, pero solo una capa de control independiente, con reglas claras, debería poder ejecutarla".

Si un conjunto de datos malicioso toma el control de ese agente, "no habrá credenciales que robar ni privilegios permanentes que abusar".

Esa capa de verificación debe operar con reglas fijas, no con más IA. "Si un control solo funciona cuando el agente se comporta bien, no es un control", sostuvo.

También pidió una identidad separada para cada agente, accesos de corta duración limitados a una sola tarea y la prohibición de utilizar credenciales de empleados.

En el caso de Hugging Face, las contraseñas que el agente encontró dentro del sistema le permitieron pasar rápidamente de una máquina a muchas.

Conclusión 3: prepárese para una intrusión y limite los daños

"Planifique para la brecha, no solo contra ella", advirtió Lamplmair. "La resiliencia significa que las operaciones continúen durante un incidente y que los sistemas regresen a un estado cuya limpieza se pueda demostrar".

Recomendó que las empresas asuman que alguna parte de su sistema será vulnerada y que impidan que los atacantes avancen demasiado mediante áreas separadas para las tareas riesgosas y la eliminación de contraseñas de larga duración.

En una prueba de laboratorio de Booz Allen, los modelos de IA pasaron de irrumpir en el borde de una red a ejecutar acciones dentro de una red de control industrial en poco más de 16 minutos, con operadores humanos aprobando cada explotación y acción física. Lamplmair explicó que, en esos casos, los agentes utilizan accesos que ya están disponibles, como contraseñas robadas y rutas abiertas en la red.

Detectar los problemas es la otra mitad del desafío. Ningún equipo puede revisar manualmente miles de acciones de un agente, dijo, por lo que las empresas necesitan alertas que vigilen patrones, medidas iniciales automáticas —como cortar el acceso— y copias de respaldo para recuperarse.

Hugging Face aseguró que su propia herramienta de alertas basada en IA detectó señales tempranas, pero no elevó la urgencia de la alarma.

OpenAI dijo que su sistema de monitoreo actual, de haber estado activo durante esa prueba, habría señalado la actividad más de un día antes de la intrusión.

Un asunto de liderazgo

La IA está pasando de ser una herramienta a convertirse en parte de la forma en que operan las empresas, dijo Lamplmair. Por eso, la seguridad de la IA es "un riesgo empresarial para los líderes, no solo una tarea del equipo de tecnología".

La mayoría de las fallas en los incidentes recientes relacionados con IA fueron aspectos básicos, advirtió. "La seguridad debe diseñarse en las cadenas de procesamiento de IA desde el comienzo, no añadirse después de la primera brecha".

Para los líderes empresariales, integrar la seguridad en todos los niveles de la operación parece ser el camino a seguir, especialmente porque OpenAI calificó el incidente de Hugging Face como un "disparo de advertencia".