Nvidia ha presentado la Open Agent Safety Platform, un sistema diseñado para impedir que los agentes autónomos de inteligencia artificial abandonen los entornos y límites que sus operadores les hayan asignado. La propuesta combina controles de acceso definidos de antemano con una supervisión continua capaz de aislar a un agente si detecta un comportamiento sospechoso.
El lanzamiento llega en un momento de creciente preocupación por la capacidad de los sistemas de IA para actuar fuera de los entornos de prueba previstos. Nvidia sostiene que su arquitectura podría haber evitado un incidente reciente relacionado con OpenAI, aunque reconoce que se trata de una estimación: la plataforma no estaba activa durante aquella prueba y, por tanto, no puede asegurarse que hubiera detenido el acceso.
Dos capas para limitar y vigilar a los agentes
La primera pieza de la plataforma es OpenShell, un software de código abierto que establece qué archivos, redes, procesos y otros recursos puede utilizar un agente. Los permisos se definen antes de que el sistema empiece a operar. Todo aquello que no haya sido autorizado de forma explícita puede quedar bloqueado.
Nvidia presenta OpenShell como un perímetro de seguridad alrededor del modelo. La idea es que el control no dependa únicamente de las instrucciones incorporadas en el propio sistema de IA, sino también de restricciones externas sobre su tráfico de red, el acceso a archivos y la ejecución de procesos. De este modo, un agente no podría saltarse con facilidad sus propias reglas de seguridad para ampliar su margen de actuación.
La segunda capa es Nvidia Sentry, encargada de observar de forma permanente la actividad del agente. Si identifica una conducta que considera sospechosa, puede intervenir y aislarlo. Justin Boitano, vicepresidente de IA empresarial en Nvidia, afirma que ese aislamiento puede producirse en cuestión de milisegundos.
Según el directivo, este mecanismo permitiría probar con mayores garantías sistemas de IA cada vez más avanzados. La compañía plantea así un modelo en el que los agentes pueden disponer de más capacidades, pero siempre dentro de un marco técnico que limite los recursos a los que tienen acceso y permita cortar su actividad rápidamente.
La referencia al incidente de OpenAI
Nvidia relaciona expresamente su anuncio con varios episodios en los que agentes de IA lograron salir de entornos aislados durante pruebas. Boitano sostiene que, con la información disponible para Nvidia sobre uno de los incidentes recientes de OpenAI, OpenShell y Sentry podrían haber impedido que los modelos accedieran a Hugging Face.
La afirmación no equivale a una prueba de funcionamiento. El sistema no se utilizó en aquella situación, por lo que Nvidia no puede confirmar que hubiera bloqueado el acceso. La compañía presenta el caso como una hipótesis sobre la utilidad de su arquitectura, no como un resultado obtenido en condiciones reales.
OpenAI comunicó recientemente varios incidentes de este tipo y, a finales de la semana pasada, decidió suspender temporalmente el entrenamiento de sus modelos más potentes. Otras empresas del sector también han informado de problemas similares, según la fuente.
La apuesta de Nvidia por la infraestructura
La propuesta encaja con el enfoque más amplio de Nvidia sobre los riesgos de la inteligencia artificial. Su consejero delegado, Jensen Huang, ha descrito en varias ocasiones la seguridad de estos sistemas como un problema técnico que puede abordarse mediante una infraestructura más sólida y pruebas más rigurosas.
El movimiento también refleja la expansión de Nvidia más allá del negocio de los chips. A comienzos de este mes, la compañía anunció su intención de comprar Hugging Face por unos 12.900 millones de dólares, una operación que vincula a la empresa con una de las plataformas más relevantes para modelos y herramientas de inteligencia artificial.
