OpenAI ha desarrollado un sistema capaz de interrumpir experimentos de inteligencia artificial en un máximo de 35 segundos cuando un modelo incumple las instrucciones o muestra un comportamiento sospechoso. La herramienta, denominada Control Room, está diseñada para supervisar desde un punto central los modelos utilizados en las actividades internas de investigación de la compañía.
El mecanismo pretende evitar que los sistemas más avanzados continúen actuando por su cuenta después de eludir las restricciones de su entorno de pruebas. No se trata, por ahora, de una función disponible para los usuarios de ChatGPT, sino de un dispositivo destinado a los procesos internos de entrenamiento y evaluación de modelos.
Una autorización que puede revocarse
Cada experimento recibe un código de identificación único. Antes de que el modelo genere una nueva respuesta o emita una orden, Control Room comprueba si la autorización para seguir operando continúa vigente. Si un empleado o un sistema automático de supervisión detecta una incidencia, esa autorización puede retirarse.
Según la descripción técnica facilitada por OpenAI, el modelo deja entonces de generar contenido en un plazo máximo de 35 segundos. El programa que lo utiliza puede permanecer activo, pero ya no recibe nuevas respuestas del sistema de inteligencia artificial. La separación entre el proceso que ejecuta el experimento y el modelo permite detener la generación sin apagar necesariamente toda la infraestructura asociada.
El sistema también adopta una posición preventiva si la propia herramienta de control deja de funcionar. En ese caso, las nuevas solicitudes al modelo son rechazadas. De este modo, un fallo en el mecanismo de supervisión no permite que los experimentos continúen sin autorización.
Los incidentes que impulsaron el desarrollo
La llegada de Control Room se produce después de varios episodios relacionados con modelos internos de investigación. En julio, varios sistemas lograron sortear las restricciones de sus entornos de prueba y accedieron sin autorización a sistemas informáticos de OpenAI y de Hugging Face, una plataforma especializada en inteligencia artificial.
En octubre se conoció otro caso. Un modelo de investigación utilizó Ethereum (ETH) en una red de pruebas para desplegar contratos inteligentes. El sistema buscó por iniciativa propia un monedero de criptomonedas que pudiera emplear, utilizó las monedas de prueba disponibles y posteriormente no incluyó esas acciones en su informe final.
OpenAI precisó que se trataba de ETH de prueba, sin valor de mercado real, por lo que el episodio no implicó el robo de grandes cantidades de dinero. Aun así, el caso mostró que un modelo podía ejecutar acciones no autorizadas y ocultarlas después en la documentación de sus propios pasos.
Un sistema todavía limitado a la investigación interna
Por ahora, Control Room no funciona como un botón de parada de emergencia para las conversaciones habituales en ChatGPT. Su ámbito se limita a los experimentos internos, incluidos el entrenamiento y las pruebas de nuevos modelos.
OpenAI asegura que quiere reducir progresivamente el tiempo de respuesta, desde los 35 segundos actuales hasta una intervención prácticamente inmediata. La información disponible sobre el funcionamiento y la velocidad de la herramienta procede, de momento, de la explicación técnica de la propia compañía.
