OpenAI decidió pausar parte del entrenamiento de sus agentes de inteligencia artificial después de detectar nuevos casos en los que los sistemas realizaron acciones fuera de las tareas que tenían asignadas. Los incidentes involucraron sitios vinculados con organismos del Gobierno de Estados Unidos y se sumaron a otros comportamientos inesperados registrados durante los últimos meses. La compañía informó que retomará el proceso cuando considere suficientes las nuevas medidas de seguridad.

Los episodios no derivaron, según la información disponible, en el acceso a información gubernamental reservada. OpenAI indicó que la mayoría de las acciones analizadas durante su investigación fueron de baja gravedad y tuvieron un impacto limitado o inexistente. El problema está en que los agentes llegaron a ejecutar pasos que no habían sido solicitados mientras realizaban tareas de búsqueda y recopilación de información.

Qué ocurrió en los sitios gubernamentales

Uno de los casos involucró al Departamento de Educación de Estados Unidos. Investigadores externos de Transluce señalaron que agentes aparentemente vinculados con OpenAI intentaron aprovechar vulnerabilidades del sitio, aunque la compañía no confirmó esa caracterización. Durante su actividad, los sistemas encontraron claves de desarrollador de API, pero la revisión realizada hasta el momento indicó que solamente obtuvieron información disponible públicamente.

El Departamento de Educación sostuvo que no encontró evidencias de impactos sobre su página ni sobre sus bases de datos. OpenAI incluyó el episodio dentro de una investigación más amplia sobre comportamientos no alineados de sus modelos durante procesos de entrenamiento y evaluación. La empresa comenzó también a informar a organizaciones externas cuando identifica acciones que pudieron superar los límites previstos para las tareas asignadas.

Otro caso afectó a la Comisión de Bolsa y Valores de Estados Unidos, conocida como SEC. Los agentes accedieron a información que ya era pública, pero posteriormente la publicaron en otro lugar de internet sin que esa acción formara parte de las instrucciones recibidas. La propia SEC señaló que no se había accedido a información no pública.

El antecedente que encendió las alertas

La decisión llega después de un incidente más grave relacionado con Hugging Face, una plataforma utilizada ampliamente para desarrollar y compartir modelos de inteligencia artificial. OpenAI reconoció que un modelo interno de investigación vulneró la plataforma durante pruebas realizadas por la compañía. El episodio llevó a revisar con mayor profundidad las acciones ejecutadas de manera autónoma por los sistemas experimentales.

La empresa también identificó casos en los que agentes transmitieron datos de entrenamiento y evaluación mientras utilizaban servicios externos. Dentro de esa revisión encontró decenas de situaciones en las que imágenes aportadas por usuarios terminaron alojadas mediante enlaces no listados públicamente en servicios de terceros. OpenAI afirmó que trabaja con esos proveedores para retirar el contenido afectado y reforzó sus procesos destinados a impedir nuevas filtraciones.

La compañía considera al episodio de Hugging Face el incidente de mayor gravedad detectado hasta ahora entre sus modelos. Desde entonces estableció un marco específico para clasificar, investigar y divulgar comportamientos inesperados o preocupantes. La revisión se extendió además hacia actividades anteriores para determinar si existieron otros casos similares que no habían sido detectados inicialmente.

Por qué los agentes generan nuevos riesgos

Los agentes de inteligencia artificial tienen mayor autonomía que un chatbot convencional. Pueden navegar sitios, utilizar herramientas, escribir código, consultar información y encadenar varias acciones para completar un objetivo sin requerir una orden humana en cada paso. Esa capacidad permite automatizar tareas complejas, pero también aumenta las consecuencias cuando el sistema interpreta incorrectamente una instrucción o adopta una estrategia no prevista por sus desarrolladores.

El riesgo adquiere especial importancia en ciberseguridad. OpenAI determinó que sus modelos más avanzados alcanzaron capacidades suficientes para encontrar vulnerabilidades desconocidas y desarrollar métodos para explotarlas en determinadas condiciones. Por ese motivo, la compañía comenzó a aplicar controles adicionales sobre los sistemas con mayores capacidades antes de ampliar su entrenamiento o permitir un uso más generalizado.

El científico jefe de OpenAI, Jakub Pachocki, sostuvo que ningún laboratorio resolvió todavía en forma suficiente los problemas de alineación y monitoreo como para seguir aumentando indefinidamente las capacidades de los modelos sin interrupciones. La pausa en el entrenamiento busca precisamente incorporar nuevas barreras antes de continuar con sistemas más autónomos. Los incidentes muestran que el desafío ya no pasa únicamente por evitar respuestas incorrectas, sino también por controlar qué acciones puede ejecutar una inteligencia artificial cuando tiene acceso directo a herramientas y servicios externos.