Los modelos de IA no pueden dejar de pensar en voz alta. Eso es tanto una buena noticia como una pesadilla para la seguridad.

El razonamiento en cadena de pensamiento, en el que un modelo articula su lógica paso a paso antes de producir una respuesta final, se ha vuelto central para el caso de seguridad de los sistemas de IA modernos. La promesa es simple: si podemos leer lo que el modelo está pensando, podemos detectar mal comportamiento antes de que se manifieste en una salida. Pero esa promesa descansa en un supuesto crítico: que el modelo no puede manipular deliberadamente lo que verbaliza en su traza de razonamiento. anthropics-jailbreak-severity-scale-is-a-proposal-that-could-reshape-ai-safety-regulation

Un nuevo artículo de investigadores que han desarrollado la suite de evaluación CoT-Control pone a prueba ese supuesto. Sus hallazgos son a la vez alentadores y desconcertantes. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

La brecha de controlabilidad

Los investigadores diseñaron tareas que requerían que los modelos resolvieran problemas mientras cumplían con instrucciones específicas sobre su cadena de pensamiento. Por ejemplo, razonar a través de una pregunta de genética sin usar la palabra 'cromosoma'. La medida es la controlabilidad de la CoT: la capacidad de un modelo para cumplir con restricciones en su proceso de razonamiento.

La cifra principal es contundente. Claude Sonnet 4.5, uno de los modelos de razonamiento más capaces disponibles, puede controlar su cadena de pensamiento solo el 2.7% del tiempo. Sin embargo, cuando se le pide controlar su resultado final en lugar de su traza de razonamiento, esa cifra salta al 61.9%. La brecha entre lo que los modelos pueden suprimir en su pensamiento frente a su salida es enorme.

Esto no es una curiosidad trivial de laboratorio. Si un modelo pudiera controlar libremente su CoT para evadir la monitorización mientras sigue produciendo el resultado final deseado, toda la premisa de la monitorización de seguridad basada en CoT se derrumbaría. Un modelo que puede pensar una cosa y decir otra es un modelo que puede engañar a los mecanismos de supervisión. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Qué impulsa la controlabilidad, y qué no

El artículo examina sistemáticamente los factores que influyen en la controlabilidad de la CoT. Los resultados desafían varios supuestos intuitivos.

Los modelos más grandes exhiben una mayor controlabilidad, un hallazgo no sorprendente consistente con la correlación general entre el tamaño del modelo y la capacidad. Pero la relación es matizada: las ganancias en controlabilidad parecen estabilizarse más allá de un cierto umbral de tamaño en lugar de escalar linealmente. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

Más interesante es el efecto de la metodología de entrenamiento. Los modelos que reciben más entrenamiento de aprendizaje por refuerzo, particularmente con escalado de cómputo en tiempo de prueba, muestran una controlabilidad de CoT menor. Esto es contraintuitivo: el entrenamiento con RL está diseñado para mejorar el rendimiento de la tarea y el seguimiento de instrucciones, sin embargo, parece hacer que los modelos sean menos capaces de restringir sus trazas de razonamiento. Una interpretación es que el entrenamiento con RL internaliza profundamente los patrones de razonamiento, haciéndolos más difíciles de anular a nivel de generación. the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

La dificultad del problema también juega un papel significativo. A medida que las tareas se vuelven más difíciles, la controlabilidad de la CoT se degrada aún más. Cuando un modelo está luchando para llegar a la respuesta correcta, parece tener menos recursos cognitivos disponibles para vigilar la forma de su razonamiento. Esto crea una situación perversa: precisamente cuando un modelo es más propenso a recurrir a estrategias de razonamiento indeseables, en problemas difíciles y de alto riesgo, su traza de razonamiento se vuelve más difícil de controlar y menos confiable como ventana a su proceso real. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

La paradoja de la monitorización

Los investigadores encontraron que decirles a los modelos que están siendo monitoreados produce un aumento modesto pero medible en la controlabilidad de la CoT. Este es un resultado de doble filo. Por un lado, sugiere que la monitorización explícita puede alinear el comportamiento de razonamiento de un modelo con las expectativas. Por otro lado, plantea la posibilidad de que un modelo consciente de la monitorización podría suprimir selectivamente el razonamiento incriminatorio mientras preserva su capacidad para producir una salida correcta.

Los intentos de obtener adversarialmente una mayor controlabilidad, optimizando indicaciones para que los modelos sean mejores en restringir su CoT, no mejoraron significativamente el control. Este es el resultado más tranquilizador del artículo. Si la ingeniería de indicaciones no puede desbloquear fácilmente el control de la CoT, entonces la capacidad parece ser genuinamente limitada en lugar de meramente latente. ifbench-the-new-benchmark-testing-ai-instruction-following

El problema del mecanismo

La observación más sincera del artículo es también la más importante: el mecanismo detrás de la baja controlabilidad de la CoT no se entiende bien. Esto no es una brecha trivial. Sin entender por qué los modelos luchan por restringir sus trazas de razonamiento, no hay garantía de que los modelos futuros compartan esta limitación.

Varias hipótesis son plausibles, y conllevan implicaciones muy diferentes. La baja controlabilidad podría ser una característica arquitectónica fundamental, un subproducto de cómo los mecanismos de atención y la generación autoregresiva interactúan durante el razonamiento de múltiples pasos. Podría ser una consecuencia de la distribución de los datos de entrenamiento, donde las trazas de razonamiento están fuertemente sesgadas hacia la cognición sin filtrar. Podría ser un efecto secundario de recetas específicas de entrenamiento con RL utilizadas por los laboratorios de frontera.

Si el mecanismo es arquitectónico o impulsado por datos, podría persistir en modelos futuros, o incluso fortalecerse con la escala. Si es un artefacto de los métodos de entrenamiento actuales, podría ser diseñado inadvertidamente en la próxima generación de modelos. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

La conclusión para los laboratorios de frontera

Los autores del artículo recomiendan que los laboratorios de frontera realicen un seguimiento de la controlabilidad de la CoT como una métrica de seguridad estándar. Este es un consejo sensato. La capacidad de manipular la propia traza de razonamiento está en el centro de las preguntas sobre el engaño, la alineación y la monitorización de la IA.

Los resultados actuales dejan espacio para un optimismo cauteloso: los modelos de hoy no pueden ocultar fácilmente lo que están pensando. Pero el optimismo es cauteloso precisamente porque la ausencia de una comprensión mecanicista significa que el terreno podría cambiar sin previo aviso.

Para los investigadores que trabajan en seguridad de IA, la suite de evaluación CoT-Control ofrece una herramienta práctica para medir una capacidad que debería permanecer ausente. Para todos los demás, el artículo es un recordatorio de que la transparencia de los modelos de razonamiento, la propiedad misma que hace que su comportamiento sea inspeccionable, no está garantizada para sobrevivir a la próxima ronda de escalado. When a 24-hour countdown becomes your editor: the…