Tu asistente de IA te olvida cada mañana. Este benchmark lo demuestra.

Por todas las impresionantes demostraciones de agentes de IA reservando vuelos o escribiendo código, un hecho incómodo rara vez recibe atención: la mayoría de estos agentes comienzan cada conversación como un extraño. No tienen memoria de lo que preguntaste ayer, ningún modelo de tus preferencias, ningún sentido de los hábitos que definen tu toma de decisiones. Un nuevo benchmark, VitaBench 2.0, tiene como objetivo cuantificar exactamente qué tan grave es ese problema. Las cifras son aleccionadoras. llms-corrupt-your-documents-when-you-delegate-a-close-look-at-the-delegate-52-benchmark

Desarrollado por investigadores del Instituto de Tecnología de Pekín, Tencent AI Lab y otras instituciones, VitaBench 2.0 opera sobre una premisa simple pero implacable. Las tareas se presentan no como solicitudes aisladas sino como secuencias ordenadas temporalmente para usuarios individuales. Las preferencias están deliberadamente incrustadas en interacciones heterogéneas y fragmentadas. El agente debe extraer, utilizar y actualizar continuamente esas preferencias a lo largo del tiempo. Es el equivalente en un benchmark a un nuevo empleado que debe aprender las peculiaridades de su jefe observando el comportamiento diario, pero sin la capacidad natural del nuevo empleado para inferir y recordar. the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

Lo que está en juego

El enfoque del benchmark en personalización y proactividad apunta a un punto ciego en la evaluación actual. Los benchmarks de agentes existentes, desde ToolBench hasta SWE-bench, evalúan razonamiento, uso de herramientas y generación de código. Rara vez evalúan si un agente puede construir un modelo del usuario al que sirve. Esa omisión importa más a medida que los agentes pasan de preguntas y respuestas únicas a la colaboración a largo plazo en salud, finanzas y programación diaria.

VitaBench 2.0 introduce dos dimensiones centrales de evaluación. La primera es la personalización: ¿puede el agente inferir que un usuario que siempre elige asientos de ventanilla para vuelos también preferiría una mesa en un rincón en un restaurante? La segunda es la proactividad: ¿puede el agente reconocer cuándo falta información, como restricciones dietéticas, y preguntar por ella antes de tomar una decisión, en lugar de asumir el valor predeterminado? ifbench-the-new-benchmark-testing-ai-instruction-following

La brecha de resultados

El documento evalúa una variedad de modelos propietarios y de código abierto, incluyendo GPT-4o, Claude 3.5 Sonnet, DeepSeek-V3 y otros. Las puntuaciones exactas se leen mejor en el documento completo, pero el hallazgo principal es inequívoco: incluso los mejores modelos alcanzan tasas de éxito muy por debajo de lo que se requeriría para un despliegue práctico. La brecha es más amplia en tareas que requieren que el agente revise su modelo de usuario cuando las preferencias cambian durante la interacción, un escenario que los humanos manejan intuitivamente pero que los LLM manejan sistemáticamente mal.

Un modo de fallo ilustrativo: los agentes que memorizaban correctamente una preferencia del usuario al principio de la interacción la aplicaban rígidamente más tarde, incluso cuando las acciones posteriores del usuario la contradecían. Los agentes carecían de la capacidad metacognitiva para detectar cuándo el modelo de usuario necesitaba actualización. Otro fallo recurrente: agentes que no lograban hacer preguntas aclaratorias cuando la solicitud del usuario estaba subespecificada, a pesar de haber sido explícitamente entrenados con datos de seguimiento de instrucciones. La dimensión de proactividad del benchmark detectó modelos que podían parafrasear la solicitud de un usuario pero no podían reconocer las lagunas en ella. your-ai-agent-passed-the-test-by-accident-now-theres-a-rubric-for-that

Lecciones arquitectónicas

El documento también proporciona una interfaz de memoria extensible que permite una comparación controlada entre diferentes arquitecturas de memoria. Esta es una contribución práctica: en lugar de simplemente declarar que los modelos actuales son malos en personalización, el benchmark permite a los investigadores aislar si el cuello de botella es la capacidad de razonamiento del modelo, su mecanismo de recuperación de memoria o la capacidad de atención bruta para contextos largos.

Los primeros experimentos con memoria de ventana deslizante, memoria basada en resumen y memoria de recuperación aumentada sugieren que ninguna arquitectura única resuelve el problema. Los enfoques de recuperación aumentada ayudan con el recuerdo de hechos pero tienen dificultades con tareas inferenciales, como saber que una preferencia por entornos tranquilos en restaurantes implica algo sobre los tipos de cafetería preferidos. Los enfoques de resumen comprimen de manera demasiado agresiva, perdiendo matices. Las arquitecturas con mejor rendimiento combinan múltiples mecanismos de memoria, pero aún así no alcanzan una personalización confiable. opid-on-policy-skill-distillation-boosts-language-agent-training-without-external-memories

Por qué esto importa más allá del laboratorio

VitaBench 2.0 llega en un momento en que varias empresas, incluyendo Google, OpenAI y Anthropic, están lanzando o preparando agentes que operan en horizontes temporales más largos. Project Mariner de Google, por ejemplo, tiene como objetivo ayudar a los usuarios a completar tareas basadas en la web recordando el contexto entre sesiones. Los resultados del benchmark sugieren que estos productos enfrentarán una versión más difícil del problema de personalización de lo que reconoce su marketing.

También hay un ángulo de privacidad que el documento toca ligeramente. Los modelos de usuario persistentes, si se implementan, crean nuevos vectores para la fuga de datos. Un agente que construye un perfil detallado de los hábitos y preferencias de un usuario es un asistente más útil, pero también uno más sensible. El benchmark no evalúa las compensaciones de privacidad, pero las elecciones arquitectónicas que permite podrían influir en cuántos datos del usuario necesitan almacenarse y por cuánto tiempo. mosaicleaks-study-reveals-how-ai-research-agents-leak-private-data-through-web-queries

La conclusión

VitaBench 2.0 no pretende ser una solución completa. Los autores señalan que sus tareas son simuladas y que las interacciones de usuarios reales son más desordenadas de lo que cualquier benchmark puede capturar. Pero traza una línea clara entre dos tipos de capacidad de IA: la capacidad de responder una pregunta correctamente, y la capacidad de entender a una persona lo suficientemente bien como para anticipar lo que necesitará a continuación. La brecha entre esos dos es donde se librará la próxima generación de investigación en agentes.

Por ahora, el veredicto del benchmark es que los agentes LLM son excelentes extraños. Enseñarles a convertirse en amigos va a requerir mucho más trabajo.