Evaluación de IA
3 published articles
Investigación en IA
Tu agente de IA aprobó la prueba por accidente. Ahora hay una rúbrica para eso.
SkillCoach es un marco de rúbricas autoevolutivas que evalúa y mejora el uso de habilidades agentivas analizando los procesos de selección, seguimiento, composición y reflexión de habilidades, proporcionando una mejor supervisión que las métricas basadas solo en resultados.
2026-07-06
Investigación en IA
Los LLMs corrompen tus documentos cuando delegas: una mirada detallada al benchmark DELEGATE-52
El benchmark DELEGATE-52 revela que los LLMs actuales acumulan degradación de fidelidad cuando se les confían ediciones de documentos en múltiples pasos. Los errores afectan del 19 al 34% del contenido del artefacto en 20 iteraciones, aunque los flujos de trabajo en Python muestran una pérdida inferior al 1%. El estudio es una herramienta de diagnóstico, no un veredicto sobre la utilidad real de la IA.
2026-07-05
Análisis de evaluación de agentes
ProgramBench: todas las IAs públicas obtienen un 0% en la prueba de codificación más difícil hasta el momento
ProgramBench desafía a los agentes de IA a reconstruir programas solo a partir de binarios, sin código fuente ni descripciones de problemas. Todos los modelos públicos fallan al resolver completamente cualquier tarea, exponiendo debilidades en la exploración, arquitectura y juicio de parada. El benchmark es una prueba de estrés para agentes de codificación que avanzan más allá de los flujos de trabajo basados en parches.
2026-06-29