Évaluation IA
3 published articles
Recherche en IA
Votre agent IA a réussi le test par hasard. Maintenant, il existe une grille d'évaluation pour ça.
SkillCoach est un cadre de grilles d'évaluation auto-évolutives qui évalue et améliore l'utilisation des compétences agentiques en analysant les processus de sélection, de suivi, de composition et de réflexion des compétences, offrant une meilleure supervision que les métriques basées uniquement sur les résultats.
2026-07-06
Recherche en IA
Les LLMs corrompent vos documents lorsque vous déléguez : un examen approfondi du benchmark DELEGATE-52
Le benchmark DELEGATE-52 révèle que les LLMs actuels accumulent une dégradation de la fidélité lorsqu'ils sont chargés d'éditions documentaires en plusieurs étapes. Les erreurs affectent 19 à 34 % du contenu des artefacts sur 20 itérations, bien que les workflows Python présentent une perte inférieure à 1 %. L'étude est un outil de diagnostic, pas un verdict sur l'utilité réelle de l'IA.
2026-07-05
Analyse des benchmarks d'agents
ProgramBench : tous les IA publiques obtiennent 0% au test de codage le plus difficile
ProgramBench met au défi les agents IA de reconstruire des programmes à partir de binaires seuls, sans code source ni description de problème. Tous les modèles publics échouent à résoudre complètement une tâche, exposant des faiblesses en exploration, architecture et jugement d'arrêt. Le benchmark est un test de résistance pour les agents de codage au-delà des workflows basés sur des correctifs.
2026-06-29