DiScoFormer a trouvé le moyen de supprimer le goulot d'étranglement de l'IA que KDE et les réseaux de neurones avaient tous deux manqué

Pendant des décennies, deux voies ont coexisté dans la tâche d'estimer une distribution de probabilité à partir d'une poignée de points de données. L'estimation par noyau (KDE) est universelle, elle fonctionne sur n'importe quelle distribution sans entraînement, mais sa précision s'effondre à mesure que le nombre de dimensions augmente. Les modèles neuronaux d'estimation du score restent précis en hautes dimensions mais doivent être réentraînés à partir de zéro pour chaque nouvelle distribution. Aucune des deux voies n'a offert à la fois généralité et précision. what-the-5-day-old-paper-260623050-tells-us-about-the-future-of-ai

Une équipe de chercheurs propose maintenant une troisième voie : un transformeur qu'ils appellent le DiScoFormer (Density and Score Transformer) qui prend un ensemble de points de données et, en un seul passage avant, retourne à la fois la densité et le score de la distribution sous-jacente, sans réentraînement. La méthode est détaillée dans un préprint qui démontre des performances solides sur des benchmarks en hautes dimensions, avec des implications pour l'IA générative, les statistiques bayésiennes et le calcul scientifique. gpt-55-dominates-a-new-benchmark-for-agents-that-rewrite-their-own-rules

Ce que font réellement la densité et le score

La densité d'une distribution est un histogramme lisse : élevée là où les points de données se regroupent, faible là où ils sont rares. Le score est le gradient du logarithme de la densité, il pointe dans la direction où la densité augmente le plus rapidement. Déplacer un point le long du score le dirige vers une région plus probable. Cette information directionnelle est centrale pour les modèles génératifs basés sur la diffusion comme Stable Diffusion et DALL-E : ils partent d'un bruit aléatoire et suivent répétitivement le score pour produire des images réalistes. Le même score pilote l'échantillonnage bayésien et les simulations de particules utilisées en physique des plasmas. microsoft-research-cracks-the-black-box-of-brain-prediction-ai-with-a-closed-loop-test

Extraire ces deux quantités à partir d'un échantillon fini est la difficulté centrale. KDE place un noyau, une bosse, à chaque point de données et les somme pour estimer la densité. Il ne nécessite aucun entraînement et généralise à toute distribution, mais le coût augmente mal avec les dimensions, et sa précision se dégrade rapidement. Les modèles neuronaux d'estimation du score entraînent un réseau à prédire directement le score, restant précis même en hautes dimensions, mais chacun doit apprendre la distribution spécifique et nécessite un réentraînement lorsque les données changent.

Architecture de DiScoFormer : l'attention comme noyau généralisé

DiScoFormer mappe un échantillon entier vers la densité et le score de la distribution derrière lui en utilisant des blocs transformeurs empilés avec attention croisée. L'idée de conception clé est qu'une seule tête d'attention croisée calcule des poids qui sont presque un noyau gaussien sur les données, un fait mathématique connu que les auteurs prouvent analytiquement. Ainsi, un bloc d'attention croisée peut déjà reproduire la densité et le score de KDE classique. Mais le transformeur ne s'arrête pas là : plusieurs têtes et couches permettent à DiScoFormer d'apprendre plusieurs échelles de noyau simultanément et de les adapter à la structure locale des données.

Le score et la densité sont mathématiquement liés, le score est le gradient du logarithme de la densité, et DiScoFormer exploite cela en utilisant un tronc commun avec deux têtes de sortie. Ce couplage donne une perte de cohérence sans étiquettes : au moment de l'inférence, la prédiction de la tête de score doit correspondre au gradient de la tête de log-densité à chaque point de requête. L'équipe utilise cette propriété pour s'adapter à des entrées hors distribution : maintenir le contexte fixe, prendre quelques pas de gradient sur la perte de cohérence, et le modèle s'ajuste lui-même sans nécessiter de densité ou de score réel. nvidias-nemotron-data-atlas-reveals-why-synthetic-data-is-the-real-agent-bottleneck

Entraînement sur des mélanges infinis

Les données d'entraînement consistent entièrement en des modèles de mélanges gaussiens (GMM). Les auteurs donnent deux raisons : les GMM sont des approximateurs universels de densité, avec suffisamment de composants, ils peuvent correspondre à essentiellement toute distribution lisse, et ils ont des densités et des scores de forme fermée, fournissant une cible exacte pour chaque lot. Le modèle voit un nouveau GMM par lot, ce qui l'entraîne efficacement sur une offre infinie de distributions cibles. Cette stratégie élimine le risque de surapprentissage sur un benchmark fixe et équipe le modèle pour gérer des distributions bien différentes de celles vues pendant l'entraînement.

Avantage en hautes dimensions, compromis de vitesse classique

Les chiffres marquants proviennent de tests à 100 dimensions. Contre le meilleur KDE réglé à la main, DiScoFormer réduit l'erreur de score d'environ 6,5x et l'erreur de densité de plus de 37x. L'écart se creuse à mesure que la taille de l'échantillon augmente, KDE manque de mémoire tandis que DiScoFormer continue de s'améliorer. Le modèle généralise également à des mélanges avec plus de modes qu'il n'en a jamais vu pendant l'entraînement et à des formes non gaussiennes comme les distributions de Laplace et Student-t.

KDE conserve un avantage en vitesse, surtout pour les petits ensembles de données. Mais les auteurs soutiennent que pour la plupart des applications où l'estimation du score est importante, la modélisation générative, l'inférence bayésienne, le calcul scientifique, la possibilité d'utiliser un seul modèle pré-entraîné sur de nombreux problèmes sans réentraînement pourrait l'emporter sur le surcoût de temps d'inférence. navigating-the-edge-new-framework-promises-safer-ai-deployment-in-critical-systems

Un modèle pour plusieurs domaines

La partie la plus prometteuse de DiScoFormer est que l'estimation du score est une dépendance partagée entre plusieurs disciplines. Les modèles de diffusion ont besoin du score pendant l'échantillonnage. Le calcul bayésien utilise les scores dans l'hamiltonien Monte Carlo et l'inférence variationnelle. Les simulations de particules en physique des plasmas et en astrophysique reposent sur des étapes de correction basées sur le score. Un estimateur pré-entraîné, prêt à l'emploi, qui reste précis en hautes dimensions et s'adapte à de nouvelles distributions sans réentraînement pourrait réduire les coûts dans tous ces domaines à la fois. mistral-acquires-emmi-ai-to-bring-physics-foundation-models-to-industrial-engineering

Les chercheurs reconnaissent que DiScoFormer n'est pas encore un remplacement direct pour l'estimation neuronale spécialisée du score dans tous les contextes, chaque domaine a ses propres contraintes de latence, mémoire et précision souhaitée. Mais les résultats suggèrent qu'un seul transformeur peut combler le fossé entre l'applicabilité universelle et la précision en hautes dimensions qui a séparé KDE et les méthodes neuronales pendant des années. Que cette approche devienne l'outil par défaut pour la récupération de distribution dépendra de sa capacité à passer à des dimensions encore plus élevées et de la fiabilité de l'adaptation par perte de cohérence dans les workflows scientifiques réels.