Une preuve mathématique que l'IA générale est un mythe : la biologie, les marchés et l'apprentissage automatique sont d'accord

L'attente conventionnelle est raisonnable : à mesure que les systèmes d'IA deviennent plus performants, ils devraient également devenir plus généraux. Une plus grande capacité et une applicabilité plus large semblent être des compagnons naturels. Plus de ressources, de meilleures méthodes et un entraînement élargi devraient produire des systèmes qui abordent plus de tâches avec une confiance croissante.

Le schéma qui apparaît réellement est différent. Les systèmes qui obtiennent les résultats les plus significatifs dans un domaine donné ont tendance à être ceux qui sont le plus étroitement concentrés sur celui-ci. La percée dans la prédiction de la structure des protéines est venue d'un système conçu pour une seule tâche scientifique. Les jalons historiques de l'IA, examinés de près, reflètent un ciblage intense du domaine plutôt qu'une généralité croissante. the-specialization-revolution-how-smaller-models-are-redefining-ais-future

Ce schéma se répète. Il se répète à travers les domaines, à travers les décennies, à travers des choix architecturaux qui n'ont presque rien en commun. Un schéma aussi cohérent suggère une cause commune. Une cause qui ne provient pas du tout de la recherche en IA.

Un algorithme gagne en s'adaptant à sa cible

En 1997, Wolpert et Macready ont prouvé quelque chose qui apparaît rarement dans les discussions sur l'architecture de l'IA : aucun algorithme d'optimisation unique et général ne surpasse tous les autres sur tous les problèmes possibles. La preuve est mathématique, pas philosophique. En moyenne sur tous les problèmes concevables qu'un apprenant pourrait rencontrer, chaque algorithme fonctionne aussi bien, et aussi mal. Un algorithme qui gagne sur une distribution de problèmes cède nécessairement sur d'autres. La performance est redistribuée, pas multipliée.

L'implication pratique est directe : "un algorithme gagne en étant bien adapté au problème cible". Le théorème ne dit pas que la généralité est impossible. Il dit que la généralité n'est pas un avantage de performance. La voie structurelle cohérente vers la surperformance est la concentration : échanger l'étendue contre l'adéquation.

Cela devient plus net lorsque des ressources finies entrent en jeu. Tout système réel fonctionne sous contraintes. Calcul fini, données finies, temps de développement fini. Compte tenu d'une énergie finie, une approche qui dirige les ressources disponibles vers l'apprentissage d'un ensemble fini de tâches surpassera celle qui distribue ces mêmes ressources sur une gamme illimitée. L'arithmétique est impitoyable : à mesure que l'ensemble de tâches s'étend sans limite, les ressources disponibles par tâche diminuent vers zéro. Une couverture universelle et une performance significative sont, sous des ressources finies, en tension directe.

La conclusion vers laquelle pointe le théorème n'est pas que la généralité est mauvaise. Elle est plus étroite et plus opérationnelle que cela. Comme le dit l'article, "la généralité universelle est un concept théorique, mais en termes pratiques, c'est un mythe". Ce qui survit au contact des contraintes réelles n'est pas le système qui essaie de tout faire. C'est le système qui s'adapte à sa cible. nvidia-nemo-automodel-delivers-37x-faster-moe-fine-tuning-via-expert-parallelism-and-deepep

Ce que la biologie et les marchés savent déjà

Deux autres domaines sont arrivés à la même prédiction avant que la théorie de l'optimisation ne lui donne un nom. Comme le décrit l'article concernant le cas biologique : chaque gain de performance dans une niche a un coût ailleurs. Un généraliste porte des traits adaptés à de nombreux environnements mais optimal pour aucun. Une compétence trop étalée pour dominer une condition particulière. Il n'y a pas de gains de performance sans compromis. Les ressources investies dans une capacité ne sont pas disponibles pour une autre. La sélection favorise les conceptions adaptées aux conditions locales plutôt que celles optimisées pour une couverture uniforme dans tous les environnements possibles. Les organismes qui survivent pour se reproduire ne sont pas les plus généralement capables. Ils sont les plus spécifiquement adaptés. Le résultat, accumulé sur des échelles de temps évolutives, n'est pas la domination des généralistes. Ce sont des spécialistes qui remplissent des niches. Comme le dit l'article : "La spécialisation n'est pas un accident de la biologie ; c'est une conséquence prévisible de ressources limitées, d'objectifs concurrents et d'environnements qui récompensent la performance sur un petit sous-ensemble de défis pertinents sur le plan évolutif".

Les marchés concurrentiels suivent la même dynamique par des moyens différents. Les organisations et les stratégies qui ne parviennent pas à atteindre les seuils de performance sont éliminées. Non par extinction, mais par sortie, désinvestissement et remplacement par des alternatives mieux adaptées. La concurrence agit comme un mécanisme de sélection : elle amplifie les stratégies efficaces et élimine les stratégies inefficaces. Le mécanisme n'a rien en commun avec la sélection biologique. Pas d'héritage, pas de mutation, pas d'échelle de temps évolutive. L'unité de sélection n'est pas l'organisme mais l'organisation, le produit, la stratégie. Pourtant, la pression structurelle est la même : ressources finies, exigences de performance et élimination systématique des entités trop largement distribuées pour exceller là où cela compte. La capacité concentrée surpasse la capacité distribuée lorsque les normes de performance sont claires et cohérentes. openais-gpt-56-launch-rewrites-the-economics-of-frontier-ai

L'évolution et les marchés fonctionnent par des mécanismes totalement différents. Des échelles de temps différentes, des unités de sélection différentes, des mécanismes d'héritage différents. Pourtant, les deux produisent le même résultat sous pression de ressources : l'adéquation plutôt que l'étendue. Le théorème le prédit. La biologie et les marchés y arrivent indépendamment. Lorsqu'un troisième domaine arrive à la même conclusion par des moyens totalement différents, le schéma cesse de ressembler à un théorème et commence à ressembler à quelque chose de plus général sur la façon dont les systèmes contraints se comportent.

L'apprentissage automatique redécouvre constamment la spécialisation

Le même schéma est apparu au sein de l'apprentissage automatique. Non pas dérivé de la théorie de l'optimisation, mais atteint grâce à l'expérience accumulée de la construction de systèmes et de l'observation de ce qui les améliore. La forme la plus claire est le transfert négatif : une dégradation mesurable qui se produit lorsqu'un système entraîné sur plusieurs tâches souffre parce que ces tâches sont en compétition plutôt qu'en coopération. Lorsque les tâches partagent une structure, l'entraînement ensemble aide. Mais lorsque les tâches se disputent la capacité de représentation, ou imposent des gradients contradictoires pendant l'entraînement, les performances sur les tâches individuelles tombent en dessous de ce qu'un système dédié atteindrait. Le gain de l'étendue devient un coût pour la profondeur. C'est une conséquence documentée de la division d'une capacité finie entre des tâches qui se tirent mutuellement. Le spécialiste, ne faisant face à aucune telle compétition, ne paie pas ce coût.

L'architecture des modèles de pointe offre une forme différente de preuve. Les systèmes de mixture-of-experts atteignent leur étendue non pas par une généralité uniforme sur tous les paramètres, mais en acheminant chaque entrée vers un sous-ensemble spécialisé du réseau. Activer différents experts pour différentes tâches. Les auteurs de l'article lisent cela comme une concession structurelle : un système conçu pour être général atteignant ses résultats en retrouvant la spécialisation en interne. C'est une interprétation argumentée, pas un théorème démontré. Ces architectures ont été conçues pour l'efficacité computationnelle, et ce qu'elles impliquent sur les limites de la généralité est une inférence raisonnable plutôt qu'une intention déclarée. Mais c'est une remarque notable : les systèmes polyvalents les plus performants atteignent leur niveau en faisant en interne ce que les systèmes spécialistes font par conception. aleph-alphas-new-megakernel-library-cuts-moe-inference-latency-by-200

L'exemple historique le plus clair suit la même logique. AlphaFold a réalisé un changement radical dans la prédiction de la structure des protéines en ciblant cette tâche spécifique avec une architecture et des choix d'entraînement spécifiques à la tâche. Ses gains provenaient d'un focus plus étroit, pas d'une couverture plus large. L'article utilise AlphaFold comme un cas archétypal. Non pas comme preuve que tous les systèmes spécialisés atteignent des gains équivalents, mais comme une illustration particulièrement claire du mécanisme. Ce mécanisme est apparu à plusieurs reprises : l'histoire des jalons de l'IA, note l'article, reflète fréquemment un ciblage intense du domaine plutôt qu'une compétence large, même lorsque les résultats ressemblent à des démonstrations d'intelligence générale.

Ce que le passage à l'échelle ne change pas

Le tableau serait incomplet sans aborder l'une des observations les plus citées de la recherche en IA. La leçon amère de Sutton soutient que les méthodes reposant sur la connaissance du domaine sont constamment surpassées par les méthodes qui mettent à l'échelle le calcul. À première vue, cela semble compliquer le cas de la spécialisation : si l'échelle et la généralité gagnent, la spécialisation n'est peut-être qu'une heuristique utile sous contraintes de ressources qui s'atténueront à mesure que le calcul deviendra moins cher.

L'objection repose sur une confusion entre deux concepts distincts. La connaissance du domaine fait référence à des caractéristiques codées à la main, des a priori conçus et des règles destinées à donner à un système un aperçu d'un domaine particulier. La leçon amère cible cela, et elle a raison de le faire. Les systèmes qui encodent une connaissance explicite du domaine ont été constamment surpassés à mesure que l'échelle augmentait. La spécialisation par domaine est différente : la décision de diriger les ressources, l'architecture et l'entraînement d'un système vers un ensemble limité de tâches plutôt que de les distribuer largement. Ce n'est pas l'encodage de connaissances sur un domaine. C'est une décision sur le champ d'application.

L'article fait la distinction avec précision : "L'utilité décroissante de la connaissance du domaine est distincte de l'utilité de la spécialisation par domaine. À mesure que le passage à l'échelle progresse, nous aurons besoin d'en savoir moins sur les protéines pour construire un système qui fait le repliement des protéines ; cependant, un tel système bénéficie encore d'un focus spécifique sur les protéines." Le passage à l'échelle change ce que les systèmes peuvent apprendre à partir des données. Il ne change pas le fait que concentrer les ressources sur un ensemble fini de tâches surpasse le fait de les distribuer sur une gamme illimitée. La leçon amère et l'argument de la spécialisation opèrent sur des dimensions différentes. L'une décrit comment la connaissance doit être acquise, l'autre décrit sur quoi un système doit être orienté. Les deux peuvent être vrais simultanément. Le passage à l'échelle change les mécanismes par lesquels les systèmes apprennent. Il ne dissout pas la contrainte qui rend l'adéquation plus précieuse que l'étendue. why-deep-learning-infrastructure-may-be-the-next-trillion-dollar-bottleneck-and-whos-racing-to-fix-it

La convergence est la preuve

À travers quatre traditions analytiques, le même schéma est apparu par des chemins différents. Ce n'est pas une coïncidence qui demande une explication. C'est la preuve. Lorsque des ressources finies rencontrent une pression de sélection dans un problème d'optimisation, un écosystème, un marché ou un run d'entraînement, l'adéquation bat systématiquement l'étendue. Les mécanismes spécifiques diffèrent. Les échelles de temps diffèrent. Les unités de sélection diffèrent. Mais la dynamique structurelle est la même, et elle produit le même résultat.

Le théorème ne cause pas ce schéma en biologie. La biologie ne le cause pas sur les marchés. Aucun des deux ne le cause dans l'apprentissage automatique. Ils font tous face à la même contrainte sous-jacente : la performance sous rareté nécessite de la concentration. Ce que le théorème établit mathématiquement, l'histoire évolutive le confirme empiriquement, les marchés concurrentiels le démontrent institutionnellement, et l'apprentissage automatique le redécouvre architecturalement. La spécialisation n'est pas une préférence. C'est ce qui émerge lorsque des ressources finies rencontrent l'obligation de performer.