Aleph Alpha dévoile T-Free : une architecture sans tokenizer pour une IA souveraine

Aleph Alpha, le laboratoire d'IA basé à Heidelberg fondé en 2019, a publié un article technique décrivant T-Free, une architecture de grand modèle de langage qui se passe entièrement de tokenizers. Le système, désormais disponible sous forme de points de contrôle à poids ouverts, s'attaque à une limitation fondamentale des LLM conventionnels : les tokenizers avec des vocabulaires fixes optimisés pour l'anglais, qui créent inefficacité et biais lorsqu'ils traitent des textes non anglophones ou spécialisés.

Le problème du tokenizer

Presque tous les LLM modernes dépendent d'un tokenizer, une étape de prétraitement qui découpe le texte en tokens et attribue à chacun un numéro d'ID. Pendant l'entraînement, le modèle apprend à représenter chaque token sous forme de vecteur. Mais une fois le texte tokenisé, les caractères originaux sont effectivement invisibles pour le modèle. Le vocabulaire du tokenizer est fixé avant l'entraînement et ne peut pas changer par la suite, et il est généralement adapté à l'anglais standard.

Pour les domaines spécialisés, les dépôts de brevets, les contrats juridiques, les spécifications techniques, et pour les langues autres que l'anglais, le tokenizer découpe souvent les mots en fragments d'un ou deux caractères seulement. Aleph Alpha illustre ce point avec le mot allemand 'Bundeskanzler', qui est divisé en quatre tokens, tandis que son équivalent anglais 'chancellor' n'en nécessite qu'un seul. Plus de tokens signifie plus de mémoire, plus de calcul et des coûts plus élevés, et cela rend plus difficile pour le modèle de saisir le sens sous-jacent.

Comment fonctionne T-Free

Au lieu d'un tokenizer séparé, T-Free mappe les mots directement en vecteurs. Cela préserve intacts les termes rares et spécifiques au domaine tout en permettant au modèle de compresser davantage de caractères dans chaque vecteur. Selon Aleph Alpha, les LLM traditionnels atteignent en moyenne environ quatre caractères par vecteur ; T-Free en atteint près de sept, soit une amélioration de 75 % de la densité de caractères.

L'architecture exploite également la similarité des motifs de caractères. T-Free reconnaît que 'telephone' et 'Telefon' sont essentiellement le même mot avant le début de l'entraînement, lui conférant une conscience multilingue intégrée que le réglage fin peut exploiter dès le départ.

Implications pour la souveraineté et le coût

Aleph Alpha se présente depuis longtemps comme un champion européen de l'IA souveraine, des modèles que les organisations peuvent entraîner et déployer sur leurs propres données sans dépendre des plateformes cloud américaines ou chinoises. T-Free fait avancer cette mission en rendant plus pratique l'entraînement sur des données propriétaires et des langues peu dotées tout en maintenant des capacités d'usage général.

Le nombre réduit de tokens se traduit directement par des coûts d'inférence plus faibles et une consommation d'énergie réduite, éliminant potentiellement un obstacle qui a rendu certains cas d'usage d'entreprise non économiques. Le fondateur et PDG d'Aleph Alpha, Jonas Andrulis, a noté dans le communiqué que le langage est « plus qu'un moyen de communication », c'est un vecteur de culture et de valeurs, et l'IA doit parler la langue de ses utilisateurs.

Références et disponibilité

Aleph Alpha a publié les premiers points de contrôle de T-Free, que l'entreprise affirme être compétitifs sur les benchmarks standard tout en offrant une efficacité supérieure. Les modèles sont ouverts à la recherche et à un usage commercial. L'article de recherche complet est disponible sur le site Web d'Aleph Alpha.

Cette publication signale un changement potentiel dans la manière dont les LLM traitent les textes multilingues et spécifiques à un domaine, un domaine où les architectures conventionnelles ont eu du mal. Si T-Free s'avère évolutif, il pourrait devenir un point de référence pour les futures architectures, en particulier en Europe, où la diversité linguistique et la souveraineté des données sont des priorités réglementaires et stratégiques.