Le Laneformer 2B de Kog atteint 3 000 tokens/s en faisant de la latence le point central

La plupart des recherches sur les grands modèles de langage (LLM) privilégient les scores de référence, traitant la vitesse d'inférence comme un problème aval de service, à résoudre plus tard avec la quantification, le partitionnement, le batching ou la mise en cache. Kog, une startup parisienne d'infrastructure IA, a inversé ce script entièrement. La vitesse était l'objectif de conception principal dès le premier jour.

Le résultat est Laneformer 2B, un Transformer de 2,3 milliards de paramètres conçu pour un décodage à faible latence par requête unique. Publié sous licence Apache 2.0 ouverte, le modèle et ses innovations architecturales montrent comment les contraintes matérielles peuvent remodeler la conception des réseaux neuronaux, en particulier pour les startups aux ressources limitées. ai2-releases-olmoearth-v11-slashing-compute-costs-up-to-3x-for-satellite-imagery-ai

Architecture co-conçue avec le moteur

Avec des tailles de lot faibles, typiques pour les agents ou les applications interactives, la vitesse de décodage ne dépend pas seulement des opérations en virgule flottante. Une grande partie du temps est consacrée au déplacement des poids du modèle, à la synchronisation des noyaux et au brassage des données entre les GPU à chaque couche. Le parallélisme tensoriel traditionnel (TP) oblige les appareils à échanger les résultats couche par couche, ce qui constitue un frein important lors du décodage d'un seul échantillon.

Pour contourner cela, Kog a conçu le parallélisme tensoriel retardé (DTP), une astuce qui retarde la synchronisation inter-GPU de deux étapes, balayant ainsi la latence de communication sous le tapis. Cela a nécessité une architecture personnalisée à huit voies, où chaque voie gère une tranche de la dimension cachée et des têtes d'attention. Cette structure de voies permet au DTP de fonctionner sans nuire à la qualité du modèle. C'est l'écart le plus significatif par rapport au Transformer décodeur standard. microsoft-researchs-mimalloc-memory-allocator-proves-fast-for-large-scale-ai-and-cloud-services

Le modèle utilise une attention causale à requêtes groupées (GQA) avec 32 têtes de requête et 16 têtes de clé/valeur, réparties uniformément sur les huit voies. Pour réduire le décalage du streaming du cache KV, 10 des 15 couches utilisent une attention à fenêtre glissante (SWA). La longueur du contexte est limitée à 4 096 tokens, un choix délibéré qui équilibre vitesse et utilité pour la génération de code.

Entraînement sur 6 billions de tokens avec des ensembles de données ouverts

Laneformer 2B a été entraîné de zéro en deux phases sur un cluster de 192 GPU NVIDIA H100 répartis sur 24 nœuds, grâce à Scaleway et ADASTRA. La pile d'entraînement utilisait TorchTitan pour FSDP distribué, atteignant environ 17 000 tokens par seconde par GPU sur environ 21 jours.

La recette des données s'est largement appuyée sur les ensembles de données de pré-entraînement Nemotron de NVIDIA, mais avec une particularité : contrairement à l'entraînement multiphase typique, Kog a délibérément modifié fortement le mélange de données entre les phases. La phase 1 a consommé environ 4 billions de tokens de données généralistes larges. La phase 2 a ajouté environ 2 billions de tokens fortement pondérés vers le code et le raisonnement. Le post-entraînement a utilisé environ 210 millions de tokens pour l'instruction et le réglage fin de l'identité.

"C'était un compromis explicite", a écrit l'équipe Kog dans le billet de blog. "Un changement fort du mélange de données entre les phases n'est pas une pratique standard, et nous nous attendions à ce que cela nuise à certaines capacités générales." Le suivi de précision centré sur DataComp-LM Core a confirmé une perte non négligeable des compétences générales, mais l'équipe a décidé que c'était un prix équitable pour un modèle solide axé sur le codage. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Résultats de référence par rapport aux modèles de taille similaire

En utilisant l'exécuteur officiel evalplus avec décodage glouton (température 0, do_sample=False), Laneformer 2B a obtenu 45,1 % sur HumanEval+ et 51,6 % sur MBPP+. Ces chiffres le placent à la limite compétitive de la classe des paramètres 2B. Le changement de données de la phase 2 a à lui seul amélioré les performances de codage de plus de 10 points sur HumanEval+.

L'équipe a également noté que les scores pass@N augmentent régulièrement pour N = 2, 4, 8 et 16, faisant du décodage stochastique un moyen pratique d'échanger un peu de latence pour une plus grande précision.

Affirmations sur la vitesse d'inférence

Dans l'aperçu public du moteur d'inférence Kog (KIE), Laneformer 2B atteint 3 000 tokens de sortie par seconde par requête sur 8x AMD MI300X et 2 100 tokens/s sur 8x NVIDIA H200, en utilisant FP16, une taille de lot de 1 et sans décodage spéculatif. L'équipe affirme qu'il s'agit du résultat de décodage par requête unique le plus rapide jamais démontré publiquement pour un modèle de classe 2B sur des GPU de centre de données standard.

Cependant, l'équipe reconnaît que le point de contrôle Hugging Face publié, bien qu'utilisable comme modèle standard, n'atteindra pas ces vitesses sans le chemin d'exécution compatible DTP dans KIE. Les implémentations Transformer standard ne bénéficieront pas des optimisations de latence. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

Limitations et travaux futurs

Laneformer 2B n'est pas un modèle frontalier à usage général. Sa fenêtre de contexte de 4 096 tokens et ses choix SWA reflètent l'objectif de latence. L'extension du contexte long est déjà en cours. La spécialisation de la phase 2 signifie également que les capacités générales, sur des tâches comme le rappel de faits ou la réponse à des questions larges, sont en retard. L'équipe prévoit un pipeline de post-entraînement plus solide pour les versions futures.

Pourquoi open-source ?

Kog a publié les poids, l'implémentation personnalisée Hugging Face, la configuration, les résultats d'évaluation et la documentation sous licence Apache 2.0. Le tokenizer, basé sur Llama 2, est distribué sous la licence communautaire Llama 2. Cette décision positionne Laneformer 2B à la fois comme un point de contrôle utilisable et un artefact de recherche pour la communauté open-source. open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

Implications pour l'industrie

Laneformer 2B montre que pour les startups sans les ressources nécessaires pour former de grands modèles frontaliers, une stratégie ciblée, optimisant pour une seule métrique (la latence) et un domaine spécifique (la génération de code), peut produire des résultats compétitifs. En rendant open-source à la fois le modèle et la recette architecturale, Kog invite la communauté à s'appuyer sur ses idées et à explorer davantage la conception priorisant la latence.

Les performances solides du modèle par rapport à sa taille et à son budget d'entraînement suggèrent que la co-conception de l'architecture avec les contraintes matérielles pourrait devenir une méthodologie plus courante, en particulier à mesure que les coûts d'inférence et les exigences de latence deviennent critiques pour les applications en temps réel comme les agents IA. gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key