Kog's Laneformer 2B alcanza 3,000 tokens/s al hacer de la latencia el objetivo principal

La mayoría de la investigación de modelos de lenguaje grandes (LLM) persigue primero las puntuaciones de referencia, tratando la velocidad de inferencia como un problema de servicio secundario, algo que se soluciona después con cuantización, fragmentación, procesamiento por lotes o almacenamiento en caché. Kog, una startup parisina de infraestructura de IA, invirtió ese guion por completo. La velocidad fue el objetivo de diseño principal desde el día uno.

El resultado es Laneformer 2B, un Transformer de 2.3 mil millones de parámetros construido para decodificación de baja latencia y una sola solicitud. Publicado bajo una licencia Apache 2.0 abierta, el modelo y sus innovaciones arquitectónicas muestran cómo las limitaciones del hardware pueden rediseñar el diseño de redes neuronales, particularmente para startups con recursos limitados. ai2-releases-olmoearth-v11-slashing-compute-costs-up-to-3x-for-satellite-imagery-ai

Arquitectura co-diseñada con el motor

En tamaños de lote pequeños, típicos para agentes o aplicaciones interactivas, la velocidad de decodificación no depende solo de las operaciones de punto flotante. Una gran parte del tiempo se dedica a mover los pesos del modelo, sincronizar kernels y transferir datos entre GPU en cada capa. El Paralelismo Tensor tradicional (TP) obliga a los dispositivos a intercambiar resultados capa por capa, un lastre significativo durante la decodificación de una sola muestra.

Para solucionarlo, Kog ideó el Paralelismo Tensor Retrasado (DTP), un truco que retrasa la sincronización entre GPU en dos pasos, ocultando efectivamente la latencia de comunicación. Esto requirió una arquitectura personalizada de ocho carriles, donde cada carril maneja una porción de la dimensión oculta y los cabezales de atención. Esta estructura de carriles permite que DTP funcione sin afectar la calidad del modelo. Es la desviación más significativa del Transformer estándar solo de decodificador. microsoft-researchs-mimalloc-memory-allocator-proves-fast-for-large-scale-ai-and-cloud-services

El modelo utiliza Atención Agrupada de Consultas causal (GQA) con 32 cabezales de consulta y 16 cabezales de clave/valor, distribuidos uniformemente entre los ocho carriles. Para reducir el retraso de transmisión del caché KV, 10 de las 15 capas dependen de Atención de Ventana Deslizante (SWA). La longitud del contexto está limitada a 4,096 tokens, una elección deliberada que equilibra velocidad y utilidad para la generación de código.

Entrenamiento con 6 billones de tokens y conjuntos de datos abiertos

Laneformer 2B fue entrenado desde cero en dos fases en un clúster de 192 GPU NVIDIA H100 en 24 nodos, cortesía de Scaleway y ADASTRA. La pila de entrenamiento utilizó TorchTitan para FSDP distribuido, logrando aproximadamente 17,000 tokens por segundo por GPU durante unos 21 días.

La receta de datos se basó en gran medida en los conjuntos de datos de preentrenamiento Nemotron de NVIDIA, pero con un giro: a diferencia del entrenamiento multifásico típico, Kog cambió deliberadamente la mezcla de datos bruscamente entre fases. La Fase 1 consumió aproximadamente 4 billones de tokens de datos generalistas amplios. La Fase 2 agregó alrededor de 2 billones de tokens fuertemente ponderados hacia código y razonamiento. El post-entrenamiento utilizó alrededor de 210 millones de tokens para ajuste de instrucciones e identidad.

"Esto fue una compensación explícita", escribió el equipo de Kog en la publicación del blog. "Un cambio fuerte en la mezcla de datos entre fases no es una práctica estándar, y esperábamos que perjudicara algunas capacidades generales". El seguimiento de precisión centrado en DataComp-LM Core confirmó una pérdida no despreciable en habilidades generales, pero el equipo decidió que era un precio justo para un modelo sólido enfocado en código. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Resultados de referencia frente a modelos de tamaño similar

Usando el ejecutor oficial evalplus con decodificación codiciosa (temperatura 0, do_sample=False), Laneformer 2B obtuvo un 45.1% en HumanEval+ y un 51.6% en MBPP+. Esos números lo sitúan en el borde competitivo de la clase de 2 mil millones de parámetros. El cambio de datos de la Fase 2 por sí solo aumentó el rendimiento de codificación en más de 10 puntos en HumanEval+.

El equipo también señaló que las puntuaciones pass@N aumentan consistentemente para N = 2, 4, 8 y 16, lo que hace que la decodificación estocástica sea una forma práctica de intercambiar un poco de latencia por mayor precisión.

Afirmaciones de velocidad de inferencia

En la vista previa pública del Motor de Inferencia Kog (KIE), Laneformer 2B alcanza 3,000 tokens de salida por segundo por solicitud en 8x AMD MI300X y 2,100 tokens/s en 8x NVIDIA H200, usando FP16, tamaño de lote 1 y sin decodificación especulativa. El equipo afirma que este es el resultado de decodificación de solicitud única demostrado públicamente más rápido para un modelo de clase 2B en GPU de centro de datos estándar.

Sin embargo, el equipo reconoce que el punto de control de Hugging Face publicado, aunque utilizable como modelo estándar, no alcanzará esas velocidades sin la ruta de ejecución consciente de DTP en KIE. Las implementaciones estándar de Transformer no se beneficiarán de las optimizaciones de latencia. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

Limitaciones y trabajo futuro

Laneformer 2B no es un modelo fronterizo de propósito general. Su ventana de contexto de 4,096 tokens y las opciones de SWA reflejan el objetivo de latencia. La extensión de contexto largo ya está en desarrollo. La especialización de la Fase 2 también significa que las capacidades generales, en tareas como recuperación de hechos o preguntas y respuestas amplias, se quedan atrás. El equipo planea un pipeline de post-entrenamiento más sólido para versiones futuras.

¿Por qué código abierto?

Kog publicó los pesos, la implementación personalizada de Hugging Face, la configuración, los resultados de evaluación y la documentación bajo la Licencia Apache 2.0. El tokenizador, basado en Llama 2, se distribuye bajo la Licencia Comunitaria Llama 2. El movimiento posiciona a Laneformer 2B como un punto de control utilizable y un artefacto de investigación para la comunidad de código abierto. open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

Implicaciones para la industria

Laneformer 2B muestra que para startups sin los recursos para entrenar grandes modelos fronterizos, una estrategia centrada, optimizando para una sola métrica (latencia) y un dominio específico (generación de código), puede producir resultados competitivos. Al abrir tanto el modelo como la receta arquitectónica, Kog invita a la comunidad a construir sobre sus ideas y explorar más el diseño con prioridad en latencia.

El sólido rendimiento del modelo en relación con su tamaño y presupuesto de entrenamiento sugiere que el co-diseño de arquitectura con limitaciones de hardware podría convertirse en una metodología más común, especialmente a medida que los costos de inferencia y los requisitos de latencia se vuelven críticos para aplicaciones en tiempo real como los agentes de IA. gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key