Kog推出Laneformer 2B：以延迟为核心设计，速度高达3,000 token/s

大多数大语言模型（LLM）研究首先追求基准分数，将推理速度视为后续服务问题，通过量化、分片、批处理或缓存等技巧解决。但巴黎AI基础设施初创公司Kog完全颠覆了这一思路：速度从一开始就是首要设计目标。

其成果是Laneformer 2B，一个2.3B参数Transformer模型，专为单请求低延迟解码而构建。该模型采用宽松的Apache License 2.0许可证发布，其架构创新展示了硬件约束如何重塑神经网络设计，特别是对于资源紧张的初创公司。 ai2-releases-olmoearth-v11-slashing-compute-costs-up-to-3x-for-satellite-imagery-ai

与引擎协同设计的架构

在低批处理规模下，典型的代理或交互式应用中，解码速度不仅仅关乎浮点运算。大量时间花费在移动模型权重、同步内核以及跨GPU逐层传输数据上。传统的张量并行（TP）要求设备逐层交换结果，这在单样本解码时会造成严重拖累。

为了解决这个问题，Kog设计了延迟张量并行（DTP），一种将跨GPU同步延迟两步的技巧，有效掩盖了通信延迟。这需要一个定制的八通道架构，每个通道处理隐藏维度和注意力头的一部分。这种通道结构让DTP在不影响模型质量的情况下工作。这是对标准仅解码器Transformer最显著的改变。 microsoft-researchs-mimalloc-memory-allocator-proves-fast-for-large-scale-ai-and-cloud-services

该模型使用因果分组查询注意力（GQA），具有32个查询头和16个键/值头，均匀分布在八个通道中。为了减少KV缓存流延迟，15层中的10层使用滑动窗口注意力（SWA）。上下文长度限制为4,096 token，这是一个在速度和代码生成实用性之间取得平衡的刻意选择。

在6万亿token上使用开源数据集训练

Laneformer 2B分两个阶段从零开始训练，使用了跨24个节点的192个NVIDIA H100 GPU集群，由Scaleway和ADASTRA提供。训练栈使用TorchTitan进行分布式FSDP，每GPU每秒约达到17,000 token，训练周期约21天。

数据配方大量借鉴了NVIDIA的Nemotron预训练数据集，但有一个不同之处：与典型的多阶段训练不同，Kog故意在阶段之间大幅调整数据混合比例。阶段1消耗了大约4万亿token的广泛通用数据。阶段2增加了大约2万亿token，重点偏向代码和推理。后训练使用了约2.1亿token进行指令和身份微调。

“这是一个明确的权衡，”Kog团队在博客文章中写道。“阶段之间强烈的数据混合转移并非标准做法，我们预计这会损害一些通用能力。”DataComp-LM Core中心准确度追踪证实了对通用技能的显著影响，但团队认为这是获得强大代码聚焦模型的公平代价。 the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

与类似规模模型的基准测试结果

使用官方evalplus运行器，采用贪婪解码（温度0，do_sample=False），Laneformer 2B在HumanEval+上得分为45.1%，在MBPP+上得分为51.6%。这些数字使其处于2B参数类别的竞争前沿。第二阶段的数据转移本身就将HumanEval+的编码性能提升了超过10个百分点。

团队还指出，对于N = 2, 4, 8和16，pass@N分数持续上升，使得随机解码成为牺牲一点延迟换取更高准确度的实用方法。

推理速度声明

在公开的Kog推理引擎（KIE）预览中，Laneformer 2B在8x AMD MI300X上每个请求可达到3,000 output token/s，在8x NVIDIA H200上达到2,100 token/s，使用FP16、批次大小为1且无推测解码。团队声称这是2B类模型在标准数据中心GPU上公开演示的最快单请求解码结果。

然而，团队承认，发布的Hugging Face检查点虽然可用作标准模型，但如果没有KIE中DTP感知的执行路径，则无法达到这些速度。标准的Transformer实现无法从这些延迟优化中受益。 how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

局限性与未来工作

Laneformer 2B不是一个通用前沿模型。其4,096 token上下文窗口和SWA选择反映了延迟目标。长上下文扩展已经在进行中。阶段2的专门化也意味着在事实检索或广泛问答等任务上的通用能力有所落后。团队计划在未来的版本中加强后训练流程。

为何开源？

Kog以Apache License 2.0许可证发布了权重、自定义Hugging Face实现、配置、评估结果和文档。基于Llama 2的分词器根据Llama 2社区许可证分发。此举将Laneformer 2B定位为即可用于实际工作的检查点，也是开源社区的研究成果。 open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

行业影响

Laneformer 2B表明，对于缺乏训练大型前沿模型资源的初创公司，一种聚焦的策略, , 优化单一指标（延迟）和特定领域（代码生成）, , 可以产生有竞争力的结果。通过开源模型和架构配方，Kog邀请社区在其想法基础上构建并进一步探索以延迟为先的设计。

该模型相对于其规模和训练预算的强劲表现表明，与硬件约束协同架构设计可能成为一种更常见的方法，特别是当推理成本和延迟要求对于AI代理等实时应用变得至关重要时。 gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key