Aleph Alpha发布T-Free：一种无分词器的主权AI架构

成立于2019年的海德堡AI实验室Aleph Alpha发布了一篇技术论文，介绍了T-Free，一种完全摒弃分词器的大型语言模型架构。该系统现已作为开放权重检查点提供，旨在解决传统LLM的一个核心限制：基于固定英语优化词汇表的分词器在处理非英语或专业文本时产生低效和偏见。

分词器问题

几乎所有现代LLM都依赖分词器，这是一个将文本切分为词元并为每个词元分配ID编号的预处理步骤。在训练过程中，模型学会将每个词元表示为向量。但一旦文本被分词，原始字符实际上就变得对模型不可见。分词器的词汇表在训练前设定，后续无法更改，且通常针对标准英语优化。

对于专业领域如专利文件、法律合同、技术规格以及英语以外的语言，分词器往往将单词切分为仅含一两个字符的片段。Aleph Alpha以德语单词“Bundeskanzler”为例，该词被拆分为四个词元，而其英语对应词“chancellor”仅需一个词元。更多的词元意味着更多的内存、更多的计算以及更高的成本，并且使模型更难理解底层含义。

T-Free的工作原理

不同于独立的分词器，T-Free直接将单词映射为向量。这使罕见和领域特定的术语保持完整，同时允许模型在每个向量中打包更多字符。根据Aleph Alpha的数据，传统LLM平均每个向量约含四个字符；T-Free则实现近七个字符，字符密度提升了75%。

该架构还利用了字符模式的相似性。T-Free在训练开始前就能识别出“telephone”和“Telefon”本质上是相同的单词，这为其提供了内置的多语言意识，微调可从一开始就加以利用。

对主权和成本的影响

Aleph Alpha长期自称是欧洲主权AI的倡导者，这类模型允许组织在自己的数据上训练和部署，而无需依赖美国或中国的云平台。T-Free通过使在专有数据和低资源语言上进行训练更加实用，同时保持通用能力，推进了这一使命。

减少的词元数量直接转化为更低的推理成本和更少的能耗，可能消除使某些企业用例不经济的障碍。Aleph Alpha创始人兼CEO Jonas Andrulis在发布中指出，语言“不仅仅是沟通的手段”，它是文化和价值的载体，人工智能必须说用户的语言。

基准测试与可用性

Aleph Alpha已发布首批T-Free检查点，该公司表示，这些模型在标准基准测试中表现具有竞争力，同时提供卓越的效率。这些模型对研究和商业用途开放。完整的研究论文可在Aleph Alpha网站上获取。

此次发布标志着LLM处理多语言和领域特定文本的方式可能发生转变，传统架构在此领域一直面临挑战。如果T-Free被证明是可扩展的，它可能成为未来架构的参考基准，尤其是在欧洲，语言多样性和数据主权是监管和战略上的优先事项。