ViQ给多模态AI带来了它最需要的东西：不会丢失细节的离散标记

自人们开始构建多模态AI以来，将图像表示为离散标记（就像语言一样）一直是一个梦想。其理念很清晰：统一的视觉和文本空间、更简单的模型、更少的计算量。问题在于，将图像离散化会损失信息。要么保留像素却丢失其含义，要么捕捉语义而丢弃细节。腾讯混元的一篇新论文，题为“ViQ: Text-Aligned Visual Quantized Representations at Any Resolution”，提出了一种试图同时保留两者的框架。

核心挑战：无损量化

现有的离散视觉表示方法分为两类。以重建为先的方法，如VQ-VAE及其衍生技术，能复现像素级细节，但遗漏了语言模型所需的高层概念。对比预训练方法，如CLIP，提供了语义结构，但压缩或丢弃了视觉粒度，使其无法用于精确重建。

ViQ将量化学习分为两个阶段。第一阶段是文本对齐预训练，视觉编码器从预训练语言模型中获取语义丰富的监督。关键的是，它处理原生分辨率输入，不进行裁剪、调整大小或编码前的分块。第二阶段是特征离散化，采用一种新颖的近端表示学习策略，逐步压缩特征空间，并结合一种位置感知的分头量化机制，适应任意分辨率。

技术创新：近端学习与分头量化

近端表示学习策略是论文的核心贡献。它不是一次性将整个特征空间强制塞入固定大小的码本，而是应用迭代压缩，逐步聚类和量化特征，同时保留连续空间中的邻域结构。这样可以保持局部细节和全局结构的完整性。

位置感知的分头量化机制增加了灵活性。标准向量量化独立处理每个特征位置，无法捕捉不同大小图像中的空间关系。ViQ引入了多个量化头，每个头关注不同的空间尺度，并根据位置上下文加权其输出。编码器可以将更多比特分配给语义重要的区域，而不会在均匀背景上浪费容量。

实证性能：质量相当，速度大幅提升

跨多模态基准（包括图像字幕、视觉问答和文生图）的大量实验表明，ViQ的离散表示在性能上接近最先进的连续视觉编码器（如SigLIP和DINOv2）1到3个百分点，同时使用更少的参数并生成离散标记。在低层重建任务中，ViQ大幅优于其他离散方法。

训练加速可能是最引人注目的发现。当ViQ的量化表示用于多模态大语言模型训练时，作者报告根据基础大语言模型大小和训练方案的不同，实现了20%到70%的加速。这种加速源于离散标记的降维和更简化的架构，从而在前向传播中大幅减少内存带宽和矩阵乘法成本。

“ViQ是第一个证明离散视觉表示能够同时匹配连续编码器在多模态任务上的表现并实现显著更快训练的框架，”论文指出。作者将效率提升归因于量化标记的紧凑性以及去除了昂贵的连续到离散投影层。

对多模态AI的影响

如果ViQ在实践中经得起验证，它可能加速大规模多模态模型的发展，这些模型通过统一的标记空间处理图像和文本。统一表示对于下一代助手、机器人感知以及延迟和计算预算受限的实时视觉-语言系统至关重要。

处理原生分辨率输入的能力尤其重要。许多视觉编码器需要将图像调整到固定分辨率，这会丢失细节并引入失真。ViQ的分辨率无关设计意味着它可以处理高分辨率文档、显微图像或卫星照片而无需预处理，保留原本会丢失的信息。

论文还指出，ViQ的离散标记与现有Transformer架构兼容，可以直接输入大语言模型而无需修改架构，这对于希望在不重写模型栈的情况下集成视觉的团队来说是一个实际优势。

局限性与开放问题

该研究的主要局限性：所有实验均在精心策划的干净数据集（COCO、Flickr30k和内部专有数据集）上进行。在真实部署中常见的噪声、域偏移或低质量图像上的性能尚未测试。码本大小和推理时的量化开销未得到彻底分析；如果头数或码本条目增长过大，效率提升可能被侵蚀。

截至论文发表时，论文未发布预训练模型或代码，这限制了可重复性。外部验证对于确认所报告的速度提升能否转化为生产工作流至关重要。

结论

ViQ是朝着视觉和语言统一表示空间迈出的深思熟虑的一步，解决了离散标记化中语义丰富性与视觉细节之间长期存在的权衡。通过结合文本对齐预训练、渐进式量化和位置感知头，腾讯混元团队在实现具有竞争力的多模态性能的同时，提供了显著的速度提升。随着多模态模型规模和野心的增长，高效且保留细节的离散表示可能成为关键推动力。