南加州大学与Cantina Labs联手破解AI视频图像生成的"量化难题"

发布时间：2026-07-17 08:45:52 来源：安智兰德资讯网 作者：知识

这项由南加州大学、南加Cantina Labs及伊利诺伊大学厄巴纳-香槟分校联合开展的联手研究，于2026年7月2日以预印本形式发布，破解论文编号为arXiv:2607.02461，视频生成感兴趣的图像题读者可通过该编号查询完整论文。

当你用手机上的化难AI工具生成一张精美图片，或者用视频生成模型创作一段短片时，南加背后运行的联手神经网络模型往往体积庞大、运算繁重。破解就像一台高性能赛车，视频生成虽然跑得快，图像题但油耗惊人。化难研究者们一直在寻找一种方法，南加能让这辆赛车在保持速度的联手同时大幅降低油耗——这种方法就叫做"量化"。然而，破解针对图像和视频生成领域的量化技术，一个顽固的难题始终悬而未决，直到这篇论文的出现。

一、为什么量化AI模型这么难？

先从头说起。现代AI图像和视频生成模型，比如能生成逼真照片的FLUX系列，或者能生成流畅视频的Wan、CogVideoX，都属于一类叫做"扩散变换器"（Diffusion Transformer，简称DiT）的结构。这类模型的工作方式，可以类比成一个画家从一张白纸（噪声）出发，一步一步把图像"还原"出来，这个过程需要反复执行几十次甚至上百次相同的计算。每次计算都要消耗大量的算力和内存，这就是为什么生成一张图片或一段视频往往需要较长时间，以及昂贵的GPU硬件。

所谓"量化"，是一种压缩技术。通俗来说，正常情况下电脑用16位的精度来存储和计算每一个数字，就像用高精度刻度尺量东西。而量化就是把精度降低，比如只用4位、3位甚至2位来表示同一个数字，就像换成了刻度更粗的尺子。这样一来，模型体积缩小了，运算速度也会加快。

但麻烦在于，精度降低了，计算结果就会有误差。对于文字生成AI来说，这个问题相对好解决，因为文字生成的计算特征比较稳定。对于图像和视频生成模型，问题却复杂得多。这类模型在工作时，内部的"激活值"（可以理解为每一步计算产生的中间数据）会随着生成进度、用户输入的不同提示词、以及是否使用了特殊引导技术而剧烈变化——就好像每次测量同一个物体，刻度尺上读到的数字都不一样。

现有的主流方法，是在正式使用模型之前，先用一批样本数据跑一遍，记录下激活值的变化范围，再据此定制一把"合身的刻度尺"。这个过程叫做"校准"。问题是，每换一个模型、换一种分辨率、换一种应用场景，就得重新校准一遍，费时费力，还需要专门准备校准数据。这就好像每次换一件新衣服，都得重新量身定制，从来不能直接穿。

研究团队将这个困境形象地总结为：激活值是一个"移动的靶子"，而现有方法都在试图用经过专门校准的工具去瞄准这个靶子，一旦靶子位置发生变化，工具就失效了。

二、转动视角：让靶子"定住"

这支研究团队的核心洞见是：既然激活值的变化范围难以追踪，何不把激活值本身"变换"到一个更稳定、更可预测的坐标系中再进行量化？这就好比，与其试图在颠簸的船上精确测量距离，不如先把船固定住，再进行测量。

他们提出的方法叫做OrbitQuant，其核心原理基于一个数学事实：对一个向量（可以理解为一串数字）进行一种特殊的随机旋转变换之后，这串数字的每个分量，无论原来长什么样，都会趋向于遵循同一个固定的统计分布——近似于数学上著名的正态分布（也就是大家熟悉的钟形曲线），而且这个分布的形态完全由向量的维度（长度）决定，与原始数据内容无关。

用一个比喻来理解：假设你有一碗形状各异、大小不一的糖果（激活值），直接装进标准规格的盒子里，总是会空隙太多或者装不下。但如果你先把所有糖果放进一台特殊的机器里搅拌均匀（随机旋转），出来的糖果颗粒大小就会变得非常均匀、符合标准，不管原来放进去什么样的糖果，出来的结果都差不多。这样，一个标准规格的盒子就能永远适用，完全不需要根据每次的糖果重新定制盒子。

在这个旋转之后，模型内部的激活值就不再是那个"移动的靶子"了，它们全都汇聚到同一个固定的分布上。因此，研究团队可以提前、一次性地针对这个已知分布，计算出最优的量化方案——这个方案采用了一种叫做"劳埃德-马克斯编码本"（Lloyd-Max codebook）的经典算法，专门为这个固定分布量身打造，事先计算好，然后就可以永久使用，无需再收集任何实际运行数据。

这个编码本可以被理解为一份"标准翻译手册"：对于旋转后的任何数字，只要查这本手册，就能找到最接近它的压缩表示方式。而且这本手册只需要根据向量维度来区分，同一个维度的所有层、所有时间步、所有提示词，共用同一本手册。

三、旋转的艺术：如何让旋转既有效又高效

旋转变换的想法很美妙，但要实际用在大型AI模型上，还需要解决两个具体问题：旋转本身要高效，以及旋转对权重（模型的参数）和激活值（运行时的中间数据）都要有效。

1. 旋转效率的优化

先说旋转效率的问题。最"理想"的旋转方式叫做Haar随机正交旋转，它能保证旋转后的每个分量严格遵循目标分布。但这种旋转的计算量极大——对于维度为d的向量，计算复杂度是d的平方，也就是说向量越长，计算量增长越快，在大模型上会产生巨大的额外开销。

研究团队设计了一种更聪明的替代方案，称为"随机置换分块哈达玛变换"（Randomized Permuted Block-Hadamard，简称RPBH）。这种变换把旋转分解为两个步骤：首先，对所有维度的数据做一次随机的位置重排（置换），把数字们打乱顺序；然后，对打乱后的数据分成若干小块，每块单独做一次高效的哈达玛变换（Walsh-Hadamard Transform）。哈达玛变换是一种计算量只有d乘以log(块大小)的快速算法，比完整的Haar旋转快了大约26倍。

为什么前面要加一步随机置换呢？如果直接分块做哈达玛变换，不同的块之间是相互独立的，一个块里如果有特别大的异常值，它的影响就会被局限在这个块里，无法被分散出去，导致量化效果变差。随机置换把所有维度上的数据混合打乱，让每个块都能均匀分配到来自各处的数据，这样异常值的影响就被稀释分散了，量化效果也就更稳定。

关键是，这个置换是随机抽取的，完全不需要提前观察数据、根据数据来设计置换顺序——而早期的一些方法（如DuQuant、PeRQ等）需要根据异常值的大小或通道的重要性来精心设计置换，这就又回到了需要校准数据的老路。研究团队为随机置换的效果提供了严格的数学证明，核心结论是：只要没有某一个维度独占了绝大部分的"信号能量"，随机置换就能以极高的概率保证旋转后每个分量的统计特性接近目标分布，量化效果稳定可靠。实验中也用Kolmogorov-Smirnov统计量（一种衡量两个分布相似程度的指标）验证了这一点：RPBH旋转后的激活值分布，与理想的目标分布之间的差距，和使用完整Haar旋转相差无几。

另一个值得注意的工程细节是：RPBH不要求向量维度必须是2的幂次方，而传统的完整哈达玛变换只能用于长度为2的幂次的向量。实际的模型往往有各种各样的维度，比如CogVideoX-2B中有d=1920的维度，并不是2的幂次，RPBH依然可以正常工作，方法是选取能整除该维度的最大2的幂次作为块大小。

2. 权重量化的巧妙设计

接下来是权重量化的设计。要让整个系统工作，不仅激活值需要量化，模型的权重（也就是训练得到的参数矩阵）也需要量化。研究团队的设计十分巧妙：他们在模型正式运行之前，就把旋转矩阵"吸收"进权重里。具体来说，对于每一个线性层的权重矩阵W，预先计算W乘以旋转矩阵的转置，得到旋转后的权重W'，然后对W'的每一行分别记录它的长度（范数），把方向部分（单位向量）用编码本量化，最终存储量化后的方向加上每行的长度。在实际推理时，激活值进来之后先做同样的RPBH旋转，变成x'，然后与已经旋转好的权重W'相乘——这样，权重里的旋转和激活值里的旋转恰好相互抵消（因为旋转矩阵乘以它自己的转置等于单位矩阵），最终的计算结果与不旋转时完全等价。整个过程在推理时只需要对激活值做一次向前方向的RPBH变换，不需要在输出端再做任何逆变换，计算开销很小。

四、实验验证：在多个模型上跑出来的成绩

研究团队在多个主流的图像和视频生成模型上，对OrbitQuant进行了全面测试，覆盖了图像模型FLUX.1-schnell、FLUX.1-dev、Z-Image-Turbo，以及视频模型Wan 2.1-1.3B、CogVideoX-2B，同时也测试了更大型的Wan 14B和HunyuanVideo。

评估图像质量使用的是GenEval基准测试，这个测试会让模型根据各种描述性提示词生成图片，然后评估图片在"单个物体"、"两个物体"、"计数"、"颜色"、"位置"、"颜色归属"六个维度上的准确性，最终计算综合得分（Overall）。视频质量评估则使用VBench基准，涵盖画面质量、美感、运动流畅度、动态程度、背景一致性、主体一致性、场景识别、整体一致性等多个维度。

对比的基准方法包括多种现有的压缩技术：SmoothQuant（通过平滑处理激活值异常）、QuaRot（通过哈达玛旋转消除异常值）、SVDQuant（通过低秩分解吸收异常值）、ViDiT-Q（针对视频DiT的混合精度校准方法）、AdaTSQ（时间步敏感的量化方法）、Q-DiT等。这些方法绝大多数都需要校准数据，而OrbitQuant完全不需要。

1. 图像生成模型表现

在W4A4（权重4位、激活值4位）的设置下，OrbitQuant在FLUX.1-schnell和Z-Image-Turbo两个模型上的综合得分甚至超过了全精度（16位）的原始模型，在FLUX.1-dev上仅比原始模型低0.034，同时超越了所有需要校准数据的对比方法。AdaTSQ是最强的有校准竞争者，OrbitQuant在多数指标上仍能领先或持平。

更令人关注的是W2A4（权重2位、激活值4位）这个极限设置。权重只用2位表示，意味着只有4个不同的数值可用，这是极其激进的压缩。对比方法（QuaRot、SmoothQuant、ViDiT-Q）在这一设置下全部"崩溃"，生成的图片几乎全是噪点，GenEval综合得分趋近于零。而OrbitQuant在FLUX.1-schnell上仍然获得了0.604的综合得分（原始模型为0.664），在FLUX.1-dev上为0.475，在Z-Image-Turbo上也达到了0.319，是唯一能在2位权重下生成有意义图像的方法。论文开头的对比图也直观展示了这一点：其他方法产生的是一片噪声，OrbitQuant生成的老虎、蒲公英依然清晰可辨。

在更极端的W3A3（权重3位、激活值3位）设置下，OrbitQuant在三个图像模型上的综合得分均为最高，同时接近全精度水平。W2A3（权重2位、激活值3位）是这项研究测试的最极限设置：对比方法依然全部接近于零，OrbitQuant在FLUX.1-schnell上达到0.517，在FLUX.1-dev上达到0.372，而Z-Image-Turbo在这个设置下也出现了明显下降（0.105），这标志着一个无校准编码本在该模型上的能力边界。

2. 视频生成模型表现

在视频生成方面，W4A6（权重4位、激活值6位）设置下，OrbitQuant在Wan 2.1-1.3B和CogVideoX-2B两个模型的整体一致性得分上均为第一，领先于ViDiT-Q、SVDQuant等方法。W4A4下，OrbitQuant同样保持第一，并且在Wan 2.1-1.3B的多个具体维度（如美感质量、主体一致性、场景）上明显优于对手。

在大型视频模型上，研究团队测试了Wan 14B和HunyuanVideo。对于Wan 14B，OrbitQuant在八个VBench维度中的七个上排名第一，与全精度相差极小。对于HunyuanVideo，OrbitQuant虽然不及DVD-Quant（一个专门为视频模型设计且需要模型特定设计的方法），但在多个维度上依然具有竞争力，且不需要任何模型特定的调整。

为了验证结果的稳定性，研究团队用三个不同的随机种子重复了实验。在W4A4设置下，综合得分的标准差最大仅为0.005，说明随机置换的随机性对结果的影响极小，结果高度可重复。

五、速度与内存：开销几何？

在实际工程中，量化的意义不仅在于节省存储，还在于加快推理速度。研究团队在NVIDIA H100 GPU上测试了在"假量化"模式下（权重和激活值量化后立即反量化回BF16，矩阵乘法仍用BF16计算，这种模式主要用于测量量化本身的额外开销，而非真实低位加速）的端到端延迟和峰值内存占用。

结果显示，在所有涉及权重和激活值量化的方法中，OrbitQuant的延迟开销最低。SmoothQuant比OrbitQuant慢1.09倍，QuaRot慢1.28倍，ViDiT-Q慢1.40倍。在内存占用方面，OrbitQuant在图像生成任务上的峰值内存与未量化的模型几乎持平，是所有方法中最低的。

OrbitQuant之所以开销小，原因在于它的激活值量化方式极为简单：只需在固定的编码本中查找最近的中心点（nearest-centroid lookup），整个过程不需要动态计算每个输入的统计范围，也不需要通道级别的平滑处理，操作固定、简洁。对比方法要么需要在运行时动态计算每个token的量化范围（如QuaRot的均匀量化），要么需要做额外的通道平滑（如SmoothQuant和ViDiT-Q），这些都会带来额外的计算和通信开销。

在视频生成任务上，由于激活值的总量远大于图像生成，编码本查找时需要构建索引和收集张量，使得OrbitQuant的峰值内存（20.3 GB）略高于QuaRot（19.3 GB）和SmoothQuant，但仍低于ViDiT-Q（23.2 GB）。

六、不同旋转方式的比较

为了确认RPBH的设计选择，研究团队专门比较了四种旋转方式在同一框架下的表现，分别是完整的Haar旋转、完整的随机哈达玛变换（Full RHT，类似于QuaRot中的方法）、不带置换的分块哈达玛变换（Block-RHT），以及带随机置换的RPBH。

在W4A4下，四种旋转方式的效果差异极小，几乎可以忽略。随着量化精度降低（W3A3和W2A4），差异逐渐显现：RPBH在W3A3和W2A4下均为最强，分别达到0.674和0.595，而Block-RHT（RPBH去掉置换后的版本）在W3A3下只有0.642，W2A4下只有0.558，差距十分明显。这直接印证了随机置换的关键作用：没有置换，某些块里会集中异常大的值，无法被有效量化；加上置换后，异常值被打散，每个块都能均匀处理，低精度下的鲁棒性大幅提升。

从速度上看，完整Haar旋转耗时11.65秒/图，而所有结构化旋转（Full RHT、Block-RHT、RPBH）的耗时都在0.381到0.452秒/图之间，比Haar快约26倍。RPBH比Block-RHT仅多0.070秒，与Full RHT速度相当，但在效果上更好。

七、AdaLN特殊层的处理

扩散变换器中有一类特殊的层叫做自适应层归一化（Adaptive Layer Normalization，AdaLN）。这类层的作用是根据当前的去噪时间步，动态地产生一个"调整信号"，对每一层的输出做缩放和平移。问题在于，这个调整信号是随时间步变化的，不能像普通权重一样提前把旋转矩阵吸收进去，因此不能直接用OrbitQuant的主要流程处理。

研究团队的选择是对AdaLN模块的权重单独做INT4精度的简单舍入量化（RTN，Round-To-Nearest），激活值保持BF16精度，整体方案与所有对比方法保持一致，确保比较的公平性。

为了验证这一选择是否合理，研究团队系统测试了AdaLN权重精度（BF16、INT4、INT3、INT2）对结果的影响，主模型固定在W4A4。结论是：AdaLN权重降到INT4与BF16相比几乎没有精度损失；降到INT3时三个模型都能保持；但降到INT2时，FLUX.1-schnell和FLUX.1-dev出现严重质量下降，只有Z-Image-Turbo保持稳健。AdaLN层的权重占模型总参数的27%，如果保持BF16，FLUX模型的压缩比从4倍降到2.21倍，因此INT4是一个平衡点：既不牺牲精度，也保住了4倍压缩比。

总结与展望

说到底，OrbitQuant做的事情，可以用一句话概括：它找到了一种方法，让本来飘忽不定的AI计算数据在一个特定的"坐标系"里变得规律可预测，从而使一套提前制定好的压缩方案能永远有效，完全不需要"看数据说话"。这对于需要在海量不同模型、不同场景间快速部署量化模型的工程团队来说，意义重大——不再需要为每个新模型单独准备校准数据、跑校准流程，大幅降低了部署成本。在极限2位权重下依然能产出可用图像，也意味着模型压缩的边界被进一步推远。

当然，这项研究也坦诚地指出了自身的局限：由于Lloyd-Max编码本使用的是非均匀间隔的中心点，现有的整数张量核（integer tensor core）无法直接在量化码上做矩阵乘法，目前仍需先反量化到BF16再计算，无法充分发挥低位运算的速度优势。研究团队表示下一步将开发专用的查表GEMM内核，让编码本查找与矩阵乘法融合，真正释放低位运算的速度潜力。

另外，对于Z-Image-Turbo在W2A3以及部分极限压缩设置下仍有明显质量下降的情况，研究团队也认为这是当前无校准编码本在超低精度下的能力边界，未来或许可以通过结合少量校准数据进一步突破。这项工作为无需样本数据的极致压缩指明了一条路，而沿着这条路还有多少探索空间，是一个值得持续关注的问题。

Q&A

Q1：OrbitQuant为什么不需要校准数据就能量化AI模型？

A：OrbitQuant的核心原理是把模型内部的激活值通过随机旋转变换到一个固定的坐标系，使得旋转后的数据始终遵循同一个已知的统计分布，这个分布只取决于向量的维度，与具体输入内容无关。因此，研究团队可以提前针对这个固定分布设计好量化方案（Lloyd-Max编码本），无需收集任何实际运行数据，换任何模型、任何提示词都能直接用。

Q2：OrbitQuant在2位权重量化下为什么还能生成可用图像？

A：关键在于Lloyd-Max编码本是专门针对旋转后数据的分布进行优化设计的，能把有限的2个bit（4个可用数值）放在最能减少误差的位置，而不是简单地均匀分配。加上随机置换分块哈达玛变换把异常值分散开来，使得每个维度的数据都能被这个优化编码本有效表示。对比方法使用均匀量化网格，在数据密集的区域浪费了精度，才导致崩溃。

Q3：RPBH旋转中随机置换步骤能不能省掉？

A：不能省掉。实验对比显示，去掉随机置换的Block-RHT在W3A3和W2A4下比完整RPBH差距明显（分别为0.642对0.674，0.558对0.595）。原因是没有置换时，如果某些通道有特别大的异常值，这些值会被困在同一个小块内部，无法被稀释，导致该块内的量化误差剧增。随机置换把所有通道打乱混合，让每个块都均匀分配到来自不同位置的数据，异常值的影响被分散，低精度量化才能保持稳定。

相关文章