Drift-AR：一个熵信号，同时加速AR与视觉解码两大瓶颈，实现5.5倍加速+单步生成！

点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐论文标题Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting论文作者Zhen Zou, Xiaoxiao Ma, Mingde Yao, Jie Huang, Linjiang Huang, Feng Zhao作者机构中国科学技术大学香港中文大学MMLab京东探索研究院北京航空航天大学论文地址https://arxiv.org/abs/2603.28049代码仓库https://github.com/aSleepyTree/Drift-ARDrift-AR一个熵信号同时加速AR与视觉解码两大瓶颈实现5.5倍加速单步生成MAR、TransDiff、NextStep-1等AR-Diffusion混合模型将AR的语义建模与扩散的高保真合成相结合生成质量优异但面临双重速度瓶颈AR阶段逐token序列生成慢扩散视觉解码器需要多步迭代去噪。现有加速方案各管各的——投机解码管AR蒸馏管扩散——缺乏统一原则。有没有一个信号能同时解决两个瓶颈我们发现连续空间AR模型的逐位置预测熵恰好扮演这个角色。据此我们提出Drift-AR实现3.8--5.5倍加速与真正的单步1-NFE视觉生成。 核心洞察熵的双重角色不同于语言模型中token间的信息密度相对均匀图像生成中的信息分布具有强烈的空间非均匀性天空、纯色墙面等冗余区域产生低熵而纹理、物体边界等复杂结构产生高熵。作者从两个角度揭示了熵的双重意义1. AR加速视角熵失配导致投机解码失败如上图(a)(b)所示在视觉AR模型中小型Draft模型的熵分布严重偏向低熵过度自信与大型Target模型的熵分布存在显著失配。这种失配直接导致投机解码的接受率极低。而在语言AR模型中大小模型的熵分布高度重叠投机解码因此在NLP中效果显著——但这一优势无法直接迁移到视觉AR模型。2. 视觉解码加速视角熵编码局部生成难度如上图(c)(d)所示逐位置AR预测误差与熵呈强正相关Pearson r0.64且分箱分析显示平均误差随熵单调递增。这意味着高熵位置正是AR预测偏差最大的位置也正是视觉解码器需要施加最强校正的位置。这一双重角色使得熵成为连接AR加速与视觉解码加速的天然桥梁。 Drift-AR的核心设计Drift-AR围绕熵信号设计了两大核心组件组件一熵引导的投机解码加速AR阶段直接将EAGLE等投机解码方法应用于连续空间AR模型效果不佳——Draft模型产生过度自信的低熵特征导致大量草稿被Target模型拒绝。Drift-AR对此做了两项关键改进连续空间回归损失移除离散分类目标替换为连续特征回归适配连续空间AR模型因果归一化熵损失显式对齐Draft与Target的熵分布解决熵失配问题。对注意力矩阵每一行的熵按归一化确保训练与推理使用同一尺度组件二熵参数化的反对称漂移场加速视觉解码阶段这是本文最核心的创新将熵重新解释为反对称漂移场Anti-Symmetric Drifting Field初始分布的物理方差。具体而言在每个空间位置以AR特征作为先验均值以熵导出的方差决定先验分布的宽度低熵位置方差趋近于零先验接近确定性输入漂移自然消失高熵位置方差增大先验分布扩展激活更强的漂移校正当模型收敛至时反对称性质保证漂移场从而实现1-NFE单步前向传播生成——完全消除迭代去噪无需蒸馏。统一设计退火训练 共享熵信号退火训练Phase I前80%训练联合优化AR与漂移场从0.95线性衰减至0Phase II冻结AR先验仅优化漂移场恢复平稳源分布假设零额外开销投机解码中计算的熵被直接复用为视觉解码器初始分布的方差参数无需额外计算 实验结果Drift-AR在MAR、TransDiff、NextStep-1三大AR-Diffusion混合模型上均取得了显著效果ImageNet 256×256 类条件生成方法延迟/s加速比FID ↓IS ↑MAR-L5.311.00×1.78296.0MAR-L DMD1.992.67×1.81295.5MAR-L LazyMAR2.292.32×1.93297.4MAR-L Ours0.965.53×1.76297.4MAR-H9.971.00×1.55303.7MAR-H DMD4.172.39×1.73301.0MAR-H LazyMAR4.242.35×1.69299.2MAR-H Ours1.935.16×1.53304.6TransDiff-L3.171.00×1.61295.1TransDiff-L SD1.751.81×1.88283.6TransDiff-L DMD1.611.97×1.79288.3TransDiff-L Ours0.644.96×1.61295.8TransDiff-H6.721.00×1.55297.9TransDiff-H SD3.521.91×1.68291.1TransDiff-H DMD3.481.93×1.71289.9TransDiff-H Ours1.335.06×1.57298.1在所有模型规模上Drift-AR均实现最高加速比4.96--5.53×同时FID和IS指标不降反升。相比之下DMD和LazyMAR仅能达到约2.4倍加速且伴随质量下降vanilla投机解码更是出现严重质量崩塌TransDiff-L IS从295.1降至283.6。文生图NextStep-1方法加速比GenEval ↑FID ↓CLIP ↑NextStep-11.00×0.636.7128.67NextStep-1 SD2.03×0.636.9027.96NextStep-1 DMD1.66×0.598.3325.19NextStep-1 Ours3.81×0.666.6629.02在文生图任务上Drift-AR实现3.81倍加速且GenEval、FID、CLIP三项指标均超越原模型。DMD出现严重质量崩塌FID 8.33, CLIP 25.19投机解码虽保持语义一致性但质量下降。视觉效果对比定性对比显示Drift-AR在大幅降低延迟的同时保留了精细纹理和语义一致性。 单步解码的验证Decoder Step Analysis一个自然的问题是漂移解码器真的只需要一步前向传播吗解码器步数延迟/sFID ↓IS ↑Diffusion20 (默认)6.721.55297.9Diffusion41.653.89261.5Diffusion11.2814.72148.3DMD11.302.93273.2Drifting (Ours)11.331.57298.1原始扩散解码器在1步时质量完全崩塌FID 14.72DMD在1步时仍有明显退化FID 2.93而Drift-AR在仅1步时即达到FID 1.57——与20步扩散基线持平充分验证了反对称漂移场将生成能力集中到单次前向传播的能力。 消融实验在TransDiff-H上对五个核心组件进行消融方法FID ↓IS ↑Ours w/o 熵参数化 (A)1.72289.3Ours w/o 退火调度 (B)1.69292.6Ours w/o 反对称核 (C)1.69291.8Ours w/o 早停机制 (D)1.62295.5Ours w/o 先验冻结 (E)1.67291.9Ours (完整)1.57298.1移除熵参数化A导致最大性能下降FID从1.57升至1.72, IS从298.1降至289.3直接验证了熵作为漂移先验方差是整个框架的核心设计。移除任何其他组件同样导致退化证明五个组件缺一不可。 TL;DR一个熵两个用途既对齐Draft-Target熵分布让投机解码跑起来又充当漂移场的物理方差让视觉解码一步到位——计算一次加速两处3.8--5.5倍提速质量不降反升。熵 统一加速信号同一个熵同时驱动AR投机解码 视觉解码先验1步生成不蒸馏反对称漂移场实现1-NFEFID 1.57 vs. 20步扩散的1.555.5×加速质量不降反升MAR / TransDiff / NextStep-1全面验证代码已开源欢迎star与讨论交流~本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看