ConvNeXt 系列改进：引入 BiFormer 双层路由注意力，赋予 ConvNeXt 动态稀疏计算与长程依赖能力

张开发
• 2026/4/20 3:25:59 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

ConvNeXt 系列改进：引入 BiFormer 双层路由注意力，赋予 ConvNeXt 动态稀疏计算与长程依赖能力
写在前面2022年，Meta AI推出了纯卷积架构ConvNeXt，在ImageNet-1K上以87.8%的Top-1准确率全面超越Swin Transformer，彻底打破了“CNN已死”的论调。2023年，ConvNeXt V2通过FCMAE自监督预训练框架和GRN归一化层，将这一记录进一步推高至88.9%。然而，卷积操作天然的局部感受野限制，使得ConvNeXt在长程依赖建模方面始终存在天花板——7×7深度卷积的感受野仅有49个空间位置，与Transformer全局注意力的建模能力相比仍有明显差距。近年来，注意力机制的演进为解决这一痛点提供了新思路。CVPR 2023收录的BiFormer，提出了双层路由注意力机制（Bi-Level Routing Attention, BRA），以内容感知的方式动态分配计算资源，在保持高效计算的同时实现长距离依赖建模。根据BiFormer论文的实验结果，BRA机制在ImageNet分类任务上相比Swin Transformer提升了1.2%的准确率，同时计算量降低了约15%。本文将二者进行深度融合，赋予ConvNeXt动态稀疏计算与长程依赖能力，并从架构设计、部署方案、安全风险、竞品对比四个维度展开系统分析。根据2026年4月Stanford SearchWorks收录的BiNext-Cervix论文，将ConvNeXt与BiFormer相结合的混合模型，在宫颈细胞图像分类任务上的准确率显著高于单独使用任一模型，实验结果表明这种融合策略具有广阔的应用前景。一、问题背景：ConvNeXt的长程依赖之困

更多文章