Meta 开源创新大模型架构 AU-Nets

Meta 开源了创新大模型架构 AU-Nets（Autoregressive U-Nets），其通过自回归 U-Net 架构彻底改变了传统语言模型的分词和处理模式，能够直接从原始字节开始学习，动态将字节组合成单词、词对甚至多达四个单词的组合，形成多尺度序列表示。

https://arxiv.org/pdf/2506.14761

AU-Nets 的设计灵感来源于医学图像分割领域的 U-Net 架构，包含独特的收缩路径（压缩字节序列为高层次语义单元，提取宏观语义信息）和扩张路径（逐步还原高层次信息到原始序列长度，融合局部细节），并通过跳跃连接确保信息不丢失，提升生成能力和预测准确性 。在推理阶段，AU-Nets 采用自回归生成机制，确保文本生成的连贯性和准确性，同时提高推理效率。

该架构已开源，相关代码和研究成果已发布在 GitHub：https://github.com/facebookresearch/lingua/tree/main/apps/aunet