LeCun 新提案：用 CV 思路重塑语言模型
在当今的人工智能领域，Yann LeCun 提出的 JEPA（联合嵌入预测架构）正在重新定义大语言模型（LLM）的训练方式。这位诺贝尔奖得主不是在批评现有的 LLM，而是亲自出手进行改造。传统的 LLM 训练方法主要依赖于输入空间中的重构与生成，如预测下一个单词，这种方法在视觉领域已被证明存在局限性。 LeCun 和他的团队认为，可以借鉴计算机视觉（CV）领域的先进技术来提升语言模型的表现。JEPA 的核心思想是通过在抽象表征空间中预测缺失的特征，以高效地学习世界知识。Meta AI 团队已经在图像和视频处理上成功应用了 JEPA，而现在，他们希望将这一理念扩展到语言模型领域。 为了填补这个空白，研究人员 Hai Huang、Yann LeCun 和 Randall Balestriero 共同提出了 LLM-JEPA。这一新模型将文本和代码视为同一概念的不同视角，首次成功将 JEPA 的自监督学习架构应用于 LLM。通过结合 JEPA 在嵌入空间学习的优势，LLM-JEPA 不仅保留了 LLM 强大的生成能力，还在性能和鲁棒性上实现了双丰收。 实验证明，LLM-JEPA 在多个主流模...
