首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/378743

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

智谱提出 Glyph:通过视觉-文本压缩扩展上下文窗口

智谱GLM大模型团队提出了Glyph框架,探索了一条不同于现有范式的上下文扩展路径。 据介绍,Glyph 通过视觉-文本压缩将长文本渲染为图像,使模型能够以视觉方式理解语义。通过LLM 驱动的搜索算法,Glyph能够自动找到最高效的视觉渲染方案,从而以更少的 token 处理更长的上下文,突破了模型本身上下文长度的限制。 在长文本基准中,Glyph 在保持性能和当前领先的LLM相近的情况下,实现了约3-4倍的上下文压缩,同时带来数倍的推理和训练加速。 Glyph 展示了长上下文建模的新方向——通过视觉化输入实现高效的上下文扩展,为构建长文本大模型提供了新的思路。 动机 在长上下文任务(如文档理解、仓库级代码分析、多步推理)中,大模型往往需要处理数十万甚至上百万 token的输入。 然而,直接扩展上下文窗口会带来巨大的资源消耗,这大大限制了“百万级上下文模型”的广泛应用。 为了突破这一瓶颈,我们提出了Glyph——一种全新的视觉上下文扩展范式。 不同于基于注意力结构的上下文扩展,Glyph 选择从输入层面重新思考问题: 将文本渲染为图像,通过视觉-语言模型(VLM)读取与理解,从而在不增...

大语言模型也会“脑腐” (Brain Rot)

一篇《LLMs CAN GET "BRAIN ROT"!》(大语言模型也会“脑腐”!)的论文,大概意思是推/微博刷多了大模型也会变得更笨、更黑暗。 https://arxiv.org/abs/2510.13928 这篇论文的核心是提出并验证了 “大语言模型脑腐假说”(LLM Brain Rot Hypothesis),就是持续向LLM投喂网络上的“垃圾数据”,会导致其产生持久性的认知能力下降 。 如何定义“垃圾数据”? 他们从真实的Twitter/X语料库中,通过两种方式来定义和构建“垃圾数据”与其对照组 : 1️⃣M1 (Engagement Degree - 互动度指标):将短小但互动量极高(点赞、回复、引用多)的帖子定义为“垃圾”数据 。与之相对,长篇且无人问津的帖子被视为“对照”数据 。这模拟了社交媒体上追求“短平快”和病毒式传播的现象。 2️⃣M2 (Semantic Quality - 语义质量指标):将内容耸人听闻、使用点击诱饵(Clickbait)语言、包含阴谋论或肤浅生活方式的帖子定义为“垃圾”数据 。而内容事实准确、逻辑清晰、有教育价值的被视为“对照”数据 。 他们...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。