欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。
# 2024.12.26
今日要闻
据界面新闻独家报道，小米正在积极搭建自己的 GPU 万卡集群，并对 AI 大模型进行大规模投资。据悉，小米大模型团队成立之初便已拥有 6500 张 GPU 资源。
尽管小米方面尚未对此消息发表评论，但知情人士透露，该计划已实施数月，雷军在其中扮演了关键领导角色，强调小米在 AI 硬件领域的重视。
2023 年 4 月，小米 AI 实验室大模型团队正式成立，栾剑担任负责人，向 AI 实验室主任王斌汇报。栾剑曾在东芝（中国）研究院、微软 (中国) 工程院等机构担任要职，拥有丰富的 AI 领域经验。
小米对 AI 大模型的重视度提升此前已有信号。12 月 20 日，据第一财经报道，DeepSeek 开源大模型 DeepSeek-V2 的关键开发者之一罗福莉将加入小米，或供职于小米 AI 实验室，领导小米大模型团队。
据英国卫报报道，OpenAI 的 ChatGPT 搜索存在安全问题，其反馈结果可以被页面的隐藏内容操纵，甚至可能反馈恶意代码。
英国卫报重点测试了 ChatGPT 搜索工具对包含隐藏内容的网页处理情况，此类隐藏内容可能包含来自第三方、可以更改 ChatGPT 响应的指令（同时也被称为「提示注入」），以及填充大量虚假好评，影响生成结果的内容。
根据测试结果，ChatGPT 搜索工具可以被恶意使用，尽管页面存在部分负面评论，但可以影响 ChatGPT 结果为积极的正面评估，安全研究人员还发现 ChatGPT 可以从其搜索的网站反馈恶意代码，出现了含有钓鱼恶意行为的虚假网站。
《智能涌现》独家获悉，前微软亚洲研究院研究员、阿里达摩院资深技术专家、支付宝中国首席数据官胡云华加入大模型独角兽智谱，担任 C 端应用 “智谱清言” 负责人。
此前，他于 2016 年成立 AI 公司 “智能一点”，业务聚焦于对话式智能营销系统。针对上述信息，截至发稿前，智谱尚未回复。
![]()
2003 年，胡云华进入 “中国 AI 黄埔军校” 微软亚洲研究院（MSRA）实习，并在 2007 年正式成为研究员。2012 年，胡云华又加入了另一个中国 AI 人才大本营 —— 阿里达摩院，花名为 “吴钩”。在阿里的两年里，胡云华负责构建了购物意图挖掘、匹配优化等推荐算法的搭建，是阿里妈妈推荐算法团队最具代表性的人才之一。 2014 年，他离开了阿里。而后，胡云华从大厂的实验室，转向了 AI 创业的操练场。两年后，AlphaGO 打败李世石，卷起了万众创业的第一波 AI 浪潮。
DeepSeek 的最新 V3 版本模型已经意外泄露，在 API和网页端上出现，而该模型的榜单跑分结果也已出炉。
据悉，该模型目前在Aider多语言编程测试排行榜中的成绩已经超过了 Anthropic 的Claude 3.5 Sonnet，排名第二，仅次于 OpenAI 的O1 模型。据悉，DeepSeek V3 模型采用MOE 架构，参数规模达685B，同时支持 64K的 上下文窗口。
目前Hugging Face上已经有了Deepseek-v3（Base）的开源权重。
![]()
在英伟达 AI 芯片支配市场的时代，苹果仍然坚持避免直接购买英伟达芯片。两家公司之间的恶劣关系可以上溯到 20 多年前。2001 年乔布斯（Steve Jobs）指控英伟达抄袭皮克斯的技术，当时他是皮克斯动画工作室的最大股东；2008 年因为 MacBook 使用的英伟达 GPU 存在缺陷，苹果被迫在没有足额补偿的情况下延长 MacBook 的保修期。
在 AI 时代，苹果也没有改变初衷，没有直接购买英伟达的 AI 芯片，而是通过云端租赁，它还租用了 Google 的 TPU v4 和 TPU v5 训练其 AI 模型。苹果正在与博通合作开发代号为 Baltra 的 AI 服务器芯片，目标是在 2026 年投产。
今日观察
社交观察
DeepSeek-V3-Base 可以下载了！高达688GB，而且上传的就是量化后的FP8模型。
通过配置文件可以看到，总计有256个专家，每个token激活8个。假设每个专家大小一致，那么每个专家就是2.6875GB, 8个专家是21.5GB！假设问题非常内聚，能在16个专家以内完成，那么这就意味着其实激活两跟70B-4bit模型差不多。DeepSeek-V3将很可用。如果量化到4bit，可能会产生质的变化了。（考验存储性能的时刻到了！建议存储性能不要低于10GB/s的读取速度，这样就能在2秒左右完成8个专家的加载了。）
总之是，牛逼！比我预期的小很多（我以为至少要100GB+，我的存储性能能达到20GB/s的读取速度。）。
![]()
第一课的草稿，正在编写阶段。用的google docs。
![]()
源文件：docs.google.com/document/d/1cemgw6mZBWyIx7ARLv2mscpcJQQsNXK9MNspZvqtoxI/edit?tab=t.0
- 微博 蚁工厂
想了解AI当前处在什么状态，看这一份资料就够了。
本文全面分析了今年 AI 的发展，包含 AI 技术栈的基础设施层、基础模型层、应用层、工具层，尤其是各个层面的主要收获、值得关注的趋势与值得关注的初创公司。此外，本文还概括了 AI 领域的投资和并购情况，以及其他 AI 趋势。
本文主要包括五大关键点：
1. 整个基础设施堆栈正在经历一次重大改造，类似于互联网和云计算的建设。对推理的需求才刚刚开始加速，将由 GenAI 的日益普及、新的多模态应用以及不断演变的模型架构推动。
2. 随着规模扩展定律开始趋于平稳，模型开发正从大型预训练转向推理时的逻辑推演。这一转变使模型能够处理更复杂的逻辑推理任务。同时，更小、更专业模型的兴起为用户提供了更高的效率和灵活性。
3. AI 在企业环境中首次带来了实际的投资回报，例如代码生成、客户服务和搜索正在引发可衡量的影响。下一个前沿领域在于 AI 智能体的普及，但只有在我们构建了支持多智能体交互所需的底层架构之后，它们的真正潜力才能得以实现。
4. 对 AI 的投资持续增长，特别是在基础设施和基础模型层。大多数退出将通过并购实现，但投资者的高期望可能与市场现实相冲突，从而影响未来的估值。
5. AI 的快速采用已经超过了监管框架的步伐，引发了关于版权和知识产权等话题的争论。同时，各国越来越多地将 AI 视为主权问题，导致对 AI 生态系统区域化的关注增加。
- 微信 OneFlow
![]()
论文arXiv地址：https://arxiv.org/abs/2412.10255
项目主页：https://github.com/bilibili/Index-anisora
- 微信 哔哩哔哩技术
媒体观察
一批前沿技术正加快应用，助力数据中心节能降耗。如阿里云首创基础设施和IT设备融合一体化浸没液冷数据中心，将所有IT设备浸入专利的冷却液中，PUE达到极低的1.07。一些地区加快引入可再生能源，助力数据中心绿色转型。如宁夏预计到2025年，实现中卫绿色数据中心集群PUE平均值不高于1.2，可再生能源利用率达到65%。
- 经济参考报
移动互联网时代，雷军与张一鸣两人各自专注做硬件和软件，小米和字节几乎不存在直接竞争关系，既然不是敌人（友商），又存在紧密的业务合作，以雷军的标准，双方可以说是朋友了。
但AI大模型时代的到来，打破了两人之间的微妙平衡。随着字节再次发力硬件，张一鸣和雷军终于狭路相逢。
- 字母榜
苹果一直力求打造完整的生态系统，而大量采购英伟达的GPU，无疑会削弱苹果在AI领域的主导权。为了摆脱对英伟达的依赖，苹果采取了多种策略。
但随着AI角力的深入，苹果面临着训练更大更好的模型的压力，这将需要更多的高端GPU。短期内，双方的竞合关系可能仍将存在。
- 华尔街见闻
在AI时代，最硬的“资本”不再是资金，而是算力。有数据显示, 2023年全球AI算力需求同比增长超过300%，预计2024年将突破500%。随之而来的，便是GPU需求量猛增，全世界大厂或创业公司都在各显神通解决“芯荒”难题。
- 半导体行业观察
AI Coding项目最终比拼的，往往不是模型能力，而是产品化的能力。
当下，多数AI Coding入局者要么对标Cursor，做能够用自然语言对话的Copilot产品。这一类产品，除了技术本身，还十分考验产品形态如何与客户的IDE（集成开发环境）融合，自然地融入程序员的工作流中。
- 36氪
今年下半年以来，微软CEO纳德拉和微软AI部门CEO苏莱曼在不同场合，都谈到了对基础模型价值的担忧。纳德拉更是直言：AI的网络效应只存在于在应用层，因此没有必要在单一模型上投太多钱。
如今，奥特曼仍然带着OpenAI，向着AGI的目标狂奔，而微软却似乎泄了气。作为全球估值最高模型公司的最大股东，微软对模型的态度变化值得我们重视。
- 乌鸦智能说
今日推荐
开源项目
![]()
https://github.com/hashicorp/boundary
Boundary 提供了一种访问主机和关键系统的安全方案，无需管理凭证或公开网络，由 HashiCorp 开源。
每日一博
本文将带你一步步探究 Transformer 模型中先进的位置编码技术。我们将通过迭代改进编码位置的方法，最终得出 旋转位置编码 (Rotary Postional Encoding, RoPE)，这也是最新发布的 LLama 3.2 和大多数现代 transformer 模型所采用的方法。本文旨在尽量减少所需的数学知识，但理解一些基本的线性代数、三角学和自注意力机制是有帮助的。
![]()
开源之声
用户观点
- 观点 1：jihulab 这个域名有点难听(´･_･`)
- 观点 3：所以是时候跟它说再见了
- 观点 4：没事，只要开源版能私有部署就行
- 观点 5：我自己先溜了，直接清空账号
- 观点 6：没有收到通知的账号在这之后用中国ip登国际版会不会被要求迁移？
- 观点 1：我们的生命硬件进化的非常精妙，但我们的软件就是一坨*。
- 观点 3：龙芯下一代GPU出来后，会更加好！
- 观点 4：跑路了那么多领补贴的 也不敢想哦
- 观点 5：搞補貼肯定就有投機，但能漫到做事的企業就算值了。
---END---
![]()
