开源日报 | 大模型国家队发力了；RLHF新平替；ICQ即将关停；中国大模型混战终结者；MoE是一门妥协的艺术
欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。
# 2024.5.27
今日要点
虚幻引擎代码规范禁止使用脏话、禁止slave、master
一位网友近日分享了 Epic Games 官方的 “虚幻引擎代码规范”，指出其中一些规定非常离谱，并质疑 Epic “为什么要把本来不是问题的事情变成问题”。
行业内首次实现国产 GPU 从 0 到 1 的端到端 AI 大模型实训
摩尔线程、无问芯穹今天联合宣布，双方已经正式完成基于国产全功能 GPU 千卡集群的 3B 规模大模型 “MT-infini-3B” 实训，该模型基于摩尔线程国产全功能 GPU MTT S4000 组成的千卡集群，以及无问芯穹的 AIStudio PaaS 平台打造。
据悉，这次的 MT-infini-3B 模型训练总共用时 13.2 天，全程稳定无中断，集群训练稳定性达到 100％，千卡训练和单机相比扩展效率超过 90％，号称 “充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产 GPU 千卡智算集群深度合作的新范式”。
GNOME 与资助方 STF 之间出现问题，或影响项目发展
上月，德国主权技术基金 Sovereign Tech Fund (STF) 曾宣布继续向 GNOME 进行投资。得益于 STF 的资助，GNOME 项目在最近几个月里也取得了许多显著的进步。
但其最近一周的状态更新内容指出，STF 与 GNOME 基金会之间出现了一些问题，具体未说明是什么，但很可能会影响项目后续的发展。
作为 GNOME STF 计划的一部分，许多社区成员都在从事与基础架构相关的项目。
我们目前正面临着来自 GNOME 基金会方面的一个重大问题。我们希望它能在影响 STF 项目的协调之前得到解决，但如果不能解决，该项目部分内容的未来将充满不确定性。
今日观察
社交观察
初创公司花费 500 亿美元购买英伟达芯片来训练大语言模型
Sequoia Capital 在 3 月份的一个演示中估计，初创公司花费了 500 亿美元购买 NVIDIA 的芯片来训练大语言模型，然而，这些初创公司总共只赚了 30 亿美元的收入。这个巨大的差距告诉我们，大多数公司都在寻找可行的商业模式上挣扎。
有些公司现在正在缩减规模或转型，比如 Inflection，其首席执行官和大部分员工已经离职并加入了微软。还有 Character.ai，尽管它的使用量和受欢迎程度在不断增长，但报告显示其年收入不到 2000 万美元。考虑到两家初创公司，OpenAI 和 Anthropic，作为这个领域的佼佼者，它们占了销售的大部分，而大部分的生态系统仍在寻找赚钱的方式。
- 微博 宝玉xp
大模型国家队发力了
国产大模型最新进展，这次来自“国家队”！
刚刚，全栈国产化生态大模型“九天智能基座”正式发布！
它由中国移动自研。包括万卡算力、千亿模型及百汇平台三部分。
其中模型部分是九天自主研发的从算子到框架全栈国产训练的千亿参数大模型，能力达到GPT-4的90%水平。
以它为底座，已经布局17个细分领域行业大模型，覆盖政务、医疗、办公、金融风控、客服、代码等行业。
- 微博 量子位
AI搜索引擎开源项目Farfalle
类似Perplexity AI），支持使用本地或云端的LLM。
项目：github.com/rashadphz/farfalle
Demo：farfalle.dev
技术栈
- 前端：Next.js
- 后端：FastAPI
- 搜索 API：SearXNG或Tavily
- 日志记录：Logfire
- 速率限制：Redis
- 组件：shadcn/ui
特征：
- 使用多个搜索提供商进行搜索（Tavily、Searxng）
- 使用云模型回答问题（OpenAI/gpt4-o、OpenAI/gpt3.5-turbo、Groq/Llama3）
- 使用本地模型（llama3、mistral、gemma、phi3）回答问题
- 微博 黄建同学
LLMs推理延迟优化助手
开源大型语言模型(LLM)的推理延迟优化工具，通过多种优化技术和服务器配置，提供高效的模型服务能力，帮用户在保持模型性能的同时降低延迟，提升用户体验
- mlc 在推理延迟方面表现最佳，但可能需要进一步测试模型质量。
- CTranslate2 在速度和易用性方面表现出色，但目前尚不支持分布式推理。
- vLLM 虽然速度快，但它的优势在于支持分布式推理，适合 serving 非常大的模型。
- TGI 易于使用，集成了 HuggingFace 生态系统，但其新的许可证可能限制了商业使用。
- 推理优化工具的选择取决于具体需求，包括推理速度、 ease of use、模型大小和许可证限制等因素。
- 基准测试的目的是为了获得工具之间性能的一般性比较，而不是精确测试。
- 推理服务器和模型优化技术通常结合使用，以实现最佳的推理性能。
'Optimizing Latency for LLMs'
- 微博 爱可可-爱生活
昆仑万维宣布天工AI每日活跃用户（DAU）超过100万
5月27日，昆仑万维集团宣布，天工AI每日活跃用户（DAU）已超过100万，受到广大用户的热情追捧。
在初步验证大模型能力之后，天工AI将继续聚焦产品市场匹配度（PMF, Product Market Fit），始终以用户体验为中心，不断优化产品体验，打造出更加贴近用户使用场景的AI产品。
根据国内商业智能数据服务商QuestMobile数据，早在2024年3月，昆仑万维天工AI APP的月活跃用户已达近千万，仅次于豆包与文心一言，成为国内AIGC APP月活跃用户第三。
- 昆仑万维集团
媒体观察
量化起家，万卡在手，降价狂魔，DeepSeek可能就是中国大模型混战的终结者
让字节、阿里、百度、智谱等纷纷卷入的大混战，最初却是一个“神秘”的“金融公司”所掀起的。5月6日，量化对冲基金幻方旗下的AI团队深度求索，发布了最新的模型，同时，宣布把API价格下调，降价幅度之大，使得它的价格只是GPT-4 Turbo的百分之一水平。很快，它引发了连锁反应。之后字节和阿里的陆续跟进，使得价格战正式铺开。
深度求索，和它模型的名字“DeepSeek”似乎对大多数人来说都显得有些陌生，但在模型研究者和开源圈子里，它一度是被提及最多的模型和开发厂商之一，甚至在Mistral和Llama占据统治地位时，DeepSeek也有一批忠实拥趸。许多开发者尤其认为它的数学和推理能力极强，与那些追求玩弄吟诗作赋的模型差别明显。
主业二级市场交易，却做起了AGI；低调异常，却决定着整个行业走向；不怎么宣传，却受到社区自来水一片好评......这一系列的反差让这家公司更显神秘。
不过这种“神秘”可能并不会持续很久了。多位接近幻方的人士透露，幻方对深度求索接下来的计划是，让它独立面对市场。它将有可能成为看起来格局已定的中国大模型江湖里，最后一个玩家，也注定会是一个很能搅局的玩家。
- 品玩
深扒大模型价格战：15家45款模型比拼，谁真便宜谁“打幌子”？
百模大战进入深水区，大模型厂商也从卷性能、卷应用，发展到卷价格。不过总的来看，大部分企业在降价时还是为自己留了后路，比如只下放轻量级模型，或是限时优惠。
目前参与价格战的玩家，大多还是自有云服务的互联网大厂。对他们而言，参与价格战可能更多地是出于战略布局和市场主导权的考虑，因为其有能力承受一定程度的价格波动和成本压力。
而大模型创企相对资源有限，在价格战中可能更加注重生存和盈利的平衡，需要更加谨慎地应对价格变化，在保证一定盈利水平的前提下提供有竞争力的价格。
- 智东西
招行CIO变动：江朝阳上调招商局集团，已任首席信息官6年
招行科技条线高管现重大调整。钛媒体App获悉，招行首席信息官江朝阳调任招商局集团战略发展部/科技创新部总经理；招行信息技术部总经理周天虹拟接任首席信息官一职。
公开资料显示，江朝阳1967年12月出生，上海交通大学管理科学专业硕士研究生学历，高级经济师。2013年11月加入本公司，历任总行战略客户部总经理，总行零售网络银行部总经理，总行财富管理部副总经理、总经理，2019年11月起任本公司首席信息官。
- 钛媒体
MoE 高效训练的 A/B 面：与魔鬼做交易，用「显存」换「性能」
其实，即便是那些选择了 MoE 架构的玩家，也不得不承认，虽然有着高效训练、灵活性和可解释性的优点，MoE 的局限性仍然明显，是「一门妥协的艺术」。
宋晨阳表示，MoE 的好处在于算力有限的情况下，可以实现同等参数规模下，计算量的大幅降低。但如果有足够的算力，训练一个 MoE 模型和同等参数量的稠密模型，就性能来说，一定是稠密模型更好。
也就是说，同等参数规模下，稠密模型的表现要优胜于 MoE 模型。这是因为，本质上 FFN 的表达能力是不受限的，但 MoE 模型为了稀疏激活，强行规定只能激活被切细后的一部分 FFN，相当于把模型的整个可表示空间给缩小了。
- 雷锋网
今年一季度全球AI领域融资总额达1564亿，同比下降31.2%
5月27日消息，市场研究机构PitchBook日前发布2024年Q1全球人工智能（AI）与机器学习领域的最新投融资数据报告。
报告显示，2024年第一季度（1-3月），全球AI领域共计完成1779笔融资交易，筹集的风险投资总额高达216亿美元（约合人民币1564.27亿元），交易价值环比下降7.8%，同比下降31.2%。其中，本季度融资交易当中，有53亿美元（约合人民币383.83亿元）来自于 Anthropic、Mistral Al 和 xAl 的基础模型公司的大型交易。而截至2024年第二季度，xAl和Mistral Al 将延续大型融资交易趋势。另外，报告称，完成78个融资交易的 AI 企业记录中位估值中达到5500万美元。
- 钛媒体
陈丹琦团队新作：微调8B模型超越Claude3 Opus，背后是RLHF新平替
陈丹琦团队的SimPO，和斯坦福提出的DPO一样，都是对RLHF中的奖励函数进行优化。
在传统的RLHF中，奖励函数通常由一个独立的奖励模型提供，需要额外的训练和推理；DPO利用人类偏好和模型输出之间的关系，直接用语言模型的对数概率来构建奖励函数，绕开了奖励模型的训练。
而和DPO相比，SimPO只基于当前优化的模型π_θ进行设计，完全摆脱了对参考模型π_ref的依赖。
具体来说，SimPO采用了长度归一化的对数概率作为奖励函数。
- 量子位
今日推荐
开源项目
linuxmint/timeshift
https://github.com/linuxmint/timeshift
Timeshift 是一个应用程序，提供类似于 Windows 中的系统还原功能和 macOS 中的 Time Machine 工具的功能。Timeshift 通过定期对文件系统进行增量快照来保护你的系统。这些快照可以在以后恢复，以撤销对系统的所有更改。
每日一博
我的 CEO 觉得任何技术经理都是多余的
我最近加入了一家初创公司，负责管理一个约 40 名工程师的团队，担任技术副总裁。然而，我与 CEO（之前是工程师）在是否需要雇佣专职技术经理的问题上产生了很大的冲突。目前，工程师们被分成了 3-4 人的小团队，每个团队有一个工程师头头，负责领导团队，但他们的主要职责仍然是编写代码和交付产品。
事件点评
GNOME 与资助方 STF 之间出现问题，或影响项目发展
上月，德国主权技术基金 Sovereign Tech Fund (STF) 曾宣布继续向 GNOME 进行投资。得益于 STF 的资助，GNOME 项目在最近几个月里也取得了许多显著的进步。
但其最近一周的状态更新内容指出，STF 与 GNOME 基金会之间出现了一些问题，具体未说明是什么，但很可能会影响项目后续的发展。
点评
GNOME作为一个开源项目，对外部资金的依赖性很高。STF的资金支持对项目的持续发展至关重要，任何资金方面的问题都可能对项目的进展产生重大影响。资助方与开源项目之间的健康关系对于项目的稳定性和可预测性至关重要。STF与GNOME基金会之间的问题可能会引起社区成员和用户的担忧。
这种不确定性可能会影响社区成员的士气和项目的长期规划。GNOME社区成员可能会因为资助问题而感到不安，这可能影响他们的工作动力和对项目的承诺。在资助方和开源基金会之间出现问题时，保持透明度和开放沟通是解决问题的关键。这有助于维护社区的信任和对项目的信心。
此类事件凸显了开源项目需要多元化资金来源的重要性，以减少对单一资助方的依赖，并增强项目的抗风险能力。这一事件也为其他开源项目提供了警示，即需要建立稳固的资金和合作关系，以及制定应对潜在风险的策略。
如果问题涉及到政策或法规层面，可能需要相关机构介入，以确保开源项目的合法权益得到保护。此次事件也可能促使开源社区和资助方思考未来的合作模式，如何建立更加稳定和可持续的合作关系。
RustRover 正式发布，个人非商业免费
对于 RustRover，JetBrains 提供了一种新的许可模式，包含付费商业许可和免费个人非商业许可，后者适用于个人将 RustRover 用于非商业用途。
点评
RustRover的发布对Rust语言的开发者来说是一个积极信号。它表明了JetBrains对Rust生态系统的支持，以及对提供专业开发工具的承诺。
通过提供付费商业许可和免费个人非商业许可，JetBrains展现了灵活性，这有助于吸引更广泛的用户群体。这种基于信任的"honor system"许可模式是业界的一个新颖尝试。免费个人非商业许可降低了开发者尝试和采用RustRover的门槛，有助于推广Rust语言的使用，同时也可能吸引新的开发者加入Rust社区。
此外，RustRover的发布可能会进一步推动Rust语言的普及和工业应用。JetBrains通过提供免费和折扣的许可证，也展现了对开源社区的支持，这可能会加强该公司与开源社区的联系。
研究：ChatGPT 回答编程问题时错误率高达 52%
52% 的 ChatGPT 答案包含错误信息，77% 的答案过于冗长，以及 78% 的答案与人类的答案存在不同程度的不一致。深入的人工分析结果还表明，ChatGPT 答案中存在大量概念和逻辑错误。
点评
这项研究凸显了即使是先进的AI技术如ChatGPT，在处理专业领域问题时也可能存在局限性。52%的错误率表明AI在提供编程解决方案方面还有很大的改进空间。鉴于AI在编程问题上的高错误率，这强调了专业教育和培训的重要性。开发者和编程学习者应该通过可靠的资源和实践来提升他们的技能。
有35%的研究参与者更喜欢ChatGPT的答案，这可能是因为AI生成的答案通常语言风格清晰明了。然而，这也意味着用户可能容易受到错误信息的影响，需要对AI提供的答案持谨慎态度。39%的用户没有发现ChatGPT答案中的错误，这表明需要提升用户对AI生成内容的批判性思维和识别错误的能力。
研究结果呼吁对AI生成的内容进行更加严格的审核和质量控制。这可能需要额外的工具和技术来识别和纠正AI提供的错误信息。开发AI解决方案的公司和研究者需要承担起责任，确保他们的产品在推向市场时尽可能准确和可靠。
这项研究也表明，AI在编程领域的应用可能更适合作为辅助工具，与人类专家的知识和经验相结合，而不是作为独立的解决方案提供者。长期而言，如果AI提供的答案频繁出错，可能会损害用户对AI技术的信任，影响其在更广泛领域的应用。
对于像Stack Overflow这样的开源社区，这项研究提醒他们在使用AI辅助工具时需要更加小心，确保社区提供的信息是准确和有用的。
开源之声
媒体观点
奥特曼5月水逆，OpenAI丑闻缠身
OpenAI和它的CEO奥特曼应该去拜拜上帝了。
......
谷歌、微软相继发布了自己的AI产品和策略，GPT-4o也逐渐被业界冷落，转而大张旗鼓报道几家科技巨头的AI发布会。
但OpenAI也没闲着，不停的被媒体爆出丑闻，将这家估值达到800亿美元的人工智能初创公司抛上风口浪尖。
- 鞭牛士
AI PC成为马良的“神笔”，让NPC成为“赛博话唠”
可以预见的是，AI PC在各行各业的应用会越来越广泛，同时其对娱乐、办公、社交等场景的渗透也会慢慢深入，但与很多此前发布的技术不同，生成式AI的加入往往是“无感”的，比如Stable Diffusion绘画出的高质量图片往往能够以假乱真，而ACE技术加持下的NPC也与真人有几分相似，更不要说AI还能帮助实现声音克隆等能力。
对于娱乐场景来说，追求高帧率和更逼真画面的用户可以通过更新GPU并选择开启AI功能来增强体验，在生产力应用上，GPU似乎也有望成为“隐形战力”。
- 钛媒体
- 人工智能产业链union
经济新动能何以可能？开源，开放，更有耐心，更多法治
从市场竞争的角度，开源模式加快了后起者的追赶速度，限制了软件业规模递增所可能导致的垄断。但同时，通用大模型时代的规模递增比软件业更加显著，大模型的涌现会出现后发者没有的能力。江小涓认为从现在闭源、开源进展来看，很难对未来格局下判断，不过不论什么模式，她都希望能够维护多年来促进创新的竞争性市场结构，并且支持企业进一步开源。
- 澎湃时事
用户观点
运营28年的软件即将关停：鼎盛期用户数超1亿、腾讯都得叫声爹
- 观点 1：ICQ 》OICQ 》QQ 并没有关停，而是以另外一种形式存在
- 观点 2：我没记错，qq当年是不是参考的icq做的
- 观点 3：嗯，你没记错，“参考”
- 观点 4：QQ以前就叫oicq
- 观点 5：“打开了OICQ，聊天记录停步去年的深秋，最后的挽留，没有说出口。”
- 观点 6：那时聊天得英文，好友都是全世界各国的
- 观点 7：96年家里买的电脑，很早就拨号上网，我印象里没咋用过ICQ，好像一开始用的就是OICQ
- 观点 8：96 年还没 oicq
- 观点 9：为什么不收购了
- 观点 10：还以为早死掉了
- 观点 11：ICQ 跟 MSN 都不知道怎么想的，没有最小化成一个小图标的功能，必须占着任务栏一个长条
- 观点 12：这下知道我为什么推荐去中心化聊天软件了吧，因为中心化的都不靠谱
- 观点 13：关闭不如开放开源，某些公司都要慌了
这是Linus最忍不了的一集——虚幻引擎代码规范禁止使用脏话、禁止slave、master
- 观点 1：我们公司有个同事喜欢取名fuck函数
- 观点 2：建议改成master/servant
- 观点 3：确实不应该使用master/slave，太容易有误解了
。一直用的是master/nigger，worker池一般用cottonfield，传递的是cotton
- 观点 4：我想搞个web框架，名字就叫：FuckAPI。再搞个Kubernetes工具叫：Fuck8s。你们觉得怎么样
- 观点 5：controller和worker，onlist和offlist。要不，这样？这些破事好没劲！
- 观点 6：建议英语也删除这些词，通过从文化上解决才是真正的彻底解决
- 观点 7：曾经看到一个 discussion，说 parent task 应该翻译成“亲任务”，而不应该是“父任务”，个人感觉也有点 zzzq 的味道了...
- 观点 8：还真有一个叫the fuck的软件，可以在linux终端敲错命令后自动修正
- 观点 9：业余的表示也喜欢取fuck，fuck后面接着什么就表示解决什么问题
- 观点 10：我已经转godot了，虚幻太臃肿了。记得游戏网站itch有上传游戏大小的限制，有人说自己制作的游戏很大无法上传，管理员反问以前的最终幻想游戏很小还有很多内容，你的巨型游戏有多少实际内容？虚幻很有名的游戏《放学后的缩小大冒险》就15分钟内容，却好几个gb大小。
![[Blush]](https://res.wx.qq.com/mpres/zh_CN/htmledition/comm_htmledition/images/pic/common/pic_blank.gif)
。一直用的是master/nigger，worker池一般用cottonfield，传递的是cottonRustRover 正式发布，个人非商业免费
- 观点:1：请把这个许可模式扩展到所有的 idea
- 观点 2：意思是让 JetBrains 所有产品对个人非商业免费？
- 观点 3：这个连接 远程 要下载1G多的backend
中国电信发布首个支持 30 种方言混说语音大模型
- 观点 1：我可以这么认为吗：电信的最大贡献是语音识别？
- 观点 2：训练数据肯定是用的用户打电话的语音，经过同意了吗就用
- 观点 3：客服电话录音不成吗？你拨打就明确了，来电会被录音。
- 观点 4：电信没有公开的语音数据集,也没有招聘或外包不同方言的录音岗位,那么数据从哪里获取的? 是否监听用户通话记录,然后进行内部标注?再训练出模型?
- 观点 5：我认为大概率是客服电话录音，这部分录音既贴合实际，又不容易引发各种纠纷。放着历年积累的客服录音不用，监听就为了训练？
微软Windows on ARM能成吗？还说要跟苹果拼一把，就凭一个翻译层？
- 观点:1：不看好
因为微软在让人失望这方面从不让人失望
- 观点 2：专心做好WSL吧，努力争做最好的Linux发行版，还是GUI桌面系统，这玩意儿可比兼容老接口有前途多了。
- 观点 3：wsl好像马上要入土了
- 观点 4：WSL不至于入土，背后是 Azure 团队，一是不差钱二是内部也用，入土的是 WSA，砍刀部 only Microsoft can do
- 观点 5：明明GPU更好，为啥用npu
- 观点 6：GPU 用于 CNN 算法功耗高、成本高，NPU 有低功耗的优势，将来为了发展移动设备或嵌入式设备的端侧人工智能，我猜的。
- 观点 7：好选择，除了纯x86 本地代码外其他的 .NET Java 或其他应用都不是问题，纯x86也基本都是老程序对现代CPU和虚拟机完全不是问题，所以这是个好选择，英特尔已经浪费非常多的时间
- 观点 8：win笔记本续航一直是个问题，arm架构支持的话，功耗降低，能达到macbook的续航就牛逼了
- 观点 9：3年后，由于......原因，我们不得不放弃对arm的支持。至于......在我们眼里老用户不如狗，所以不要有期待
- 观点 10：主要看加壳反虚拟机反调试这部分程序是否能转译了，如果可以，那么优势就来了
- 观点 11：我想到的是——又要恶补ARM architecture知识了
- 观点 12：不看好 arm原生应用投入巨大 除了大公司可能会干
- 观点 13：看哪方面的app了，普通应用级的没什么大的投入，重新编译一下就好了吧
---END---
最后，欢迎扫码下载「开源中国 APP」，阅读海量技术报告、程序员极客分享！
