Kimi 联合清华大学等机构开源共建大模型推理架构 Mooncake-低调大师

Kimi 联合清华大学等机构开源共建大模型推理架构 Mooncake

2024-11-28 203

2024 年 6 月，月之暗面 Kimi 和清华大学 MADSys 实验室联合发布了 Kimi 底层的 Mooncake 推理系统设计方案。该系统基于以 KVCache 为中心的 PD 分离和以存换算架构，大幅度提升了推理吞吐。

近日，为了进一步加速该技术框架的应用与推广，月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等产学研力量共同发布开源项目 Mooncake，共建以 KVCache 为中心的大模型推理架构。目前，Mooncake技术框架已正式开源上线。

根据介绍，Mooncake 开源项目从论文延伸，以超大规模 KVCache 缓存池为中心，通过以存换算的创新理念大幅度减少算力开销，显著提升了推理吞吐量。本次开源将采用分阶段的方式，逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现，同时针对各类推理引擎和底层存储/传输资源进行兼容。

其中传输引擎 Transfer Engine 部分现在已经在 GitHub 全球开源。Mooncake 开源项目的最终目标是，为大模型时代打造一种新型高性能内存语义存储的标准接口，并提供参考实现方案。

微信关注我们

原文链接：https://www.oschina.net/news/322441

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

🔥 Solon （Spring 的替代方案）永久商用免费

不知从何时起？从何处起？网上有人误解说：用 Solon 要钱的 Solon 付费的，我不用特此申明：没有这回事情！Solon 是免费的。且，永久商用免费。代码、文档不受限 Solon 是 Apache v2.0 开源协议。是对商用非常友好的开源协议 2024年，Solon 还加入了“开放原子开源基金会”。是对开源更大决心的表示 Solon 也有商业服务（可能误解在这儿）商业服务与“免费使用”并不矛盾商业服务需要额外的成本，比如企业培训，比如历史版本的维护保障，比如企业专属交流，比如企业定制 Solon 框架！ Java “生态型”应用开发框架。新一代 Java 应用软件开发的生态基座。从零开始构建（非 java-ee 架构），有灵活的接口规范与开放生态。追求：更快、更小、更简单提倡：克制、简洁、高效、开放、生态解决传统框架的哪些痛点？技术痛点某传统框架的 "计算性价比" 是差了些的痛点某传统框架 Solon 补充启动相当慢，有时可能要几分钟秒启能快 10倍打包比较大，甚至有1GB大小的服务包一般，几MB或几十MB 可小 90% 内存启动就百M...

2024-11-28

189

美团到店研发平台质量工程部与复旦大学计算机学院周扬帆教授团队展开了大前端智能化测试领域的科研合作，从UI界面内容一致性校验入手，并实现了一套自动化智能检测流程，相关论文被软件工程领域具有国际影响力的会议ICSE 2024（CCF-A类会议）的Software In Practice Track（软件工程实践应用）收录。背景目前，移动App上的业务页面愈发复杂，技术团队常会以页面为单位来拆解团队开发分工，同一类业务元素信息分散在不同团队负责的页面内。在具体的实践中，存在一类不易检出但又影响用户体验的异常：页面中的UI信息相互矛盾（如下图中同一个商品在多个页面上的实际价格不一致）。此类UI内容不一致的异常，没有固定的出现位置和表现规律，长期以来主要依赖测试人员对于UI的熟悉度，主要靠手工测试执行时来随机进行发现。美团App中的众多业务具备内容繁多的多种页面布局，以及多技术栈共存，如何低成本地在多类业务、多样化布局、多技术栈的UI页面间检测内容一致性，是终端测试领域中的一项重要挑战。为解决该问题，美团到店研发平台质量工程部与复旦大学计算机学院周扬帆教授团队展开了大前端智能化测试领域的...

2024-11-28

245

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。