蚂蚁百灵团队开源统一多模态大模型 Ming-lite-omni
蚂蚁百灵大模型（Ling）团队正式开源统一多模态大模型 Ming-lite-omni。
官方介绍称，这是一款基于 Ling-lite 构建的 MoE 架构的全模态模型，其总参数 22B，激活参数 3B，在多项理解和生成能力评测中，性能与 10B 量级领先的多模态大模型相当或更优。这也是目前已知首个在模态支持方面能够与 GPT-4o 相媲美的开源模型。
另外，蚂蚁百灵大模型团队还将持续优化 Ming-lite-omni 在全模态理解和生成任务上的效果，并提升 Ming-lite-omni 的多模复杂推理能力；同时也会训练更大尺寸的全模态模型 Ming-plus-omni， 以期进一步解决更多高度专业化或领域化的复杂交互问题。
Ming-lite-omni 当前模型权重和推理代码已开源，后续会陆续开源训练代码和训练数据。
- GitHub: https://github.com/inclusionAI/Ming/tree/main/Ming-omni
- Hugging Face: https://huggingface.co/inclusionAI/Ming-Lite-Omni
- ModelScope: https://modelscope.cn/models/inclusionAI/Ming-Lite-Omni
- Project Page: https://lucaria-academy.github.io/Ming-Omni/
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
华为公布「盘古 Pro MoE」混合专家模型
日前，华为盘古团队正式公布了昇腾原生的分组混合专家模型——「盘古 Pro MoE」。 据盘古团队介绍： 混合专家模型（MoE）在大语言模型（LLMs）中逐渐兴起，该架构能够以较低计算成本支持更大规模的参数，从而获得更强的表达能力。这一优势源于其稀疏激活机制的设计特点，即每个输入 token 仅需激活部分参数即可完成计算。然而，在实际部署中，不同专家的激活频率存在严重的不均衡问题，一部分专家被过度调用，而其他专家则长期闲置，导致系统效率低下。 为此，盘古团队提出了新型的分组混合专家模型（Mixture of Grouped Experts, MoGE），其在专家选择阶段对专家进行分组，并约束 token 在每个组内激活等量专家，从而实现专家负载均衡，显著提升模型在昇腾平台的部署效率。 据悉，盘古 Pro MoE 模型基于 MoGE 架构，团队构建了总参数量 720 亿、激活参数量 160 亿，并针对昇腾 300I Duo 和 800I A2 平台进行系统优化。 性能表现上，盘古 Pro MoE 在昇腾 800I A2 上实现了单卡 1148 tokens/s 的推理吞吐性能，并可进一步通...
- 下一篇
日本出台首部人工智能法
日本参议院全体会议28日以多数赞成票通过首部专门针对人工智能（AI）的法律，旨在促进AI相关技术研发和应用并防止其滥用。 这部《人工智能相关技术研究开发及应用推进法》指出，AI技术是日本经济社会发展的基础，从安全保障的角度来看也是重要的技术。依据这部新法，拟设立以日本首相为首、全体内阁成员参加的“AI战略本部”作为日本AI政策的“司令部”，并制定“AI基本计划”。 新法提出，日本应在AI领域保持研究开发能力，并提高相关产业的国际竞争力。日本政府有责任全面且系统地制定和实施推动AI研发和应用的措施。 为防止AI技术被滥用而引发侵权问题，缓解公众对生成式AI制造虚假信息等的不安，新法规定，日本政府要对侵权行为展开调查，并给涉事企业以建议和指导，企业有义务配合相关调查。对于使用AI制作虚假视频、侵犯著作权等行为，日本政府将进行分析调查，并可公开相关企业的名称。 根据日本总务省2024年版《信息通信白皮书》，使用或使用过生成式AI的日本国民仅占人口的9.1%，远低于美国的46.3%和德国的34.6%。（新华社）
相关文章
文章评论
共有0条评论来说两句吧...
微信收款码
支付宝收款码