Mistral AI 开源 Mistral 8x22B Moe 大模型
Mistral AI 公司刚刚再次用磁力链接开源了一款大模型 —— Mistral 8x22B，模型文件大小为 281.24 GB。
从模型的名字来看，Mistral 8x22B 是去年开源的「mixtral-8x7b」的超级大杯版本，参数规模增长三倍不止——由 8 个 220 亿参数规模 (8×22B) 的专家网络组成。
磁力链接地址：
magnet:?xt=urn:btih:9238b09245d0d8cd915be09927769d5f7584c1c9&dn=mixtral-8x22b&tr=udp%3A%2F%http://2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%http://2Ftracker.opentrackr.org%3A1337%2Fannounce 目前 Mistral AI 已经开源的模型如下：
- Mistral-Tiny：7B
- Mistral-Small：8x7B
- Mistral-Medium：8x22B
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
斯坦福团队开源端侧大模型 Octopusv2
斯坦福大学研究团队近日推出了一款全新的开源端侧大模型 Octopusv2。 论文：Octopus v2: On-device language model for super agent 论文地址：https://arxiv.org/abs/2404.01744 模型主页：https://huggingface.co/NexaAIDev/Octopus-v2 Octopusv2是一款拥有20亿参数的开源语言模型，专为在Android设备上运行而设计，同时也适用于汽车、个人电脑等其他端侧设备，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。 该模型在准确性和延迟方面的表现超越了GPT-4，并且在上下文长度上减少了95%，显示出了显著的性能优势。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。 Octopus-V2-2B模型的开发过程中，研究团队采用了创新的函数token策略，这使得模型在训练和推理阶段能够高效地生成复杂的函数调用。
- 下一篇
谷歌发布代码大模型 CodeGemma
谷歌发布了用于辅助编程的代码大模型 CodeGemma。CodeGemma 基于谷歌今年 2 月发布的轻量级开源大模型 Gemma，针对 Gemma 的两个不同参数规模的版本 Gemma 2B 和 Gemma 7B 发布了 CodeGemma 2B 和 CodeGemma 7B（有预训练和指令微调两种）。 因此 CodeGemma 有 3 个模型变体： 7B 预训练变体，专门用于补全代码以及利用代码前缀和/或后缀生成代码 70 亿指令微调变体，用于自然语言到代码的聊天和指令遵循 先进的 2B 预训练变体，代码补全速度快至 2 倍 CodeGemma 可以执行各种编码任务，例如填充中间代码补全、代码生成、自然语言理解、数学推理和指令遵循。 CodeGemma 具有多项优势： 智能代码补全和生成：无论您是在本地工作，还是使用 Google Cloud 资源，都可以填写整行、函数，甚至生成整块代码块。 准确性更高：CodeGemma 模型基于 Web 文档、数学和代码中的 5000 亿个词元（主要是英语）数据训练而成，生成的代码不仅语法正确，而且语义上也更有意义，从而减少错误并缩短调试时间。...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- Docker快速安装Oracle11G，搭建oracle11g学习环境
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2整合Redis，开启缓存，提高访问速度
- SpringBoot2初体验，简单认识spring boot2并且搭建基础工程
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Hadoop3单机部署,实现最简伪集群
- Springboot2将连接池hikari替换为druid，体验最强大的数据库连接池
- SpringBoot2编写第一个Controller，响应你的http请求并返回结果
- SpringBoot2全家桶，快速入门学习开发网站教程
微信收款码
支付宝收款码