Meta 发布新一代开源大模型 Llama 3.1-低调大师

Meta 发布新一代开源大模型 Llama 3.1

2024-07-24 369

今天凌晨，Meta 正式发布新一代开源大模型 Llama 3.1 系列，提供 8B、70B 及 405B 参数版本。

Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。

架构方面，该模型选择标准的仅解码器 transformer 模型架构进行调整，而不是混合专家模型，以最大化训练稳定性。

此外，Llama 3 采用了迭代的后训练程序，每一轮使用监督微调和直接偏好优化。

Meta 表示，Llama 3.1 系列在推理能力和多语言支持方面进行了改善，其上下文长度被提升至 128K，而模型参数也被提高到了 4050 亿规模，是近年来规模最大的大语言模型之一。该模型在通用常识、可引导性、数学、工具使用和多语言翻译等广泛任务中足以对标 GPT-4、Claude 3.5 Sonnet 等领先闭源模型。

Llama 3.1 现已于 Meta 官网和 Hugging Face 开放下载。

Llama 3.1 论文：https://ai.meta.com/research/publications/the-llama-3-herd-of-models/
Llama 3.1 官方文档：https://llama.meta.com/docs/overview/

微信关注我们

原文链接：https://www.oschina.net/news/303606/meta-llama-3-1

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

席媒科技加入openKylin，推动社区产品多元化适配与技术创新

近日，杭州席媒科技有限公司（简称“席媒科技”）签署了openKylin社区CLA（Contributor License Agreement贡献者许可协议），正式加入openKylin开源社区。席媒科技是经国家认定的高新技术企业，是国内专业研发、生产基于会议室辅助决策系统、智能专家系统的高科技企业，是全球无纸化会议的领创者。席媒科技秉承“让会议更简单智能，让决策更快捷专业”的愿景，在实践中不断总结，逐步积累了深厚的业务知识、领先的技术服务水平与成熟的项目管理能力。席媒科技专注于提供会议决策、应用开发、测试与质量保证、云与大数据、移动应用、系统重构、架构咨询、研究与开发等多项技术服务。作为专业的无纸化会议软件厂商，席媒科技加入openKylin社区后，将积极融入openKylin开源生态系统，推动产品多元化适配与技术创新，助力我国无纸化会议推过进程，并将积极投入研发力量，针对公司核心软件进行深度兼容性调整与优化，确保其在openKylin平台上顺畅运行，为用户提供卓越体验。同时，席媒科技期待与社区及社区成员共享资源，协同开发，共同推动openKylin生态繁荣，实现互利共赢的长远合...

2024-07-24

316

Meta 在今天凌晨正式发布新一代开源大模型 Llama 3.1 系列。与此同时，Meta 创始人兼首席执行官马克·扎克伯格也发布了一封名为“Open Source AI Is the Path Forward”的公开信，描绘了 AI 发展的未来愿景。他以闭源版 Unix 和开源 Linux 的发展为例，类比了 AI 行业的发展。 “在高性能计算的早期，当时的各大科技公司都投入巨资开发自己的闭源版 Unix。当时很难想象还有任何其他方法可以开发出如此先进的软件。但最终，开源 Linux 还是流行起来了......我相信 AI 也会以类似的方式发展。如今，一些科技公司正在开发领先的封闭模型。但开源正在迅速缩小差距。” 扎克伯格认为，Llama 如今已经在开放性、可修改性和成本效益方面处于行业领先地位。并预计从明年开始，Llama 型号则将成为业内最先进的型号。为了佐证自己的观点，他例举了开源 AI 对开发人员更有利的几大因素，包括：可以拥有自己的模型进行训练、微调和提炼；不会被单一封闭的供应商所束缚；数据保护；高效且运行成本低廉的模型以及长期标准的生态系统。而对于外界常提及的“是否...

2024-07-24

306

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。