本地环境运行 Llama 3 大型模型
简介:
Llama 是由 Meta(前身为 Facebook)的人工智能研究团队开发并开源的大型语言模型(LLM),它对商业用途开放,对整个人工智能领域产生了深远的影响。继之前发布的、支持4096个上下文的Llama 2模型之后,Meta 进一步推出了性能更卓越的 Meta Llama 3系列语言模型,包括一个8B(80亿参数)模型和一个70B(700亿参数)模型。Llama 3 70B 的性能媲美 Gemini 1.5 Pro,全面超越 Claude 大杯,而 400B+ 的模型则有望与 Claude 超大杯和新版 GPT-4 Turbo 掰手腕
在各种测试基准中,Llama 3系列模型展现了其卓越的性能,它们在实用性和安全性评估方面与市场上其他流行的闭源模型相媲美,甚至在某些方面有所超越。Meta Llama 3系列的发布,不仅巩固了其在大型语言模型领域的竞争地位,而且为研究人员、开发者和企业提供了强大的工具,以推动语言理解和生成技术的进一步发展。
项目地址:
https://github.com/meta-llama/llama3
llama2和llama3的差异
llama3和GPT4的差异
指标 | Llama 3 | GPT-4 |
---|---|---|
模型规模 | 70B、400B+ | 100B、175B、500B |
参数类型 | Transformer | Transformer |
训练目标 | Masked Language Modeling、Perplexity | Masked Language Modeling、Perplexity |
训练数据 | Books、WebText | Books、WebText |
性能 | SOTA(问答、文本摘要、机器翻译等) | SOTA(问答、文本摘要、机器翻译等) |
开源 | 是 | 否 |
Llama 3 的亮点
-
面向所有人开放:Meta 通过开源 Llama 3 的轻量版本,让前沿的 AI 技术变得触手可及。无论是开发者、研究人员还是对 AI 技术好奇的小伙伴,都可以自由地探索、创造和实验。 Llama 3 提供了易于使用的 API,方便研究人员和开发者使用。
-
模型规模大:Llama 3 400B+ 模型的参数规模达到了 4000 亿,属于大型语言模型。
-
即将融入各种应用: Llama 3 目前已经赋能 Meta AI,Meta AI体验地址:https://www.meta.ai/
在 Windows 上使用 Ollama,运行Llama3模型
访问https://ollama.com/download/windows页面,下载OllamaSetup.exe
安装程序。
安装后,根据自身电脑配置,选择对应模型参数安装(运行 7B 至少需要 8GB 内存,运行 13B 至少需要 16GB 内存)
我这里运行的是Llama3:8b,可以看出,中文还是有点问题
Model | Parameters | Size | Download |
---|---|---|---|
Llama 3 | 8B | 4.7GB | ollama run llama3 |
Llama 3 | 70B | 40GB | ollama run llama3:70b |
Mistral | 7B | 4.1GB | ollama run mistral |
Dolphin Phi | 2.7B | 1.6GB | ollama run dolphin-phi |
Phi-2 | 2.7B | 1.7GB | ollama run phi |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
Orca Mini | 3B | 1.9GB | ollama run orca-mini |
LLaVA | 7B | 4.5GB | ollama run llava |
Gemma | 2B | 1.4GB | ollama run gemma:2b |
Gemma | 7B | 4.8GB | ollama run gemma:7b |
Solar | 10.7B | 6.1GB | ollama run solar |
Hugging Face 使用
访问:https://huggingface.co/chat/ 然后切换Models
Replicate 使用
8B 模型:https://replicate.com/meta/meta-llama-3-8b
70B 模型:https://replicate.com/meta/meta-llama-3-70b
本文是转载文章 珩小派,版权归原作者所有。建议访问原文,转载本文请联系原作者。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Google Reader 被“代码屎山”杀死
Google Reader的关停主要是出于技术原因,基础设施变化太大,代码无法继续更新。关闭工作主要由SRE团队负责,但执行时间可能延后。 所有订阅数据将交给苏黎世的Feeds团队归档。关闭决定后,内部沟通出现问题,最终宣布关闭的博客文章提前发布,但并未达到预期效果。 关闭时间主要是技术上的。基础设施发生了足够多的变化,导致Reader的代码库已经腐化,无法再推送到生产环境。听起来好像已经有大约6个月没有进行推送了。我相当确定我在离开之前不久(2012年10月)进行了推送,所以代码如此快速地腐化有点令人惊讶。 关停主要由SRE团队负责(Alan实际上将在7月1日前两周度假)。实际上听起来他们将在7月1日取消GFE规则,然后花时间关闭任何服务器,因为这实际上涉及了理解事物的工作原理及相互之间的依赖关系。FRBE团队肯定会运行更长一段时间,因为其他Google服务依赖于它们。 所有的订阅数据将交给苏黎世的Feeds团队(他们还继承了PubSubHubbub中心,甚至可能还有AJAX Feed API)。他们将希望对其进行归档。Matt Cutts一直是试图尽可能合理处理关闭工作的阴谋的一部...
- 下一篇
Fedora Linux 40 正式发布
Fedora Linux 40 已正式发布。新版本主要变化包括:升级桌面环境、增加 AI 开发工具,以及更新软件包。 Fedora Workstation 默认使用最新的 GNOME 46 桌面环境,KDE Spin 版本搭载 KDE Plasma 6,并默认使用 Wayland。此外,Fedora 还正式恢复了“Fedora Atomic Desktop”品牌,用于所有使用 ostree 或基于镜像的配置的变体。 Fedora Linux 40 还首次提供了 PyTorch 软件包,这是一个用于深度学习的流行框架。此外,还提供了用于 AMD 显卡加速支持的 ROCm 6 软件。 Fedora Linux 40 还更新了大量软件包,包括编译器和库的更新,这些更新带来了 bug 修复、安全改进和性能提升。这次发布还包括了来自数千个上游项目的最新开源软件版本的集成。 详细更新内容:https://fedoramagazine.org/whats-new-fedora-workstation-40 下载地址:https://fedoraproject.org/
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7设置SWAP分区,小内存服务器的救世主
- Hadoop3单机部署,实现最简伪集群
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题