Mac 上 Llama2 大语言模型安装到使用

LLAMA介绍

LLaMA是由Facebook的母公司Meta AI设计的一个新的大型语言模型。LLaMA拥有70亿到650亿个参数的模型集合，是目前最全面的语言模型之一。

Llama是目前唯一一个可以进行本地部署和本地训练的大型模型，对各种提问有非常好的处理能力。非常适合个人和中小型企业，构建自己的大数据模型。

很多人都说是ChatGPT的平替。通过微调来满足特定小众行业的使用，将会在未来有非常大的潜力。

Mac上由于没有Nvidia显卡的加持，无法配置CUDA进行深度学习。好在有大神制作了C++的库，能实现小成本在低配Mac上跑模型的能力。

llama.cpp

是一个推理框架，在没有GPU跑LLAMA时，利用Mac M1/M2的GPU进行推理和量化计算。

Mac跑LLAMA唯一的路。同样也可以在Windows下面跑起来。

它是ggml这个机器学习库的衍生项目，专门用于Llama系列模型的推理。llama.cpp和ggml均为纯C/C++实现，针对Apple Silicon芯片进行优化和硬件加速，支持模型的整型量化 (Integer Quantization): 4-bit, 5-bit, 8-bit等。社区同时开发了其他语言的bindings，例如llama-cpp-python，由此提供其他语言下的API调用。

https://github.com/ggerganov/llama.cpp

安装llama.cpp

本地快速部署体验推荐使用经过指令精调的Alpaca-2模型，有条件的推荐使用6-bit或者8-bit模型，效果更佳。 下面以中文Alpaca-2-7B模型为例介绍，运行前请确保： 1、系统应有make（MacOS/Linux自带）或cmake（Windows需自行安装）编译工具 2、建议使用Python 3.10以上编译和运行该工具 3、必装的mac依赖 xcode-select --install # Mac的Xcode开发者工具，基本是必装的，很多地方都需要用到。 brew install pkgconfig cmake # c和c++的编译工具。

1、源码编译

git clone https://github.com/ggerganov/llama.cpp 

2、编译 对llama.cpp项目进行编译，生成./main（用于推理）和./quantize（用于量化）二进制文件。

make 

Windows/Linux用户如需启用GPU推理，则推荐与BLAS（或cuBLAS如果有GPU）一起编译，可以提高prompt处理速度。以下是和cuBLAS一起编译的命令，适用于NVIDIA相关GPU。

make LLAMA_CUBLAS=1 

macOS用户无需额外操作，llama.cpp已对ARM NEON做优化，并且已自动启用BLAS。M系列芯片推荐使用Metal启用GPU推理，显著提升速度。只需将编译命令改为：LLAMA_METAL=1 make，

LLAMA_METAL=1 make 

3、检查 编译成功会在目录下产生main等可执行的命令，下面转换量化模型文件时，会用到的命令就准备好了。

手动转换模型文件为GGUF格式

如果下载的是生成好的gguf模型就不需要手动转换了。为啥要这个格式。这个格式的LLAMA.cpp才认。其它格式的数据不认。

1、下载 Llama 2 模型 首先，从 Hugging Face https://huggingface.co/meta-llama 上下载你想要使用的 Llama 2 模型，比如 7B-Chat，我的Mac是8G内存，M2芯片，估计也只能跑到这个模型，再大的机器跑不动。 值得一提的是：https://huggingface.co/meta-llama/Llama-2-7b-chat 下载时，第一次需要授权，需要到meta官网，下面这个链接 https://llama.meta.com/llama-downloads

去提交一下邮件。这里选国家时会有意想不到的结果，自己思考一下。

如果要体验英文原版，就用上面的，会比较麻烦，但是对英文的回复比较好。 参考教程 https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/manual_conversion_zh

如果要使用中文语料库，需要先合并为原始模型和中文的模型，再生成bin，再去转换为gguf格式。喜欢折腾的可以试试。

如果要使用我这个中文混合模型，可以直接下载gguf格式。下面这几步都不用了。省事多了。

下载地址：https://huggingface.co/hfl/chinese-llama-2-7b-gguf/tree/main 记得选ggml-model-q4_0.gguf这个模型。

2、下载 llama.cpp 库，并按上面的流程进行编译安装成功

3、转换模型格式 然后，你需要把模型的文件转换成 GGUF 格式，使用 llama.cpp 库中的 convert.py 脚本来完成。转换时需要指定模型的路径和上下文长度（模型可以处理的最大的文本长度），不同的模型可能有不同的上下文长度。

如果模型是 LLaMA v1，则使用 --ctx 2048，如果你的模型是 LLaMA v2，则使用 --ctx 4096。这里使用 --ctx 4096。如下所示：

# 转换模型文件 python3 convert.py models/7B-Chat --ctx 4096 

如果安装过程缺python包直接pip install 安装即可。

4、量化模型文件

使用 llama.cpp 库中的 quantize 程序来进行模型量化，使用 quantize 命令：

# 运行 quantize 程序，指定输入和输出的模型文件和量化方式 ./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0 

这样，在 7B-Chat 文件夹中就生成一个 4 位整数的 GGUF 模型文件。

5、运行模型

./main -m ./models/7B/ggml-model-q4_0.bin \ -t 8 \ -n 128 \ -p 'The first president of the USA was ' # run the inference 推理 ./main -m ./models/llama-2-7b-hf/ggml-model-q4_0.bin -n 128 #以交互式对话 ./main -m ./models/llama-2-7b-hf/ggml-model-q4_0.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 #chat with bob ./main -m ./models/llama-2-7b-hf/ggml-model-q4_0.bin -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt 

此步骤过于烦锁，主要是模型文件占了几十GB。所以我直接下载别人的中文模型进行使用。不需要再手动进行转换、量化等操作。

以WebServer形式启动

调用手册：https://github.com/ggerganov/llama.cpp/blob/master/examples/server/README.md

用WebServer形式。可以对接到别的系统里面，像FastGPT或者一些界面上，就可以无缝使用了。

1、启动server 参数请./server -h 查看，或者参考手册

./server --host 0.0.0.0 -m /Users/kyle/MyCodeEnv/models/ggml-model-q4_0.gguf -c 4096 --n-gpu-layers 1 

默认会开到8080端口上，配置可改。不加gpu-layers走CPU，会报错。设个1就行

2、用CURL进行测试

curl --request POST \ --url http://127.0.0.1:8080/completion \ --header "Content-Type: application/json" \ --data '{"prompt": "给我讲个冷笑话:","n_predict": 128}' 

3、效果如图

感觉 就是训练的还是量少，有些问题会胡说。理解不了的问题反应会非常慢。会花很长的时间。

Python调用接口库

https://github.com/abetlen/llama-cpp-python https://llama-cpp-python.readthedocs.io/en/latest/install/macos/

1、Mac用户，pip编译，最简 安装llama-cpp-python (with Metal support) 为了启用对于Metal (Apple的GPU加速框架) 的支持，使用以下命令安装llama-cpp-python: CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install llama-cpp-python

2、代码中使用，安装好之后可以直接用requests调用。无需第1步的llama-cpp-python依赖包。使用通用的ChatGPT的问答形式回答。 也可以不经Server直接调用模型文件

# -*- coding: utf-8 -*- import requests url = 'http://localhost:8080/v1/chat/completions' headers = { 'accept': 'application/json', 'Content-Type': 'application/json' } dataEn = { 'messages': [ { 'content': 'You are a helpful assistant.', 'role': 'system' }, { 'content': 'What is the capital of France?', 'role': 'user' } ] } data = { 'messages': [ { 'content': '你是一个乐于助人的助手', 'role': 'system' }, { 'content': '二战是哪一年爆发的?', 'role': 'user' } ] } response = requests.post(url, headers=headers, json=data) print(response.json()) print(response.json()['choices'][0]['message']['content']) 

3、直接调用模型文件，需要安装llama-cpp-python包

# -*- coding: utf-8 -*- from llama_cpp import Llama # 加截模型 # llm = Llama(model_path='/Users/kyle/MyCodeEnv/models/ggml-model-q4_0.gguf', chat_format="llama-2") # 可以指定聊天格式 llm = Llama(model_path='/Users/kyle/MyCodeEnv/models/ggml-model-q4_0.gguf') # 提问 response = llm("给我讲一下英国建国多少年了", max_tokens=320, echo=True) # response = llm.create_chat_completion( # messages=[ # {"role": "system", "content": "你是一个乐于助人的助手"}, # { # "role": "user", # "content": "给我讲一个笑话" # } # ] # ) # print(response) # 回答 print(response['choices'][0]) 

最后贴个官方的教程

https://llama-cpp-python.readthedocs.io/en/latest/install/macos/

再慢慢研究研究微调和训练自己的语料吧。

跟上LLM的步伐。不接触AI就要落后了。 更多精彩内容，请关注我的公众号：青塬科技。