Ollama —— 在本地启动并运行大语言模型
Ollama 是一款命令行工具,可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。目前适用于 macOS 和 Linux,并计划支持 Windows。 Ollama 目前支持近二十多个语言模型系列,每个模型系列都有许多可用的"tags"。Tags是模型的变体,这些模型使用不同的微调方法以不同的规模进行训练,并以不同的级别进行量化,以便在本地良好运行。量化级别越高,模型越精确,但运行速度越慢,所需的内存也越大。 以下是一些可以下载的开源模型示例: Model Parameters Size Download Mistral 7B 4.1GB ollama run mistral Llama 2 7B 3.8GB ollama run llama2 Code Llama 7B 3.8GB ollama run codellama Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored Llama 2 13B 13B 7.3GB ollama run llama2:13b Llama 2 ...
