Ollama 在 Windows 上推出预览版
Ollama 宣布在 Windows 上推出预览版,从而使得用户可以在全新的本机 Windows 体验中提取、运行和创建大型语言模型。Windows 上的 Ollama 包括内置 GPU 加速、访问完整的模型库以及包括 OpenAI 兼容性在内的 Ollama API。 硬件加速 Ollama 使用 NVIDIA GPU 以及现代 CPU 指令集(例如 AVX 和 AVX2(如果可用))加速运行模型。无需配置或虚拟化。 完全访问模型库 完整的 Ollama模型库可在 Windows 上运行,包括视觉模型。运行 LLaVA 1.6等视觉模型时,可以将图像拖放到ollama run中以将其添加到消息中。 Always-on Ollama API Ollama 的 API 自动在后台运行,服务于http://localhost:11434。工具和应用程序无需任何额外设置即可连接到它。 示例: (Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream"...