Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具，允许用户下载并本地运行像Llama 2、Code Llama和其他模型，并支持自定义和创建自己的模型。该免费开源的项目，目前支持macOS和Linux操作系统，未来还将支持Windows系统。

此外，Ollama还提供了官方的Docker镜像，由此使用Docker容器部署大型语言模型变得更加简单，确保所有与这些模型的交互都在本地进行，无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速，并提供了简单的命令行界面（CLI）以及用于与应用程序交互的REST API。

该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用，无需依赖外部云服务。

Ollama 现已推出适用于 macOS 和 Windows 的Ollama桌面端，新增文件处理与多模态交互功能，让用户与本地大语言模型交互更直观便捷。

Ollama支持的模型

Ollama 支持海量的开源大语言模型，官方和社区会持续更新模型库。以下是目前主要支持的模型类型及常见示例：

🔹 通用文本/对话模型
llama3, llama3.1, mistral, mixtral, qwen2.5, gemma2, phi3, yi, command-r, dolphin-mixtral 等

🔹 代码专用模型
codellama, deepseek-coder, starcoder2, phind-codeLlama, codestral 等

🔹 多模态（视觉/图像理解）
llava, bakllava, fuyu, qwen-vl, moondream 等（可处理图片+文本输入）

🔹 语音/音频模型
whisper（主要用于语音转文字）

📌 使用方式
在终端执行 ollama run <模型名> 即可自动拉取并启动。例如：

ollama run qwen2.5
ollama run llama3.1:8b
ollama run llava

💡 提示

• 模型名称区分大小写，常带参数量标识（如 7b、14b、70b）及后缀（如 _chat、_instruct）。
• 默认提供多种量化版本（如 q4_K_M），兼顾速度与显存占用。
• 完整且实时的模型列表请访问 Ollama 官网模型库：ollama.com/library