ollama

本地运行开源AI模型

⭐ 176.1k Go MIT

✓ 解决什么问题

本地部署开源大语言模型通常面临下载依赖复杂、硬件要求高、缺乏统一运行环境等问题。Ollama 通过预编译模型封装、一键安装脚本、标准化的 REST API 和客户端库，使用户无需自行配置 CUDA 或编译 llama.cpp，即可在个人电脑上快速运行主流开源模型，并集成到已有应用或聊天工具中。

✓ 最适合

最适合个人开发者或小团队在本地环境快速实验和部署开源大语言模型，例如构建基于 RAG 的 PDF 问答系统、个人 AI 助手（跨 WhatsApp/Telegram/Slack）、编码辅助工具（Claude Code/Copilot 集成），以及离线场景下的模型推理。

✗ 不适合

不适合需要高并发、分布式训练或大规模生产级推理的场景；不适合没有 GPU 但期望运行 70B+ 超大模型的用户；不适合对模型精确微调或定制有强需求的用户（Ollama 仅提供模型运行和导入功能，不包含训练框架）。

快速上手


curl -fsSL https://ollama.com/install.sh | sh
ollama pull gemma4
ollama run gemma4

项目详情

Ollama 是一个轻量级跨平台工具，旨在让用户在自己的设备上轻松运行开源大语言模型。项目由 Go 语言编写，GitHub 获 176,077+ Star，采用 MIT 开源许可证。

安装方式：支持 macOS（curl 脚本）、Windows（PowerShell 脚本）、Linux（curl 脚本）以及 Docker 容器，用户可通过 curl -fsSL https://ollama.com/install.sh | sh 一键安装。

模型管理：Ollama 集成了 llama.cpp 后端，提供 Gemma 4、Llama 等多种开源模型的预编译版本。用户通过 ollama run <model> 即可下载并启动模型对话。官方模型库（ollama.com/library）持续更新。

API 与集成：

  • REST API：监听本机 11434 端口，支持 /api/chat 等端点，方便编程调用。
  • 官方客户端库：Python（pip install ollama）和 JavaScript（npm i ollama），提供简洁的聊天接口。
  • 社区集成：包括 Open WebUI、LibreChat、Dify.AI 等 30+ 个 Web/桌面界面，以及 Claude Code、Codex、Copilot 等编码工具集成。

使用场景：用户可通过 ollama launch openclaw 将模型转化为跨平台的个人 AI 助手（支持 WhatsApp、Telegram、Slack、Discord）；也可通过 ollama launch claude 启动编码辅助工具。