LocalAI

本地AI引擎：任意模型，任意硬件

⭐ 47.5k Go MIT

✓ 解决什么问题

解决了在本地或企业内网中运行多种 AI 模型（LLM、视觉、语音、图像、视频）时面临的复杂性和硬件依赖问题。无需 GPU 即可运行，降低了对专用硬件的依赖；通过统一的 API 兼容主流云服务，避免了 lock-in；多用户和权限管理满足企业级部署需求；隐私优先确保数据不离开本地。

✓ 最适合

适合需要本地部署 AI 模型的组织或个人，尤其是对数据隐私有严格要求的企业、需要在离线环境运行 AI 的场景、希望兼容 OpenAI 等 API 的低成本替代方案、以及需要在异构硬件（从 CPU 到各类 GPU）上统一运行多模态模型的开发团队。

✗ 不适合

不适合需要大规模云弹性计算、极高并发（例如每秒数百请求）的商业 SaaS 场景，也不适合完全依赖最新商业模型专有功能（如 GPT-4 特定功能）且不愿接受兼容性差异的用户。

快速上手

bash
使用 Docker 在 CPU 上快速启动 LocalAI（监听 8080 端口）
docker run -ti —name local-ai -p 8080:8080 localai/localai:latest
加载一个模型（示例：从模型库下载并运行 phi-2）
curl -X POST http://localhost:8080/models/apply -H “Content-Type: application/json” -d ’{“url”: “github:go-skynet/model-gallery/phi-2.yaml”}‘
发送聊天请求
curl http://localhost:8080/v1/chat/completions -H “Content-Type: application/json” -d ’{“model”: “phi-2”, “messages”: [{“role”: “user”, “content”: “你好，请介绍自己。”}]}‘