private-gpt

PrivateGPT 是一个开源 API 层，可将本地模型转化为生产级 AI 应用。

---

在本地运行模型只是第一步。要构建实用的 AI 应用，你需要一组更高级别的构建模块。PrivateGPT 以开源 API 的形式提供这一层，遵循 Claude API 模型——这样你就可以构建私有的 AI 产品，而无需从头重建相同的后端原语，也无需依赖云 API。

经过生产环境验证：PrivateGPT 为 Zylon 提供支持，Zylon 是为全球企业提供私有 AI 的本地部署 AI 平台。

你的应用 / 代理 / 工作流 / UI
              |
        PrivateGPT API
              |
OpenAI 兼容推理服务器（Ollama、llama.cpp、vLLM 等）

PrivateGPT 不直接运行模型。它通过 OPENAI_API_BASE 连接到任何 OpenAI 兼容的推理服务器。只要该服务器实现了 /v1/chat/completions 和 /v1/models，就可以正常工作。

PrivateGPT 附带一个内置的工作台 UI，用于测试和演示，可在 /ui 访问。API 才是真正的产品。

---

PrivateGPT 提供的能力

• 标准消息 API（流式、异步、token 计数）
• 文件和工件摄取
• 带引用的检索和代理式 RAG
• 内置工具，镜像 Claude API（网络搜索、网页抓取、代码执行）
• 自定义工具和 MCP 连接器
• 对数据库和 CSV 的结构化访问
• 嵌入和编排

---

快速开始

有关 Docker、完整安装选项和模型配置，请参阅完整快速入门指南。

前置条件： 你需要一个正在运行的 OpenAI 兼容 LLM 服务器。Ollama 是最简单的入门方式。

1. 安装 PrivateGPT

# macOS
brew tap zylon-ai/tap
brew install private-gpt

# Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

uv tool install --python 3.11 \
  --find-links https://wheels.privategpt.dev/packages/ \
  "private-gpt[core]"

# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

uv tool install --python 3.11 `
  --find-links https://wheels.privategpt.dev/packages/ `
  "private-gpt[core]"

2. 启动你的 LLM 服务器

# 以 Ollama 为例
ollama pull qwen3.5:35b         # LLM（约 24 GB）
ollama pull mxbai-embed-large   # 嵌入模型（约 670 MB）
ollama serve

3. 运行 PrivateGPT

# macOS / Linux
OPENAI_API_BASE=http://localhost:<llm-port>/v1 \
  OPENAI_EMBEDDING_API_BASE=http://localhost:<embedding-port>/v1 \
  private-gpt serve

# Windows（PowerShell）
$env:OPENAI_API_BASE = "http://localhost:<llm-port>/v1"
$env:OPENAI_EMBEDDING_API_BASE = "http://localhost:<embedding-port>/v1"
private-gpt serve

4. 打开 UI

访问 http://localhost:8080/ui。API 位于 http://localhost:8080，遵循 Anthropic API 规范。

该 UI 可用于：

• 发送消息。
• 从 /v1/models 选择模型。
• 上传文档。
• 测试带引用的检索。
• 按聊天启用工具。
• 配置数据库、MCP 连接器、技能和自定义工具。
• 通过 API 调试器检查请求和响应。

此 UI 是一个演示工具，而非核心产品。开发者应在 API 之上构建自己的应用。尽管如此，该 UI 经过精心打磨，足以用于演示、视频、内部试点和快速本地使用。

---

集成

| | | | |:-------------------------:|:-------------------------:|:-------------------------:| |Claude Desktop / Cowork|Microsoft Excel Claude 加载项|[![ms word claude]…