LLM 提供商
LibreFang 内置了完整的模型目录,覆盖 3 个原生 LLM 驱动、49 个提供商、230+ 个内置模型 和 23 个别名。所有提供商最终都走三类成熟驱动之一:原生 Anthropic 驱动、原生 Gemini 驱动,或通用的 OpenAI-compatible 驱动。
本章节按用途拆成了独立子页,便于你直接进入托管 API、本地运行时、平台集成、开发工具后端或提供商运维能力。模型目录同时支持动态加载:官方提供商定义会预装到 ~/.librefang/providers/,你放进去的自定义 *.toml 文件会在启动时一并合并进目录。
目录
- 托管 API -- Anthropic、OpenAI、Gemini、DeepSeek、Groq、OpenRouter、Mistral、Together、Fireworks、Perplexity、Cohere、Cerebras、SambaNova、Hugging Face、xAI、Alibaba Coding Plan、Moonshot、Novita、AWS Bedrock
- 本地与自托管 -- Ollama、vLLM、LM Studio
- 平台与托管端点 -- Replicate、NVIDIA NIM、DeepInfra、Azure OpenAI、Qwen (DashScope)、MiniMax、Qianfan(百度)、VolcEngine(豆包)、BytePlus ModelArk、Zhipu(GLM)、Zhipu Coding、Z.ai、Vertex AI
- 开发工具 -- Claude Code、GitHub Copilot、ChatGPT(会话)、Kimi Coding、Aider、Claude Code CLI、Codex CLI、Gemini CLI、Qwen Code
- 提供商管理 -- 动态加载、模型目录、别名、路由、配额、后备、API 端点、频道命令、环境变量、安全说明
能力矩阵
一眼看清各 provider 支持哪些能力。✓ = 驱动里已接,○ = 部分支持/取决于具体模型,✗ = LibreFang 中此 provider 不暴露此能力。这里的 embedding 指推理时 embedding,不是本地 Ollama 自动检测梯队。
| Provider | Vision | 工具 | Embedding | 文件上传 | Prompt 缓存 | 图像生成 | 音频 |
|---|---|---|---|---|---|---|---|
| Anthropic | ✓ | ✓ | ✗ | ✓ | ✓ | ✗ | ✗ |
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Google Gemini | ✓ | ✓ | ✓ | ○ | ✗ | ✗ | ✗ |
| DeepSeek | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Groq | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| OpenRouter | ✓ | ✓ | ✗ | ○ | ○ | ✓ | ○ |
| Mistral AI | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ |
| Together AI | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ |
| Fireworks AI | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ |
| Perplexity | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Cohere | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ |
| Cerebras | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| SambaNova | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Hugging Face | ○ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ |
| xAI | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Alibaba Coding | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Moonshot (Kimi) | ✓ | ✓ | ✗ | ✓ | ✗ | ✗ | ✗ |
| Novita AI | ○ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| AWS Bedrock | ✗ | ✓ | ✓ | ✗ | ○ | ✗ | ○ |
| Replicate | ✓ | ✗ | ✓ | ○ | ✗ | ✓ | ✓ |
| Azure OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Qwen (DashScope) | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ |
| MiniMax | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ |
| Qianfan(百度) | ✓ | ✓ | ✓ | ○ | ✗ | ✗ | ○ |
| VolcEngine(豆包) | ✓ | ✓ | ✗ | ○ | ✗ | ✗ | ✗ |
| BytePlus ModelArk | ✓ | ✓ | ✗ | ○ | ✗ | ✗ | ✗ |
| Zhipu (GLM) | ✓ | ✓ | ✓ | ○ | ✗ | ✗ | ✗ |
| Vertex AI | ✓ | ✓ | ✓ | ✓ | ✗ | ✓ | ○ |
| GitHub Copilot | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| ChatGPT(会话) | ✓ | ✓ | ✗ | ✓ | ✗ | ✗ | ○ |
| Kimi Coding | ✓ | ✓ | ✗ | ✓ | ✗ | ✗ | ✗ |
| Ollama(本地) | ○ | ○ | ✓ | ✗ | ✗ | ✗ | ✗ |
完整 provider 目录(含全部别名和模型)用 librefang models list 对运行中的 daemon 查询 —— 进程内注册表才是 source of truth。
快速设置
从零开始最快的方式:
# 选择一个提供商 - 设置对应的环境变量即可
export GEMINI_API_KEY="your-key" # 有免费额度
# 或
export GROQ_API_KEY="your-key" # 有免费额度
# 或
export ANTHROPIC_API_KEY="your-key"
# 或
export OPENAI_API_KEY="your-key"
LibreFang 在启动时自动检测哪些提供商已配置 API 密钥。已认证的提供商下的所有模型会立即可用。本地提供商(Ollama、vLLM、LM Studio)无需任何密钥。
对于 Gemini,GEMINI_API_KEY 和 GOOGLE_API_KEY 均可使用。