平台与托管端点

本页覆盖通过平台专用网关、企业云集成、托管推理平台或区域模型市场接入的提供商，而不是单一的一方模型厂商 API。

包含的提供商

• Replicate
• NVIDIA NIM
• DeepInfra
• Azure OpenAI
• GitHub Models(Azure AI Inference)
• Qwen (DashScope)
• MiniMax
• Qianfan(百度)
• VolcEngine(豆包)
• BytePlus ModelArk
• Zhipu(GLM)
• Zhipu Coding(CodeGeex)
• Z.ai
• Vertex AI

关于 Bedrock: AWS Bedrock 已挪到 托管 API 页面 —— 当前驱动用长效 bearer token(AWS_BEARER_TOKEN_BEDROCK)鉴权而不是逐请求 SigV4 签名。原本在本页的 SigV4 条目已删除。

Replicate

可用模型：

• replicate/meta-llama-3.3-70b-instruct (平衡)

设置：

1. 在 replicate.com 注册账号
2. 前往 Account > API Tokens
3. export REPLICATE_API_TOKEN="r8_..."

NVIDIA NIM

设置：

1. 在 build.nvidia.com 注册账号
2. 创建 API 密钥
3. export NVIDIA_API_KEY="nvapi-..."

DeepInfra

设置：

1. 在 deepinfra.com 注册账号
2. 创建 API 密钥
3. export DEEPINFRA_API_KEY="..."

Azure OpenAI

设置：

1. 在 Azure 门户 中创建 Azure OpenAI 资源
2. 在 Azure OpenAI Studio 中部署模型
3. 设置环境变量：

   export AZURE_OPENAI_API_KEY="..."
   export AZURE_OPENAI_ENDPOINT="https://<your-resource>.openai.azure.com"
   

   CopyCopied!

GitHub Models(Azure AI Inference)

设置：

1. 登录 github.com/marketplace/models
2. 生成一个 fine-grained Personal Access Token(Models 端点不需要 repository scope)
3. export GITHUB_MODELS_TOKEN="ghp_..."(同一把 PAT 也是 github-copilot 用的 GITHUB_TOKEN,但环境变量保持独立,这样配置一个产品不会顺带激活另一个)

最小 config.toml：

[default_model]
provider = "microsoft"
model = "phi-4"

说明: 虽然 provider id 叫 microsoft,但实际是 GitHub Models / Azure AI Inference 端点,与 azure-openai(指向你自有 Azure OpenAI 部署,通过 AZURE_OPENAI_ENDPOINT 路由)以及 github-copilot(IDE 端的 Copilot 订阅)都不同。模型通过 catalog 加载,包含第三方托管模型如 meta-llama-3-70b-instruct、mistral-large、phi-4 等。

Qwen (DashScope)

区域：

设置：

1. 在 DashScope 控制台 注册账号
2. 创建 API 密钥
3. export DASHSCOPE_API_KEY="sk-..."
4. 可选：在 config.toml 中选择区域：

   [provider_regions]
   qwen = "intl"    # 或 "us"
   

   CopyCopied!

说明： Qwen 使用阿里云的 DashScope API。默认端点服务于中国大陆；如在中国境外使用，建议选择 intl 或 us 区域以降低延迟。模型定义在注册表 TOML 中，在启动时加载。

MiniMax

区域：

设置：

1. 在 minimax.io（国际版）或 minimaxi.com（中国版）注册账号
2. 创建 API 密钥
3. export MINIMAX_API_KEY="..."
4. 中国区域设置：

   [provider_regions]
   minimax = "china"
   

   CopyCopied!

   export MINIMAX_CN_API_KEY="..."
   

   CopyCopied!

媒体生成： 除了 LLM 聊天模型外，MiniMax 还通过 Creator Hand 或媒体 API 端点提供媒体生成能力：

这些功能通过 /api/media/* 端点或 image_generate、video_generate、music_generate、text_to_speech 工具访问。

说明： MiniMax 国际版（minimax.io）和中国版（minimaxi.com）使用不同的 API 密钥。选择 china 区域时，LibreFang 会自动从 MINIMAX_CN_API_KEY 而非 MINIMAX_API_KEY 读取密钥。

Qianfan(百度)

设置：

1. 在百度千帆控制台注册
2. 在 IAM 面板创建 API key
3. export QIANFAN_API_KEY="..."

最小 config.toml：

[default_model]
provider = "qianfan"
model = "ernie-4.0-8k"

说明: 千帆是百度的 LLM 平台;ernie-4.0、ernie-4.0-turbo、ernie-speed 等系列通过 OpenAI 兼容的 v2 端点暴露。ernie-4.0+ 支持工具与 function calling。

VolcEngine(豆包)

设置：

1. 在火山引擎控制台注册
2. 在 Ark > 推理接入点 创建端点,记录其模型 ID(ep-...)
3. 在 Ark > API Keys 生成 API key
4. export VOLCENGINE_API_KEY="..."

最小 config.toml：

[default_model]
provider = "volcengine"
model = "ep-20240101120000-abcde"   # 端点 ID, 不是模型名

说明: 豆包是字节跳动的 LLM 产品,通过火山引擎 Ark 推理平台暴露。和大多 provider 不同,model 字段必须填端点 ID(ep-...),不是模型家族名。豆包 1.5 / 1.6 端点支持 vision 与工具。Coding Plan 端点(https://ark.cn-beijing.volces.com/api/coding/v3)注册为独立 provider volcengine_coding,使用 VOLCENGINE_CODING_API_KEY —— 两个端点都用就把同一把 key 值同时导出到两个环境变量。

BytePlus ModelArk

火山引擎国际版。同一套 Ark 平台,区域为 ap-southeast,USD 计价。下面两个端点使用独立环境变量(byteplus 用 BYTEPLUS_API_KEY,byteplus_coding 用 BYTEPLUS_CODING_API_KEY)—— 同一把 BytePlus 账号 key 在两边都能用,只需把同一个值导出到对应环境变量名下。

byteplus — 标准 /api/v3 端点

[default_model]
provider = "byteplus"
model = "seed-2-0-pro-260328"       # 版本化快照 ID, 见 byteplus.toml

byteplus_coding — Anthropic 兼容的 coding 端点

[default_model]
provider = "byteplus_coding"
model = "ark-code-latest"           # 自动路由的友好别名

设置:

1. 在 BytePlus 控制台 注册
2. 在 ModelArk > Model Inventory 激活想用的模型
3. 在 ModelArk > API Keys 生成 API key
4. export BYTEPLUS_API_KEY="..."(给标准 byteplus 端点用)
5. export BYTEPLUS_CODING_API_KEY="..."(给 byteplus_coding 端点用 —— 同一把 key 值,独立环境变量)

说明: byteplus 用版本化快照 ID(如 seed-2-0-pro-260328)。byteplus_coding 用友好别名(如 ark-code-latest 自动路由,以及 dola-seed-2.0-pro、kimi-k2.5、glm-4.7、gpt-oss-120b)— 这些别名在模型升级时保持稳定。

Zhipu(GLM)

设置：

1. 在智谱开放平台注册
2. 在 账户 > API Keys 生成 API key
3. export ZHIPU_API_KEY="..."

最小 config.toml：

[default_model]
provider = "zhipu"
model = "glm-4-plus"

说明: 智谱开发 GLM(General Language Model)系列。支持工具、vision、embedding。z.ai(下面)是同一后端的国际区域前端,但注册为独立 provider,使用独立的 ZAI_API_KEY。Coding Plan 端点(zhipu_coding、zai_coding)同样使用独立的 ZHIPU_CODING_API_KEY 与 ZAI_CODING_API_KEY。在智谱注册一次,把同一个 key 值按需导出到对应的环境变量名下。

Zhipu Coding(CodeGeex)

设置：

1. 复用上面的智谱 API key(在智谱开放平台注册一次)
2. export ZHIPU_CODING_API_KEY="..."(与 ZHIPU_API_KEY 同值;独立环境变量,避免配置 Zhipu chat 时把 Coding 端点也自动激活)

最小 config.toml：

[default_model]
provider = "zhipu-coding"
model = "codegeex-4"

说明: 服务 CodeGeex 模型的编码专用端点。鉴权同 Zhipu/GLM,但基础 URL 不同 —— 想要 fill-in-the-middle / 仓库感知的代码补全而不是通用 chat 时用这个 provider。

Z.ai

设置：

1. 复用智谱 API key(在智谱开放平台注册一次)
2. export ZAI_API_KEY="..."(与 ZHIPU_API_KEY 同值;独立环境变量,避免配置 Zhipu chat 时把 z.ai 端点也自动激活)

最小 config.toml：

[default_model]
provider = "z.ai"
model = "glm-4-plus"

说明: Z.ai 品牌端点 —— 后端是同一个智谱,做了海外流量路由。Coding 变体 zai_coding(基础 URL https://api.z.ai/api/coding/paas/v4)注册为独立 provider,使用 ZAI_CODING_API_KEY(把同一把智谱 key 值再导出一份)。

Vertex AI

设置：

1. 在 Google Cloud 控制台 中启用 Vertex AI API
2. 创建服务账号密钥文件，或使用 gcloud auth application-default login 进行认证
3. 设置环境变量：

   # 方式 A：服务账号密钥文件
   export GOOGLE_APPLICATION_CREDENTIALS="/path/to/service-account.json"
   export VERTEX_PROJECT="your-gcp-project"
   export VERTEX_LOCATION="us-central1"
   
   # 方式 B：gcloud CLI（无需密钥文件）
   gcloud auth application-default login
   export VERTEX_PROJECT="your-gcp-project"
   export VERTEX_LOCATION="us-central1"
   

   CopyCopied!
4. 在 config.toml 中配置：

   [vertex_ai]
   project = "your-gcp-project"
   location = "us-central1"
   

   CopyCopied!

说明： Vertex AI 使用与原生 Gemini 驱动相同的 generateContent API 格式，但通过 Google Cloud OAuth2 而非 API 密钥进行认证。访问令牌缓存约 50 分钟的 TTL，并在到期前自动刷新。端点格式为 https://{location}-aiplatform.googleapis.com/v1/projects/{project}/locations/{location}/publishers/google/models/{model}:generateContent。