公有模型
接入海外、国内和公有云模型,统一管理 API Key、协议差异和调用策略。
聚合模型与算力,优化每一次 AI 使用,管理 AI 预算,并沉淀企业自己的 AI 数据资产。TokenForge 不是单纯的模型商城,也不是单一聊天工具,而是企业统一连接、调度、管理和沉淀 AI 能力的中枢。
| 读者 | 最关心的问题 | 建议先读 |
|---|---|---|
| 企业管理者 | AI 被谁使用、产生多少成本、最终沉淀为什么资产? | 预算管理、数据沉淀 |
| IT / 平台团队 | 如何统一接入模型、控制权限、审计请求和管理数据边界? | 来源聚合、接入指南、安全与治理 |
| 开发者 | OpenAI、Anthropic 和内部模型如何接入,应用如何减少 Provider 配置? | 接入指南、统一入口、智能路由 |
| 高信任交付客户 | 何时需要内网、离线、自有算力或数据驻留边界? | 安全与治理、私有化部署 |
来源聚合解决的是企业 AI 资源分散问题。TokenForge 统一接入不同供应商、不同协议、不同部署位置和不同模型能力,让企业侧使用一个稳定入口。这里的 AI 能力不只包括文本对话模型,也包括未来的视频、图片、音频、Embedding、Rerank 和 Agent 工具等能力来源。
接入海外、国内和公有云模型,统一管理 API Key、协议差异和调用策略。
接入企业自有模型、微调模型或内部推理端点,并纳入同一权限和预算体系。
接入 GPU、内网推理服务或离线节点,用于更高数据控制和专属资源场景。
规划接入图片、音频、视频、Embedding 和 Rerank 等能力类型,纳入统一预算和治理边界。
兼容已有代理、聚合服务或合作方通道,降低迁移成本。
接入指南说明企业如何开始使用 TokenForge。管理员先把不同 Provider 的连接信息配置到 TokenForge,再由应用使用统一的 TokenForge Key 调用模型、虚拟模型或其他 AI 能力。这里要区分两种 Base URL:应用连接 TokenForge 的 Base URL,以及 TokenForge 连接上游 Provider 的 Base URL。
.../v1;Anthropic-compatible 用根地址。| 配置位置 | OpenAI / OpenAI-compatible | Anthropic-compatible |
|---|---|---|
| 应用接 TokenForge | SaaS:https://api.tokgoai.com/v1私有化部署: http://<私有化部署服务器 IP>:3080/v1 | SaaS:https://api.tokgoai.com私有化部署: http://<私有化部署服务器 IP>:3080 |
| TokenForge 接上游 Provider | 官方 OpenAI:https://api.openai.com中转服务:填写该服务给出的根地址,例如 https://api.example.com | 官方 Anthropic:https://api.anthropic.com |
| 实际请求路径 | 应用或 TokenForge 会访问 /v1/chat/completions、/v1/models 等路径。 | 应用或 TokenForge 会访问 /v1/messages、/v1/models 等路径。 |
随着 AI 能力从文本扩展到图片、音频和视频,接入指南需要按“能力类型”说明协议、输入输出和治理边界。下面表格用于定义文档结构和产品方向;标注为规划的能力,应理解为后续支持方向,不等同于当前部署版本已经全部可用。
| 能力类型 | 接入对象 | 配置重点 | 状态边界 |
|---|---|---|---|
| 文本 / 对话模型 | OpenAI、Anthropic、OpenAI-compatible、私有大语言模型 | Base URL、API Key、模型名、上下文长度、流式返回、预算和路由策略。 | 当前重点能力。 |
| 图片模型 | 图像生成、图像编辑、视觉理解、多模态输入模型 | 输入格式、图片尺寸、文件存储、内容安全、输出资产记录和成本归因。 | 规划接入类型。 |
| 音频模型 | 语音识别 STT、语音合成 TTS、音频理解模型 | 音频格式、采样率、时长限制、转写结果、语音资产和隐私边界。 | 规划接入类型。 |
| 视频模型 | 视频生成、视频理解、视频摘要和多模态检索 | 文件大小、处理时长、异步任务、生成结果保存、成本和审计记录。 | 规划接入类型。 |
| 向量 / Rerank | Embedding、Rerank、检索增强和知识库相关模型 | 向量维度、索引归属、召回策略、重排模型、知识库权限和使用记录。 | 规划接入类型。 |
| Agent / 工具能力 | Agent、工作流、工具调用和企业内部 API | 工具权限、执行上下文、调用链路、失败重试和审计留痕。 | 作为 AI 能力统一治理。 |
| Provider | 上游 Base URL | 接入要素 | 典型用途 |
|---|---|---|---|
| OpenAI | https://api.openai.com | OpenAI API Key、模型名、组织侧权限和预算。 | GPT 系列、OpenAI-compatible 生态和常见 Chat Completions 接入。 |
| Anthropic | https://api.anthropic.com | Anthropic API Key、Claude 模型名、协议适配和调用策略。 | Claude 系列模型、长文本、推理和企业知识工作流。 |
| OpenAI-compatible 中转 | 中转服务给出的根地址 | 中转服务 Base URL、上游 Key、模型映射和健康检查。 | 已有代理、聚合服务、合作方通道和迁移过渡。 |
| 私有模型 / 自有算力 | 企业内网 endpoint | 模型标识、认证方式、输入输出能力和数据边界。 | 内部模型、GPU 推理、离线节点和高信任数据场景。 |
OpenAI 或 OpenAI-compatible Provider 接入后,应用侧仍调用 TokenForge 统一入口。OpenAI SDK / 应用配置的 TokenForge Base URL 通常带 /v1;上游 OpenAI Provider 的 Base URL 则填写根地址 https://api.openai.com,上游 Key 保存在 TokenForge Provider 配置中。
Anthropic Provider 接入后,可以把 Claude 模型纳入同一组织目录。Anthropic SDK、Claude Code 或 Cursor 配置的 TokenForge Base URL 通常不带 /v1,例如私有化部署为 http://<私有化部署服务器 IP>:3080;上游 Anthropic Provider 的 Base URL 填写 https://api.anthropic.com。
.../v1,Anthropic-compatible 客户端用根地址;私有化部署时把示例中的 <私有化部署服务器 IP> 替换为实际服务器 IP 或内网域名。Provider 配置里填的是上游地址:OpenAI 用 https://api.openai.com,Anthropic 用 https://api.anthropic.com。不要把上游 Provider 的 Base URL 填到用户应用里,也不要把 TokenForge 的 Base URL 当作上游 Provider 地址。智能路由是 TokenForge 的关键技术特点。系统会基于任务类型、模型能力、成本、延迟、健康状态和企业策略,在固定模型、自动选择、故障切换之间做出执行决策。随着接入对象扩展,路由目标也应从文本模型扩展到图片、音频、视频、Embedding、Rerank 和 Agent 工具等能力类型。
识别模型、任务和使用场景,确认是否需要固定模型或自动路由。
评估模型能力、成本、健康状态、预算和安全策略。
路由到目标模型、Agent 或企业 AI 能力;必要时触发故障切换。
| 模式 | 适合场景 | 决策边界 |
|---|---|---|
| 固定模型 | 业务要求指定模型、固定供应商或固定能力。 | 直接解析单一目标,不把每个请求都强行进入自动选择。 |
| 智能路由 | 同一任务有多个可选模型,需要在质量、速度、成本和稳定性之间平衡。 | 按策略、模型能力、健康状态和预算边界规划候选路径。 |
| 故障切换 | 目标模型不可用、超时、健康状态异常或策略允许备用路径。 | 只在企业策略允许时切换,并记录切换原因和实际目标。 |
虚拟模型让应用不直接绑定某一个 Provider 或具体模型,而是调用一个稳定的能力名称。TokenForge 在后台维护候选模型、路由策略、预算边界和故障切换规则。
这个能力适合客服、研发助手、知识问答、Agent 执行等需要长期稳定入口但底层模型会变化的场景。
统一入口降低的是接入和维护成本。员工工具、业务系统、Agent 和开发者脚本不需要分别维护多个 Provider 配置,由 TokenForge 统一处理认证、协议、路由、预算和审计。
| 使用方 | 典型场景 | TokenForge 提供的边界 |
|---|---|---|
| 员工 | 日常协作、写作、分析和知识查询 | 组织身份、可用能力和预算限制 |
| 应用 | 产品功能、内部工具、自动化流程 | 统一 API、路由策略和调用留痕 |
| Agent | 任务执行、工具调用、流程编排 | 能力授权、执行记录和风险控制 |
| 业务系统 | ERP、CRM、知识库和工单系统 | 系统级凭证、项目归因和审计记录 |
| 开发者 | API 集成、脚本、测试和模型切换 | 兼容入口、统一 Key 和可观测数据 |
TokenForge 将 AI 使用与组织、成员、项目、模型和来源关联起来,让预算管理进入实际调度策略,而不只是事后财务统计。
| 管理对象 | 回答的问题 | 可执行动作 |
|---|---|---|
| 组织 | 团队整体 AI 消耗是否超出预期? | 设置预算线、告警和限流策略 |
| 成员 | 谁在使用,使用了哪些能力? | 查看归因、权限和调用范围 |
| 项目 | 哪个项目产生了成本? | 按项目聚合、分配预算和调整策略 |
| 模型与来源 | 成本来自哪个模型或 Provider? | 比较来源、固定模型或切换路由 |
TokenForge 记录每次 AI 使用中的调用者、模型、用量、结果状态和治理记录,形成可追溯、可分析和可复用的数据资产。
记录谁在什么场景使用了哪些模型、Agent 或企业 AI 能力。
模型、来源、结果状态、用量、成本和策略结果被关联保存。
沉淀模型使用经验、企业知识、Agent 执行记录和治理经验。
安全与治理用于保障模型与服务接入、AI 使用和数据沉淀过程可控、可查、可追溯。身份、权限、预算、策略、DLP 和审计进入同一请求链路。
确认调用者、组织、角色和可使用的 AI 能力。
检查预算阈值、路由策略和敏感信息边界。
记录策略结果、模型目标和调用轨迹,用于追溯、归因和复盘。
| 数据边界 | 适合场景 | 说明 |
|---|---|---|
| 外部模型 | 需要使用公有模型能力、速度或生态。 | DLP 和策略可降低外发风险,但不承诺数据绝对不出域。 |
| 自有算力 | 内部模型、GPU、内网推理或专属资源。 | 可把部分任务路由到企业控制的模型或算力路径。 |
| 私有化部署 | 数据驻留、离线、内网和高信任交付。 | 改变运行边界和数据控制方式,产品能力保持一致。 |
注册开始适合希望快速建立团队 AI 工作流的企业。管理员创建组织后,配置模型来源、API Key、成员权限和预算策略,即可让团队或应用开始接入。
建立组织、成员和角色,为后续权限与预算归因提供基础。
接入模型、Provider、API Key、私有模型或中转服务。
配置可用能力、预算阈值、审计和数据边界策略。
注册开始和私有化部署是两种交付方式,不是两个产品。私有化部署的核心价值是改变数据和运行边界,而不是改变 TokenForge 的产品能力。
| 方式 | 适合场景 | 边界变化 |
|---|---|---|
| 平台托管环境 | 快速建立团队 AI 工作流 | 平台托管运行,组织和租户隔离 |
| 私有化部署 | 企业机器、内网、离线、自有算力和专属资源 | 满足数据驻留、合规和更高信任交付要求 |