开源与本地工具 · 工具介绍
Manifest LLM Gateway
Manifest LLM Gateway 将不同模型服务、订阅和本地模型接到同一兼容 OpenAI 的入口，提供路由、请求记录、用量观察与失败回退。
Manifest LLM Gateway 能做什么
Manifest LLM Gateway 将不同模型服务、订阅和本地模型接到同一兼容 OpenAI 的入口，提供路由、请求记录、用量观察与失败回退。
- 语言模型调用路由管理
- 智能体运行与模型调用追踪监测
如何使用 Manifest LLM Gateway
将应用请求接入统一模型网关
准备输入
- 已有模型服务凭据或本地模型
- 应用请求与希望使用的路由规则
操作步骤
- 按自托管说明启动网关，创建管理员账户并连接允许使用的模型来源。
- 将应用接入统一端点，发起样例请求，检查路由、成功或错误记录与用量。
预期交付物
- 统一模型入口及可检查的请求日志
完整请求日志可能包含业务内容，应按用途控制保留范围；失败回退后的结果仍须检查。
开始前需要了解
账号权限、费用与可用功能请以官方入口的当前说明为准。重要结果应先检查，再用于实际工作。
从开源与本地工具角度评估Manifest LLM Gateway
把开源与本地工具需要的条件列清楚，再比较工具。阅读本页的产品用途、步骤与限制，再逐项确认下面的问题；这些是选型方法，不表示每款工具都具备同样能力。
本地运行到哪一步
区分本地界面、本地处理和外部API；不能只看名称判断数据去向。
环境是否匹配
检查系统、内存、磁盘和依赖，按官方要求判断能否运行。
后续是否可维护
确认许可证、配置保存、数据导出与版本更新方法。
选择一个小样任务，先检查结果与交付格式，再决定是否用于更多资料。
