试用了下OmniRoute,感觉还不错!安装简单,集成也方便,关键还免费,天下真有这样的好事!
OmniRoute 是一款本地优先、开源免费(MIT 许可证)的 AI 网关,旨在通过一个统一的 OpenAI 兼容端点,将请求智能路由到 230+ 家 AI 提供商(含 90+ 免费服务)和 1200+ 模型,从而解决多供应商集成碎片化、成本不可控和服务不稳定等痛点。
OmniRoute 充当 AI 应用的「统一入口 + 智能调度层」:客户端只需指向一个本地 base URL(如 http://localhost:20128/v1),网关便自动完成协议转换、供应商选择、故障回退和用量记录,无需为每家供应商单独维护 API 密钥和客户端库。
npm install -g omniroute
omniroute
如上两步就可拉起服务!
此时可以打开配置的Web UI,也可以直接发起API调用了,是不是超简单!
Web UI,可配置各参数
import OpenAI from "openai"
const OmniRouter = new OpenAI({
apiKey: "sk-xxxx-xxxxx",
baseURL: "http://localhost:20128/v1",
})
const response = await OmniRouter.chat.completions.create({
model: "auto",
messages: [
{
role: "user",
content: "简介OmniRoute"
},
],
})
console.log(4156, response.choices[0].message.content)