llm_gateway

我经常使用各类ai工具还有多个llm服务商的api，这导致我想要切换某个工具的模型非常麻烦，而且有些工具只支持 openai 风格的调用，有些工具只支持anthropic风格的，服务商也是，有些两种风格都提供了，有些是只有单一风格的。

于是我萌发了做一个llm网关的想法，核心玩法是可以配置路由规则来根据请求动态切换服务商和模型。

​ ​

如上图所示，只需要配置一个匹配包含图片的路由规则指向多模态模型就可以做到平时使用更好的glm5.1但是不支持图片输入，一旦粘贴图片，就立刻无感切换多模态模型处理

还有一些神奇的用法，例如cc会将项目路劲拼在提示词中，所以这玩意还可以通过提示词匹配规则来做到公司的项目用公司的token，自己的项目用自己的token

可以在这里一键启用和管理路由规则来切换不同的服务商，例如上图中只需要关闭第四条就会开始使用deepseek 而且不用重启claude code

缺点:模型和服务商的切换会导致缓存命中率略微降低，但我实际使用中感觉也只是会低一点点

项目地址：https://github.com/2234839/llm_gateway ，使用bun构建的，可以在 https://github.com/2234839/llm_gateway/releases 中直接下载单文件使用

仪表盘界面（可以实时看到当前并发和输出速率等信息）：

​ ​