目录
引言
随着 AI 应用的普及,如何高效管理和监控 AI 服务变得越来越重要。Cloudflare AI Gateway 作为一个强大的 AI 应用管理平台,提供了全方位的可观测性和控制能力。本文将深入分析其核心特性、应用场景以及最佳实践。
Cloudflare的AI Gateway允许您获得对AI应用程序的可见性和控制。
通过将您的应用连接到AI Gateway，您可以通过分析和日志记录收集有关人们如何使用您的应用的见解，然后控制您的应用如何使用缓存、速率限制以及请求重试、模型回退等功能进行扩展。
https://developers.cloudflare.com/ai-gateway/
支持多个主流 AI 服务提供商
- Workers AI
- Amazon Bedrock (Beta)
- Anthropic
- Azure OpenAI
- Cartesia (Beta)
- Cerebras (Beta)
- Cohere
- DeepSeek (Beta)
- ElevenLabs (Beta)
- Google AI Studio
- Google Vertex AI (Beta)
- Grok
- Groq
- HuggingFace
- Mistral AI
- OpenAI
- OpenRouter (Beta)
- Perplexity
- Replicate
对比早期刚开始时，现在也支持DeepSeek等近期热门平台，当然，以国外平台为主，国内为主的可以用腾讯的EO-Gateway
主要功能
- 速率限制：避免出现异常高频请求，在Gemini等速率敏感接口时很有用，尤其是谷歌Gemini高频免费时很容易封号
- CF代理：能通过CF网络 https://gateway.ai.cloudflare.com 给大部分国际网络提供相对稳定的服务，也可以优选IP，但是注意这玩意会传递地区信息给后端服务商。
- 缓存响应：最大缓存1个月，能一定程度上降低某些用法下的成本并加快响应，尤其是翻译。
- 分析和日志：能看到使用量、请求和响应内容、时间等
- 独立网关验证：能提供统一的额外安全验证KEY来阻止部分不当请求
- 通过统一高可用入口：通过 Universal Endpoint可以提供统一入口：你只需要记住一个 API 地址，就能调用各种 AI 服务（比如 OpenAI、Google AI、微软 Azure OpenAI 等）+自动容错：如果一个 AI 服务出问题了，它会自动切换到备用的服务，确保你的应用不会中断+统一格式：不同 AI 服务的调用方式可能不一样，但通过这个接口，你只需要用一种格式就可以了。但是注意，这个格式是CF自己的独立格式，并不是大家最常用的OpenAI格式，也基本没被各家第三方软件支持。
- 其中支持提供免费服务的WorkerAI、Groq/Cohere/Gemini等
- 不限制出口账号，可以多个账号共享一个AI网关
缺点
- 这玩意会传递地区信息给后端服务商
- Universal Endpoint是CF标准格式，而不是OpenAI格式导致基本没人对接
- 各平台入口格式并没有被转换，还是保持原样（不过也因此可以直接写在One-API等的AI配置中的代理设置中）
- 不支持自定义出口对象，所以不能对接自己的One-API等平台作为目标，只能使用官方指定的OpenAI、Gemini等，而这些基本都是付费API
主要用法
使用 Universal Endpoint
大部分第三方对接平台似乎都没引入对接，估计得自行开发时使用为主，参考文档 https://developers.cloudflare.com/ai-gateway/providers/universal/
使用 各自的服务商
基本只需要把域名按照官方提示替换，或者OneAPI可以直接写在代理的位置即可
建议
- 建议不同服务商分开创建网关，一共可以10个。
- 反正不用钱，境外能接都接
- 境内要小心传递，Gemini看上去能用但是有风险，Groq直接404
- 香港也要小心很多不支持，比如gemini和groq，走的cf hk
- 可以自己nginx反代
- worker反代效果不大
Comments NOTHING