DeepAI 是一个代理服务器，通过整合“思考链”过程来增强大型语言模型（LLM）的交互体验。

它充当中间层，接收标准 OpenAI API 兼容请求，利用独立的“思考服务”生成推理过程，然后将增强后的请求转发到您选择的 LLM 后端。

这使得响应不仅由 LLM 生成，而且还基于预先的推理分析，从而产生更具洞察力和连贯性的回答。

• OpenAI API 兼容性:
  无缝集成为 OpenAI API 设计的应用程序。DeepAI 支持 /v1/chat/completions 和 /v1/models 端点，方便接入现有应用。

• 思考链增强:
  在将用户请求发送给最终 LLM 之前，DeepAI 会自动调用预配置的“思考服务”，生成推理过程，并将该推理链（即 reasoning_content）合成到请求中，帮助 LLM 生成更具洞察力的回答。

  • 标准模式（standard） 仅使用推理链中的 reasoning_content 字段，并允许将该内容以 SSE 流形式转发给客户端；
  • 完全模式（full） 则收集并使用 reasoning_content 与 content 两部分（但完全模式下不显示思考链给客户端）。

• 灵活的后端支持:
  通过配置多个后端 LLM 服务（“渠道”）和思考服务，可根据需求自由切换或路由请求。

• API 密钥路由:
  API 密钥前缀中的渠道 ID 用于路由，将请求交给相应的后端渠道，便于进行细粒度的服务控制。

• 流式与标准响应:
  支持聊天完成请求的流式和标准响应。流式模式下，思考服务生成的 SSE 流会原样转发（包含 reasoning_content 字段），便于客户端自行解析和展示。

• 加权随机选择:
  实现了基于比例权重的随机选择算法，从多个思考服务中以概率的方式选出一个服务。权重越高，被选中的概率越大。

• 代理支持:
  支持 HTTP 和 SOCKS5 代理，可用于连接思考服务和后端 LLM 渠道，适应各种网络环境。

• 全面日志记录与优雅关机:
  提供详细的请求日志（包含唯一请求 ID、时间戳等）以及优雅的关机处理，便于监控和调试。

项目地址

https://github.com/BlueSkyXN/DeepAI

操作教程、代码等内容均在GitHub仓库，不再复述