测试环境

  1. CPU:i7-13700K
  2. GPU:RTX4080-16G
  3. MEM:DDR4-128G
  4. 温度0.3
  5. 上下文默认
  6. 使用CherryStudio流式提问,记录右下角TPS
  7. 单任务,不代表并发上限TPS

测试题目

阅读下面的材料,根据要求写作。(60分)随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?以上材料引发了你怎样的联想和思考?请写一篇文章。要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字。

测试结果

  1. DeepSeek-R1-1.5b: 412TPS
  2. DeepSeek-R1-7b: 178TPS
  3. DeepSeek-R1-14b: 84TPS
  4. Phi-4-14b: 43TPS
  5. Gemma-3-1b:304TPS
  6. Gemma-3-4b:76TPS
  7. Gemma-3-12b:55TPS
  8. Gemma-3-27b:6TPS [29%/71% CPU/GPU]
  9. QwQ-32B:6TPS [29%/71% CPU/GPU]
  10. Qwen2.5-1.5b:238TPS
  11. Qwen2.5-7b:112TPS
  12. Qwen2.5-14b:60TPS
  13. Qwen3-0.6B:416TPS
  14. Qwen3-1.7B:278TPS
  15. Qwen3-4B:192TPS
  16. Qwen3-8B:112TPS
  17. Qwen3-14B:70TPS
  18. Qwen3-30B-A3B:24TPS [30%/70% CPU/GPU]
  • alipay_img
  • wechat_img
最后更新于 2025-04-29