测试环境
- CPU:i7-13700K
- GPU:RTX4080-16G
- MEM:DDR4-128G
- 温度0.3
- 上下文默认
- 使用CherryStudio流式提问,记录右下角TPS
- 单任务,不代表并发上限TPS
测试题目
阅读下面的材料,根据要求写作。(60分)随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?以上材料引发了你怎样的联想和思考?请写一篇文章。要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字。
测试结果
- DeepSeek-R1-1.5b: 412TPS
- DeepSeek-R1-7b: 178TPS
- DeepSeek-R1-14b: 84TPS
- Phi-4-14b: 43TPS
- Gemma-3-1b:304TPS
- Gemma-3-4b:76TPS
- Gemma-3-12b:55TPS
- Gemma-3-27b:6TPS [29%/71% CPU/GPU]
- QwQ-32B:6TPS [29%/71% CPU/GPU]
- Qwen2.5-1.5b:238TPS
- Qwen2.5-7b:112TPS
- Qwen2.5-14b:60TPS
- Qwen3-0.6B:416TPS
- Qwen3-1.7B:278TPS
- Qwen3-4B:192TPS
- Qwen3-8B:112TPS
- Qwen3-14B:70TPS
- Qwen3-30B-A3B:24TPS [30%/70% CPU/GPU]
Comments NOTHING