DeepSeek-R1-Distill-Qwen-14B · NVIDIA RTX 4090

vLLM · AWQ-INT4 · 由 2 条实测记录聚合（2 个来源类型）

实测指标

数字是「vLLM · AWQ-INT4」这个组合下全部已上架记录的均值。

TTFB 的单位尚待确认（原型标注为 GB，按录入原值展示）。

本站只收录实测数据。能不能在你的机器上跑起来，请对照你的显存、量化大小与上下文长度自行判断—— 我们没有你的硬件信息。

这些字段逐条记录各不相同，因此只在全部记录取值相同时才在这里给出值。

比的是「同一个模型 + 同一款硬件」下的不同框架与量化。点上面的按钮切换指标。

该模型 + 硬件下目前只有这一种配置，暂无横向对比。

这一行的均值由下列记录算出。每一行是一次独立的实测，带各自的配置、证据等级与来源。

#	框架版本	操作系统	驱动 / CUDA	上下文	批大小	GPU 层	Flash Attn	Decode	Prefill	显存	TTFT	TTFB	MTP	功耗	证据等级	来源	最后验证	更新时间
1	0.7.3	Ubuntu 24.04	550.107.02 / 12.4	32768	32	未填	未填	62.3	1180.5	11.2	0.28	—	—	356.8	L2 跨框架验证	GitHub	2026-09-03	2026-09-18
2	0.7.3	Ubuntu 24.04	550.107.02 / 12.4	32768	64	未填	未填	64.9	1205	11	0.31	—	—	358.2	L1 已复现	Hugging Face	2026-08-25	2026-09-18

表格可横向滚动查看更多列。

#1 GitHub · https://github.com/vllm-project/vllm/issues/araoai-14b
vLLM AWQ-INT4 批量 32 下 62 tok/s，两条链路互验。
#2 Hugging Face · https://huggingface.co/datasets/araoai/benchmarks/discussions/2
批量 64 时 64.9 tok/s。