Qwen3-32B · NVIDIA RTX 3090

llama.cpp · Q4_K_M · 由 2 条实测记录聚合（2 个来源类型）

实测指标

数字是「llama.cpp · Q4_K_M」这个组合下全部已上架记录的均值。

TTFB 的单位尚待确认（原型标注为 GB，按录入原值展示）。

本站只收录实测数据。能不能在你的机器上跑起来，请对照你的显存、量化大小与上下文长度自行判断—— 我们没有你的硬件信息。

这些字段逐条记录各不相同，因此只在全部记录取值相同时才在这里给出值。

比的是「同一个模型 + 同一款硬件」下的不同框架与量化。点上面的按钮切换指标。

该模型 + 硬件下目前只有这一种配置，暂无横向对比。

这一行的均值由下列记录算出。每一行是一次独立的实测，带各自的配置、证据等级与来源。

#	框架版本	操作系统	驱动 / CUDA	上下文	批大小	GPU 层	Flash Attn	Decode	Prefill	显存	TTFT	TTFB	MTP	功耗	证据等级	来源	最后验证	更新时间
1	b4567	Ubuntu 22.04	535.183.01 / 12.2	8192	未填	99	未填	12.8	141.7	19.5	1.62	—	—	298.4	L0 自报	Bilibili	2026-07-30	2026-09-18
2	b4602	Ubuntu 22.04	535.183.01 / 12.2	8192	未填	99	开启	13.1	145	19.5	1.58	—	—	301.2	L1 已复现	GitHub	2026-08-15	2026-09-18

表格可横向滚动查看更多列。