搜索实测数据

筛选

共 6 个配置组合

模型	量化	硬件	框架	Decode	Prefill	显存	证据等级	来源	更新时间
Qwen3-32B	Q4_K_M	NVIDIA RTX 4090	llama.cpp	18.4	216.93	19.5	L2 跨框架验证	GitHub、Reddit	2026-09-18
Qwen3-32B	Q4_K_M	NVIDIA RTX 4090	Ollama	17.4	198.2	19.8	L1 已复现	V2EX	2026-09-18
Qwen3-32B	Q4_K_M	NVIDIA RTX 3090	llama.cpp	12.95	143.35	19.5	L1 已复现	GitHub、Bilibili	2026-09-18
Llama-3.1-8B-Instruct	Q5_K_M	NVIDIA RTX 4060 Ti 16GB	llama.cpp	33.8	620.4	6.2	L1 已复现	GitHub	2026-09-18
Llama-3.1-8B-Instruct	Q4_K_M	Apple M3 Max（MacBook Pro 14）	Ollama	39.15	408.85	5.8	L1 已复现	Reddit、Hugging Face	2026-09-18
DeepSeek-R1-Distill-Qwen-14B	AWQ-INT4	NVIDIA RTX 4090	vLLM	63.6	1192.75	11.1	L2 跨框架验证	GitHub、Hugging Face	2026-09-18

一行 = 一个「模型 + 硬件 + 框架 + 量化」组合，数字是该组合下已上架记录的均值。