能跑什么

你这台机器，能跑到哪一档

选一台机器，我们按实测可用显存算给你看：装得下的最大模型是哪一个、这台机器上实测最快的配置是哪几个。结论只来自别人的实测记录，每条都带着证据级别与原始来源。

你的机器

不限机器 Apple M3 Max · 128G 统一内存13 rx_7900_gre11 rtx_4080_super9 apple_m2_ultra8 NVIDIA RTX 3090 · 24G7 arc_a7706 rtx_30606 rx_7800_xt5 NVIDIA RTX 4090 · 24G4 AMD Radeon RX 7900 XTX · 24G3

填的应该是实际能用的量：驱动、桌面、其他进程吃掉的那部分不算在内。不填就用型号的标称显存。

先说结论 · 这台机器的上限

rtx_4080_super 目前能跑通的上限大约是 Qwen3-14B 14B 级别（Q4_K_M），显存峰值 11.2 GB，n=9。依据是装得下的记录里参数量最大的那一条。

中位出词57.6区间36.7 – 113.6最快框架mlx-lm 0.18.2记录数9

产品建议再往上只能压更低比特的量化，那属于「跑得动但不好用」的区间，本地不一定划算。这不是测量结果，是我们基于工程经验的判断。

本机跑得最快的 Top 3

rtx_4080_super

Qwen/Qwen2.5-7B-Instruct-GGUFAWQ 4-bit L0 自报n=13 113.6tok/s
meta-llama/Llama-3.1-8B-InstructAWQ 4-bit L0 自报n=7 113.6tok/s
deepseek-ai/DeepSeek-R1-Distill-Qwen-14BQ4_K_M L0 自报n=6 60.8tok/s

排序只用我们真的测到的两件事：实测 decode 速度与证据级别。 模型能力不在本站的测量范围 —— 我们测的是"跑不跑得动、跑多快"，不是"跑得好不好"。同分时优先证据更硬的，其次是样本量更大的；同一组「模型 + 量化」只占一个名次。

证据全部 L1 及以上 L2 跨框架命中 9 条

这台机器的指标9 条 Run · 5 个模型 · 独立复现 1 · 待复现 8

这台机器的指标

该型号 Run

已验证模型

去重后的模型数

最快实测

113.6 tok/s

Qwen/Qwen2.5-7B-Instruct-GGUF · AWQ 4-bit · n=13

实测可用显存

—

字典里没登记显存

独立复现

L1 及以上

待复现

仍只有自报

框架覆盖

ollama ×2

数据许可

CC BY 4.0

允许转载，署名即可

全部实测记录9 条记录 · 含跑不通的

全部实测记录

含跑不通的

模型 / 量化 decodetok/s prefilltok/s TTFTms 显存峰值GB 证据复现链状态

microsoft/phi-4-GGUFQ5_K_M ollama 0.5.1Reddit最后入库 19 小时前n=11 43.3 1448 4863 — L0 自报待复现稳定

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB12.8

显存总量—

样本量11

复现次数0

硬件rtx_4080_super

模型microsoft/phi-4-GGUF

量化Q5_K_M

投机解码—

并发数—

上下文扩展—

证据级别L0 自报

测量方站方自产

配置签名5fcb7c2c530a1cd9eba821f8a118e94f29d1c9629e0c6e0e9b8049afb0881ab7

复现链—

窄屏隐藏的列

框架ollama 0.5.1

prefill tok/s1448

TTFT 冷启 ms4863

decode tok/s43.3

归一化未命中hardware: rtx_4080_super；model: microsoft/phi-4-GGUF

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台Reddit

抓取时间19 小时前

链接https://www.reddit.com/r/araoai_demo/comments/demo8_phi-4-gguf/

记录号pipeline-run-8

状态稳定

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

相关断言

目前没有断言引用这条记录

「稳定」已被独立来源复现过，当前没有已知分歧。

复现链从这条记录出发，每格是一次独立来源的复现。空链条表示还没有复现记录，不是我们没有记。

Qwen3-14BQ4_K_M mlx-lm 0.18.2GitHub最后入库 19 小时前n=9 53.2 1802 4280 — L0 自报待复现稳定

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB11.2

显存总量—

样本量9

复现次数0

硬件rtx_4080_super

模型Qwen3-14B

量化Q4_K_M

投机解码—

并发数—

上下文扩展—

证据级别L0 自报

测量方站方自产

配置签名ed5af2df4877b8f814eb746143c18ba46282c981ed1ec5abb91dafa5f4fac266

复现链—

窄屏隐藏的列

框架mlx-lm 0.18.2

prefill tok/s1802

TTFT 冷启 ms4280

decode tok/s53.2

归一化未命中hardware: rtx_4080_super

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台GitHub

抓取时间19 小时前

链接https://github.com/araoai-demo/benchmarks/issues/1021

记录号pipeline-run-21

状态稳定

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

相关断言

目前没有断言引用这条记录

「稳定」已被独立来源复现过，当前没有已知分歧。

复现链从这条记录出发，每格是一次独立来源的复现。空链条表示还没有复现记录，不是我们没有记。

Qwen/Qwen2.5-7B-Instruct-GGUFAWQ 4-bit mlx-lm 0.18.2知乎最后入库 19 小时前n=13 113.6 3843 2421 — L0 自报待复现稳定

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB6.1

显存总量—

样本量13

复现次数0

硬件rtx_4080_super

模型Qwen/Qwen2.5-7B-Instruct-GGUF

量化AWQ 4-bit

投机解码—

并发数—

上下文扩展—

证据级别L0 自报

测量方站方自产

配置签名be7789e8b98bbb9868eebd6f4532dccb2e2eeef325215476eee9f9e99fc22d71

复现链—

窄屏隐藏的列

框架mlx-lm 0.18.2

prefill tok/s3843

TTFT 冷启 ms2421

decode tok/s113.6

归一化未命中hardware: rtx_4080_super；model: Qwen/Qwen2.5-7B-Instruct-GGUF

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台知乎

抓取时间19 小时前

链接https://zhuanlan.zhihu.com/p/araoai-demo-25

记录号pipeline-run-25

状态稳定

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

相关断言

目前没有断言引用这条记录

「稳定」已被独立来源复现过，当前没有已知分歧。

复现链从这条记录出发，每格是一次独立来源的复现。空链条表示还没有复现记录，不是我们没有记。

Qwen3-14BQ6_K llama.cpp b6120站方自产最后入库 19 小时前n=7 39.5 1343 5592 — L0 自报待复现待复现

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB14.8

显存总量—

样本量7

复现次数0

硬件rtx_4080_super

模型Qwen3-14B

量化Q6_K

投机解码—

并发数—

上下文扩展—

证据级别L0 自报

测量方站方自产

配置签名77858a52a0ab50ea306df8ee13c9f8ef532deea8421b3d89673bbbed1a964f34

复现链—

窄屏隐藏的列

框架llama.cpp b6120

prefill tok/s1343

TTFT 冷启 ms5592

decode tok/s39.5

归一化未命中hardware: rtx_4080_super；quant: Q6_K

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台站方自产

抓取时间19 小时前

链接https://araoai.com/demo/rig-run-34

记录号pipeline-run-34

状态待复现

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

相关断言

目前没有断言引用这条记录

「待复现」只有一次或单一来源的读数，还没等到独立复现。数字照常可用，但按 L0/L1 对待。

复现链从这条记录出发，每格是一次独立来源的复现。空链条表示还没有复现记录，不是我们没有记。

Qwen3-14BQ6_K ollama 0.5.1GitHub最后入库 19 小时前n=15 36.7 1229 5592 — L1 已复现待复现稳定

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB14.8

显存总量—

样本量15

复现次数0

硬件rtx_4080_super

模型Qwen3-14B

量化Q6_K

投机解码—

并发数—

上下文扩展—

证据级别L1 已复现

测量方站方自产

配置签名effd3db70d7240f2e0e8ccc42655b784c09d028026dc2c077013f5fdee37dedb

复现链—

窄屏隐藏的列

框架ollama 0.5.1

prefill tok/s1229

TTFT 冷启 ms5592

decode tok/s36.7

归一化未命中hardware: rtx_4080_super；quant: Q6_K

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台GitHub

抓取时间19 小时前

链接https://github.com/araoai-demo/benchmarks/issues/1042

记录号pipeline-run-42

状态稳定

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

相关断言

目前没有断言引用这条记录

「稳定」已被独立来源复现过，当前没有已知分歧。

复现链从这条记录出发，每格是一次独立来源的复现。空链条表示还没有复现记录，不是我们没有记。

Qwen3-14BQ4_K_M ExLlamaV2 0.2.5知乎最后入库 19 小时前n=4 57.6 1986 4280 — L0 自报待复现待复现

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB11.2

显存总量—

样本量4

复现次数0

硬件rtx_4080_super

模型Qwen3-14B

量化Q4_K_M

投机解码—

并发数—

上下文扩展—

证据级别L0 自报

测量方站方自产

配置签名59547370d33c48bac963bafd39b90ad6153c659691b23964eea5870ef41a47ac

复现链—

窄屏隐藏的列

框架ExLlamaV2 0.2.5

prefill tok/s1986

TTFT 冷启 ms4280

decode tok/s57.6

归一化未命中hardware: rtx_4080_super

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台知乎

抓取时间19 小时前

链接https://zhuanlan.zhihu.com/p/araoai-demo-46

记录号pipeline-run-46

状态待复现

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

相关断言

目前没有断言引用这条记录

「待复现」只有一次或单一来源的读数，还没等到独立复现。数字照常可用，但按 L0/L1 对待。

复现链从这条记录出发，每格是一次独立来源的复现。空链条表示还没有复现记录，不是我们没有记。

microsoft/phi-4-GGUFAWQ 4-bit llama.cpp b6120HuggingFace最后入库 19 小时前n=16 57.9 1970 4061 — L0 自报待复现稳定

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB10.6

显存总量—

样本量16

复现次数0

硬件rtx_4080_super

模型microsoft/phi-4-GGUF

量化AWQ 4-bit

投机解码—

并发数—

上下文扩展—

证据级别L0 自报

测量方站方自产

配置签名ac3633d92415069249c8a5dfb5e4f341021d4d8b0d54aa9041f40463cf52b18d

复现链—

窄屏隐藏的列

框架llama.cpp b6120

prefill tok/s1970

TTFT 冷启 ms4061

decode tok/s57.9

归一化未命中hardware: rtx_4080_super；model: microsoft/phi-4-GGUF

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台HuggingFace

抓取时间19 小时前

链接https://huggingface.co/araoai-demo/phi-4-gguf-bench/discussions/58

记录号pipeline-run-58

状态稳定

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

相关断言

目前没有断言引用这条记录

「稳定」已被独立来源复现过，当前没有已知分歧。

复现链从这条记录出发，每格是一次独立来源的复现。空链条表示还没有复现记录，不是我们没有记。

deepseek-ai/DeepSeek-R1-Distill-Qwen-14BQ4_K_M vLLM 0.6.2GitHub最后入库 19 小时前n=6 60.8 2127 4280 — L0 自报待复现待复现

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB11.2

显存总量—

样本量6

复现次数0

硬件rtx_4080_super

模型deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

量化Q4_K_M

投机解码—

并发数—

上下文扩展—

证据级别L0 自报

测量方站方自产

配置签名c52b7e580a9d3890c98b729351b32000a27352aff6a19b0e55a1a952e77b5a05

复现链—

窄屏隐藏的列

框架vLLM 0.6.2

prefill tok/s2127

TTFT 冷启 ms4280

decode tok/s60.8

归一化未命中hardware: rtx_4080_super；model: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台GitHub

抓取时间19 小时前

链接https://github.com/araoai-demo/benchmarks/issues/1063

记录号pipeline-run-63

状态待复现

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

相关断言

目前没有断言引用这条记录

「待复现」只有一次或单一来源的读数，还没等到独立复现。数字照常可用，但按 L0/L1 对待。

复现链从这条记录出发，每格是一次独立来源的复现。空链条表示还没有复现记录，不是我们没有记。

meta-llama/Llama-3.1-8B-InstructAWQ 4-bit vLLM 0.6.2Reddit最后入库 19 小时前n=7 113.6 3971 2655 — L0 自报待复现待复现

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB6.7

显存总量—

样本量7

复现次数0

硬件rtx_4080_super

模型meta-llama/Llama-3.1-8B-Instruct

量化AWQ 4-bit

投机解码—

并发数—

上下文扩展—

证据级别L0 自报

测量方站方自产

配置签名9626846c549c426d90b3aef1696c4a8c90150ed1e88a3e5da7e1d6a39688a4f9

复现链—

窄屏隐藏的列

框架vLLM 0.6.2

prefill tok/s3971

TTFT 冷启 ms2655

decode tok/s113.6

归一化未命中hardware: rtx_4080_super；model: meta-llama/Llama-3.1-8B-Instruct

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台Reddit

抓取时间19 小时前

链接https://www.reddit.com/r/araoai_demo/comments/demo64_llama-3-1-8b-instruct/

记录号pipeline-run-64

状态待复现

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

相关断言

目前没有断言引用这条记录

「待复现」只有一次或单一来源的读数，还没等到独立复现。数字照常可用，但按 L0/L1 对待。

复现链从这条记录出发，每格是一次独立来源的复现。空链条表示还没有复现记录，不是我们没有记。

跨硬件对照 · 同一模型4 张卡 × 7 个同款模型 · 只做数量级参考

跨硬件对照 · 同一模型

记录最多的前 4 张卡

跨硬件不可比，只做数量级参考。不同厂商、不同后端、不同 batch size 的数字放在一张表里，能回答的是「这个模型在别的卡上是几倍」这种数量级问题，不是「谁更强」。

同一模型在不同硬件上的最快实测（不区分量化档）
模型	Apple M3 Max · 128G 统一内存	unknown:rx-7900-gre	unknown:rtx-4080-super	unknown:apple-m2-ultra
deepseek-ai/DeepSeek-R1-Distill-Qwen-14B	16.0tok/sn=13	42.2tok/sn=5	60.8tok/sn=6	—
meta-llama/Llama-3.1-8B-Instruct	43.4tok/sn=14	77.8tok/sn=51	113.6tok/sn=7	—
microsoft/phi-4-GGUF	33.4tok/sn=49	45.1tok/sn=9	57.9tok/sn=27	—
mistralai/Mistral-Nemo-Instruct-2407	—	56.1tok/sn=10	—	73.0tok/sn=13
Qwen/Qwen2.5-7B-Instruct-GGUF	70.5tok/sn=13	96.1tok/sn=8	113.6tok/sn=13	109.8tok/sn=29
Qwen3-14B14B	15.5tok/sn=12	44.4tok/sn=15	57.6tok/sn=35	47.1tok/sn=28
Qwen3-32B32B	12.9tok/sn=30	—	—	25.8tok/sn=13

硬件分布10 个型号

硬件分布

Apple M3 Max · 128G 统一内存13

rx_7900_gre11

rtx_4080_super9

apple_m2_ultra8

NVIDIA RTX 3090 · 24G7

arc_a7706

rtx_30606

rx_7800_xt5

NVIDIA RTX 4090 · 24G4

AMD Radeon RX 7900 XTX · 24G3

框架分布5 个框架

框架分布

llama.cpp18

mlx-lm18

ExLlamaV216

ollama10

vLLM10

来源构成7 个来源

来源构成

HuggingFace11

Reddit11

B站10

GitHub10

V2EX10

知乎10

站方自产10

证据分级怎么读L0 51 · L1 15 · L2 6

证据分级怎么读

L051

L115

L26

绝大多数是 L0 自报。它们是一条条独立的帖子，我们只做了归一化，没有人验证过。
L1 / L2 才是真的被别人跑过。级别由记录之间的相互验证推导，不由来源平台决定。
「跑不动」和「没有数据」是两回事。前者是有证据表明显存不够，后者是我们还没收录这个组合。

跑一样的东西一条可复制的命令 · 让你有机会升到 L1

跑一样的东西

想得到可比的数字，就用同一个模型与量化档。这样你的记录才有机会成为别人的复现——也才有机会从 L0 升到 L1。

repro run qwen3-32b --hardware "rtx_4080_super"

这一页怎么算的装得下怎么判 · 你填的显存管什么 · 没有数据不等于跑不动 · 上限只按参数量算

这一页怎么算的

「装得下」看的是实测显存峰值，不是标称显存。同样一张 24G 的卡，驱动、桌面和其他进程会吃掉一部分；我们按记录里那一栏实测的峰值判断，所以你会看到 21.6 GB 这种数而不是 24 GB。上面那个框让你填的，也正是实际能用的量。
你填的显存只影响「装不装得下」，不影响「跑不跑得动」。把可用显存填大，不会把一条跑不通的记录变成能跑 ——这两件事的证据来源不同：前者的来源是你，后者是别人的实测。
「没有数据」不等于「跑不动」。前者是我们还没收录这个配置，后者是有证据表明显存不够。把前者读成后者，就是拿机器的沉默冒充人的结论。
上限只按参数量算。参数量没登记的模型不参与排序，页面会说明这一点——我们宁可说「算不出」，也不按猜出来的大小给你一个看起来正常的错答案。