该型号 Run
7
能跑什么
你这台机器，能跑到哪一档
选一台机器，我们按实测可用显存算给你看：装得下的最大模型是哪一个、这台机器上实测最快的配置是哪几个。 结论只来自别人的实测记录，每条都带着证据级别与原始来源。
你的机器
填的应该是实际能用的量：驱动、桌面、其他进程吃掉的那部分不算在内。 不填就用型号的标称显存。
先说结论 · 还没有结论
我们还没有 NVIDIA RTX 3090 · 24G 的实测记录。没有数据不等于跑不动——是我们还没有收录，不是这台机器不行。
把你的数字提交上来 —— 下一个人搜这台机器时就能看到。
本机跑得最快的 Top 3
NVIDIA RTX 3090 · 24G- meta-llama/Llama-3.1-8B-InstructQ5_K_M L0 自报n=11 109.8tok/s
- Qwen/Qwen2.5-7B-Instruct-GGUFQ6_K L0 自报n=17 93.5tok/s
- Qwen/Qwen2.5-7B-Instruct-GGUFQ8_0 L0 自报n=12 78.0tok/s
排序只用我们真的测到的两件事：实测 decode 速度与证据级别。 模型能力不在本站的测量范围 —— 我们测的是"跑不跑得动、跑多快"，不是"跑得好不好"。 同分时优先证据更硬的，其次是样本量更大的；同一组「模型 + 量化」只占一个名次。
这台机器的指标7 条 Run · 5 个模型 · 独立复现 2 · 待复现 5
这台机器的指标
已验证模型
5
去重后的模型数
最快实测
109.8 tok/s
meta-llama/Llama-3.1-8B-Instruct · Q5_K_M · n=11
实测可用显存
24 GB
型号标称值
独立复现
2
L1 及以上
待复现
5
仍只有自报
框架覆盖
4
llamacpp ×3
数据许可
CC BY 4.0
允许转载，署名即可
跨硬件对照 · 同一模型4 张卡 × 7 个同款模型 · 只做数量级参考
跨硬件对照 · 同一模型
记录最多的前 4 张卡跨硬件不可比，只做数量级参考。不同厂商、不同后端、不同 batch size 的数字放在一张表里，能回答的是「这个模型在别的卡上是几倍」这种数量级问题，不是「谁更强」。
| 模型 | Apple M3 Max · 128G 统一内存 | unknown:rx-7900-gre | unknown:rtx-4080-super | unknown:apple-m2-ultra |
|---|---|---|---|---|
| deepseek-ai/DeepSeek-R1-Distill-Qwen-14B | 16.0tok/sn=13 | 42.2tok/sn=5 | 60.8tok/sn=6 | — |
| meta-llama/Llama-3.1-8B-Instruct | 43.4tok/sn=14 | 77.8tok/sn=51 | 113.6tok/sn=7 | — |
| microsoft/phi-4-GGUF | 33.4tok/sn=49 | 45.1tok/sn=9 | 57.9tok/sn=27 | — |
| mistralai/Mistral-Nemo-Instruct-2407 | — | 56.1tok/sn=10 | — | 73.0tok/sn=13 |
| Qwen/Qwen2.5-7B-Instruct-GGUF | 70.5tok/sn=13 | 96.1tok/sn=8 | 113.6tok/sn=13 | 109.8tok/sn=29 |
| Qwen3-14B14B | 15.5tok/sn=12 | 44.4tok/sn=15 | 57.6tok/sn=35 | 47.1tok/sn=28 |
| Qwen3-32B32B | 12.9tok/sn=30 | — | — | 25.8tok/sn=13 |
硬件分布10 个型号
硬件分布
72Apple M3 Max · 128G 统一内存13
rx_7900_gre11
rtx_4080_super9
apple_m2_ultra8
NVIDIA RTX 3090 · 24G7
arc_a7706
rtx_30606
rx_7800_xt5
NVIDIA RTX 4090 · 24G4
AMD Radeon RX 7900 XTX · 24G3
框架分布5 个框架
框架分布
72llama.cpp18
mlx-lm18
ExLlamaV216
ollama10
vLLM10
来源构成7 个来源
来源构成
72HuggingFace11
Reddit11
B站10
GitHub10
V2EX10
知乎10
站方自产10
证据分级怎么读L0 51 · L1 15 · L2 6
证据分级怎么读
72L051
L115
L26
- 绝大多数是 L0 自报。它们是一条条独立的帖子，我们只做了归一化，没有人验证过。
- L1 / L2 才是真的被别人跑过。级别由记录之间的相互验证推导，不由来源平台决定。
- 「跑不动」和「没有数据」是两回事。前者是有证据表明显存不够，后者是我们还没收录这个组合。
跑一样的东西一条可复制的命令 · 让你有机会升到 L1
跑一样的东西
想得到可比的数字，就用同一个模型与量化档。这样你的记录才有机会 成为别人的复现——也才有机会从 L0 升到 L1。
repro run qwen3-32b --hardware "NVIDIA RTX 3090 · 24G"
这一页怎么算的装得下怎么判 · 你填的显存管什么 · 没有数据不等于跑不动 · 上限只按参数量算
这一页怎么算的
- 「装得下」看的是实测显存峰值，不是标称显存。同样一张 24G 的卡，驱动、桌面和其他进程会吃掉一部分； 我们按记录里那一栏实测的峰值判断，所以你会看到 21.6 GB 这种数而不是 24 GB。上面那个框让你填的， 也正是实际能用的量。
- 你填的显存只影响「装不装得下」，不影响「跑不跑得动」。把可用显存填大，不会把一条跑不通的记录变成能跑 ——这两件事的证据来源不同：前者的来源是你，后者是别人的实测。
- 「没有数据」不等于「跑不动」。前者是我们还没收录这个配置，后者是有证据表明显存不够。 把前者读成后者，就是拿机器的沉默冒充人的结论。
- 上限只按参数量算。参数量没登记的模型不参与排序，页面会说明这一点——我们宁可说「算不出」， 也不按猜出来的大小给你一个看起来正常的错答案。