能跑什么

你这台机器，能跑到哪一档

选一台机器，我们按实测可用显存算给你看：装得下的最大模型是哪一个、这台机器上实测最快的配置是哪几个。结论只来自别人的实测记录，每条都带着证据级别与原始来源。

你的机器

不限机器 Apple M3 Max · 128G 统一内存13 rx_7900_gre11 rtx_4080_super9 apple_m2_ultra8 NVIDIA RTX 3090 · 24G7 arc_a7706 rtx_30606 rx_7800_xt5 NVIDIA RTX 4090 · 24G4 AMD Radeon RX 7900 XTX · 24G3

填的应该是实际能用的量：驱动、桌面、其他进程吃掉的那部分不算在内。不填就用型号的标称显存。

先说结论 · 有跑得通的，但算不出上限

AMD Radeon RX 7900 XTX · 24G 上有跑得通的记录，但我们给不出「上限」这个数：候选模型的参数量没有登记在我们的字典里，我们不愿意按猜出来的大小排序。下面每条记录都带着自己的样本量与来源，可以按你关心的模型去看。

中位出词138.9区间75.1 – 169.3最快框架vLLM 0.6.2记录数3

产品建议想让我们给出上限，欢迎提交这台机器上跑过的模型与参数量——字典补上了，这个数才算得出来。这不是测量结果，是我们基于工程经验的判断。

本机跑得最快的 Top 3

AMD Radeon RX 7900 XTX · 24G

Qwen/Qwen2.5-7B-Instruct-GGUFAWQ 4-bit L2 跨框架已验证n=3 169.3tok/s
Qwen/Qwen2.5-7B-Instruct-GGUFQ4_K_M L0 自报n=16 138.9tok/s
microsoft/phi-4-GGUFQ4_K_M L0 自报n=12 75.1tok/s

排序只用我们真的测到的两件事：实测 decode 速度与证据级别。 模型能力不在本站的测量范围 —— 我们测的是"跑不跑得动、跑多快"，不是"跑得好不好"。同分时优先证据更硬的，其次是样本量更大的；同一组「模型 + 量化」只占一个名次。

证据全部 L1 及以上 L2 跨框架命中 3 条

这台机器的指标3 条 Run · 2 个模型 · 独立复现 1 · 待复现 2

这台机器的指标

该型号 Run

已验证模型

去重后的模型数

最快实测

169.3 tok/s

Qwen/Qwen2.5-7B-Instruct-GGUF · AWQ 4-bit · n=3

实测可用显存

24 GB

型号标称值

独立复现

L1 及以上

待复现

仍只有自报

框架覆盖

mlx ×1

数据许可

CC BY 4.0

允许转载，署名即可

全部实测记录3 条记录 · 含跑不通的

全部实测记录

含跑不通的

模型 / 量化 decodetok/s prefilltok/s TTFTms 显存峰值GB 证据复现链状态

Qwen/Qwen2.5-7B-Instruct-GGUFQ4_K_M mlx-lm 0.18.2站方自产最后入库 19 小时前n=16 138.9 4700 2530 — L0 自报待复现稳定

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB6.4

显存总量—

样本量16

复现次数0

硬件AMD Radeon RX 7900 XTX · 24G

模型Qwen/Qwen2.5-7B-Instruct-GGUF

量化Q4_K_M

投机解码—

并发数—

上下文扩展—

证据级别L0 自报

测量方站方自产

配置签名fde48cbd91e29cd521e50ef7365db8a3e6a27a2b0ac0efcce5c51217c6d85f56

复现链—

窄屏隐藏的列

框架mlx-lm 0.18.2

prefill tok/s4700

TTFT 冷启 ms2530

decode tok/s138.9

归一化未命中model: Qwen/Qwen2.5-7B-Instruct-GGUF

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台站方自产

抓取时间19 小时前

链接https://araoai.com/demo/rig-run-13

记录号pipeline-run-13

状态稳定

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

跨硬件对照 · 同一模型

记录最多的前 4 张卡

跨硬件不可比，只做数量级参考。不同厂商、不同后端、不同 batch size 的数字放在一张表里，能回答的是「这个模型在别的卡上是几倍」这种数量级问题，不是「谁更强」。

同一模型在不同硬件上的最快实测（不区分量化档）
模型	Apple M3 Max · 128G 统一内存	unknown:rx-7900-gre	unknown:rtx-4080-super	unknown:apple-m2-ultra
deepseek-ai/DeepSeek-R1-Distill-Qwen-14B	16.0tok/sn=13	42.2tok/sn=5	60.8tok/sn=6	—
meta-llama/Llama-3.1-8B-Instruct	43.4tok/sn=14	77.8tok/sn=51	113.6tok/sn=7	—
microsoft/phi-4-GGUF	33.4tok/sn=49	45.1tok/sn=9	57.9tok/sn=27	—
mistralai/Mistral-Nemo-Instruct-2407	—	56.1tok/sn=10	—	73.0tok/sn=13
Qwen/Qwen2.5-7B-Instruct-GGUF	70.5tok/sn=13	96.1tok/sn=8	113.6tok/sn=13	109.8tok/sn=29
Qwen3-14B14B	15.5tok/sn=12	44.4tok/sn=15	57.6tok/sn=35	47.1tok/sn=28
Qwen3-32B32B	12.9tok/sn=30	—	—	25.8tok/sn=13

硬件分布10 个型号

硬件分布

Apple M3 Max · 128G 统一内存13

rx_7900_gre11

rtx_4080_super9

apple_m2_ultra8

NVIDIA RTX 3090 · 24G7

arc_a7706

rtx_30606

rx_7800_xt5

NVIDIA RTX 4090 · 24G4

AMD Radeon RX 7900 XTX · 24G3

框架分布5 个框架

框架分布

llama.cpp18

mlx-lm18

ExLlamaV216

ollama10

vLLM10

来源构成7 个来源

来源构成

HuggingFace11

Reddit11

B站10

GitHub10

V2EX10

知乎10

站方自产10

证据分级怎么读L0 51 · L1 15 · L2 6

证据分级怎么读

L051

L115

L26

绝大多数是 L0 自报。它们是一条条独立的帖子，我们只做了归一化，没有人验证过。
L1 / L2 才是真的被别人跑过。级别由记录之间的相互验证推导，不由来源平台决定。
「跑不动」和「没有数据」是两回事。前者是有证据表明显存不够，后者是我们还没收录这个组合。

跑一样的东西一条可复制的命令 · 让你有机会升到 L1

跑一样的东西

想得到可比的数字，就用同一个模型与量化档。这样你的记录才有机会成为别人的复现——也才有机会从 L0 升到 L1。

repro run qwen3-32b --hardware "AMD Radeon RX 7900 XTX · 24G"

这一页怎么算的装得下怎么判 · 你填的显存管什么 · 没有数据不等于跑不动 · 上限只按参数量算

这一页怎么算的

「装得下」看的是实测显存峰值，不是标称显存。同样一张 24G 的卡，驱动、桌面和其他进程会吃掉一部分；我们按记录里那一栏实测的峰值判断，所以你会看到 21.6 GB 这种数而不是 24 GB。上面那个框让你填的，也正是实际能用的量。
你填的显存只影响「装不装得下」，不影响「跑不跑得动」。把可用显存填大，不会把一条跑不通的记录变成能跑 ——这两件事的证据来源不同：前者的来源是你，后者是别人的实测。
「没有数据」不等于「跑不动」。前者是我们还没收录这个配置，后者是有证据表明显存不够。把前者读成后者，就是拿机器的沉默冒充人的结论。
上限只按参数量算。参数量没登记的模型不参与排序，页面会说明这一点——我们宁可说「算不出」，也不按猜出来的大小给你一个看起来正常的错答案。