能跑什么

你这台机器，能跑到哪一档

选一台机器，我们按实测可用显存算给你看：装得下的最大模型是哪一个、这台机器上实测最快的配置是哪几个。结论只来自别人的实测记录，每条都带着证据级别与原始来源。

你的机器

不限机器 Apple M3 Max · 128G 统一内存13 rx_7900_gre11 rtx_4080_super9 apple_m2_ultra8 NVIDIA RTX 3090 · 24G7 arc_a7706 rtx_30606 rx_7800_xt5 NVIDIA RTX 4090 · 24G4 AMD Radeon RX 7900 XTX · 24G3

填的应该是实际能用的量：驱动、桌面、其他进程吃掉的那部分不算在内。不填就用型号的标称显存。

先说结论 · 这台机器的上限

rx_7900_gre 目前能跑通的上限大约是 Qwen3-14B 14B 级别（Q4_K_M），显存峰值 11.2 GB，n=7。依据是装得下的记录里参数量最大的那一条。

中位出词51.9区间51.9 – 51.9最快框架llama.cpp b5980记录数1

产品建议再往上只能压更低比特的量化，那属于「跑得动但不好用」的区间，本地不一定划算。这不是测量结果，是我们基于工程经验的判断。

本机跑得最快的 Top 3

rx_7900_gre

Qwen/Qwen2.5-7B-Instruct-GGUFAWQ 4-bit L0 自报n=8 96.1tok/s
meta-llama/Llama-3.1-8B-InstructAWQ 4-bit L1 已复现n=5 77.8tok/s
mistralai/Mistral-Nemo-Instruct-2407AWQ 4-bit L0 自报n=6 56.1tok/s

排序只用我们真的测到的两件事：实测 decode 速度与证据级别。 模型能力不在本站的测量范围 —— 我们测的是"跑不跑得动、跑多快"，不是"跑得好不好"。同分时优先证据更硬的，其次是样本量更大的；同一组「模型 + 量化」只占一个名次。

证据全部 L1 及以上 L2 跨框架命中 1 条

这台机器的指标11 条 Run · 6 个模型 · 独立复现 3 · 待复现 8

这台机器的指标

该型号 Run

已验证模型

去重后的模型数

最快实测

96.1 tok/s

Qwen/Qwen2.5-7B-Instruct-GGUF · AWQ 4-bit · n=8

实测可用显存

—

字典里没登记显存

独立复现

L1 及以上

待复现

仍只有自报

框架覆盖

mlx ×4

数据许可

CC BY 4.0

允许转载，署名即可

全部实测记录1 条记录 · 含跑不通的

全部实测记录

含跑不通的

模型 / 量化 decodetok/s prefilltok/s TTFTms 显存峰值GB 证据复现链状态

meta-llama/Llama-3.1-8B-InstructQ6_K llama.cpp b5980V2EX最后入库 20 小时前n=17 51.9 1750 3530 — L2 跨框架已验证待复现稳定

完整配置

上下文长度—

KV cache—

flash attention—

batch—

GPU 层数-1

显存峰值 GB9.1

显存总量—

样本量17

复现次数0

硬件rx_7900_gre

模型meta-llama/Llama-3.1-8B-Instruct

量化Q6_K

投机解码—

并发数—

上下文扩展—

证据级别L2 跨框架已验证

测量方站方自产

配置签名a733e90863e38211d60780c8d1343bc785affa038a2eb5c3a76c7174462a70de

复现链—

窄屏隐藏的列

框架llama.cpp b5980

prefill tok/s1750

TTFT 冷启 ms3530

decode tok/s51.9

归一化未命中hardware: rx_7900_gre；model: meta-llama/Llama-3.1-8B-Instruct；quant: Q6_K

TTFT 热启 ms—

整机功耗 W—

MTP 接受率—

KLD—

原始来源

平台V2EX

抓取时间20 小时前

链接https://www.v2ex.com/t/araoai-demo-59

记录号pipeline-run-59

状态稳定

原文快照—

我们没有存原文快照：只存了来源链接与抓取时间。来源被删或改版后，这里只能保留当时的读数，无法再对上原文。

跨硬件对照 · 同一模型

记录最多的前 4 张卡

跨硬件不可比，只做数量级参考。不同厂商、不同后端、不同 batch size 的数字放在一张表里，能回答的是「这个模型在别的卡上是几倍」这种数量级问题，不是「谁更强」。

同一模型在不同硬件上的最快实测（不区分量化档）
模型	Apple M3 Max · 128G 统一内存	unknown:rx-7900-gre	unknown:rtx-4080-super	unknown:apple-m2-ultra
deepseek-ai/DeepSeek-R1-Distill-Qwen-14B	16.0tok/sn=13	42.2tok/sn=5	60.8tok/sn=6	—
meta-llama/Llama-3.1-8B-Instruct	43.4tok/sn=14	77.8tok/sn=51	113.6tok/sn=7	—
microsoft/phi-4-GGUF	33.4tok/sn=49	45.1tok/sn=9	57.9tok/sn=27	—
mistralai/Mistral-Nemo-Instruct-2407	—	56.1tok/sn=10	—	73.0tok/sn=13
Qwen/Qwen2.5-7B-Instruct-GGUF	70.5tok/sn=13	96.1tok/sn=8	113.6tok/sn=13	109.8tok/sn=29
Qwen3-14B14B	15.5tok/sn=12	44.4tok/sn=15	57.6tok/sn=35	47.1tok/sn=28
Qwen3-32B32B	12.9tok/sn=30	—	—	25.8tok/sn=13

硬件分布10 个型号

硬件分布

Apple M3 Max · 128G 统一内存13

rx_7900_gre11

rtx_4080_super9

apple_m2_ultra8

NVIDIA RTX 3090 · 24G7

arc_a7706

rtx_30606

rx_7800_xt5

NVIDIA RTX 4090 · 24G4

AMD Radeon RX 7900 XTX · 24G3

框架分布5 个框架

框架分布

llama.cpp18

mlx-lm18

ExLlamaV216

ollama10

vLLM10

来源构成7 个来源

来源构成

HuggingFace11

Reddit11

B站10

GitHub10

V2EX10

知乎10

站方自产10

证据分级怎么读L0 51 · L1 15 · L2 6

证据分级怎么读

L051

L115

L26

绝大多数是 L0 自报。它们是一条条独立的帖子，我们只做了归一化，没有人验证过。
L1 / L2 才是真的被别人跑过。级别由记录之间的相互验证推导，不由来源平台决定。
「跑不动」和「没有数据」是两回事。前者是有证据表明显存不够，后者是我们还没收录这个组合。

跑一样的东西一条可复制的命令 · 让你有机会升到 L1

跑一样的东西

想得到可比的数字，就用同一个模型与量化档。这样你的记录才有机会成为别人的复现——也才有机会从 L0 升到 L1。

repro run qwen3-32b --hardware "rx_7900_gre"

这一页怎么算的装得下怎么判 · 你填的显存管什么 · 没有数据不等于跑不动 · 上限只按参数量算

这一页怎么算的

「装得下」看的是实测显存峰值，不是标称显存。同样一张 24G 的卡，驱动、桌面和其他进程会吃掉一部分；我们按记录里那一栏实测的峰值判断，所以你会看到 21.6 GB 这种数而不是 24 GB。上面那个框让你填的，也正是实际能用的量。
你填的显存只影响「装不装得下」，不影响「跑不跑得动」。把可用显存填大，不会把一条跑不通的记录变成能跑 ——这两件事的证据来源不同：前者的来源是你，后者是别人的实测。
「没有数据」不等于「跑不动」。前者是我们还没收录这个配置，后者是有证据表明显存不够。把前者读成后者，就是拿机器的沉默冒充人的结论。
上限只按参数量算。参数量没登记的模型不参与排序，页面会说明这一点——我们宁可说「算不出」，也不按猜出来的大小给你一个看起来正常的错答案。