跑得动araoai.com
投稿
搜什么 常用 M3 Max × Qwen3-32BRX 7900 GRE · 未归一化 × Llama-3.1-8B-Instruct · 未归一化Qwen2.5-7B-Instruct · 未归一化 × mlx-lmQ4_K_M 72 条 Run · 7 个模型 · 10 个硬件型号
横向对比

把几个配置,摆在一张表上

两种问法:同一个模型在哪张卡上更快,和同一台机器上哪个框架更快。 表里每一列是一个对比项,每一行是一个指标,数字是中位数,后面跟着支撑它的样本量。 结论只对我们库里这些记录成立——跨硬件不可比,这里做的是数量级参考,不是横评。

先选比什么

最多 6 个对比项

两种模式问的是两件不同的事:同一个模型在哪张卡上更快, 和同一台机器上哪个后端更快。换模式等于换一个问题,基准与对比项都不沿用。

先说结论

在当前记录里 RX 7800 XT · 未归一化 的 decode 中位数最高(79.0 tok/s,n=47,证据 L2 跨框架已验证)—— 次高是 RX 7900 GRE · 未归一化(60.6 tok/s,n=30,证据 L0 自报)。

跨硬件不可比,只做数量级参考。不同厂商、不同后端、不同 batch size 的数字放在一起,能回答的是「这个模型在别的卡上是几倍」这种数量级问题,不是「谁更强」。

下面这组是默认示例(记录最多的两项)——是我们替你挑的,不是你的选择; 用上面的选择器换一组,或用链接把它固化到网址里。

能不能放在一起看

逐项核对 6 项 · 另有 1 项是你选来对比的

判据是这 7 项:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数;你选来对比的那一维(硬件)本来就不一样,所以不计入差异数。门槛(写在这里,你可以自己核对):0 维不同 → 可直接比较;1–2 维不同 → 方向性可比;≥3 维不同 → 不可比。「未核对」不是「一致」:只有一侧有值、或某一列的记录没全登记,一律不给绿灯;双方都没有值的维度会单独点名,也不算一致。门槛要求至少 1 项确认一致,所以"什么都不知道"也不会是绿灯。

🟡 方向性可比

不建议直接比较:有 2 项不同 —— 量化(Q4_K_M / Q8_0 vs AWQ 4-bit / Q6_K / Q8_0)、框架(含版本)(ExLlamaV2 0.2.5 / mlx-lm 0.18.2 vs mlx-lm 0.18.2 / vLLM 0.6.2)。3 项双方都没有值上下文长度batch并发数)—— 它们是「未核对」,不是「一致」。把它们摆在一张表上只能当数量级参考,差额不能算到你想比的那一维头上。

这是两道独立的闸:上面那一道问「能不能排序」(样本量与证据级别够不够), 这一道问「能不能放在一起看」(条件是否一致)。两个都过,这几个数字才谈得上可比。

逐项核对
模型一致 Llama-3.1-8B-Instruct · 未归一化 vs Llama-3.1-8B-Instruct · 未归一化
量化不同 Q4_K_M / Q8_0 vs AWQ 4-bit / Q6_K / Q8_0
框架(含版本)不同 ExLlamaV2 0.2.5 / mlx-lm 0.18.2 vs mlx-lm 0.18.2 / vLLM 0.6.2
上下文长度未核对 双方都没有值 —— 未核对,不是一致
硬件不同 RX 7800 XT · 未归一化 vs RX 7900 GRE · 未归一化(这一维是你选的对比维度)
batch未核对 双方都没有值 —— 未核对,不是一致
并发数未核对 双方都没有值 —— 未核对,不是一致

横向对比 · 同一模型 × 多硬件

基准:Llama-3.1-8B-Instruct · 未归一化 · 2 个对比项 · 默认示例

四个指标都取中位数,而且只统计有有效样本量的记录 (没有 n 的记录在任何一格都不参与)。decode 与 prefill 越高越快,TTFT 与显存峰值越低越好。 每一格后面的小字是支撑这个数字的样本量;最下面两行是整列的证据级别与样本量合计。 排序结论只对「我们库里这些记录」成立,不构成对硬件或框架能力的判断。

同一个模型(Llama-3.1-8B-Instruct · 未归一化)在不同硬件上的 decode 中位数
指标RX 7800 XT · 未归一化 · 3 条记录RX 7900 GRE · 未归一化 · 3 条记录
decode越高越好 79.0tok/sn=47 60.6tok/sn=30
prefill越高越好 2673tok/sn=47 2119tok/sn=30
TTFT 冷启越低越好 2780msn=47 3530msn=30
显存峰值越低越好 7.1GBn=47 9.1GBn=30
证据 L2 跨框架已验证 L0 自报
n整列样本量合计 47 30
参与这次对比的全部记录6 条记录 · 含跑不通的

参与这次对比的全部记录

6 条 · 最快的排前面

本次对比涉及的记录一条不落,每条都带证据级别与样本量,展开可以看到完整字段。

模型 / 量化 decodetok/s prefilltok/s TTFTms 显存峰值GB 证据 复现链 状态
Llama-3.1-8B-Instruct · 未归一化Q4_K_M RX 7800 XT · 未归一化ExLlamaV2 0.2.5GitHub最后入库 1 天前n=16 85.4 2946 2780 L2 跨框架已验证 稳定
模型与硬件
模型Llama-3.1-8B-Instruct · 未归一化仓库原名 meta-llama/Llama-3.1-8B-Instruct
量化Q4_K_M
硬件RX 7800 XT · 未归一化
显存总量
框架ExLlamaV2 0.2.5
速度与显存
decode tok/s85.4
prefill tok/s2946
TTFT 冷启 ms2780
TTFT 热启 ms
显存峰值 GB7.1
证据与判定
证据级别L2 跨框架已验证
样本量16
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数3
测量方第三方实测
复现链
原始来源
平台GitHub
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://github.com/araoai-demo/benchmarks/issues/1028内容哈希 ce3579e8e42587b887786363f1b07926648b89353d02c090da467ef3557b06ef快照长度 111 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名32c2b8d6e58ee592f9fb76b6d56125d538379db9f604ff3a5ef29246b6358685
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7800_xt;model: meta-llama/Llama-3.1-8B-Instruct
Llama-3.1-8B-Instruct · 未归一化Q4_K_M RX 7800 XT · 未归一化mlx-lm 0.18.2Reddit最后入库 1 天前n=17 79.0 2673 2780 L2 跨框架已验证 稳定
模型与硬件
模型Llama-3.1-8B-Instruct · 未归一化仓库原名 meta-llama/Llama-3.1-8B-Instruct
量化Q4_K_M
硬件RX 7800 XT · 未归一化
显存总量
框架mlx-lm 0.18.2
速度与显存
decode tok/s79.0
prefill tok/s2673
TTFT 冷启 ms2780
TTFT 热启 ms
显存峰值 GB7.1
证据与判定
证据级别L2 跨框架已验证
样本量17
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数2
测量方第三方实测
复现链
原始来源
平台Reddit
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.reddit.com/r/araoai_demo/comments/demo2900_llama-3-1-8b-instruct/内容哈希 32f1e4081cdfcabc83fae48962d208dd5436c5e75996ef6b866e10020c31219c快照长度 106 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名af6222c6ef6ddc4dc3f66135f6f8efc0e0ff11c5236bc7f7604757e0521217a4
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7800_xt;model: meta-llama/Llama-3.1-8B-Instruct
Llama-3.1-8B-Instruct · 未归一化AWQ 4-bit RX 7900 GRE · 未归一化mlx-lm 0.18.2V2EX最后入库 1 天前n=17 77.8 2632 2655 L0 自报 待复现 稳定
模型与硬件
模型Llama-3.1-8B-Instruct · 未归一化仓库原名 meta-llama/Llama-3.1-8B-Instruct
量化AWQ 4-bit
硬件RX 7900 GRE · 未归一化
显存总量
框架mlx-lm 0.18.2
速度与显存
decode tok/s77.8
prefill tok/s2632
TTFT 冷启 ms2655
TTFT 热启 ms
显存峰值 GB6.7
证据与判定
证据级别L0 自报
样本量17
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台V2EX
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.v2ex.com/t/araoai-demo-59内容哈希 4d0bd5dd22b4397ecae0529099cfca76f83a50f10a2caf499d102fe190c25c96快照长度 107 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名0ede28561ef9b98d9cb71c80976b501af4502929ec04ef7022574d02b8b54806
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: meta-llama/Llama-3.1-8B-Instruct
Llama-3.1-8B-Instruct · 未归一化Q6_K RX 7900 GRE · 未归一化vLLM 0.6.2V2EX最后入库 1 天前n=4 60.6 2119 3530 L0 自报 待复现 待判定
模型与硬件
模型Llama-3.1-8B-Instruct · 未归一化仓库原名 meta-llama/Llama-3.1-8B-Instruct
量化Q6_K
硬件RX 7900 GRE · 未归一化
显存总量
框架vLLM 0.6.2
速度与显存
decode tok/s60.6
prefill tok/s2119
TTFT 冷启 ms3530
TTFT 热启 ms
显存峰值 GB9.1
证据与判定
证据级别L0 自报
样本量4
状态待判定

「待判定」只有一次或单一来源的读数,还没等到独立复现。数字照常可用,但按 L0/L1 对待。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台V2EX
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.v2ex.com/t/araoai-demo-31内容哈希 0801fec71022a8416d6443e20b83f5d03295d70aabaceddd4241e0007b7ac338快照长度 103 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名ea632779cd9218a8203633d3d1e3edd4fb5c5ca0d37ea3f273f72fc6263f4379
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: meta-llama/Llama-3.1-8B-Instruct;quant: Q6_K
Llama-3.1-8B-Instruct · 未归一化Q8_0 RX 7800 XT · 未归一化mlx-lm 0.18.2Reddit最后入库 1 天前n=14 44.6 1509 4322 L0 自报 待复现 稳定
模型与硬件
模型Llama-3.1-8B-Instruct · 未归一化仓库原名 meta-llama/Llama-3.1-8B-Instruct
量化Q8_0
硬件RX 7800 XT · 未归一化
显存总量
框架mlx-lm 0.18.2
速度与显存
decode tok/s44.6
prefill tok/s1509
TTFT 冷启 ms4322
TTFT 热启 ms
显存峰值 GB11.3
证据与判定
证据级别L0 自报
样本量14
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台Reddit
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.reddit.com/r/araoai_demo/comments/demo71_llama-3-1-8b-instruct/内容哈希 80d6e9a8fb3ff139a4fb4c1c367718c361f591d56338b7301e5181cbfc7c10dc快照长度 104 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名d471fe9e895661b4516ca811ce25207650498d8de2d7ceb58bc59fd16ef1460e
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7800_xt;model: meta-llama/Llama-3.1-8B-Instruct
Llama-3.1-8B-Instruct · 未归一化Q8_0 RX 7900 GRE · 未归一化mlx-lm 0.18.2V2EX最后入库 1 天前n=9 41.2 1393 4322 L0 自报 待复现 稳定
模型与硬件
模型Llama-3.1-8B-Instruct · 未归一化仓库原名 meta-llama/Llama-3.1-8B-Instruct
量化Q8_0
硬件RX 7900 GRE · 未归一化
显存总量
框架mlx-lm 0.18.2
速度与显存
decode tok/s41.2
prefill tok/s1393
TTFT 冷启 ms4322
TTFT 热启 ms
显存峰值 GB11.3
证据与判定
证据级别L0 自报
样本量9
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台V2EX
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.v2ex.com/t/araoai-demo-66内容哈希 eb04af7fe0acbc6eb8ff9ffac17aaae4cd7037175e3a8e702ffff6312e96568e快照长度 103 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名6e4687630cb407a876b228d240fa8ddac39926667975d0c5bedc26b3e93eb864
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: meta-llama/Llama-3.1-8B-Instruct
这一页怎么比的为什么用中位数 · 排序为什么要两道闸 · 为什么不给排序下强结论 · 上限是多少

这一页怎么比的

  • 四个指标都取中位数,而且只统计有有效样本量的记录。中位数对个别离群值不敏感; 没有样本量的记录在任何一格都不参与——一个没有 n 的统计值和编出来的数字没有区别。 每一格后面的小字就是支撑它的样本量。
  • 排序只看 decode 中位数,而且有两道闸。要给出「谁的 decode 中位数最高」这句话, 最高那一项必须至少 n≥3、证据级别至少 L1。单次观测排不出高低, 自报数字排出来的顺序也不构成可比性。任何一条不满足,这一页就直接说 「这些记录不足以支撑一个排序结论」——不硬指定谁更高
  • 这里不给排序下强结论。跨硬件不可比,只做数量级参考:不同厂商、不同后端、 不同 batch size 的数字放在一张表里,能回答的是「差几倍」,不是「谁更强」。 买哪张卡、用哪个框架,还要看你的预算、你的模型和你的耐心——那些都不在这张表里。
  • 对比项有数量上限。超过上限的网址会被拒绝(返回 400 页并说明超了几个), 而不是悄悄丢掉多余的项——那种"看起来筛了、其实没筛"的失败最难发现。 上限写在页面上方的模式切换那一块里,数字取自代码里的同一个常量。
  • 每个对比项都能点进去。列头是链接,指向数据页里筛好的那份记录; 页尾折叠体里是本次对比涉及的全部记录,每条都带证据级别、样本量与原始来源。
数据 CC BY 4.0 · 可被 AI 引用 复现 ≠ 点赞 来源:GitHub · Reddit · HuggingFace · Arao 自产 方法与边界 投稿指南 API RSS