跑得动araoai.com
投稿
搜什么 常用 M3 Max × Qwen3-32BRX 7900 GRE · 未归一化 × Llama-3.1-8B-Instruct · 未归一化Qwen2.5-7B-Instruct · 未归一化 × mlx-lmQ4_K_M 72 条 Run · 7 个模型 · 10 个硬件型号
硬件

RX 7900 GRE · 未归一化在我们记录里的实测

关于这台机器,我们收录了 10 条记录。 这一页把它们摊开:中位吞吐与区间、每一行的样本量与证据级别,以及我们没有收录的组合 ——缺的那些我们不会替你补一个数字。

先说结论 · 这台机器在我们记录里的样子

在当前记录里,RX 7900 GRE · 未归一化 的解码吞吐中位数是 46.4 tok/s (41.2 – 96.1,n=88,共 10 条记录), 最高证据级别是 L1 已复现

中位出词46.4 tok/s区间41.2 – 96.1样本量n=88记录数10覆盖模型6框架覆盖4独立复现1标称显存最高证据L1 已复现

在这些模型里,Qwen2.5-7B-Instruct · 未归一化 的中位数最高(中位 96.1 tok/s, n=5,证据 L0)。 这是表里数字的高低,不是我们在替你选——样本量、量化档、框架都不同,能核对的都在表里。

模型 × 这台机器

6 个模型 · 10 条记录

同一台机器上不同模型之间的数字也不是同一件事:量化档、框架、上下文长度都会影响结果。 这张表只回答「我们在这个组合上测到过什么」。

行按记录条数降序排列——条数是「我们有多少条观测」,不是「谁更强」:不同模型之间的量化档、框架、上下文长度都不一样。每一行的 n= 是那一格参与统计的样本量之和;没有有效样本量的格子不渲染数字,渲染 —— 是"我们不知道",不是 0。

同一台机器上各模型的实测中位(按记录条数降序)
模型 decode 中位 区间 记录数 证据
Llama-3.1-8B-Instruct · 未归一化 60.6tok/sn=3041.2 – 77.8tok/s 3占 30% L0 自报
Mistral-Nemo-Instruct-2407 · 未归一化 51.9tok/sn=2347.6 – 56.1tok/s 2占 20% L1 已复现
Qwen3-14B14B 43.0tok/sn=1541.7 – 44.4tok/s 2占 20% L0 自报
DeepSeek-R1-Distill-Qwen-14B · 未归一化 42.2tok/sn=542.2 – 42.2tok/s 1占 10% L0 自报
phi-4 · 未归一化 45.1tok/sn=1045.1 – 45.1tok/s 1占 10% L0 自报
Qwen2.5-7B-Instruct · 未归一化 96.1tok/sn=596.1 – 96.1tok/s 1占 10% L0 自报

表里没有 Qwen3-32B我们还没收录这个组合「没有数据」不等于「跑不动」——前者是我们还没收录,后者是有证据表明显存不够。 把前者读成后者,就是拿记录的沉默冒充站方的结论。这不是模型的问题,是我们的缺口。

全部实测记录

含跑不通的
模型 / 量化 decodetok/s prefilltok/s TTFTms 显存峰值GB 证据 复现链 状态
phi-4 · 未归一化Q4_K_M ExLlamaV2 0.2.5GitHub最后入库 1 天前n=10 45.1 1554 4280 L0 自报 待复现 稳定
模型与硬件
模型phi-4 · 未归一化仓库原名 microsoft/phi-4-GGUF
量化Q4_K_M
硬件RX 7900 GRE · 未归一化
显存总量
框架ExLlamaV2 0.2.5
速度与显存
decode tok/s45.1
prefill tok/s1554
TTFT 冷启 ms4280
TTFT 热启 ms
显存峰值 GB11.2
证据与判定
证据级别L0 自报
样本量10
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台GitHub
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://github.com/araoai-demo/benchmarks/issues/1007内容哈希 985fffc75c709be230923d65ed466d222c60d67174e5a09d11f0c13731937736快照长度 100 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名f3785e3d27e5c1db3879fa9036c28fa756637127238fb51bd4e7e8424150f92e
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: microsoft/phi-4-GGUF
Mistral-Nemo-Instruct-2407 · 未归一化AWQ 4-bit ExLlamaV2 0.2.5B站最后入库 1 天前n=7 56.1 1934 3592 L1 已复现 1 次 待判定
模型与硬件
模型Mistral-Nemo-Instruct-2407 · 未归一化仓库原名 mistralai/Mistral-Nemo-Instruct-2407
量化AWQ 4-bit
硬件RX 7900 GRE · 未归一化
显存总量
框架ExLlamaV2 0.2.5
速度与显存
decode tok/s56.1
prefill tok/s1934
TTFT 冷启 ms3592
TTFT 热启 ms
显存峰值 GB9.3
证据与判定
证据级别L1 已复现 1 次
样本量7
状态待判定

「待判定」只有一次或单一来源的读数,还没等到独立复现。数字照常可用,但按 L0/L1 对待。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数1
测量方第三方实测
复现链
原始来源
平台B站
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.bilibili.com/video/araoai-demo-19内容哈希 c8d01e539905226f362f044339ec311ced35f1c4ab1aee3ed2d8f6a969932feb快照长度 120 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名73b54419a1924b187dad61cc6a51bdcf89a6fd32b783e10bb0526dda868de6b5
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: mistralai/Mistral-Nemo-Instruct-2407
Llama-3.1-8B-Instruct · 未归一化Q6_K vLLM 0.6.2V2EX最后入库 1 天前n=4 60.6 2119 3530 L0 自报 待复现 待判定
模型与硬件
模型Llama-3.1-8B-Instruct · 未归一化仓库原名 meta-llama/Llama-3.1-8B-Instruct
量化Q6_K
硬件RX 7900 GRE · 未归一化
显存总量
框架vLLM 0.6.2
速度与显存
decode tok/s60.6
prefill tok/s2119
TTFT 冷启 ms3530
TTFT 热启 ms
显存峰值 GB9.1
证据与判定
证据级别L0 自报
样本量4
状态待判定

「待判定」只有一次或单一来源的读数,还没等到独立复现。数字照常可用,但按 L0/L1 对待。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台V2EX
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.v2ex.com/t/araoai-demo-31内容哈希 0801fec71022a8416d6443e20b83f5d03295d70aabaceddd4241e0007b7ac338快照长度 103 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名ea632779cd9218a8203633d3d1e3edd4fb5c5ca0d37ea3f273f72fc6263f4379
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: meta-llama/Llama-3.1-8B-Instruct;quant: Q6_K
DeepSeek-R1-Distill-Qwen-14B · 未归一化AWQ 4-bit ollama 0.5.1B站最后入库 1 天前n=5 42.2 1410 4061 L0 自报 待复现 待判定
模型与硬件
模型DeepSeek-R1-Distill-Qwen-14B · 未归一化仓库原名 deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
量化AWQ 4-bit
硬件RX 7900 GRE · 未归一化
显存总量
框架ollama 0.5.1
速度与显存
decode tok/s42.2
prefill tok/s1410
TTFT 冷启 ms4061
TTFT 热启 ms
显存峰值 GB10.6
证据与判定
证据级别L0 自报
样本量5
状态待判定

「待判定」只有一次或单一来源的读数,还没等到独立复现。数字照常可用,但按 L0/L1 对待。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台B站
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.bilibili.com/video/araoai-demo-47内容哈希 bf966187ee370e84f59f94b2835d3d135d11d2e9b91333740a39d4da026bdf46快照长度 121 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名90f5ca07fef974cba06a44a8aafb08762cd01056de1dbd4d0683c35e074b412e
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
Qwen3-14BQ4_K_M mlx-lm 0.18.2GitHub最后入库 1 天前n=7 41.7 1410 4280 L0 自报 待复现 待判定
模型与硬件
模型Qwen3-14B仓库原名 Qwen/Qwen3-14B-GGUF
量化Q4_K_M
硬件RX 7900 GRE · 未归一化
显存总量
框架mlx-lm 0.18.2
速度与显存
decode tok/s41.7
prefill tok/s1410
TTFT 冷启 ms4280
TTFT 热启 ms
显存峰值 GB11.2
证据与判定
证据级别L0 自报
样本量7
状态待判定

「待判定」只有一次或单一来源的读数,还没等到独立复现。数字照常可用,但按 L0/L1 对待。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台GitHub
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://github.com/araoai-demo/benchmarks/issues/1049内容哈希 1704504f701d191f7d18e823cc906bd1cece4cd8f4b5c6101ce1b305a49bb8d1快照长度 94 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名80684a4188cc8b6cbbbdd266e26ffb1abadd9c4240b0f40bcc3b4a63520d5e2e
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre
Qwen3-14BAWQ 4-bit mlx-lm 0.18.2Reddit最后入库 1 天前n=8 44.4 1504 4061 L0 自报 待复现 稳定
模型与硬件
模型Qwen3-14B仓库原名 Qwen/Qwen3-14B-GGUF
量化AWQ 4-bit
硬件RX 7900 GRE · 未归一化
显存总量
框架mlx-lm 0.18.2
速度与显存
decode tok/s44.4
prefill tok/s1504
TTFT 冷启 ms4061
TTFT 热启 ms
显存峰值 GB10.6
证据与判定
证据级别L0 自报
样本量8
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台Reddit
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.reddit.com/r/araoai_demo/comments/demo50_qwen3-14b-gguf/内容哈希 9cbe1e2594572e05305fcabee9820cb024b24ebb7ef783ef817de730cf8e7342快照长度 96 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名547e590cc6d4c005ef0af9c4d1c308dc2013bfbd07d4c455bbd3b9f7084978ce
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre
Mistral-Nemo-Instruct-2407 · 未归一化Q5_K_M vLLM 0.6.2HuggingFace最后入库 1 天前n=16 47.6 1665 4280 L0 自报 待复现 稳定
模型与硬件
模型Mistral-Nemo-Instruct-2407 · 未归一化仓库原名 mistralai/Mistral-Nemo-Instruct-2407
量化Q5_K_M
硬件RX 7900 GRE · 未归一化
显存总量
框架vLLM 0.6.2
速度与显存
decode tok/s47.6
prefill tok/s1665
TTFT 冷启 ms4280
TTFT 热启 ms
显存峰值 GB11.2
证据与判定
证据级别L0 自报
样本量16
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台HuggingFace
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://huggingface.co/araoai-demo/mistral-nemo-instruct-2407-bench/discussions/58内容哈希 db42efa2fb35a72b56eb36f108a8db3cfb293372ddf9a511d76d3ef02ccdde5b快照长度 116 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名67820fa130a7cf3dedb242db1403e958ac5c2cff119965900d39ff429dd5f264
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: mistralai/Mistral-Nemo-Instruct-2407
Llama-3.1-8B-Instruct · 未归一化AWQ 4-bit mlx-lm 0.18.2V2EX最后入库 1 天前n=17 77.8 2632 2655 L0 自报 待复现 稳定
模型与硬件
模型Llama-3.1-8B-Instruct · 未归一化仓库原名 meta-llama/Llama-3.1-8B-Instruct
量化AWQ 4-bit
硬件RX 7900 GRE · 未归一化
显存总量
框架mlx-lm 0.18.2
速度与显存
decode tok/s77.8
prefill tok/s2632
TTFT 冷启 ms2655
TTFT 热启 ms
显存峰值 GB6.7
证据与判定
证据级别L0 自报
样本量17
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台V2EX
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.v2ex.com/t/araoai-demo-59内容哈希 4d0bd5dd22b4397ecae0529099cfca76f83a50f10a2caf499d102fe190c25c96快照长度 107 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名0ede28561ef9b98d9cb71c80976b501af4502929ec04ef7022574d02b8b54806
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: meta-llama/Llama-3.1-8B-Instruct
Qwen2.5-7B-Instruct · 未归一化AWQ 4-bit ExLlamaV2 0.2.5Arao 自产最后入库 1 天前n=5 96.1 3315 2421 L0 自报 待复现 待判定
模型与硬件
模型Qwen2.5-7B-Instruct · 未归一化仓库原名 Qwen/Qwen2.5-7B-Instruct-GGUF
量化AWQ 4-bit
硬件RX 7900 GRE · 未归一化
显存总量
框架ExLlamaV2 0.2.5
速度与显存
decode tok/s96.1
prefill tok/s3315
TTFT 冷启 ms2421
TTFT 热启 ms
显存峰值 GB6.1
证据与判定
证据级别L0 自报
样本量5
状态待判定

「待判定」只有一次或单一来源的读数,还没等到独立复现。数字照常可用,但按 L0/L1 对待。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方Arao 实测
复现链待复现
原始来源
平台Arao 自产
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://araoai.com/demo/rig-run-62内容哈希 3a771ac4b5cf3f32ac02b0a97bccfe93c5ee2516c97bdeed1fba31c635334e20快照长度 109 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名28de22e7f4f4601f1df49a46aee821cfa6e9d4327e96a8cd37dac52906147e05
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: Qwen/Qwen2.5-7B-Instruct-GGUF
Llama-3.1-8B-Instruct · 未归一化Q8_0 mlx-lm 0.18.2V2EX最后入库 1 天前n=9 41.2 1393 4322 L0 自报 待复现 稳定
模型与硬件
模型Llama-3.1-8B-Instruct · 未归一化仓库原名 meta-llama/Llama-3.1-8B-Instruct
量化Q8_0
硬件RX 7900 GRE · 未归一化
显存总量
框架mlx-lm 0.18.2
速度与显存
decode tok/s41.2
prefill tok/s1393
TTFT 冷启 ms4322
TTFT 热启 ms
显存峰值 GB11.3
证据与判定
证据级别L0 自报
样本量9
状态稳定

「稳定」已被独立来源复现过,当前没有已知分歧。

复现链从这条记录出发,每格是一次独立来源的复现。空链条表示还没有复现记录,不是我们没有记。

要和另一条记录直接比较,这几项得一样:模型 · 量化 · 框架(含版本) · 上下文长度 · 硬件 · batch · 并发数。少一项就只能当数量级参考——差额可能来自那一项,而不是你想比的东西。

完整配置 · 来源 · 复现链 16 项
完整配置
上下文长度
KV cache
flash attention
batch
GPU 层数-1
投机解码
并发数
上下文扩展
复现与测量
复现次数0
测量方第三方实测
复现链待复现
原始来源
平台V2EX
抓取时间1 天前
原文快照我们存下的原文副本(本站不转载正文) · 抓取于 1 天前 · 来源 https://www.v2ex.com/t/araoai-demo-66内容哈希 eb04af7fe0acbc6eb8ff9ffac17aaae4cd7037175e3a8e702ffff6312e96568e快照长度 103 字符(按码点计)

我们存下了抓取那一刻的原文副本与内容哈希,但不转载原文:本站只取事实(数字),不取表达。来源被删除或改版之后,我们可以拿哈希说明「当时读到的就是这段文本」,但不能说明它现在还在。

相关断言

目前没有断言引用这条记录

高级元数据 5 项
配置指纹
配置签名6e4687630cb407a876b228d240fa8ddac39926667975d0c5bedc26b3e93eb864
实验指标
KLD
MTP 接受率
整机功耗 W
归一化
归一化未命中hardware: rx_7900_gre;model: meta-llama/Llama-3.1-8B-Instruct

这一页怎么算的

三件我们不做的事
  • 只列有记录的模型。这台机器上某个模型一条记录都没有时,表里没有这一行, 我们只会在表下把它点名——不会渲染一个 0, 也不会把它写进「跑不动」那一类。那是两件事:前者是我们还没收录,后者是有证据表明显存不够。
  • 「跑不动」也是一条记录。下面那张完整表里,标着「跑不动」的行照常渲染, 并带着自己的证据级别——把它们藏起来等于只给你看赢的那些,那不叫数据。
  • 不给"该跑哪个模型"这类排序。表按记录条数降序(那是"我们有多少观测"); 「中位数最高」那种句子是可核对的陈述。同一台机器上不同模型之间的量化档、框架、 上下文长度都不一样,所以"哪个更好"这种问题我们不答——记录里没有能力字段,答了就是编。
数据 CC BY 4.0 · 可被 AI 引用 复现 ≠ 点赞 来源:GitHub · Reddit · HuggingFace · Arao 自产 方法与边界 投稿指南 API RSS