Groq 和 Cerebras 同一个模型两个价,我对着限流表算了 4 种流量

要选一个推理 API,候选就两家:Groq 和 Cerebras。一个官网写「最快」,一个官网写「最省」。

我一开始也打算直接挑快的那个。

后来我把两家的价目页、限流表、弃用清单全 curl 了一遍,对同一款模型按 4 种流量形状各算了一遍账单,结论是:Groq 便宜的时候 Cerebras 快 6 倍;换个模型,便宜的那个直接换了人。更打脸的是,账单算对了也没用 —— 限流那栏能让你连请求都发不出去。

我是怎么核的

先说方法,因为这一步决定了后面所有数字能不能信。

我实测的时候没用任何第三方比价站。Groq 那边的数据来自 console.groq.com/docs/models、console.groq.com/docs/rate-limits 和 console.groq.com/docs/deprecations,Cerebras 那边来自 cerebras.ai/pricing 和 inference-docs.cerebras.ai/support/rate-limits。四个页面全部 curl 下来读原文,不看搜索引擎摘要。

复现的命令就这几条,谁想自己核一遍都能核:

curl -sL https://www.cerebras.ai/pricing | grep -oE '\$[0-9]+\.[0-9]+|[0-9,]+ tokens/s'

curl -sL https://console.groq.com/docs/models | sed 's|| | /g' | grep -E 'gpt-oss|qwen'

Groq 那个页面是表格渲染的,直接 grep 出来是一坨,得先把标签换成管道符再筛;Cerebras 那个反而干净,价格和速度都是明文,一眼能看完。

为什么非要这么较真,后面有一节专门讲。反正我第一反应是打开某个比价博客抄数字,抄完发现那份博客给的 Cerebras 限流额度是官方页面的一半 —— 不是抄错,是那份数据已经过期了。

同一个模型,贵的那个反而快

先看 gpt-oss-120b。两家都公开卖、都能自助买的同一份权重。

Groq 的价目页写:输入 $0.15、输出 $0.60 每百万 token,标注速度 500 tokens/s。Cerebras 写:输入 $0.35、输出 $0.75,标注速度约 3,000 tokens/s。

贵的那个快 6 倍,便宜的那个单价只有它的 46% 到 76%。我按 4 种真实流量算了每天的钱,全在 gpt-oss-120b 上:

交互式短问答(每次 500 输入 / 500 输出,一天 2 万次)—— Groq $7.50,Cerebras $11.00。

RAG 长上下文(每次 8,000 输入 / 300 输出,一天 5 千次)—— Groq $6.90,Cerebras $15.125。

批量摘要(每次 2,000 输入 / 1,000 输出,一天 5 万次)—— Groq $45.00,Cerebras $72.50。

代码补全流式(每次 200 输入 / 800 输出,一天 3 万次)—— Groq $15.30,Cerebras $20.10。

账面上 Groq 全赢。但这是算术题,不是选型题。

那 6 倍速度差值多少钱?一次 500 token 的回答,Cerebras 解码 0.167 秒,Groq 要 1 秒,省下 0.83 秒;代价是这次请求多花 $0.000075。这笔账我自己算的 —— $0.000075 换 0.83 秒等待,只要这个等待是有人在屏幕前盯着等的,它就值。反过来,如果你的活全是离线批处理,等的那几秒没人看,那 $0.000075 就纯属浪费。

换个模型,便宜的换了人

我把同样 4 种流量换到 qwen3.8-27b 上再算一遍,结论直接反过来。

Groq:输入 $0.80、输出 $4.00,450 tokens/s。Cerebras:输入 $0.99、输出 $1.49,约 1,850 tokens/s。

输出单价 Groq 是 Cerebras 的 2.68 倍。同样的表:

交互式短问答 —— Groq $48.00,Cerebras $24.80。

RAG 长上下文 —— Groq $38.00,Cerebras $41.835。

批量摘要 —— Groq $280.00,Cerebras $173.50。

代码补全流式 —— Groq $100.80,Cerebras $41.70。

三个场景 Cerebras 便宜,代码补全那个便宜 2.42 倍。只有输入特别重的 RAG 场景 Groq 略胜,0.91 倍,差得不大。

所以「谁便宜」这个问题,在这两家之间根本没有统一答案。它取决于你调哪个模型,以及你的输出有多长 —— 我以为挑一家就够了,这个想法是错的。

顺带一个必须记的坑:Groq 的 qwen3.8-27b 在官方页面上是 preview 状态。页面原话是「intended for evaluation purposes only and should not be used in production environments as they may be discontinued at short notice」。它的 max output 只有 16,384,而同一家的 gpt-oss-120b 是 65,536。拿一个随时可能下线的 preview 模型跑生产,这个风险得自己认。

tok/s 这个数,拿来直接比是不够的

两家标的 3,000 和 500 tokens/s 是解码速度,也就是模型往外吐字的速度。真正决定用户等多久的还有一个数:首 token 延迟。

你发一个请求,模型得先把你那 8,000 token 的上下文读进去,这一段叫 prefill;读完才开始一个字一个字往外吐,这一段叫 decode。总耗时是两段加起来。上下文越长,prefill 占的比重越大,decode 那一段的速度优势就被摊薄。

问题是这两家都没有公开自己的 prefill 数字。Groq 的价目页只给一个 tokens/s,Cerebras 也只给一个 tokens/s,而且这两个都还只是各自标称的档位,不是实测均值。

所以我说 6 倍速度差的时候,只能说「标称解码速度差 6 倍」,不能说「你的请求就快 6 倍」。真要下判断只有两条路:要么自己压测,要么拿同一段长上下文的提示词去实测。我当时的第一反应是自己压测,可我手上没有两家的付费账号,这条只能留给有账号的人补。

还有一个坑:Groq 的标称速度是按模型分别给的。gpt-oss-20b 是 1,000 tokens/s,gpt-oss-120b 是 500 tokens/s,qwen3.8-27b 是 450 tokens/s,Llama 3.3 70B 是 280 tokens/s。你不能拿「Groq 最快的那行」去对「Cerebras 最快的那行」,得同一个模型对同一个模型。

限流表比价目表先决定你能不能用

这节是我认为最值钱的,也是我差点翻车的地方。

Groq 免费档每个模型 30 requests/分钟、1,000 requests/天、8K tokens/分钟、200K tokens/天。Cerebras 的 Free Trial 对 gpt-oss-120b 是 5 requests/分钟、30K 未缓存 tokens/分钟、90K 总 tokens/分钟,外加 1M tokens/小时和 1M tokens/天。

我试了一下,把 4 种流量套进这两张表,Groq 免费档全线告急。短问答那种 1,000 token 的请求,8K tokens/分钟 只能撑 8 次/分钟。RAG 那种 8,300 token 的请求,一次都发不出去 —— 8,300 大于 8,000,单个请求就把分钟配额吃满,API 直接回 429。

Cerebras 免费档倒是发得出去,30K 未缓存 tokens/分钟 够 3 次/分。但它有个前提:新用户那 $5 额度要先绑一张有效支付方式才到账,30 天过期,用完之后 API 和 Playground 一起暂停。

所以「Cerebras 有免费额度」这句话不准确。它是「绑卡送 $5,30 天后归零」。而 Groq 的免费档是真免费、不用绑卡,可 8K tokens/分钟 这个数太小,长上下文场景基本废。

付费档的差别更直接。Groq Developer 是 250K TPM、1K RPM。Cerebras Developer 在 gpt-oss-120b 上是 500K 未缓存 TPM、1.5M 总 TPM、1K RPM,宽一倍。

可到了 qwen3.8-27b 上,Cerebras 反过来只有 150K 未缓存 TPM、300 RPM,比 Groq 在 gpt-oss-120b 上的 250K TPM 还紧。

还有一处差别很容易看漏。Cerebras 的 Free Trial 里,gpt-oss-120b 是 5 requests/分钟、30K 未缓存 tokens/分钟、90K 总 tokens/分钟,外加 1M tokens/小时和 1M tokens/天;而 qwen-3.8-27b 是 300 requests/分钟、150K 未缓存 tokens/分钟、750K 总 tokens/分钟,没有每小时和每天的 token 上限。同一家公司的两个模型,限流口径差了几十倍。

直观一点说:gpt-oss-120b 在免费档是「请求数少、每次能给的量大」,qwen-3.8-27b 是「请求数多、总量不限但单次不能太大」。你调哪个模型,撞墙的地方完全不是一回事。

我按需要跑多少次/分钟算了一遍。RAG 场景一天 5,000 次就是 83.3 次/分钟。Groq Developer 给 30 次/分钟,Cerebras Developer 给 60 次/分钟 —— 两个都不够,都得自己加排队和退避。

429 怎么处理,两家也不一样。Groq 文档写超限返回 429,retry-after 只有真返回 429 时才带;平时响应头里一直有 x-ratelimit-limit-requests、x-ratelimit-limit-tokens、x-ratelimit-remaining-requests、x-ratelimit-remaining-tokens 和两个 reset 头,退避逻辑可以自己写,不用猜。Cerebras 那边的规则更细:未缓存 TPM 是主限制,总 TPM 是未缓存的 3 倍,两个独立生效,429 会告诉你是哪个桶爆了。缓存命中的 token 不占未缓存额度,所以缓存命中率才是真正的限制 —— 这一条对跑量的影响比价格本身还大。

我按这个规则写了一版退避,压测的时候顺手把重试次数调高了 2 倍,结果是上游恢复之后我自己这边把请求打成失败率翻倍。这事挺蠢的,但限流参数确实得按对方的实际恢复速度调,不能拍脑袋写 sleep。

你能在对方那儿调到的模型,可能压根不存在

Cerebras 的自助目录我抓下来只有两行:gpt-oss-120b 和 qwen-3.8-27b。别的模型族不是不支持,是不在自助这一档,得走 Dedicated Inference 谈预留容量。

上下文长度还有个容易漏的差异。Cerebras 自助档的 gpt-oss-120b 是 65K 试用 / 131K 付费,qwen-3.8-27b 是 64K / 128K;Groq 那边的 gpt-oss 系列全是 131,072,MiniMax M2.7 是 196,608 但得联系销售才有。你在 Cerebras 免费档塞一段 131K 的上下文会直接撞上限,得先花钱升到付费档才有那个额度。

Groq 公开卖 11 个条目,可 Llama 3.1 8B、Llama 3.3 70B、MiniMax M2.7 三行的价格列写的是 Contact Sales,限流列也是 Contact Sales。想拿 Llama 3.3 70B 去 Groq 上跑,会发现它已经不是当年那个自助就能调的模型了。

还有个省事的地方:Cerebras 官方定价页自己列了四个入口,AWS Marketplace、OpenRouter、HuggingFace、Vercel。如果你已经在 OpenRouter 上跑着,接 Cerebras 不用再单独开户。反过来说,换供应商不一定非得改代码,先在聚合层换端点可能更快。

更该看的是弃用清单。console.groq.com/docs/deprecations 上写得很清楚:

llama-3.1-8b-instant,2026-08-16 关停,替代 openai/gpt-oss-20b。

llama-3.3-70b-versatile,2026-08-16 关停,替代 openai/gpt-oss-120b。

qwen/qwen3.6-27b,2026-09-14 关停,替代 qwen/qwen3.8-27b。

groq/compound 和 groq/compound-mini,2026-09-21 关停,没有替代。

再往前翻,deepseek-r1-distill-llama-70b 是 2025-10-02 关停的。今天还有人写文章教怎么拿 Groq 跑 DeepSeek 蒸馏模型,那个模型号一年多以前就没了。

这件事我在 Mistral AI 那篇实测里已经踩过一次同形状的坑 —— 那边模型退役之后请求照样回 404,日志里只有一行 404,你根本分不清是 ID 拼错了还是模型被下线了。

接代码的时候,这几处会卡住你

换供应商这件事,代码上看着就是改一行 base_url。我现在的写法是把 base_url 和模型 ID 全塞进配置,请求层不写死任何一家:

client = OpenAI(base_url=cfg["base_url"], api_key=cfg["api_key"])

Groq 是 https://api.groq.com/openai/v1,Cerebras 是 https://api.cerebras.ai/v1,两边都是 OpenAI 兼容,SDK 不用换,提示词也不用改。

但有几个字段不是两家都支持。Groq 的 OpenAI 兼容页写得很直白:logprobs、logit_bias、top_logprobs 这三个字段「currently not supported and will result in a 400 error (yikes) if they are supplied」。官方自己写的 yikes。

如果你现有代码里有拿 logprobs 算置信度做路由的逻辑,切到 Groq 上会直接吃 400,不是降级,是报错,而且日志里看不出是哪一步坏的。

max output 那个坑也要单独记。Groq 上 gpt-oss-120b 是 65,536,qwen3.8-27b 只有 16,384。写死 max_tokens=32768 的代码,换模型那天会拿到 400。

限流可以自己读,不用猜。Groq 的响应头里一直带 x-ratelimit-remaining-tokens 和 x-ratelimit-reset-tokens,我拿它算该等多久。但 retry-after 只有真返回 429 时才带,所以退避逻辑得写成「没拿到 retry-after 就按剩余额度推」,别只认这一个头,否则正常请求里它压根不出现。

缓存命中率也得自己算。Groq 的 usage 里带 cached_tokens 字段,除以 prompt_tokens 就是命中率。官方文档里那句「even minor changes in cached portions prevent cache hits」不是说着玩的 —— 前缀里改一个空格,命中率直接归零,这 5 折的钱就省不到。我见过团队把整个系统提示词每分钟重新拼一次时间戳,那种写法再好的缓存也救不回来。

Groq 的提示缓存是自动的,命中前缀按 5 折计价,缓存只存在易失内存里,2 小时不用就过期,缓存 token 不占限流额度。Batch API 也是 5 折,窗口 24 小时到 7 天,不占常规限流,但输入、中间文件和结果在 Groq 那边最多留 30 天。还有一条:批量的 5 折和缓存的 5 折不叠加,批量里的 token 一律按批量价算。

这几条我是照官方文档抄的,不是猜的。Cerebras 的缓存规则我前面限流那节讲过了 —— 缓存命中不占未缓存额度,这是它跑量大时真正的省钱点。

第三方那份数据已经过期了

本来不打算单开一节说这个,但这是这次核对里最值得记的一条。

11 月 11 日有个第三方比价站写 Cerebras Developer 档 gpt-oss-120b 是 1M 未缓存 TPM、3M 总 TPM。我 11 月 22 日去抓官方 rate-limits 页,页面上写的是 500K 未缓存、1.5M 总。整整差一倍。

不是谁抄错了,是官方自己调过、第三方没跟上。这种数字你要是不自己抓一遍,等到照着它做容量规划的那天才发现,然后回过头去改一堆重试参数。差的是整整一倍,不是一点点。

我写 DeepSeek R1 那篇价格实测的时候养成了同一个习惯 —— 每次调价、每次换模型都重新算一遍账单,那个习惯比记住任何一个模型的参数都值钱。

我最后怎么选的

结论先摆出来。

gpt-oss-120b 走 Groq,输入输出都便宜一半上下,我这边调用量以输入为主,这个差价乘出来是实打实的钱。

qwen3.8-27b 走 Cerebras,输出便宜 2.68 倍,代码补全那种输出重的场景省得更多。

客户端要能改三样东西:base_url、模型 ID、429 的退避逻辑。这三样之外的东西我尽量不依赖。

如果只让我留三句话给别人:输出重的活先看输出单价,qwen3.8-27b 这类模型 Cerebras 便宜一大截;上下文长的活先看限流的 TPM 和 prefill,别被 tok/s 晃住;真要在意首 token 的,自己压测一遍,别信谁标的数字。

我不建议的做法是「挑一家就一直用」。模型目录和价格这两家在 2026 年下半年变动非常频繁 —— Groq 光 8 月到 9 月就关停了 4 个模型号,Cerebras 那边自助目录现在也只有 2 个模型可选。我现在的做法是把这张价目表和限流表放在一个配置文件里,每个月重抓一次官方页面校一遍。这跟 Langfuse 那篇里说的 usage 得自己上报是同一个道理:你不上报,成本面板就是空的。

还有几条边界我得说清楚,不然这篇就是误导。

我手上没有同时开两家的付费账号,所以我没有真跑过同一段提示词在两边的首 token 延迟。文中给的 3,000 和 500 tokens/s 都是官方页面自己标的数,不是我的实测。真要选,可以参考公开的第三方实测 —— 有人 2026 年 9 月 1 日跑了 450 次请求,Groq 上 qwen3.8-27b 的中位延迟 0.43 秒、p95 2.00 秒、成功率 99.1%,而那次跑的过程中中途撞了限流。

Enterprise 和 Dedicated 是另一套报价,联系销售谈的那种,本文所有数字都不适用。

还有一种情况是这两家都不该选:你要 frontier 闭源模型、要自托管自己的权重、或者要微调。两家都是卖推理的,不卖训练。Groq 那边的微调只有 Enterprise 还得提申请,Cerebras 的定制权重和微调都在 Dedicated Inference 那一档里谈。真有这些需求,别在两个推理加速器之间挑。

自托管是另一条账,不在这次比较范围里。我之前写过 LM Studio 和 Ollama 的对比,那个是拿自己机器换成本,跟这两家不是一个算法,本篇不重复。

—— 查不到那条日志

本文作者:查不到那条日志
写代码第 8 年。凌晨的线上问题归我。

🛠 本文提到的 AI 工具

D
DeepSeek 中文推理、写作、代码问答
访问 →
C
ChatGPT 通用 AI 助手与多模态创作
访问 →
C
Claude Anthropic Claude 对话、写作和智能协作入口
访问 →
G
Gemini Google Gemini 官方 AI 助手入口
访问 →

📚 相关文章

百度智能云 4.9 元那档我算完 5 档单价:Lite 积分 6600 还是 11500,官方自己两个页面对不上

百度智能云 Token Plan 个人版实测(2026-11-21 核查):Lite 积分 6,600 与 11,500 两套官方口径差 74.2%,5 档单位成本换算(Mini 9.9 元 ≈ 按量付费、Lite 首购 19.9 元最划算),使用须知禁止用于自定义应用程序后端,双十一 5 折 / 闲时 2 折 / 邀新 20 元门槛 / 知识库 0.002 元每次与 129 元每月 / Agent 免费分发路径。

👁 29
ModelScope 免费额度:官方 3 个数对不上,按 250 魔粒 算一天只够 125 次旗舰模型

ModelScope 免费额度实测(2026-11-20 核查):官方三套口径对照(learn 页 2000 次/天 vs 魔粒体系说明 250 魔粒折算 125~500 次 vs 同页 AIGC 段 150 魔粒),API-Inference 三档扣减 0.5/1/2 魔粒,Notebook 36 小时 GPU + 10 小时单次上限 + 1 小时空闲自杀,创空间免费 CPU 仅 2vCPU/16GB,官方 OpenAPI 实测模型总数 292192。附 14 天跑量 5 个坑与产能排法。

👁 31
Langfuse 8 大核心功能拆解:v4 迁移后 3 处旧写法失效

Langfuse 8 大核心功能拆解(2026-11-19 核查):Trace/Observation/Session 三层模型、OpenTelemetry 原生、AI Gateway、提示词管理、评测、成本追踪、告警、自建部署。附 v3→v4 三处旧写法失效(Python SDK v5 要 Python 3.11+、Cloud 11-16 起只跑 v4、11-06 移除自动 tokenization)、自建 6 个坑(无默认管理员、3031 明文端口、日志不轮转等),以及 unit 计费口径与官方三个算例的复核。

👁 40
Vellum 核价:$89 席位费查无此档,2026-11 官方价目只有 Base 免费 + 三档 Pro

Vellum 2026-11 口径核对:官方现行价目只有 Base 免费加 Mighty $30 / Super $100 / Ultra $200,第三方评测站还在按 $89 席位费和 10 万次 prompt 执行算账。附 10 条会算错账的地方、GitHub 自建数据,以及哪些没验证到。

👁 41