先说口径：这次对比我把 W&B Weave 和「纯手调提示词」放在同一批 30 条结构化输出样本上对跑，每个维度只问一个问题——同一批样本能不能给出可复现的版本差分。文中出现的官方数字，都是我在 2026 年 11 月 4 日从 CoreWeave Forge 定价页、docs.coreweave.com 的文档站和 GitHub 的 release 页面当场抄下来的；官方口径和第三方口径我分开写，抄不到的就标「这条我没验证到」。
另外有件事得先澄清，不然整篇就是层级错题。Weights & Biases 是实验追踪和评测平台，不是提示词写作工具。跟它对位的不是某个「AI 提示词助手」，而是「改一版提示词 → 手动喂 30 条 → 肉眼看输出顺不顺眼」这套工作方式。我评的是后者：这套做法在你已经改到第十几版、开始为「上周那版到底好在哪」争论的时候，会不会变成瓶颈。
我自己拿得出手的场景只有一个：给 DeepSeek 和 Kimi 做固定 JSON schema 的结构化输出，每条要吐出固定字段。这是全文的边界。我写评测文章最怕拿一个场景的结论去套所有场景，所以下面凡是我没跑过的用法，都单独标出来了。
一、这次比的四个维度
我把对比拆成四行，因为提示词「变好」这件事在实践中只有这四种可证伪的说法：
| 维度 | 纯手调提示词 | W&B Weave | 我核到的依据 |
|---|---|---|---|
| 版本可复现 | 改完就覆盖，没得比 | 每次调用落成 trace，能并排看两次 evaluation | 官方 quickstart 文档 + 我本地跑通的 trace 树 |
| 评分口径 | 我今天心情好 | 数据集 + scorer + Evaluation，聚合分数可下钻到单条 | 官方 built-in scorers 页（9 个）+ evaluation 教程 |
| 回归拦截 | 没有，改 A 顺手弄坏 B 不知道 | evaluation 可挂 CI，分数掉了卡合并 | 官方《Production-ready LLM evaluation guide》 |
| 成本与额度 | 0，但返工成本自己扛 | Free $0 起，Pro $60/月起，按存储和 ingestion 双线计费 | CoreWeave Forge 定价页（2026-11-02 最后发布） |
为什么是这四行。因为「提示词工程」这件事落到工程上，本质就是：提示词进版本库，每次改动有据可查，每次合并有闸门。做不到这三条，剩下的都算手工活。
二、四个维度上的实际表现
先把产品线摆清楚，免得买错。CoreWeave Forge 现在的菜单分 Training、Inference、Agent Development、Registry、Notebooks 几块：Training 下面是 Weights & Biases Models（实验追踪、超参搜索、模型注册表、制品）、Serverless SFT、Serverless RL、Model Distillation（Preview）；Inference 下面是 Serverless Inference 和 Dedicated Inference；Agent Development 下面是 Agent Lens（Preview）、Sandboxes 和 ARIA。跟提示词评测真正相关的只有 Weave 这一条线，对应 Free 档里那组「AI application evaluations / tracing / scorers」。Models 那一侧是训练实验追踪，跟提示词评测不搭界。要注意的是 Pro 是按人头买整套功能，不是按你用到的功能买，这也是第四节价格讨论的前提。
维度一，版本可复现。Weave 的接入路径短得有点不像一个正经平台：pip install weave，weave.init("项目名")，然后给要观察的那个函数加一个 @weave.op 装饰器。就这三步。之后每次调用会记下输入、输出、延迟、成本和元数据，在界面上拼成一棵调用树。我第一次装就把顺序写反了——@weave.op 写在 weave.init() 前面。结果是脚本照跑不误，控制台也没有报错，界面上就是「有数据但看不见」。我排查了大概 40 分钟才反应过来是装饰器应用时机的问题。这个坑值得单独写一句，因为它不报错，只是不给你看。
真正比打印日志强的地方在于：@weave.op 不只贴在模型调用边界上，你的提示词预处理、解析 JSON 的纯函数、检索段落都能串进同一棵树。输出不对的时候，日志只能告诉你「这次结果不对」，trace 树能告诉你「不对是在哪一步烂掉的」。这对我调 JSON schema 尤其有用——字段名对不上、必填项缺失、类型被模型吐成字符串，这三种错在 trace 里是三个不同的节点。
维度二，评分口径。Weave 的评测模型是「一个数据集 + 一组 scorer = 一次 evaluation」，跑完分数被聚合，不同次 evaluation 可以并排比，还能下钻到单条样本看为什么这条低分。对比提示词这件事，流程就是：攒一批真实样本，把提示词的每一版当成一次实验跑同一个数据集，看哪一版分数高。
这里有个地方官方文档和流传的说法对不上，我按文档抄了一遍。官方 built-in scorers 页面列的是 9 个：HallucinationFreeScorer、SummarizationScorer、OpenAIModerationScorer、EmbeddingSimilarityScorer、ValidJSONScorer、ValidXMLScorer、PydanticScorer，加上 RAGAS 的 ContextEntityRecallScorer 和 ContextRelevancyScorer。我没在列表里找到叫 exact match 或叫 regex 的内置 scorer——精确匹配和正则这类规则判定，文档给的路子是自己写函数（function-based scorer）。把 scorer 理解成「开箱即用的四个按钮」，这个说法是错的。
评测集这层我要多说一句，因为它比工具选型更容易出错。我的 30 条样本是从真实业务里脱出来的，字段名保留、长度不等、难例照收，因为编造的整齐样本测出来的分数没有意义——它只会验证你本来就会写的那种提示词。官方文档在 evaluation 教程里也是这个路子：先 publish 一个 dataset，评测集本身就是版本化的对象，评测集换一版，分数就不可比了。这件事手工做很难不出错，工具做也只是把出错概率从「高」降到「中」。
LLM-as-a-Judge 倒是有官方支持，文档里直接给了 LLMJudge 类。我的做法是把它放最后：结构化字段先用规则卡死（ValidJSONScorer、PydanticScorer 这类零成本、零漂移的），语义质量再单独挂一个 model-graded scorer，并且定期拿人工标注样本去校它。judge 会漂移，一个自信地答错的答案它照样能打高分，这条官方文档也强调过，涉及 CI 门禁和 PII 脱敏的场景，人工复核绕不开。
维度三，回归拦截。纯手调最要命的地方是没有回归保护。今天为修一个 case 改了提示词，很可能顺手弄坏另外二十个，而你不会知道，因为你根本没测。Weave 的 evaluation 结果可以挂到 CI 上，每个 PR 跑一次，分数掉了就卡合并。
接 CI 这一步我没在生产上跑过，只把官方那条路径读通了：evaluation 跑完会落成一个可被 API 取回的结果对象，PR 流水线里跑一次，把聚合分数和基线比一比，低于阈值就 fail 掉这个 PR。听着简单，但基线从哪来是另一回事——你得先决定「多少分之几算退步」，这个阈值本身是拍脑袋定的，工具不会替你定。官方那篇《Production-ready LLM evaluation guide》（sitemap 里 lastmod 是 2026-01-08）专门讲怎么把评测做成可重复的流程而不是一次性脚本。
维度四，成本与额度。Free 档是 5 个 model seats、每月 5GB 存储、每月 1GB Weave ingestion、社区支持。Pro 档 $60/月起，10 个 seats、每月 100GB 存储、1.5GB ingestion，超出部分存储按 $0.03/GB、ingestion 按 $0.10/MB 另算，带 30 天试用，官方限定给 50 人以下的早期团队。Enterprise 是报价制，额外 ingestion $0.20/MB，加 SSO、审计日志、客户自管加密密钥和 HIPAA 选项。学术授权是免费的 Pro 功能，200GB 存储、每月 25GB ingestion、最多 100 席位，但要用学术机构的邮箱去申请。存储的计费方式有个细节，官网 FAQ 举了例子：按 30 天日均折算，官方自己算了一遍 5900 GB-days ÷ 30 = 196.6 GB，月底四舍五入到最近 MB，所以 3 月记 197 GB。另外一条对做实验的人有用：外部存储桶里的数据和制品不计入云存储额度，只算你实际存进平台的那部分元数据。
ingestion 是另一条独立的计费线。Free 档每月只有 1GB，Pro 1.5GB，超了按 $0.10/MB 走。你在 trace 里贴完整响应、贴截图、贴长文档片段，增长得比你想的快。我第一次估用量的时候按「一条 prompt 一次调用」算，实际是「一条样本走三四个节点，每个节点都留一份输入输出」。这个乘数在官方定价页里没写，官方评测文章里提过一个量级，但我在文档站里没找到对应数字，所以不能当预算依据。我们四个维度里没单列「埋点成本」，可它才是判断值不值的前置条件。
三、官方说法和我核到的实际，差在哪儿
这是我写这篇最想留档的部分。写之前我把官网定价页、文档站和 GitHub 都过了一遍，以下每条都有出处。
下面这八条，每条我都标了出处和核对日期，你按着链接自己复核一遍就行，不用信我的转述。
第一，ZenML 的价格，旧口径已经失效。之前流传的选型对比里写「ZenML 起步每月 999 美元」，我 2026 年 11 月 4 日打开官网定价页，首页第一行写的是「One plan, $39 a month」，Starter $39/月，1 个 AI agent 加 1 个 ML 项目，席位不限，14 天试用，Enterprise 定制。这类第三方对比的滞后点在选型文章里最致命，因为它是照着抄的。
第二，Weave 现在有一个官方承认的继任者。docs.coreweave.com 的 Weave 首页有一段原话：Agent Lens 是「the successor to Weights & Biases Weave」，两边已经在同时接收 agent 追踪数据，不需要迁移。CoreWeave Forge 定价页的产品菜单里，Agent Lens 标着 Preview，描述是「Observability that turns agent traces into fixes」。如果你现在才立项，这一条比本文其他所有内容都重要。
第三，产品名换过。官方那篇 Kimi 2.7 的入门文章，现在的标题是《Getting started with Kimi 2.7 on CoreWeave Inference Serverless》，不是旧文里写的「on W&B inference」。我按 sitemap 里的 lastmod 排了一下官方几篇文章的时间：GLM-5 那篇 W&B Inference 教程是 2026-02-23，《Evaluating Moonshot AI Kimi K2 Instruct Using W&B Inference and Weave》是 2026-04-06，《Benchmarking Claude Opus 4.8 honesty with BeHonest and W&B Weave》是 2026-06-05，《Comparing LLaMA, GPT, DeepSeek, and Qwen on W&B Inference》是 2026-07-22，《Evaluating DeepSeek V4 and GPT-5.5 on Long-Context Coding》是 2026-07-28，Kimi 2.7 那篇是 2026-10-24。lastmod 是最后修改时间，不等于首发时间，这一点我得说明白。
第四，地址跳了。我拿 curl -I 试了 wandb.ai/site/launch，返回 307，跳到 wandb.ai/site/automations/。老文章里还把 Launch 当独立产品讲的，现在它已经是 Automations 的一部分了。
第五，Weave 有一部分功能停止开发了。GitHub 上 wandb/weave 仓库的 README 原文写着：仓库里大量「Weave engine」和「Weave boards」的代码「which we've put on pause as we focus on Tracing and Evaluations」。README 里还有一条我更在意：start_session 和 Session 仍然存在，但会抛 DeprecationWarning，官方让你别在新代码里用。这两条是仓库自述，不是我转述第三方。
第六，trace 会被截断。官方文档明写：Weave 有时会截断大的 trace 数据对象，原因是默认 trace 输出是一个原始的自定义 Python 对象，Weave 不能自动序列化。文档给的解法是让函数返回全是字符串的 dict。我自己的 30 条样本里有几条长文档，输出体积不小，属于会撞上这条的类型。
第七，自托管这件事的口径比旧文窄。定价页 FAQ 里有一句原文：如果你在本地托管 CoreWeave Forge，云存储额度不适用。这句话只解决了「本地跑还扣不扣云存储」，没解决「本地跑能不能商用」和「谁来打补丁」。后者是我更在意的，理由下一节说。
第八，Neptune.ai 这条我只能给一半。旧口径是它 2025 年 12 月被 OpenAI 收购、托管产品 2026 年 3 月关停。我这次实测 neptune.ai，DNS 还解析得到（150.171.110.68），但 HTTPS 连不上，curl 返回 0。方向上和「托管产品已停」一致，不过收购与关停的具体日期我没找到官方公告原文，这条我没验证到。
另有一条是版本信息，我按 release 页抄的：wandb/weave 最新 tag 是 v0.54.0，发布时间 2026-10-23。客户端许可我打开 wandb/wandb 的 LICENSE 确认是 MIT，GitHub 上 11,314 stars。这个数字每周都在动，看到的是 2026-11-04 当天的值。opik 的 LICENSE 我也顺手看了，是 Apache License。顺带一个安全条目，这个我得单独提醒：Weave Server 有个高危漏洞 CVE-2024-7340，NVD 上发布时间是 2024-07-31，CVSS 3.1 评分 8.8（HIGH），向量串是 AV:N/AC:L/PR:L/UI:N/S:U/C:H/I:H/A:H。NVD 的描述是：Weave server API 允许远端用户从指定目录取文件，因为缺少输入校验，可以做路径遍历泄漏任意文件；官方对应的跟踪编号是 JFSA-2024-001039248。托管的云服务没有牵涉进去，但自己部署 Docker 版本的必须打补丁。
四、同一个维度，把价格摊开比
我把几家都按「公开定价页能查到的月付价」这一条口径列一列，2026 年 11 月 4 日当天抄的：
价格这一栏最容易抄错，所以我只抄官网首页公开写着的数字，不抄那些「大约」「起价」之外的估算。
| 产品 | 公开价格口径 | 适合什么规模 |
|---|---|---|
| CoreWeave Forge（Weights & Biases） | Free $0；Pro $60/月起，额外存储 $0.03/GB、额外 ingestion $0.10/MB | 50 人以下的团队 |
| Langfuse | Core $29/月；Pro $199/月；Enterprise SSO $300/月，全量版 $2499/月 | 只做 LLM 观测 |
| Comet | Free Cloud $0（10 人、每月 25k spans）；Pro Cloud $19/月（50 人、100k spans、保留 60 天） | 中小团队 |
| ClearML | 免费档 $0（3 人）；团队档 $15/人/月 + 用量 | 训练追踪需求更多 |
| Opik（Comet 出品） | 开源 $0，Apache 2.0 | 想要自己部署 |
| ZenML | Starter $39/月，席位不限 | 编排管线 |
| MLflow | 开源自托管，没有统一标价 | 愿意自己养服务器 |
几点补充。W&B 的学术授权是这一列里最值得单拎出来的一条：等于 Pro 的全部功能，200GB 存储、每月 25GB ingestion、最多 100 席位。学生和高校用户应该先看这一档，别先看 $60 那档。Langfuse Pro 的 $199/月是固定价、不含按量的部分，如果你一行训练代码都没有，这条路线比 W&B 便宜且干净。MLflow 是 Apache 2.0 开源免费，但要自己养服务器——第三方选型文章给的常见估算是每月 150 到 500 多美元的基础设施，外加首次搭建 4 到 8 小时、上生产 40 小时以上的人力，这是第三方口径不是官方报价，我没有找到原始出处。还有一条第三方自述被反复引用：有团队说自己是 12 人的纯 LLM 团队，每月账单约 2400 美元，其中大部分买的是他们根本用不上的训练追踪能力。同样的口径也常出现「50 人以上团队每月两三千到一万美元」的估算。这些数字我只当量级参考，没验证到原始账单。所以价格不是 W&B 的软肋，真正的软肋是「锁定成本 + 用不上的功能也要付费」，以及 run 格式是专有的——有公开对比文章的说法是「从 W&B 迁到 MLflow 比反向更难」。这条我倾向于信，但同样属于第三方口径。
五、适合谁，不适合谁
该用的场景挺明确。你已经在用 W&B 跑训练实验，想把 LLM 侧的评测放进同一个工作区；你需要 artifact lineage 来回答「两个月前那次效果变差是哪个数据集版本导致的」；你要多人协作并且需要能分享的 report；你要把提示词评测挂进 CI 当闸门。学术用户按上一节那条走。
不该用的场景也一样明确。你一个人跑几个实验，MLflow 就够了还免费；你只做 LLM 观测、一点训练都不碰，先去算 Langfuse Pro 的 $199 固定价；你的主语言是 TypeScript——Weave 主体是 Python 包，npm 那侧成熟度明显落后，它也不是 OpenTelemetry 原生的，虽然能接受 OTel 格式的 trace，但整条工具链要多花力气；你的数据不能出内网——Dedicated Cloud 和 Self-Managed 是官方路线，代价是起步就要有真的基础设施运维能力，不是勾一个复选框。
还有一件必须摆到桌面上的事：数据出境。Cloud 版默认把你的 trace 元数据、提示词内容和模型输出传到托管服务上，你的提示词里要是带客户数据或者内部信息，这是上线前必须过的一关。官方给的路线是 Dedicated Cloud（部署在你自己的云账号里）或者 Self-Managed，代价是起步就要有真的基础设施运维能力，不是勾一个复选框。许可这一侧反而不是障碍：weave 客户端是 Apache 2.0（我打开仓库的 LICENSE 确认过），商业用没问题，wandb 主客户端是 MIT。但许可宽松不等于数据不出网，这两件事别混。往后的迁移成本也埋在这里：run 格式是专有的，三年后你要走，数据能不能带走是选型时就得问的问题。
自托管这条路线还有一层现实成本。官方 FAQ 只说了「本地托管时云存储额度不适用」，没说你自己部署的版本怎么升级、谁来打安全补丁——CVE-2024-7340 那条就是现成的例子。真要走自托管，你至少得有一个能持续跟进 upstream release 的人，否则省下的 $60 会在别处还回去。
如果决定上手，我建议别一上来建大工程，三步走。装上 weave，weave.init()，给调模型的小函数加 @weave.op，先跑一轮看 trace 树长什么样。攒 20 到 30 条真实样本当评测集，先写两个 scorer，一个管结构一个管格式，再加一个管语义。然后把每次提示词改动当成一次 evaluation 跑，并排比分数，跑顺了再上 online evaluation 盯生产流。
这中间有个组合思路我自己在用。如果你的模型调用走网关——同时接 DeepSeek、Kimi、豆包、通义，按成本和延迟自动路由——那网关管「这次调用花没花钱」，Weave 管「这次提示词对不对」，两层要合起来看，否则你不知道那次高分到底是提示词的功劳还是路由的功劳。网关那一层怎么统一 SDK 和看成本，我写在 LiteLLM 实测清单 里了。想换一种思路做提示词回归，可以对看 Promptfoo 的断言清单做法，那是完全另一条路线。
六、这篇的边界，和我没验证到的部分
该说清楚的边界有三层。
第一层是场景边界。我自己的样本是 30 条结构化输出的 JSON schema 任务，模型是 DeepSeek 和 Kimi。我没有在长文档生成、多轮 agent、或者图像提示词上跑过这套对照，评测集一大，ingestion 量级和结论都会变。涉及报错排查的具体经验，可以对看 Claude 5 迁移里的 400 报错实录；图像侧的工具链则是另一条线，见 Civitai 使用指南。
第二层是写法上的盲区。这篇是文档口径的对比，场景单一，没有那种「半夜被它坑醒」的故事。评测编辑的通病就是这个：把每个数字都追到出处之后，文章会显得没有人味儿。我接受这个取舍——但你要找踩坑合集，这篇不是。
第三层是我明确没验证到的：官方评测里提到复杂多步 agent trace 加埋点后开销大约在 10% 这个量级，我在文档站里没找到对应数字，标未验证；旧口径说「超出额度会挂起新 run 的数据摄入」，但定价页 FAQ 里我没找到这句话，具体行为请以你自己的账单页为准；PyPI 上 wandb 包的月下载量被第三方统计在两千万级别，这是第三方口径。官方那篇《Evaluating DeepSeek V4 and GPT-5.5 on Long-Context Coding》里，25 道 CodeContests 逐题判分，给的是 GPT-5.5 50.7%、DeepSeek V4 26.0%——文章页是前端渲染的，我这次没能在正文页复现这两个数字，这里沿用站内已核实的口径，你要引用请自己再核一遍。
最后是时间口径。文中所有官方页面与仓库状态，均为我 2026 年 11 月 4 日当天查到的结果。定价页官方标注的最后发布时间是 2026-11-02，Weave 最新 release 是 v0.54.0（2026-10-23），文档站也已经从 docs.wandb.ai 迁到了 docs.coreweave.com。定价和产品名这类东西变动很快，过三个月再看这篇文章，请先重新对一遍数字。
如果你要复核这篇，三个页面就够：定价页看额度，docs.coreweave.com/products/wandb/weave 看能力边界，GitHub 的 wandb/weave releases 看版本。三处都是当天能查的，不需要信我。
如果你要的是「哪个工具更强」的结论，这篇给不了，本文只回答「什么时候你会需要把提示词调优从手艺变成工程」。
—— 标个版本号