post cover

Kimi K3 与中国 AI 模型评测的「鹈鹕基准」——Simon Willison 的独特视角（2026-07-17）

本文为翻译/转载，原文使用 CC BY-NC-SA 4.0 协议发布。 原文作者：Simon Willison 原文标题：Kimi K3, and what we can still learn from the pelican benchmark 原文链接：https://simonwillison.net/2026/Jul/16/kimi-k3/ 原文发布：2026-07-16 本博客不参与任何商业变现（含 ads / 付费 / affiliate），本译文遵循 CC BY-NC-SA 4.0 条款发布。

译者按

月之暗面（Moonshot AI）在 2026 年 7 月 16 日发布了 Kimi K3——一个拥有 2.8 万亿参数的巨型模型，并承诺在 7 月 27 日开源权重。这意味着它将成为全球最大的开源模型之一。Simon Willison 对此事的分析非常独特——他没有堆砌 benchmark 表格，而是用他标志性的”生成一幅鹈鹕骑自行车的 SVG”测试来感受这个模型。这篇文章的价值在于：它不仅介绍了 K3 的技术细节，更重要的是反思了”非正式评测”在 AI 模型快速迭代时代的真正意义。对于中文读者来说，这是一次从西方技术社区视角审视中国 AI 进展的难得机会。

正文

中国 AI 实验室月之暗面（Moonshot AI）今早发布了 Kimi K3，称其为”迄今为止最强模型，拥有 2.8 万亿参数”。目前可通过其网站和 API 使用，开源权重预计”2026 年 7 月 27 日”发布。

月之暗面称这是首个”开放 3T 级模型”（我猜他们把 2.8 万亿四舍五入到了 3 万亿），从DeepSeek 的 1.6T v4 Pro手中夺走了桂冠。他们的自报 benchmark显示，K3 在大部分指标上击败了 Claude Opus 4.8 max 和 GPT-5.5 high，但输给了 Claude Fable 5 和 GPT-5.6 Sol。

来自 Artificial Analysis 报告的几项亮点：

  • “在我们私有的长周期知识工作评测中，Kimi K3 总 Elo 达到 1547，比 Kimi K2.6 高出 732 分，仅次于 Claude Fable 5。”
  • “单任务成本（0.94 美元）与 GPT-5.6 Sol（1.04 美元）相近，约为 Opus 4.8（1.80 美元）的一半，高于开源同类模型。”
  • “Kimi K3 在 Artificial Analysis Intelligence Index 上的 token 用量显著减少，输出 token 比 K2.6 少 21%。”

该模型目前也是 Arena.ai 前端代码竞技场的领先模型，甚至超越了 Claude Fable 5。

新模型的定价引人注目：输入 $3/百万 token，输出 $15/百万 token，与 Anthropic 的 Claude Sonnet 系列相当，成为中国 AI 实验室迄今为止发布的最贵模型。相比他们此前如 Kimi K2.6的 $0.95/$4，涨幅显著。2.8 万亿参数也是那个 1T 模型的两倍多。

但它的鹈鹕画得怎么样？

我使用 OpenRouter（免去注册 Moonshot API key 的麻烦）配合 llm-openrouter 插件生成了一个鹈鹕骑自行车的 SVG：

llm -m openrouter/moonshotai/kimi-k3 'Generate an SVG of a pelican riding a bicycle'

这是对话记录。画出来是这样的：

Kimi K3 生成的鹈鹕骑自行车 SVG

这只鹈鹕用了 95 个输入 token 和 16,658 个输出 token（其中 13,241 个是推理 token），总成本25 美分！

由于 K3 支持图像输入，我让模型看了上面那张渲染后的 SVG 截图（使用我的alt text 提示词），得到的结果是（花了0.6 美分）：

一幅卡通插画：一只白色鹈鹕戴着红色围巾，骑着红色自行车行驶在灰色道路上，路面有白色虚线；鹈鹕有巨大的橙色喙和橙色的蹼足正在踩踏板，身后有白色运动线；背景是浅蓝色的天空、白色云朵、黄色太阳、两只飞翔的小黑鸟，前景是绿色草地和微小的白色花朵。

我们能从鹈鹕中学到什么？

我的生成鹈鹕骑自行车 SVG测试已经有 21 个月了。它从来不是一个特别好的基准测试。起初只是开个玩笑——比较这些模型实在太难了——但头一年里，它竟然与模型的实际表现有着惊人的相关性。

现在这种关联基本上已经断了。GPT-5.6 和 Claude Fable 5 的鹈鹕已经被 GLM-5.2 超越了，而我虽然很喜欢 GLM，但并不认为它是一款 Fable 级别的模型。

（我仍然不相信各实验室在针对这个基准做训练——如果真在训练，我期待看到更好的结果。不过 Gemini 有可能已经优化了动物骑任何交通工具的组合！）

“鹈鹕测试”最大的局限在于，它完全触及不到当今模型最重要的能力：Agentic tool calling——以及随对话长度增长而可靠操作工具的能力。

所以，别再用鹈鹕来比较模型了！

话虽如此，我自己运行这个基准测试仍然能获得不少价值。

首先，它是一个实际尝试模型的驱动力。如果我展示一只鹈鹕，说明我已经成功让一个提示词跑通了。如果有官方 API，我会使用它；如果是开源权重（且小到能塞进我的 128GB M5 MacBook Pro），我会尝试在本地运行，通常使用 llama.cpp 或 LM Studio 或 Ollama。我也经常用 OpenRouter，因为它通常能代理官方 API，无需我申请新的 API key。

我大部分鹈鹕是用我的 LLM CLI 工具生成的，这促使我确保最新模型能通过其插件被支持。

更重要的是，仅仅执行一次”生成一幅鹈鹕骑自行车的 SVG”这样的单一提示词，就能揭示有趣模型特性。

看看 Kimi K3 今天的结果。跑这些简单的提示词凸显了模型的几个特点：

  1. 它目前只有一种推理力度设置，“max”——效果很明显。 模型消耗了 13,241 个推理 token 才输出 3,417 个 token 的回复。这很贵——那只鹈鹕花了 25 美分！

  2. “Generate an SVG of a pelican riding a bicycle”这个提示词怎么算出了 95 个输入 token？ OpenAI 的 tokenizer 算出来是 10 个，Anthropic 的对 Opus 4.6 算出来是 10 个，对 Opus 4.7 是 30 个，对 Sonnet 5/Fable 5 是 25 个。只输入”hi”到 Kimi K3 却数出了 86 个 token，说明可能存在一个 85 token 的隐藏系统提示词。不过它拒绝泄露这个提示词。

  3. 视觉能力表现不错： 它生成的 alt text 非常好。

K3 目前只有一种思考力度级别，但我最近一直在尝试用不同力度级别跑同一个鹈鹕提示词，以快速了解它们的影响。例如，这是我为 GPT-5.6 系列做的矩阵。

说到底，我从鹈鹕测试中获得的主要收获是：

  1. 是对模型进行”Hello World”式提示的练习
  2. 对简单任务的粗略成本和推理量估算
  3. 确认模型能输出有效的 SVG，并且有基本的几何和空间感知能力。这对那些能在我的笔记本上运行的小模型来说意义更大
  4. 同一模型家族内不同版本之间的鹈鹕对比仍然有趣。K3 的鹈鹕相比 Kimi 2.5 有了显著改进
  5. 这是一个可以分享的东西，证明我已经尝试过这个模型。另外，到现在这只鹈鹕已经成了 Hacker News 上的一个传统——每次我发晚了，都会有人评论问鹈鹕去哪了！

译者注

  1. 关于 Kimi K3 的定位：这是月之暗面（Moonshot AI）继 Kimi K2.6 之后的旗舰模型。2.8T 的参数规模使其成为目前公开的最大规模模型之一。作为对比，DeepSeek V4 Pro 为 1.6T，而 GPT-5.6 和 Claude Fable 5 的参数规模并未公开。K3 承诺开源权重的做法也延续了中国 AI 实验室主打开源路线的策略。

  2. 关于”pelican benchmark”（鹈鹕基准）：这是 Simon Willison 在 2024 年发明的一个非官方测试——让 LLM 生成一幅鹈鹕骑自行车的 SVG 图片。虽然看起来像玩笑，但它意外地成了一个有效的大模型能力”探针”，能测试模型的代码生成、空间推理、指令跟随等多维能力。中文社区中类似的非正式测试包括让模型写”红烧肉菜谱”或”生成一个贪吃蛇游戏”等。

  3. 关于推理 token 和成本：K3 的”max”推理模式消耗了大量推理 token（13,241 个输出 token 中的 80%），使得一次看似简单的 SVG 生成任务花费 25 美分。这反映了当前大型前沿模型的一个趋势——通过大量内部推理来提升输出质量，但代价是成本和延迟的双双上升。

延伸阅读