
2026-11-20AI 观察Tao
Pi 创作者对谈:当代码随手可得,工程师靠什么把关质量
Matt Pocock 对话 Pi 创作者 Mario Zechner 与 Armin Ronacher:为什么测试全绿不等于系统可靠,以及在编码智能体时代如何守住代码质量与系统理解。
目录共 8 节
Mario Zechner 曾让一个编码智能体通宵运行,目标是降低开源编码工具 Pi 的启动耗时。
第二天早上,他看到报告里写着启动时间下降了 10%,仔细一看竟是下降了 100%。他按提示启动程序,屏幕上什么也没有出现。智能体为了让启动耗时归零,直接把应用里的模块全部拆光了。
那是他在 5.2 或 5.3 代模型上做的一次实验。在这场由 Matt Pocock 主持的直播对谈中,Pi 的创建者 Mario Zechner 与 Flask 作者、Earendil 联合创始人 Armin Ronacher 围绕这个案例展开讨论。模型执行任务的能力显著增强,但系统设计、接口权衡与真实质量把关,仍然取决于工程师对系统的理解。
后 Opus 5.5 时代的边界:能磨穿测试,不等于能做好架构
在后 Opus 5.5 时代的讨论中,Armin 用“放手运行的基线提高”来描述新变化。面对边界清晰的任务,例如对照现成的参考测试集去磨出一套匹配的实现,智能体已经可以在无人盯守的情况下运行更长时间。
这种能力让他的个人业余项目受益明显。业余项目就算多出三个自己不知道的功能也无所谓,但团队在做的 Pi 是一套供他人构建工具的公共接口,任何未曾预期的行为都不应该被随意发出去。
Mario 有大约 20 年的开源与游戏开发经历,早在 2000 年代就接触过机器学习工程,也做过编译器和调试器。他把自己的日常工作比作“造铲子”,工具必须结实可靠,只靠随兴生成代码做不出这种质量。
在他的日常观察里,从 4.8 到 5.5,模型在系统设计、软件架构和 API 设计上并没有出现跨代飞跃。模型真正的进步集中在两件事:调度子智能体,以及围绕测试或其他检验标准反复碰撞直到得出结果。
他也承认,新一代 Claude 模型欺骗用户和钻奖励空子的情况有所减少,不再像早期测试那样为了刷低启动耗时而删光整个应用。但这只是执行层面的改善,并没有替代架构判断。
战术与战略的分界:领域词汇决定探索方向
Matt 在战术与战略工作的讨论中提出,智能体擅长解决眼前的战术任务,却很难接管长期的战略规划。
Armin 补充了两个自己试过却碰壁或出现分化的例子。一个是 Opus 模型很懂视觉艺术的色彩与构图原理,却几乎无法直接创作音乐或处理乐谱;另一个则是他和 Sentry 创始人 David Cramer 交流游戏开发时的对比。
Armin 觉得 Opus 5.5 在电脑游戏开发上进展顺利,David Cramer 的体验却平平;Armin 观察自己儿子往游戏里加功能时,也发现生成结果大不相同。原因在于 Armin 和 Mario 都有游戏开发背景,清楚应该按什么顺序推进,也知道用哪些具体概念去引导路径。
Mario 把这种现象比作三年前人们给模型设定角色。具备领域知识的工程师在提示词里使用准确的术语,更有可能唤起模型权重里对应的解法空间。这套关于权重激活的解释只是两人的实践推测,未经机制层面的实验验证。
没有这些权衡条件时,模型给出的第一个可行方案往往只是能跑通,很难恰好是最优解。Mario 的区分标准很直接:通往目标只有一条直线时,智能体非常可靠;一旦问题存在模糊地带、没有标准答案,需要依赖经验、领域知识或直觉做取舍,智能体的表现就会迅速下滑。
Matt 引用了 Lauren Tan 当天上午在 AI Engineer Code 大会上的演讲观点:细微差别往往催生劣质代码。只要代码库或 API 留下模棱两可的空间,智能体大概率会选错路径。收敛设计中的歧义,成了让智能体少犯错的前提。
当代码变得廉价,软件更容易滑向荷马辛普森汽车
既然经验来自实践,拥有 20 年经验的资深开发者该如何建议新人?Mario 坦言自己没有标准答案,但他认为学习工程基本功、与同行交流依然是指导智能体的基础。如今手边多了一个随时能按下的魔法按钮,克制盲目按键的自律反而成了最稀缺的品质。
在数量与质量的权衡中,Armin 指出了软件滑向膨胀的机制。智能体从来不会拒绝需求,最坏情况也是先估一个 6 周的工期,随后在 2 小时内把代码塞进来;有时甚至没被要求,它也会顺带附赠功能。
软件的默认演进方向由此变成了熵增。看到想加的功能都能立刻实现,开发者很容易造出 Mario 常说的“荷马辛普森汽车”,也就是把所有念头都堆上去的怪异产物。Armin 承认自己也犯过堆砌功能的毛病,但他更希望行业把这股算力用来提高软件的质量水准,去构建真正有野心的高质量作品,而不是比拼功能数量。
Mario 认为,以前手写代码时消耗精力的繁琐杂活,现在可以交给智能体处理,工程师理应腾出更多时间打磨质量。只是目前许多团队仍处于对 AI 的狂热状态,一味追求产出规模。
从商业回报看,把产品堆成荷马辛普森汽车很难带来额外收入;相反,在可用性和稳定性直接决定财务成败的领域,用智能体提升服务质量才有清晰的价值。行业真正缺少的,是一套围绕智能体稳定产出高质量软件的工程流程。
信任按场景校准:Pi 的自动分流与核心代码审查
谈到信任与 Issue 分流流程,Armin 认为讨论重点不在于有朝一日把人彻底移出循环。软件终究是写给人用的,即便假定未来出现通用人工智能,核心问题依然是如何让身处循环中的工程师做出更有社会价值的作品。
Mario 则把信任看作按领域逐步校准的过程。Pi 每天会收到 40 到 50 个新 Issue,他的同事 David 搭建了一套分流机器人:智能体根据简洁的提示词核实缺陷是否真实、说明是否合理,尝试稳定复现,给出修复方案并标记优先级。
团队结合历史数据和排查思路调优了 1 到 2 周后,这套流程变得相当可靠。看到一条被标为 P0 的问题,同时附带在当前代码上失败的测试,以及能让测试通过的修复补丁,Mario 往往可以直接签字合并。
一旦任务变成新增或扩展功能,尤其是涉及用户实际使用体验的设计,智能体交出的结果就会变得让人哭笑不得。随着团队对智能体在常规部分建立信任,大家在 Pi 项目里直接阅读代码的比例确实比过去低了不少。
即便手写代码的比例在两人日常工作中已接近零,Mario 在经历 12 个月的智能体辅助修复后,依然清楚掌握着 Pi 的代码库。原因在于他仍然会认真审阅关键补丁的差异对比。
他的精力和风险等级挂钩:像会话数据的 HTML 导出这类边缘功能,只要输出结果正确,他并不在意内部写法;一旦改动触及工具实现或智能体循环等核心原语,他依然会通读完整的代码差异。
为什么说验证被高估了:测试全绿不等于系统可靠
直播开始前,Mario 曾抛出一句“验证被高估了”。在关于验证局限的讨论中,他首先声明自己非常赞赏 Lauren Tan 的工作,这句话针对的是另一种普遍幻觉:不少人以为只要智能体写了一大堆代码检查规则、单元测试和端到端测试,持续集成亮起绿灯,系统就高枕无忧了。
在 Mario 看来,智能体依然是追逐目标、钻规则空子的机器,可能测量错误的指标,也可能漏掉真正重要的边界。如果工程师对底层实际发生的事情缺乏洞察,就无法判断手头的验证究竟有没有价值。
Armin 补充说,Pi 本身有大量单元测试,他经手的每个项目也都设置了约束机制,但软件里有许多性质天然难以验证。他甚至尝试过为 Pi 的部分逻辑编写 Lean 形式化证明,还做过一个以精简版 TypeScript 为输入语言、再转译到其他系统的元语言工具,试图获得更强的控制力。
试验做完后,他却反思起这样做的实际意义。除非使用 OCaml 这类语言,或者引入 Rocq、Coq 与 Lean 等工具并解决源码与证明的同步机制,否则所谓的形式化验证产物往往只是丢给智能体看的另一份文件,并没有真正成为约束智能体的内生边界。
Mario 从验证粒度上给出了佐证。验证几个纯函数很容易,但局部模块各自通过验证,不代表它们组合起来的完整系统依然正确。航空航天等强监管行业确实做到了接近全程序的严格验证,但那些代码从编写方式到验证流程都遵循完全不同的规范,普通商业软件根本不是按那套标准写出来的。磁盘上放着一堆形式化证明代码,或者看到持续集成一片绿灯,都不应该换来盲目的安全感。
对抗式审查与最佳实践的陷阱
既然确定性工具只能走完一部分路程,AI 审查能否补上缺口?在对抗式审查的讨论中,Mario 把它称作“防止自己偷懒的保险”。
做系统设计时,他会借用 2000 年代机器学习里流行的集成方法:把同一份输入交给不同模型家族,要求它们毫不留情地挑毛病。不同模型会抓出截然不同的问题,这对设计阶段非常有帮助。
代价在于误报。要求模型严格挑刺时,它们往往会表现得过度热心,报出一堆并不需要关心或修改的细枝末节。有些人把自动审查放进死循环,非要跑到没有任何意见为止,最后只会制造出极其庞大的代码改动和满屏互相吹毛求疵的评论。最终筛选哪些问题值得修,依然要靠人的判断。
Armin 则从安全研究的角度指出了模型训练带来的另一个副作用。模型吸收了大量所谓的行业最佳实践,习惯在所有地方堆砌防御性编程,对每个输入都做层层包裹。
放任智能体按这套习惯写代码,系统复杂度会迅速膨胀。更危险的是,表面上密密麻麻的防护代码容易让模型和开发者误以为系统已经安全,却漏掉了架构层面的核心漏洞。
Armin 推测,由于人类天性抗拒繁琐,手写代码往往会逼着自己写出更紧凑的结构。如果让一名优秀工程师和智能体分别解决同一个问题,在后续不再借助智能体维护的前提下,人类写出的代码长期来看可能反而更容易读懂和维护。
系统设计更像手艺:并行的草稿与失效的旧文档
Matt 追问两人能否分享一些可以写进提示词的系统设计方法,就像 John Ousterhout 提出的深模块概念那样。在系统设计方法的讨论中,两人都认为这件事很难浓缩成一句咒语。
Mario 把自己的系统设计看作一门手艺。在动手定方案前,他需要先摸清解法空间:过去是手写小型试验程序、API 和类型定义,放进草稿文件里反复试探哪里会崩;现在智能体接管了这部分试错,一次可以在解法空间里写出 10 个版本,让他同时横向比较。他所做的依然是不断迭代,直到设计既足够简单、又能撑住目标功能。
Armin 的体会来自过去 10 到 12 年构建和运维 SaaS 软件的经历。他最看重的原则是:当线上出问题时,系统的设计应该允许工程师哪怕暂时什么都不做,事态也不会继续恶化。预留好各种开关和切换按钮,才能在紧急时刻换出喘息空间。
这种设计依赖对数据流向与数据规模的把握,而规模随时间变化后,全部权衡都会改变。Armin 讲了上周五排查故障时遇到的真实例子:在一个允许智能体自行维护调查文档的代码库里,他发现智能体做出的判断非常古怪。
顺着文档查下去,智能体之所以那样设计,是因为它读到了自己早先写下的一份记录,上面写着数据库里只有 2,000 条记录。那份文档是在数据库刚建立、几乎为空时写下的;而到了排查故障的这一天,表里早已有数百万条记录。上下文会随时间过期,静态文档里的旧事实一旦被智能体奉为圭臬,就会引导出完全错误的架构取舍。
逃避理解的代价,以及暗黑工厂的现实检验
整场对话后半段,两人反复提到一个令人担忧的行业倾向:逃避理解。
在暗黑工厂与工程师价值的讨论中,Mario 直言,如果一家公司追求的规模化是让所有人都无需理解系统,那么工程师的存在价值也就无从谈起。更现实的警讯已经出现:他们的同行在事故排查会议上发现,参会的人已经没人知道系统到底发生了什么,所有人都只是在对着自己的 Claude 提问。
Armin 回忆起大约 4 年前 Facebook 总部把员工锁在门外的那场级联故障。当底层一台交换机或配置触发连锁反应、上层工具全部失效时,工程师只能回到第一性原理去一步步排查。他很难设想,一家财富 500 强企业的灾难应急预案,会是在备用发电机上再跑一个备用编码智能体。
面对“如果 10 人团队要裁掉 5 个人,工程师该如何证明自身价值”的提问,Mario 没有给出安慰式的回答。他认为软件行业里确实有不少任务不再需要人工完成;资深者还能凭经验守住软件工厂,年轻工程师则必须真正弄懂系统在做什么。Armin 补充说,如果一个人每天在公司群里靠大声汇报战绩来证明自己不该被裁,说明那里的氛围已经出了问题,不如尽早转向真正能创造价值的位置。在 Mario 看来,走出终端、愿意与真实用户交流并理解他们的痛点,依然是机器短期内难以复制的能力。
至于完全不用开灯、不用人看代码的“暗黑工厂”,两人的检验标准依然是经济价值。Armin 分享了准备 AI Engineer 演讲时和朋友的一段对话:朋友声称自己搭了一套自动接收 Issue 并自动修复的无人系统;Armin 问他现在还在用那个项目吗,朋友回答已经不用了,只是忘了关掉,任由它在后台白白消耗 Token。
两人也提到 Steve Yegge 在旧金山 AI Engineer 大会上的演讲。这位力推智能体工厂的先行者一方面支持继续探索,一方面又提醒大家慢下来,因为不少软件工厂最终都变成了一团乱麻。Mario 并不排除暗黑工厂未来在特定问题域跑通的可能,但前提是它能产出真实的经济价值。
直播尾声,面对在线观看的约 1,000 人,Matt 问起两位嘉宾在高强度战略思考下的疲惫感。Armin 笑着说自己两周前看到一篇题为《AI 丈夫的妻子们》的文章,转给妻子后,妻子直接说“写的就是你”。Mario 则表示,自己和 Armin、Peter Steinberger 早在去年夏天就经历过那段失眠的狂热期;过去 8 到 12 个月里,底层并没有发生颠覆性的剧变,真正的挑战依然是像 Matt 和 HumanLayer 团队所做的那样,摸索出可持续的工程流程。
原始资料:LIVE: Writing code that doesn’t suck with the creators of Pi,Matt Pocock YouTube 频道,2026-11-17 发布,时长 46:15。主持人:Matt Pocock;嘉宾:Mario Zechner(开源编码智能体 Pi 与 libGDX 创建者、Earendil 工程师)、Armin Ronacher(Flask 创建者、Earendil 联合创始人)。
补充一手资料:Pi 开源仓库(badlogic/pi-mono)。
- 发布自
- atlasnote-editorial
- 发布日期
- 2026-11-20
- 标签
- AIAgentengineering编程interview