字节对大厂 AI Coding 的反思,好真实。
字节技术副总裁洪定坤的分享,我来回看了好几遍,很有启发。
字节在 AI Coding 方面的实践还是很有代表性的,推荐所有做研发的同学都可以看看。应该会感同身受。
我看完记了一整页笔记,分享给大家。
我甚至觉得可以把这个分享理解为字节在 AI Coding 上的一些真实反思。
根据自己的理解,我把这个分享里对我有启发的几个判断展开来聊一聊。
其中会夹杂很多我自己的感触,想看原文的可以直接去找演讲全文。
反思一:AI 代码贡献率不该是 KPI
AI Coding 基本上都已经逐步进入了各个公司的生产流程。
很多人都在说自己的业务有 90% 的代码是 AI 生成的,乍一听,感觉很恐怖。
但其实,AI 对研发的提效没有外界想象的那么高。
洪定坤举了 TRAE 团队的例子。TRAE 本身就是做 AI 工具的,所以这个团队对 AI Coding 的采用非常积极。
过去半年里,他们有 94% 的代码都是 AI 贡献的。但人均需求吞吐率只提升了 60%,也就是之前的 1.6 倍。
这就有疑惑了,AI 写代码的速度至少是人的 10 倍以上,如果 90% 以上的代码都是 AI 产出的,效率至少应该提升 5 倍或者 10 倍吧?为什么只提高了 1.6 倍?
字节得出来的结论是,单一的指标,比如 AI 代码占比,根本没有办法代表真实的生产力。
如果把 AI 代码贡献率当成 KPI,结果就是大家都去优化 AI 的生成量,而不是优化交付能力。
看起来 AI 用了很多,但系统的效率并没有真正变好。
那为什么 90% 的代码都是 AI 写的,人效才提了 1.6 倍?一个很重要的原因是,写代码只是整个研发流程的一个环节。
写之前要理解需求、写 Spec,写完之后要验证功能、提交发布,这些环节如果还是传统方式,光把写代码加速了,整体效率提不上去。
洪定坤把字节在这方面的尝试叫做系统化的 AI Development,核心意思就是 AI 不能只管写代码,得让它进入更多的研发环节,整条链路都跑通,效率才能真正上来。
前两天出去的时候还跟别人争论这件事。现在还有不少公司在追踪员工到底用了多少 Token,说白了,这是在追踪过程。
更应该关注的是,用了这个工具之后,从结果层面去看,交付到底有没有变得更快、更可靠。
一个团队天天说自己 AI 工具用得贼溜,消耗了多少 Token,但没有什么有效的产出,那这到
 
 
Back to Top