一篇看起来有道理的事实性文章很快，但逐句核实极其费时；宣称"最好的饮食是只吃野牛肉"只花 10 秒，但验证这个说法需要大样本和长期跟踪。
他在一个二维平面上把这些任务画出来：X 轴是生成难度，Y 轴是验证难度。关键洞察是，你可以通过提供"特权信息"来改变任务在这个平面上的位置——竞赛数学如果给了答案就秒验证，写代码如果给了测试用例（像 SWE-bench 那样）验证也变得简单。
由此他提出了 Verifier's Law：AI 训练出来在某个任务上的能力，基本上与该任务的可验证程度成正比。具体来说，可验证性取决于五个因素：是否有客观正确答案、验证速度多快、能否大规模并行验证、噪声大不大、以及奖励信号是连续的还是二元的。几乎所有 AI benchmark 本身就是因为容易验证才被设计出来的，而这些 benchmark 确实在过去几年被逐一攻破，这恰好是 Verifier's Law 的实例。
他特别推荐了 DeepMind 的 AlphaEvolve 作为利用验证不对称性的范例。AlphaEvolve 挑选满足上述五个条件的问——比如找到 11 个六边形的最优排列使外接六边形最小——然后用大语言模型采样大量候选解，自动评分，把最优解作为下一轮采样的灵感，不断迭代。关键技巧在于它绕过了泛化问：训练集和测试集是同一道，你就是想知道这一道的最优解。
这个框架的实际推论是：最先被自动化的任务一定是验证成本最低的任务；而一个正在崛起的创业方向是——发明新的衡量方法，把原本难以验证的任务变得可验证，从而让 AI 去优化它。
三、智能的锯齿状边缘
对于"AI 将如何改变世界"这个问，他看到的观点光谱极广。他的一个量化交易员朋友觉得 ChatGPT 跟自己工作无关，而他在顶级实验室的同事则认为再过两三年 AI 就会取代他们自己的工作。
他明确反对"快速起飞"假说——即一旦 AI 跨过某个临界点就会突然变成超级智能。他的理由是，AI 的自我改进不是一个二元开关，而是一个渐进光谱：从跑不起来代码，到能训练但结果一般，到能自主训练但不如顶尖研究者，再到偶尔还需要人工干预。更重要的是，自我改进的速度应该按任务来看。AI 的能力图谱是一条锯齿线：在某些任务上已经达到山峰（竞赛数学、部分编程），但在另一些任务上仍是低谷（比如 ChatGPT 曾长期认为 9.11 大于 9.9，或者说一门只有几百人会的原住民语言 Tlingit）。
他给出了判断 AI 在某个任务上进步速度的三条启发式规则。第一，AI 擅长数字化任务，核心原因是迭代速度——数字环境可以轻松扩展算力，而物理机器人的实验扩展成本高得多。第二，人类觉得容易的任务 AI 也往往容易，但有一类例外是"人类因生理限制做不到但 AI 可以做到"的任务，比如读过一千万张乳腺影像后发现某个人类注意力无法捕捉的模式来预测乳腺癌。第三，数据充足的任务 AI 表现好——数学推理在不同语言上的表现和该语言的训练数据量高度相关；而如果一个任务有单一客观指标，就可以通过强化学习生成合成数据来突破数据瓶颈，AlphaEvolve 和 AlphaZero 都是这个路线。
他用一张表把这些启发式规则应用到具体任务上：主流语言翻译已经完成；调试基础代码 2023 年搞定；竞赛数学 2024 年搞定；AI 研究本身大概 2027 年；化学研究因为不是纯数字任务会更晚；拍电影大概 2029 年；修水管和理发因为高度物理化，短期内不太可能；乌兹别克传统地毯编织需要一组人花一个月、非数字化且缺数据，AI 不太可能碰到；至于"带女朋友约会让她满意"——他的判断是"impossible，非数字化，缺数据"，人类还能保住饭碗。
https://www.youtube.com/watch?v=b6Doq2fz81U
AI探索 | Hermes/OpenClaw｜优质资源｜优质信息
他在一个二维平面上把这些任务画出来：X 轴是生成难度，Y 轴是验证难度。关键洞察是，你可以通过提供"特权信息"来改变任务在这个平面上的位置——竞赛数学如果给了答案就秒验证，写代码如果给了测试用例（像 SWE-bench 那样）验证也变得简单。
由此他提出了 Verifier's Law：AI 训练出来在某个任务上的能力，基本上与该任务的可验证程度成正比。具体来说，可验证性取决于五个因素：是否有客观正确答案、验证速度多快、能否大规模并行验证、噪声大不大、以及奖励信号是连续的还是二元的。几乎所有 AI benchmark 本身就是因为容易验证才被设计出来的，而这些 benchmark 确实在过去几年被逐一攻破，这恰好是 Verifier's Law 的实例。
他特别推荐了 DeepMind 的 AlphaEvolve 作为利用验证不对称性的范例。AlphaEvolve 挑选满足上述五个条件的问——比如找到 11 个六边形的最优排列使外接六边形最小——然后用大语言模型采样大量候选解，自动评分，把最优解作为下一轮采样的灵感，不断迭代。关键技巧在于它绕过了泛化问：训练集和测试集是同一道，你就是想知道这一道的最优解。
这个框架的实际推论是：最先被自动化的任务一定是验证成本最低的任务；而一个正在崛起的创业方向是——发明新的衡量方法，把原本难以验证的任务变得可验证，从而让 AI 去优化它。
三、智能的锯齿状边缘
对于"AI 将如何改变世界"这个问，他看到的观点光谱极广。他的一个量化交易员朋友觉得 ChatGPT 跟自己工作无关，而他在顶级实验室的同事则认为再过两三年 AI 就会取代他们自己的工作。
他明确反对"快速起飞"假说——即一旦 AI 跨过某个临界点就会突然变成超级智能。他的理由是，AI 的自我改进不是一个二元开关，而是一个渐进光谱：从跑不起来代码，到能训练但结果一般，到能自主训练但不如顶尖研究者，再到偶尔还需要人工干预。更重要的是，自我改进的速度应该按任务来看。AI 的能力图谱是一条锯齿线：在某些任务上已经达到山峰（竞赛数学、部分编程），但在另一些任务上仍是低谷（比如 ChatGPT 曾长期认为 9.11 大于 9.9，或者说一门只有几百人会的原住民语言 Tlingit）。
他给出了判断 AI 在某个任务上进步速度的三条启发式规则。第一，AI 擅长数字化任务，核心原因是迭代速度——数字环境可以轻松扩展算力，而物理机器人的实验扩展成本高得多。第二，人类觉得容易的任务 AI 也往往容易，但有一类例外是"人类因生理限制做不到但 AI 可以做到"的任务，比如读过一千万张乳腺影像后发现某个人类注意力无法捕捉的模式来预测乳腺癌。第三，数据充足的任务 AI 表现好——数学推理在不同语言上的表现和该语言的训练数据量高度相关；而如果一个任务有单一客观指标，就可以通过强化学习生成合成数据来突破数据瓶颈，AlphaEvolve 和 AlphaZero 都是这个路线。
他用一张表把这些启发式规则应用到具体任务上：主流语言翻译已经完成；调试基础代码 2023 年搞定；竞赛数学 2024 年搞定；AI 研究本身大概 2027 年；化学研究因为不是纯数字任务会更晚；拍电影大概 2029 年；修水管和理发因为高度物理化，短期内不太可能；乌兹别克传统地毯编织需要一组人花一个月、非数字化且缺数据，AI 不太可能碰到；至于"带女朋友约会让她满意"——他的判断是"impossible，非数字化，缺数据"，人类还能保住饭碗。
https://www.youtube.com/watch?v=b6Doq2fz81U
AI探索 | Hermes/OpenClaw｜优质资源｜优质信息
