挺有意思,我觉得这种思维方式就挺好的。
6、提升 AI 算力,不只有继续买 GPU 这一条路,短期内更大的机会可能来自软件优化。毕竟买 GPU 增加的是原始算力,而通过软件优化,则可以把已有算力用得更充分。哈哈哈,这不就是国内公司重点在做的事情嘛。
通过改进算法和计算方式,减少无效计算和资源闲置,同样数量的芯片、同样多的电力,可以生成更多 Token,完成更多任务。
简单来说,过去需要十张卡完成的工作,经过优化后,未来可能只需要更少的卡。对缺少顶级芯片的公司来说,软件效率本身就是一种算力。
7、面对 Kimi 和越来越多便宜且智能水准不错的开源模型,Sam 的观点是,世界上一定会出现很多优秀、便宜的模型,也一定会有人因为私有部署、修改权重和数据安全选择开源。
而 OpenAI 的目标是覆盖从高智能到低价格的整条曲线,在不同速度、价格和能力要求下,都提供有竞争力的模型。
8、其他公司可以蒸馏前沿模型,再用更低的价格提供服务,但 Sam 并不认为这会动摇 OpenAI 的商业模式。
因为训练模型和调用模型,是两笔不同的账。训练下一代前沿模型,需要一次性投入巨额资金。模型发布之后,每一次 API 调用和 Agent 执行任务,都会持续带来推理收入。
Sam 判断,未来人们会把大量工作交给 AI,整个推理市场可能大到难以想象。即使每次调用赚得不多,只要调用量足够大,累计利润依然可以覆盖下一代模型的训练成本。
OpenAI 真正押注的不是高价和高毛利,而是智能使用量会持续爆发。
9、今天的模型已经非常接近 AGI,但还缺少几项关键能力。
第一,面对一个极其复杂的任务,比如治愈某种癌症,它还不能自己拆解问、设计实验、推进研究,最后交付结果。
第二,它还很难进入物理世界,独立控制机器人完成复杂操作。第三,它缺少持续学习能力,完成任务之后获得的经验,并不会立刻沉淀成新的能力。
简单来说,现在的模型已经很会思考和解决局部问,但还不能长期自主行动,也不能一边工作一边成长。完整 AGI,应该能够理解目标、持续行动、从结果中学习,最终独立完成一整件复杂的事情。
10、AI 发展的瓶颈一直在变化。早期真正稀缺的是研究思路,团队还不知道怎样训练出更聪明的模型,给再多算力也没有用。
技术路线逐渐明确后,有了大量值得验证的想法,算力开始成为决定性因素。
后来公开数据接近用完,数据又成了新的限制。现在数据问已经通过合成数据、强化学习等方法得到缓解,最近半年新的研究思路也明显增多,于是瓶颈再次回到算力。
因为每一个新想法都需要大量实验验证,算力越多,团队试错越快,下一代模型也越早出现......
11、Sam 已经修正了自己对 AI 失业的判断。2019 年的他如果提前看到今天的模型,大概会认为大量工作已经消失,全球经济也会发生剧烈变化。但现实远没有这么快。
原因是模型的能力非常不均匀,它可以在写代码、分析资料等任务上超过大多数人,却可能在常识判断、长期执行和处理复杂现实环境时频繁出错。
一个岗位通常包含很多不同任务,AI 即使能做好其中一部分,也很难直接接管整份工作。
更常见的情况是,人把适合 AI 的环节交给模型,自己继续负责判断、协调、承担责任和处理意外。
AI 对工作的影响会先表现为任务被重新分配,再逐渐推动岗位发生变化,很少会在一夜之间让整个职业消失。
就像去年很多人说程序员这职业完了。结果现在看,程序员没消失,只是工作方式发生了巨变:不再是传统意义上的手写代码,而是更像 orchestrator + 产品/系统设计师。
12、Sam 从 ChatGPT 的诞生中得到的产品经验,是观察用户在一个并不好用的工具里,仍然坚持做什么。如果一件事情操作很麻烦,用户还愿意反复尝试,通常说明背后存在非常强的需求。ChatGPT 最初只是一次研究预览,团队并没有预料到它会成为一个现象级产品。
13、Codex 能领先,主要还是因为模型和产品本身做得更好,ChatGPT 带来的分发优势其实很小。
智能本身最终会越来越像一种可以自由购买和替换的标准化商品。
真正能够长期积累的优势,来自 1)大规模、低成本的算力,2)算力、模型和产品之间的协同效率,3)复杂工作流、团队协作、集成生态,4)品牌偏好和长期信任。
简单来说,模型领先很重要,但很难永久领先。真正的护城河,是一家公司能否用更低的成本持续获得智能,再把这些智能嵌入用户很难迁走的产品和工作流程里。
14、现有电脑并不适合真正的 AI Agent。键盘、鼠标和显示器这套形态已经延续了大约五十年,它适合人主动操作软件,但真正的 Agent 却需要长期理解用户的处境,知道用户正在和谁交流、看过什么资料、讨论过什么问,在合适的时机主动提供帮助。
OpenAI 折腾新硬件的主要动机之一,就是为 AI 设计一套原生载体,让它能够持续感知环境、理解上下文并主动工作。
15、即使超级智能突然出现,世界也未必会在第二个月立刻发生巨变。模型能力可以快速突破,但企业流程、基础设施、法律制度和人的习惯仍然需要时间调整。技术发展是一条持续加速的曲线,每个十年都比前一个十年变化更大,但生活在其中的人会很快适应。
16、其实现在,随着 AI 的成熟,最可怕的问是 AI 会不会让人的认知能力逐渐退化。AI 可以帮我们查资料、写代码、分析问,甚至直接给出结论。
效率确实提高了,但人也可能因此不断跳过理解、推理和验证的过程。时间久了,我们也许还能完成工作,却越来越说不清结果为什么成立,系统出了问也不知道该从哪里判断。
这一点我也深有感受。其实就像计算机出现之后,我是觉得人类的记忆力是有衰退的。举个例子,比如导航的存在会让很多人不认路了。
随着越来越多思考被交给 AI,真正需要保留的,是对事物的基本理解、独立判断和形成观点的能力。否则,人类外包出去的不只是工作量,还可能包括自己的判断力、品味和世界观。
但这部分也是一个社会问。因为人毕竟会本能地选择更省力的方式。一旦 AI 可以更快、更便宜地给出答案,大多数人很难长期坚持自己查资料、推理和验证。只靠个人自律,恐怕解决不了认知退化的问。
@aigc1024
6、提升 AI 算力,不只有继续买 GPU 这一条路,短期内更大的机会可能来自软件优化。毕竟买 GPU 增加的是原始算力,而通过软件优化,则可以把已有算力用得更充分。哈哈哈,这不就是国内公司重点在做的事情嘛。
通过改进算法和计算方式,减少无效计算和资源闲置,同样数量的芯片、同样多的电力,可以生成更多 Token,完成更多任务。
简单来说,过去需要十张卡完成的工作,经过优化后,未来可能只需要更少的卡。对缺少顶级芯片的公司来说,软件效率本身就是一种算力。
7、面对 Kimi 和越来越多便宜且智能水准不错的开源模型,Sam 的观点是,世界上一定会出现很多优秀、便宜的模型,也一定会有人因为私有部署、修改权重和数据安全选择开源。
而 OpenAI 的目标是覆盖从高智能到低价格的整条曲线,在不同速度、价格和能力要求下,都提供有竞争力的模型。
8、其他公司可以蒸馏前沿模型,再用更低的价格提供服务,但 Sam 并不认为这会动摇 OpenAI 的商业模式。
因为训练模型和调用模型,是两笔不同的账。训练下一代前沿模型,需要一次性投入巨额资金。模型发布之后,每一次 API 调用和 Agent 执行任务,都会持续带来推理收入。
Sam 判断,未来人们会把大量工作交给 AI,整个推理市场可能大到难以想象。即使每次调用赚得不多,只要调用量足够大,累计利润依然可以覆盖下一代模型的训练成本。
OpenAI 真正押注的不是高价和高毛利,而是智能使用量会持续爆发。
9、今天的模型已经非常接近 AGI,但还缺少几项关键能力。
第一,面对一个极其复杂的任务,比如治愈某种癌症,它还不能自己拆解问、设计实验、推进研究,最后交付结果。
第二,它还很难进入物理世界,独立控制机器人完成复杂操作。第三,它缺少持续学习能力,完成任务之后获得的经验,并不会立刻沉淀成新的能力。
简单来说,现在的模型已经很会思考和解决局部问,但还不能长期自主行动,也不能一边工作一边成长。完整 AGI,应该能够理解目标、持续行动、从结果中学习,最终独立完成一整件复杂的事情。
10、AI 发展的瓶颈一直在变化。早期真正稀缺的是研究思路,团队还不知道怎样训练出更聪明的模型,给再多算力也没有用。
技术路线逐渐明确后,有了大量值得验证的想法,算力开始成为决定性因素。
后来公开数据接近用完,数据又成了新的限制。现在数据问已经通过合成数据、强化学习等方法得到缓解,最近半年新的研究思路也明显增多,于是瓶颈再次回到算力。
因为每一个新想法都需要大量实验验证,算力越多,团队试错越快,下一代模型也越早出现......
11、Sam 已经修正了自己对 AI 失业的判断。2019 年的他如果提前看到今天的模型,大概会认为大量工作已经消失,全球经济也会发生剧烈变化。但现实远没有这么快。
原因是模型的能力非常不均匀,它可以在写代码、分析资料等任务上超过大多数人,却可能在常识判断、长期执行和处理复杂现实环境时频繁出错。
一个岗位通常包含很多不同任务,AI 即使能做好其中一部分,也很难直接接管整份工作。
更常见的情况是,人把适合 AI 的环节交给模型,自己继续负责判断、协调、承担责任和处理意外。
AI 对工作的影响会先表现为任务被重新分配,再逐渐推动岗位发生变化,很少会在一夜之间让整个职业消失。
就像去年很多人说程序员这职业完了。结果现在看,程序员没消失,只是工作方式发生了巨变:不再是传统意义上的手写代码,而是更像 orchestrator + 产品/系统设计师。
12、Sam 从 ChatGPT 的诞生中得到的产品经验,是观察用户在一个并不好用的工具里,仍然坚持做什么。如果一件事情操作很麻烦,用户还愿意反复尝试,通常说明背后存在非常强的需求。ChatGPT 最初只是一次研究预览,团队并没有预料到它会成为一个现象级产品。
13、Codex 能领先,主要还是因为模型和产品本身做得更好,ChatGPT 带来的分发优势其实很小。
智能本身最终会越来越像一种可以自由购买和替换的标准化商品。
真正能够长期积累的优势,来自 1)大规模、低成本的算力,2)算力、模型和产品之间的协同效率,3)复杂工作流、团队协作、集成生态,4)品牌偏好和长期信任。
简单来说,模型领先很重要,但很难永久领先。真正的护城河,是一家公司能否用更低的成本持续获得智能,再把这些智能嵌入用户很难迁走的产品和工作流程里。
14、现有电脑并不适合真正的 AI Agent。键盘、鼠标和显示器这套形态已经延续了大约五十年,它适合人主动操作软件,但真正的 Agent 却需要长期理解用户的处境,知道用户正在和谁交流、看过什么资料、讨论过什么问,在合适的时机主动提供帮助。
OpenAI 折腾新硬件的主要动机之一,就是为 AI 设计一套原生载体,让它能够持续感知环境、理解上下文并主动工作。
15、即使超级智能突然出现,世界也未必会在第二个月立刻发生巨变。模型能力可以快速突破,但企业流程、基础设施、法律制度和人的习惯仍然需要时间调整。技术发展是一条持续加速的曲线,每个十年都比前一个十年变化更大,但生活在其中的人会很快适应。
16、其实现在,随着 AI 的成熟,最可怕的问是 AI 会不会让人的认知能力逐渐退化。AI 可以帮我们查资料、写代码、分析问,甚至直接给出结论。
效率确实提高了,但人也可能因此不断跳过理解、推理和验证的过程。时间久了,我们也许还能完成工作,却越来越说不清结果为什么成立,系统出了问也不知道该从哪里判断。
这一点我也深有感受。其实就像计算机出现之后,我是觉得人类的记忆力是有衰退的。举个例子,比如导航的存在会让很多人不认路了。
随着越来越多思考被交给 AI,真正需要保留的,是对事物的基本理解、独立判断和形成观点的能力。否则,人类外包出去的不只是工作量,还可能包括自己的判断力、品味和世界观。
但这部分也是一个社会问。因为人毕竟会本能地选择更省力的方式。一旦 AI 可以更快、更便宜地给出答案,大多数人很难长期坚持自己查资料、推理和验证。只靠个人自律,恐怕解决不了认知退化的问。
@aigc1024