关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
人形机器人看起来好像还在炒作周期里,观察了一年,感觉还有很长的路要走。智能体从炒作到落地可用,花了三年左右,人型机器人涉及到物理世界的迭代反馈,没那么快。毕竟自动驾驶炒作了很多年,而距离大规模普及看起来还有很长距离,毕竟很多往往不是技术问。
@aigc1024
@aigc1024
https://mp.weixin.qq.com/s/m9Q_YMwX_TNbs2KvxFWO8g
蒸馏,一个所有人都不用公开谈论,但是都默默关注的。
过去 一段时间,我向来自不同公司的人学习了蒸馏(可称为关于蒸馏的蒸馏)。这篇文章会梳理几个基础问:蒸馏是什么?大规模蒸馏如何实现?它的难度和门槛是什么?代价又是什么?
当然还有很重要的:蒸馏不是什么?——这是一个在出圈、扩散中,也被层层误解和曲解的概念。
一件有意思的事是,虽然大家不愿意公开谈论蒸馏,但我接触的多数人并不从心底认为蒸馏是可耻的。根源在于,目前对闭源模型的蒸馏是黑盒蒸馏,实际上大家利用的是模型在发布之后的使用阶段的产物。所以当 Anthropic 们来指责其他公司“蒸馏”它的时候,它也总是会被回旋镖击中:当年谁蒸馏了整个互联网和那么多人类书籍(还没付钱)。
*这是一次特别需要反馈的操作,希望更多从业者来交流你们的所见和态度。也许我们还能有更深入的 2.0 版本。
@aigc1024
同时又因为在这个阶段,广义上的“数据”的价值在边际上更加重要了;
所以除了模型层之外,越来越多的企业需要在模型后训练、强化学习环境搭建上做更多的“工程化”工作……
但所有这些事情本质上都没有绝对的标准答案,战略方针、目标、具体执行都是未知的……
最近红杉美国找了几家这些议上走的最远的公司组织了一次活动---Own Your Intelligence 。
YouTube上已经更新了四期视频, 分别涉及战略理念、模型后训练(Fireworks)、强化学习环境(Mercor)和垂直领域研发落地(Harvey),非常系统。
具体分享嘉宾和内容:
Sonya Huang (红杉):立论核心逻辑,为什么企业必须拥有自己的模型权重与智能控制权?
Harvey (Gabe Pereyra):法律 AI 垂直领域的超级范本,演示小团队如何低成本组建顶级 AI Research Lab。
Fireworks AI (Lin Qiao):何时、以及如何对模型进行后训练落地。
Mercor (Brendan Foody):拆解强化学习与高质量数据构建的底层细节。
地址:
https://www.youtube.com/playlist?list=PLaqC3GACblSs
PS:红杉这人脉~~~
@aigc1024