关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
球速体育 大会员再创新高:
1.泰国大老板百家乐存50万出512万
2.斯里兰卡神秘大哥连续5天总提4000万+
3.实力盘总PA真人喜提990万一路爆红
4.pp电子糖果1000小注一拉爆出70万大奖
大额出款额外奖励8888-128888,双重日存彩金128888+4688每日送,周流水彩金68888每周送,双重签到彩金16888+3888送不停
【 #球速体育 安全有保障】
老品牌值得信赖、安全第一、保障第一
不限ip、 免实名、免绑卡、免绑手机号码
每日存款彩金每日送,每笔存款加赠1%
专属VIP客服: @QSTY567
体育赛事推单:@QSTY988
双向用户点击:@qsty168168_bot
午夜剧场:@ziweifancha7
✅ 关注福利频道:@qsty8999
老品牌 信誉高 佣金稳
代理合营频道:@QSTY321
真正值得关注的,是人口结构变化带来的长期趋势。
《孤独消费论:孤独是未来更大的经济风口》
从日本社会切入,分析单身经济、孤独消费和未来商业机会。
如果你做内容、做产品、做生意,这本书会给你不少启发。
🔗:https://pan.quark.cn/s/f46baaafdfcb
@meiriyishu
前面播放的产自Seedance 2.5,后面是MiniMax H3,感觉H3这次倒是比较上道,竟然知道该撅屁股,老司机模型啊……
@aigc1024
@aigc1024
https://mk.bet
关注
掌握东南亚一线动态,看清风向料定先机。每周抽取100名TG会员,发言积分兑
Anthropic 宣布将黎曼猜想里 ζ 函数临界线上的零点比例的已知下界从 41.6% 提高到了 67.2% 这事充份说明
1. AI 目前主要确实还是在摘低垂果实
2. 人类由于笨和懒错过的低垂果实还真tm多
@aigc1024
1. AI 目前主要确实还是在摘低垂果实
2. 人类由于笨和懒错过的低垂果实还真tm多
@aigc1024
把文章丢给 AI,加一句:
“帮我重写这段文字,保留原意,但写得更像真人。减少过度工整的句式和机械分段,允许少量口语化和不规则表达,长短句自然交替。删掉空、套和重复总结,让文字更自然、更有个人表达感。”
比一句“降低 AI 味”好用得多。
@aigc1024
继续发一则和国内 model researcher 交流的 memo。今天和某模型厂的一位 post-train researcher 聊了聊。Ta 对「国内在 Pre-training 上更有优势、Post-training 相对落后」这件事,补充了一个视角:
国内基本已经「会做」Pre-training 了,但 Post-training 可能还处在一个比较混沌的阶段。
一个核心原因是,两者的 reward 清晰程度很不一样。
Pre-training 的反馈很明确,比如可能就是在单位时间内,把 Next Token Loss 降得越低越好,同时尽可能降低训练成本。
Post-training 要解决的,则是怎么让模型在下游应用中表现得更好。但怎么定义和评估这个「更好」,以及怎么确认模型是真的变强了、而不是在 hacking 某个指标,都非常 tricky。
此外,Pre-training 的创新也更容易被外界看到。
模型架构没有那么强的机密性,一开源大家就能看到,也可以写成 Paper、拿去做 PR。但一家模型公司的数据是怎么清洗的、具体用了什么训练 Recipe,通常不会拿出来讲。
再加上众所周知的缺卡问,而模型的绝对能力又是模型厂的生死线,大家自然会把更多资源投入反馈更明确、也更容易获得声量的 Pre-training。
Post-training 因此陷入了一个有点尴尬的循环:因为混沌,所以拿不到足够多的资源;又因为资源不够,这种混沌迟迟无法被解决。
除了这个,我们还聊到了几个挺有意思的点:
1/ 「大厂最终一定会赢」是一种偷懒的推论。
模型竞争不是比身价。拥有更多钱、卡和人,不等于一定能训出最好的模型。
在这位 researcher 看来,真正起决定性作用的,可能是组织里到底有多少人发自内心想把模型训好,以及组织摩擦会不会消耗掉这些人的热情。(没有说加入创业公司的人会更有梦想的意思。)
2/ Agent 确实已经在替代 AI Lab 里的一部分工作。(所以我们最近和一些 researchers 交流,感觉有些人确实已经有失业焦虑了。)
拿 Infra 举例,现在可以直接告诉 Agent:「每秒只能输出 50 个 Token,请优化到 60 个」,然后让它自己检查 Kernel 和整条链路。
所以一些 Infra 工程师开始自己给自己找事干,比如跑去研究算法、理解训练需求。
(从这里再往外延伸一步:如果说 AI Coding 模糊了产品、研发和设计之间的边界,那么 AI for AI / RSI 似乎也在逐渐模糊数据、算法和 Infra 之间的边界。
3/ Model Research 本身,可能就是最 Science 的 AI for Science。
我们还探讨了两个没有答案的问,也列在这里吧,欢迎有想法的朋友分享你的见解~
Q1/ 怎么让模型拥有时间概念?
这个之所以会是个问,是因为如果模型不交卷,它就可以一直保持「我没错」的状态。反正模型不老不死,所以从它自己的视角看,磨洋工可能并不是什么坏事。(GPT-5.6 一直写测试,是不是就是深刻践行了这一点啊 doge.jpg)
就像《葬送的芙莉莲》里,对于一个能活几千年的精灵来说,花十年寻找一枚戒指完全合理。
但我们这些凡胎肉体,根本等不起…(除非 AI 医疗让人类永生哈哈
Q2/ OpenAI 是怎么持续相信 RL 这个方向,并最终把 o1 做出来的?
我们好奇的不是具体的 Recipe,而是背后的组织问。
想起之前请清华大学叉院的助理教授
录过一期播客,他在节目里提到,OpenAI 很早就在做 RL,但之前做了很久都没有得到结果。
那么,在一个方向连续失败很多年以后,他们的团队为什么还能继续相信它,招到人、说服老板、拿到资源,然后真的把事情做出来呢🤔
这个问可能需要更了解 OpenAI 的朋友来回答了。
最后,其实跟很多 researchers 交流,尤其是问他们觉得哪家模型更有希望时,大家最后都会强调组织文化。
在一个快速变化、资源永远不够的行业里,怎么把人和算力分给那些还没有答案的创新,以及愿意等这些创新多久,可能和技术判断本身一样重要吧。
@aigc1024
国内基本已经「会做」Pre-training 了,但 Post-training 可能还处在一个比较混沌的阶段。
一个核心原因是,两者的 reward 清晰程度很不一样。
Pre-training 的反馈很明确,比如可能就是在单位时间内,把 Next Token Loss 降得越低越好,同时尽可能降低训练成本。
Post-training 要解决的,则是怎么让模型在下游应用中表现得更好。但怎么定义和评估这个「更好」,以及怎么确认模型是真的变强了、而不是在 hacking 某个指标,都非常 tricky。
此外,Pre-training 的创新也更容易被外界看到。
模型架构没有那么强的机密性,一开源大家就能看到,也可以写成 Paper、拿去做 PR。但一家模型公司的数据是怎么清洗的、具体用了什么训练 Recipe,通常不会拿出来讲。
再加上众所周知的缺卡问,而模型的绝对能力又是模型厂的生死线,大家自然会把更多资源投入反馈更明确、也更容易获得声量的 Pre-training。
Post-training 因此陷入了一个有点尴尬的循环:因为混沌,所以拿不到足够多的资源;又因为资源不够,这种混沌迟迟无法被解决。
除了这个,我们还聊到了几个挺有意思的点:
1/ 「大厂最终一定会赢」是一种偷懒的推论。
模型竞争不是比身价。拥有更多钱、卡和人,不等于一定能训出最好的模型。
在这位 researcher 看来,真正起决定性作用的,可能是组织里到底有多少人发自内心想把模型训好,以及组织摩擦会不会消耗掉这些人的热情。(没有说加入创业公司的人会更有梦想的意思。)
2/ Agent 确实已经在替代 AI Lab 里的一部分工作。(所以我们最近和一些 researchers 交流,感觉有些人确实已经有失业焦虑了。)
拿 Infra 举例,现在可以直接告诉 Agent:「每秒只能输出 50 个 Token,请优化到 60 个」,然后让它自己检查 Kernel 和整条链路。
所以一些 Infra 工程师开始自己给自己找事干,比如跑去研究算法、理解训练需求。
(从这里再往外延伸一步:如果说 AI Coding 模糊了产品、研发和设计之间的边界,那么 AI for AI / RSI 似乎也在逐渐模糊数据、算法和 Infra 之间的边界。
3/ Model Research 本身,可能就是最 Science 的 AI for Science。
我们还探讨了两个没有答案的问,也列在这里吧,欢迎有想法的朋友分享你的见解~
Q1/ 怎么让模型拥有时间概念?
这个之所以会是个问,是因为如果模型不交卷,它就可以一直保持「我没错」的状态。反正模型不老不死,所以从它自己的视角看,磨洋工可能并不是什么坏事。(GPT-5.6 一直写测试,是不是就是深刻践行了这一点啊 doge.jpg)
就像《葬送的芙莉莲》里,对于一个能活几千年的精灵来说,花十年寻找一枚戒指完全合理。
但我们这些凡胎肉体,根本等不起…(除非 AI 医疗让人类永生哈哈
Q2/ OpenAI 是怎么持续相信 RL 这个方向,并最终把 o1 做出来的?
我们好奇的不是具体的 Recipe,而是背后的组织问。
想起之前请清华大学叉院的助理教授
录过一期播客,他在节目里提到,OpenAI 很早就在做 RL,但之前做了很久都没有得到结果。
那么,在一个方向连续失败很多年以后,他们的团队为什么还能继续相信它,招到人、说服老板、拿到资源,然后真的把事情做出来呢🤔
这个问可能需要更了解 OpenAI 的朋友来回答了。
最后,其实跟很多 researchers 交流,尤其是问他们觉得哪家模型更有希望时,大家最后都会强调组织文化。
在一个快速变化、资源永远不够的行业里,怎么把人和算力分给那些还没有答案的创新,以及愿意等这些创新多久,可能和技术判断本身一样重要吧。
@aigc1024
一个人,也能组建一支 7×24 小时在线的 AI 团队。
LobeHub 正在从 AI 聊天工具,升级成一套开源的 Agent 协作平台,目前 GitHub 已拿下 80.6k Star。
你可以创建不同分工的 Agent,让系统根据任务自动组队、并行执行和互相完善结果;还支持定时任务、项目空间、长期记忆,以及多模型统一调度。
它更像一个 AI 团队操作系统:你负责目标和决策,Agent 负责研究、写作、开发与交付,还能随使用不断积累对你的理解。
支持 Docker 私有部署。想把零散的 AI 工具,真正变成一套长期工作的执行系统,可以试试
AI探索 | Hermes/OpenClaw|优质资源|优质信息
LobeHub 正在从 AI 聊天工具,升级成一套开源的 Agent 协作平台,目前 GitHub 已拿下 80.6k Star。
你可以创建不同分工的 Agent,让系统根据任务自动组队、并行执行和互相完善结果;还支持定时任务、项目空间、长期记忆,以及多模型统一调度。
它更像一个 AI 团队操作系统:你负责目标和决策,Agent 负责研究、写作、开发与交付,还能随使用不断积累对你的理解。
支持 Docker 私有部署。想把零散的 AI 工具,真正变成一套长期工作的执行系统,可以试试
AI探索 | Hermes/OpenClaw|优质资源|优质信息