关于AIGC人工智能、思维方式、知识拓展,能力提升等。投稿/合作: @inside1024_bot
AIGC 领域的最新工具、开源项目以及行业大事件
AIGC 领域的最新工具、开源项目以及行业大事件
一篇文章讲透 Jev 模型为什么会爆火。
Jev 模型这两天火的一塌糊涂,今天我想写一篇文章和大家聊聊我所理解的 Jev,保证通俗易懂。
很多人觉得,Jev 不就是一个更便宜、更快的小模型吗?有什么玄乎的。不不,它和小模型的逻辑完全不一样。
或者这么讲,理解 Jev 或者任何新技术,最好的办法,是先去思考它到底试图解决什么问。理解它从何而来,何以至此。
过去这几年,大语言模型的进步还是非常明显,它已经可以自己推理、调用工具,连续完成复杂的长程任务。
对于今天主流的自回归 LLM 来说,核心机制是基于已有上下文预测并生成下一个 Token,再一个个往后生成。
哪怕它在做推理、调用工具或者长程任务,这些过程通常也还是建立在这种逐 Token 生成的范式上。
但在软件系统中,还有一类任务极其高频。它们根本不需要 AI 做复杂推理,系统只需要 AI 做一个关键判断。
比如用户写了一封邮件,它来帮忙判断这是不是退款请求,亦或者应该转给哪个部门处理。
如果大家写过代码肯定会知道,这就是我们熟悉的 if else 语句。
订单金额大于 100,就执行 A;库存小于 10,就执行 B。
可是,一旦条件变成对自然语言和现实语义的理解,普通的 if 就很难写了。
Jev 想解决的,正是这个问。
程序把当前的信息和要判断的问交给它,Jev 的输出结果可以是 yes/no 概率、固定选项里的选择,或者定义好尺度上的分数。再后面的流程继续由代码控制。
所以我觉得理解 Jev 最简单的一句就是,它想给软件加上一种会理解语义的 if 语句。
再举个例子。比如一个客服系统收到一条消息,用户说这个产品买回来只用了三天,就出了问,你们这个品控太差了。然后发了几个愤怒的表情,甚至还有脏。
嗯,这是前两天我给小米客户发过的。
客服看到这句,马上就知道用户已经很不耐烦了,而且大概率遇到了产品问。
但之前程序很难理解这句。程序不懂语义啊。
Jev 做的,就是把这种语义判断直接交给模型。输入是这段和要判断的问。比如这是不是退款请求、应该分给哪个部门,Jev 直接返回判断结果和对应概率。
所以它更像是软件里的一个判断组件。
这也就很好理解,为什么 TypeSafe 把 Jev 叫做 System One Model。
System One 来自诺贝尔奖获得者丹尼尔·卡尼曼那本很有名的书《思考,快与慢》。书里把人的思考粗略分成两个系统。
System 1 是那种非常快的判断。比如看到一个人怒气冲冲地走过来,基本不用认真分析,也知道他现在心情不太好。很多时候,我们甚至意识不到自己完成了这个判断。
System 2 就慢很多。碰到一道复杂的数学,或者需要认真权衡几个方案的时候,大脑会停下来仔细思考琢磨。
如果借用这个框架来看过去两年的大模型,会发现整个行业的重点都是 System 2 这一侧。
尤其 Reasoning Model 出现以后,模型会花更多时间和 Token 进行推理。
TypeSafe 这家创业公司反过来问了一个问。软件里的所有 AI 任务,真的都需要这么认真地推理吗?
显然不是。
就像刚才那个客服例子。判断这个用户是不是在要求退款,需要模型写几千个 Token 的推理过程吗?完全没必要。人看一眼几乎立刻就能形成判断。
软件代码里充满了很多这样的判断。
所以 TypeSafe 的思路是,既然现在所有模型都在优化推理能力,那能不能专门做一个模型,负责那些需要理解语义,但根本不需要复杂推理的快速判断?
这就是 Jev 所谓的 System 1。它被设计成专门处理快速判断和决策的模型,至于那些需要复杂推理的任务,则交给更强的 Reasoning Model。
这里也终于能解释,为什么我前面一直说 Jev 不能简单理解成一个更便宜的小模型。
今天我们常见的小模型,虽然更小、更快、更便宜,但大体还在沿用 LLM 的生成方式。
模型接到输入之后,依然要一个 Token 接一个 Token 地往后生成。哪怕最后只是想判断这封邮件属于退款还是投诉,它也要先把答案生成出来。
Jev 则是放弃了自由文本生成。我们提前告诉它有哪些问、答案可以有哪些类型,它直接给出判断和对应的概率,而且多个判断可以并行完成。
TypeSafe 为此重新设计了模型架构、采样方式和训练方法。
所以 Jev 的快和便宜,并不只是因为模型做小了。更重要的原因是,它把任务收窄到了判断这件事上,然后围绕这个目标重新设计了一整套模型。
为什么专门把判断这件事做成一个模型,会有价值?
因为一旦把 AI 放进真实的软件系统里,就会发现判断这件事的调用频率可能高得吓人。
比如一个大型电商平台每天收到几百万条客服消息。每进来一条,可能都要判断它是什么问、紧不紧急、应该交给谁。
如果每一个判断都调用一次 GPT 或 Claude,当然也能做。
问是太贵,也太慢。
前面说了,大模型每一次回答都要不断生成 Token。可这里程序可能最后只需要一个结果,是或者不是,A 还是 B。
TypeSafe 给出的数据是,Jev 可以在 100 毫秒左右处理完这种情况,价格是每百万输入 Token 0.042 美元,输出免费。
按照里面一个大约 300 Token 的客服工单粗略计算,跑 10 万次判断,成本大约只有 1.26 美元。
对了,Jev 这个名字也很有趣,来自经济学家 William Stanley Jevons。William 提出过一个很有名的 Jevons Paradox,也就是杰文斯悖论。
大意是,一项资源变得更高效、更便宜以后,人类对它的消耗未必会减少,反而可能增加。
放到今天很好理解。比如电越来越便宜、越来越容易获得以后,人们往往会把电接入更多设备和场景,最后催生出更多需求。
TypeSafe 的逻辑也是如此。
如果一次语义判断真的便宜到几乎可以忽略,速度也只有几十到几百毫秒,软件可能就会开始疯狂使用这种能力。
过去代码里一个普通的 if,现在可能变成一次 AI 判断。
一条客服消息进来,可以做五六次判断。
一个 Agent 每执行一步,也可以先判断这一步有没有风险、该用哪个工具、要不要升级到更强的模型。
用户甚至意识不到它存在,但一次普通操作背后,已经调用了几十次很小的 AI 判断。
我觉得,在模型竞争已经无比激烈的今天,Jev 能让大家眼前一亮,核心还是它让大家看到了另辟蹊径的可能性。
也许我们可以把智能做得足够轻、足够快、足够便宜,然后把它塞进软件里的每一个 if else。
真妙。妙不可言。
@aigc1024
Jev 模型这两天火的一塌糊涂,今天我想写一篇文章和大家聊聊我所理解的 Jev,保证通俗易懂。
很多人觉得,Jev 不就是一个更便宜、更快的小模型吗?有什么玄乎的。不不,它和小模型的逻辑完全不一样。
或者这么讲,理解 Jev 或者任何新技术,最好的办法,是先去思考它到底试图解决什么问。理解它从何而来,何以至此。
过去这几年,大语言模型的进步还是非常明显,它已经可以自己推理、调用工具,连续完成复杂的长程任务。
对于今天主流的自回归 LLM 来说,核心机制是基于已有上下文预测并生成下一个 Token,再一个个往后生成。
哪怕它在做推理、调用工具或者长程任务,这些过程通常也还是建立在这种逐 Token 生成的范式上。
但在软件系统中,还有一类任务极其高频。它们根本不需要 AI 做复杂推理,系统只需要 AI 做一个关键判断。
比如用户写了一封邮件,它来帮忙判断这是不是退款请求,亦或者应该转给哪个部门处理。
如果大家写过代码肯定会知道,这就是我们熟悉的 if else 语句。
订单金额大于 100,就执行 A;库存小于 10,就执行 B。
可是,一旦条件变成对自然语言和现实语义的理解,普通的 if 就很难写了。
Jev 想解决的,正是这个问。
程序把当前的信息和要判断的问交给它,Jev 的输出结果可以是 yes/no 概率、固定选项里的选择,或者定义好尺度上的分数。再后面的流程继续由代码控制。
所以我觉得理解 Jev 最简单的一句就是,它想给软件加上一种会理解语义的 if 语句。
再举个例子。比如一个客服系统收到一条消息,用户说这个产品买回来只用了三天,就出了问,你们这个品控太差了。然后发了几个愤怒的表情,甚至还有脏。
嗯,这是前两天我给小米客户发过的。
客服看到这句,马上就知道用户已经很不耐烦了,而且大概率遇到了产品问。
但之前程序很难理解这句。程序不懂语义啊。
Jev 做的,就是把这种语义判断直接交给模型。输入是这段和要判断的问。比如这是不是退款请求、应该分给哪个部门,Jev 直接返回判断结果和对应概率。
所以它更像是软件里的一个判断组件。
这也就很好理解,为什么 TypeSafe 把 Jev 叫做 System One Model。
System One 来自诺贝尔奖获得者丹尼尔·卡尼曼那本很有名的书《思考,快与慢》。书里把人的思考粗略分成两个系统。
System 1 是那种非常快的判断。比如看到一个人怒气冲冲地走过来,基本不用认真分析,也知道他现在心情不太好。很多时候,我们甚至意识不到自己完成了这个判断。
System 2 就慢很多。碰到一道复杂的数学,或者需要认真权衡几个方案的时候,大脑会停下来仔细思考琢磨。
如果借用这个框架来看过去两年的大模型,会发现整个行业的重点都是 System 2 这一侧。
尤其 Reasoning Model 出现以后,模型会花更多时间和 Token 进行推理。
TypeSafe 这家创业公司反过来问了一个问。软件里的所有 AI 任务,真的都需要这么认真地推理吗?
显然不是。
就像刚才那个客服例子。判断这个用户是不是在要求退款,需要模型写几千个 Token 的推理过程吗?完全没必要。人看一眼几乎立刻就能形成判断。
软件代码里充满了很多这样的判断。
所以 TypeSafe 的思路是,既然现在所有模型都在优化推理能力,那能不能专门做一个模型,负责那些需要理解语义,但根本不需要复杂推理的快速判断?
这就是 Jev 所谓的 System 1。它被设计成专门处理快速判断和决策的模型,至于那些需要复杂推理的任务,则交给更强的 Reasoning Model。
这里也终于能解释,为什么我前面一直说 Jev 不能简单理解成一个更便宜的小模型。
今天我们常见的小模型,虽然更小、更快、更便宜,但大体还在沿用 LLM 的生成方式。
模型接到输入之后,依然要一个 Token 接一个 Token 地往后生成。哪怕最后只是想判断这封邮件属于退款还是投诉,它也要先把答案生成出来。
Jev 则是放弃了自由文本生成。我们提前告诉它有哪些问、答案可以有哪些类型,它直接给出判断和对应的概率,而且多个判断可以并行完成。
TypeSafe 为此重新设计了模型架构、采样方式和训练方法。
所以 Jev 的快和便宜,并不只是因为模型做小了。更重要的原因是,它把任务收窄到了判断这件事上,然后围绕这个目标重新设计了一整套模型。
为什么专门把判断这件事做成一个模型,会有价值?
因为一旦把 AI 放进真实的软件系统里,就会发现判断这件事的调用频率可能高得吓人。
比如一个大型电商平台每天收到几百万条客服消息。每进来一条,可能都要判断它是什么问、紧不紧急、应该交给谁。
如果每一个判断都调用一次 GPT 或 Claude,当然也能做。
问是太贵,也太慢。
前面说了,大模型每一次回答都要不断生成 Token。可这里程序可能最后只需要一个结果,是或者不是,A 还是 B。
TypeSafe 给出的数据是,Jev 可以在 100 毫秒左右处理完这种情况,价格是每百万输入 Token 0.042 美元,输出免费。
按照里面一个大约 300 Token 的客服工单粗略计算,跑 10 万次判断,成本大约只有 1.26 美元。
对了,Jev 这个名字也很有趣,来自经济学家 William Stanley Jevons。William 提出过一个很有名的 Jevons Paradox,也就是杰文斯悖论。
大意是,一项资源变得更高效、更便宜以后,人类对它的消耗未必会减少,反而可能增加。
放到今天很好理解。比如电越来越便宜、越来越容易获得以后,人们往往会把电接入更多设备和场景,最后催生出更多需求。
TypeSafe 的逻辑也是如此。
如果一次语义判断真的便宜到几乎可以忽略,速度也只有几十到几百毫秒,软件可能就会开始疯狂使用这种能力。
过去代码里一个普通的 if,现在可能变成一次 AI 判断。
一条客服消息进来,可以做五六次判断。
一个 Agent 每执行一步,也可以先判断这一步有没有风险、该用哪个工具、要不要升级到更强的模型。
用户甚至意识不到它存在,但一次普通操作背后,已经调用了几十次很小的 AI 判断。
我觉得,在模型竞争已经无比激烈的今天,Jev 能让大家眼前一亮,核心还是它让大家看到了另辟蹊径的可能性。
也许我们可以把智能做得足够轻、足够快、足够便宜,然后把它塞进软件里的每一个 if else。
真妙。妙不可言。
@aigc1024
还有,一个2000亿市值的机器人公司,宇树科技 一年研发费用只有1.5个亿,怎么能指望做出什么科技突破、期盼像样的东西来呢
@aigc1024
@aigc1024
🔗:https://pan.quark.cn/s/8e85ded5188c
AI探索 | Hermes/OpenClaw|优质资源|优质信息
有人专门给 AgentRouter 写了个自动签到工具:agentrouter-auto-signin。
每天自动领取签到额度;支持多账号,还能自动读取余额并换算。更实用的是,如果电脑当天没开机、错过了签到时间,后面启动还会自动补签。
https://github.com/88lin/agentrouter-auto-signin
AI探索 | Hermes/OpenClaw|优质资源|优质信息
最稳大平台,点击以下链接认证
😍 世博联盟-联盛担保1000万U😍 okapy钱包-ok28担保上押300万U😍 8G国际娱乐官方福利群 公开透明
看完宝玉老师这篇,关于AI 味我总结成几点:
1. 所谓“去 AI 味”的 Skill 有用,但作用有限。
能解决一些典型的 AI 句式和结构问,但看多了,还是能感觉出来。
2. AI 很难真正替代人的写作。
再好的模型、再好的 Skill,如果完全交给 AI,最后很容易变成“很正确、很完整,但不像人说”。
3. AI 更适合做辅助。
搜集资料、一起讨论、调整结构、润色表达、补充逻辑,这些恰恰是 AI 很擅长的。
4. 真正决定内容质量的,还是人的思考和组织。
你得先知道自己想说什么、核心观点是什么,AI 才能真正帮上忙。
5. 减少 AI 味,一个很有效的方法是基于自己的草稿改。
让 AI 围绕你的原始表达去调整,再自己取舍,通常比一句“帮我去掉 AI 味”靠谱得多。
我自己再补充几点实际使用 AI 写作的体会:
1. 核心思路一定要在自己手里。
我现在一般会先确定观点和框架,再让 AI 帮我扩展、润色、串联逻辑。
如果自己什么想法都没有,AI 写完以后,你甚至很难判断它写的是不是你真正想表达的。
2. 我也折腾过不少“去 AI 味”的 Skill。
后来甚至把几个 Skill 融合起来,做了一个自己的版本,但现在其实用得并不多。因为我发现,单独靠一个 Skill,很难解决所有问。
3. 我现在更常做的是给 AI“划边界”。
比如明确告诉它:
少用“不是……而是……”;
不要一直说教;
不要每段都总结升华;
不要为了工整强行排比;
不要把所有都说得太满。
4. 每发现一次问,就把它变成一条规则。
哪句一看就很 AI,我会直接告诉 Agent 为什么不好、以后应该怎么写,而不是这次手动改完就算了。
5.把这些规则慢慢沉淀成长期记忆。
偏好、禁用句式、表达习惯积累得越多,下一次它犯同样错误的概率就越低。
6.最终追求的不是“检测不出 AI”,而是越来越像自己。
我现在更在意的是:这是不是我会说的,是不是符合我的思考方式和表达习惯。
所以现在我对“去 AI 味”的理解也变了:
少找几个万能 Skill,多花时间把自己的思路、审美和边界教给 AI。
长期来看,这可能才是更有效的办法。
以前我一直觉得,“不是……而是……”“真正的……”这种高频句式,就是最明显的 AI 味。
但现在我反而觉得,脑子里空无一物,把思考完全交给 AI,再让它生成一堆看起来像人、但其实没有自己观点的内容,这才是更可怕的 AI 味。
所以,去 AI 味到最后,去的可能不只是几个句式和表达习惯。
更重要的是,内容里到底有没有“你自己”。所谓的AI味,真的重要吗?
顺便说一句,这一篇本身也是我先给出思路和观点,再让 AI 帮我润色整理的。
AI探索 | Hermes/OpenClaw|优质资源|优质信息
1. 所谓“去 AI 味”的 Skill 有用,但作用有限。
能解决一些典型的 AI 句式和结构问,但看多了,还是能感觉出来。
2. AI 很难真正替代人的写作。
再好的模型、再好的 Skill,如果完全交给 AI,最后很容易变成“很正确、很完整,但不像人说”。
3. AI 更适合做辅助。
搜集资料、一起讨论、调整结构、润色表达、补充逻辑,这些恰恰是 AI 很擅长的。
4. 真正决定内容质量的,还是人的思考和组织。
你得先知道自己想说什么、核心观点是什么,AI 才能真正帮上忙。
5. 减少 AI 味,一个很有效的方法是基于自己的草稿改。
让 AI 围绕你的原始表达去调整,再自己取舍,通常比一句“帮我去掉 AI 味”靠谱得多。
我自己再补充几点实际使用 AI 写作的体会:
1. 核心思路一定要在自己手里。
我现在一般会先确定观点和框架,再让 AI 帮我扩展、润色、串联逻辑。
如果自己什么想法都没有,AI 写完以后,你甚至很难判断它写的是不是你真正想表达的。
2. 我也折腾过不少“去 AI 味”的 Skill。
后来甚至把几个 Skill 融合起来,做了一个自己的版本,但现在其实用得并不多。因为我发现,单独靠一个 Skill,很难解决所有问。
3. 我现在更常做的是给 AI“划边界”。
比如明确告诉它:
少用“不是……而是……”;
不要一直说教;
不要每段都总结升华;
不要为了工整强行排比;
不要把所有都说得太满。
4. 每发现一次问,就把它变成一条规则。
哪句一看就很 AI,我会直接告诉 Agent 为什么不好、以后应该怎么写,而不是这次手动改完就算了。
5.把这些规则慢慢沉淀成长期记忆。
偏好、禁用句式、表达习惯积累得越多,下一次它犯同样错误的概率就越低。
6.最终追求的不是“检测不出 AI”,而是越来越像自己。
我现在更在意的是:这是不是我会说的,是不是符合我的思考方式和表达习惯。
所以现在我对“去 AI 味”的理解也变了:
少找几个万能 Skill,多花时间把自己的思路、审美和边界教给 AI。
长期来看,这可能才是更有效的办法。
以前我一直觉得,“不是……而是……”“真正的……”这种高频句式,就是最明显的 AI 味。
但现在我反而觉得,脑子里空无一物,把思考完全交给 AI,再让它生成一堆看起来像人、但其实没有自己观点的内容,这才是更可怕的 AI 味。
所以,去 AI 味到最后,去的可能不只是几个句式和表达习惯。
更重要的是,内容里到底有没有“你自己”。所谓的AI味,真的重要吗?
顺便说一句,这一篇本身也是我先给出思路和观点,再让 AI 帮我润色整理的。
AI探索 | Hermes/OpenClaw|优质资源|优质信息
我用最近很火的JEV 模型做了一个实时 3D 场景生成器。
这个速度实在太夸张了!
从预制的几十上百种 3D 模型里,根据输入的文案,进行并发几百次的判断。
同时对这些素材的着色、光照、位置以及状态进行处理,一秒完成符合要求的室内场景搭建。
@aigc1024
这个速度实在太夸张了!
从预制的几十上百种 3D 模型里,根据输入的文案,进行并发几百次的判断。
同时对这些素材的着色、光照、位置以及状态进行处理,一秒完成符合要求的室内场景搭建。
@aigc1024
不是所有事情都值得让大模型想一想
过去两年,整个AI行业陷入了一场集体幻觉,仿佛所有任务都应该交给大模型去完成。
写代码、做PPT、查资料、订机票、回邮件、分析数据......默认路径永远是打开一个对框,输入指令,等一个结果回来。
而Jev的出现,第一次让这场幻觉出现了巨大的裂缝。
它的核心限制乍看很奇葩,不生成任何自然语言,只输出结构化的判断。比如你问它“这封邮件是否紧急”,它只回答是或否,同时告诉你它有多确定。你问它“这笔交易该不该执行”,它只回答该或不该,同时附上成功概率。
这个限制之所以重要,是因为它强迫我们重新问一个问,这件事真的需要大模型吗?
过去所有AI产品默认的答案是“需要”,但在我们交给它的任务里并非所有都需要生成一大段文字,真正要的只是一个判断而已。Jev想做的事情就是把这个浪费砍掉,由此换来的是速度比大模型快20-200倍,成本低40-400倍。
为什么过去我们会觉得所有任务都该交给大模型?答案不在技术,在交互惯性。ChatGPT的经典界面就是一个对框,你在对框里输入问或指令,它输出结果。这个交互模式太典型,以至于很多人都默认了“AI就是聊天,聊天就是AI”。当你手里只有一把锤子,所有问看起来都像钉子。
但真实世界里的任务主要可以分成两类,一类需要理解和泛化,需要处理模糊的、开放的、没有标准答案的问。比如写一份行业分析,做一个产品方案,构思一个营销创意。这类任务天然适合大模型,因为大模型很擅长处理这种开放性的输入和输出。
另一类只需要判断,输入是结构化的,输出是有限选项的,任务本质是在几个可能性里选一个。比如“这封邮件该分给谁”、“这笔订单风险高不高”、“这个Agent步骤该并行还是串行”,这类任务用大模型来做就像用起重机去拧螺丝,干是能干,但慢、贵且用力过猛了。
过去这类任务是怎么解决的?答案是规则引擎。如果用户点击了A就推荐B,如果订单金额超过某个阈值就标记为风险订单。规则引擎又快又便宜但缺乏泛化能力,一旦遇到没见过的场景就失效了。大模型补上了泛化能力,但引入了速度和成本问。结果就是很多场景被迫二选一,要么用规则引擎精度不够,要么用大模型成本扛不住。
Jev填补的正是中间那个空档,它保留了泛化能力但把输出限制在预设的结构里,所以它才既有大模型的泛化能力,又有规则引擎的速度和成本。我们不应把它视作一个更小的大模型,而是一个新的物种。
它意味着我们该停止问“这个任务能不能用大模型做”,而是先思考“这个任务需要的是理解还是判断”。理解交给大模型,判断交给Jev这样的专用模型。这个分工一旦建立,很多此前在经济上不成立的事情就会跨越鸿沟。
一个Agent工作流可能有几十个步骤,其中大部分只需要“往左还是往右”的判断,却被迫调用一个前沿模型来生成一段JSON再解析出来用。现在这些判断可以交给Jev,用一个HTTP往返就能回答一批问,前沿模型的注意力可以留在真正需要推理的地方。
一个游戏AI每秒需要做出十几次决策,用大模型延迟太高,用规则引擎又太死板,Jev可以在毫秒级完成“这个敌人该进攻还是撤退”的判断。一个推荐系统每天需要处理数十亿次候选筛选,用大模型的成本无法承受。Jev可以把每次筛选的成本压到几乎为零,让推荐系统第一次可以围绕“确定性”来设计逻辑。
这些变化的前提是接受一个反直觉的判断,不是所有事情都值得让大模型想一想。有些判断需要泛化能力,但不需要文字生成。有些任务需要智能,但不需要慢思考。把这些问交给一个更专用、更轻量、更快的模型,才是正确的工程选择。
过去所有人都在讨论大模型能做什么,但我们是否也该好好想想哪些事情其实并不需要大模型?
@aigc1024
过去两年,整个AI行业陷入了一场集体幻觉,仿佛所有任务都应该交给大模型去完成。
写代码、做PPT、查资料、订机票、回邮件、分析数据......默认路径永远是打开一个对框,输入指令,等一个结果回来。
而Jev的出现,第一次让这场幻觉出现了巨大的裂缝。
它的核心限制乍看很奇葩,不生成任何自然语言,只输出结构化的判断。比如你问它“这封邮件是否紧急”,它只回答是或否,同时告诉你它有多确定。你问它“这笔交易该不该执行”,它只回答该或不该,同时附上成功概率。
这个限制之所以重要,是因为它强迫我们重新问一个问,这件事真的需要大模型吗?
过去所有AI产品默认的答案是“需要”,但在我们交给它的任务里并非所有都需要生成一大段文字,真正要的只是一个判断而已。Jev想做的事情就是把这个浪费砍掉,由此换来的是速度比大模型快20-200倍,成本低40-400倍。
为什么过去我们会觉得所有任务都该交给大模型?答案不在技术,在交互惯性。ChatGPT的经典界面就是一个对框,你在对框里输入问或指令,它输出结果。这个交互模式太典型,以至于很多人都默认了“AI就是聊天,聊天就是AI”。当你手里只有一把锤子,所有问看起来都像钉子。
但真实世界里的任务主要可以分成两类,一类需要理解和泛化,需要处理模糊的、开放的、没有标准答案的问。比如写一份行业分析,做一个产品方案,构思一个营销创意。这类任务天然适合大模型,因为大模型很擅长处理这种开放性的输入和输出。
另一类只需要判断,输入是结构化的,输出是有限选项的,任务本质是在几个可能性里选一个。比如“这封邮件该分给谁”、“这笔订单风险高不高”、“这个Agent步骤该并行还是串行”,这类任务用大模型来做就像用起重机去拧螺丝,干是能干,但慢、贵且用力过猛了。
过去这类任务是怎么解决的?答案是规则引擎。如果用户点击了A就推荐B,如果订单金额超过某个阈值就标记为风险订单。规则引擎又快又便宜但缺乏泛化能力,一旦遇到没见过的场景就失效了。大模型补上了泛化能力,但引入了速度和成本问。结果就是很多场景被迫二选一,要么用规则引擎精度不够,要么用大模型成本扛不住。
Jev填补的正是中间那个空档,它保留了泛化能力但把输出限制在预设的结构里,所以它才既有大模型的泛化能力,又有规则引擎的速度和成本。我们不应把它视作一个更小的大模型,而是一个新的物种。
它意味着我们该停止问“这个任务能不能用大模型做”,而是先思考“这个任务需要的是理解还是判断”。理解交给大模型,判断交给Jev这样的专用模型。这个分工一旦建立,很多此前在经济上不成立的事情就会跨越鸿沟。
一个Agent工作流可能有几十个步骤,其中大部分只需要“往左还是往右”的判断,却被迫调用一个前沿模型来生成一段JSON再解析出来用。现在这些判断可以交给Jev,用一个HTTP往返就能回答一批问,前沿模型的注意力可以留在真正需要推理的地方。
一个游戏AI每秒需要做出十几次决策,用大模型延迟太高,用规则引擎又太死板,Jev可以在毫秒级完成“这个敌人该进攻还是撤退”的判断。一个推荐系统每天需要处理数十亿次候选筛选,用大模型的成本无法承受。Jev可以把每次筛选的成本压到几乎为零,让推荐系统第一次可以围绕“确定性”来设计逻辑。
这些变化的前提是接受一个反直觉的判断,不是所有事情都值得让大模型想一想。有些判断需要泛化能力,但不需要文字生成。有些任务需要智能,但不需要慢思考。把这些问交给一个更专用、更轻量、更快的模型,才是正确的工程选择。
过去所有人都在讨论大模型能做什么,但我们是否也该好好想想哪些事情其实并不需要大模型?
@aigc1024
人到中年,当一个家庭失去唯一的收入来源。
心酸都溢出屏幕了。
两夫妻,都是高等学历,一番对,满是绝望。
看样子像是摆拍,但这种情形一定真实存在!
女方全职主妇脱离社会多年,当男方突然失业后,逼不得已去当了收银员。
男方失业,赋闲一年多,跑了几天外卖不愿意干,想要孤注一掷投身AI,仅仅是因为他觉得AI是主流叙事,怎么做,做什么,他一概不知。
两人对中,反复提到:
我们都是高等学历,为什么把日子过成了这样?
真正的原因,是因为收入结构太过于单一了,工资成了仅有的收入来源,而这个时代,对于大部分没有背景、没有资源的普通人来说,最不可靠的就是工作。
还是我以前的观点,主业+副业才是最可靠的,一个是基本保障,一个是底气!!
但不得不说,有妻如此,也是三生有幸。
AI探索 | Hermes/OpenClaw|优质资源|优质信息
心酸都溢出屏幕了。
两夫妻,都是高等学历,一番对,满是绝望。
看样子像是摆拍,但这种情形一定真实存在!
女方全职主妇脱离社会多年,当男方突然失业后,逼不得已去当了收银员。
男方失业,赋闲一年多,跑了几天外卖不愿意干,想要孤注一掷投身AI,仅仅是因为他觉得AI是主流叙事,怎么做,做什么,他一概不知。
两人对中,反复提到:
我们都是高等学历,为什么把日子过成了这样?
真正的原因,是因为收入结构太过于单一了,工资成了仅有的收入来源,而这个时代,对于大部分没有背景、没有资源的普通人来说,最不可靠的就是工作。
还是我以前的观点,主业+副业才是最可靠的,一个是基本保障,一个是底气!!
但不得不说,有妻如此,也是三生有幸。
AI探索 | Hermes/OpenClaw|优质资源|优质信息