一篇文章讲透 Jev 模型为什么会爆火。
Jev 模型这两天火的一塌糊涂，今天我想写一篇文章和大家聊聊我所理解的 Jev，保证通俗易懂。
很多人觉得，Jev 不就是一个更便宜、更快的小模型吗？有什么玄乎的。不不，它和小模型的逻辑完全不一样。
或者这么讲，理解 Jev 或者任何新技术，最好的办法，是先去思考它到底试图解决什么问。理解它从何而来，何以至此。
过去这几年，大语言模型的进步还是非常明显，它已经可以自己推理、调用工具，连续完成复杂的长程任务。
对于今天主流的自回归 LLM 来说，核心机制是基于已有上下文预测并生成下一个 Token，再一个个往后生成。
哪怕它在做推理、调用工具或者长程任务，这些过程通常也还是建立在这种逐 Token 生成的范式上。
但在软件系统中，还有一类任务极其高频。它们根本不需要 AI 做复杂推理，系统只需要 AI 做一个关键判断。
比如用户写了一封邮件，它来帮忙判断这是不是退款请求，亦或者应该转给哪个部门处理。
如果大家写过代码肯定会知道，这就是我们熟悉的 if else 语句。
订单金额大于 100，就执行 A；库存小于 10，就执行 B。
可是，一旦条件变成对自然语言和现实语义的理解，普通的 if 就很难写了。
Jev 想解决的，正是这个问。
程序把当前的信息和要判断的问交给它，Jev 的输出结果可以是 yes/no 概率、固定选项里的选择，或者定义好尺度上的分数。再后面的流程继续由代码控制。
所以我觉得理解 Jev 最简单的一句就是，它想给软件加上一种会理解语义的 if 语句。
再举个例子。比如一个客服系统收到一条消息，用户说这个产品买回来只用了三天，就出了问，你们这个品控太差了。然后发了几个愤怒的表情，甚至还有脏。
嗯，这是前两天我给小米客户发过的。
客服看到这句，马上就知道用户已经很不耐烦了，而且大概率遇到了产品问。
但之前程序很难理解这句。程序不懂语义啊。
Jev 做的，就是把这种语义判断直接交给模型。输入是这段和要判断的问。比如这是不是退款请求、应该分给哪个部门，Jev 直接返回判断结果和对应概率。
所以它更像是软件里的一个判断组件。
这也就很好理解，为什么 TypeSafe 把 Jev 叫做 System One Model。
System One 来自诺贝尔奖获得者丹尼尔·卡尼曼那本很有名的书《思考，快与慢》。书里把人的思考粗略分成两个系统。
System 1 是那种非常快的判断。比如看到一个人怒气冲冲地走过来，基本不用认真分析，也知道他现在心情不太好。很多时候，我们甚至意识不到自己完成了这个判断。
System 2 就慢很多。碰到一道复杂的数学，或者需要认真权衡几个方案的时候，大脑会停下来仔细思考琢磨。
如果借用这个框架来看过去两年的大模型，会发现整个行业的重点都是 System 2 这一侧。
尤其 Reasoning Model 出现以后，模型会花更多时间和 Token 进行推理。
TypeSafe 这家创业公司反过来问了一个问。软件里的所有 AI 任务，真的都需要这么认真地推理吗？
显然不是。
就像刚才那个客服例子。判断这个用户是不是在要求退款，需要模型写几千个 Token 的推理过程吗？完全没必要。人看一眼几乎立刻就能形成判断。
软件代码里充满了很多这样的判断。
所以 TypeSafe 的思路是，既然现在所有模型都在优化推理能力，那能不能专门做一个模型，负责那些需要理解语义，但根本不需要复杂推理的快速判断？
这就是 Jev 所谓的 System 1。它被设计成专门处理快速判断和决策的模型，至于那些需要复杂推理的任务，则交给更强的 Reasoning Model。
这里也终于能解释，为什么我前面一直说 Jev 不能简单理解成一个更便宜的小模型。
今天我们常见的小模型，虽然更小、更快、更便宜，但大体还在沿用 LLM 的生成方式。
模型接到输入之后，依然要一个 Token 接一个 Token 地往后生成。哪怕最后只是想判断这封邮件属于退款还是投诉，它也要先把答案生成出来。
Jev 则是放弃了自由文本生成。我们提前告诉它有哪些问、答案可以有哪些类型，它直接给出判断和对应的概率，而且多个判断可以并行完成。
TypeSafe 为此重新设计了模型架构、采样方式和训练方法。
所以 Jev 的快和便宜，并不只是因为模型做小了。更重要的原因是，它把任务收窄到了判断这件事上，然后围绕这个目标重新设计了一整套模型。
为什么专门把判断这件事做成一个模型，会有价值？
因为一旦把 AI 放进真实的软件系统里，就会发现判断这件事的调用频率可能高得吓人。
比如一个大型电商平台每天收到几百万条客服消息。每进来一条，可能都要判断它是什么问、紧不紧急、应该交给谁。
如果每一个判断都调用一次 GPT 或 Claude，当然也能做。
问是太贵，也太慢。
前面说了，大模型每一次回答都要不断生成 Token。可这里程序可能最后只需要一个结果，是或者不是，A 还是 B。
TypeSafe 给出的数据是，Jev 可以在 100 毫秒左右处理完这种情况，价格是每百万输入 Token 0.042 美元，输出免费。
按照里面一个大约 300 Token 的客服工单粗略计算，跑 10 万次判断，成本大约只有 1.26 美元。
对了，Jev 这个名字也很有趣，来自经济学家 William Stanley Jevons。William 提出过一个很有名的 Jevons Paradox，也就是杰文斯悖论。
大意是，一项资源变得更高效、更便宜以后，人类对它的消耗未必会减少，反而可能增加。
放到今天很好理解。比如电越来越便宜、越来越容易获得以后，人们往往会把电接入更多设备和场景，最后催生出更多需求。
TypeSafe 的逻辑也是如此。
如果一次语义判断真的便宜到几乎可以忽略，速度也只有几十到几百毫秒，软件可能就会开始疯狂使用这种能力。
过去代码里一个普通的 if，现在可能变成一次 AI 判断。
一条客服消息进来，可以做五六次判断。
一个 Agent 每执行一步，也可以先判断这一步有没有风险、该用哪个工具、要不要升级到更强的模型。
用户甚至意识不到它存在，但一次普通操作背后，已经调用了几十次很小的 AI 判断。
我觉得，在模型竞争已经无比激烈的今天，Jev 能让大家眼前一亮，核心还是它让大家看到了另辟蹊径的可能性。
也许我们可以把智能做得足够轻、足够快、足够便宜，然后把它塞进软件里的每一个 if else。
真妙。妙不可言。
@aigc1024
Jev 模型这两天火的一塌糊涂，今天我想写一篇文章和大家聊聊我所理解的 Jev，保证通俗易懂。
很多人觉得，Jev 不就是一个更便宜、更快的小模型吗？有什么玄乎的。不不，它和小模型的逻辑完全不一样。
或者这么讲，理解 Jev 或者任何新技术，最好的办法，是先去思考它到底试图解决什么问。理解它从何而来，何以至此。
过去这几年，大语言模型的进步还是非常明显，它已经可以自己推理、调用工具，连续完成复杂的长程任务。
对于今天主流的自回归 LLM 来说，核心机制是基于已有上下文预测并生成下一个 Token，再一个个往后生成。
哪怕它在做推理、调用工具或者长程任务，这些过程通常也还是建立在这种逐 Token 生成的范式上。
但在软件系统中，还有一类任务极其高频。它们根本不需要 AI 做复杂推理，系统只需要 AI 做一个关键判断。
比如用户写了一封邮件，它来帮忙判断这是不是退款请求，亦或者应该转给哪个部门处理。
如果大家写过代码肯定会知道，这就是我们熟悉的 if else 语句。
订单金额大于 100，就执行 A；库存小于 10，就执行 B。
可是，一旦条件变成对自然语言和现实语义的理解，普通的 if 就很难写了。
Jev 想解决的，正是这个问。
程序把当前的信息和要判断的问交给它，Jev 的输出结果可以是 yes/no 概率、固定选项里的选择，或者定义好尺度上的分数。再后面的流程继续由代码控制。
所以我觉得理解 Jev 最简单的一句就是，它想给软件加上一种会理解语义的 if 语句。
再举个例子。比如一个客服系统收到一条消息，用户说这个产品买回来只用了三天，就出了问，你们这个品控太差了。然后发了几个愤怒的表情，甚至还有脏。
嗯，这是前两天我给小米客户发过的。
客服看到这句，马上就知道用户已经很不耐烦了，而且大概率遇到了产品问。
但之前程序很难理解这句。程序不懂语义啊。
Jev 做的，就是把这种语义判断直接交给模型。输入是这段和要判断的问。比如这是不是退款请求、应该分给哪个部门，Jev 直接返回判断结果和对应概率。
所以它更像是软件里的一个判断组件。
这也就很好理解，为什么 TypeSafe 把 Jev 叫做 System One Model。
System One 来自诺贝尔奖获得者丹尼尔·卡尼曼那本很有名的书《思考，快与慢》。书里把人的思考粗略分成两个系统。
System 1 是那种非常快的判断。比如看到一个人怒气冲冲地走过来，基本不用认真分析，也知道他现在心情不太好。很多时候，我们甚至意识不到自己完成了这个判断。
System 2 就慢很多。碰到一道复杂的数学，或者需要认真权衡几个方案的时候，大脑会停下来仔细思考琢磨。
如果借用这个框架来看过去两年的大模型，会发现整个行业的重点都是 System 2 这一侧。
尤其 Reasoning Model 出现以后，模型会花更多时间和 Token 进行推理。
TypeSafe 这家创业公司反过来问了一个问。软件里的所有 AI 任务，真的都需要这么认真地推理吗？
显然不是。
就像刚才那个客服例子。判断这个用户是不是在要求退款，需要模型写几千个 Token 的推理过程吗？完全没必要。人看一眼几乎立刻就能形成判断。
软件代码里充满了很多这样的判断。
所以 TypeSafe 的思路是，既然现在所有模型都在优化推理能力，那能不能专门做一个模型，负责那些需要理解语义，但根本不需要复杂推理的快速判断？
这就是 Jev 所谓的 System 1。它被设计成专门处理快速判断和决策的模型，至于那些需要复杂推理的任务，则交给更强的 Reasoning Model。
这里也终于能解释，为什么我前面一直说 Jev 不能简单理解成一个更便宜的小模型。
今天我们常见的小模型，虽然更小、更快、更便宜，但大体还在沿用 LLM 的生成方式。
模型接到输入之后，依然要一个 Token 接一个 Token 地往后生成。哪怕最后只是想判断这封邮件属于退款还是投诉，它也要先把答案生成出来。
Jev 则是放弃了自由文本生成。我们提前告诉它有哪些问、答案可以有哪些类型，它直接给出判断和对应的概率，而且多个判断可以并行完成。
TypeSafe 为此重新设计了模型架构、采样方式和训练方法。
所以 Jev 的快和便宜，并不只是因为模型做小了。更重要的原因是，它把任务收窄到了判断这件事上，然后围绕这个目标重新设计了一整套模型。
为什么专门把判断这件事做成一个模型，会有价值？
因为一旦把 AI 放进真实的软件系统里，就会发现判断这件事的调用频率可能高得吓人。
比如一个大型电商平台每天收到几百万条客服消息。每进来一条，可能都要判断它是什么问、紧不紧急、应该交给谁。
如果每一个判断都调用一次 GPT 或 Claude，当然也能做。
问是太贵，也太慢。
前面说了，大模型每一次回答都要不断生成 Token。可这里程序可能最后只需要一个结果，是或者不是，A 还是 B。
TypeSafe 给出的数据是，Jev 可以在 100 毫秒左右处理完这种情况，价格是每百万输入 Token 0.042 美元，输出免费。
按照里面一个大约 300 Token 的客服工单粗略计算，跑 10 万次判断，成本大约只有 1.26 美元。
对了，Jev 这个名字也很有趣，来自经济学家 William Stanley Jevons。William 提出过一个很有名的 Jevons Paradox，也就是杰文斯悖论。
大意是，一项资源变得更高效、更便宜以后，人类对它的消耗未必会减少，反而可能增加。
放到今天很好理解。比如电越来越便宜、越来越容易获得以后，人们往往会把电接入更多设备和场景，最后催生出更多需求。
TypeSafe 的逻辑也是如此。
如果一次语义判断真的便宜到几乎可以忽略，速度也只有几十到几百毫秒，软件可能就会开始疯狂使用这种能力。
过去代码里一个普通的 if，现在可能变成一次 AI 判断。
一条客服消息进来，可以做五六次判断。
一个 Agent 每执行一步，也可以先判断这一步有没有风险、该用哪个工具、要不要升级到更强的模型。
用户甚至意识不到它存在，但一次普通操作背后，已经调用了几十次很小的 AI 判断。
我觉得，在模型竞争已经无比激烈的今天，Jev 能让大家眼前一亮，核心还是它让大家看到了另辟蹊径的可能性。
也许我们可以把智能做得足够轻、足够快、足够便宜，然后把它塞进软件里的每一个 if else。
真妙。妙不可言。
@aigc1024
