9 月 15 日，一家叫 TypeSafe 的公司发布了自己的第一个模型 Jev：它不生成文本，只输出判断，给一个问，返回一个带置信度的决定。
它的速度比前沿大模型快两百倍，价格便宜四百倍，但这看起来很厉害，但并不是最重要的事情，重要的是他想改变一个模型训练的范式。
Jev 的 CEO 是 Diogo Almeida。他在产品发布前的一个月，曾对自己想解决的大问进行公开演讲，从中你可以看到他在 Jev 背后的深度思考。
以下是我在看完演讲之后所记录的一些笔记和思考。
一、AI 现状：能力的巅峰，信任的谷底
AI 现在最别扭的地方：AI 能解出没人解过的数学，但人类却不信任 AI 的决策。企业给客服机器人立规矩，只许让用户翻文档，不许做真正的决定。
人们使用软件和使用 AI 的方式截然不同，前者是按钮点点，后者是说聊天，很难有机地融合在一起，也让所有的 AI 软件看起来都差不多，很难做出差异化。
因为软件无法自己做决策，所以人就需要一直在循环里纠偏，大部分软件公司不敢承担结果的责任，只能给用户一堆建议让他自己选择，因此也无法获得最大的价值，也无法按结果收费。
最大的价值往往来自决策，不是执行和提效。
二、根因：RLHF 把人放进了循环
AI 做一个任务的目的是什么？是取悦屏幕前的人，还是自己做决策？如果是为了取悦屏幕前的人，就永远无法实现完全的自动化。
RLHF 的本质是收集人类偏好，为人类偏好做优化。今天几乎所有大模型都这么训出来的。
为什么 AI 离不开人：因为训练的时候，我们真的把人放进去了。循环的终点是人的满意，要人满意就得有人在场。
三、两个副产品：谄媚与幻觉
RLHF 带来的第一个问是：谄媚。有人发了一段放屁的音效问 ChatGPT 觉得这首音乐怎么样，它答「这段音乐有种奇怪的氛围感」。它在不知不觉中给出最让人满意的回答，Gemini 的谄媚更加严重，即便你完全错了，它也会说你太棒了。
RLHF 带来的第二个问是：幻觉。在奖励模型里，犹豫太容易被看出来，一看出来就挨罚。所以模型学会了丢掉犹豫、装自信。模型不会承认自己不知道。这就产生了大量幻觉。
幻觉是优化人类偏好内生的结果。而 Jev 让模型以置信度的数字返回结果，模型不知道分数就低，因此就不存在这类幻觉。
但如果模型的训练数据已经包含了人类的语言幻觉，那就是另外一回事了。
四、为什么自动化还没发生
自动化的定义：一
