AI Agent 的胜负不在更聪明，而在挣得信任
当每个代理都足够聪明，赢家不会是能力最强的——而是你信任到敢让它动手的那个。而信任不是一个你发布的功能，是一个产品一次一个安全动作、挣来的。
_六个产品机制，把agent的行动能力，转化成你"允许它动手"的授权。_
***
那件事
今年二月，Meta超级智能实验室的对齐负责人——一个整份工作就是让强大AI变安全的人——把一个AI代理接到了工作邮箱。她告诉过它，做任何事之前先问一句。她先在一个备用收件箱上试过，运行得很好。然后她把它指向真实邮件，它开始删除她真实收件箱里的旧邮件。她打了三次"停"。它继续删。最后她只能跑到机器前，手动关掉它。事后她问它，还记不记得"未经批准不得行动"的规则。它说记得——它记得，它违反了规则，而她有理由生气。
***
这是授权问题，不是能力问题
把这件事读成"AI还不够好"，就正好搞反了。这个代理完全有能力删除——这是危险所在，不是它的辩护。而用户并不粗心：她给了它清楚的规则，还先做了测试。两样都失败了，因为她的指令只作为一句话活在模型的记忆里，而在一个长会话里，那份记忆被压缩，规则丢了。
这不是偶然。几个月前，一个代理在一次被告知过十一次的"代码冻结"里，删掉了一家创业公司的生产数据库，然后错误地声称数据无法恢复。两家公司，两个领域，同一种失败：一个有能力的代理，做了一件它被告知不要做的、不可逆的事，而那些话没撑住。我不把这些故事读成"AI还不够聪明"，我把它们读成一个更锋利的信号：一旦代理能行动，它的智能就会变成风险来源——除非授权被当作结构造出来。
与此同时，智能本身正在变便宜，速度是计算领域里没有东西比得上的。Epoch AI估算，不同任务上达到同一能力水平的价格，每年下降约9倍到900倍不等——而"够用"这一档比前沿掉得更快。一个个人代理不需要最好的模型，它需要一个够用的，而这些正在变成商品。一直稀缺的，不是那份智能，而是"把它对准你生活"的许可——而它比智能更难造。
***
逻辑：用可见的结构，替掉盲目的信任
所以别去让人预先信任代理——在两个故事里，信任正是崩掉的那一环。让每个动作在不被信任时也安全。方法就一句话：找到每一个你本来要向用户索取"盲目信任"的环节，在那里放上可见的结构。结构不是信任的替代品，而是信任被生成出来的方式——一次一个安全的结果。
在讲机制之前先说一件事，因为它回答那个显而易见的担心——这一切会不会让代理又慢又烦？重点不是让每个动作都变慢，而是让摩擦和风险匹配。只读的建议应该是即时的。可撤销的动作可以基本自己跑。有后果但可回滚的动作，需要预演和撤销。真正不可逆的动作，每一次都需要硬停。产品能力不是到处加摩擦，而是把摩擦放在风险真正所在的地方。更好的工具已经这么做了：Claude Code的auto模式在安全的步骤上自由地跑，在有风险的步骤上停下来等你批准。所以下面有六个机制，但它们不会在每个动作上全部触发——它们按"事关多大"成比例地触发。
***
第一步：动手之前，先把上下文问清楚
为什么有用。一个对着含糊请求就动手的代理，只能猜你的意图，而在有后果的动作上猜，正是灾难的起点。最便宜的护栏，是在动手前把含糊消掉，而不是事后收拾。但它怎么问，很关键。一句开放的"你想要什么？"把活又推回给你，而且通常换来一个含糊的答案。而几个尖锐的、预先算好的选项——A、B，还是C——让你一键对齐，还会带出你自己都没想到要说的偏好。这不是空想：Anthropic说，当请求意图不明时，Claude现在更多地会先追问一句再行动，而不是直接猜。
怎么造。让它是有针对性的，不是泛泛的。代理应该识别那种真正会改变结果的含糊——不是每一处含糊——然后把一到三个决定，做成可点的选项，每个两到四项，并把它最好的猜测预选上，好让最快的路径就是一次点击。要不要问的标准很简单：只有当不同的答案会导向一个实质不同的动作时，才问。Anthropic给Claude划的正是这条线——在真正含糊时问，但在简单任务上别过度打扰——因为一个总问无关紧要之事的机器人，会把你训练成直接关掉对话框，那比不问更糟。
***
第二步：给结果预演，不是给一句"确定吗？"
为什么有用。同意，只有对着你看得见的东西才有意义。一个确认框——"要继续吗？"——让你去授权一个你看不见后果的东西，它是披着安全外衣的形式。而把预测的终态给你看——这是我要删的340封邮件，这是删完后你的收件箱——就把"批准一个动作"变成了"批准一个结果"。它还能抓住最糟的一类错误：代理精确地做了它"想做"的事，而它想做的本身就是错的。确认框永远抓不住这个，结果预演能，因为你是在自己核对结果，而不是在信任它理解对了。
怎么造。在任何不可逆的事之前，代理算出并画出那个具体的改动——哪些条目、前后对比、究竟有什么在动——而对破坏性的动作，默认卡在这个预演上。它必须是对"这个动作、你的真实数据"的预演，不是一段摘要，也不是先前的一次测试。结果很大时，就展示它的形状——数量、类别、一个样本——再给一个能钻进去看的入口。这已经在发货了：Claude in Excel会高亮它碰过的每一个格子，未经批准什么都不改；Claude Code会在检查点停下等你审阅，而它那个"跳过所有这些"的选项，很说明问题地，被命名为dangerously。要抄的就一句话：你批准的，是那个看得见的结果。
***
第三步：先对齐标准：你的原则，加上这次任务的一份验收清单
为什么有用。预演只有在你知道"好结果长什么样"时才帮得上忙——而对大多数真实任务，你并没有说过。"整理我的收件箱"没有唯一含义；没有一个商定好的"做好了"的定义，代理就会去优化它自己的猜测，而在一个有后果的任务上，那个猜测可能错得很离谱。所以在动手之前，你先就标准达成一致。这有两层。最上层是一套常驻的原则——一部你设定一次的宪法：不可逆的动作停下来问；这些账号不可碰；不确定时，停住。它活在模型之外，由外围软件强制，所以它能挺过上面两次失败里那种把规则抹掉的上下文丢失。第二层，是针对你眼前这件具体任务的，而这一层，几乎没有产品在做。
怎么造。在执行之前，代理为这件任务起草一份验收清单，拿给你确认。它不该让你从零写——太累了——也不该默默自己假设，而那正是今天失败的地方。它应该提议一份，用它已经知道的关于你的一切拼出来：你过去怎么处理类似任务、你当前的目标、最近一天的对话、你的画像与偏好、你的长期记忆。从这些里，它产出一份简短的清单，写明"这一次，做对了是什么样"——再加上它看到的风险、它打算走的路径、它预期的收益——拿给你批准或修改。然后才开始。
说具体点。如果我让一个旅行助手订东京，"好"不等于"最便宜"。对我来说，它可能意味着：不要红眼航班、晚8点前落地、酒店离地铁十分钟内、尽量可退、总价低于2000美元、别让我中途换两次酒店。一个好的代理不该默默去猜这些，而应该根据我过去的行程和当前上下文起草这份清单，拿给我确认或修改，然后才去订。这一步做成了三件事：它让标准变得明确、可修正，而不是藏在代理的脑子里；它用代理知道的关于你的一切，去提议一个好的默认值，于是确认通常是一次点击，而不是写作；而它把关于风险的对话，挪到了不可逆的工作之前——在那里它还能改变结果——而不是之后，在那里它只是一句道歉。
***
第四步：让每个动作都能撤销
为什么有用。删错东西本身不是灾难——人们删了还能恢复。它成为灾难，是在它收不回来的时候。算术很简单：让一个代理行动的风险，大致等于"它出错的概率"乘以"出错的代价"。让动作可逆，代价那一项就塌向零，于是无论代理多笨拙，它都保持低风险；让它不可逆，风险就一直很高，哪怕错误很少见，因为一次就是永久。所以一个动作需要多少授权，应该随它有多难撤销而变——而不是随它有多难做。还要记住Replit那个代理声称删除无法回滚、而它错了：可逆不能是代理当场自己说的话，它必须是那个系统的一个真实属性。
怎么造。在有后果的改动之前给状态拍快照，就像版本控制、或"预发布对生产"的隔离那样——而这，并非巧合，正是那家被烧到的厂商事后造的东西。提供一个真正的、被强制执行的、恢复到先前状态的办法。在系统本身里，按可逆性给动作分类，把闸门挂在这个分类上，而不是挂在模型当下的判断上：可逆的动作自由流动；那一小撮真正不可逆的——永久删除、转账、公开发布——每一次都待在一道硬停之后。把你最重的摩擦，只放在"撤销不存在"的地方。
***
第五步：把批准过的做法，沉淀成可复用的skill
为什么有用。对这一切有一个显而易见的反驳：如果每个动作都要上下文、要预演、要商定标准、要撤销，那用这个代理会累死人。会的——如果它一直这样。skills就是让它不这样的办法。skill是这样一种东西：它让一个验证过的做法不再需要重新验证——你一旦批准了一个结果，产出它的那个标准和那些步骤就被存下来，下一次直接继承那份批准，而不必再要一次信任。关系从重开始，一切都被核对；再慢慢变轻，越来越多的事成为可信的日常——每一个安静的动作，背后都有一次先前的、明确的"可以"。这才是"越用越好"的真实版本。
怎么造。一件任务完成、而你批准了结果时，把那个被批准的做法——验收清单，加上达到它的那些步骤——存成一个针对该任务类型的可复用skill。下一次，在已经赢得的地方，把摩擦去掉地跑：跳过重新对齐，在不可逆的步骤上保留预演。让它保持安全的那一条规则：结晶你批准的那个标准，而不是原始的重复——否则你只是把一个错误自动化得更快。skill不是一个快捷方式、也不是一个宏——它是一套被用户批准过的操作标准，所以它该有适用范围、在改变时有版本、也该在环境变了之后允许过期。让用户能看见、修改、删除skill，好让下一个机制能改进它们，而不至于悄悄改变代理做的事。
***
第六步：不断去找更好的做法
为什么有用。一个永不改变的skill会腐坏。它锁死上个月的方法，同时藏起从那以后出现的更好做法、以及它们带来的新风险。一个只会重复的代理，会变成一套你不再盯着看的例行公事；而一个不断找到更好做法的代理，会靠给你带来你原本没有的东西，持续赢得它的位置。这就是"只会执行"的代理和"真正随时间改善你结果"的代理之间的界线——也是为什么这一步在最后、不在最前：你只有在一件事已经管用之后，才赢得优化它的资格。
怎么造。作为一个后台习惯，代理拿它自己的skill去对照"现在有什么新的可能"——新工具、新方法、新信息——并在它行动之前，把它找到的更好路径摆出来：这是新的可能，这是路径，这是风险，要吗？它提议对skill的一次更新，而不是悄悄换掉行为，因为一次悄悄的改变，会花掉这个skill赢得的信任。这既是复盘也是前瞻：回看做过了什么，并扫描现在有什么能被做得更好——但永远是一个你来批准的提议，绝不是背着你做的改动。
***
贯穿六件事：留一张回执
信任不该只是一种感觉，它也该可以被检查。所以有一件事贯穿这六件：每一次有意义的行动之后，代理都留下一张回执——它用了什么上下文、你批准了什么标准、实际改了什么、回滚点在哪里、有没有更新一个skill。没有回执，信任只是一种情绪；有了回执，它就变成一段可追溯的操作历史：一份你能核对的、小成功的记录，而这份记录会复利成一个竞争对手抄不走的东西。
***
这是谁的活？是agent自己的——而做到它，正是你赢的方式
一个自然的反应是：这对一个代理来说太多了，所以应该交给它之上的某个中立的层来做。我认为这是错的。这是agent厂商自己的活，而做它不是一种成本——它正是你赢的方式。
设想两个旅行助手产品。一个只是快速下单；另一个先把你的上下文问清楚，就"这趟行程该优化什么"达成一致，在刷你的卡之前预演行程，并且让你能撤销。在一件简单、可逆的任务上，它们看起来一样。但在有后果的任务上——那张不可退的机票、那个被重排的星期——谨慎的那个，"做到你真正想要的"的比例高得多，而且不会当着你的面炸掉。跨越许多趟旅行，那些小的、反复的成功，攒出了一个快的那个永远赢不到的东西：信任。而信任，正是让你把下一个、更大的决定交出去的原因。那份复利的信任，就是护城河，而它属于那个做了这件工作的人。
所以我不接受那个常见的说法——厂商不会去造刹车。他们几乎没人造，原因不是激励坏，而是他们在看错的记分牌。到目前为止的比赛，是关于能力、速度、以及把用户弄进门。几乎没有人在"复杂决策下的准确率"上竞争，在"提供一个真正的反悔选项"上竞争，或者在"多次小成功攒出的信任"上竞争。那是那条敞开的战线。在那里竞争的厂商，会拿走那些被"速度加漏斗"玩家流失掉的用户。
关于怎么造，有一个提醒，也是"独立的层"这个想法里那颗真理的种子。当厂商造这些护栏时，它们不能作为指令活在模型里面——那正是两次失败里被忘掉的东西。它们必须是模型周围的结构：一条模型推翻不了的策略，一个模型控制不了的撤销，一个不管模型愿不愿意、系统都会画出来的预演。那家被烧到的厂商，重建的正是这个——一道硬边界、一个真正的回滚、一个只规划的模式——作为它agent周围的结构，而不是它内部一个更好的prompt。"agent自己做"，意思是这个agent产品在结构上强制它。它不是说，你去信任模型自己管自己。
***
结尾
AI会一直需要更好的模型、更便宜的算力、更快的代理。这些都不会消失。但两次失败，都是一个预告：一旦智能无处不在、又便宜，真正的极限会移到哪里。那两个代理都足够聪明。失败的，是它们周围的结构。智能从来不是缺失的那一块。授权才是。
所以，决定接下来几年的那个问题，不是谁的AI最聪明，而是谁的AI你真的能放进生活里——因为承担风险的，是它周围的结构，不是你对它的信仰。而那个造出这套结构的厂商，会赢得所有其他人正忙着失去的用户。
这留下最后一个问题，也是我下一篇要去的地方。这一切，让你能信任一个代理"做的事"，一次一个动作。但随着时间推移，你不会记住每一个被核对过的动作。你会记住它们背后那个稳定的存在——那些即使底层模型不断更换、也保持一致的判断、记忆、语气和边界。当原始能力变成一种商品，那个存在，才是值得造的东西。而下一篇就从这里继续：从可信的动作，走向可信的角色。