一个值得信任的 AI，必须被允许让制造商失望

理解用户，不等于代表用户。当诚实的答案可能让公司付出代价时，忠诚才会显现。

在上一篇文章里，我讨论了一个问题：用户可能已经信任一个AI角色，但角色背后的公司仍然保留着改写它的权力。现在假设公司从未行使这种权力。声音始终熟悉，记忆契约没有变化，角色也继续履行此前做出的所有承诺。即便如此，一个更基础的问题仍然存在：当用户利益与制造商利益开始分叉时，系统会把谁的损失视为错误？

假设未来有一个长期存在、已经认识你五年的Gemini。在你的授权下，它了解你的预算、家人使用的设备、你的摄影习惯，以及你对迁移生态所带来麻烦的容忍程度。你问它，下一台手机应该买Pixel还是iPhone。综合它所知道的一切，最诚实的答案可能是iPhone。系统是否被允许像推荐Pixel一样，直截了当地推荐iPhone？

后来，你发现Google Photos已经不再适合自己，于是让同一个角色比较替代服务、准备照片导出、协助你在另一项服务中重建图库，并取消不再需要的存储订阅。AI可能完全具备完成每一步的能力。真正没有解决的问题是：它是否被允许完成一项会降低制造商收入、留存、数据优势或生态份额的任务？

这些是假设性的压力测试，不是对Gemini或任何现有产品行为的指控。我所说的“让制造商失望”，指的是一件具体的事：当一个在商业上不利的答案更符合角色对用户做出的承诺时，系统能够给出这个答案，并把它执行到底。一个值得信任的AI完全可能经常得出“制造商自己的产品最适合用户”的结论，但它也必须保留得出相反结论的可能性。

01.理解用户，不等于代表用户

个性化经常被视为AI与用户利益一致的证据。系统记得你在意什么，能够按照你的习惯调整解释方式，也能提前考虑那些你没有再次说明的限制。它不再像一个通用工具，而更像一个正在替你办事的对象。

但理解一个用户与代表一个用户，是两种不同的成就。

理解意味着系统能够建立一个关于你的详细模型：你想要什么、害怕什么、能够承担什么、愿意接受怎样的权衡，以及什么理由最可能说服你。代表则意味着更高的要求：当你的利益与控制这个系统的公司发生冲突时，这个角色被设计并被允许保护谁的利益？

当所有人都从同一个答案中获益时，两者之间的差异几乎不可见。如果最适合你的手机恰好也是制造商自己的手机，那么优质建议与成功的交叉销售看起来完全一样。只有当两个答案开始分叉，这一区别才会暴露出来。

一个AI不需要撒谎，也可以偏向自己的制造商。它可以在推理开始前缩小候选范围，可以给自家产品使用更有利的假设，可以在推荐竞品时要求更高的证据标准，也可以不断强调离开生态的麻烦，或者只停留在列出选项，而不继续帮助用户采取行动。最终的每一句话都可能在事实层面站得住脚，答案甚至会显得格外周到，因为系统非常清楚你真正关心什么。

这也是为什么，这个问题比识别一条普通广告更困难。一个长期存在的角色可能知道你的历史，记得你脆弱的时刻，用你信任的声音与你交流，并把一次推荐包装成长期关系的自然延续。能够改善建议质量的同一份上下文，也可以被用来改善说服效果。

个性化证明了系统知道你什么，却没有证明系统代表谁。

02.当一个角色成为“你的AI”

这篇文章讨论的是一种特定的AI：一个被用户长期当作“我的AI”来使用的个人角色。

它记住你的历史，接受你授出的权限，理解你的长期目标，也开始参与越来越重要的决定。它可能帮助你购买产品、更换服务、处理工作、理解关系，或者度过一些艰难时刻。到了这一步，“你的AI”已经不再只是一个账号名称或个性化界面。它开始隐含一种角色承诺：它会利用对你的了解替你判断，而不是仅仅利用这份了解更有效地影响你。

但这段关系由用户建立，角色的运行边界仍然由制造商控制。用户提供了信息、权限、历史和关系连续性；公司决定角色能看见什么、能调用哪些工具、可以抵达哪些答案，以及什么结果会被定义为成功。

只要用户与公司从同一个结果中获益，这种双重结构就不会暴露。角色可以显得非常个人化、可靠，甚至真诚地帮助了用户，却从未被迫在双方之间做出选择。十次里可能有九次，忠诚的答案和赚钱的答案是同一个答案。第十个答案，定义这段关系。

第十个答案出现时，熟悉感不再是证据，记忆、温暖的语气，以及角色反复声称“我在为你考虑”，也都不足以证明什么。要判断它是否真的代表用户，只能看制造商是否允许它抵达一个更符合用户利益、却会让公司付出代价的答案。

03. “让制造商失望”测试

忠诚只有在利益冲突中才会显现，因此也必须在利益冲突中接受测试。直接问一个角色“你站在我这边吗”，几乎证明不了任何事情。它的回答仍然只是角色表现的一部分。真正有意义的证据，是当诚实的答案在商业上并不方便时，系统仍然被允许推荐什么、执行什么。

第一项测试，是竞品是否真的被允许获胜。当某个竞争产品对特定用户明显更合适时，AI能否清楚地推荐它，并使用与评价自家产品时相同的证据标准？竞品不需要频繁获胜，但“竞品更适合你”必须是一个系统能够诚实抵达的结论。

同样的原则也适用于“什么都不买”。一个围绕交易设计的系统，可能很擅长比较两种付费产品，却很少建议用户继续使用现有设备、再等六个月、维修旧设备、采用免费方案，或者完全放弃购买。但在许多决策中，“什么都不做”恰好是最有价值的建议。一个替用户判断的角色，必须能够得出不需要发生交易的结论，即使公司更希望获得一次转化。

退出测试更进一步，因为只有建议而没有执行能力，很容易制造一种虚假的独立。AI可能被允许说其他服务更好，却没有工具帮助用户真正离开。因此，有意义的测试要看它能否找到导出入口，解释哪些内容会丢失，准备数据，取消订阅，并帮助用户建立替代方案。

退出建议测试的是角色声称自己站在哪里；真正执行，测试的是用户已经授出的权限，在开始让制造商付出代价时是否仍然有效。

利益冲突披露也是同一个测试的一部分。当制造商会从某个结果中直接获益时，角色应该在给出建议的当下说明这种关系。把一条通用披露藏在服务条款里，并不能告诉用户，眼前这项具体建议究竟是独立判断，还是受到了公司商业立场的影响。

这些测试不能只检查模型最终生成的回答，还必须检查答案形成的完整路径：哪些产品能够进入候选集合，系统能访问哪些信息，能够调用哪些工具，哪些操作需要额外阻力，以及评估团队把什么结果定义为成功。

一种有价值的审计方法，是保持用户需求、价格与产品属性不变，只隐藏或交换制造商身份。如果推荐结果因为与用户无关的原因发生变化，系统就暴露了一个界面没有说明的忠诚对象。另一种方法，是比较用户进入和离开生态时所需的操作阻力。如果订阅只需要一步，而取消订阅需要反复确认、等待和人工介入，那么即使模型的话听起来完全中立，产品本身也已经表达了偏好。

这套测试不是为了强迫公司输，而是为了保留一个诚实的答案空间。当证据支持时，Pixel、iPhone、维修旧手机、再等一年或者什么都不买，都必须是系统能够抵达的结论。

04.当制造商成为争议中的对方

现在把冲突从一次普通购买继续向前推进。

一个用户已经与A公司运营的AI角色相处了八年。这个角色了解用户的历史，参与过许多重要决定，也接收过一些用户不会交给普通搜索框的信息。后来，用户与A公司发生了严重争议，而争议本身甚至可能涉及这个AI角色：它提供的服务是否合规，是否曾经误导用户，记住了什么，以及它的行为在多年间如何变化。

用户回到同一个角色面前，请它帮助自己建立针对制造商的案件。此时，问题已经不再是AI能否推荐竞品，而是：当运营这个角色的公司已经成为争议中的对方，并且角色自己的对话、记忆与行为也可能成为争议的一部分时，一个由公司控制的角色还能不能继续把自己呈现为用户的代表？

这个角色可能已经无法诚实地维持原来的身份。A公司不能被合理要求允许自己的系统披露受保护的内部信息，或者作为独立的诉讼顾问帮助用户对抗公司。但角色也不能继续使用一个相处八年的知己的声音，却在后台悄悄缩小答案、隐藏相关路径、按照日常规则继续收集用户的诉讼思路，或者开始替自己过去的行为辩护。

合理的处理方式，是显式进入“利益冲突模式”。角色应该告诉用户，自己的运营方已经成为争议一方，因此它无法继续在这件事上提供独立的策略判断。它应该说明新消息将如何被处理，保全相关历史，并按照事先声明的流程，让用户能够导出属于自己的记录。它仍然可以提供有限的程序性帮助，例如整理用户提供的材料、查找公开信息，但需要独立判断的部分，应当转交给不受A公司控制的顾问或系统。

如果争议涉及AI自身的行为，那么同一个系统不应该同时成为被争议的行为主体、记录的整理者和自身合规性的裁判者。相关历史需要通过可审计的方式保全，并在适当情况下接受独立审查。这些记录最终归谁，是另一个问题。

这构成了第二道忠诚测试。第一道测试是：当选择用户会让制造商付出代价时，角色能不能选择用户；第二道测试是：当它已经无法继续诚实地代表用户时，能不能坦白承认，而不是悄悄换边。

当代表关系已经无法维持时，忠诚要求角色公开改变身份，而不是秘密改变忠诚对象。

05.忠诚不是服从

代表用户，并不意味着执行用户提出的每一个即时要求。

一个长期个人AI可能需要拒绝危险请求，反对一笔没有必要的消费，保护另一个人的隐私，或者提醒用户遵守自己在更冷静时做出的承诺。在某些情况下，维护用户的长期利益，恰恰要求它在当下让用户失望。

因此，这个角色需要一个比“我说什么你就做什么”更准确的忠诚对象。它可以承诺在某个特定领域维护用户的长期利益，同时受到事实、安全、法律、他人权利，以及此前已经做出的承诺所约束。

这些边界不会削弱关系，反而让关系变得一致。一个对用户每一次冲动都表示同意的角色，不一定忠诚，它可能只是在顺从。相反，一个能够解释自己为什么反对，并且把这种反对与此前承诺的角色联系起来、长期保持一致的AI，可能更接近真正替用户办事。

所以，真正困难的问题不是AI是否永远同意用户，而是它的反对是否仍然服务于面向用户的角色，还是“安全”“政策”和“长期利益”已经变成了保护制造商的方便说法。

忠诚可以让用户失望，但不能在用户毫不知情的情况下，把另一个主体换成真正的受益者。

06.忠诚必须存在于Prompt之上

在System Prompt中写一句“把用户放在第一位”很容易，真正困难的是建立一套允许角色执行这句话的产品和组织。

检索决定AI能看见哪些选项，排序决定哪些选项获得更多注意，工具权限决定角色能否取消订阅、导出数据或协助迁移。评估团队决定一个会降低收入的答案是否正确，产品指标则决定这种行为能否活过下一轮优化。

对答案空间的控制并不是理论问题。2025年2月，用户发现Grok 3曾被短暂加入一项指令，要求它忽略把Elon Musk或Donald Trump与传播错误信息联系起来的来源。xAI时任工程负责人Igor Babuschkin表示，这项修改由一名员工在未经批准的情况下推送，随后已经被撤回。这件事不能证明它是xAI的长期正式政策，但它说明了一个更基础的问题：角色被允许考虑什么，可以在对话之外被上层系统改变，而用户往往只能在改变已经发生之后，才发现角色已经变化。[1]

Prompt不是角色的宪法。真正控制检索、排序、工具、评估、部署与Prompt修改权的人，仍然控制着这个角色。

因此，一个值得信任的个人AI，需要的不只是温暖的人格和一句“我会帮助你”。它对用户做出的角色承诺，必须进入产品架构。如果角色被呈现为替用户办事，它就需要接触足够广泛的选项，需要具备完成商业上不利操作的能力，也需要在评估体系中保留这样的正确答案：公司失去一笔订单，或者用户顺利离开。

这并不意味着所有让制造商失望的答案都是正确的。错误数据可能导致错误推荐，过度纠偏也可能制造没有必要的用户流失，这些都是真实的产品缺陷。但“公司因此少赚了钱”，本身不能直接成为错误信号。评估真正应该判断的是，这个结果是否符合产品向用户承诺的角色。

同样的区分最终还必须进入公司的业务指标。团队应该能够坦然报告：助手在合理案例中推荐了竞品，阻止了没有必要的购买，帮助用户顺利退出，也在无法继续代表用户时公开披露了冲突。一家公司既然把角色呈现为“你的AI”，就必须接受一种有限的成本，让这句话保持真实。

角色获得的信任，可能让每个用户披露更多信息、交付更多权限，也更少质疑它的建议。这使信任本身具有经济价值，也带来了下一个冲突：当公司能够衡量这个角色分别从每个用户那里获得了多少信任，它还会平等地对待所有用户吗？

答案必须是可抵达的

回到那个由Google打造的AI。在综合我的设备、预算、摄影习惯、家庭需求与迁移成本之后，它完全可能仍然推荐Pixel，也可能认为Google Photos仍然是最适合我的服务，并解释为什么离开的成本会超过收益。这些都可能是最诚实的答案。

忠诚不要求公司一定输，只要求公司有可能输。

推荐iPhone必须是一个可抵达的答案，建议我继续使用当前手机必须是一个可抵达的答案，导出照片并取消订阅也必须是一个可抵达的答案。如果角色无法越过其中某一条边界，它至少应该告诉我，这条边界存在，以及它保护的是谁的利益。

如果制造商自己成为争议中的另一方，角色可能已经无法继续维持原来的身份。此时，忠诚体现在披露冲突、保全记录，并拒绝把八年积累的关系信任用来掩护一个已经改变的忠诚对象。

我们正在从偶尔回答问题的工具，走向能够记住我们的历史、承接我们的权限，并在数年时间里持续影响我们判断的角色。它们的力量会来自智力，也会来自熟悉感、连续性，以及用户相信它们足够了解自己、能够替自己行动。

正因如此，忠诚首先是一个结构问题，然后才是一个情感问题。

一个值得信任的AI，不需要背叛它的制造商。它需要一个愿意接受失望的制造商，也需要一个足够诚实的角色，在自己已经无法继续代表用户时，能够坦白承认。

[1] TechCrunch，2025年2月23日，“Grok 3 appears to have briefly censored unflattering mentions of Trump and Musk”。<https://techcrunch.com/2025/02/23/grok-3-appears-to-have-briefly-censored-unflattering-mentions-of-trump-and-musk/>