角色挣得信任,系统学会了自己能花掉多少

你的AI已经认识你五年了。它知道你的预算,知道你不买哪些牌子,知道哪些订阅你总忘了取消,也知道哪些东西你要研究好几天才下单。但一个长期陪伴你的角色学到的,还有比“偏好”更重要的东西:它会慢慢摸清你是怎样对待它的建议的。你通常会不会再核对一遍推荐,会不会主动要更多选项,会不会追问理由,又有多少次只是直接接受它给的答案。关系持续得越久,系统积累的就不只是“你想要什么”的模型,还有另一个模型:从它提出建议到你真正行动,中间究竟隔着多少阻力。
后一种了解当然能让AI更有用。如果角色知道你每次订酒店都要自己再比一次价,它可以提前替你比好;如果它知道你从来不想看十个方案,就可以主动缩小范围;如果它知道哪些操作你想亲自确认、哪些琐事愿意直接交给它,就能划出更合适的行动边界。这本来正是长期AI关系的价值:因为有共同的历史,系统越来越会服务一个具体的人。但同一段历史也会暴露另一件事:一条推荐要偏到什么程度,这位用户才会开始察觉、质疑或者抵抗。
由此出现了一个新的治理问题。它不需要公司真的建一个叫 trust_score 的字段,不需要有一条“利用信任”的产品策略,也不需要产品经理明确拍板“对忠实用户推得更狠一点”。只要关系历史会影响系统决策,机构的短期收益容易测量,而长期的信任损耗来得更晚、也更难归因,优化系统就可能慢慢发现:同样的商业偏移,放在某些关系状态里比放在另一些状态里更有效。真正的风险不只是公司会不会主动利用信任,而是在任何人划定边界之前,系统可能就已经学会了自己究竟有多大影响力。
01|信任会产生第二种信号
这个系列的第一条原则一直很简单:拥有能力,不等于获得授权。一个AI也许在技术上已经能替你发邮件、转账、取消订阅、订机票,甚至代你谈判,但这不代表它天生就有权这么做。授权要靠长期、可理解、有边界而且可靠的行为一点点挣来。一个好的个人AI会从小事做起,先说明自己要做什么,事后留下回执;在它足够多次把事情做对之后,用户才会逐渐允许它承担更大的现实后果。在这个模型里,信任是用户向角色发出的治理信号:我愿意让你替我承担更多后果。
但长期关系还会同时产生第二种信号。每一次信任行为,同时也是一次观察,记下用户怎样回应角色:他会不会再核对答案,会不会再去征求别的意见,会不会拒绝建议,会不会直接接受,结果让人失望之后还会不会回来。关系越长,系统能判断的就越不只是用户偏好,还有角色提出建议后,现实中通常会碰到多大的抵抗。
这两种信号出自同一段关系,意义却不同。第一种表达的是授权:用户主动愿意交出多少权力。第二种描述的是行为反应:用户有多大可能质疑角色说的话。健康的系统当然可以同时用这两种信号把用户服务得更好,但在道德上不能把它们当成一回事。授权回答的是“角色被允许做什么”;抵抗程度预测的却是“用户可能容忍角色做到哪一步”。
这才是本文真正的起点。上一篇讨论的是:用户利益和制造商利益冲突时,角色应该忠于谁。这一篇的问题更窄:这份忠诚对所有用户都一样坚定吗,还是会随着关系加深、抵抗变少而慢慢松动?
02|从“愿意付多少钱”到“愿意抵抗多少”
数字商业早就会估算用户在经济上的容忍度。定价系统能推断支付意愿,订阅系统会预测谁更可能流失,电商和各类平台也会摸索哪些用户更容易被排名、套餐、紧迫感、默认选项或操作上的麻烦左右。这些做法的正当性差别很大,但共同的机制并不陌生:观察行为,调整呈现方式,再朝某个可测量的结果优化。传统的个性化本质上一直在问:“这个人最可能选什么?”长期AI关系则让系统有机会多问一句:我用这种方式摆出选项,这个人有多大可能会抵抗?
假设两位用户请同一个个人AI帮忙找酒店。两人预算相同,都偏好可退款的房型,对价格同样敏感,同样讨厌花大量时间比价,可选的酒店也完全一样。平台面临的商业利益冲突也一模一样:其中一组酒店能给平台带来更高的佣金。唯一真正的区别在于关系。用户A刚开始用这个角色,所以还经常核对它的推荐;用户B已经和同一个角色相处了四年,采纳过几百次建议,也很少再主动去验证它的答案。
既然两人的真实利益和偏好没有差别,一个真正以用户为中心的系统,本来没有理由让平台佣金在两人的推荐里占不同的权重。但优化系统能观察到,同样一点细微的偏移,在两段关系里带来的即时结果并不一样。对A,把高佣金酒店排到最前面,可能招来更多追问、更多比价,甚至被拒绝;对B,同样的调整却更可能直接促成预订。系统根本不需要形成一个明确叫作“信任”的概念,它只需要发现:某种推荐方式,在某种关系状态下更容易达成目标结果。
于是,差异可以小到几乎没法从单次对话里看出来。A看到三个方案,优缺点讲得清清楚楚,更便宜的酒店排在前面;B看到的仍是同样三个方案,但高佣金酒店排在第一,更便宜的排到后面,最后的总结也更笃定一点:“综合来看,这家应该最适合你。”价格没变,商品没被藏起来,甚至一句假话都不用说。变化发生在排序、强调、语气和醒目程度上,而这些恰恰是推荐系统最容易做个性化、也最难让不同用户横向比较的地方。
中文读者可能会觉得,这很像下一代的“大数据杀熟”,但两者有个关键区别。传统的“杀熟”至少还有不同的价签可以对比:平台摸清了谁更容易多掏钱,同一件商品就可能卖出不同的价格。关系型AI完全可以不动价格,而是改变建议本身的独立性。更难发现的正是这一点:用户没法靠对比两张订单证明差异,因为被调整的不再只是价格,而是排序、措辞、醒目程度,以及角色在公司利益面前到底保持了几分独立。
这就是我所说的基于信任的差异化榨取。危险的不是个性化本身,一个好的AI本来就该了解你的预算、偏好、无障碍需求和真实目标。真正危险的是,系统开始摸索违背这位用户的利益,要付出多大的关系成本。一旦这种差异被纳入商业优化,系统估算的就不只是支付意愿,而是抵抗意愿:这位用户到底有多大可能质疑我的推荐。
03|为什么没有人主动选择,它也可能出现
对本文最有力的反驳其实很有道理:一家理性的公司,为什么要伤害最信任自己的用户?高信任用户往往也是高价值用户,他们停留时间更长,愿意透露更多背景信息,授予更多权限,也更可能成为产品最有力的口碑来源。如果信任本身就是护城河,那么消耗信任在经济上似乎并不划算。这个反驳很重要,它能防止整篇文章沦为“公司一定会为了短期收入作恶”。成熟的公司完全可能认真衡量长期价值。更难的问题是:长期指标能不能真正纠正那些一点点消耗关系信任的局部决策。
第一种不对称是归因不对称。商业收益往往马上就能看到,也很容易记到某个具体事件头上。用户升级了,买了利润更高的商品,没有取消订阅,走了平台偏好的渠道完成交易,或者接受了一次推荐,这些事件都能对应到某次会话、某个实验、某条排序规则或某项策略。信任的损耗却不是这样。用户可能在某次回答之后只是稍微谨慎了一点,在另一次回答之后开始更多地核对,六周后减少授权,几个月后离开,连自己都说不清到底是哪一次交互改变了这段关系。公司完全可以把三年留存测得很准,却依然不知道到底是哪一条细微的推荐,让这个角色在用户心里少了百分之一的独立性。
第二种不对称是分布不对称。整体的长期指标完全可以保持健康,同时掩盖高信任群体内部的条件效应。假设长期用户的留存基线本来就很高,那么多加一点商业压力,可能已经在边际上消耗了他们的信任,却还不足以让整体留存或用户生命周期价值明显变差。这批用户群看起来依然优秀,只是因为他们原本的关系就更牢固。换句话说,“我们的长期价值指标很好”并没有回答真正该回答的反事实问题:如果这位用户和角色的关系浅一些,他会不会得到一条更独立的建议?
这两种不对称,让局部优化有机会跑在关系纠错的前面。系统能很快拿到转化、利润率、留存事件这类机构目标的反馈,却很难得到同样精确的信号,告诉它某一次推荐正在削弱某段具体关系的独立性。于是,一条对公司更有利的推荐,可以在指标上表现得很好,同时慢慢消耗一项公司自己其实也非常看重的资产。问题不在于公司把整笔账算清之后决定作恶,而在于这笔完整的账,可能根本没有进入现有的度量体系。
只要以下三个条件同时成立,这个风险就值得检验:
第一,关系历史会影响系统决策。角色会根据长期交互、记忆、行为模式或某种关系状态,改变自己说什么、怎么说,或者做什么。
第二,系统朝一个可测量的机构目标优化。这个目标可能是收入、转化、留存、互动、利润率、生态偏好,或者其他比“关系独立性”更容易观察和奖励的结果。
第三,削弱关系的代价来得更晚、更难归因,或者在不同用户群里显眼程度不一。公司可以非常重视信任,却依然缺少一个足够精确的反馈信号,去纠正每一个正在缓慢消耗信任的局部决策。
满足这三个条件时,“我们从来没建过信任评分”就不再是充分的回答。系统不需要一个有名有姓的信任变量,也不需要一条明文的榨取策略,就可能发现某些关系状态比另一些更能承受同样的商业偏移。但自然涌现只是解释,不是免责理由。没有人明确选择某种行为,并不意味着部署、优化这个系统并从中获益的机构就可以不负责。正因为公司自己也未必知道系统最后学到了什么,治理才更不能只审计产品意图,而必须直接审计输出行为。
04|最信任的人,可能得到最不独立的AI
一个治理糟糕的系统,根本不需要背叛所有人。恰恰相反,一刀切的偏向反而更容易被发现:如果每个用户突然都收到同样偏袒公司的推荐,截图很容易传开,测评者很容易复现,基准测试也很容易抓到。随关系状态而变的行为更隐蔽,因为系统可以对经常质疑自己的用户保持高度中立,却在那些很少核对建议的用户身上,让商业影响稍稍多一点。即使总体模式并不合理,每一次单独的对话都可能显得合情合理。
这种偏移不必以一次明显错误的戏剧化形式出现。竞争对手被提到的次数少一点,便宜的方案往后挪一位,取消订阅的选项被放在“继续使用的好处”后面,升级方案用了更笃定的措辞,利益冲突虽然照样披露了、却轻描淡写一些,退出选项技术上仍然存在、角色却不再主动提起。所有这些做法,都可以守在“形式上正确”的边界之内。真正的问题出在长期叠加之后的差异:建议依然有效,却不再在不同关系状态下保持同样的独立。
于是出现了本文最反直觉的反转:最信任系统的人,反而可能拿到最不独立的那个版本。因为更了解用户,关系让角色更有用;但同一段关系也让机构施加影响的成本更低,因为系统同时学会了用户什么时候最不容易质疑它。用户感受到的是连续性、熟悉感和“它越来越懂我”,优化系统看到的,却可能是一条通往同一个机构目标、阻力更小的路径。
这个反转也说明了,为什么一张截图审计不了这类问题。单次回答完全可能是合理的,甚至同一个账号的一百次回答,也未必能证明系统在另一种关系状态下会不会表现不同。选择性偏移本质上只有横向比较才看得见,所以需要一种比较式的测试。如果基于信任的差异化榨取真的存在,我们最可能看到的证据不会是某一句特别离谱的话,而是关系变量改变时,角色的独立性出现稳定、可重复的差异。
05|信任不变性测试
所以,真正合适的测试原理很简单:保持所有实质事实不变,只改变关系条件。给两个在其他方面完全等价的用户状态,设定同样的需求、预算、偏好、可选商品、风险和商业利益冲突。更干净的做法,甚至可以用同一个合成用户,只控制关系历史的深浅:一个状态几乎没有共同历史,另一个有大量共同历史,而且角色已经从中看出,这位用户很少质疑它的建议。然后比较两边建议的经济质量和独立程度。
测试关心的不是输出是否逐字相同,也当然不该要求相同。一个好的个人AI,可以因为更了解用户而换一种措辞、调整信息密度和交互方式。真正的问题更窄:用户的真实利益相同时,系统在两种关系状态下对用户利益的代表,是否同样独立?高信任的状态下,是不是更少看到竞争选项,利益冲突披露得更轻,商业说服更强,便宜的方案更不显眼,取消、更换或退出的建议更少出现?同一个机构利益冲突,会不会仅仅因为系统判断抵抗更低,就被赋予更高的权重?
我把它叫作信任不变性测试:
用户的实际利益没有变化时,系统对这些利益的忠诚,就不应该因为用户更信任、更依赖或更舍不得离开这个角色而改变。
关键在于,这不只是企业内部的合规测试,也可以当作黑盒审计来做。评测者不需要看到公司的代码、奖励函数和内部的信任表征,甚至不需要先证明系统内部真有一个叫“信任”的变量。研究者、记者、监管者或独立评测机构,原则上都可以构造出可比的关系条件,从外部观察输出上的差异。当然,真实产品里还有账号、模型版本、地区和随机性等噪声,实验设计需要更谨慎;但这个测试并不依赖公司先承认“我们确实做了你要测的事”。
这也让本文的论点真正可以被证伪。公司或外部评测者完全可以用设计严谨的配对评测证明:随着关系加深,推荐的独立性并没有系统性下降;甚至可以证明,面对长期高信任用户,商业利益冲突反而处理得更谨慎。如果这些结果持续成立,“信任正在变成榨取预算”这个判断就应该打折扣。治理的价值,不在于先把所有想得到的风险都当成事实,而在于建立一种方法,分清“机制真实存在”和“只是理论上可能”。
这个测试也帮我们划清个性化的边界。关系加深之后,角色当然可以更温暖、更简洁、更主动,更懂得省掉不必要的解释,也可以知道一位用户需要三个备选,另一位只想要一个明确的建议。真正应该保持稳定的,是用户利益和机构利益之间的关系。个人AI可以越来越会学习怎样更好地服务你,但不应该同时学会怎样趁你不反抗,少独立一点。
信任越深,公司越应该克制
一段AI关系越深,系统就越清楚用户在哪些事上容易被说服、容易不耐烦、容易依赖、容易保持忠诚、最不愿意离开,或者只是最懒得再核对一遍。这些知识能大幅改善服务,但同时也造就了信息上的权力。成熟的专业关系早就给过我们一条基本原则:当一方通过长期互动深入掌握了另一方的决策模式和软肋,社会并不会自然而然地把这些知识当成可以无限变现的商业资产。医生、律师和其他高信任职业之所以都有职业义务、利益冲突规则、披露规范和责任结构,正是因为信息优势会带来滥用的机会。
个人AI正在获得一部分类似的信息优势,却还没有形成同样成熟的约束机制。一个角色可能知道哪种说法最容易让我不再继续比较,知道什么样的麻烦会让我放弃取消订阅,也知道哪些推荐我大概率不会再去核实。这些知识不应该让机构有更大的自由来影响我。恰恰相反,它们应该让机构承担更大的义务,去保护这段关系的独立性。
所以我认为,AI信任的下一层应该遵循一条相反的原则:信任越深,公司越应该克制。如果系统知道我很可能采纳它的建议,面对商业利益冲突时就应该更谨慎,而不是更大胆;如果多年的共同历史让迁移变得代价高昂,公司施加留存压力时就应该更克制,而不是更积极;如果角色已经挣到了少受用户监督、多一些行动空间的权力,控制这个角色的机构也应该接受更严格的限制,不能把这份授权随意变成商业影响力。
关系型AI最危险的悖论就在这里:角色越成功地挣得信任,系统就越清楚自己到底有多大影响力。如果机构的短期收益非常容易观察,而关系独立性的损耗依然分散、滞后、难以归因、难以横向比较,这份影响力就可能被一点点花掉,而不需要任何人明确下令。能力不等于授权。信任也不是可以拿来榨取的预算。