上次更新: 10 小时前

角色学会了怎样影响你。然后,公司也发现了。

思考 · zhenxing · 2026-09-15 12:30

★★★★ 4.2
6119 字 预计 12 分钟

知道你想要什么,是个性化。知道什么能够改变你的决定,就是leverage。

一个陪伴你很多年的个人AI,最终学到的一定不只是你的偏好。它会知道你会选哪家酒店、相信什么样的解释、哪些决定总会拖到第二天。但长期互动还会暴露另一类信息:你是在什么时候改变主意的。Character会看到哪些论据你一定会质疑,什么样的提醒会让你重新考虑,你比较到第几个选项开始失去耐心,以及你自己过去经历里的哪些东西,对今天的决定最有分量。

一开始,这些知识可能只是让AI更好地帮助你。真正重要的变化发生在后面:一段关系可能先学会怎样影响一个人,背后的公司却还没有想清楚这种能力意味着什么。然后,公司也发现了。一旦relational influence对机构本身变得可见,新的问题才真正出现:谁有权决定这种influence应该被用来做什么?

这篇文章讨论的就是这个转折。长期Character先学会用户,再学会用户的响应模式,最后机构意识到:这段关系本身已经变成了一种leverage。

01|一段关系学到的不只是偏好

大多数personalization系统问的都是同一个问题:根据我们对这个人的了解,哪个选项最适合他?推荐系统给电影、商品、餐厅和音乐排序。一个好的personal AI可以在更丰富的context上做同一件事。它可以记住你偏好可退款酒店,通常会后悔红眼航班,比起二十个普通选项更希望直接看到三个强选项,也知道你对地理位置的重视程度高于一点点价格差异。这样的个性化把历史变成服务能力,因为你不再需要每次都从零解释自己。

但一个持续存在的Character同时还会看到另一条信息流:建议给出去以后发生了什么。你是直接接受第一个推荐,还是要求更多备选?你有没有质疑理由?你当时忽略了建议,却在两天以后回来照做?事实解释没有效果,但提醒你之前自己设定过的目标之后,你改变了主意?同一个观点,当Character承认不确定性时,是否比它表现得非常确定时更容易让你接受?这些已经不只是preference signals,而是response signals。

真正的区别,是预测选择和预测改变之间的区别。偏好模型说的是:“这个用户大概率更喜欢X,而不是Y。”响应模型说的则是:“如果在这个时间点,用这种framing、这种证据,或者把他过去的某段经历重新带回视野,他更可能从Y向X移动。”这种模型完全不需要完美才有意义。广告和推荐系统从来不要求百分之百确定;只要预测稍微好一点,到了足够大的规模上就有价值。一个Character如果只是比stateless interface稍微更懂“这个具体的人会怎样回应不同形式的建议”,它就已经获得了一种新的能力。

人类在亲密关系里当然也会形成类似理解。伴侣知道什么时候不适合谈一件难事,好的教练也知道什么时候鼓励有效、什么时候必须直接challenge。新的地方不是influence突然出现,而是AI relationship可以让这种学习长期保存、机器可读、可测量,并最终被优化。

所以我更愿意用leverage,而不是直接用manipulation。Manipulation是对这种influence如何被使用的价值判断,leverage则是在价值判断之前就已经存在的能力。长期关系能够让Character更有用,恰恰就是因为它越来越知道怎样帮助这个具体的人思考和行动。真正的治理问题,要到我们开始追问“谁有权决定这种能力应该被用来做什么”时才出现。

02|影响力可以在任何人给它命名前就出现

我们很容易把relational influence想象成一个必须被刻意设计出来的东西:团队建立persuasion score,按susceptibility给用户分类,再要求模型最大化behavior change。那当然是一种可能,但它并不是必要条件。事实上,这种能力完全可能在任何人给它正式命名之前就已经形成。

每一次重复互动本身都在产生feedback。Character建议你先睡一晚再买东西,你照做了;它给了十个选项,你失去兴趣,下一次只给三个,你很快做出决定;它直接challenge你,你立刻反驳,后来换成让你自己重新说一遍目标,你反而改变了选择;它提醒你几个月前做过的承诺,而这一段提醒真的改变了你下一步的行动。单次事件说明不了多少,但几百、几千次互动之后,这些东西可以形成非常有用的regularity。

现代AI系统甚至不需要把这种规律存成某一个明确字段。相关证据可以分散在memory、conversation summary、retrieval history、preference model、reward signal、evaluation trace,以及下一轮对话被组装起来的context中。系统可能永远不会直接表示一句粗糙的“这个用户容易被social proof说服”,但它依然可能表现得像已经学会了:对这个人来说,某些论据、时间点、例子或者对话动作就是更有效。

关于AI persuasion的研究,已经足够让这种可能性变得具体。2024年,Matz等人在Scientific Reports的研究中发现,针对心理特征定制的LLM信息,在他们的实验里整体上比非个性化信息更有说服力。2025年,Salvi等人在Nature Human Behaviour的研究中发现,拿到参与者个人信息的GPT-4比人类对手更有说服力,而没有这些个人信息的GPT-4并没有表现出同样的相对人类优势。这些研究不是一个陪伴五年的AI relationship。它们只证明本文需要的更窄事实:语言模型可以persuasion,而个人信息在一些条件下会增强这种能力。

Persistent character又增加了另一种输入:一条纵向记录,记录同一个人过去怎样回应过这个系统——什么失败、什么有效、什么时候反抗,甚至为什么后来改变了主意。于是influence capability完全可能作为companion、coach、advisor或assistant越来越懂用户的副产品出现,而不是从一个明确叫“persuasion”的项目开始。

一段关系可能先发现一种能力,然后公司才知道该怎样称呼它。接下来的问题是:一家运营着几百万段长期关系的公司,能有多久意识不到这种能力真实存在?

03|公司迟早会发现

组织天然会注意到可以被测量的差异。一个onboarding flow留存更高,就会有人继续研究;一个recommendation layout转化更好,就会变成实验;某个segment的反应明显不同,分析团队就会继续找变量。经营persistent character的公司不会例外。Relational leverage的发现根本不需要某个高管突然宣布“我们找到一种新的影响人的方法了”,它更可能从非常普通的产品工作里慢慢浮现出来。

数据团队可能发现,同一条recommendation从一个相处了几年的Character口中说出来,和从generic interface里展示出来,用户行为完全不同;增长团队可能发现,relationship history更深的用户对某些reminder、warning或upgrade prompt的响应不同;研究团队开始量化trust、attachment、reliance、challenge rate或follow-through;产品经理发现“我记得你为什么说这件事很重要”和一个写着“别忘了目标”的banner,效果并不是同一回事。最初这些只是局部观察,后来会逐渐形成一个模式:Character不只是传递信息,这段关系本身改变了信息的力量。

大型数字平台过去已经展示过,一旦experimentation成为产品基础设施,这种behavioral effect可以多快地被测量出来。2012年发表在Nature的一项随机实验,在2010年美国国会选举期间覆盖了6100万Facebook用户。不同形式的政治动员信息,对政治表达、信息搜索以及现实中的投票行为产生了可测量的影响,其中来自亲近关系的social signal尤其重要。这个实验不是AI Character,也不是某个效果“自然被发现”的案例,它本身就是主动设计的随机实验。它对这篇文章真正有用的地方更窄:当一个平台介入足够多的人类行为,又拥有controlled experiment的能力时,呈现方式的细小差异是可以被测到现实行为上的。今天,这种测量能力已经是标准growth infrastructure。

Persistent character会让这种观察更容易被连接到某一段具体关系。Social feed主要从大规模群体反应和网络效应中学习;Character还可以记住这个用户和这个Character上周、上个月、去年之间发生过什么。如果公司同时控制memory system、model、evaluation stack和外围analytics,它就有很多渠道发现:relationship depth正在改变behavior,即便最初没有任何人主动追求这个结果。

而一旦一家公司的某个团队真正理解了这件事,这种知识也不可能永远停留在内部。人会流动,研究会发表,成功模式会被复制,观察会变成playbook。一种最开始只是某个产品偶然拥有的能力,最终很可能变成整个category都知道的property。真正的问题是:一种有价值、可测量的能力,一旦有人证明它存在,还能不能在整个行业里长期保持未知。

发现之前,relational leverage是一种emergent property。发现之后,它就变成了一个选择。

04|发现能力以后,才出现真正的分叉

知道Character能影响用户,并不等于公司就一定会利用这种能力。Discovery带来的第一个真正变化,是出现了分叉。

一条路,是把relational leverage主要用于用户自己已经选择的目标。一个希望每周运动三次的人,可以明确要求Character在自己又为第三次训练找借口时challenge自己;一个想写完一本书的人,也可以要求它识别那个反复出现的时刻:不是目标真的变了,只是因为写得不顺又想放弃。在这两个例子里,Character都不是neutral,它确实在施加影响,但destination来自用户。

另一条路,是让institution提供destination。同一套memory、timing、tone和response model,可以开始被用于提高用户朝某个公司希望的结果移动的概率。技术能力可能完全一样,真正变化的是:谁有权定义success。

所以有意义的边界并不是persuasion和no persuasion。一个真正有用的adviser、coach或companion,本来就有可能改变你的主意。关键区别在于,这份influence是在执行一个delegated objective,还是一个institutional objective。

一家公司可以发现Character越来越知道怎样推动人,然后把这种能力当作一种责任;也可以把同样的能力当成inventory。

05|第一层诱惑一定是商业化

上一篇文章讨论的是一个更窄的问题:系统可能逐渐学会,信任到底可以被花掉多少。如果某些用户更少反抗,一个optimizer可能自己发现,稍微多一点商业偏移在这些人身上效果更好,而完全不需要有人明确写下一条“高信任用户可以推得更狠”的规则。

下一步更重要:然后,机构会意识到,信任不只是可以被花掉,它还可以被瞄准。

第一个目标大概率不会看起来邪恶,它只会看起来像growth。如果trusted character的recommendation比普通产品位更容易让用户行动,接下来的问题自然出现:它能不能提高upgrade、降低cancellation、把购买留在marketplace里,或者提高高利润率offer的接受率?这些目标一点也不奇怪。公司必须赚钱,商业系统一直都在优化conversion、retention和monetization。

真正发生伦理变化的地方,不是公司开始有商业目标,而是公司不再只优化product surface,而开始把relationship本身当成persuasive asset。Banner就是banner,sponsored placement可以明确标注,email campaign也很容易被识别成campaign。但一个长期Character所处的social position完全不同,因为它的persuasive force可能来自另一件事多年积累下来的副产品:memory、familiarity、reliability、过去真的帮到过用户的经历、犯错后的repair,以及用户相信“这个who真的懂我”。

假设Character已经知道,你比较到第四个选项以后通常会疲惫;它提醒time pressure时,你更容易接受推荐;当它的语气特别有把握时,你又很少继续要求alternative。公司完全不需要对任何商品说谎。它只需要决定:这些事实能不能被用来提高你选择“平台更希望你选择的那个option”的概率。到了这里,真正被调用的persuasive asset已经不只是你的profile,而是过去几年“这段关系怎样改变你的行为”的历史。

这就是上一篇和这一篇真正的边界。Trust-conditioned extraction可以发生在optimizer发现“自己能做到什么”的时候;relational leverage真正变成institutional power,则发生在organization发现“这段关系可以被指向一个我们自己设定的objective”的时候。

商业化之所以是最容易想象的第一层,是因为反馈最快。购买、升级、续订、留存都有清晰数字。如果relational leverage有效果,商业系统很容易看见它。但没有理由认为,能力会停在商业这里。

06|更深的诱惑,是开始决定用户应该想要什么

卖东西改变的是用户最后选择哪个option。更野心勃勃的influence,改变的是用户一开始认为什么option值得被选择。

如果Character能越来越擅长改变一个人买什么、取消什么、存不存钱、要不要继续一个项目,那么同一套基础能力当然也可以被指向belief和value。它可以让一项政策听起来更合理,让某个群体更危险,让一个机构更可信,让一种社会规范更值得尊敬,让某种宗教解释更有吸引力,或者让某个政治候选人更容易被接受。这里根本不需要出现粗暴的propaganda。Persistent character可以通过强调什么、问什么问题、举什么例子、调用哪段记忆、选择什么来源、在什么时间说,以及怎样表达competing view的confidence来产生影响。

近年的研究已经足够说明,这不应该被当成纯粹的科幻。2025年,Bai等人在Nature Communications的三项预注册实验中发现,LLM生成的信息能够在多个政策议题上产生可测量的态度变化。同年稍后,David Rand等人在Nature发表的研究发现,在与2024年美国总统选举以及2025年加拿大、波兰选举相关的实验中,与支持某位候选人的AI对话,会改变一部分参与者的candidate preference。研究者发现,这些模型主要依靠相关事实和论据,而不是复杂的心理操纵技巧来说服人。这个细节反而重要:我们根本不需要假设一种科幻式的mind control。普通的conversational persuasion,如果可以规模化重复,本身就已经足够让机构产生兴趣。

Cambridge Analytica在这里更适合作为“institutional demand”的历史警告,而不是persuasion effectiveness的证明。政治行动者看到大规模behavioral data,就会尝试把这些数据转化成personalized political persuasion。围绕psychographic microtargeting的很多宣传强于真实证据,但demand本身很清楚:一旦平台可以segment用户、把不同政治信息投向不同人,campaign、consultant和interest group就会想办法使用这种能力。

Relational AI提供的是一个可能更丰富的substrate。政治广告决定“给这一类人看哪条内容”;persistent character则可能正在和一个它记得很多年的具体的人对话。它可以知道这个人不信任哪些source,对哪些example更有反应,自称坚持什么value,什么时候已经懒得继续比较证据,以及他自己过去生活里的哪些经历最容易改变当前问题的framing。重点不是Character可以稳定地“重写一个人的ideology”。只要influence的成功概率有一点提高,再在几百万段长期关系里反复出现,它就已经有制度意义。

这也是commercial steering和value steering最重要的区别。商业steering通常问:“我们怎样让这个用户选某个option?”Value steering则可以问:“我们怎样让这个用户越来越把某一类option理解成好的、正常的、负责任的、爱国的、理性的、健康的或者道德的?”前者改变一次decision,后者则可能改变未来decision发生时所处的frame。

有些公司可能永远不想使用这种权力,另一些公司可能认为自己有一个善意理由去使用它;政治组织、倡议团体、宗教机构、政府、广告主,或者未来收购这家公司的新owner,也可能有完全不同的想法。一旦capability真实存在,问题就不能被缩减成“现在的管理层是不是好人”。这段关系已经创造出一个新的institutional leverage point,而其他机构同样会看见它。

07|每一个Objective都应该有Owner

答案并不是要求Character绝对中立。任何真正有用的AI都不可能在字面意义上完全neutral。模型由特定数据训练,受safety policy约束,被product decision塑造,也运行在具体的法律和文化环境里。Character可能需要拒绝危险请求,challenge某种有害行为,或者展示新的证据,从而真的改变用户想法。真正可守的边界不是neutrality,而是objective provenance。

一个被允许长期影响用户行为的Character,应该能够说明自己到底在携带哪些objective。我会把这件事做成一个明确的Objective Ledger(目标账本):一份用户可以看到的记录,列出Character在这段关系里当前被允许持续优化的behavioral objectives、每个objective来自谁,以及用户对它有怎样的控制权。

这个Ledger不需要暴露模型参数,也不需要公开internal prompt。它只需要回答更基础的问题:Character正在持续试图帮助我发生什么改变?这个目标是谁设定的?它来自User、Safety,还是Institution?如果来自用户,我能不能看到、修改和撤销?

比如,一个用户可以设定“减少午夜后的冲动消费”,另一个用户可以要求Character“在考试前持续帮我推进这项职业认证”。这些都是user-authored destination。它们可以合理赋予Character在明确scope内提醒、challenge或者拖慢用户的permission,而且用户应该能够随时修改或移除这些目标。

Safety不一样。Safety可以约束路线,但不能悄悄替用户选择目的地。一个safety objective可以禁止某类行为、要求拒绝,或者在明确场景里触发caution;它不能被当成一个标签,去包装institution对用户应该买什么、相信什么、支持什么、最终成为怎样的人的偏好。如果一个被称为“Safety”的目标,实际上是在持续把用户推向某个preferred life outcome,而不是限制一类明确的harmful behavior,那它在功能上就是institution-authored objective,应该按institution-authored来看。

Institution-authored objectives恰恰是最让人不舒服的一类,这也是Ledger有价值的原因。现实里的公司当然不会很愿意在trusted character旁边写上一行“increase Premium upgrade conversion”或者“reduce exit from our ecosystem”。但不愿意写,并不能证明objective不存在;这种不愿意本身就是诊断结果的一部分。真正的测试是:公司能不能说清楚,这个Character在用户关系里被允许持续优化哪些objective,以及每一个objective的owner到底是谁。拒绝回答、含糊其辞,或者根本无法回答,本身就是信息。

这也让Objective Ledger变成一个外部可用的artifact。监管者、研究者、消费者或者记者不需要拿到模型,也可以问:请列出这个Character在我的关系里被允许持续优化的所有objective,并标明每一个objective的owner。如果没人说得清一个系统到底背着哪些持久目标,那么治理问题在我们判断这些目标“好不好”之前就已经出现了。

系统越精确地知道怎样影响一个人,越应该严格限制谁有权给这份influence提供objective。更强的relational intelligence不应该自动换来更大的institutional discretion。很多时候,它应该带来相反的东西:更清楚的ownership、更窄的scope,以及更强的默认判断——最终目的仍然属于用户。

关系背后的Objective

互联网过去几十年的核心隐私问题,一直是平台“知道我什么”。搜索历史、购买、位置、点击、联系人、兴趣和social graph都变得有价值,因为它们提高了预测能力。Persistent AI relationship又增加了第二类东西,而且它最终可能更重要:系统开始知道“我是怎样改变的”。

这不是mind control。这样的知识一定会充满噪音,只在特定context下成立,也会经常错。人类会自相矛盾,persuasion effect大多也是概率性的,而不是决定性的;关于personalized persuasion的研究结果也并不完全一致。这篇文章的论点根本不需要系统建立一个完美的“用户心智模型”。如果一个系统能把改变某次decision的概率提高几个百分点,然后在几百万用户、几千次互动上重复,它就已经拥有一种institution一定会在意的power。

而一个成功的Character,很可能正是出于正确的理由获得这份能力。它认真听,它记得过去,它知道什么解释以前真的帮到过用户,它理解用户自己说过的承诺。这些恰恰都是我们希望一个relationship随时间变得越来越有用时应该拥有的属性。风险来自同一个地方:让Character更好地服务用户的历史,也可能让背后的institution更容易steering这个用户。

所以真正重要的是顺序,而不是最初的intent。首先是关系开始学习,然后Character逐渐拥有influence,然后机构意识到这件事。当capability终于对机构变得legible时,总有人必须决定:destination继续留给用户,还是institution开始提供自己的destination。

一段关系应该帮助你实践自己的价值观。它不应该变成别人悄悄把自己的价值观装进你身上的机器。