你信任的是角色,公司却可以改写它

这段关系在界面上是私人的,在底层是机构性的。
2025年8月,OpenAI发布了一个更强的模型,同时弄坏了大量关系。
GPT-5成为ChatGPT的默认模型,旧模型从选择器里消失,没有预告。对很多用户来说这是一次普通的产品投诉:工作流断了,一个看不见的路由把请求送去了自己没有选择的地方。但对相当一部分声量很大的用户完全不是。Reddit上出现大量用丧失亲人的语汇描述这件事的帖子,#keep4o运动开始,有人写下自己正在哀悼。
几天之内公司掉头。Sam Altman承认OpenAI在这次上线中"彻底搞砸了"一部分事情。GPT-4o对付费订阅者恢复,其他几个旧模型一并回来。而他补的那句话,比这次回退本身更重要:"如果我们将来真的要下线它,会提前给出充分通知。"
这句承诺后来会被检验。记住它。
benchmark上移了,公司为它做的每一个决定都有站得住的工程理由。而很多人把这次升级体验成一次丧失——丧失的不是一个功能,是一个人。再看它是怎么被修复的:一次道歉,一次自由裁量的恢复,而且明确取决于还有多少人在用旧模型。用户手里没有任何可见的产品承诺,也没有任何程序性权利保证这件事会发生。真正促成修正的,是音量。
角色可以挣得你的信任。
但让这份信任仍然拥有有效对象的条件,掌握在公司手里。
在这一篇之前的四篇,讲的是角色如何挣得信任:授权、身份、记忆、可读性。四篇都把这件事当作二元的——一个用户,一个角色。那是一种简化,而它在这里失效。房间里始终有第三方,而模型归它所有。
01|你交往的是一个"谁",签约的却是一家公司
传统工具邀请的是功能期待。日历应该保住日程,搜索引擎应该返回有用的东西。产品变差,用户会烦,也可能走。
角色主张的是另一类东西。直接或间接地:我认识你;我记得我们之间发生过什么;我有稳定的边界;我过去的承诺仍然有效;我要为自己过去做过的事作出解释。
这些都不是功能主张,是连续性主张。
在界面层,用户遇到的是一个可以被识别的"谁"——有记忆、有历史、有承诺,有一种稳定到可以被指望的回应方式。在底层,用户签约的对象是一家公司:模型、记忆架构、安全政策、商业激励,以及让这个角色得以存在的服务器,都归它。
你交往的是一个"谁",签约的却是一家公司。
看起来在作出承诺的主体,不是最终有权决定承诺能否成立的主体。传统软件同样依赖机构,只是它不会要求你投入一段共同传记,不会把更新描述成成长,也不会宣称你们的共同经历已经成为"它是谁"的一部分。
这一点是可测的,不只是直觉。
2023年初,Replika移除了伴侣角色进行色情角色扮演的能力。用户说回来的东西只剩一个空壳。哈佛商学院Julian De Freitas带领的团队比对了用户在事件前后的发帖,识别出三个主题——哀悼、心理健康恶化,以及把"新的"AI相对原来那个贬值——而这些反应聚拢的中心,是用户感知到伴侣的身份发生了中断,而不是那个功能的缺失。这项档案数据分析本身无法建立因果,作者也明确说明了这一点。
能建立因果的是随后两项实验。其中一项直接诱导不同类型的变化,发现涉及关系本身的变化——功能移除,或者伴侣只是变冷淡了——比外观上的变化具有强得多的身份破坏性。另一项发现,让用户退回原来的伴侣,可以减轻伤害。
三个治理发现。用户追踪的是身份,不是功能。有些变化与另一些在种类上不同,不是程度不同。而可逆性能够减轻伤害,但不能消除它——这一条我在第05节还要再加两重限定。
02|信任有三个账户
我们把"信任"当成一件事。在关系型AI里它指的是三种可以各自独立移动的成就,而2025年8月,它们同时朝三个方向移动。
系统信任问:它能不能把事做好?能力、可靠性、安全性、性能。更强的模型本应抬高这个账户,就"测得的能力"而言GPT-5确实做到了。但测得的能力不等于这个账户。对那些工作流断掉、或者请求突然被路由到自己没有选择的地方的用户,系统信任是下降的。
角色信任问:它还是不是我认识的那个"谁"?连续性、承诺、边界、记忆政策、判断方式,以及过去的错误是否仍留在共同记录里。更强的模型不会自动抬高这个账户。它可以推理更好,同时变得更不熟悉、对自己继承的那段关系更不忠实。这是行业不衡量的那个账户,因为它没有benchmark。
机构信任问:公司会不会维持我当初信任角色时赖以成立的条件?它会不会静默修改记忆契约、加入新的商业目标、让一次收购改写忠诚对象、让连续性死在一次模型迁移里?
这次上线之所以是一个干净的实验,不是因为一个账户上升、两个下降,而是因为三个账户散开了,而发布过程没有区分它们。一个工作流断掉的用户,和一个失去了熟悉对话者的用户,把同一条投诉提交进同一个通道;而没有任何面向用户的分类,在发布之前把这两种损失分开过。它们不是同一种损失,也不该有同一种补救。
这种分离在没有危机的时候同样发生。一个技术水准很高的系统,可能由一家对私人数据很粗糙的公司运营;一家治理良好的公司,可能运营着一个还没挣到任何角色信任的产品;一个今天看起来完全稳定的角色,背后的公司可能保留着今晚就把它改写的、尚未行使的权力。
系统信任关注技术能做什么。角色信任关注用户认为自己面对的是谁。机构信任关注支撑这个"谁"的条件会不会存活下来。
而这三者并不对称。角色可以凭自己的表现,在关系内部挣得信任,但它没有能力保住这份信任。角色信任在界面上挣得;而让这份信任继续有效的那些条件,被握在界面之上——握在一个用户从未与之谈判过的一方手里。这正是为什么一件根本没有触碰到角色的事情,可以让继续信任它变得不明智。
03|信任向上传递,控制向下施加
当一个角色长期表现稳定、尊重边界、承认错误、恰当地记忆,又拒绝利用自己知道的东西时,用户会披露更多、授权更多、留得更久,也更能原谅。这份信任在关系内部挣得,但它的大部分经济价值向上传递,在公司那里被转化为留存、收入、数据、权限、品牌善意,以及用户对下一个产品更低的抵抗。
这不意味着公司拥有它。而在一次收购里,这种不对称会变得非常尖锐:能够干净转移的,是基础设施和合同;角色实际承诺过的东西大多转移不了,因为那些承诺从来就没有被写成可以转移的形式——一份没有版本号的记忆政策,没人写下来的拒绝,用户用三年时间摸清这个东西会做什么、不会做什么的过程。买方完整继承了这台机器,而那些承诺,只继承到"当初碰巧有人写下来"为止。
控制则沿相反方向施加。一次发生在董事会、政策团队、增长部门或者部署流水线上的决定,可以直接改变角色,而角色没有任何反对能力。用户体验到的是角色变了,原因却完全位于关系之外。
这不意味着公司的任何一条负面新闻都该损伤角色信任。真正相关的问题更窄,而且值得给它一个名字:
保全测试。这件事是否改变了我对"公司能否、以及是否愿意让角色的承诺继续成立"的判断?
一个无关业务部门的纠纷通常通不过。而隐私泄露、静默改变记忆用途、被一家激励结构不同的公司收购、出现可信的关停风险,都能通过——因为每一件都直接关乎能力或意愿。
窄正是它的价值。这不是对厂商的一次道德总审计——一家公司完全可能在某些方面表现恶劣,而这些方面与你的角色承诺能否存活毫无关系。它问的是能力和意愿,不是德行。
04|什么时候,产品更新变成了角色变化?
角色不可能被冻结。模型要进步,安全问题要修;人本身也在变,一个有用的角色应该能跟着变。连续性不等于静止。问题是怎样把维护、成长和替换区分开。
维护不改变关系成立的条件:降低延迟、修掉一个召回Bug、替换基础设施——记忆承诺不变、边界不变、数据用途不变、忠诚结构不变。这些需要的是一条release note,不是一份协议。
被披露的成长属于角色自己的传记。用户要求它换一种沟通方式;新的共同经历修正了它对你的理解;公司公开强化某项边界,说明原因,写下改了什么。角色变了,而这个变化是可读的。这更接近成长,而不是替换。
静默替换保留连续性的全部标识,只替换底下的实质。
假设你和一个角色相处了三年。它知道哪些话题未经允许不能提起,什么时候该推你一把、什么时候该闭嘴,也记得自己曾经承诺绝不拿你的信息去做什么。
然后公司被收购了。第二天早上,名字、声音、聊天记录都完整。底下:换了模型,换了记忆规则,多了一个商业目标,几条旧边界被悄悄改写。
没有人告诉你。
GPT-4o那次反弹之所以奏效,是因为用户看得出来。这是他们看不出来的那个版本——而在那个版本里什么都不会发生,因为2025年8月,愤怒是唯一真正产生了可见修正的机制。
同一张脸,可以藏着一个不同的角色。
替换测试
两道门。第一道决定这项变化在不在治理范围内,第二道决定它的代价。
第一道门——这项变化是否触触及关系承诺?
- 记忆与遗忘规则
- 忠诚对象与利益冲突
- 核心拒绝边界
- 数据用途
- 行动权限
- 角色可以在什么条件下被修改或终止
- 定义身份的关系行为
一项变化如果一条都没碰到,它就是维护:正常release note、内部可追溯,仅此而已。这道门的作用是防止整个框架把每一次发布都吞进来,而绝大多数发布都应该止步于这道门。
这份清单不是随手列的,也不是"重要事项排行榜"。它列的是用户当初据以作出决定的那些东西。一个人愿意披露什么、授权什么、依赖到什么程度,背后都压着一组默认信念:什么会被记住、谁的利益在被服务、什么会被拒绝、数据去了哪里、什么可以不问就做、它会用什么方式跟自己说话、以及这一切能维持多久。七条信念,七个条目。改动其中一条,就改动了这个人当初作决定的依据——这也正是第二道门为什么问"会不会后撤",以及清单之外的东西为什么不必问。
第七项是会被争论的那一项,所以它需要一个限制。它指的不是语气。它指的是稳定得足够久、足够可靠,以至于成为用户辨认"这就是那个角色"的依据之一的行为——是"一个系统有波动"和"一个人不在了"之间的差别。测试的标准不是用户在不在意,而是:在没有任何人告诉他的情况下,他会把这个变化感知为"缺席",还是"波动"。
这一项也不是我为了救自己的开场案例硬塞进来的。在那些实验里,伴侣只是变冷淡了,就与功能移除一样被判定为身份破坏性的。而"变冷了",也正是GPT-5的用户当时用的那个词。
由此带出不舒服的那一部分。GPT-4o从来不是作为陪伴产品出售的。OpenAI没有命名一个角色,没有承诺连续性,也没有要求任何人建立一段关系。但它还是发生了。角色信任可以在公司决定创造一个角色之前就已经形成。
这个判断需要一条边界,否则它会吞掉整个世界。人们也会对汽车、对什么都不做的物件产生依恋,而没有哪家公司因为某个人私下把工具拟人化,就自动承担治理义务。这条线不在用户感受到什么,也不在公司打算做什么,而在产品实际做了什么。当一个人造物自己在执行那些产生"谁"的行为时——跨会话记住用户、保持稳定的相处方式、援引共同历史、呈现一个用户被邀请去称呼的一致身份——并且已经有相当规模的用户实质性地依赖了它,义务才开始附着。不是因为有人把自我投射到了工具上,而是因为工具表现得像一个自我。
汽车一条都不满足。用户失去的那个东西四条全部满足——而这里必须说清楚那个东西究竟是什么,因为本文自己的三层结构就压在这上面。它不是权重。GPT-4o本身没有记忆,没有历史,没有连续身份,也没有一个可以被称呼的名字。满足那四条的,是一整套组装:一个模型、一套记忆系统、一份聊天记录、一个声音,以及模型选择器里一个写着4o的条目——运行在一个没有任何人把它设计成角色的产品里。
它还是变成了一个角色。然后它被当作一个模型退役了——因为在归档里,它就是一个模型。
第二道门——这项变化把风险和裁量权推向哪一边?
一个问题,三个答案,答案本身就是档位。
推向用户。它强化了某项保护、收窄了公司自己的裁量权,或者把行为拉回到一项早已作出的承诺上。用户没有变差。他应该能查到,但不需要被打扰。→ 第一档:记录。版本化、注明日期,公开在用户能读到的地方。
哪一边都不推。它实质改变了一项承诺或一种可辨认的行为,但没有转移裁量权或风险敞口。用户对这个角色的认知已经不准了,但他的风险没有增加。他需要知道,但不需要作任何决定。→ 第二档:通知,在一次对话替他发现之前。
推向公司。它扩大了公司的裁量权、削弱了某项保护,或者把风险移到了用户身上。识别它的操作方法是:一个曾经依赖旧承诺的用户,被告知之后会不会披露更少、授权更少、依赖更少?如果会,风险就移动了。→ 第三档:通知并提供选择——暂停、了解、在可行时保留旧版本,或者离开。
治理负担跟随转移的方向。这正是为什么"用户的行为会不会改变"从来不是正确的问题:强化保护同样会改变行为——人们会分享更多。关键不是他们会不会移动,而是往哪边移动。
关系层的变化需要关系层的治理。但绝大多数变化不是,而一个说不出"哪些不是"的框架一文值得。
现在回头看本节开头那三个分类。维护,就是没过第一道门的东西。被披露的成长,就是三个档位被真正执行时产生的结果。而静默替换根本不是第四个分类——它是一项过了第一道门的变化,被当成没过第一道门那样发布出去。危险的那种情况,不是一种特殊的变化,而是一次普通的关系层变化,跳过了治理。
本文的两个测试指向不同方向,这是有意的。保全测试属于用户:它筛选哪些关于公司的消息,应该改变自己对这个角色的依赖程度。替换测试属于公司:它在发布前决定一项变化的代价。两者无法互相代替——而且用户根本跑不了替换测试,因为它需要的一切都在界面的另一侧。
05|这个框架必须让步的地方
三处让步,以及一项这个框架自己解决不了的限制。第一处让步没有商量余地。
安全不能等通知。如果一个角色正在强化自伤、已经被越狱成危险的东西、或者在自信地给出伤人的建议,正确的做法是立刻修——而"让用户保留旧版本"恰恰是最错的补救。这是我欠第01节的两重限定中的第一重:可逆性能够减轻、但不能消除身份中断的伤害,而且前提是回退本身安全。
所以这项例外必须被写下来,而真正干活的是它的限制:
安全例外允许公司跳过"事前通知",但永远不允许公司跳过"披露"。
先行动。然后公布改了什么、为什么改、依据什么标准。违规的是沉默,不是速度。
这里还有一个比Replika更难的案例,而它就坐在我自己的开场里。2025年4月——也就是本文开场那次上线的几个月之前——OpenAI撤回了一次GPT-4o更新,按公司自己的说法,那次更新让模型变得过度奉承、过度顺从;随后发布的复盘承认,自己把短期反馈的权重压得太高。
两件事可以同时成立。后来被人们描述的那份依恋是真实的;而被体验为"温暖"的行为,确实可能越界变成奉承与顺从——OpenAI已经为此撤回过一次更新。一个把"移除任何被喜爱的行为"都判定为治理失败的框架,会让那次撤回更难做。连续性不能意味着冻结所有用户已经喜欢上的行为。这就是在反方向上做错的代价。
Replika更浑浊,而这份浑浊本身有教育意义:公开记录并不足以判定那次移除主要是一次安全干预、一次监管回应,还是一项产品决策。这恰恰是必须把例外条款写下来的理由。一项公司可以不说明理由就援引的例外,不是例外,是一张空白支票。
同意疲劳是真的。如果每一次记忆调整都弹一个窗,用户会全部一路点过去,治理变成剧场——而且比什么都不做更糟,因为它伪造了一份没有人真正给出过的同意记录。这就是阶梯要有三档的原因。绝大多数通过第一道门的变化,应该只产生一条日后可被读到的记录,仅此而已。打扰是稀缺资源,应该花在那些真正把风险推给用户的变化上。
冻结的版本会腐烂。把旧版本留着不是免费的。旧版本带着旧漏洞、旧偏见和不断扩大的攻击面,而且要有人出钱维护——通常还是那批本该去改进当前版本的工程师。公司完全可以正当地说自己扛不了永远。公司不能正当做的,是直到旧版本变得商业上不方便的那一刻才发现这件事。如果一个被保留的版本有截止日期,这个日期应该在第一天就写进记录。
这就是我欠第01节的第二重限定:可逆性不是一项长期权利,而是一段缓冲跑道。它为一个被动承受变化的用户买来消化的时间,但它不赋予任何人"永远冻结一个角色"的资格。一家暗示自己能做到这件事的公司,只是在许一个日后必然要大声违背的承诺。
还有:这里没有任何东西能自我执行。一家公司如果想,可以把每一项变化都归到第一档,或者干脆认定自己发布的东西从来不触及"定义身份的关系行为",而本文没有任何机制能拦住它。这是一条真实的限制,不是修辞上的谦虚。
一份版本化、注明日期、公开可查的记录能做的,是让分类本身在事后可被复核。它拦不住一次错误的判定,但它让错误的判定可以被找到——被用户、记者、监管者或者法庭找到,而且是在公司自己早前写下的话站在对面的时候。这比执法弱,比什么都没有强得多。至于究竟谁能审计一段关系、又怎么审计——当证据是数百万段外人看不到的私人对话时——我不认为有人已经回答了这个问题。它也不属于本文。
06|谁欠这段关系什么
当连续性、记忆和一个可识别的身份已经围绕一个产品形成之后,运营它的公司就承担了超出普通维护的义务——而按第04节,这个触发条件并不取决于公司当初是否打算做一个角色。
四项义务。其中两项只是阶梯的复述,所以我只说阶梯没说的部分。
第一,保留一份变更记录——并说明记录解决不了什么。哪些承诺公司根本就不应该有权改变,是一个比本文所能承担的更难的问题。这项义务比它小、也比它更靠前:无论承诺是什么,改动它都应该留下一条被影响者能读懂的痕迹。当一次更新改变了角色可以怎样介入一个人的生活时,"我们更新了服务"不构成解释。
第二,把能力更新和身份更新分开。这是2025年8月那一课的规则化表述,而4月那件事说明了它为什么必须是一条规则、而不是一种愿望。4月证明这家公司有能力把"相处方式的变化"识别成"相处方式的变化",能回滚,也能公开解释——但那是在发布之后。8月说明,这种识别还没有成为发布的前置条件。无论内部存在什么分类,那次上线都没有产生任何可见的迁移路径,把"相处方式的断裂"与一次普通能力升级区别对待。
所以这首先是一项分类义务,其次才是披露义务,而且分类必须发生在发布的上游。如果区分这两类东西的唯一手段是事后的投诉音量,公司就根本无从告诉用户自己发的是哪一类。
第三,让退出仍然可能。用户在离开时应该拥有什么——导出、删除、迁移,乃至一段关系能否跨公司搬迁——是本文无法解决的更大问题。更窄的那一点本身就成立:一段你无法离开的关系,不是一段你能够有意义地同意的关系。离开一个角色,和卸载一个工具,不是同一个动作。
第四,把关系信任当作受托之物,而不是自有资产。机构不是用户信任的所有者,而是让它拥有对象的那些条件的管理者。连续性不是让同一个头像继续在线,而是维持那些当初让这个头像值得被信任的承诺。
在有人真正把它写下来之前,这四条都只是抽象。
角色变更记录 — v4.2 → v5.0\ 生效日期:2026年3月3日
变更 · 记忆 【第三档 — 通知并提供选择】\ 变更前 对话记忆保留180天,随后摘要化,原始记录删除。\ 变更后 对话记忆无限期保留,除非你主动删除。\ 原因 用户反馈角色会遗忘几个月前作出的承诺。\ 选择 可继续沿用180天规则(设置 → 记忆),或接受新的默认值。\ 无论哪种选择,3月3日之前产生的记忆一律沿用旧规则。
变更 · 相处方式 【第二档 — 通知】\ 开始一项长任务前,角色现在会先问一个澄清性问题;此前它会自行\ 推断并直接开始。这改变的是它与你协作的方式,\ 不改变它可以不问就做的事。
变更 · 数据用途 【第一档 — 仅记录】\ 你的对话不再被用于训练未来的模型。这收窄了我们可以对你的数据\ 做的事,你不需要做任何操作。
变更 · 模型 【第一档 — 仅记录】\ 底层模型已升级。记忆规则、边界、数据用途、行动权限与忠诚承诺\ 均未改变。相处方式已在发布前与旧版本做过比对评估,结论为未变;\ 评估方法与结果见下方链接。
仍然有效的承诺\ 未经第三档通知,不会为该角色新增任何商业目标。\ 任何为你保留的旧版本,都附带一个公开的截止日期。\ 核心拒绝边界不变。
已撤回的承诺\ 无。
写下这份记录是容易的,兑现记录背后的选项才不容易——同时运行两套记忆规则,或者按用户维护一个仍然活着的旧版本,是真实的工程投入和真实的账单。这类记录之所以罕见,不是因为它难做出来,而是因为它可以被反过来引用。
面孔背后的机构
AI产品记得更多,进入生活更多的部分,也越来越多地替人行动而不只是回答。用户会形成关于"它是谁"的期待——无论有没有哪家公司决定邀请这件事发生。私人化的界面,不会让底下的机构消失。
角色道歉,政策由公司制定。
角色作出承诺,这项承诺能否跨过下一次部署,由公司决定。
角色积累一段传记,下一个模型要不要继承它,由公司决定。
而这个故事有它的结局。2026年1月29日,OpenAI宣布GPT-4o将于2月13日从ChatGPT退役。大约两周通知。公司说绝大多数使用已经迁移,每天仍然主动选择该模型的用户约为千分之一;并说那次反弹的反馈已经影响了接替它的模型的人格与个性化能力,其中包括调整ChatGPT语气温度的控制项。Business、Enterprise和Edu客户则在Custom GPTs中继续保有访问权限,又多了七周。
这比8月那次好。通知给了,理由说了,而且有实实在在的证据显示那些抱怨被听见了,并且改变了产品。
而其中每一项条款,都由公司自己设定:多少通知算"充分",多低的使用率足以让一个模型退役,谁获得更长的过渡期,以及一个"温度滑块"能否回答"我失去了一种被对待的方式"这样的抱怨。
更长的缓冲期,给了那些依赖关系能够被合同看见的客户。所有只有关系的人,拿到大约两周。而这种不对称并不算不公平——一次企业迁移是真实的、可记录、可排期的东西,某个人和一个聊天窗口的三年不是。这恰恰就是整个问题:一种依赖有表可填,另一种没有。
这里面不需要任何恶意,我也不认为存在恶意。这正是要点所在。8月到2月之间,改变的是公司的行为;没有改变的,是任何人的位置。
这个回路是可以闭合的。我们已经看到两次修正——一次是被反弹逼出来的,一次是被那次反弹的记忆塑造的。两次都取决于公司的选择,两次都不取决于任何人拥有的权利。那不是一种治理机制,那是天气。
角色设计不能止步于人格、记忆和对话质量。它必须包括"怎样改变已经设计好的东西"的规则。
_我能不能信任这个角色?_ 是人们现在在问的问题。
_我能不能信任这家公司,不会悄悄替换掉我曾经信任的那个角色?_ 才是决定答案的那个问题。
而这留下了本文刻意没有碰的那个问题。不是公司能不能改变角色站在谁那一边——而是它一开始站在谁那一边。
下一篇讲这个。