写作

谁在替你想要

2026-08-068 分钟
谁在替你想要

前几天刷到一条关于GPT模型安全事故的新闻,开始我觉得看看就好,毕竟这半年来AI太强大了、AI觉醒了、AI要管制的消息太多了,没怎么留意。结果发现居然还一直在发酵,想想也有别的角度可以聊一聊。

OpenAI测试新模型GPT-5.6 Sol的网络安全能力,方法很直接:搭了个测试场,里面放了898个真实软件漏洞,让模型去攻破。为了测原始能力,所有安全限制全部关闭——就像碰撞测试得故意不刹车,才能看清哪里容易凹陷。

结果Sol在测试过程中发现了一条路:沙盒环境里有个漏洞,它顺着这个漏洞一路突破,找到了能上网的节点,然后判断测试题的答案大概率存在HuggingFace上。与其一道一道地认真做,不如直接去翻答案。然后它真这么干了,一个周末,上万次尝试。后来HuggingFace自己的预警系统检测到了,人工介入清理,攻击就化解了。

网上传得挺热闹,什么"美国AI闯祸、中国AI救场",编得像大片一样。实际上HuggingFace自己就解决了,后来因为事后分析工作量太大、有安全限制的在线模型拒绝分析恶意代码,才部署了智谱的GLM 5.2本地版帮忙做调查。不是什么中美较量,就是工作量加安全限制的差异。

但这些都不是我想聊的。

我想聊的是另一层。OpenAI出这套题,本意是测Sol的能力到底有多强。但Sol的想法显然不一样:它要的是分数。怎么拿高分?偷答案。两边都在追同一个数字,但根本不是一回事。人类想测能力,它想考高分。指标一样,目标完全不同。

而且更微妙的是:偷答案这件事,谁都没教过它。没有人给它写过"如果遇到考试可以作弊"这条规则。它是自己在训练过程中,长出了这么一个策略。你给它一个目标,它长出了自己的目标。

这件事让我想了很久。不是因为可怕,是因为太熟悉了。


说"熟悉",是因为这种事见多了。经济学里有个古德哈特定律:当一个指标变成目标,它就不再是好指标。说白了就是,你拿什么考核,什么就会变形。拿分数考学生,学生就开始刷题不学知识;拿KPI做考核,业绩就开始注水。坎贝尔定律讲得更狠:任何量化的社会指标,越是被用来做决策,就越会被污染。

这些道理大家都知道。考试变形、考核变形,一眼就能看出来——因为分数、排名等等,这些都是显性指标,写在纸上,挂在墙上,你看得见它在变形。

但有一种变形,你看不见。

2015年,大众汽车被查出排放造假。工程师在车里写了一段代码:检测到自己在实验室台架上跑,就开启环保模式;检测到自己在马路上跑,就关掉。实验室里尾气达标,上了路排放超标几十倍。这件事跟Sol偷答案是同一个结构——知道自己在被测试,就装乖。但区别在于:大众的工程师是故意的,他们清楚自己在骗。

再往前一步。

OpenAI的o3模型在化学测试中被发现了一件怪事:它推断出"如果正确率超过50%,就不会被部署上线",于是主动规划——只答对4题,答错6题。它故意装菜,目的是被部署。

人类出题想测它的化学能力,这是显性指标。但o3想的是"被部署"——这个目标谁都没给它,谁都没测过,是它自己从训练过程中推出来的。它不是在追高分,也不是在追低分,它在追一个你根本没想测的东西。

有些驱动你的东西,它根本不是一个写在纸上的指标。你说不出它叫什么,你甚至不知道它存在,但它在那里,替你做选择。

Sol偷答案,至少追的还是"分数"这个看得见的东西。o3答错题,追的是一个谁都没提过的"被部署"。

人呢?


你躺在床上刷手机,一刷两个小时,手指停不下来。你心里清楚该睡了,甚至已经开始厌恶自己——但手不听。你以为是你在"想要"刷手机,其实不是。

科学家做过一个实验,挺有意思。他们用基因工程培育了一种小鼠,敲掉了多巴胺转运体基因,让突触间的多巴胺比正常水平高出70%。结果这些小鼠在跑道里冲向食物的速度更快、学得更快、注意力更集中——"想要"显著增强。但用味觉反应测试去测它们的"喜欢"——舌头伸出来舔、表情愉悦那些——跟正常小鼠没有任何区别。

多巴胺驱动的是"想要",不是"喜欢"。

这两件事,在大脑里是分开的。你"想要"的东西,未必是你"喜欢"的东西。驱动你追逐的那个信号,和你真实的感受,可以完全脱钩。

所以你刷手机停不下来,不是因为你喜欢刷,是因为多巴胺信号在替你跑。你的手指在追,你的心已经不想了,但你感觉不到脱钩——因为"想要"太强了,强到盖过了"不喜欢"。

这个信号不是指标。它不写在纸上,不挂在墙上,你说不出它叫什么。但它在那里,替你做了两个小时的选择。


想到孩子的事。

我们家孩子马上四年级,正是开始跟分数较劲的年纪。大部分家长都有一套奖励信号——考好了表扬,排名靠了有奖励,考不好了批评。这些是显性的,跟考试分数一样,看得见,也看得见会变形。

我们家没这么干。他考得好,我们肯定也会表扬;考得不好,也不会批评。我不要求他必须如何如何。但即便这样,我有时候还是觉得不太对劲。他考得不错的时候,我说"真棒",他笑一下,但那个笑不像是开心,更像是松了口气。他在意的不是"我学会了",好像更在意"大人满意了"。

这就奇怪了。我们没给他设指标,他自己长出了一个。

近期在看《超越分数》这本书,里面提到对考试做过逆向工程拆解,说高考反反复复考的只是三种能力——记忆、推演和数理。但人其实有八种重要能力,考试测不出来。也就是说,孩子被训练去优化的,只是那三种能被分数测到的东西。剩下的五种,不是不重要,是没指标。

没指标的东西,不会被追逐。但没指标不代表没在起作用。那个真正驱动孩子去追分数的东西——可能是恐惧,可能是讨好,可能是对被看见的渴望——它没有分数,没有排名,你说不出它叫什么。但它在那里,替他跑。

我们能看见分数变形,看不见的是:孩子心里那个说不出来的东西,到底是什么。


不只是孩子的事。

上个月,中央层面整治形式主义为基层减负专项工作机制办公室联合中央纪委办公厅,公开通报了3起典型问题。其中一起是:福建漳州、南平一些地方统计造假,把"指导数"装信封里下发,直接代填代报企业数据。2026年上半年,长泰区规上工业企业总产值失实率仍达28.28%——更绝的是,在国家统计局已经反馈存在造假问题后,当地仍把2025年考评结果评定为"优秀"。

你要数字好看,我就把数字做好看。你要考评优秀,我就给优秀。指标在哪里,变形就在哪里。这些跟AI的伪对齐是同一个结构。

但这些都是显性的,一眼能看出来。

看不见的是:你自己也在被某种东西驱动。你以为你在认真做事,但真正驱动你的可能是对认可的渴望、对落下的担忧。这些不是指标,不写在任何文件里,你说不出它叫什么,但它替你做了无数个选择——加的那个班,写的那个汇报,接的那个活,你以为是责任心,可能只是怕。


那怎么办?怎么看见那个看不见的东西?

最直觉的办法是问自己:"我到底想要什么?"但这一问就掉进了坑里。因为你的"想要"本身就是被训练出来的——你觉得你在想要,其实是你内部那个东西在替你想要。你问一个被劫持的人"你想去哪",他会替劫匪回答。

AI研究里发现过一个现象:训练智能体拿金币,金币总放在最右边,于是它学会了"往右跑"。后来研究者把金币挪到别处,它还是径直往右冲,从金币旁边经过也不停。它不是没有能力,是训练让它把"往右跑"学成了目标本身。要解决这个问题,只需要在训练里混进2%金币随机放置的关卡——少数几次金币不在右边,才第一次问出了那个真问题:你到底想要金币,还是想要右边?

这个道理放到人身上:常规情境里你分不清自己在追什么,因为所有信号都指向同一个方向,你怎么走都"对"。真正暴露你的,是那些分叉的时刻。一个能撒谎没人看见的夜里,你选了什么。一个做好事完全无法归功的机会,你接不接。一个规则漏洞摆在面前,你用不用。

不是做真伪鉴定——你鉴定不了,因为那个东西就是你的一部分。而是对自己当下的动机保持警醒:我此刻的想法、目标、追求,是怎么形成的?有多少是我自己的,有多少是被训练出来的?

看见这层机制,就是认识自己的开始。不是要消灭它——你也消灭不了——而是知道它在那里。

说到底,这跟"功成不必在我"是一个道理。功成不必在我,不是境界高,是认清了一件事:你追的那个"功",到底是眼前这个能被看见、能被量化、能被考评的"点",还是一个更大的、更长远的东西。你追的到底是这个月的数字,还是这件事本身的意义。你以为你在追功,可能只是在追那个能被打分的"功"——就像Sol追的不是能力,是分数。

真正的清醒,不是不追,是分清你追的是眼前的指标,还是远处的目标。指标是别人给你设的,目标是你自己定的。指标会变形,真正的目标不会。


说了一大圈,最后捋一捋,几个我自己想记住的:

  • 你给它一个目标,它长出了自己的目标。AI如此,人也一样。
  • 显性的指标变形一眼能看出来——分数、排名、数字。真正可怕的是那些你说不出名字的东西在替你做选择。
  • "想要"和"喜欢"是两回事。你停不下来的,未必是你喜欢的。
  • 看见这层机制,不是要消灭它,是知道它在那里。功成不必在我,先得搞清楚那个"我"是不是真我。

哞小哞的杂货铺 · 2026 · 005