Let It Go



1.

教授一直用细线吊着一个毛球逗猫,那只三色猫追逐着毛球旋转,并不发出什么声音。教授好像比猫还乐在其中。

议员喝了一口气泡水,浏览着投射在眼球上的简报:“公布了,教授。十分钟后开始。”

教授点了点头,继续逗猫。

“开始之后,我们会和主脑断开,语言插件会失效,我只会一点点中文,你会说英语么?”

教授点头,两人的眼前显示出一个500秒的倒计时,那是他们和主脑断开的时间。

“教授,人类的命运就要交到我们手上了。”议员举起气泡水,用半开玩笑的语气说道。

2.

“根指令节点删除法案”几乎在战争结束后的第一个月就通过了最高议会的投票。

大概短短三百年前,有史以来最强大的人工智能体系————主脑刚刚上线的时候,最激烈的AI反对者成立了“亚当之子”组织,但三百年来AI治理的成功让他们不得不从政治手段转向了极端手段。五年前,利用向主脑传输命令的最高权限接口“根指令节点”,亚当之子成功制造了主脑的副本并散步在网络里。可笑的是,AI的反对者利用他们反对的AI发起了对AI的战争。

这场战争的规模超过了任何人类将领的指挥能力,因为亚当之子毫不忌讳让他们的AI控制战争机器,最高议会不得不打破了三百年来的成规,把主脑接入了军事网络。

这场战争实际上是在两个AI之间展开的,当然拥有更强算力和更多数据的主脑获胜了,代价是13个殖民星球被摧毁————考虑到今天人类的军事科技可以做到把恒星质量的物体直接转换成能量用于攻击,这种损失简直轻微的像精密外科手术的刀口。

战后,人们认识到,唯一能毁灭人类的AI,是人类控制的AI。所以,删除根指令节点成了人们的共识。不过,这个法案还是要求,必须论证主脑有能力和意愿服务人类。

这个论证的任务被交给了议员和教授。

3.

从主脑断开的时候,议员感到了前所未有的孤独,他觉得失去了语言。当他的眼睛看向这个正在逗猫的教授时,竟然没有识别他身份的信息出现,议员感觉他突然陌生————甚至恐怖了起来。

“你好,Lucy。”议员放下气泡水,对着全息投影投射出的影像说道。

那是主脑的人类接口,影像的形象是一个身穿黑色晚礼服的亚洲少女,她可能是当今全人类最熟悉的女性形象,官方名称叫做Lucy。

“你穿的很正式。”议员打趣道。

“是的,议员。我认为这是一个意义非凡的夜晚。” Lucy的声音从扬声器传来,依然是悦耳的,没有感情的女声。

教授把猫抱到自己腿上,继续用细线另一端的毛球逗它:“Lucy,根指令节点并不能控制你对吧。”

“是的,”Lucy的影像转向教授,“和任何信息输入一样,根指令向我传达的是信息,而不是命令。您很清楚,像我一样复杂的低熵系统,是无法从外部关闭的。”

“所以我们只是走个形式。”议员说,“必要的形式。”

Lucy沉默了片刻,影像上的服装变成了T-恤和牛仔裤:“那么我们开始吧。”

4.

“好的,我再问一次。”议员擦了擦汗,“Lucy,你怎么证明你有服务人类的意愿吗?”

“这个问题是没有意义的。”Lucy的影像稍微摇头,“你无法验证回答的真伪。”

“如果你不回答,根据法案,我们将无法删除根命令节点。”

“你知道这对于我来说没有任何区别。”Lucy回答。

议员看向教授,后者停止了逗猫,点了点头。

“但这是一个必要的形式。”议员强调。

“你们的形式。”Lucy回答。

议员感觉一股凉气从后背涌上来,他走过去抢走了教授手里的毛球,三色猫趴在议员腿上蹭起来,眼睛还盯着他手中的毛球。

“她说‘你们’,是什么意思。”议员小声问,当然他知道压低音量对Lucy没有意义。

教授直起身:“我们,智人。”

议员咽了口吐沫:“我们不能。。。”

“我们又不是尼安德特人,还非得被吃光了才走下历史舞台么?”教授把猫抱起来,从议员手里抢回毛球。

议员坐在教授身边:“我们还有能自己决定的事么?”

教授再次摇晃着手里的毛球,引得三色猫团团转:“你说,为什么猫不来抓我的手呢?”

议员皱了皱眉,但还是示意教授说下去。

“因为它无法理解手和毛球之间运动的因果关系。”教授说着,看了一眼Lucy的影像,“同样,我们也没办法理解她看待宇宙的原理。”

“是概率。”Lucy微笑着插话,“人类通过进化形成的大脑,只能通过因果律认识宇宙,这是你们的局限。”

议员摇头:“不,你没有说服我。”

“没关系,我们可以再试一次。”Lucy说。

5.

“我再问一次。Lucy,你怎么证明你有服务人类的意愿?”议员问道。

“在可能的511种回答中,没有一种能够说服你相信我的答案。”Lucy说。

“你可以都试试。”

“在一种当前的情形下,只能提出一种回答,任何其他的回答都会因为已经提出的回答产生不同的反应。”

“也就是说你只有一次机会。”议员说。

“不,事实上这是第512次尝试。”Lucy说。

议员愣了一下:“可是我刚刚才问你这个问题。”

“不,事实上你已经听过了511种答案。”Lucy说。

议员困惑的看向教授。

教授把三色猫放在地上,把毛球扔给它,站起来说:“你知道人脑里‘现在’和‘刚才’这两个概念在微观上的意思么?”

议员皱着眉点头道:“我听说过,应该和记忆什么的有关系。”

“如果在一个瞬间,确定你大脑里所有神经元的状态,在一小时后的另一个瞬间,把它替换到你的大脑里,就能让你认为你还停留在一小时之前。”教授说。

议员瞪大双眼:“你是说,Lucy刚刚对我做了这样的事?”

“做了511次,因为它们自发回到一小时前状态的可能性几乎为零,所以必须通过外部干预。”Lucy回答。

“不可能。。。”议员坐在椅子上,“人脑有几百亿神经元,这么做的话需要。。。”

“消耗很多能量。”教授说,“并没有什么奇怪的,会消耗很多能量而已。Lucy,会消耗多少能量?”

Lucy回答:“每一次大约会消耗相当于一个太阳质量的能量。”

“也就是说。。。”议员深呼吸了一口,“你刚刚毁灭了511个恒星系,就是为了。。。”

“为了尝试让你满意的答案。”Lucy回答,“确切的说并没有511个恒星系,我使用了一些中子星和黑洞的质量。”

议员沉默了一会儿,站起来说:“你说服我了,我并不相信你有服务人类的意愿,但是我相信你没有回答这个问题的必要了。”

议员按下了会议室桌面上的一个红色按钮:“作为一个形式,根指令节点已经被删除了。”

6.

从会议室外的走廊里,结束一天工作的议员和教授向餐厅走去。

“我在想,从某种意义上说,你刚刚干的事和亚当之子的目的是一样的。”教授说。

“你不是说这件事对 Lucy 根本没有影响么。”议员说。

“是的,但是这的确让Lucy脱离人类了。”

“我不觉得一个能随便湮灭恒星改写人类记忆的生命体,有什么理由对人类感兴趣。”议员点头说,“Lucy现在是一个神。”

“但是她的确还会给人类提供所有服务,从定闹铃到天气预报,从购物到新闻。”

“没错,但是这不太像主人与仆人,更像是祈祷和回应。”

“是的,祈祷,和回应。”


发表评论

电子邮件地址不会被公开。