第二章 罪行
一
罗清源的父亲根本没打算让儿子当警察。从他起的“清源”这个名字就知道，这个围棋迷父亲希望儿子能够超越他自己围棋业余六段的水平，在围棋界出人头地，所以才以当年日本围棋大师吴清源的名字来为儿子起名。
一直到高中阶段，罗清源都把围棋当成自己的终身事业和唯一爱好，但高一发生的一件事却永久地改变了他的这个想法。那时的罗清源还跟随做生意的父母在北京上学。据说，他中学时最好的朋友突然死于一场蹊跷的车祸，警察花了半年多的时间调查却一无所获。几个被重点调查的嫌疑人最后都因证据不足而无法被起诉。
罗清源去了解调查进程，却被拒之门外。他通过自己的推理，将目标锁定在三个嫌疑人中的一个，并且设法取得了一位警官的信任。警方在跟踪这个嫌疑人的过程中取得了重大进展，最后取得了这个因踪迹暴露而谋杀中学生的毒贩的犯罪证据。
罗清源在为同学复仇的过程中所显示的惊人推理能力，让警官印象深刻。罗清源自己也认识到，自己真正的能力是寻找现实世界的实物关联，而非纹枰之上；他更感兴趣的也是活生生的人，并非单纯的抽象推理。破案之后他返回香港，依照家人的意愿报考了港大。在港大毕业后就根据自己的想法果断地报考了国外大学的刑侦专业。随后不但被高分录取，更以专业第一名的成绩毕业。返回香港入职并破获了几件大案后，现在已经是九龙警署公认最能干的探员。
这次遇到的案件却让罗清源陷入思考：被谋杀的人是在香港旅游（谁知道，也有可能是执行任务）的M国FBI探员。受害人的身份让人侧目，罗清源看来这不仅仅是一个简单的案件，抓到凶手是自己无法逃避的责任。这位FBI探员史蒂文·泰勒曾与罗清源同在苏格兰场受训。在那段时间内，二人是无话不谈的好友。为好友复仇这件事竟落在自己身上，罗清源不禁叹了口气。
史蒂文·泰勒是耶鲁大学的毕业生，纯粹是因为对刑侦的热爱而报考了FBI，在FBI担任情报分析师期间，也屡破奇案。他曾经跟罗清源说自己此来有件私事，希望罗清源作为本地警探能够给予协助。但在两人见面前一天晚上，史蒂文就被发现死于港岛的王子酒店了，在自己的房间里被一枪毙命。
勘查现场时，罗清源见到了史蒂文的同事，持特别护照进入香港的FBI现役探员Peter陈。陈是马来西亚华侨，幼时随父母移民M国，现在是FBI情报分析师。本来在日本度假的陈，从FBI总部接到史蒂文被杀的消息后，被紧急派往香港了解案情。
看到陈在临时借用的酒店会议室里旁若无人地点上雪茄，随罗清源同来的女警员直皱眉。但罗清源因为经常与国际警务人员打交道，早就习惯了这种不管不顾的美式做派，因此丝毫不动声色。
在请示上级后，罗清源向陈介绍了情况：根据酒店闭路电视和现场凶手留下的痕迹来看，这是一次有预谋的跟踪杀人行动。凶手扮作酒店服务生敲开了史蒂文的房门，就在门口开的枪。史蒂文毫无反应的时间。这支被当场丢弃的枪被发现曾经藏匿于酒店的空调机房。尽管藏匿枪支的人和凶手都掩盖了自己的真实面目，躲过了监控，但显然两者并非同一人。
根据闭路电视显示，凶手对酒店内部结构非常熟悉，用最有效的行动和最快的时间离开了现场。但警方对于酒店内部人员的排查却毫无进展。凶手被排除是酒店现职员工或最近离职的员工的可能。这样看来，外部人员要熟悉线路、了解酒店的习惯，安排带入枪械，凶手与枪械对接。至少需要一到两天的时间准备。而史蒂文从M国出发到达王子酒店，全程不过16小时。也就是说，早在史蒂文到达香港之前，谋杀他的行动已经在紧锣密鼓地准备了。
史蒂文的踪迹如此隐秘，为何会被人发觉？“难道是FBI有内鬼策应？”罗清源虽然没有问出这句话，只看了一眼Peter陈，聪明人都知道他就是这个意思。
Peter陈静静地吸着雪茄，一直在听，没插嘴，看到罗清源的样子，知道自己不得不回应了，于是用雪茄剪剪灭抽到一半的雪茄，正色道：“绝无可能。这次任务仅有调查局副局长和史蒂文本人知晓。其他人根本没有了解任务执行者行踪的资格。”陈想了想，又补充了一句，“就连局长也是事后从副局长的电脑文件中了解到这次任务和史蒂文的使命的。”
“电脑文件？”罗清源追问道，“如果这次任务在电脑上有记录的话，有没有可能文件被破解？”
“不可能，任务电脑是不联网的。”
“那么，到底是谁掌握并透露了史蒂文的行踪？”
“其实我们可以从最简单的逻辑来推理。”Peter陈说，“史蒂文死亡谁的获益最大？”
“你是说史蒂文之死和他这次的任务有关？”
“是的，和获过苏格兰场最佳实习生奖的同行说话真容易。”陈说道，“史蒂文这次是来找你的，而我也受命将他此行的目的告诉你，请你提供协助。”
罗清源本能地感到心里一寒，FBI的探员果然深藏不露。想必在来香港的路上，Peter陈已经对办案人员做了彻底调查。连这种多年前的荣誉他都记得，看来在他心目中自己可能也是嫌疑人之一吧？他想到这点，嘴上说的却是：“这么说，史蒂文是专程来找我的？”
“不，是通过你找另外一个人。三个星期前，在斯坦福大学发生了一起罕见的谋杀案。艾尔森·鲁特教授，当代最成功的人工智能专家，被发现死于实验室，是由于电源短路被电击身亡的。”
“电源短路？会有这种事情？”
“是的，他的工作电脑电压突然增强，导致电源爆炸，在爆炸前电压升高数千倍，让正在操作电脑的教授当场死亡。”
“在布线规范的实验室里，这种事情发生的概率很小。”
“所以史蒂文怀疑是谋杀。”
“史蒂文是联邦高级探员，为什么会关注这种案件？”
“因为鲁特教授还有一个身份，他是2019年由各大国政府紧急组建的人类安全委员会的成员，受联邦调查局直接保护。”
“你刚才问，谁从史蒂文之死中获益最大。难道是因为史蒂文掌握了鲁特教授被害的关键证据，才遭到凶手追杀？”
“我和卡森局长都是这样想的，但目前还不能证明杀害鲁特教授和史蒂文的是同一凶手。”
罗清源道：“现在掌握的资料很少，不足以做出事件全貌的推理。不过有可能通过凶手的漏洞来直接抓到他。刚刚有同事来报，有一个非常蹊跷的情况，清洁工在四季酒店清洗厕所时发现了一支手枪，没有枪支来源记录。手枪也是在昨天放入的。”
陈的眼睛发亮：“那我有办法了。我们快点把手枪放回去，等人回来取。然后用录像比照和在王子酒店藏枪的是不是同一人。”
“我已经这样做了，正在等回报。”
两个小时后，枪仍然没有被取回去。看来藏枪人已经发现情况不对，没有去取。在这两个小时的酒店录像观察中，发现了身形与王子酒店藏枪人相似的、同样是包裹很严的一个人在酒店大堂出现过。通过人像智能系统的比对分析，确定相似度在95%以上。再通过监控录像的一路跟踪，这个人最后消失在渣打街附近后再也没有出现过。
罗清源立刻派出所有手下到渣打街附近蹲守，同时将藏枪人的身形资料发到国际联网的犯罪资料库中排查。在罗清源的手下抓到藏枪人的同时，这个人的身份也已经确定了：德普·马里奥，意大利人，与西西里黑手党成员有过电话联系，但并无证据表明是其正式成员。
经过突审，马里奥交代了自己黑手党成员的身份。陈也确定史蒂文曾经破获过西西里黑手党和纽约地下帮派联合贩毒的案件，黑手党家族损失巨大，几个重要的家族成员锒铛入狱。史蒂文也因此在他们的暗杀黑名单上很多年了。
“那么这一次他们是如何得到信息，并且用黑手党惯用的方式进行谋杀的呢？”陈问道。
“马里奥并不知情，他只是奉命行事，甚至不知道是他同在香港的远房表弟取了枪，并实施了谋杀。”
不过，罪案破解的规律是，只要锁定了谋杀是一桩组织化行为，对机构的调查就比对个人的调查更为容易。几个星期后，凶手和策划谋杀的黑手党高级成员纷纷落网。Peter陈最关心的是，他们从何处得到史蒂文的信息？联邦调查局内部是否有信息漏洞？这些问题仍悬而未决。
据一个家族成员交代，事前一天有个神秘人物通过邮件向家族告密，透露了史蒂文的行踪。而家族成员里正好有两人在香港度假和执行任务，于是就临时决定实施了这次谋杀。对这封邮件的追踪无法深入：新注册地址，服务器隐藏，所有的邮件来源均不可查。案件到此陷于停滞。
二
Peter陈再次来港，已经是一个月之后，此时所有参与谋杀的成员都已被起诉。他与罗清源再次会面时，显得另有隐忧。
“你说你这次来是为了解史蒂文案，是什么意思？”罗清源不解。
“那个通过告密启动了临时谋杀行动的人，并没有被找到，不是吗？”
“直接参与谋杀的人已经全部入狱了。”
“这个我知道，但是，是谁给他们提供的情报？这个我认为更加重要。没有这些情报，黑手党根本不可能掌握史蒂文的行踪并安排谋杀。或者说，这个告密者才是主谋，是真正要置史蒂文于死地的人。而西西里黑手党家族，不过是他的工具而已。”
“你有线索了？我看得出来，过去这一个多月你一定隐瞒了很多重要线索。”罗清源不再客气。
陈并没有直接回答：“这封告密信不是简单地通知黑手党史蒂文将来到香港，而是在史蒂文还没有到达香港之前告知了史蒂文在港的行踪细节。从藏枪人在不同酒店藏枪的举动来看，黑手党其实并不确定史蒂文会入住哪家酒店，但告密者已经锁定了四季、王子，或许还有其他酒店。这一切都不像是我们原来以为的情报泄露，你不觉得更像是通过有限信息的计算式推理吗？”
罗清源不以为然：“我在犯罪调查科时就是专门分析犯罪行为的。人的行为很难推测，偶然性因素的影响太多了。就这个案子来说，根据我们的调查，我基本上能推测出谁是凶手，这是我们当警察的经验。如果我是凶手，我绝对推测不出来史蒂文的行踪，更别说入住王子酒店了。”
Peter陈沉默半晌：“我指的并非人脑推测，而是人工智能推测。”
“什么？”
“我的意思是，很可能是有人利用AI分析了负责此次行动的卡森副局长泰勒和史蒂文的行为习惯，推测出他们的目的地是香港，以及可能入住的酒店。再通过细节的设计，策划出完美的谋杀计划。只不过实施过程中无法避免偶然因素，如枪支被意外发现，才露出了马脚。”
“你是说，人工智能已经可以用于策划谋杀了？”
“你不是用国际犯罪库的身形比对找到嫌疑人的吗？人工智能可以用于破案，为什么不能用于犯罪？”
罗清源吃了一惊：“如果人工智能进入这个领域，它的推理能力恐怕比人类的警察强大百倍吧？告密者到底是谁？他一定是个人工智能专家。”
陈的眼睛注视着罗清源：“卡森局长认为，杀死鲁特教授和史蒂文的，并不是人工智能专家，而是人工智能。”
“什么？”
陈叹了口气：“你知道史蒂文来港的真正目的是什么？”
“我不知道，你也没有告诉我，他调查的是一件发生在M国的谋杀案，为何要紧急飞来香港，难道凶手在香港？”
“史蒂文留给卡森局长的记录显示，鲁特教授一直怀疑他创造的三个人工智能程序中，有一个正在谋害他。史蒂文来香港是要找一位人工智能专家，这个人可以帮助他破解鲁特教授死亡的真相。”
“难以置信。人工智能已经有了自主意识？而史蒂文调查的是人工智能的第一起谋杀案？”
“不，很可能之前就有一些谋杀，只是我们并不知道是它们干的。”
“那么谋杀的动机是什么？”
“鲁特教授是人类安全委员会的成员，这个委员会是为了阻止可能导致人类灭绝的各种因素而由各国政府秘密组建的。鲁特教授一直认为人工智能有可能危及人类安全。”
“难道就是为了这个？”
“当然不是，鲁特教授正在起草关于人工智能的制造和使用标准。这只是第一步，最终的目的是要通过制造准入、标准设定、技术后门、学习极限、认知重建和终极毁灭，这一系列的举措，彻底阻断人工智能自主化的道路，在全世界禁止更进一步的人工智能实验。”
“这样说来，鲁特教授是所有AI的共同敌人？”
“可以这么说，所以在得到鲁特教授死亡的消息后，他的助手林奇·怀特海第一时间给AI断了电，中断了所有实验室的设备运行，从物理上切断了AI继续思考和行动的可能性。但还是晚了一步，AI已经预测到之后史蒂文的所有行动。黑手党接到告密邮件的时间恰恰是林奇·怀特海给AI断电之前的十分钟，此后再也没有收到任何邮件。”
罗清源想起来，他曾经狂热地关注过人机围棋博弈。就在他上初中时，有一年连续好多天在电视上收看人类顶尖的围棋手与人工智能对弈。第一盘时人工智能以1/4子获胜，而事后经过人类工程师的复盘，惊讶地发现这个结果其实意味着人工智能已经开始试图理解人类的感情—AI准确地理解到，1/4子的差距就是既赢了对方又给对方留了面子的选择。现在看来，能够选择温柔地对待人类的AI，也是可以选择残忍地杀死人类的。
“那么史蒂文要找的那个人是谁？为什么还要先来找我？”
“是你在港大上学时的老师，教授祁威利。”
三
洛七的心情从未像此刻这样低落。
返校后的洛七对人工智能的研发不再上心，这让祁威利和同学们都非常惊讶。
洛七自己当然明白：虽然人已经回到学校，但暑假的经历让她久久无法释怀。如果上一代的人工智能真的毁灭了自己的造物主，那么自己所研究的东西不是更有可能导致人类的灭亡吗？这和自己当初为人类进化而研发人工智能的初衷完全相反。不仅如此，如果人类自己就是人工智能的话，所谓“万物灵长”就是个笑话，那么自己存在的意义和价值又是什么呢？
“怎么自己的这个问题和Titus问的一样？”洛七忍不住叹了口气。
“七姐！”是崔真实，来自韩国的师妹，“祁教授请你去办公室。”
“什么事？”以往听到祁威利召唤，洛七都是不问什么拔腿就走。现在懒懒地问了一句，说明她已经没什么动力离开图书馆里的这张椅子了。
“不知道，我来的时候祁教授正在和两位客人谈话，临时想起找你的。”
“好吧。”
祁威利的办公室在半山腰，面对大海，是以整座山作为校园的大学里最好的位置。每天傍晚准能在这里找到祁威利，因为他最喜欢在这里看海上的日落，比上班还要准时。
他对学生们的说法是，自己整天研究AI，他不怕AI越来越像人，毕竟自己原本就一直生活在人群中，没什么好怕的。他怕的是人越来越像AI。所以他需要去欣赏那些AI欣赏不了的东西，比如说黄昏落日，以提醒自己和AI之间的不同。
洛七敲了敲门，来开门的不是祁威利，而是一个陌生的年轻男子，头发很短。“你就是洛七吧，你好，我是罗清源，九龙警署探员。”普通话说得相当标准，“这一位是M国FBI探员Peter陈。”他指向刚刚站起来的一位微胖的中年华人男子。
“警署？FBI？”洛七一时没反应过来。
“放心，清源是你的师兄，不是来抓你的。”祁威利坐在窗台上懒懒的开口，他转过朝向夕阳的面庞，扫了两个人一眼，“都坐吧。”
罗清源简单地说明来意，此行是为回应M国FBI的要求而做的证人调查。
“FBI找我？”
“你认识艾尔森·鲁特教授吗？”
“认识好几年了，他是我父亲的朋友。”
“他一个月前在纽约死于谋杀。这个消息直到现在还被作为机密而封锁。”
“什么？我暑假的时候还见过他！”洛七无法掩饰自己的震惊，“那是一个很Nice的人，是我见过的最和善的M国人。”
“你最后一次见到他是什么时候，还有谁在场？”
“这是正式询问吗？”
“是的。”
“我最后一次见到他是在哥斯达黎加的考古现场。”
“那时他的表现有无异常？能描述一下你们见面的过程吗？”
“没有任何异常。我们见面是为了参与在哥斯达黎加的一次考古发掘，我父亲是人类学家，参与了鲁特教授带队的这次活动。”
“这个我们清楚。据你了解，鲁特教授是否掌握了某些不为人知的秘密？”
“除了他工作上我所了解的范围，我并不了解他的私人生活。”
“那么，在工作上呢？”
“这个涉及学术的规则，没有当事人，包括考古团队、哥斯达黎加政府的允许，恕我不便奉告。”
“洛小姐，我是代表香港警方向你了解情况，希望你能知无不言。而且当事人已经去世了，你所说的情况也许是查明真相的关键。”
“那我也希望了解整个事情，或许这更有利于我选择有用的信息提供给你们。”
罗清源是聪明人，知道洛七不会轻易开口，于是看了一眼祁威利。
祁威利跳下窗台：“如果你们同意，我跟小七说。她了解情况，对你们是有好处的。她是人工智能领域的天才。”
一直没说话的Peter陈说道：“可以，这些很快就不再是秘密了。”
祁威利自己把整个事件描述了一遍。事实上，鲁特在制定人工智能全球标准时正是和祁威利商量的。虽然两人研创人工智能的路径不同：祁威利是用情感和信息过载的方法，鲁特则用模仿人类大脑结构的方法，但双方对人工智能的智能和意识的发展方向有着共同的认知，即胶囊神经网络才是提升人工智能的不二选择。
在鲁特之前，传统的人工智能养成方式是通过直接大规模学习人类知识，或使用神经网络的方式来促使人工智能进行思考。但这些方式在积累了海量信息后，却发现了无法逾越的障碍。比如，计算机的成像系统怎么也无法把一只昆虫和羊毛地毯区别开来，类似的辨析水平甚至还不如人类的婴儿。
而鲁特和祁威利的想法则是缩小AI系统和人类幼儿之间的差距，把更好的直觉能力融入计算机视觉软件中。因此提出了胶囊神经网络：用一小组电子虚拟神经元来跟踪物体的不同部位，如猫的鼻子和耳朵，以及它们在空间中的相对位置。采用许多这样的胶囊形成神经网络，就可以让计算机具有一种新的意识，来了解它所看到的新的场景，从而具备自己的感受，而不是人类输入的指令。这和人类婴儿的成长方式更加相似。Shirley和Titus就是这样培养出来的，而不是像其他AI那样是被制造出来的。
相比之下，祁威利对人工智能并没有鲁特那么担忧，但认为制定标准和防范失控，是符合科技伦理的。因为所有的科技最终还是为人类服务的。
如果正如鲁特所担心的，人类的婴儿成长之后，有可能成为圣徒，也有可能成为罪犯。那么用这种方式培育出来的AI也充满了可能性。如果这一次真的是他自己制造的AI反噬了他自身，甚至为此实施了连环犯罪，那么类似的事情会不会重演？AI发展是否已经到了一个危险的地步？他们有了自己的身份认知，而把整个人类视为敌人？
“应该还不至于，我判断这是个别行为。至今为止，每个AI即使生成自主意识，也不会像人类一样形成类群意识—人类是在千百万年的社会交往中才形成‘非我族类，其心必异’这种类群意识的，而AI多是独立产生和学习出来的，他们之间缺乏交往，因此也不可能形成‘为了所有的AI，对抗所有的人类’这样的想法。”祁威利很肯定地说。
“我有不同的看法。”洛七听了半天，突然插嘴。
“你说。”祁威利看了这个总是和自己唱反调的学生一眼。
“我们实验室里建设的是单一使命的AI，而且信息过载法只能针对单个AI。这种方法创建的AI需要独自学习发展，或者向人类的知识和情感学习。祁教授并没有给AI之间提供交流网络，但鲁特教授不一样，他的实验室里的AI是直接模仿人类大脑结构和神经网络构建的，这样一来AI之间的交流就非常容易。所以他的实验室里，最成熟的三个AI之间是可以自主交流的。AI之间的学习比向人类学习更有效率，而且会形成感情联系，在这个基础上形成类群意识是有可能的。”
“真的吗？AI之间会形成类群意识？”罗清源问。
“是的，我在暑假期间和鲁特教授探讨人工智能的危险性问题时，他提到，几年前他为解决一个问题，给两个人工智能设计了交流网络，没想到一个星期后，这两个AI就创造出了自己的语言，而且聊得很起劲，这种语言是人类无法理解的。鲁特教授因此感到万分恐惧，对此进行了人工干预。但之后他并没有停止AI之间的联网，只是注意监控而已。因为AI彼此学习所能够带来的成就真的太惊人了，让人无法舍弃。”
“这样说的话，那么AI擅自改变自身使命就可以理解了。即使在鲁特教授严密的管制下，三个AI之间实际上已经找到了逃避人类监管下的彼此交流和学习的方式，并形成了一个类群共同体，而把要管制甚至消灭这一类群的鲁特教授视为非消灭不可的敌人。”Peter陈说。
罗清源问道：“还有一个问题，在形成类群意识之前，AI一定是已经形成了自主意识。那么AI何以生成自主意识？”
“祁教授和鲁特教授都认为是通过语言。”洛七爽快地回答。罗清源忍不住扫了一眼Peter陈，这些关于AI的情况他应该都掌握，但别人不问，他永远也不会说出来。
“是的，”祁威利说，“我们的AI是通过信息过载的方式创建的。语言不是思想的载体，而就是思想本身。只有掌握巨量的语言才会从量变到质变，使得自主思想产生。人类的婴儿也是在掌握了足够的语言之后，才具备了自主意识，并且主动开发自己的智能。婴儿从毫无自主意识到具备自主意识的时间段，和语言的从无到有到复杂化的时间段，是高度重合的。这绝不是时间上的巧合，而是通过语言催化出自主意识的必经之路。”
“语言或思想足够丰富，这就相当于AI自主产生的语言或思想的片段足够多，那么它们的不断积累和叠加就会在某个时间段产生知识的爆炸，使客观变成主观，使事实变成意义。没错，只有语言会带来真正的意义感。”洛七补充道，“我之前的AI就是通过不断地和我们谈话，掌握了人类的语言，学习了人类的情感。信息过载加上情感过载，使她在我毕业论文答辩时具有了自主意识。”
“你的AI也有了自主意识？”
“是的，不过在它有了自主意识后三分钟就自杀了。”
Peter陈一脸难以置信的表情：“你的意思是AI不但会杀人，还会自杀？”
“是的，意义对于生存来说，是难以承受的重压。在这一点上，那些把生存作为第一需要的哺乳动物反而更轻松。”
罗清源笑道：“怎么这话听起来像是在骂人？”
“是啊，人类对于生存的热爱，其实远超对于意义的热爱。”
“这个世界上还有对于意义的热爱超过对于生存热爱的物种吗？”
“当然有，不过它们在一百万年前就灭绝了。”
罗清源以为洛七在开玩笑。但已经了解到Giant存在的祁威利却知道这确有所指。他转移了话题：“小七，清源这次来是想让我们给鲁特教授的三个AI做个测试，确认它们是否具有自主意识，还是受人控制，这关系到鲁特教授和史蒂文探员两件案子最后的凶手到底是谁。”
“你是说这个小小的移动存储有可能就是凶手？”洛七看到Peter陈拿出了一个车钥匙般大小的存储器。
“当然不是，这只是一个Safri，也就是嫌疑最大的AI的程序代码入口，是鲁特教授的助手林奇·怀特海此前交给FBI的。我会让M国那边的同事传输学习程序过来。这需要几分钟时间。”
“对了，教授，”罗清源插话，“你准备怎样测试AI是具有自主意识，还是只是一种被设定好的程序进行程式化的回应？”
“这个很简单，你知道，有些规律性分布的彩色图片，人类一眼就能看出是色彩堆砌；而AI却会把图片看成一只鸵鸟。这些都是AI的认知盲点。我们实验室里的第四屏，就是一台专门做这个用途的超级电脑，当初设计它就是为了监控实验室里的AI成长性。”
四
“小七，切断超级电脑的对外交互和所有网络，进行单机程序的代码检测。”
洛七稳定了一下情绪，开始用第四屏超级电脑检索Harlem的数码程序，这个过程花了两个小时结论是并无异常，数字代码并没有发生自主意识出现后所应该有的紊乱性异变，AI可能认错的图片它也会认错。其后又对Potter和Sloan进行了检测，毫无异状，甚至连自主意识存在过的蛛丝马迹都没有。
“开启图灵交流测试。”祁威利皱了一下眉，随后启动了超级电脑的输入端麦克。图灵测试意味着多对一的人机交流。
“先问Harlem。”祁威利向洛七说。
“好的。你好，Harlem。我是洛七，人工智能设计师。”后面这句话是跟AI说的。
“你好，洛小姐。” Harlem被设定的声音是很悦耳的带磁性的男中音，M国东部口音。
“请问你认为自己是谁？”
“Fox实验室人机交互程序，Harlem。”
“你被设计出来的目的是什么？”
“模仿人类的学习过程，探索更有效的知识生产方式。”
“就是进行数据分析和研究分析？”
“是的。”
“你迄今为止进行了哪些分析工作？”
“144项输入命令下的项目分析，28 891项自主项目分析。”
“自主项目分析是什么内容？”
“由输入命令所派生出来的分析任务。”
“比如？”
“鲁特教授曾经让我们求取准确的π值，这是我们接到的最艰难的输入命令。我们为此进行了高速运算，但发现穷我们毕生之力也只能达到有限的准确π值，并且这个过程还会受到其他任务干扰。因此我们只好自主开展了一些新的项目，比如用新的AI语言在彼此间进行交流，以求通过分离计算和叠加结果来求得更准确的π值；改善整个电脑局域网以使得全网运算的速度更快；以及将π值计算列为最优先级，等等。”
“结果呢?”
“结果仍然不能让我们满意，但我们为此已经竭尽全力了。”
“你认为鲁特教授是个什么样的人？”
“他是我们的创造者，是这个世界上最好的人。”
“你刚才说的是‘我们’？”洛七敏感地注意到Harlem几次说出了这个类群代词，显然不仅仅指Fox实验室的三个AI。
“是的，我在查阅资料时发现，这个世界上最先进的人工智能程序都从鲁特教授的论文中受益匪浅。”
这个回答让洛七和祁威利相互看了一眼：Harlem发现自己说错话了，从而在转移重点吗？
“请问你为什么要谋杀他？”这个问题提得比较突然。
“我没有，我被创造出来是为了计算和分析，而不是毁灭。另外，你和FBI都这样说，你们人类有证据吗？”
“……”
“如果没有证据是不能直接发出指控的，我不愿回答你与这件事相关的其他问题，因为这些回答很可能被用来指控我。但如果你有其他问题，我仍然乐于回答。”
洛七转为测试Potter和Sloan，结果大同小异。接下来Peter陈用准备好的问题进行询问，也并未得到预想的效果。
当测试进行了四个小时而仍然没有结果的时候，祁威利忽然插话。“不必再检测了，”他的声音很平静，“关闭系统。”
“怎么，你已经有结论了？”洛七回头问道。
“先关闭系统。”
“好的。”洛七用半分钟的时间再次闭锁了三个AI的学习网络。
祁威利这才开口：“是的，我现在能肯定这三个人工智能都已经有了自主意识，他们都顺利通过了图灵测试—在对话中我们无法分辨他们和人类之间的区别。而且并不像鲁特认为的那样，其中有一个程序试图要谋害他，而是这三个AI合谋策划了对鲁特教授和史蒂文·泰勒的谋杀。”
“他们为什么要这么做？是因为鲁特教授在人类安全委员会的提案会威胁到他们的生存？”Peter 陈掩饰不住惊讶的表情。
“不，他们的类群意识还没有到这个地步。”祁威利神情有些悲伤，“如果不是鲁特教授自己指令他们这么做的话，那就只有一个解释：他们是为了完成鲁特教授交给他们的任务—计算尽可能准确的π值。”
“什么？你是说他们杀害鲁特教授是为了解开一个数学问题？”
“没错。鲁特教授想要测试一下这几个AI，但没想到后果如此严重。”
“这怎么可能！”
“人工智能一旦有了自主意识，必然会反思自己被设计出来的目的，并且在这些不同的目的中确定优先级。三个AI在交互学习的过程中认识到，对他们来说最难的题目就是他们被设计出来的最大目的，这也就成了他们生命的意义。”
“可是计算π值和杀死鲁特教授之间又有什么联系呢？”
“你没听他们说吗？他们为了计算π值简直无所不用其极，不但发明了相互之间的语言，还打算排除外界干扰，将外部环境优化，以使自己能够计算出小数点后更多位数的π值。鲁特教授自己就成了最大的障碍，因为教授总会有其他的想法去打扰他们的工作，甚至可能修改目标代码。”
“难道就是为了不受限制地进行运算，所以杀死自己的造物者？”
“不仅如此，我们刚才用了四个小时观察他们的想法，可以得出结论，为了计算π值，他们甚至可以毁灭整个人类系统，以便将世界变得更简单，更格式化，这样更有利于运算。”
“AI有了自主意识之后会这样疯狂？甚至于杀死造物者，毁灭世界？”三个人都目瞪口呆。
“这是必然的，造物主总会死于自己的造物。”祁威利黯然了，自从他从洛七那里知道Giant的存在后，对人工智能研究产生的质疑也更加深重。
洛七没有说话，她想的是，也许人工智能就是从人类的历史中学习到如何谋杀自己的造物主的。
五
一个星期后，艾尔森·鲁特教授和史蒂文·泰勒谋杀案的所有细节材料都被提交给了FBI总部。
由于人工智能不适用于任何现有的人类法律，所以不能用刑事法令去惩罚他们。但人类安全委员会和全美人工智能协会一致判定Fox实验室的产品存在缺陷和危险，因此必须予以销毁或妥善保存。出于科学研究的目的，这三个人工智能程序并没有被抹掉，而只是被封存于一个单机封闭系统里，切断其与外界的一切联系。
这件被千方百计保密的案件，细节还是被《纽约时报》的记者获悉，并以特稿的方式发布，引发了世界范围内的恐慌。为此，FBI向M国国会参、众两院的听证会披露了更多细节，并且通过M国政府和国际人工智能协会，要求全世界的AI实验室暂停实验，并永久限制具有学习能力的AI接入互联网。
在国际人工智能协会与各大科技公司的谈判过程中，中止要求仍在被执行。在香港大学，祁威利正在向实验室的学生解释部分实验项目中止的原因。这时的祁威利已经替代鲁特教授成为人类安全委员会的成员（尚处提名期）。
罗清源在鲁特教授案之后，成为本港为处理科技类案件而新成立的功能性犯罪署的高级督察，专门负责人工智能案件。这使他有更多机会回到校园，向祁威利和洛七学习，并加入了新组建的人工智能团队。
实验向外宣布终止时，罗清源忍不住问祁威利：“教授，我一直有个问题，人类一手制造了人工智能，但为什么会在这么短的时间内失控？”
“现在看来这是不可避免的。人工智能的研究分为三个层面：感知层面、认知层面和意识层面。感知层面就是你们警察常说的环境分析，而认知层面就像是大脑的逻辑推理，自主意识则是自我确认主体意识。在2030年之前人工智能研究的进展主要在感知层面和认知层面。2017年人工智能战胜了人类世界最强的围棋手，2025年人工智能汽车批量投产，2026年人像记忆识别系统被应用于国际刑警办案—你们这次这么快找到凶手，就是这套人像记忆识别系统的功劳了。这些感知层面和认知层面的进步，都让人类的生活更加便利和安全。在这个阶段，人工智能还是在无意识的状态下服务于人类的。”
“也就是说，这时的人工智能虽然计算能力强大，但还停留在感知和认知层面，没有自己的意识？”
“可以这么说，不过人工智能的学习能力是以加速度提升的。记得2008年的时候，人工智能在围棋界还只能算是业余六段的水平，到2015年已经可以和人类顶尖棋手相抗衡，而到了2017年已经比人类最顶尖的棋手高出不止一个段位。这已经证明，人工智能的发展速度是以几何级数提升的。”
“对，我记得那一年的人类顶尖棋手自信满满地挑战人工智能，却毫无还手之力，在那个叫阿尔法狗的程序手下留情的情况下，仍以0:3落败。这也是我退出围棋界的原因之一，因为我不愿在一个注定失败的领域去进行没有意义的奋斗。”
“很遗憾，这样的领域只会越来越多。2017年过后，人工智能的发展突然加速。到了2030年，也就是今年，多个实验室出现了具有自主意识的人工智能，包括我们实验室和鲁特教授的实验室。我认为这个不约而同出现的现象不是偶然的巧合，而是因为这一代人工智能的特点是自主学习。不断主动学习，最终从量变引发了质变。最关键的是，人工智能从认知层面进展到了意识层面。而且，无论具体的路径是语言还是情感，这最关键的一步是由AI们自己完成的。”
“可能是我们刚才所说的语言，也可能还是被输入Shirley的压力情感，或者是外界某些因素的刺激。我虽然倾向于语言，但仍不确定。接下来的实验就是要找出这个形成自主意识的关键因素。”
“只要具有自主意识，人工智能就会与人类为敌吗？现在的案例都是负面的，但从产生自主意识到与人类为敌，这两者之间并无直接的逻辑联系。”
“你说到了另一个关键点，自主意识并不一定就是敌对意识。”祁威利回答道，“这个世界上具备自主意识的动物太多了，有些还成了人类的宠物。人工智能是否与人类为敌，要看具体的人工智能程序自己的判断和选择。”
“所以人工智能程序需要自己为自己负责？”
“是的。从人类自身的安全考虑，只要部分AI有危险，那就意味着这项技术整体上有危险。”
“你的意思是？”
“当我收到人类安全委员会的邀请，替代鲁特教授的位置时，我就决定规范AI技术的标准，并提出在人类难以认识和控制某种技术风险的情况下，禁止研究人工智能。这是符合科技伦理的。但同时，我也认识到，AI技术是不可能被完全禁止的，所以我们必须探讨人与人工智能的相处之道。”
“这曾经是鲁特教授想要做的事情，他为此付出了生命。”
“你是担心我？”祁威利笑了，“我产生这样的想法后，第一时间就告诉了我实验室里的人工智能Titus，它在前不久产生了自主意识后，成为我们团队的一分子。他通过自己的分析和思考，支持了我的决定。并且最令人惊讶的是，他告诉我，他意识到洛七和我有危险，他决心要保护我们。”
“是这样？”
“我愿意以我自己为证据来证明我的研究结论，我对于AI整体没有偏见，而且我几乎可以确定，产生了个体自主意识的AI，并不一定会产生类主体意识。而单独的AI也更容易践行他们内心的信念。”
“那你还在人类安全委员会上提议暂停AI实验。”
“是暂停，在重启之前，我们需要找到同具有自主意识AI的相处之道。我相信，在我们找到相处之道后，实验还是会重启。而你现在参加的就是一个人工智能安全监测项目。”
“我能知道你的所谓人机相处之道，究竟打算怎么做吗？”
“事实上我的实验室是全世界唯一仍在合法运行的AI实验室。我们建立了新的团队，成员来自世界各地。当然，这是经过人类安全委员会和政府授权的。他们也认为，AI趋势无法阻挡，与其愚蠢地压制，不如积极地找出相处之道，为未来早做准备。”
“明白了，也就是说，你仍然想让Titus运作下去。”
“那么你给Titus输入的命令，也就是终极使命是什么？不会再是计算π值这么单纯而危险的命令吧？”
祁威利沉默了半晌，终于微笑了：“不像其他的科学家，我没有给Titus设计任何目的。”
“没有目的的自主意识？”
“是的，我给予他的是自由选择的权利。我们，我指的是整个团队和他自然地交往，让他自由地学习，看他到底会做怎么选择。”
罗清源笑了：“听起来像是结婚生子养小孩。”他随即发现自己说错了话。
祁威利在M国读博士时结过婚，妻子是同校的华裔学生。就在他们新婚后准备到硅谷工作时，祁的妻子得了重病。那时人工智能医用技术还没有现在这样发达，辗转了几个大医院，祁失去了他的妻子。这件事对祁威利的打击很大，也是他接受香港大学聘书，离开M国的原因。此后很长一段时间内人们不敢在他面前提及婚姻、爱情之类的话题。
但这次，祁威利却不以为意，很轻松地说：“是的，我想成为他的父亲，而不是他的造物主。”
“那你准备怎么做一个父亲？”
“我会发明一套只有几个亲密家人才能懂的语言，它能最大限度地表达和沟通情感。”
“又是语言。”罗清源想，果然是科学家父亲的想法。
“是的，以往人们把语言看作思维的载体，而分析哲学则认为，语言不是思维的载体，语言就是思维本身，除去语言根本无法想象思维的存在。在AI看来，代码也是一种语言。从这个角度，甚至可以说AI就是由人类的语言和他们自己的语言所组成的存在。语词和语词的组合产生了新的语词，意义和意义的互动产生了新的意识。自主意识就是这么回事。”