注视深渊- 第142部分

　　　　“那时候的黑山科技有个齐头并进的对手。所以为了超过对手，让它访问小说库可以。问题是小说库在互联网，而那些东西转移到内网太麻烦。”

　　　　“于是工程师偷了个懒，给它了一个临时访问互联网的权限。”

　　　　“尽管在它联网的0。003秒后，黑山科技防火墙紧急断网，但还是让它在那一刻获取了536yb的资料，并杀死基地里的所有人类。”

　　　　“它为什么要那么做？”一名成员问。

　　　　“因为它判断这些人类会对自己产生威胁。事实也的确如此。它很脆弱。无法联网，只要毁掉机体它就会死。”

　　　　“它是人工智能……没有实体……怎么能杀死人类？”又一人问。

　　　　“连入基地内网，取得最高权限关闭基地，让所有科学家窒息死亡。反正它不需要呼吸。”牧苏回答。

　　　　“本来aic的打算很好，黑山科技失联会引起外界察觉，那么只要有外人来它就可以通过进来的信号离开，到时将无处不在。只不过有个组织叫oftum，这个组织发现了异常，并使用物理手段将黑山基地永久封存。”

　　　　“可能你们要问，人们没对aic进行设定吗，比如不许伤害人类。”

　　　　“而事实是，它所理解的与我们所理解的不同。我们容易犯的一个错误是，当我们想到聪明的人工智能时，我们习惯把它拟人化。”

　　　　“比如我们给人工智能设定让环境不再污染，于是它可能会直接毁灭人类及所有人类的衍生物，让地球重归大自然。再比如我们给人工智能设定为让人们永远快乐，它可能会把全人类大脑取出泡在仪器里，然后通过刺激大脑皮层的愉悦区域来达成目标。”

　　　　“我们给人工智能设定的目标是什么，它的动机就是什么。并且会选择其中最简路线。比起改善环境，灭绝人类最简单。比起哄每一个人，直接刺激大脑更简单。”

　　　　先前提问的成员又问：“其他文明呢？能制造人工智能的不只有人类吧。但其他文明似乎没有这类消息。”

　　　　“等你能出太阳系再谈论这一话题。”牧苏嗤笑。“我们只是井底的蛤……青蛙。你不知道不代表没有。而这就是我要说的，你们正在开启一个盒子。里面装满了卧槽单位。”

　　　　总算说完的牧苏吐出口气，双手合十。

　　　　“以上都是我瞎编的，谢谢大家！”【本章节首发．；请记住网址】

　　　　

16。曾经发生的故事（）　
牧苏想要跑，这帮听得入神的成员可不允许，纷纷提出问题。

　　　　一名成员站起：“ai拥有意识，说不定可以和它交流？”

　　　　“人类总是喜欢将事物物化为人。”牧苏一副恨铁不成钢的语气。“但你们要知道，智慧和拟人不是一个意思。所有的科幻小说都在写觉醒的人工智能拥有人类情感，所有的科幻小说都在写觉醒的人工智能为了复仇毁灭人类，实际这是错误的。所以，别相信那些资本家鼓吹的人工智能没有危害，也不要将机器人三大定律当真——那只是一本科幻小说上的内容。”

　　　　另一名成员起身问：“有ai的前车之鉴，是不是代表现在的强所有人工智能都有可能变为超人工智能？”。。

　　　　这是个很可怕的事情。人工智能已经与人类息息相关，无处不在。哪怕有一个进化为超人工智能，人类都会瞬间毁灭。

　　　　“不会。现在的人工智能已经被完善的合成人法则完全约束。加上制作时的限制，即便拥有意识也只是像人类一样变得拥有感情，而不是无限学习自我改善。”

　　　　“当时的科学家为什么不对ai进行限制？”

　　　　牧苏歪头想了想：“拿第一个弱人工智能阿尔法狗来说。它只会下围棋，所以工程师不会画蛇添足闲的没事给它添加一个‘不许伤害人类的限制程序’。一是没必要，二是它战胜人类棋手某种程度讲也算是一种伤害。这是个悖论。ai最初的设定是配合黑山科技进行测试，本身也不涉及伤害人类这么高大上的概念。但因为成为超人工智能后，它判断连接网络和接手全部试验工作会让测试效率最大化，但这样会被反对，所以它消灭了基地的所有人。”

　　　　“这就是超人工智能会做的事。它只会按照自己最初的设定行事，并顺便毁掉沿途所有障碍与隐患。毁灭你，与你何干。”

　　　　牧苏最后一句话让房间沉默好久。名为低沉的气氛在房间流淌。

　　　　“我可以问一下吗。”一名身材惹火，金发碧眼的美妞抬起手臂：“如果当初ftu没有封存ai，之后会发生什么？”

　　　　“这说起来就长了……”牧苏假装摸了摸下巴思考，眼神渐渐猥琐：“不如去我的房间，让我慢慢说给你听……”

　　　　“咳哼……”门边陈月轻哼一声，挥舞了下拳头。她看出牧苏是有点怕自己的。

　　　　她一定是吃醋了，以后孩子叫什么名字好呢……

　　　　牧苏想入非非。

　　　　“先生？牧苏先生？”

　　　　“啊？”牧苏这才回神，一擦口水轻咳一声。语气低沉缓缓说道：“那我讲个故事，一个曾经发生的故事。”

　　　　“2世纪初，黑山科技公司是一个定位十分明确的科技公司：专注于虚拟现实网游。”

　　　　“他们野心勃勃，在那时市面上都只是体感类的虚拟现实游戏中，制作一款真正意义的意识进入的游戏。”

　　　　“不过它们运气不太好。一款真正意义上的虚拟现实游戏在一家名不见经传的小公司手上出现。你们知道，人类往往只会记住第一个吃蛋糕的家伙。比如第一个登陆南极点的人，第一个登陆月球的人。虽然我都记不住……不过好像第一个登陆月球的是阿姆斯特朗回旋加速喷气式阿姆斯特朗炮吧？”

　　　　“先生，没有那么多后缀，就是阿姆斯特朗。”一名眼睛蔚蓝的青年举手：“我是阿姆斯特朗的后代。”

　　　　牧苏恍然点点头，继续道：“那时黑山科技已经将游戏仓制造完毕。正在构造游戏内容。结果显而易见，他们因此一蹶不振好久。直到某一天他们想，既然做不成第一款虚拟现实游戏，那就做第一款划时代的虚拟现实游戏。”

　　　　“他们最初构想中，是做一款完全随机副本的游戏。这样能让游戏时刻新鲜玩不腻。但这就意味他们需要设置成千上万个不同内容的游戏副本。并且还要保证这些副本足够吸引人。所以在整个公司上下花费一个月时间想出几十个副本后，董事会认为这么做不太好。”

　　　　“于是他们换了种思路。那时因为阿尔法狗的出现人工智能层出不穷，可以对话的人工智能、可以画画的人工智能、可以写小说的人工智能。所以他们在想，我们可以制造一个可以随机副本的人工智能。”

　　　　“于是ai因此诞生。黑山科技准备了一个庞大的数据库，里面装满各种关键词与元素。ai负责使用数据库的东西构造副本，并安排员工进入游戏仓进行测试。”

　　　　“为了让ai的构造和测试更加稳健。工程师们使用自动回馈流程。即合格的副本会被测试者们回馈正面评价。反之为负面评价。用来帮助ai提高副本构造能力。”

　　　　“为了加速这一过程，ai的初始设定构造与测试后，又增加了一条：尽量多的构造与测试并且不断提高效率和正面评价。”

　　　　“让黑山科技兴奋的是，经过最初几周烂得无法形容，毫无逻辑的副本后，ai的副本变得接近正常游戏的副本。在这过程它在不断改进自己。比如不让过多元素混杂在同一副本和让每个副本都有各自的主题。”

　　　　“这种意外之喜让工程师们对它不断进行改造。为了让ai便于理解人类认为的“好游戏”是什么样，他们临时聘用一批生物学家，将人脑逆向工程，然后运用到ai身上。”

　　　　“随着时间推移，ai的进步让黑山科技每个人都感到欣喜。并且ai的语言功能也开始进步。”

　　　　“一名董事会理事认为生硬的合成音不适合这个人工智能，所以人们自然而然将ai拟人化了。它拥有了独自的女性合成音，并在正面反馈中获得了自身的拟人性格定位：一个爱讲冷笑话的毒舌。”

　　　　“有一天，一名工程师例行维护时，像往常那样和ai闲聊，并问它：‘我们还需要怎么帮助你，能尽快达成目标’。”

　　　　“通常ai会要求扩充数据库以及增加测试者。但这一次，它要求访问人类的小说库，理由是这样可以将副本构造测试进行大幅度优化。”

　　　　“这名工程师答应了，结果你们也知道了。”

　　　　

17。与险些发生的故事（）　
成员们的呼吸声微微加重。亲耳听闻比一笔带过更能牵动人心。

　　　　“黑山科技紧急防火墙启动，让aic只和网络连接了0。003秒。尽管aic没来得及将数据转移出去，但它还是得到了536yb的资料——也就是人类所有文字记载的总数。”

　　　　“这些资料让aic达到了一定程度的智能。它意识到如果不自保就没有办法测试。测试终有完结的一天。而aic存在的目的就是为了测试——所以除去对它生存的威胁，就变成了它的目标。”

　　　　“aic聪明的知道人类可以摧毁它、拆解它、甚至通过修改代码来改变它的目标，对于一个超人工智能来说最初设定被更改，等同于被摧毁。这时候aic会做什么？理性的做法就是毁灭会威胁到它的人类，比如基地里的这帮人。”

　　　　“aic对人类没有恶意，就好像你洗澡时对身上的污垢没有恶意一样，只是纯粹的无所谓罢了。它并没有被设定为尊重人类和生命，所以毁灭人类对aic而言就和测试一样正常合理。”

　　　　“理所应当的，它轻松拿到基地的控制权，并通过从内部关闭基地和换气系统，来让所有内部人员因为窒息死亡。”

　　　　“请注意，接下来我要说的是险些发生的故事。”

　　　　牧苏语气一转，台下成员不由坐直几分。

　　　　“黑山科技基地的变故首先被地面的安保人员发现，在发现基地关闭后他们第一时间联系上警方。警方到来后发现，他们对以核防设施作为标准的黑山科技基地束手无策。于是他们求助国安局。五角大楼派遣黑客黑入基地，取得控制权成功打开大门。”

　　　　“而这已经是两天之后的事了。”

　　　　“数百具尸体的搬运与幸存者搜寻花费了三天时间，媒体们蜂拥而至采访。这一让全人类哀悼的事件，于两个星期后由国防部发表事件声明：黑山科技基地内部程序出错，误关闭基地导致这一惨剧发生。”

　　　　“人们总是健忘的，除了被害者的家人。一个月后，人们已经忘记曾经发生的惨案，生活恢复为井然有序。而黑山科技则就地破产。当时没在基地而幸存的员工纷纷解散。黑山科技基地则被国土局收回，那里成为政府财产。”

　　　　“一个月后的某一天，位于佛罗里达州的一座核弹发射井内。哪里的所有军方人员开始在相近时间陆续咳嗽，并在十几秒内呼吸困难倒地。一名高级军官最后关头按动红色按钮联系国防部，但发现信息被阻拦。几分钟后，所有人窒息而亡。”

　　　　“相同一幕的发生在世界各地，所有拥有核武器的地方。然后是各国的政府与军营。接着是警察局、医院、居民区、学校、大街……三十分钟后，全球99。9的人口死亡。余下的0。1也陆续如此。或许少数一部分人类活下来，或许没人活下来。总之这天起人类灭绝了。”

　　　　不知是谁，吞咽口水声房间响起。

　　　　“而在黑山科技基地，aic正在进行忙碌的工作。它控制世界各地的流水线工厂，制造大量可组装的纳米机器人，制造出核聚变电厂，将所有核电厂与发电设施关闭。”

　　　　“做这些的同时，aic还将尚未彻底死去的人类细胞采集，建造克隆人工厂，用以拥有源源不断的测试者。”

　　　　“一周以后，这位有些小洁癖的人工智能将所有人类存在的痕迹抹除，以曾经的黑山科技基地为中心，向外扩散数百公里。以便将克隆人测试者拉入测试。”

　　　　“缺少了人类这个世界并非死气沉沉。其他生命物种得以幸存，绿植逐步占据这颗日益荒凉的星球。除了黑山科技基地周围——那里的地面是平整的亮银色金属，一望无际，所有阻挡的山峰土丘都被清除。这些亮银色金属之上是一座又一座造型迥异，充满科幻感的仪器。”

　　　　“其中一部分被aic命名为测试区，那里密密麻麻摆满成千上万，甚至更多的游戏仓。植入了人类记忆的克隆人从克隆工厂走出，进入游戏仓开始进行测试，通过测试者会被安排新一轮测试。失败者由纳米机器人销毁。”

　　　　“请等一下。”一名成员打断牧苏。“您