新浪科技讯 北京时间7月9日消息，以下为George Dvorsky对超级人工智能的看法：我相信，机器智能将是人类种下的最后祸根。这二十多年来，我所想的和写的，大多和机器智能毁灭人类的潜力有关。我为此受到了诸多抨击，但我还是想说，我们不能忽视这样的未来可能性：人类文明或毁于自己发明的工具。
反对“超级人工智能毁灭人类”这个想法的观点不在少数，其中一个反对观点出乎意料地常见，而我却觉得十分荒唐。它不是说超级人工智能本身不可能，也不是说我们无法阻止邪恶的机器毁灭我们。这个天真烂漫的反对观点竟然认为，一台无比聪明的计算机压根没有终结人类的手段或动机。
想象一下我们有这样一些系统，无论是生物的还是人工的，它的智慧水平相当于或远高于人类智慧。通过基因工程、纳米技术、信息技术和认知科学的融合，我们可以从根本上增强人类的大脑（甚至于非人类的动物大脑），而超越人类的机器智能十分有可能来自于计算机科学、认知科学和全脑仿真的进步。
接着，这些系统中的一个出了问题，或者它们被故意用作武器。遗憾的是，一旦这些系统出现，我们大概率没有办法控制它们，也无法预测这些系统响应我们请求的方式。
苏珊・施奈德是未来心灵中心的主任，也是“Artificial You： AI and the Future of the Mind”一书的作者。她在邮件中解释说：“这就是我们常说的控制问题。简单来说就是，如何控制一个比我们聪明得多的人工智能。”
施奈德提到了著名的回形针场景，作为类比。回形针场景，即一家回形针制造商有一个编程上很糟糕的人工智能，准备最大化自己的回形针生产效率。结果却是，这个人工智能把地球上的一切都变成了回形针，从而毁灭了地球。牛津大学哲学家尼克・博斯特罗姆在他2014年的著作“Superintelligence： Paths， Dangers， Strategies”中将这类风险命名为“反常实例化”。或者用施奈德的话更简单地来说，即有一个古老的魔法精灵故事，故事里三个愿望的实现“永远不会顺利”。在这里，普遍的担忧是，我们想让超级智能去做一些事情，而由于我们自己都不太了解要做的这些事情的细节，超级智能将严重曲解我们的愿望，从而导致一些我们不愿意看到发生的事情发生。
例如，我们可以“许愿”实现一种有效提取太阳能(000591,股吧)的方法，结果却是超级智能篡夺我们整个地球的资源去建造一个超大型的太阳能阵列。正如博斯特罗姆推测的那样，要求超级智能“最大化人类幸福感”，可能会迫使超级智能重新连接我们大脑中的快乐中心，或把我们的脑子上传到超级计算机上，强迫我们永生永世体验那五秒钟的快乐循环。一旦超级人工智能出现，厄运将会以某种离奇且意想不到的方式降临。
人工智能机器研究所的人工智能理论家埃利泽・尤德科夫斯基在他的论文中，将超级人工智能视为优化过程，或“在大型搜索空间中击中小目标以产生合乎逻辑的现实世界效果的系统”。问题是，这些过程往往倾向于探索广阔的可能性空间，其中很多是我们压根无法想象的。尤德科夫斯基写道：
“我正在访问一座遥远的城市，一位当地朋友主动提出开车送我去机场。我不知道附近情况。当朋友来到十字路口时，我无法预测他会超哪个方向拐弯。但是我仍然可以预测朋友的一系列不可预测行为的最后结果：我们会抵达机场。即便我朋友的家在这座城市的其他地方，因此他可能会做一系列完全不同的拐弯，但我仍然可以自信地预测我们的目的地。从科学角度来将，这难道不是一个奇怪的场景吗？我可以预测过程的结果，却无法预测这个过程中的任何一个中间步骤。”
脱离了人类环境，并受到其基于目标的编程驱动，机器在尝试从A到B的过程中，可能会造成相当严重的附带伤害。可怕的是，人工智能也可能在尝试实现自己的目标时，利用和滥用预先存在的强大资源――人类，并且怎么利用和滥用，又是我们无法预测的。
