从英国著名理论物理学家史蒂芬霍金（Stephen Hawking）到特斯拉创始人伊隆马斯克（Elon Musk）等世界顶尖人工智能（AI）专家，都曾表示过人工智能对人类生存的威胁。
真有一天，人类会成为自己发明的机器人的受害者吗？
加州大学伯克利分校（University of California, Berkeley）的斯图尔特罗素教授（Stuart Russell）是该领域的专家。
他在刚出版的《人类相容：人工智能与控制问题》（Human Compatible: AI and the Problem of Control）一书中指出，这种威胁并非来自机器人开始有了自我意识，并起来反抗人类主人。
而是因为这些机器人能力变得超强，最后有可能是因为人类的疏忽，为机器人设置了错误的目标，让他们无意中把我们都消灭了。
罗素教授表示，这才是我们应该担心的，而不是像好莱坞大片中所描绘的那样，人工智能开始有自主意识，并向人类倒戈，最后把我们都杀光。
罗素教授强调：我们应该担忧的不是意识，而是它们的能力（competence）。
“超强能力”
罗素教授在接受BBC的采访时表示，假设我们发明了一个可以用于控制气候变化的强大人工智能系统，并且能将大气中的二氧化碳水平恢复到工业革命前的水平。
该人工智能系统经过分析后认为，最容易的方式就是消灭人类，因为人类活动是产生二氧化碳的最主要来源。
当然人类可能会对机器人说，你做什么都可以但就是不能把人类全灭绝。人工智能系统然后可能会说服人类少生孩子，直到最后没有人生孩子，人类慢慢灭绝为止。
这个例子是想强调与人工智能有关的风险，这些风险都是人类在创造人工智能前并没有想明白的。
超级智能
英国剑桥大学存在风险研究中心（Centre for the Study of Existential Risk, Campidge University）表示，当前大多数AI系统都是相对“狭窄”的应用程序，专门用于解决某一领域中的特定问题。
但1997年，超级电脑深蓝（Deep Blue) 打败了国际象棋世界卫冕冠军加里卡斯帕罗夫（Garry Kasparov），成为人工智能史上里程碑。
然而，虽然深蓝击败了世界象棋卫冕冠军，但深蓝却可能连一场简单的跳棋游戏都赢不了。因为深蓝的设计者是专门让它下象棋的。
但这才仅仅是开始，随着人工智能的发展和进步，阿尔法围棋的最新版AlphaGo Zero在经过短短3天跟自己练习之后，已经达到了超人水平。
AlphaGo Zero通过深度学习，已经不太需要太多的人工程序。 它成为围棋、国际象棋以及将棋（又称日本将棋）的高手。
这里，最让人感到震惊的是，AlphaGo Zero完全是自学成才。
剑桥大学存在风险研究中心表示，随着人工智能逐渐强大，它可能会成为超级智能。它会在许多，或是几乎所有领域都超越人类。
罗素教授说，这就是为什么人类需要收回控制权。
如何收回控制权
罗素说，赋予人工智能更明确的目标并不是解决这一难题的方法，因为人类自己都无法确定这些目标是什么。
罗素表示，人们应该彻底改变建立人工智能系统的整体基础，例如，不再给机器人一个固定目标，而是让人工智能系统必须明白，它不知道目标是什么。
一旦人工智能系统以这种方式运作的话，它就会听从于人类的指挥。在执行任务之前，它会寻求人类的许可，因为它不确定这是不是你想要的。
罗素教授表示，最至关重要的是，它们（AI）会乐意接受被随时关闭的选择，因为它们也希望避免做那些你不喜欢的事情。
神灯中的精灵
罗素说，我们现在发明的AI系统有点像传说中的神灯中的精灵一样，你轻拍神灯，灯里的精灵出来了。你对精灵说：“你给我做这件事吧。”
“如果AI系统足够强大，它就会完全按照你的要求去做，你也会得到你所要求的一抹一样的结果。”
但罗素表示，问题是跟神灯中的精灵故事那样，第三个愿望总是要求精灵“取消前面的那两个愿望”，因为我们无法确定自己到底想要什么。
其结果就可能造成，那个试图完成错误指令的机器人实际上变成了人类的敌人，一个比我们强大得多的敌人。
到那时，一切就太晚了。
