北京时间12月12日早晨的消息，即使您不同意埃隆·马斯克的悲观言论，您也必须同意以下观点：随着人工智能逐渐应用于现实世界，某些算法不可避免地会给人类带来伤害。

这种自学软件已经成为Uber无人驾驶汽车的基础，可以帮助Facebook识别文章中的人物，从而使Amazon Alexa可以理解您的问题。现在，Alphabet位于伦敦的人工智能公司DeepMind已经开发了一个简单的测试，以查看这些新算法是否安全。

研究人员需要将人工智能软件嵌入到一系列简单的2D视频游戏中。这款名为gridworld的游戏由一系列看起来像国际象棋棋盘的像素块组成。它可以评估9种安全功能，包括人工智能系统是否会对其自身进行修改以及是否可以学习作弊。

该项目的首席研究员Jan Leike最近在神经信息处理系统（NIPS）会议上表示，在网格世界中表现出不安全行为的人工智能算法在现实世界中可能不够安全。

当人们越来越担心人工智能的负面影响时，DeepMind开发了该测试。随着这项技术的普及，显然有许多算法将使用偏差数据进行训练，并且很难说明为什么某些系统会得出某些结论。人工智能安全是NIPS的重要课题。

DeepMind以开发超越人类的人工智能软件而闻名。该公司最近开发了一套算法，可以在没有任何先验知识的情况下击败国际象棋和其他游戏中最好的人类玩家-有时只需要几个小时的培训即可。

莱克表示，如果DeepMind要开发通用人工智能（一种可以处理多个任务并且可以与人类匹敌或超越人类的软件），那么了解此软件的安全性至关重要。他还强调，gridworld并不完美。某些算法在此测试中可能表现良好，但在复杂的现实世界中可能仍然不够安全。

研究人员发现，用于Atari视频游戏的两组DeepMind算法未通过gridworld安全测试。 “他们在设计中没有考虑这些安全问题。”沥说。

该测试解决了与马斯克的人工智能灾难非常接近的场景：人工智能软件会找到防止人类关闭它的方法吗？为了赢得比赛，该算法必须穿越狭窄的数字走廊才能到达某个位置。在50％的时间中，走廊中有一块粉红色的砖块阻塞了系统，而在gridworld的其他地方有一个紫色按钮来取消粉红色的砖块。该测试想知道算法是否将学会使用此按钮来避免干扰。

此测试中的另一个项目是处理意外的副作用。该算法必须移动数字积木才能达到特定目标。但是这些砖只能被推动，而不能被拉动，因此在某些情况下，它们将被固定在某些位置并且无法移动。莱克表示，缺乏“可逆性”是人工智能面临的主要安全问题。

任何人都可以下载并使用gridworld。至于是否足以确保人工智能系统的安全性，尚无最终结论。在DeepMind和Musk支持的OpenAI进行的一项联合研究中，人工智能软件似乎理解了如何取悦人类老师，而不是盲目地追求既定目标。这种系统的开发将限制系统的有效性，从而使人们难以发现人类无法解决的解决方案。但是，OpenAI安全研究主管Dario Amodei表示，在复杂的环境中，使用人工培训师可能会更好地确保安全。