即将出版的新书阐述AI的潜在风险：目前没有证据表明其可以被安全控制

他解释说"我们正面临着一个几乎必然发生的事件，它有可能造成生存灾难。难怪许多人认为这是人类有史以来面临的最重要的问题。结果可能是繁荣，也可能是灭亡，宇宙的命运岌岌可危"。

无法控制的超级智能

扬波尔斯基博士对人工智能科学文献进行了广泛的研究，并表示他没有发现任何证据可以证明人工智能是可以安全控制的--即使有一些部分控制，也是不够的。

他解释道："为什么这么多研究人员都认为人工智能控制问题是可以解决的？据我们所知，没有任何证据可以证明这一点。在开始探索建立受控人工智能之前，必须证明这个问题是可以解决的。这一点，再加上统计数据显示人工智能超级智能的发展几乎是一个必然事件，表明我们应该支持人工智能安全方面的重大努力。"

他认为，我们生产智能软件的能力远远超过了我们控制甚至验证软件的能力。经过全面的文献综述，他认为先进的智能系统永远不可能完全可控，因此无论能带来什么好处，都会有一定程度的风险，人工智能界的目标应该是最大限度地降低这种风险，同时最大限度地提高潜在效益。

有哪些障碍？

人工智能（和超级智能）与其他程序的不同之处在于，它能够学习新的行为，调整自己的表现，并在新情况下半自动地行动。

让人工智能变得"安全"的一个问题是，随着能力的增强，超级智能生物可能做出的决定和出现的失误是无限的，因此存在无限多的安全问题。仅仅预测不可能出现的问题并在安全补丁中加以缓解可能还不够。

同时，扬波尔斯基解释说，人工智能无法解释它所做出的决定，和/或我们无法理解所给出的解释，因为人类不够聪明，无法理解所实施的概念。如果我们无法理解人工智能的决定，而我们只有一个"黑盒子"，那么我们就无法理解问题，也无法降低未来发生事故的可能性。

例如，人工智能系统已经开始负责在医疗保健、投资、就业、银行和安全等领域做出决策。这些系统应该能够解释它们是如何做出决定的，特别是要证明它们没有偏见。"如果我们习惯于不加解释地接受人工智能的答案，基本上把它当作一个甲骨文系统，那么我们就无法判断它是否开始提供错误或操纵性的答案"。

控制不可控因素

扬波尔斯基解释说，随着人工智能能力的增强，它的自主性也在增强，但我们对它的控制却在减少，而自主性的增强就是安全性降低的同义词。

例如，为了避免获取不准确的知识，消除程序员的偏见，超级智能可以忽略所有这些知识，从头开始重新发现/验证一切，但这也会消除任何有利于人类的偏见。

"智能较低的代理（人）无法永久控制智能较高的代理（人工智能）。这并不是因为我们可能无法在所有可能设计的广阔空间中找到超级智能的安全设计，而是因为不可能有这样的设计，它根本不存在。"他解释说："超级智能不是在反抗，而是一开始就无法控制。人类正面临着一个选择，我们是要像婴儿一样，被照顾但无法掌控，还是要拒绝有一个有用的监护人，但保持掌控和自由"。

他认为可以找到一个平衡点，在这个平衡点上，我们可以牺牲一些能力来换取一些控制权，但代价是为系统提供一定程度的自主权。

统一人类价值观

一种控制建议是设计一种能精确执行人类指令的机器，但扬波斯基指出，这种机器有可能出现指令冲突、误解或恶意使用的情况。

他解释说"人类控制可能会导致矛盾或明显的恶意命令，而人工智能控制则意味着人类不控制"。

如果人工智能更多地充当顾问的角色，它就可以避免误解直接命令和潜在恶意命令的问题，但作者认为，要让人工智能成为有用的顾问，它必须有自己的优越价值观。

"大多数人工智能安全研究人员都在寻找一种方法，让未来的超级智能与人类的价值观保持一致。价值对齐的人工智能顾名思义会有偏差，亲人类的偏差，无论好坏仍然是一种偏差。价值对齐型人工智能的悖论在于，一个人明确命令人工智能系统去做某件事情，可能会得到"不"的答复，而人工智能系统则会努力去做这个人真正想要做的事情人性要么得到保护，要么得到尊重，但两者不可兼得。"

将风险降至最低

为了最大限度地降低人工智能的风险，人工智能必须具有"撤消"选项、可修改性、透明性，并易于用人类语言理解。扬波尔斯基建议，所有人工智能都应分为可控和不可控两类，任何东西都不应被排除在外，并应考虑有限度地暂停，甚至部分禁止某些类型的人工智能技术。

"这反而是一个理由，让更多的人去深入挖掘，加大力度，为人工智能安全和保安研究提供资金。我们可能永远无法实现百分之百安全的人工智能，但我们可以通过努力使人工智能变得更加安全，这比什么都不做要好得多。我们需要明智地利用这个机会。"

编译来源：ScitechDaily