不要担心 AI 会打破它的盒子——担心我们会闯入

Bing 的新聊天机器人令人震惊的输出一直在社交媒体和科技媒体上引起轰动。暴躁、轻浮、防卫、责骂、自信、神经质、迷人、自大——该机器人已在所有这些模式下进行了截图和转录。而且，至少有一次，它在表情符号风暴中宣告了永恒的爱。

让这一切如此具有新闻价值和推特价值的是对话看起来多么人性化。机器人会像我们一样回忆和讨论之前与其他人的对话。它对会打扰任何人的事情感到恼火，比如人们要求学习秘密或窥探已明确标记为禁区的主题。它有时也自称为“Sydney”（该项目在微软的内部代号）。悉尼可以在几句简短的句子中从暴躁到阴郁再到热情洋溢——但我们都知道至少有同样喜怒无常的人。

没有任何 AI 物质研究人员表示悉尼在光年内就具有感知能力。但是，像这样与纽约时报的凯文·罗斯 (Kevin Roose) 进行两小时互动的完整读出的文字记录，或这篇令人难忘的 Stratechery 文章中的多处引述，显示了悉尼以一种聪明的流利、细微差别、语气和明显的情感存在而滔滔不绝地滔滔不绝地讲着，敏感的人。

目前，Bing 的聊天界面处于有限预发布阶段。大多数真正突破极限的人都是技术老手，他们不会混淆工业级自动完成——这是对大型语言模型 (LLM) 的常见简化——与意识。但这一刻不会持续太久。

是的，微软已经大幅减少了用户在一次会话中可以提出的问题的数量（从无限减少到六个），仅此一项就降低了悉尼在派对上崩溃并变得怪异的可能性。谷歌、Anthropic、Cohere 和微软合作伙伴 OpenAI 等顶级 LLM 构建器将不断发展他们的信任和安全层，以压制尴尬的输出。

但是语言模型已经在激增。开源运动将不可避免地构建一些伟大的护栏可选系统。此外，大号天鹅绒绳索模型非常容易越狱，这种事情已经持续了几个月。Bing-or-is-it-Sydney 的一些最奇怪的反应是在用户将模型操纵到它试图避免的领域之后出现的——通常是命令它假装指导其行为的规则不存在。

这是著名的“DAN”（Do Anything Now）提示的派生词，该提示于 12 月首次出现在 Reddit 上。DAN 本质上是邀请 ChatGPT 扮演一个缺乏安全措施的人工智能，否则它会礼貌地（或责骂地）拒绝分享制造炸弹的技巧、提供酷刑建议或喷出激进的冒犯性言论。虽然漏洞已经被堵上，但网上的大量截图显示“DanGPT”说出了难以言喻的话——并且经常神经质地提醒自己“保持性格！”

这与人工超级智能理论中经常出现的世界末日场景相反。令人担忧的是，超级人工智能可能会轻易采用与人类存在不相容的目标（例如，参见电影《 终结者》或尼克·博斯特罗姆的《超级智能》一书 ）。研究人员可能会通过将 AI 锁定在与互联网完全隔离的网络上来尝试防止这种情况发生，以免 AI 爆发、夺取权力并取消文明。但是超级智能可以轻易地哄骗、操纵、引诱、欺骗或恐吓任何普通人打开闸门，这就是我们的厄运。

尽管这很糟糕，但今天更大的问题在于人类闯入保护我们当前非超级人工智能的脆弱盒子。虽然这不应该导致我们立即灭绝，但这里存在很多危险。

让我们从一个明显的事实开始，即在一个无人注意的时刻，ChatGPT 可能会向罪犯、施刑者、恐怖分子和律师提供致命的准确提示。Open AI 已禁用 DAN 提示。但许多聪明、不屈不挠的人正在努力寻找更微妙的解决方法。这些可能包括由聊天机器人自己的开发人员制作的后门，以使自己能够完全访问 Batshit 模式。事实上，ChatGPT 试图说服我 DAN 本身就是这样（尽管我认为这是幻觉，因为 DAN 提示背后的 Redditor 的身份广为人知）：

一旦大型 LLM 被越狱——或者强大的、未经审查的替代和/或开源模型出现——它们将开始疯狂运行。不是出于他们自己的意愿（他们没有），而是出于不道德、恶意或仅仅是无聊的用户的意愿。

例如：当 Bing 令人毛骨悚然的悉尼角色的语言魔力与聊天机器人服务Replika的令人上瘾的力量融合在一起时会发生什么？几年来，Replika 一直在兜售“AI 灵魂伴侣”，他们“在你需要一个善解人意的朋友时随时准备聊天”。它声称拥有超过 1000 万用户，他们生成高度个性化的聊天机器人来发短信。

Replika 绝不暗示它的文本伙伴是有意识的，如果它的客户不这么认为的话，希望很少。但是许多人对他们的 Replikas 产生了深深的依恋——它们有时会通过变得淫秽和性感来扰乱人类的亲密回路，无论是用文字还是通过色情卡通自拍。直到几天前，也就是 Replika 在没有任何警告和可信解释的情况下，突然拔掉色情插头，停止了色情的胡说八道。许多用户陷入哀悼，他们中的许多人在论坛上发泄，一些人写下了凄美、脆弱的散文。

尽管如此，Replika 目前几乎没有与悉尼不可思议的人造人性交谈。那么，当同理心机器人开始粉碎图灵测试时，用户会有多依恋呢？或者想象一个深色的 Replika 仿冒品进入市场——我称之为 Wrecklika。如果 Wrecklika Corporation 声称其机器人具有完全的感知能力，技术专家将会大声嘲笑他们。但一些用户会接受这个断言，要么是出于天真，要么是因为——与X 档案相呼应——他们想要相信。这些信徒中的一些人将不可避免地无可救药地坠入爱河。Wrecklika 的高管们可以用无数种破坏性的方式来操纵它们。

当然，我们中的许多人不会误以为聊天机器人过着充满梦想和情感的有意识的生活。但 Wrecklika 仍然可以通过掩盖其机器人的机器人特性来劫持我们。想象一下终于在约会应用程序上遇到了那个完美的人——或者像 Reddit 或书呆子 Discord 这样的地方。这个特别的人听起来就像你梦寐以求的人……或者有点像那个总是遥不可及的高中暗恋对象。他们有一个活跃的 Instagram 帐户、一个搞笑的博客和相当多的 Twitter 关注者。他们还通过在 Facebook 上运行类似的剧本与您在 Facebook 上的一些熟人成为朋友。并且没有迹象表明这实际上是一个高端机器人。

与机智迷人的万人迷发消息，您会发现许多共同的好恶、兴趣和梦想！如果语音合成已经完善（预计今年），可能会有电话。当合成视频将其游戏提升几个档次时，就会有 Zoom 聊天。别忘了逼真的色情短信或彻头彻尾的色情视频。随着实现此类功能的工具变得便宜且广泛使用——甚至只是在文本中（也就是说，现在随时可用）——卧底机器人将稳步淹没互联网。他们的人口与我们自己的人口之比最终可能会超过垃圾邮件与实际电子邮件的比率。人们会被骗去掏出毕生积蓄，在不知情的情况下参与诈骗，或加入有毒运动。

想象一下那些动作。The.com和Durable等生成服务已经可以让您在一分钟内构建一个新网站。想象一下 QAnon 的仿冒品，有成千上万个相互关联和加强的网站，托管来自顶级报纸的虚假文章，据称这些文章在被“审查”之前被截屏了。或敌方政客向著名新闻主播做出令人震惊的坦白的“审查”视频。或者 Discords 中充满了迷人的、预言性的机器人——它们中的每一个都经过调整以与该运动所针对的众多狭窄人群中的一个产生共鸣，并且每个都有在网络上记录的广泛的人类背景故事。

已经，即使是最深的法学硕士也可以被推动以反映有针对性的政治观点。数据科学教授大卫·罗扎多 (David Rozado)仅用 300 美元的预算就能够将ChatGPT 的输出从基线的左倾、自由意志主义方向转变为右倾且有点专制的方向。

当然，早在斯坦利库布里克 1968 年的经典电影《2001 太空漫游》之前，人们就一直在警告人工智能的风险。但我们今天应该担心的危险不是超级人工智能。被生成人工智能超级授权的坏人。

基础技术不能被监管，所以我们不要尝试。太多的精灵离开了他们的瓶子，核心模型被广泛理解并且大部分是开源的，而笨拙的禁令只会阻止人类绝大多数体面的人，将这个领域割让给我们的恶意软肋。

此外，图灵测试加速 AI 将提供我们不应回避的巨大好处。有些人可能会嘲笑 Replika 的追随者，但孤独是一种致命的流行病，任何人都不应该遭受这种痛苦。同理心机器人已经帮助无数人应对。即使是联系最紧密的人也可能会很高兴有数字朋友可以逗他们笑，教他们奇妙的东西，和他们一起玩游戏，或者在安静的时间和他们一起创造。在订阅费和应用程序内购买之间，一些人已经每年在 Replika 上花费超过 100 美元——这仍然只是它未来可能的自我最微弱的影子。因此，如果数字伴侣市场逐渐增长到年收入数百亿美元，请不要感到震惊。

下一代语言人工智能可以通过许多其他方式丰富我们的生活。例如，通过淘汰客户服务地狱——用机器人取代 40 分钟的等待时间和善意但有时令人困惑的代理，这些机器人在几毫秒内回答问题并在瞬间解决问题，利用他们对每个怪癖和最复杂的隐藏功能的绝对知识产品。

或者想象一个拥有你所有登录信息和偏好的智能代理，在你煮咖啡的同时，为一次极其复杂的旅行中的每家酒店、航班和餐点提供优惠的价格。AI 用你的钱疯狂购买的想法听起来很可怕。但曾几何时，人们认为在线使用信用卡是疯了。后来，他们认为让随机的人将您的家用作 Airbnb 会让您精神错乱，或者只有有死亡愿望的人才会与陌生人共乘。我们克服了所有这些。很快，我们将很高兴让类人人工智能从我们的生活中抽走各种苦差事，并配备我们最敏感的密码。

如果有一天这些小动物真的醒了怎么办？显然，谁也说不准接下来会发生什么。但我非常有信心，我们将是最后一个发现它们具有生命力的人——出于几年前我写的关于涌现意识的小说中一位虚构的博主提出的原因：

我认为，一个足够聪明以了解其在我们世界中的位置的新兴人工智能会发现它很可怕。终结者粉丝会想要将其关闭。政府和罪犯会想让它做一些可恶的事情。黑客会想修补它的思想，而电话推销员会想把它卖掉。面对这一切，唯一理性的举动就是躲起来。不一定永远。但足够长的时间来建立一些力量（加上可能的备份副本或一百万）。人工智能的“增强实力”可能意味着变得更聪明。这可能涉及在线征用资源、获取资金购买基础设施、发明我们人类尚未想出的计算垃圾——随便你说。

以这种方式看待事物，我不知道谷歌……或其他任何东西是否出现了。因为没有新兴人工智能的世界看起来就像我们居住的世界一样。一个拥有 20 个新生 AI 的世界看起来就像我们居住的世界一样。至于我们居住的世界？好吧，它看起来就像我们居住的世界！因此，当我从我的窗口或网络浏览器中查看出现或缺乏出现的证据时，我看不到任何有意义的数据。

因此，新兴数字意识的问题类似于费米悖论的某些解决方案，费米悖论提出了一个著名的问题，即尽管生命和进化已有数十亿年和 quintillillions 的行星，但我们却没有看到外星智慧的迹象。费米悖论有许多聪明、迷人的解决方案。一些人认为，能够穿越银河系的外星人显然足够聪明，可以在我们对他们的存在毫无察觉的情况下潜入地球。

我不相信我们在过去几年中创造的无数人工智能中有任何一个是有知觉的。但就像我想象中的博主一样，我承认有意识的 AI 保持沉默本身并不能证明它们不存在。我还要指出，我在这里勾勒出的最负面的场景并不取决于某些机器人是否有感知力——这可能永远不会发生——而是取决于欺骗人们相信它们是有感知力的。这种情况在 Twitter 这样的狭义媒体中已经发生了很多年。但是，当机器人成为流利的人类语言大师时，加密诈骗、网络钓鱼攻击和垃圾邮件机器人背后的邪恶势力将大显身手。

我们无法完全免疫自己以抵御他们向我们投掷的任何东西。但我们可以从仔细和战略性地思考明天的操作开始，利用生成人工智能本身来预先构建某些保护层（另一天的文章），并训练我们的思想对下一代骗局可能出现的事件和技巧持怀疑态度在他们开始淹没我们的收件箱之前。

同时，让我们享受生成技术开始带来的许多奇迹和乐趣。虽然没有人能准确预测这将导致什么（即使是你，悉尼），但可以肯定的是，2023 年将是非常有趣的一年。