Hi!请登陆

数千人在紧急情况下被模仿亲人的人工智能声音骗了

2023-3-7 477 3/7

2022 年,数以千计的冒名顶替者电话诈骗导致 1100 万美元被盗。

数千人在紧急情况下被模仿亲人的人工智能声音骗了

据《华盛顿邮报》报道,旨在接近模拟人声的 AI 模型让不良行为者更容易模仿亲人并从弱势人群中骗取数千美元。

一些 AI 语音生成软件的复杂性迅速发展,只需要几句音频就可以令人信服地生成能够传达说话者声音的声音和情感基调的语音,而其他选项只需三秒钟。据《华盛顿邮报》报道,对于目标人群——通常是老年人——越来越难以发现声音是否真实,即使诈骗者描述的紧急情况似乎令人难以置信。

技术进步似乎更容易捕捉到人们最深的恐惧,并吓坏了受害者,他们告诉《华盛顿邮报》,他们听到急需帮助的朋友或家人的直接请求时感到“发自内心的恐惧”。一对夫妇在相信他们与儿子交谈后,通过比特币终端向诈骗者发送了 15,000 美元。人工智能生成的声音告诉他们,在卷入一场导致美国外交官死亡的车祸后,他需要支付律师费。

据联邦贸易委员会称,所谓的冒名顶替者诈骗在美国极为普遍。这是 2022 年报告的最常见的欺诈类型,并为目标人群造成了第二高的损失。在 36,000 份报告中,有 5,000 多名受害者通过电话被骗取了 1,100 万美元。

据邮报报道,由于这些冒名顶替者的骗局可以在世界任何地方进行,当局打击它们并扭转令人担忧的趋势极具挑战性。不仅很难追踪电话、识别诈骗者和取回资金,而且当诈骗者在不同国家开展活动时,有时很难确定哪些机构有权调查个别案件。即使很明显应该由哪个机构进行调查,一些机构目前也没有足够的能力来处理不断增加的假冒行为。

Ars 无法立即联系 FTC 征求意见。FTC 营销实践部助理主任 Will Maxson 告诉邮报,提高对依赖 AI 语音模拟器的诈骗的认识可能是目前消费者最好的防御措施。建议对任何现金请求持怀疑态度。在发送资金之前,尝试通过语音电话以外的方式联系似乎正在寻求帮助的人。

防止人工智能语音模仿的措施

AI 语音建模工具已被用于改进文本到语音的生成,为语音编辑创造新的可能性,并通过克隆 Darth Vader 等著名声音来扩展电影魔力。但是,轻松制作令人信服的语音模拟的力量已经引起了丑闻,而且当这项技术被滥用时,没有人知道谁应该受到指责。

今年早些时候,一些 4chan 成员对发表种族主义、冒犯性或暴力言论的名人发出了深度伪造的声音,引起了强烈反对。据Vice 报道,在这一点上,很明显公司需要考虑增加更多保护措施以防止滥用该技术——否则可能会承担造成重大损害的责任,比如毁掉名人的声誉。

法院尚未决定公司何时或是否要对 Deepfake 语音技术或任何其他日益流行的人工智能技术(如 ChatGPT)造成的损害承担责任,在这些技术中,诽谤和错误信息的风险似乎正在上升。

不过,法院和监管机构可能面临越来越大的压力来检查人工智能,因为许多公司似乎在不完全了解所涉及风险的情况下发布人工智能产品。

目前,一些公司似乎不愿意放慢流行人工智能功能的发布速度,包括有争议的允许用户模仿名人声音的功能。据 Gizmodo 报道,最近,微软在其 Bing AI 预览版中推出了一项新功能,可用于模拟名人。有了这个功能,微软似乎试图通过限制冒名顶替的名人的声音被提示说些什么来避免任何丑闻。

微软没有回应 Ars 就目前在防止名人语音模拟器产生冒犯性言论方面的保障措施有多有效发表评论的请求。Gizmodo 指出,就像许多渴望从对人工智能工具的广泛迷恋中获益的公司一样,微软依靠其数百万用户对其“仍然功能失调的人工智能”进行 Beta 测试,它似乎仍然可以通过展示它来产生有争议的言论作为模仿。时间会证明任何早期解决方案在降低风险方面的有效性。

2021 年,FTC发布了 AI 指南,告诉公司产品应该“利大于弊”,公司应该准备好对使用产品的风险负责。最近,联邦贸易委员会上个月告诉公司,“在将人工智能产品投放市场之前,你需要了解其合理可预见的风险和影响。”

相关推荐