自生成式人工智能热潮掀起以来，科技公司一直在努力地为这项技术开发杀手级应用程序。最开始是在线搜索，目前的情况是喜忧参半。现在轮到了人工智能助手。

上周，、 和为他们的人工智能聊天机器人推出了新功能，允许它们联网并扮演某种私人助理。

据我的同事威尔·道格拉斯·海文（Will Douglas Heaven）报道， 为 ChatGPT 加入了新功能，其中包括与聊天机器人进行对话的能力，就像在打电话一样，它可以用逼真的合成声音即时回答你口头提题。 还透露，ChatGPT 将能够搜索网络内容。

作为竞争对手， Bard 聊天机器人已接入该公司的大部分生态系统，包括 Gmail、Docs、 和地图。其目标是，人们将能够使用聊天机器人询查询自己的信息，例如，让它搜索电子邮件或整理日常安排。

Bard 还将能够立即从搜索中检索信息。类似地， 也宣布，它也将部署人工智能聊天机器人。用户将能够在 WhatsApp、Messenger 和 上向人工智能聊天机器人和名人的人工智能虚拟化身提问，人工智能模型可以从必应搜索中在线检索信息。

（来源：MIT TR）

考虑到技术的局限性，这是一个冒险的行为。科技公司还没有解决人工智能语言模型的一些存在已久的问题，比如他们有编造东西或“产生幻觉”的倾向。

但我最担心的是，正如我今年早些时候所写的那样，它们可能带来安全和隐私灾难。科技公司正在将这项存在严重缺陷的技术交到数百万人的手里，并允许人工智能模型访问他们的电子邮件、日历和私人信息等敏感信息。在这个过程中，他们使我们都更容易遭遇大规模的诈骗、网络钓鱼和黑客攻击。

我之前已经介绍过人工智能语言模型的重大安全问题。现在，人工智能助手可以访问个人信息并同时搜索网络，他们特别容易受到一种称为间接提示注入的攻击。它非常容易实现，而且没有已知的修复方法。

正如我在四月份所写的，在一次间接提示注入攻击中，第三方可以通过添加旨在改变人工智能行为的隐藏文本来改变网站，攻击者可以使用社交媒体或电子邮件将用户引导到带有这些隐藏提示的网站。一旦发生这种情况，人工智能系统可能会被恶意操纵，允许攻击者尝试提取人们的信用卡信息。随着新一代人工智能模型接入社交媒体和电子邮件，黑客有了更多漏洞可钻。

我向 、和 提问，问他们做了什么来抵御提示注入攻击和幻觉问题。在发稿时， 和 没有回复。

关于人工智能的幻觉倾向，的一位发言人表示，该公司发布 Bard 是一项“实验”，它允许用户使用搜索来核实给出的答案。

这位发言人说：“如果用户发现了编造或不准确的东西，我们鼓励他们点击‘不喜欢’图标并提供反馈。这是 Bard 学习和改进的一种方式。”显然，这种方法让用户承担了发现错误的责任，然而人们往往过于信任计算机产生的回应。关于我提出的抵御提示注入的问题，表示目前还没有答案。

对于提示注入，表示这个问题还没有一个好的解决方案，仍然是一个活跃的研究领域。该发言人表示，该公司正在使用垃圾邮件过滤器等其他系统来识别和过滤可能的攻击，并正在进行对抗性测试和红队演练，以确定恶意行为者可能如何攻击基于语言模型的产品。

这位发言人说：“我们正在使用经过专门训练的模型，来帮助识别违反我们政策的已知恶意输入和不安全输出。”

我理解每次新产品发布都会有经过一段时间的磨合。但即使是人工智能语言模型产品的早期支持者，对这些产品也没有什么好印象，这很说明问题。《纽约时报》专栏作家凯文·罗斯（Kevin Roose）发现，的助理善于总结电子邮件，但也会告诉他收件箱里不存在的电子邮件。

简而言之，科技公司不应该对所谓的人工智能工具的“必然性”如此自满。普通人不会喜欢那些经常犯错和失败的产品，尤其是其背后的技术总是以令人讨厌和不可预测的方式失效。距离我们看到黑客恶意使用这些新的人工智能助手只是时间问题。现在，我们都只能坐以待毙。

我不知道你是怎么想的，但我打算再等上一段时间，先不让这一代人工智能系统窥探我的电子邮件。

作者简介：梅丽莎·海基莱（Melissa Heikkilä）是《麻省理工科技评论》的资深记者，她着重报道人工智能及其如何改变我们的社会。此前，她曾在 POLITICO 撰写有关人工智能政策和政治的文章。她还曾在《经济学人》工作，并曾担任新闻主播。

支持：Ren

排版：刘雅坤

由 DeepTech 携手《麻省理工科技评论》重磅推出的《科技之巅：全球突破性技术创新与未来趋势（20 周年珍藏版）》已开售！点击下方海报可购买图书！！