如今，机器人可以很好地完成某些任务。它们非常擅长拾取和移动物体，甚至连烹饪也不在话下。

显然，机器人很容易在实验室里完成这些任务，但让它们在一个几乎没有可用数据的陌生环境中工作才是一个真正的挑战。

现在，一个名为 OK-Robot 的新系统可以训练机器人在从未见过的环境中拾取、移动和放下物体。

（来源：arXiv）

这种方法可能能够填补快速进步的人工智能模型和机器人真实能力之间的差距，因为它不需要任何其他昂贵而复杂的训练。

为了开发该系统，纽约大学和 的研究人员在五户人家的 10 个房间里测试了 Stretch 机器人，这是一款由 制造的商用机器人，由轮子、高高的杆子和伸缩臂组成。

当与机器人在一个房间里时，研究人员会使用 Record3D 扫描他们的周围环境，Record3D 是一款 iPhone 应用程序，使用该手机自带的激光雷达系统拍摄 3D 视频并与机器人共享。

OK-Robot 系统会针对视频运行一个开源的人工智能物体检测模型。与其他开源模型相结合，它可以帮助机器人识别房间里的物体，如玩具龙、牙膏、扑克牌、椅子、桌子和垃圾桶等。

然后，研究人员会指示机器人捡起一件特定的物品，并将其移动到一个新的位置。在 58.5% 的情况下，机器人依靠机械臂成功地做到了这一点。

在不那么杂乱的房间里，成功率上升到了 82%。目前，这项研究尚未经过同行评审。

的高级计算机视觉研究科学家马蒂亚斯·明德尔（）表示，最近的人工智能热潮带来了语言和计算机视觉能力的巨大飞跃，使机器人研究人员能够获得三年前还不存在的开源人工智能模型和工具。

他说：“完全依赖已有模型（就能成功）是很不寻常的，（因此）这项研究令人印象深刻。”

他补充道：“我们看到了一场机器学习革命，它让现在新创建的模型不仅在实验室中有效，而且在开放世界中也很好用。看到它们在真实的物理环境中确实有效，这是非常有用的信息。”

因为研究人员使用的模型没有根据这个特定项目进行微调，所以当机器人找不到指定物体时，它只能停下来等待指令，而不是试图找出解决方案。

这个限制让机器人更有可能在整洁的环境中成功：更少的物体意味着更少的混乱和更清晰的导航路线。

纽约大学计算机科学助理教授莱尔·平托（）表示，使用现成的开源模型有好有坏。

他说：“从积极的方面来看，你不必在新环境中扔给机器人任何额外的训练数据，它可以很快开始工作。

但另一方面，它只能把一个物体捡起来放到其他地方。你不能要求它打开抽屉，因为它只会拿起和放下两个动作。”

纽约大学博士生玛希·沙菲乌拉（Mahi Shafiullah）共同领导了这项研究。他说，通过结合 OK-Robot 与语音识别模型，研究人员可以与机器人交谈并简单地传递指令，从而更容易地使用现成的数据集进行实验。

他说：“在（机器人）社区中，有一种广泛存在的潜规则，家（室内）是很困难的环境，机器人也是很困难的研究领域，而将家庭和机器人结合起来是完全不可能的。我认为，一旦人们开始相信家用机器人是可能的，这个领域就会迎来有更多的成果。”

支持：Ren

运营/排版：何晨龙

01/

02/

03/

04/

05/