传感器包装的手套学习人类掌握的签名

麻省理工学院的研究人员在处理各种物体时戴着传感器手套，编制了大量的数据集，使人工智能系统能够通过触摸识别物体。该信息可用于帮助机器人识别和操纵物体，并可辅助假肢设计。研究人员开发了一种低成本的针织手套，称为“可伸缩触觉手套”(STAG)，几乎整个手上都配备了约550个微型传感器。当人类以各种方式与物体相互作用时，每个传感器捕获压力信号。神经网络处理信号以“学习”与特定对象相关的压力信号模式的数据集。然后，系统使用该数据集对对象进行分类，并通过单独感觉预测其权重，无需视觉输入。

在Nature发表的一篇论文中，研究人员描述了他们使用STAG编制的26个常见物体的数据集 - 包括汽水罐，剪刀，网球，勺子，笔和杯子。使用数据集，系统可以高达76%的准确度预测对象的身份。该系统还可以预测大约60克内的大多数物体的正确重量。

目前使用的类似的基于传感器的手套运行数千美元，并且通常仅包含大约50个捕获较少信息的传感器。尽管STAG生产的分辨率非常高，但它的市售材料总价约为10美元。

触觉传感系统可以与传统的计算机视觉和基于图像的数据集结合使用，从而使机器人更加人性化地理解与物体的相互作用。

“人类可以很好地识别和处理物体，因为我们有触觉反馈。当我们触摸物体时，我们会感觉周围并意识到它们是什么。机器人没有那么丰富的反馈，”Subramanian Sundaram博士18岁，前研究生计算机科学与人工智能实验室(CSAIL)。“我们一直希望机器人做人类可以做的事情，比如做菜或其他家务。如果你想让机器人做这些事情，他们必须能够很好地操纵物体。”

研究人员还使用数据集来测量对象交互过程中手部区域之间的协作。例如，当某人使用食指的中间关节时，他们很少使用拇指。但索引和中指的提示始终对应于拇指的使用。“我们第一次量化地表明，如果我使用我的一部分手，我有多大可能使用另一部分手，”他说。

假肢制造商可以潜在地使用信息来选择放置压力传感器的最佳位置，并帮助定制假肢以适应人们经常与之交互的任务和物体。

在论文上加入Sundaram是：CSAIL博士后，Petr Kellnhofer和Jun-Yan Zhu;CSAIL研究生Yunzhu Li;Antonio Torralba，EECS教授，麻省理工学院 - IBM Watson AI实验室主任;和Wojciech Matusik，电气工程和计算机科学副教授，计算制造团队负责人。

STAG与导电聚合物层压，改变了对施加压力的抵抗力。研究人员通过导电聚合物薄膜上的孔缝合导电线，从指尖到手掌底部。螺纹重叠的方式将它们变成压力传感器。当戴着手套的人感觉到，举起，握住并掉落物体时，传感器记录每个点的压力。

线程从手套连接到外部电路，外部电路将压力数据转换为“触觉图”，这些图基本上是在手的图形上生长和收缩的点的简短视频。圆点代表压力点的位置，它们的大小代表力 - 点越大，压力越大。

从这些地图中，研究人员通过与26个物体的相互作用编制了大约135,000个视频帧的数据集。神经网络可以使用这些框架来预测物体的身份和重量，并提供有关人类掌握的见解。

为了识别物体，研究人员设计了一种卷积神经网络(CNN)，通常用于对图像进行分类，将特定的压力模式与特定物体联系起来。但诀窍是从不同类型的抓取中选择帧来获得对象的完整画面。

这个想法是模仿人类可以用几种不同的方式握住物体的方式，以便在不使用视力的情况下识别物体。同样，研究人员的CNN从视频中选择最多八个半随机帧，代表最不相似的掌握 - 比如，从底部，顶部和手柄拿着一个杯子。

但CNN不能只选择每个视频中数千个随机帧，或者它可能不会选择不同的握手。相反，它将相似的帧组合在一起，从而产生对应于唯一抓取的不同群集。然后，它从每个簇中拉出一帧，确保它具有代表性样本。然后，CNN使用它在训练中学习的接触模式来从所选择的帧预测对象分类。

“我们希望最大化框架之间的差异，以便为我们的网络提供最好的输入，”Kellnhofer说。“单个群集中的所有帧都应该具有类似的签名，这些签名代表了抓取对象的类似方式。从多个群集中采样模拟人类交互式尝试在探索对象时找到不同的抓取。”

为了进行重量估算，研究人员建立了一个单独的数据集，大约11,600帧，来自手指和拇指，持有和掉落的物体的触觉地图。值得注意的是，CNN没有经过任何测试框架的训练，这意味着它无法学会将重量与物体联系起来。在测试中，将单帧输入CNN。从本质上讲，CNN会检测由物体重量引起的手周围压力，并忽略其他因素造成的压力，例如手部定位以防止物体滑落。然后它根据适当的压力计算重量。

该系统可与已经在机器人关节上的传感器组合，测量扭矩和力，以帮助他们更好地预测物体重量。“关节对于预测体重非常重要，但是我们捕获的指尖和手掌也有重要的重量成分，”Sundaram说。