南昌大学熊鹏文、东南大学宋爱国团队:面向机器人交互识别的抗干扰多模态柔性电子皮肤

作者:    来源: 机器人ROBOT    时间:2025-02-27
   

触觉感知是人类和其他动物感知外部世界的基本方式之一,而皮肤作为最大的感受器官,在感知外部环境时发挥着至关重要的作用。对于机器人来说,触觉感知同样是其在复杂约束环境中探索和感知外界环境的关键手段,特别是在接触式交互作业中,传统机器视觉往往受到限制,而触觉感知则显得尤为重要。

近年来,电子皮肤技术的出现为机器人触觉感知带来了革命性的进步。电子皮肤模仿人类皮肤的功能,通过集成各种类型的触觉传感器,能够提供更加细腻和全面的触觉信息。本文提出并研制了一种多模态柔性电子皮肤,并开展其在机器人交互及抗磁场干扰方面的研究。将混有磁粉的硅胶与分布式柔性触觉传感阵列集成为多模态力触觉感知层,在时间和空间同步感知触觉信息和力触觉阵列,解决传统触觉感知系统时空弱配对的问题。构建基于CNN-SVM-MLP的多模态融合算法,实现对多模态触觉信息的高效融合,基于此构建机器人物体识别框架,实现交互物体的精准识别。通过对非磁性物体和磁性物体交互实验及分析,结果表明我们的多模态柔性电子皮肤可以有效提高磁性触觉传感器的抗磁场干扰能力,能够实现24种物体的精准识别,准确率达到99.42%。

1 多模态触觉感知
在人体皮肤分层式结构的启发下,本文提出了一种新型的多模态柔性电子皮肤,将混钕铁硼磁粉的硅胶与分布式柔性触觉传感阵列进行一体成型,制备成一种集成式的多模态力触觉感知层,如图1所示,可以时间空间同步地采集磁性触觉信息和力触觉阵列信息,实现在一个感知层获取到两种异质的触觉信息,有效地提取物体表面的多维触觉信息。

图 1  多模态软磁传感器
多模态融合网络通过结合来自不同模态(特征类型或数据源)的信息,可以捕捉单一模态无法提供的复杂特征和模式。为了提高机器人执行物体分类任务的准确率,提出一种基于CNN-SVM-MLP的多模态融合算法,结构如图2所示。

图 2 网络结构图
2 实验与结果
为了验证引入多模态感知方法后,是否可以有效提升设计的多模态磁性传感器的感知能力,以及磁性触觉传感器的抗磁场干扰能力,设计了2组实验:
实验1:触觉传感器通过与被感知对象进行接触收集触觉信息,对物体的外部形状感知能力是评价传感器性能的最关键的因素。因此,收集了日常生活中24种常见的物体,如图3所示,这其中包含了形状迥异的物体以及形状高度类似的物体。将多模态磁性触觉传感器分别与单模态的力触觉阵列和磁性触觉传感器对比。

图 3 实验物体
实验2:磁性触觉传感器通过霍尔传感器感知磁场的变化来实现触觉信息采集,当被感知对象为磁性物体时,会受到物体本身磁场的干扰。抗磁场干扰能力是影响磁性触觉传感器感知精度的重要因素。因此,在实验1中的24种物体中选取4种物体,如图4所示,在不改变其外部触觉特征的前提下,根据形状的不同在其内部嵌入不同数量的钕铁硼磁性颗粒。将改造后的4种物体混入原有的24种物体中,根据其原有的触觉特征设置相同的标签,进行相同的实验。



图 4 磁性物体
根据实验1,使用原始数据集,分别将单一模态的力触觉阵列信息数据集,输入到CNN模型;将单一模态的磁性触觉信息数据集输入到SVM模型;将多模态数据集输入到多模态融合模型中进行物体分类实验得到实验准确率,结果如图5所示。多模态数据融合得到实验结果混淆矩阵如图6所示。

图 5  实验 1 结果

图 6 多模态混淆矩阵
根据实验 2,使用混入磁性物体的数据集,分别将单一模态的力触觉阵列信息数据集,输入到CNN模型;将单一模态的磁性触觉信息数据集输入到SVM模型;将多模态数据集输入到多模态融合模型中进行物体分类实验得到实验准确率,结果如图7所示。

图 7 实验 2 结果
根据实验 1 所得到的实验结果可以发现,利用单一模态的触觉感知信息进行机器人物体分类实验可以取得一定的效果。在使用力触觉阵列信息进行分类实验中,可以达到 97.02% 的准确率,比使用磁性触觉信息进行分类实验的 96.52% 的准确率略高,说明输出结果与物体形状有着更直接的线性映射关系的信息维度更高的力触觉阵列信息,相较于输出结果与物体形状有非线性映射关系的信息维度更低的磁性触觉信息,在物体分类实验中能够取得更好的效果。将 2 种模态的信息融合后输入到多模态数据融合框架中得到的分类实验准确率可高达99.42%。实验结果表明,多模态触觉信息融合比单一模态触觉感知更准确,所设计的多模态磁性触觉传感器在机器人物体识别中是有效的。
对比实验1和实验2的实验结果,在实验物体中混入磁性物体后,利用多模态触觉感知信息进行机器人物体分类实验的准确率几乎保持不变为99.43%,而单一模态的磁性触觉信息进行分类实验的准确率下降到87.36%,下降了9.16%。实验结果说明物体有无磁性会影响磁性触觉传感器对触觉信息的获取,通过引入多模态感知方式,会提高磁性触觉传感器的抗磁性干扰能力。
3 总结与展望
本文提出并研制了一种新型的多模态柔性电子皮肤,将混有钕铁硼磁粉的硅胶与分布式柔性触觉传感阵列一体成型,制备一种集成式的多模态力触觉感知层,可以时间、空间同步地收集到磁性触觉信息和力触觉阵列信息,实现一个感知层收集到 2 种异质的触觉信息,有效提高磁性触觉传感器的抗外界磁场干扰能力,可以精准有效地提取物体表面的多维触觉信息,实现可靠的机器人物体识别任务,识别准确率达到 99.42%。提出了一种基于CNN-SVM-MLP的多模态融合算法,实现对多模态触觉信息的高效融合。通过大量实验验证了该传感器的抗磁场干扰能力和在机器人物体识别领域的有效性。
鉴于该电子皮肤具有触觉感知性能优异、界面形变良好的优点,在未来的研究中,可将其部署在机器人指尖或者大面积部署在机器人表面,促进机器人抓取、非结构化环境探索、滑动检测等领域深入研究。





作者简介




640 - 2025-02-27T094421.465.png

熊鹏文,南昌大学教授、博士生导师,现任智能机器人江西省重点实验室主任/南昌大学机器人研究所所长(正处级)、先进制造学院副院长。

IEEE Senior Member,中国仪器仪表学会力触觉感知与交互专委会委员、中国自动化学会智能自动化专委会委员、中国计算机学会智能机器人专委会执行委员、中国人工智能学会认知系统与信息处理专委会委员,江西省杰出青年基金获得者、江西省“双千计划”人才,江西省主要学科学术与技术带头人、江西省自动化仪器电气类专业教指委委员

近年来主持国家重点研发计划"智能机器人"重点专项子课题、国家自然科学基金4项,中国博士后科学基金,以及其他省部级以上课题10项,企业横向课题多项。以第一或通讯作者在 IEEE TCYB、IEEE TII、IEEE TIE、IEEE TSMCA、IEEE TMECH、IEEE TASE、IEEE/CAA JAS、中国科学:技术科学》、中国科学:信息科学》、《自动化学报》、《机器人》、ICRA 等国内外高水平期刊和会议上发表学术论文100余篇。以第一发明人申报国家发明专利35项,已授权23项。先后获得江西省科技进步一等奖(排名第一)、吴文俊人工智能科技进步二等奖、江西省教学成果一等奖(本科教育类)、江西省教学成果二等奖(研究生教育类)、江西省教学成果奖青年培育项目。

图片

# 代表性成果:(滑动查看更多):

[1] Pengwen Xiong, Xiaobao Tong, Peter X. Liu, Aiguo Song, Zhijun Li, Robotic Object Perception based on Multi-Spectral Few-Shot Coupled Learning, IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2023, 53(10): 6119-6131.

[2] Pengwen Xiong, Junjie Liao, MengChu Zhou, Aiguo Song, Peter X. Liu, Deeply Supervised Subspace Learning for Cross-Modal Material Perception of Known and Unknown Objects, IEEE Transactions on Industrial Informatics, 2023, 19(2): 2259-2268.

[3] Junjie Liao,Pengwen Xiong*, Peter X. Liu, Zhijun Li, Aiguo Song, Enhancing Robotic Tactile Exploration with Multi-receptive Graph Convolutional Networks, IEEE Transactions on Industrial Electronics, 2024, 71(8): 9297-9308.

[4] Pengwen Xiong, Kongfei He, Aiguo Song, Peter X. Liu, Robotic haptic adjective perception based on coupled sparse coding, SCIENCE CHINA Information Sciences, 2023, 66(2): 129201.

[5] Pengwen Xiong, Kongfei He, Edmond Q. Wu, Limin Zhu, Aiguo Song, Peter X. Liu, Human Exploratory Procedures based Hybrid Measurement Fusion for Material Recognition, IEEE/ASME Transactions on Mechatronics, 2022, 27(2): 1093-1104.

[6] Pengwen Xiong, Xiaodong Zhu, Aiguo Song, Peter X. Liu, Lihang Feng, A Target Grabbing Strategy for Telerobot Based on Improved Stiffness Display Device, IEEE/CAA Journal of Automatica Sinica, 2017, 4(4): 661-667.

[7] Pengwen Xiong, Xiaobao Tong, Aiguo Song, Peter X. Liu, Robotic Multifinger Grasping State Recognition Based on Adaptive Multikernel Dictionary Learning, IEEE Transactions on Instrumentation and Measurement, 2022, 71: 2511014.

[8] Qi Wei, Pengwen Xiong*, Aiguo Song, Qiang Li, Task-specific Embodied Tactile Sensing for Dexterous Hand, IEEE International Conference on Robotics and Automation, 2025.

[9] 熊鹏文,童小宝,宋爱国,刘小平,基于变分贝叶斯高斯混合噪声的机器人跨模态生成对抗网络,中国科学:信息科学,2021,51(1): 104-121.

[10] 童小宝,熊鹏文*,陈志远,宋爱国,刘小平,基于自适应多核稀疏表示的机器人触觉物体感知研究,中国科学:技术科学,2023,53(12): 2053 - 2065.

图片
640 (19).jpg
宋爱国,东南大学首席教授,东南大学电气仪器控制学部主任、空间科学与技术研究院执行院长、数字医学工程全国重点实验室副主任、江苏省机器人感知与控制技术重点实验室主任、机器人传感与控制技术研究所所长。
国家杰出青年基金获得者,中国青年科技奖获得者,全国优秀科技工作者,宝钢优秀教师特等奖获得者,入选国家万人计划和国家百千万人才工程。国务院学位委员会仪器科学与技术学科评议组成员、中国仪器仪表学会常务理事、中国计量测试学会常务理事、江苏省仪器仪表学会理事长、IEEE南京地区机器人分会主席,《机器人》编委等。

长期从事机器人力触觉传感技术、人机交互遥操作机器人技术、助老康复机器人技术、空间机器人技术、电力机器人技术等研究,先后负责国家重点研发计划项目1项和课题2项、国家863项目10项、国家自然科学基金重点项目3项和面上项目7项、载人航天921项目9项、国防预研和国防创新项目6项、江苏省重点科技计划项目6项等重要项目60余项。作为第一完成人获国家技术发明二等奖1项,教育部技术发明一等奖3项,江苏省科技进步一等奖2项,吴文俊人工智能科技进步一等奖1项,中国仪器仪表学会科技进步一等奖1项,中国专利优秀奖2项,日内瓦国际发明金奖5项等。发表学术论文400余篇,其中SCI论文300余篇,论文被引用12000余次。获发明专利授权100余项,编写康复机器人等国家标准5项