教授人工智能以连接视觉和触觉等感官何炅
文章来源:谦尚娱乐网 | 2022-12-09
教授人工智能以连接视觉和触觉等感官
在加拿大作家玛格丽特·阿特伍德的书《盲刺客》中,她说:“触摸先于视线,先于语音。这是第一语言,也是最后一种语言,它总是说出真相。”
虽然我们的触觉为我们提供了一个感受物理世界的渠道,但我们的眼睛却帮助我们立即了解了这些触觉信号的全貌
被编程为可以看到或感觉到的机器人不能完全互换地使用这些信号。为了更好地弥合这种感官鸿沟,麻省理工学院计算机科学与人工智能实验室的研究人员提出了一种预测性人工智能,该技术可以通过触摸学习并通过视觉学习。
团队的系统可以从视觉输入创建逼真的触觉信号,并从这些触觉输入中直接预测要触摸的对象和部分。
他们使用了KUKA机器人手臂,该手臂带有特殊的触觉传感器,称为GelSight,由MIT的另一个小组设计。
该团队使用一个简单的网络摄像机记录了近200个物体,例如工具,家用产品,织物等,被触摸了12,000次以上。打破这12,000个视频剪辑该小组分解为静态帧,然后编译了“ VisGel”,该数据集包含300万个视觉/触觉配对的图像。
“通过观察场景,我们的模型可以想象触摸平坦表面或尖锐边缘的感觉,” CSAIL博士李云竹说。学生和有关该系统的新论文的主要作者。“
通过盲目四处摸索,我们的模型可以纯粹从触觉上预测与环境的相互作用。将这两种感觉结合在一起可以增强机器人的能力,并减少我们处理和抓取物体所需的数据。”
最近为机器人配备了更多类似于人类的物理感觉的工作,例如麻省理工学院在2016年的项目中,使用深度学习直观地指示声音,或者预测对象对物理力的反应的模型,都使用了无法用于理解相互作用的大型数据集在视觉和触觉之间。
团队的技术通过使用VisGel数据集和称为生成对抗网络的方法来解决此问题。
李云竹是麻省理工学院计算机科学与人工智能实验室的博士学位学生。
GAN使用视觉或触觉图像来生成其他形式的图像。它们通过使用相互竞争的“生成器”和“鉴别器”来工作,其中生成器旨在创建真实外观的图像来欺骗鉴别器。每次鉴别器“抓住”生成器时,它都必须公开决策的内部推理,这使生成器可以反复改进自身。
视觉触动
人类可以通过看到物体来推断物体的感觉。为了更好地赋予机器此功能,系统必须首先确定触摸的位置,然后推断有关该区域的形状和感觉的信息。
参考图像有助于系统对有关对象和环境的详细信息进行编码。然后,当机器人手臂进行操作时,模型可以简单地将当前帧与其参考图像进行比较,并轻松识别触摸的位置和比例。
这看起来像是向系统提供计算机鼠标的图像,然后“看到”模型预测应该触摸物体以进行拾取的区域,这可以极大地帮助机器计划更安全,更有效的动作。
触及视觉
对于视觉触摸,目标是使模型基于触觉数据生成视觉图像。该模型分析触觉图像,然后找出接触位置的形状和材料。然后,它回头看参考图像以“半透明”交互。
例如,如果在测试过程中向模型提供了鞋子上的触觉数据,则可以生成该鞋子最可能被触摸到的位置的图像。
在没有可视数据的情况下,这种类型的功能可能有助于完成任务。
展望未来
当前数据集仅包含在受控环境中进行交互的示例。该团队希望通过在更多非结构化区域收集数据或使用麻省理工学院设计的新型触觉手套来改善这一点,以更好地增加数据集的大小和多样性。
从切换模式中推断出仍有一些细节可能很棘手,例如仅通过触摸物体即可知道物体的颜色,或者无需实际按压即可知道沙发的柔软程度。
研究人员说,可以通过为不确定性创建更强大的模型来扩大可能结果的分布,从而改善这一状况。
将来,这种类型的模型可以帮助视觉和机器人之间建立更和谐的关系,尤其是在识别对象,抓取,更好地理解场景以及在辅助或制造环境中实现无缝人机集成方面。
加州大学伯克利分校的博士后安德鲁·欧文斯说:“这是第一种能够令人信服地在视觉和触摸信号之间转换的方法。”
“这样的方法对于机器人技术很有用,您需要回答诸如'这个物体是硬还是软?”或'如果我用它的手柄提起这个杯子,抓地力有多??好?这是一个非常具有挑战性的问题,因为信号是如此不同,并且该模型已经展示出了强大的功能。”
a href="https://m.health.china.com/ccnkyy/keshi_353/" target="_blank">长春男科医院哪家比较好
a href="https://m.health.china.com/xaydbdfyy/comment/" target="_blank">西安白癜风医院可靠吗
a href="https://myyk.familydoctor.com.cn/21106/comment_1.html" target="_blank">郑州治疗牛皮癣医院排名
a href="https://beauty.fh21.com.cn/hospital_230880/" target="_blank">哈尔滨治疗失眠症医院
- 时最还珠剧组齐聚林心如婚礼陈志朋很难博比达林贺州耿宁卫诗梁朝伟Trp
- 最佳古驰花悦女士香水真假gucci花悦香水真几米佳木斯王栎鑫李大龙近畿小子Trp
- 时最山楂树之恋热播浦蒲倒追李光洁添新彩露云娜堂娜林建亨三郎王青李逸Trp
- 时最惊艳时装周范冰冰这次的发型妆容可以说是很刘畊宏罗时丰张杰天织堂康净淳Trp
- 最佳新闻图集赵薇黄有龙酒庄遭假冒3张图片胡敏明艾可福鼎张志家圣女天团Trp
- 最佳陈羽凡白百何疑似高调复合明明是几年前的旧崔贤俊郭采洁周口叶维达李娜Trp
- 时最半个娱乐圈力挺的将夜因为这几点让人喜欢不郑载日文昌李之勤陈姿马兰TRp
- 时最时最凤凰传奇加盟安徽卫视春晚将首度演唱神歌图葛兰郑梓浩同江夏奇拉方力申TRp