日前，世界尖端机械臂大赛SAPIENManiSkillChallenge2021发布了本届参赛部队成果以及终究排名，其间京东探究研究院视觉与多媒体实验室的参赛团队?“Silver-Bullet-3D”在两个重要赛道中别离取得“榜首”和“第二”的优异成果，充沛证明了京东探究研究院在计算机视觉范畴遭到世界认可。

  SAPIENManiSkillChallenge机械臂大赛是由美国加州大学圣地亚哥分校、伯克利分校以及斯坦福大学联合在世界机器学习尖端会议ICLR2022上举行的世界重磅赛事。该竞赛在达到方针的规划上具有很强的丰富性，能做到让专业性很高的人工智能技能更简单施行在实际场景的机械臂操控中。本次竞赛将操控机械臂完结的使命品种规划为四种，别离是开柜门、移动椅子、开抽屉以及搬水桶，招引了来自全球闻名组织以及高等院校的30多支部队参加其间。

  具体来说“NoInteractionTrack”，即“选用仿照学习计划”，旨在从预先搜集的演示轨道中有用学习。在满意该技能方面的要求的前提下，参赛团队提出了依据仿照学习的解决计划，最重要的包括两个模块，别离是直接选用仿照行为的行为克隆以及离线增强学习，一起为了对机械臂和纵物体杂乱的纹路、结构信息建模，提出了依据Transformer的联系建模网络。值得提及的是在榜首阶段和第二阶段官方测验中，该模型在所有四个单项使命中均位列榜首，充沛证明了京东探究研究院视觉与多媒体实验室在依据模型学习的机械臂操控范畴的技能抢先性。

  此外在满意该项技能方面的要求，即“NoRestrictionTrack”，也能够被释义为“选用规矩计划”的过程中，组委会答应本次的参赛部队依据与仿真环境的交互恣意规划操控和规划计划。对此团队提出了依据启发式规矩的计划(HRM)，将杂乱的操作使命分解为一系列子使命，依据在仿真环境中观察到的图画和点云，并依据规矩的操控逻辑猜测机械臂要完结的操作以完成当时子使命的方针。在官方评测中，该计划以超越第二名23.8%的非常大的优势取得榜首名。

  现在京东探究研究院计算机视觉技能方向专利已授权18项，其团队核心成员在AI顶会宣布的论文总量180+篇，尤其在第29届ACM世界多媒体尖端会议(ACMInternationalConferenceonMultimedia,简称ACMMultimedia)上，京东探究研究院凭仗多模态交互数字人技能、跨模态剖析技能别离斩获最佳演示奖及最佳开源项目奖。