记者4月29日从天津理工大学得悉，该校核算机科学与工程学院副教授亓帆以及所辅导的2022级研讨生李帅，针对多模态联邦学习中常见的模态不兼容问题展开了深入研讨，提出了一种立异的自适应超图聚合的多模态联邦学习结构。近来，该效果论文被核算机视觉和AI范畴世界公认的尖端会议(CVPR 2024)选用。

　　据介绍，在联邦学习设置下，只会传输模型参数或梯度进行大局优化，不会传输每个客户端的隐私数据，然后有助于维护用户隐私，但大多数现有的联邦学习方法在练习时仍运用的是单模态数据。跟着边际核算的继续不断的开展，不同传感器和设备产生的数据具有不一样模态(如触觉、视觉、听觉等)。根据上述研讨要素，关于多模态联邦学习(MMFL)的研讨是有必要的。该结构经过结构化规划客户模型、大局一致原型增强器以及自适应超图聚合协作图三大要害模块，可以自适应地完结多模态客户端之间模型的聚合，完结跨模态数据客户端之间的联邦协同练习。

　　值得一提的是，相较于已有联邦学习作业重视客户端数据计算异质的应战，该结构一起处理了模态不兼容和计算异质性的两层应战，甚至在服务器不清楚客户端模态的状况下也能自适应地完结这一使命。

　　①凡本站注明稿件来历为：我国高新技术产业导报、我国高新网、中高新传媒的一切文字、图片和音视频稿件，版权均属本网一切，任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他方法仿制宣布。现已本网授权运用著作的，被授权人应在授权范围内运用，并注明“来历：我国高新网、中高新传媒或许我国高新技术产业导报”。违背上述声明者 ，本网将追究其有关规定法律责任。

　　② 任何单位或个人觉得本网站或本网站链接内容或许涉嫌侵略其合法权益，应该及时向本网站书面反应，并供给身份证明，权属证明及具体侵权状况证明，本网站在收到上述文件后，将会赶快移除被控侵权的内容或链接。

　　③如因著作内容、版权和其他问题需要与本网联络的，请在该事由产生之日起30日内进行。电话 电子邮件：请将“#”换为“@”)