面向模态异质用户的无线多模态联邦学习系统
知识产权简介
本发明提供了一种面向模态异质用户的无线多模态联邦学习系统及方法，包括服务器、基站以及用户。所述的服务器可直接部署于基站侧或与基站通过光缆相连，服务器通过基站向用户广播全局多模态模型，同时下发用户调度结果和用户所使用的上行带宽，在接收到用户上传的本地多模态模型后进行全局聚合得到新的全局多模态模型；所述的基站利用无线网络完成服务器和用户之间的通信；所述用户拥有的多模态数据是异质的，即不同用户拥有的模态可为所有模态的任一子集，被调度的用户使用自身数据将接收的模型进行更新，将得到的本地多模态模型上传给基站。本发明考虑了模态异质下的无线多模态联邦学习，对无线多模态联邦学习系统进行了设计，通过联合优化用户调度与上行功率，降低了联邦学习的能耗，更使得多模态模型在单模和多模数据上的性能得到了提升。
转化前景
本发明提供了一种面向模态异质用户的无线多模态联邦学习系统及方法，包括服务器、基站以及用户。所述的服务器可直接部署于基站侧或与基站通过光缆相连，服务器通过基站向用户广播全局多模态模型，同时下发用户调度结果和用户所使用的上行带宽，在接收到用户上传的本地多模态模型后进行全局聚合得到新的全局多模态模型；所述的基站利用无线网络完成服务器和用户之间的通信；所述用户拥有的多模态数据是异质的，即不同用户拥有的模态可为所有模态的任一子集，被调度的用户使用自身数据将接收的模型进行更新，将得到的本地多模态模型上传给基站。本发明考虑了模态异质下的无线多模态联邦学习，对无线多模态联邦学习系统进行了设计，通过联合优化用户调度与上行功率，降低了联邦学习的能耗，更使得多模态模型在单模和多模数据上的性能得到了提升。