2024年5月2日，实验室1篇论文被ICML 2024接收。ICML会议的全称是International Conference on Machine Learning，是机器学习领域的国际顶级会议。会议将于2024年7月21日至27日在奥地利首都维也纳召开。论文的信息概要介绍如下:
ReconBoost: Boosting Can Achieve Modality Reconcilement (Cong Hua, Qianqian Xu, Shilong Bao, Zhiyong Yang, Qingming Huang)
当前的多模态联合学习范式倾向于同时探索多模态特征， 由此产生的梯度阻碍了对弱模态特征的进一步挖掘，从而导致模态竞争，即优势模态主导了整体的学习过程。为了解决这个问题，本文探讨了一种新颖的多模态交替学习范式，旨在追求单模态特征利用与跨模态交互探索之间的调和。具体来说，本文提出了一种名为ReconBoost的新方法，每次更新一个固定的模态。在这种方法中，学习目标依据调和正则化来动态调整，以应对与其他模态的竞争。通过选择基于 KL 散度的调和项，ReconBoost类似于Friedman的Gradient Boosting算法，更新后的模态学习器可以纠正其他学习器的错误，从而提高整体性能。与经典 Gradient Boosting 算法相比，ReconBoost只保留了每种模态的最新模型，以避免强学习器集合造成的过拟合。此外，本文还提出了一种记忆巩固方案和全局矫正方案，以使这一策略更加有效。最后，在六个多模态数据集的实验结果证明了所提方法的有效性。
图 1 ReconBoost的整体框架
附件下载：