实验室3篇论文被NeurIPS 2023接收

2023年9月22日，实验室3篇论文被NeurIPS 2023接收。NeurIPS会议的全称是Annual Conference on Neural Information Processing Systems，是机器学习与模式识别的顶级会议。会议将于2023年12月10日至16日在美国新奥尔良召开。

被录用论文的简要介绍如下：

1. Minyang Hu, Hong Chang, Zong Guo, Bingpeng Ma, Shiguang Shan, Xilin Chen. Understanding Few-Shot Learning: Measuring Task Relatedness and Adaptation Difficulty via Attributes.

小样本学习 (FSL)旨在通过利用相关训练任务的经验，从而只用少量的有标签样本来学习新的任务。本文试图通过探讨两个关键问题来理解小样本学习：（1）如何量化训练任务和新任务之间的关系？（2）这种关系如何影响不同模型在新任务上的适应难度？为了回答第一个问题，本文提出了任务属性距离（TAD）作为度量标准，通过属性来量化任务之间的相关性。与其他度量标准不同，TAD与模型无关，因此适用于各种不同的小样本模型。为了解决第二个问题，本文基于TAD度量建立了任务相关性和任务适应难度之间的理论联系。通过推导在新任务上的泛化误差上界，本文发现了TAD如何影响不同模型在新任务上的适应难度。为了验证本文的理论结果，本文在三个基准数据集上进行了实验。本文的实验结果证明，TAD度量有效地量化了任务的相关性，并反映了各种小样本方法在新任务上的适应难度，即使其中一些方法并没有不明确学习属性或未提供人工注释的属性。

图1 TAD距离和新任务上模型准确率之间的关系

2. Jiachen Liang, Ruibing Hou, Hong Chang, Bingpeng Ma, Shiguang Shan, Xilin Chen. Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation.

传统的半监督学习（SSL）假设标记数据和未标记数据的特征分布是一致的，这在现实场景中很难满足。在这里，本文引入了一种更广义的半监督问题设定，以形式化标记样本和未标记样本之间可能出现特征分布不匹配的概念。以前的SSL方法大多使用当前模型预测伪标签，当伪标签不准确时会导致误差累积。为了解决这个问题，本文提出了自监督特征自适应（SSFA）通用框架，用于在标记和未标记数据来自不同分布时提高SSL性能。SSFA将伪标签的预测与当前模型解耦，以提高伪标签的质量。特别地，SSFA将自监督任务合并到SSL框架中，并使用它使模型的特征提取器适应未标记的数据。通过这种方式，提取的特征更好地拟合未标记数据的分布，从而生成高质量的伪标签。大量实验表明，本文提出的SSFA适用于任何基于伪标签的SSL学习器，并显著提高了在标记、未标记甚至不可见分布中的性能。

图2 基于自监督特征自适应的广义半监督学习框架

3. Huiyang Shao, Qianqian Xu, Zhiyong Yang, Peisong Wen, Gao Peifeng, Qingming Huang. Weighted ROC Curve in Cost Space: Extending AUC to Cost-Sensitive Learning.

接收者操作特征（ROC）是描述评分函数真阳性率（TPR）和假阳性率（FPR）之间权衡的常用工具。AUC由ROC曲线下的面积定义。该指标自然地衡量了不同阈值下的平均分类性能，并被广泛使用。与AUC优化类似，成本敏感学习是一种常见的数据挖掘方法。其主要目标是将误分类成本纳入模型中，与现实场景更加兼容。本文旨在解决长尾数据集的灵活成本需求问题，需要构建一个（1）成本敏感和（2）类分布鲁棒的学习框架。误分类成本和ROC曲线下面积（AUC）是（1）和（2）的常用指标。然而，受到它们的形式的限制，用AUC训练的模型不能应用于成本敏感的决策问题，而用固定成本训练的模型对类分布的偏移敏感。为了解决这个问题，本文提出了一个新的场景，在该场景中，成本被视为一个数据集，以应对任意未知的成本分布。此外，本文提出了一种新颖的加权AUC版本，通过决策阈值将成本分布纳入其计算中。为了制定这个场景，本文提出了一个新颖的双层优化范式，以建立加权AUC（WAUC）和成本之间的桥梁。内层问题从采样成本中逼近最优阈值，外层问题在最优阈值分布上最小化WAUC损失。为了优化这个双层范式，本文采用了一种随机优化算法（SACCL），其收敛速度（O（ε-4））与随机梯度下降（SGD）相同。最后，实验证明本文的算法比现有的成本敏感学习方法和两阶段AUC决策方法表现更好。

图3 WAUC学习过程与现有方法的对比