情感计算组致力于从计算机视觉的角度,研究机器学习等方法感知并深刻理解人类的意图、情感和精神状态,主要包括情绪类型的识别、人脸动作单元检测、情感正负性和强度估计、心理状态和精神状况评估等。情感计算组在国内外重要期刊和会议发表论文若干,并多次获得国际学术竞赛冠亚军。
该研究组的研究内容包括面向视觉情感感知的学习方法、视觉情感计算基本任务、应用三个方面:
(1)面向视觉情感计算的学习方法
重点针对情感计算数据和任务的特点,研究非理想标注条件下的机器学习算法,如自/半监督学习、弱监督学习、协同监督学习等基础理论与方法。
(2)基于视觉的情感计算基本任务
• 面部表情相关
o 离散情绪分类
o 面部动作单元(facial action unit, AU)检测
o 情感维度估计
o 零样本多标签表情识别、基于视觉的心理状态估计(如专注、无聊、紧张、焦虑等)
• 视线方向相关
o 三维视线方向估计
o 二维屏幕视点估计
o 视线跟踪与视线模式判断
(3)基于视觉的情感计算应用
• 金融信贷评估中的应用
• 精神状况评估的客观化(儿童孤独症、抑郁症等)
• 驾驶员状态评估