在人类行为研究中，面部动作、表情、视线等可观测的视觉信号是理解心理过程和社会互动的重要线索。随着计算机视觉技术的发展，从图像与视频数据中自动提取的人类面部和身体行为信息正在成为心理学、行为科学、人机交互等领域的可用资源。然而，现有视觉分析工具往往针对单一任务开发，工具接口、部署方式和数据处理流程存在差异，限制了相关技术在跨学科研究中的应用。
为推动视觉计算技术与心理、行为研究的融合，计算所VIPL组联合中科视拓（北京）科技有限公司、东南大学等于近期发布了开源工具SeetaPsych v1.0。作为一个面向心理测量的开放源代码计算机视觉工具箱，该工具旨在为心理学、行为科学、人机交互及相关领域研究者提供统一、便捷、可扩展的人类心理外显可视行为分析平台，降低计算机视觉方法在相关交叉领域研究中的使用门槛。
图1 SeetaPsych v1.0总体架构
如图1所示，SeetaPsych v1.0围绕“从面部视觉数据中提取心理与行为相关信号”这一目标，整合了表情、心率、视线等多种分析能力，分别简介如下：
- 多维度面部情感信息提取能力：如图2所示，SeetaPsych v1.0采用多任务协同框架，将7种面部(宏)表情识别、16个面部动作单元（Action Unit, AU）检测、效价-唤醒度（Valence–Arousal）估计三种功能融合在统一模型中，实现面部图像中多维情感相关信息的快速提取。
图2 SeetaPsych v1.0面部表情和动作分析技术架构
- 非接触式远距离心率估计能力：如图3所示，SeetaPsych v1.0提供了两种基于远距离(0.5米~2.5米)视频分析的心率估计方法AdaChrom和TinyHR，分别采用传统的BVP波形分析方法和轻量级深度学习方法实现心率估计。
图3 SeetaPsych v1.0基于视频的心率估计技术架构
- 屏幕视线估计能力：如图4所示，SeetaPsych v1.0提供了2D回归和3D视线几何分析两种预测用户屏幕注视点的方案，实现基于普通摄像头的屏幕视点(PoG)估计，可为视觉注意和人机交互研究提供视觉工具支持。
图4 SeetaPsych v1.0基于普通摄像头的屏幕视点估计技术架构
- 场景视线追踪及双人视线交互模式分析能力：如图5所示，SeetaPsych v1.0采用CoSIGaze架构，通过场景特征和头部编码融合来分析人物在自然场景中的注视目标，并支持双人社交互动中的视线交互模式分析与理解（包括对视、共视、忽视、单视、无交互共五种模式）。
图5 SeetaPsych v1.0场景视线追踪及双人视线交互模式分析技术架构
除上述功能外，SeetaPsych v1.0还提供人脸检测、关键点定位等基础视觉处理模块，并通过统一的Pipeline/Runner架构管理不同算法模块之间的依赖关系，使研究者能够根据实验需求灵活构建分析流程。工具同时支持Python API进行批量处理，也提供可视化WebUI，帮助研究者快速测试和使用相关模型。
在功能设计上，SeetaPsych v1.0强调开放性与可扩展性。研究者无需针对不同任务分别搭建技术环境，即可在统一框架下调用多种视觉测量方法，并将分析结果整合至实验流程和数据分析体系中，可为心理学实验、行为观察、人机交互评估、社交互动分析等跨学科研究提供了新的技术支撑。
作为一个持续发展的开源工具平台，SeetaPsych后续版本将进一步拓展可测量的行为信号类型，包括手势、体势、身体动作等更多身体语言信息，同时持续优化模型在不同人群、设备和环境中的适用性。
SeetaPsych v1.0现已开放在GitHub：https://github.com/seetapsych/seetapsych-lib。更详细的内容（如技术方法、性能指标等）参见技术报告：http://arxiv.org/abs/2609.19719。欢迎心理学、认知科学、行为科学、人机交互、教育、医学及相关领域研究者积极使用，共同推动视觉计算与人类行为研究的交叉融合。
研究团队重视视觉行为分析中的伦理与隐私问题，建议使用者在数据采集、模型应用和结果解释过程中遵循相关科技伦理规范。
附件下载：