多模态心理识别与计算

Fri, 20 Mar 2026 00:00:00 +0000

技术能力概述

本方向聚焦于基于多语种文本、语音、视频、步态等多模态数据的个体与群体心理状态智能识别技术研究。团队在语音情感计算、视频行为分析、文本心理测量、游戏行为建模等领域建立了完整的技术体系，能够从多维度、多渠道捕捉个体心理特征，实现对抑郁、焦虑、人格特质、主观幸福感等心理状态的精准识别与预测。

核心技术突破

1. 语音心理识别技术

团队在语音生物标志物研究方面取得国际领先成果。狄雅政等人(2025)在《Molecular Psychiatry》发表的多中心遗传学研究，揭示了语音音高与重度抑郁障碍之间的深层关联，为语音心理识别提供了生物学基础。罗倩等人(2024)开发的基于语音特征的神经质预测模型，能够在抑郁和非抑郁人群中实现高精度人格预测。潘玮等人(2023)的研究证明，语音生物标志物可以有效区分抑郁症、双相情感障碍、精神分裂症和健康对照组，为临床诊断提供了辅助工具。

2. 视频与步态分析技术

在视频心理识别领域，丁当等人(2025)开发的基于面部视频的压力检测技术，显著提升了生态效度，使心理评估能够在自然场景下进行。陈妍朱等人(2024)则将视频分析技术应用于药物成瘾者的人格预测，基于面部运动分析实现了大五人格特质的机器学习预测。步态识别方面，温业业等人(2023)构建的步态视频焦虑自动评估系统，刘兴云等人(2022)开发的基于步态视频的自尊生态识别技术，以及汪静莹等人(2024)通过摄像头捕获步态生物特征识别压力分数的研究，共同构成了完整的步态心理识别技术链。温业业等人(2022)还对基于步态视频的人格评估模型进行了信效度分析，确保了技术的科学性。

3. 文本心理测量技术

团队在社交媒体文本心理分析方面形成了成熟方法体系。黄峰等人(2025)开发的LLM+机器学习混合模型，在从自述文本预测生活满意度方面超越了专家评分，展现了人工智能在心理测量领域的巨大潜力。韩诺等人(2023)的研究揭示了社交媒体表达如何反映个体人格特征，为在线人格评估提供了理论基础。韩诺等人(2024)构建的基于微博的主观幸福感机器学习评估工具，进一步实现了大规模人群心理健康状态的实时监测。

4. 游戏行为心理建模

团队创新性地将游戏行为作为心理特征的投射载体。葛思慧等人(2025)开发的战争游戏行为分析系统，能够通过对手的游戏行为识别其神经质特征。吕思华等人(2022)通过DOTA 2玩家行为预测风险倾向的研究，证明了游戏行为与现实心理特征的关联性。周海燕等人(2022)基于结构方程模型量化了成就动机与游戏行为之间的关系，为游戏心理学研究提供了方法论支持。

5. 决策风格与行为识别

过宇等人(2022)开发的基于Kinect技术的自动决策风格识别方法，实现了对个体决策模式的非侵入式评估，为组织行为学和人力资源管理提供了新工具。

服务领域

本方向可与医疗卫生机构开展多模态心理风险筛查与随访评估工具的联合研发与临床验证，覆盖抑郁、焦虑等常见心理问题的辅助识别。可与教育系统合作建设面向学生群体的心理状态监测与预警模型，形成可落地的测评流程与数据规范。面向互联网平台与内容服务场景，可开展群体心理健康监测、风险内容识别与心理表征指标体系共建。亦可与企业及EAP服务方合作开展员工压力与倦怠评估、组织心理健康监测及干预效果评估研究。

成果展示

样机及系统截图

原型样机

基于步态的心理健康健康识别系统胜任力智能化评估系统

专利

朱廷劭，刘晓倩，汪晓阳，狄雅政，基于个体语音分析的抑郁感知系统建立方法及其抑郁感知系统：中国，ZL 202110100118.1
朱廷劭，刘晓倩，王亚猛，赵楠，一种基于视频中个体步态分析的焦虑感知模型的建立方法：中国，ZL 202110070823.1

软著

基于视频中个体面部分析的情绪感知系统V1.0：软著登记号：2021SR0274264，登记日期：2021年2月22日
5)基于个体语音分析的抑郁感知系统V1.0：软著登记号： 2021SR0302133，登记日期：2021年2月25日
6)基于视频中个体步态分析的焦虑感知系统V1.0：软著登记号：2021SR0306187，登记日期：2021年2月26日
7)基于社会媒体的社会心态预测查询系统V1.0：软著登记号：2016SR016270，登记日期：2016年1月22日
8)网络用户心理健康状态预测与查询系统：软著登记号：2013SR001061，登记日期：2013年1月6日

多模态心理识别 | 中国科学院心理研究所计算网络心理实验室