英国埃塞克斯大学讲师龙云飞学术报告

发布日期:2019-12-24 浏览次数: [字体: ]

报告题目:多模态情感分析相关任务

报告人:龙云飞

       英国埃塞克斯大学电子与计算机学院讲师

报告时间:1227日上午9:30

报告地点:明理楼-402

专家简介:

龙云飞,20193月毕业于香港理工大学电子计算系,随后在诺丁汉大学医学院智能心理健康研究中心任博士后研究员,201912月聘任为埃塞克斯大学电子与计算机学院自然语言处理方向讲师。研究方向为自然语言处理与心理健康干预精神疾病诊疗。具体项目包括:青少年心理健康论坛的自动监测基于文本挖掘技术的正念判别双向情感障碍的预测及潜在干预, 多模态多任务数据分类等。近五年在自然语言处理界累计发表SCI, EI 检索论文29篇,其中第一作者或通讯作者发表的JCR一区期刊5篇,SSCI 1篇,包括 IEEE trans of Affective computing (SCI IF:4.585) Information Fusion (SCI IF 10.716) Linguistics (SSCI Q2,语言学领域顶级期刊)等。

内容简介:

随着社交网络的快速发展,人们表达情感的方式从单一的文本介质到通过图文和视频等多模态表达自己的情绪和观点。如何分析多模态数据(主要指声音,图像和文字)中的情感,是当前情感分析领域面临的机遇和挑战。

一方面,以往情感分析聚焦于单个模态。如文本情感分析着眼于分析,挖掘和推理文本中蕴含的情感。现在需要对多个模态的数据进行处理和分析,这给研究人员带来了更大的挑战。另一方面,多模态数据与单模态数据相比,包含了更多的信息,多个模态之间可以互相补充。从人机交互角度出发,多模态情感分析可以使得机器在更加自然的情况下与人进行交互。自然语言处理模型可以基于图像中人的表情和手势,声音中的音调,和识别出的自然语言来理解用户情感,进而进行反馈。

从背景上来说,多模态情感分析技术的发展源于实际生活的需求,人们以更加自然的方式表达情感,在技术上就要求进行多模态理解和分析。虽然多模态数据包含了更多的信息,但如何进行多模态数据的融合,使得利用多模态数据能够带来信息增益而不是噪声。如何利用不同模态数据之间的对齐信息,建模不同模态数据之间关联。这些都是当前多模态情感分析领域感兴趣的问题。为了能够更好的介绍多模态情感分析领域的相关研究,本报告梳理了目前多模态情感分析领域相关任务并总结了常用的细分领域任务 数据集及对应的方法,同时本报告也总结了目前研究的不足,对下一阶段可能的研究方向做出预测和展望。