融合MFCC和Wav2vec特征的对话情感识别方法
DOI:
CSTR:
作者:
作者单位:

安徽建筑大学

作者简介:

通讯作者:

中图分类号:

基金项目:

2023年度安徽省住房城乡建设科学技术计划项目(2023-YF004,2023-YF113)安徽建筑大学智能建筑与建筑节能安徽省重点实验室开放课题(IBES2022ZR02)


融合MFCC和Wav2vec特征的对话情感识别方法
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对语音信号传统手工特征动态信息捕捉不足的问题,引入wav2vec 2.0模型提取语音信号中的长距离依赖关系,通过特征融合方式得到充分的情感特征表示。本文提取了语音信号中最具代表性的MFCC特征,并且用Wav2vec提取特征以弥补MFCC在动态信息捕捉上的不足。通过这种方式提取更为丰富和具有代表性的语音情感特征。通过交叉注意力机制的运用,将语音声学特征与上下文信息进行融合,获得更加全面和准确的特征表示。最终,通过Transformer网络,实现对情感状态的精准预测。通过在MELD和EEIDB数据集上进行大量实验,本文方法在加权F1-Score指标上分别达到了44.32%和65.50%,验证了其有效性和优越性。

    Abstract:

    参考文献
    相似文献
    引证文献
引用本文
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-06-14
  • 最后修改日期:2025-02-12
  • 录用日期:2024-07-17
  • 在线发布日期: 2025-07-03
  • 出版日期:
文章二维码