结合深度学习与双阶段SVM的情感分类方法

EasyChair Preprint 10467

Abstract

由于短文本包含有限、稀疏的上下文信息，采用机器学习算法无法有效提取特性且短文本并不总是遵守书面语言的语法，因此如何有效提取短文本特征并设计分类效果更好的分类器以提高情感分类的准确率具有重要研究意义。本文针对上述问题，提出结合深度学习与双阶段SVM的情感分类方法，在该方法中，首先采用基于注意力机制的卷积神经网络提取文本向量的局部特征，采用基于注意力机制的双向长短期记忆神经网络提取与文本上下文相关的全局特征，其次，将得到的两类特征进行融合，并将融合特征作为分类器的输入；最后，为进一步提高分类准确率，在情感分类阶段不再采用传统的softmax算法，而是采用双阶段stacking支持向量机分类算法。实验结果表明，本文提出的结合深度学习与双阶段SVM的情感分类方法相对于传统的卷积神经网络模型在中、英文数据集上的准确率分别提高了13.19%和7.9%，相对于传统的双向长短期记忆神经网络模型在中、英文数据集上的准确率分别提高了12.55%和7.68%，其中引入注意力机制的融合模型对中、英文数据集情感分类的准确率平均有5.05%和2.83%的提高，引入双阶段stacking SVM的模型对中、英文数据集情感分类的准确率有7.82%和4.96%的提高，并且召回率和F值也优于其他模型。

Keyphrases: Attention Mechanism, Bi-LSTM, CNN, SVM, ensemble learning, sentiment classification

@booklet{EasyChair:10467,
  author    = {Fei He and Baozhong He and Can Wu and Maobao Yang},
  title     = {A Sentiment Classification Model Based on Deep Learning and Two Level Stacking SVM},
  howpublished = {EasyChair Preprint 10467},
  year      = {EasyChair, 2023}}