Every Document Owns Its Structure: Inductive Text Classification via Graph Neur

作者

Yufeng Zhang1∗, Xueli Yu 1∗, Zeyu Cui, Shu Wu, Zhongzhen Wen and Liang Wang

概述

图神经网络（GNN）最近被应用于文本分类。然而现有的模型既不能捕捉到每个文档中的上下文关系，也不能很好地完成新词的归纳学习。在这项工作中，作者为每个文档构建单独的图，通过TextING对文本进行归纳学习。作者在四个基准数据集上做了大量实验，实验表明此方法优于最先进的文本分类方法。

动机

文本分类为其他NLP任务提供了基本的方法，如情感分析、意图检测等。传统的文本分类方法有朴素贝叶斯、k近邻和支持向量机。然而，它们主要依赖于人工制作的特征，以牺牲劳动力和效率为代价。

针对这一问题，提出了多种深度学习方法，其中递归神经网络（RNN）和卷积神经网络（CNN）是最基本的方法。然而，它们都集中在词的局部性上，因而缺乏长距离、非连续的单词交互。

近年来，基于图的方法被用来解决这一问题，它不把文本看作一个序列，而是将文本看作一组共现词。然而，这些基于图的方法有两个主要的缺点。首先，忽略了每个文档中的上下文意识单词关系。第二，由于全局结构，测试文件在训练中是必须出现的。因此，它们具有内在的转化性，很难进行归纳学习（inductive learning）。

模型

作者在本文中提出了一种基于图神经网络的文本分类方法TextING（Inductive Text Classification via Graph Neural Networks）。与以往的基于全局结构的图方法相比，作者训练了一个GNN，它只使用训练文档来描述详细的词-词关系，并在测试中推广到新的文档。在这个模型下，每一个文档都是一个独立的拓扑图，在文档级别的单词关系可以被学习到。同时这个模型也可以适用于训练过程中未出现的新单词。

模型包括三个关键部分：图形构造、基于图形的单词交互和读出功能。架构如下图所示。

（1）Graph Construction 作者使用一个长度为3的sliding windows去学习单词之间的共现关系，对于每一个文档都构造出了一个拓扑图。

（2）Graph-based Word Interaction 作者使用GGNN门控图神经网络来学习文档的词项embedding。

（3）readout function 通过两个多层感知机MLP得到一个文档上每一个节点的特征表示，然后通过这个这些节点计算出整张图的特征表示，也就是这个文档的特征表示。

作者还提出了一个模型的变体TextING-M。作者将局部图和全局图结合在一起，将他们单独训练，然后以1：1的比例来做最终预测。这个模型并不能进行归纳学习，所以作者的重点是从微观和宏观两个角度来考察二者是否可以互补

实验

作者按照9：1的比例划分训练集和验证集。学习率是0.01，dropout是0.5，初始的单词特征表示用的是维度为300的GloVe。为了公平比较，其他基线模型共享相同的嵌入，实验的结果见下表。

数值是分类的准确率accuracy，作者做了十次实验，正负是这些实验的上下波动情况。可以看出每一个任务中，TextING都是结果最好的。其中在MR任务中，TextING的效果是比TextGCN好最多的，是因为在MR中，这些评论都是短文本，导致了textGCN中的低密度图，它限制了文档节点之间的标签消息的传递，但是TextING的单个图不依赖于这种标签消息传递机制。