虚假新闻检测论文阅读（八）：Assessing Arabic Weblog Credibility via Deep Co-learning

论文标题：Assessing Arabic Weblog Credibility via Deep Co-learning
日期：ACL2019

基于新闻文本、半监督、伪标签、协同学习

一、基本内容

利用co-learning的方法训练两个模型，让两个模型互相为无标注的数据打伪标签，从而让两个模型互相越学越好，实现较好的效果。
该工作设计一个以word embedding（词嵌入）为输入的CNN网络和一个以character embedding（字符级嵌入，每次迭代中重新训练）为输入的CNN网络，先利用有标注数据训练两个网络，之后两个网络互相为无标注数据打上伪标签，从而获得更多的带标注数据训练两个网络，依次迭代，直至模型收敛，取得最佳效果。

二、模型框架

算法流程：

• 第一个数据集$D^l$，是一个小并且全部注释的数据集，用于最初训练两个CNN模型$M_1$和$M_2$。
• 对于两个模型$M_1$和$M_2$，我们从未标记的数据集$D^{ul}$中随机选取$m$个实例，将模型$M_1$和$M_2$应用于为每个模型选择的$m$个实例上。
• 迭代训练两个co-learning模型$M_1$和$M_2$：如从$M_1$中的$m$个实例选择$k$个实例，然后使用它们来训练$M_2$（或用$M_2$训练$M_1$）。【目标是选择最高准确性的$k$个实例：如果计算并应用了$M_1$模型的每个实例的分数，我们就选择由$M_1$模型标记的前$k$个得分最高的实例，并使用它来训练$M_2$。】
• 使用两个模型的集成平均值，并将其应用于第三个数据集$D^{vl}$，该数据集用于验证的完全注释的数据集。两个模型的集成平均值的验证分数存储在深度学习算法每次迭代的变量$f1$分数中。检查$f1$分数是否高于当前最佳$f1$分数，如果更高，则更新模型并使用top-k实例扩充数据集。