【论文泛读20】基于迁移学习的日语情感分析研究

【论文泛读20】基于迁移学习的日语情感分析研究

贴一下汇总贴：论文阅读记录

论文链接：《An Investigation of Transfer Learning-Based Sentiment Analysis in Japanese》

一、摘要

文本分类方法通常需要特定任务的模型体系结构和巨大的标记数据集。最近，由于基于文本的迁移学习技术的兴起，我们可以在无监督的情况下预先训练语言模型，并利用它们有效地执行下游任务。在这项工作中，我们关注日语，并展示了迁移学习技术在文本分类中的潜在应用。具体来说，我们对乐天产品评论和雅虎电影评论数据集进行了二分类和多分类情感分类。我们表明，基于迁移学习的方法比使用3倍的数据训练的特定任务模型表现更好。此外，这些方法对于在维基百科1/30中接受过培训的语言建模也能执行得很好。我们将我们预先训练好的模型和代码作为开放源代码发布。

二、结论

我们的工作表明了使用迁移学习技术处理日语情感分类的可能性。基于我们在Rakuten product review和Yahoo movie review数据集上的实验，我们为未来的日本研究者在情感分析任务中进行迁移学习得出以下结论：

• 当任务是二值分类时，对BERT域的自适应可能不会产生很好的效果。对于所有其他情况，域适应的性能和域适应一样好，甚至更好。
• ELMo和ULMFiT即使在使用语言模型的一小部分进行训练时也表现良好。
• 在目标任务上对ELMo和BCN层进行fune调优可以提高性能。

本文贡献：