Transformer 和 Transformer

Transformer 和 Transformer

目录

• 写在前面
• 1. Transformer
• • 1.1 从哪里来？
  • 1.2 有什么不同？
  • • 1.2.1 Scaled Dot-Product Attention
    • 1.2.2 Multi-Head Attention
    • 1.2.3 Masked Multi-Head Attention
• 2. Transformer-XL
• • 2.1 XL是指什么？
  • 2.2 它做了什么？
• 3. 小结

写在前面

前两天我正在微信上刷着消息，猛然间关注的几个学习号刷屏，又一个超强预训练语言模型问世——XLNet，它由卡耐基梅隆大学与谷歌大脑的研究者提出，在 SQuAD、GLUE、RACE 等 20 个任务上全面超越 BERT。我想不少人和我一样，还没来得及完全消化BERT，如今大脑里的NLP知识就又要被XLNet刷新。这个场景，像极了去年还在看ELMo的我遇上BERT（苦笑）。写这篇博客主要是为了总结一些Transformer和Transformer-XL的特点。如有不正确的地方，欢迎大家指正，我将及时修改。

1. Transformer

2018年，谷歌BERT在朋友圈刷屏，各大公众号争相发布BERT的最新消息。这个号称“最强NLP预训练模型”刷新了NLP领域中11个任务。而Transformer，正是BERT中最核心的部分。同时我也认为，这是将是一种取替RNN或LSTM的模型。

1.1 从哪里来？

2017年，谷歌大脑（是的没错，还是他们）发表了文