Transformer XL源码实现

Transformer XL源码实现

1，人工智能中最重要的公式之一MLE数学本质剖析及代码实战

2，Language Model的数学原理、Chain Rule剖析及Sparsity问题

3，Markov Assumption：first order、second order、third order剖析

4，Language Model：unigram及其问题剖析、bigram及依赖顺序、n-gram

5，使用Unigram训练一个Language Model剖析及实践

6，使用Bigram训练一个Language Model剖析及实践

7，使用N-gram训练一个Language Model剖析及实践

8，拼写纠错案例实战：基于简化后的Naive Bayes的纠错算法详解及源码实现

9，使用基于Average Log Likelihood的PPL(Perplexity)来评估Language Model

10，Laplace Smoothing剖析及基于PPL挑选最优化K的具体方法分析

11，Interpolation Smoothing实现解析：加权平均不同的N-gram概率

12，Good-Turning Smoothing算法解析

13，Vallina Transformer language model处理长文本架构解析

14， Vallina Transformer Training Losses：Multiple Postions Loss、Intermediate Layer Losses、Multiple Targets Losses

15，Vallina Transformer的三大核心问题：Segment上下文断裂、位置难以区分、预测效率低下

16&