论文笔记

论文笔记

目录

摘要

1.大纲

2.Baseline

2.1训练预处理

2.2测试预处理

3.改进点

3.1 训练速度

3.1.1 batch size调整

3.2 网络结构

3.2.1 模型调整​

 3.3 训练过程优化

 3.3.1 Cosine Learning Rate Decay

3.3.2 Label Smoothing

3.2.3 知识蒸馏（Knowledge Distillation）