alexnet 论文引用

alexnet 论文引用

论文地址：ImageNet Classification with Deep Convolutional Neural Networks​papers.nips

笔者读论文的学习笔记，本人水平有限，如有错误，请指出。

码字不易，如果您觉得写得不错，请点个赞，谢谢。

1、设备：两块GTX 580 3GB GPUs(并行，可互相读写)(作者经过实验发现：在单GPU上训练AlexNet近似一半的网络结构速度比双GPU训练整个网络慢)

2、数据集：ILSVRC-2010和ILSVRC-2012(ImageNet的子集，AlexNet是ILSVRC-2012冠军所用的模型)，模型的指标有TOP-1 和TOP-5 error；数据预处理：由于图片不是所有尺寸都一样，先rescale到短边256，然后裁剪出中间一块256 x 256，之后对所有图片减均值(这里用的应该是下图中的image mean)，除此之外没有预处理操作了不同的均值度量

3、开创性地使用了不饱和非线性单元：ReLU(Rectified Linear Units)，训练速度提升很多(注意这里还提到了

这个函数，但不能提升训练速度，只能防止过拟合)

4、作者采用了Local Response Normalization，LRN，局部响应归一化ÿ