李宏毅 机器学习machine learning

李宏毅 机器学习machine learning

机器学习相关规定

• gpu:推荐入门人员使用Google colab的人员
• 本文集中比较讲述deeplearning，基本观念可以去去看林轩田老师的机器学习课程，个人认为本课程更多是进阶技术，关注最新的动态模型
  -kaggle账号注册

基本概念

• 机器学习：寻找function？（存在质疑）
• 回归问题输出是一个数值，分类问题输出的一个选项（比如是正确还是错误）
• 回归和分类问题只是机构学习structured learning一小部分
• 步骤：training：function-loss-optimization（梯度下降）分为glob minima和local minima（是一个假问题）

深度学习基本概念

• sigmoid函数：s形曲线，还有hard sigmoid函数，w代表的是斜率，b代表的是曲线平移，c代表的是曲线的高低，任何函数都可以用多个sigmoid组合函数进行拟合
  深度神经网络运用更多的额model的bias解决简易线性问题欠拟合，即
  Y = b + sum(cisigmoid(bi + wixi))
• 每次更新一次参数叫做update，把所有的batch都看一遍叫做epoch
• （突然想到，分布式训练：后期另开一个专题专门讲述）

机器学习任务

• 训练model的过程：function — loss from training data – optimization
• 普遍的攻略：先检查在训练数据集上的loss函数：1 如果太大了，说明模型太训练模型上没有训练好，可能出现了model参数太少太简单无法拟合拟合 model所可以拟合的函数范围小，弹性不够（model bias），或者是optimization的问题，没有办法大海捞针。建议：@通过比较不同的模型可以区分是model bias和optimization的区别（resnet原文）如果在test数据集上56层的精度低于20层的精度指标，不一定是overfitting问题，因为如果训练集的56层的loss也要高于20层的，就说明是optimization的问题，足够的网络弹性却没有找到最低点@先跑一个比较小的网络（svm和linear model，比较不会有optimization的问题）2 如果已经比较小了，那就看在测试集上的loss大小，如果test的loss比较大，则出现了overfitting或者mismatch，其实全连接网络比cnn网络更加具有弹性架构，但是对于overfitting的问题可以比较少的参数、共享参数、比较少的特征、提前停止、正则化、dropout等方式