【Abee】吃掉西瓜——西瓜书学习笔记（二）

【Abee】吃掉西瓜——西瓜书学习笔记（二）

线性模型(linear model)

 

目录

【内容包含 第三章】

线性回归（linear regression）

多元线性回归（multivariate linear regression）

对数几率函数（logistic function）

线性判别分析（Linear Discriminant Analysis，LDA）

多分类学习

类别不平衡（clss-imbalance）

---

 

线性回归（linear regression）

向量形式

                       

实际上我们遇到的数据分类并不都是数值类型的，对有序离散数据可以转化为数值比如身高 高、中、矮（1.0），（0.5），（0），对于属性间无序的数据，可以转化为k维向量，如西瓜，黄瓜（1,0）（0,1）

均方差：常用性能度量

最小二乘法：使用均方差对线性模型进行求解

                    

---

多元线性回归（multivariate linear regression）

最小二乘法

                     

线性回归模型 (为满秩矩阵时）

                     

还有对数线性回归，广义线性模型等衍生

                     

其中g（）为联系函数（link function），要求连续且充分光滑

 

---

对数几率函数（logistic function）

这个引入是考虑二分类模型预测值为0,1，然而阶跃函数并不连续，因此用对数几率函数替代它

                     

对数几率函数是一个Sigmoid函数，对应的线性回归模型为

                     

可以进一步通过极大似然法估计w和b

 

---

线性判别分析（Linear Discriminant Analysis，LDA）

也称为Fisher判别

主要思想：将样例投影到一条直线上，使类内投影尽可能接近，类间投影尽可能远离

即最大化目标J

                       

类内散度矩阵

                      

类间散度矩阵

                       

 

---

多分类学习

可以将多分类任务拆解成多个二分类任务，再进行集成

假设存在N个类别

        一对一（OvO）:次两两配对，然后投票决定

        一对其余（OvR）:N个分类器

        多对多（MvM）: 举例，ECOC 纠错输出码

 

---

类别不平衡（clss-imbalance）

通过再缩放（rescaling）（要求训练集为样本总体的无偏采样）

                

也可以用替换来进行代价敏感学习（cost-sensitive learning）

 

---