机器学习

机器学习

贝叶斯

• 贝叶斯策论
• 判别式 VS 生成式
• • 判别式模型
  • 生成式模型
• 贝叶斯定理
• 极大似然估计

贝叶斯策论

给定N个类别，令 λ ( i j ) λ_(ij) λ(​ij)代表第 j j jl类样本分类为第 i i i类所产生的损失，则基于后验概率将样本 x x x分到第 i i i类的条件风险为：
R ( c i ∣ x ) R(c_i|x) R(ci​∣x)= ∑ j = 1 λ ( i j ) P ( c j ∣ x ) sum_{j=1}λ_(ij)P(c_j|x) ∑j=1​λ(​ij)P(cj​∣x)
贝叶斯判定准则
h ∗ ( x ) h^*(x) h∗(x)=argmin R ( c ∣ x ) R(c|x) R(c∣x)( x ∈ x ) x∈x) x∈x)

• argmin f ( x ) f(x) f(x):当$f(x)取最小值时，x的取值
• h ∗ h^* h∗称为贝叶斯最优分类器，其总体风险称为贝叶斯风险
• 反映了学习性能的理论上限
  P ( c ∣ x ) P(c|x) P(c∣x)在现实中通常难以直接获得
  从这个角度看，机器学习索要实现的是基于有限训练样本尽可能准确地估计出后验概率

判别式 VS 生成式

判别式模型

思路：直接对 P ( c ∣ x ) P(c|x) P(c∣x)建模
代表：

• 决策树
• BP神经网络
• SVM

生成式模型

思路：先对联合概率分布 P ( x , c ) P(x,c) P(x,c)建模，在由此获得 P ( c ∣ x ) P(c|x) P(c∣x)

P ( c ∣ x ) P(c|x) P(c∣x)= P ( x , c ) P ( x ) frac{P(x,c)}{P(x)} P(x)P(x,c)​
代表：贝叶斯分类器（贝叶斯分类器≠贝叶斯学习）

贝叶斯定理

P ( c ∣ x ) P(c|x) P(c∣x)= P ( x , c ) P ( x ) frac{P(x,c)}{P(x)} P(x)P(x,c)​

• P ( x ) P(x) P(x):先验概率，样本空间中各类样本所占的比例，可通过各类样本出现的频率估计（大数定律）
• P ( x ∣ c ) P(x|c) P(x∣c):证据因子，与类别无关
• P ( x ∣ c ) P(x|c) P(x∣c):样本相对于类标记的类条件概率，也可称似然，似然难于估计

极大似然估计

先假设某种概率分布形式，在基于训练样例对参数进行估计

假定 P ( x ∣ c ) P(x|c) P(x∣c)具有确定的概率分布形式，且被参数 θ c θ_c θc​唯一确定，则任务就是利用训练集 D D D来估计参数 θ c θ_c θc​
θ c θ_c θc​对于训练 D D D中第 c c c类样本组成的集合 D c D_c Dc​的似然为
P ( D c ∣ θ c ) P(D_c|θ_c) P(Dc​∣θc​)=$prod_{x∈D_c}P(x|