python机器学习

python机器学习

——python线性回归，机器学习线性回归，sklearn.linear_model.LinearRegression
用python进行线性回归分析非常方便，如果看代码长度你会发现真的太简单。但是要灵活运用就需要很清楚的知道线性回归原理及应用场景。现在我来总结一下用python来做线性回归的思路及原理。

文章目录

• 线性回归介绍
• 线性回归公式推导
• 机器学习中的线性回归
• 一元线性回归算法实例
• 二元线性回归及多元实例
• 官网线性回归实例

线性回归介绍

——线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
——回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析
: 定义：线性回归在假设特证满足线性关系，根据给定的训练数据训练一个模型，并用此模型进行预测。为了了解这个定义，我们先举个简单的例子；我们假设一个线性方程 Y=2x+1, x变量为商品的大小，y代表为销售量；当月份x =5时，我们就能根据线性模型预测出 y =11销量；对于上面的简单的例子来说，我们可以粗略把 y =2x+1看到回归的模型；对于给予的每个商品大小都能预测出销量；当然这个模型怎么获取到就是我们下面要考虑的线性回归内容；

线性回归公式推导

假设一个银行的贷款额度y，是由年龄x1，工资x2决定的。θ1为年龄的参数，θ2为工资的参数。θ可以理解为权重参数（θ0为偏置项）

1.拟合平面公式： h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 h_theta(x)=theta_0+theta_1x_1+theta_2x_2 hθ​(x)=θ0​+θ1​x1​+θ2​x2​
整合（矩阵计算更高效所以转化成矩阵公式）： h θ ( x ) = ∑ i = 0 n θ i x i = θ T x ( i ) h_theta(x)=sum_{i=0}^{n}theta_ix_i=theta^Tx^{(i)} hθ​(x)=i=0∑n​θi​xi​=θTx(i)
2.误差：真实值和预测值之间肯定是存在误差的（用ε来表示误差），对于每个样本yi为真实值
y ( i ) = θ T x ( i ) + ϵ ( i ) y^{(i)}=theta^Tx^{(i)}+epsilon^{(i)} y(i)=θTx(i)+ϵ(i)
误差1、是独立并且具有相同的分布，并且服从均值为0方差为θ平方的高斯分布；2、独立的个体之前没有关系；
由于误差服从高斯分布： p ( ϵ ( i ) ) = 1 2 π σ e x p ( − ( ϵ ( i ) 2 ) 2 σ 2 ) p(epsilon^{(i)})=frac{1}{sqrt{2pi}sigma}exp(-frac{(epsilon^{(i)2})}{2sigma^2}) p(ϵ(i))=2π ​σ1​exp(−2σ2(ϵ<