数学表达式魔训作业Day3

数学表达式魔训作业Day3

8. 累加、累乘与积分

作业：

1. 将向量下标为偶数的分量 (x2, x4, …) 累加, 写出相应表达式.

∑ i m o d 2 = 0 x i sum_{i mod 2 = 0}x_i imod2=0∑​xi​

2. 各出一道累加、累乘、积分表达式的习题, 并给出标准答案.

1，计算整数1到100的累加和： ∑ i = 1 100 i = 5050 sum_{i=1}^{100}i = 5050 i=1∑100​i=5050
2，计算整数1到10的累乘积： ∏ i = 1 10 i = 36288000 prod_{i = 1}^{10}i = 36288000 i=1∏10​i=36288000
3，求函数 f ( x ) = 2 x + 1 f(x) = 2x+1 f(x)=2x+1 在坐标轴 x = 2 x=2 x=2 到 x = 10 x=10 x=10 上的面积： ∫ 2 10 2 x + 1 d x = 104 int_{2}^{10} 2x + 1 mathrm{d}x = 104 ∫210​2x+1dx=104

3. 你使用过三重累加吗? 描述一下其应用.

∑ i = 1 n ∑ j = 1 i ∑ k = 1 j x i j k sum_{i=1}^nsum_{j=1}^isum_{k=1}^jx_{ijk} i=1∑n​j=1∑i​k=1∑j​xijk​

4. 给一个常用的定积分, 将手算结果与程序结果对比.

∫ 2 1 x d x = 1 2 x 2 ∣ 1 2 = 2 − 1 2 = 3 2 int_{2}^{1} x mathrm{d}x = frac{1}{2}x^2vert_1^2 = 2 - frac{1}{2} = frac{3}{2} ∫21​xdx=21​x2∣12​=2−21​=23​

from sympy import *
x=symbols('x')
print(integrate(x,(x,1,2)))

3/2

9. 线性回归

作业： 自己写一个小例子 ( n = 3 , m = 1 n = 3, m = 1 n=3,m=1 ) 来验证最小二乘法.

商品销量：

令销量为 y y y ，天数为 x x x， y = w x + b y = wx +b y=wx+b
{ 100 = w + b 200 = 2 w + b 300 = 3 w + b ⇒ y = 100 x ⇒ w = 100 , b = 0 left{ begin{aligned} 100 = w + b \ 200 = 2w+b\ 300=3w+b end{aligned} right.Rightarrow y=100x Rightarrow w=100, b=0 ⎩⎪⎨⎪⎧​100=w+b200=2w+b300=3w+b​⇒y=100x⇒w=100,b=0

10. 逻辑回归

作业： 自己推导一遍, 并描述这个方法的特点 (不少于 5 条).

首先假设一个点 x x x 和一个 m m m 维空间上得线 w w w，两者距离为 x w xw xw；
然后采用 sigmoid 函数将距离转换为概率： p ( y = 1 ∣ x ; w ) = 1 1 + e − x w p(y = 1 vert mathbf{x}; mathbf{w}) = frac{1}{1 + e^{-mathbf{xw}}} p(y=1∣x;w)=1+e−xw1​
求解：

相乘计算困难, 将其求一个对数, 不改变单调性

log ⁡ L ( w ) = ∑ i = 1 n log ⁡ P ( y i ∣ x i ; w ) = ∑ i = 1 n y i log ⁡ P ( y i = 1 ∣ x i ; w ) + ( 1 − y i ) log ⁡ ( 1 − P ( y i = 1 ∣ x i ; w ) ) = ∑ i = 1 n y i log ⁡ P ( y i = 1 ∣ x i ; w ) 1 − P ( y i = 1 ∣ x i ; w ) + log ⁡ ( 1 − P ( y i = 1 ∣ x i ; w ) ) = ∑ i = 1 n y i x i w − log ⁡ ( 1 + e x i w ) begin{aligned} log L(mathbf{w}) & = sum_{i = 1}^n log P(y_i vert mathbf{x}_i; mathbf{w}) \ & = sum_{i = 1}^n y_i log P(y_i = 1 vert mathbf{x}_i; mathbf{w}) + (1 - y_i) log(1 - P(y_i = 1 vert mathbf{x}_i; mathbf{w})) \ & = sum_{i = 1}^n y_i log frac{P(y_i = 1 vert mathbf{x}_i; mathbf{w})}{1 - P(y_i = 1 vert mathbf{x}_i; mathbf{w})} + log (1 - P(y_i = 1 vert mathbf{x}_i; mathbf{w}))\ & = sum_{i = 1}^n y_i mathbf{x}_i mathbf{w} - log (1 + e^{mathbf{x}_i mathbf{w}}) end{aligned} logL(w)​=i=1∑n​logP(yi​∣xi​;w)=i=1∑n​yi​logP(yi​=1∣xi​;w)+(1−yi​)log(1−P(yi​=1∣xi​;w))=i=1∑n​yi​log1−P(yi​=1∣xi​;w)P(yi​=1∣xi​;w)​+log(1−P(yi​=1∣xi​;w))=i=1∑n​yi​xi​w−log(1+exi​w)​

对 w w w 求偏导：
∂ log ⁡ L ( w ) ∂ w = ∑ i = 1 n y i x i − e x i w 1 + e x i w x i = ∑ i = 1 n ( y i − e x i w 1 + e x i w ) x i begin{aligned} frac{partial log L(mathbf{w})}{partial mathbf{w}} & = sum_{i = 1}^n y_i mathbf{x}_i - frac{e^{mathbf{x}_i mathbf{w}}}{1 + e^{mathbf{x}_i mathbf{w}}} mathbf{x}i\ & = sum_{i = 1}^n left(y_i - frac{e^{mathbf{x}_i mathbf{w}}}{1 + e^{mathbf{x}_i mathbf{w}}}right) mathbf{x}_i end{aligned} ∂w∂logL(w)​​=i=1∑n​yi​xi​−1+exi​wexi​w​xi=i=1∑n​(yi​−1+exi​wexi​w​)xi​​

令该偏导为 0, 无法获得解析式, 因此用梯度下降.
w t + 1 = w t − α ∂ log ⁡ L ( w ) ∂ w mathbf{w}^{t+1} = mathbf{w}^t - alpha frac{partial log L(mathbf{w})}{partialmathbf{w}} wt+1=wt−α∂w∂logL(w)​

特点：

1. 用一个表达式表达了两种情况的概率
2. 采用梯度下降求最优解
3. 使用 sigmoid 函数将距离转成概率
4. 表达方式上( ; )’;'右边为参数，左边为数据
5. 点到直线的距离带符号，需要分正负