【学习记录】零散记录论文中遇到的一些知识点

【学习记录】零散记录论文中遇到的一些知识点

机器学习与深度学习相关

• 精确率(precision) 、召回率(recall) : 其实只是分母不同，一个分母是预测为正的样本数，另一个是原来样本中所有的正样本数。

  1. precision 精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)，因此 P r e c i s i o n = T P T P + F P Precision=frac{TP}{TP+FP} Precision=TP+FPTP​
  2. recall 召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)，因此 R e c a l l = T P T P + F N Recall=frac{TP}{TP+FN} Recall=TP+FNTP​

• ROC曲线，PR曲线，AUC等机器学习性能评价指标

• 损失函数相关：
  Hinge Loss h i n g e ( z ) = 1 − z f o r z ≤ 1 a n d 0 , o t h e r w i s e ,,, hinge(z) = 1 − z ,, for ,, z ≤ 1 ,, and ,, 0, otherwise hinge(z)=1−zforz≤1and0,otherwise
  Logistic函数与Logistic Loss函数 、标签y ∈ in ∈{0,1}的Logistic Loss推导 、更多记录

凸优化相关：

• 凸函数的各种等价定义、 δ delta δ​-strongly convex、L-smooth
• 凸函数的搁置等价定义的几何意义
• 梯度下降法(无约束+光滑+凸函数)

信息论相关

• 信息量,熵,相对熵,交叉熵，交叉熵作为loss函数或者说在分类问题中常用 cross entropy 而不是 MSE 的原因
  两部分的更多详解：熵 、交叉熵和散度 。该博主的更多学习资料：[link] [link]

微积分相关

• 次微分、次梯度
  通过求函数在点的每一分量的次导数可以求出函数在该点的次梯度。次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数，它的优势是比传统方法处理问题范围大，劣势是算法收敛速度慢，但它对不可导函数有很好的处理方法。

概率论与数理统计相关：

矩(moment)、矩量母函数(mgf)
the tail of a probability distribution

其他

• Scaling of Data
• 分析复杂度时的渐进记号
• P-Problem , NP-Problem , NP-Complete Problem , NP-Hard Problem
  Complexity Theory
  P Versus NP Problem
  
  

Ref

精确率(precision) 、召回率(recall)