多元函数驻点性质的判断方法，牛顿法进行梯度下降的公式，多元函数凸性的判断方法。

多元函数驻点性质的判断方法，牛顿法进行梯度下降的公式，多元函数凸性的判断方法。

• 首先介绍矩阵的迹（trace）的概念：
  如果一个矩阵是方阵，那它的迹tr(A)等于对角线的元素之和。

• 多元函数判断驻点性质的方法：

1. 找到多元函数jacobian向量（即目标函数对自变量的一阶偏导数向量）为0的那些点，即驻点；
2. 将各驻点带入Hessian矩阵（即目标函数对各自变量的二阶偏导数组成的对称方阵，若有n个自变量，则Hessian矩阵为n×n），计算其行列式det(Hf)：若det(Hf)<0，则该驻点是鞍点；若det(Hf)=0，则无法判断该驻点是极小值点、极大值点、还是鞍点；若det(Hf)>0，则该驻点为极值点：若tr(A)>0，则该点周围各点处的切平面均倾斜向上，则该点为极小值点；若tr(A)<0，则该点周围各点处的切平面均倾斜向下，则该点为极大值点；而tr(A)=0的情况不会出现。

• 但是当自变量个数过多时，Hessian矩阵过大，计算其行列式很慢，而且可能不稳定；所以当自变量个数过多时，不宜采用该方法判断驻点性质。
  

• 下图为一元函数及多元函数用牛顿法进行梯度下降的公式。可以看到，对于多元函数需要计算目标函数的Hessian矩阵的逆，而当自变量个数过多时，这将是灾难，此时不适宜用牛顿法进行梯度下降。

• 多元函数凸性的判断：如果存在一个向量V，使得transpose(V)(Hf)V≥0，则Hf称为半正定矩阵，此时Hessian矩阵的原函数f是凸函数。即可用任意一种局部优化算法找到该函数唯一的全局最优点。