1 雅可比矩阵
假设某函数从
， 从
映射到 向量
， 其雅可比矩阵是 m×n 的矩阵，换句话讲也就是从
到
的线性映射，其重要意义在于它表现了一个多变数向量函数的最佳线性逼近。因此，雅可比矩阵类似于单变数函数的导数。
此函数 f 的雅可比矩阵 J 为 m×n 的矩阵，一般由以下方式定义:
矩阵的分量可表示成：
示例：
2 黑森矩阵
黑塞矩阵(德语：Hesse-Matrix；英语：Hessian matrix或Hessian)，又译作海森矩阵、海塞矩阵或海瑟矩阵等，是一个由多变量实值函数的所有二阶偏导数组成的方块矩阵。
假设有一实值函数
，如果
的所有二阶偏导数都存在并在定义域内连续，那么函数
的黑塞矩阵为：
或使用下标记号表示为
3 泰勒展开公式
泰勒公式(英语：Taylor's Formula)是一个用函数在某点的信息描述其附近取值的公式。这个公式来自于微积分的泰勒定理(Taylor's theorem)，泰勒定理描述了一个可微函数，如果函数足够光滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值，这个多项式称为泰勒多项式(Taylor polynomial)。
4 黑森矩阵与泰勒展开式的关系/wiki/%E9%BB%91%E5%A1%9E%E7%9F%A9%E9%99%A3
关于多元函数的泰勒展开式的矩阵形式，可以参考下百科关于黑森矩阵的介绍：黑森矩阵-百科
5 正定矩阵与半正定矩阵
正定矩阵:给定一个大小为
的实对称矩阵
，若对于任意长度为
的非零向量
，有
恒成立，则矩阵
是一个正定矩阵。
半正定矩阵：给定一个大小为
的实对称矩阵
，若对于任意长度为
的向量
，有
恒成立，则矩阵
是一个半正定矩阵。
如何判断一个矩阵是否为正定矩阵：1.顺序主子式全大于0；
2.存在可逆矩阵C使C^TC等于该矩阵；
3.正惯性指数等于n；
4.合同于单位矩阵E;
5.标准型中主对角元素全为正；
6.特征值全为正；
7.是某基的度量矩阵；
8. 根据定义/p/44860862
6 鞍点
定义：一个不是局部极值点的驻点称为鞍点。
当一元函数的二阶导数等于 00 时，我们并不能确定函数在该点的极值性。类似地，面对Hessian矩阵，仍然存在无法断定多元函数极值性的的情况，即当Hessian矩阵的行列式为 0 时，我们无法确定函数是否能取得极值。甚至我们可能会得到一个鞍点，也就是一个既非极大值也非极小值的的点。
基于Hessian矩阵，就可以判断多元函数的极值情况，结论如下：如果是正定矩阵，则临界点处是一个局部极小值
如果是负定矩阵，则临界点处是一个局部极大值
如果是不定矩阵，则临界点处不是极值
定理：设
,在点
有
,则当
正定时，
是f(x)的严格局部极小值点.
证明：对任意单位向量
在
的Taylor展开式为：
由
的正定性知，正定二次函数
在有界闭集
上具有正最小值，即存在
,对任意单位向量
,有：
因而：
由此可知，存在
,当
时，有：
即
是
的严格局部极小点
参考资料
