高数基础

导数

导数就是函数的斜率，是函数变化快慢的反应

二阶导数是反应斜率变化快慢，用于判断函数的凸凹性

常见函数的导数

导数的运算法则

复合函数运算法则

空间解析几何和向量代数

多元函数微分法

方向导数与梯度

凸优化-凸函数作用

       为什么要求是凸函数呢？因为如果是下图这样的函数，则无法获得全局最优解。

曲线的凹凸性与拐点

凹凸性的判别

凸函数的一般形式

凸函数性质应用

凸函数性质应用

凸集

凸集作用

函数的极值

求函数的极值步骤

多元函数求极值

通过这个方程可以解得驻点M，这个驻点是一个长度为的一维向量。但是我们仅仅得到这个驻点，其实在这个驻点有3种情况，分别是：局部极大值，局部极小值和非极值。

所以要判断这个驻点属于这3个中的哪一个。所以就引入了Hessian矩阵，也就是说它用来判断在多元函数的凹凸性问题。

Hessian矩阵

 Hessian矩阵

 （1）如果是正定矩阵，则临界点处是一个局部极小值

 （2）如果是负定矩阵，则临界点处是一个局部极大值

 （3）如果是不定矩阵，则临界点处不是极值

实二次型矩阵为正定二次型的判断方法

判断一个矩阵是否是正定方法：

       1、顺序主子式：实对称矩阵为正定矩阵的充要条件是的各顺序主子式都大于零。

       2、特征值：矩阵的特征值全大于零，矩阵为正定。矩阵的特征值全小于零，矩阵为负定。否则是不定的。

最速下降法求函数极值

拉格朗日乘子法