最优化基础知识总结（1）

1. 最速下降方向：负梯度方向

2. 梯度：沿各个坐标轴方向的偏导数组成的函数向量。

3. 方向导数：梯度·某一方向的单位向量。

4. 黑塞矩阵：二阶偏导数，按列排列。第一列，为$f_1(X)$的偏导数；

5. 雅各布矩阵：向量值函数，一节偏导数，按行排列。第一行，为$\vec{f}(X)$的第一个分量的梯度。

6. 最优性条件：$X^{\star }$驻点，$\nabla f(X^{\star })=0$

   1. 一阶条件：

      1. 必要条件：极值在驻点处取得

   2. 二阶条件：

      1. 必要条件：若$X^{\star }$是局部极小点，则${\nabla }^{2}f(X^{\star })$半正定。
      2. 充分条件：若$X^{\star }$是驻点，且${\nabla }^{2}f(X^{\star })$正定，那么$X^{\star }$是严格局部极小点。
      3. 注意：二阶条件不能更改，比如充分条件不能弱化成半正定。

7. 凸函数：$f(\alpha X1+(1-\alpha )X2)\le \alpha f(X1)+(1-\alpha )f(X2)$

   1. Hesse矩阵存在且为半正定矩阵
   2. $f(X)=X^{T}AX$,A为半正定矩阵。（若为正定矩阵，则是严格凸函数）

8. 保凸运算：f(X)是凸函数，g(X)是凸函数

   1. 仿射变换：f(AX+b)是凸函数
   2. 取最大值：max{f(X), g(X),…}是凸函数
   3. 透射变换：

9. 凸组合：$Y=k_1{x}_1+k_2{x}_2+...+k_n{x}_n$，若$k_1+k_2+...+k_n=1$，则称Y是X的凸组合。

10. 凸规划：目标函数和约束条件都是凸的。

    1. 凸规划的最优解：$(X-X^{\star })T\nabla f(X^{\star })\ge 0$

11. 线性规划：凸规划的一种，线性函数也是一种凸函数。

    1. 顶点：基本可行解；不能表示为可行域中其它任意两个点的凸组合。
    2. 图解法：针对二维线性规划，可采用图解法；
    3. 最优解必在顶点处取得。
    4. 基本可行解是顶点，即是基本解又是可行解。

12. 单纯形法：

    1. 最优解：所有判别数均小于0时。
    2. 无有界最有解条件：判别数大于0，所在列$P_j<\vec{0}$。
    3. 判别数：${\sigma }_j=C_B^T{B}^{-1}{P}_j-c_j$，B为基，j=1,2,……,n；通常B会人为设计为E。
    4. 进基列：选择判别数最大的列。
    5. 进基变量：选${\min }_i\frac{bi}{a_{ik}}|a_{ik}>0$。
    6. 转轴：初等行变换不改变解空间。

13. 两阶段法：出发点是原线性规划A中，不一定直接存在单位矩阵，如果使用非单位矩阵作为基，在计算判别数时，需要矩阵求逆，这是我们不希望出现的，因此引入人工变量直接构造单位矩阵。

    实际上，此方法，和初等行变换求矩阵逆有相似之处

    1. 辅助线性规划：引入人工变量，构造单位矩阵，并更换目标函数为y1+y2+…+ym；
    2. 求解辅助线性规划，如最优解(Y0,X0)，对应的函数值>0，则原规划无可行解；若=0，则将（0，X0）作为原线性规划的初始基本可行解。

14. 大M法：出发点是两阶段法，引入和人工变量，并更换了目标函数，大M法则只需要添加惩罚项，并且原线性规划最优解，就在辅助线性规划中。

    1. 辅助线性规划：引入人工变量，并加入惩罚项$M{e}^{T}Xa$，其中M是一个充分大的数。
    2. 求解辅助线性规划，最有解为（X0,Xa），若Xa=0，则X0为最优解；若Xa不等于0，则原线性规划无解。

15. 对偶定理：

    1. 对偶规则

       原规划（对偶规划）（P）对偶规划（原规划）（D）minmax目标中系数约束条件右端项约束条件右端项目标中系数约束条件≥变量≥约束条件≤变量≤约束条件=变量无约束变量≥约束条件≤变量≤约束条件≥变量无约束约束条件=

    2. ( P)(D)有无界解，对应的对偶规划无可行解。

    3. ( P)与对偶(D)都有最优解的充要条件是它们都有可行解；§和(D)中有一个有最优解，另一个必有最优解，且二者最优值相等。