非线性规划——qjzcy的博客

非线性规划

---

流程总图：

定义：
如果目标函数或者约束条件中至少有一个是非线性函数时的最优化问题叫非线性规划问题。
比如目标函数是
f(x)=kx+b x>9 线性规划
f(x)=xlogx x>9 非线性规划

线性规划
高中内容就不说了

非线性规划
非线性规划又分为无约束和有约束两种

1、无约束：
解法一般就这几种方法：（1）梯度法，（2）牛顿法（3）拟牛顿法。嗯我们起个引子，单独开一篇说这个

2、有约束：
总思路：转换成无无约束，用无约束的方法求解
（1） 等值约束：通常可以用消元法，拉格朗日乘子法，罚函数法。
常见公式应用：最大熵，
条件随机场：
http://blog.csdn.net/qjzcy/article/details/51728194
（2） 不等值约束：
总则：由繁化简，通常将不等式约束化为等式约束，将约束问题化为无约束问题，将非线性问题化为线性问题

（kt条件：Kuhn-Tucker）kt条件是说极值点一定满足这样条件，我们遇到的问题一般为凸函数问题，于是kt条件就变为了充要条件，我们找到满足kt条件的点就找到了目标点。kt条件的公式如图

常见公式应用：支持向量机（SVM）

---

引用：
http://wenku.baidu.com/view/87c114fcc8d376eeaeaa31f3.html