7.5 非线性回归：logistic Regression（逻辑回归）

概率：

定义   概率（P）robability：对一件事情发生的可能性的衡量

范围   0<=P<=1

计算方法：1、根据个人置信

                   2、根据历史数据

                   3、根据模拟数据

条件概率：

Logistic Regression（逻辑回归）

例子

                                  h(x)>0.5

                                    h(x)>0.2

基本模型:

测试数据为X（x0,x1,x2.....xn）

要学习的参数为：Θ（θ0，θ1，,θ2，......θn） 

              Z = θ0x0 + θ1x1+θ2x2+......+θnxn

向量表示：

              

处理二值数据，引入Sigmoid函数时曲线平滑化：

预测函数：

用概率表示：

找到合适的θ0，θ1使上式最小

目标：找到合适的θ0，θ1使上式最小

解法：梯度下降（gradient decent）

更新法则：

学习率

同时对所有的θ进行更新

重新更新直到收敛