Logistic回归

1. logistic回归用于二分类回归算法

有m个训练集，，y表示标签，y取值0或者1，二分类问题。xi表示n维特征向量。

X表示nxm的特征矩阵，Y表示1xm标签向量。

（1） logistic回归函数：，W，b是权重。W是n维向量，b是权重。也是需要训练的值。

（2）损失函数（Loss function）：（定义单个训练样本的情况）

log是单调递增函数，即在训练迭代过程中，为了更接近真实结果，损失函数逐渐减小。

（3）成本函数（cost function）：（衡量了在全体样本上的表现）

迭代求出成本函数不断减小时的权重W，b。

2.梯度下降法

假设二维图形J（W），，a表示学习率，dJ表示斜率。

迭代找到最小点。

3. 使用python实现logistic回归