欢迎使用CSDN-markdown编辑器

线性回归：

• 假设函数
  hθ(x)=θTx
• 损失函数
  J(θ)=12∑mi=0(hθ(xi)−yi)2+12λ∑nj=0θ2j
• 梯度
  ∇θjJ(θ)=(yi−hθ(xij))x(i)j+λθj
• 简易法
  θ=(xTx+λI)−1xTy

逻辑回归：

• 假设函数
  hθ(x)=g(θTx)=11+exp(−θTx)
• 损失函数
  J(θ)=−1m[∑mi=0y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]
• 梯度
  ∇θjJ(θ)=1m(hθ(xij)−yi)x(i)j

softmax回归：

• 假设函数

hθ(x(i))=⎡⎣⎢⎢⎢⎢⎢p(y(i)=1|x(i);θ)p(y(i)=2|x(i);θ)⋮p(y(i)=k|x(i);θ)⎤⎦⎥⎥⎥⎥⎥=1∑kj=1eθTjx(i)⎡⎣⎢⎢⎢⎢⎢⎢eθT1x(i)eθT2x(i)⋮eθTkx(i)⎤⎦⎥⎥⎥⎥⎥⎥

\end{bmatrix}

\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} }

[eθT1x(i)eθT2x(i)⋮eθTkx(i)]

[Math Processing Error]
\end{align}

• 损失函数

J(θ)=−1m⎡⎣∑i=1m∑j=1k1{y(i)=j}logeθTjx(i)∑kl=1eθTlx(i)⎤⎦+λ2∑i=1k∑j=0nθ2ij

\begin{align}J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)} = j\right\} \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)} }} \right] + \frac{\lambda}{2} \sum_{i=1}^k \sum_{j=0}^n \theta_{ij}^2

• 梯度
  
  ∇θjJ(θ)=−1m∑i=1m[x(i)(1{y(i)=j}−p(y(i)=j|x(i);θ))]+λθj
  \begin{align}\nabla_{\theta_j} J(\theta) = - \frac{1}{m} \sum_{i=1}^{m}{ \left[ x^{(i)} ( 1\{ y^{(i)} = j\} - p(y^{(i)} = j | x^{(i)}; \theta) ) \right] } + \lambda \theta_j

SVM

• 目标函数
  

  min12||w||2s.tyi(wT⋅Φ(xi)+b)≥1i=1,2,3…..,n
  
  根据拉格朗日求极值的方法整理得：
  
  minα12∑i=0n∑j=0nαiαjyiyj(Φ(xi)⋅Φ(xi))−∑i=0nαis.t∑i=0nαiyi=0αi≥0
  
  增加松弛因子后目标函数变为：
  
  min12||w||2+C∑i=0nξis.tyi(wT⋅Φ(xi)+b)≥1−ξiξi≥0
  
  根据拉格朗日求极值的方法整理得：
  
  minα12∑i=0n∑j=0nαiαjyiyj(Φ(xi)⋅Φ(xi))−∑i=0nαis.t∑i=0nαiyi=00≤αi≤C

• 损失函数
  L(y)=1m∑mi=0max(0,1−y(i)y^(i))

总结：
线性回归是最小二乘损失：L(y,y^)=1m∑mi=0(y(i)−y^(i))2
逻辑回归与softmax回归是交叉熵损失：L(y,y^)=−1m∑mi=0y(i)logy^(i)
SVM是hinge损失：L(y)=1m∑mi=0max(0,1−y(i)y^(i))