机器学习第一章复习（2）

本文用于复习《Machine Learning》第一章部分内容

内容来自于Andrew Ng的机器学习课程，主要是为了回忆起来方便

第一章后三讲主要讲解的是代价函数、梯度下降和线性代数基本知识

---

• cost function

  这里cost function即代价函数是指，选择a和b使得h(x)=b+ax中，h(x)最接近于y，即是如下方程

minθ12m∑i=1m(hθ(x(i))−y(i))2

hθ(x)=θ0+θ1x

处理过程为

1. 简化方程令θ0=0，使得
   J(θ1)=12m∑i=1m(hθ(x(i))−y(i))2
   minθ1J(θ1)
2. 不断尝试找到使J达到最小值的θ1

• gradient descent

  这里gradient descent是指，梯度下降算法，大意是说根据J的导数得到上升还是下降趋势以求得汇合到最低点，循环使用如下公式直到汇合到最低点：

  θj:=θj−α∂∂θjJ(θ0,θ1)
  
  值得注意的是如下几点

1. 首先，θ0、θ1要同时更新，不可以先更新一个再更新另一个，因为更新后J就变了
2. 其次，α的选值不可过小，因为这样会导致汇合过程很慢
3. 最后，α的选值不可过大，因为这样会导致无法汇合

• linear algebra

  关于线性代数，没什么特别好说的，主要是看书学好线代就好。特别注意的是基础的部分要夯实，例如矩阵的加、减、乘，反矩阵，转置矩阵等等基础的矩阵用法要会。