Stanford机器学习---第一周.监督学习与梯度下降

   假期继续捡起Coursera上Andrew Ng的《Machine Learning》课程，去年同一时间学过一点点，这假期争取结课。

   视频讲的内容还是蛮多的，写在讲义上的知识点太零散，每周的课程做一个梳理和总结，感兴趣的可以参考下滴~

第一周

第一讲 引言(Introduction) 

1.机器学习是目前信息技术中最激动人心的方向之一；

   机器学习是人工智能AI（Artificial Intelligence）的核心；

   应用举例：数据挖掘Database Mining、手写识别handwriting recognition、计算机视觉Computer Vision等。

2.定义：Field of study that gives computers the ability to learn without being explicitly programmed.

i.e.A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T ,as measured by P,improves with experience E.

举个例子理解下TPE:

①跳棋人机对弈：Task-------跳棋任务.

Performance measure------和新对手玩跳棋时赢得概率.

Experience-------你和计算机玩10次-1000次的跳棋游戏.

②邮件垃圾分类：Task-------Classifying emails as spam or not spam.

Perform measure--------The number of emails correctly classified as spam/not spam.(成功的频数or概率)

Experience-------Watching you label emails as spam or not spam.

★★★3.机器学习算法可以分为监督学习和非监督学习两大类。

监督学习Supervised learning：给定算法一个数据集，并且给定正确的答案；

非监督学习Unsupervised learning：只给定数据集，没有给定正确答案;

监督学习有2大类：回归问题和分类问题。

①回归问题Regression:预测一个连续值的属性(拟合)

②分类问题Classification:预测一个离散的输出值(0-1)

非监督学习：聚类分析clustering

第二讲 一元线性回归问题(Linear regression with one variable)

1.代价函数(平方误差函数)J

                   

例如：一元线性拟合(回归)

假设/拟合函数Hypothesis:

                                            

参数Parameter:

                                          

代价函数Cost Function:

                                           

目标Goal:

                                                

★★★2.梯度下降算法Gradient descent algorithm

原理：初始化一个值，沿偏导数方向下降直至代价函数收敛(或找到局部最优解)

算法:

       repeat until convergence{

          

      }

      其中,J为代价函数，以一元线性代价函数为例；

      α为学习速率learning rate，可以理解为下降的步伐大小；

盗图两张，方便理解：

3.正交方程

   如果数据集较小，也可以采用这种方法，后面再介绍~

第三讲 线性代数回顾Linear algebra review

较基础，大一的课程，跳过~

第一周的课程就到这里了╰(￣▽￣)╮笔者继续学习第二周的课程了，有兴趣的一起来呗~