机器学习--监督学习应用（梯度下降）

监督学习应用--梯度下降1.监督学习的定义：监督学习是指：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。一个最佳的方案将允许该算法来正确地决定那些看不见的实例的类标签。这就要求学习算法是在一种“合理”的方式从一种从训练数据到看不见的情况下形成。2.自动驾驶3.监督型算法：回归问题，测量值是连续的4.房价数据：   已知房子的价钱和年代   问题：给你训练集的数据，是否能够预测房价和房子大小   m：表示训练样本的数量   x:输入变量（特征）   y:输出变量（目标）  （x,y）:表示一个样本   i:第i行和列   n:特征的数目先找一个训练集合，学习型算法，生成一个输出函数h（称为假设--接受任务），输出房价的估计①如何表示假设： x1房子大小，x2卧室数量， 假设方程h(x)=Q0+Q1x1+Q2x2(Q是学习算法的参数 代表实数  是我们需要得到的值) 假设类可以是各种形式的②如何选择假设的参数： 基于训练集 做出假设 让算法得到一个预测值和真实值的差值最小的结果  目标：最小二乘*（1/2）的和最小③：算法实现②的目标：一.搜索算法：先给参数向量一个初始值，（比如初始化一个0向量），改变参数使值不断变小   梯度下降算法：    三维地表状，那种下山的方式能更快？环顾360选取路径就成了关键    下降的结果依赖于擦参数初始值，这样找局部最优结果    迭代更新参数值（偏导数）   梯度下降算法应用：（牛顿下山法）        下降规则：              ①只有一组训练样本的情况：              ②链式求导函数公式：  最小二乘*（1/2）的和最小          ③梯度会不断减小 接近真实值          ④得到最小二乘拟合          ⑤检验收敛：值的波动不再大              ⑥梯度算法如何决定最佳路径：偏导数计算得出              ⑦分类：批梯度下降：代表每次要遍历于整个训练集 效率低随机梯度下降：（增量梯度下降）适合训练集特别大，你可能会走其他方向，但总体会走向最近，查找速度快   a=:1 设a=1   a=1  a的真值是150：48