回归与分类

机器学习中的分类和回归：

分类问题和回归问题都要根据样本找到一个实值函数g(x)

 

【回归问题】：给定一个新的模式，根据训练集推它所对应的输出实数y。也就是使用y=g(x)来推断一个输入x所对应的输出值。这个y是一个连续值，一般是任意实数。

 

【分类问题】：给定一个新模式，根据训练集推断它所对应的“类别”，要使用“标记”，使用y=sign(g(x))来推断任一输入x所对应的类别。这个y只允许两个值。

 

数学中的回归分析：

【一般的步骤】：

（1）从一组数据除法，确定某些变量之间的定量关系式，即建立数学模型并估计位置参数（比如最小二乘法）

（2）检验这些关系式的可信任程度

（3）在多个自变量影响一个因变量关系中，判断自变量的影响是否显著，并将显著的选入模型中，剔除不显著的变量。

（4）利用所求的关系式对某一过程进行预测或控制

 

【有哪几种回归】：

当函数为参数未知的线性函数时，线性回归

当函数为参数未知的非线性函数时，非线性回归

当自变量个数大于1时，多元回归

当因变量个数大于1时，多重回归