Python机器学习笔记——监督学习

使用fit()函数，对训练数据构成的特征X和标签 y进行训练，调用 predict()函数，对未知分类样本分类。

 

K-近邻算法（KNN）

计算待分类数据点与已有数据集中所有数据点的距离。取距离最小的前K个点，将这个数据点划分为出现次数最多的那个类别。K较大易导致预测错误，K较小会导致过拟合：一般情况下，K 会倾向选取较小的值，并使用交叉验证法选取最优 K 值。

 

 

决策树

决策树是一种树形结构的分类器，通过顺序询问分类点的属性决定分类点最终的类别。决策树本质上是寻找一种对特征空间上的划分，旨在构建一个训练数据拟合的好，并且复杂度小的决策树。

 

 

朴素贝叶斯

朴素贝叶斯是典型的生成学习方法，由训练数据学习联合概率分布，并求后验概率分布.朴素贝叶斯一般在小规模数据上的表现很好，适合进行多分类任务。

 

fromsklearn.neighborsimportKNeighborsClassifier

fromsklearn.treeimportDecisionTreeClassifier

fromsklearn.naive_bayesimportGaussianNB

 

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

 

线性回归

使用形如y=wTx+b的线性模型拟合数据输入和输出之间的映射关系。

 

fromsklearn.linear_modelimport LinearRegression

 

 

多项式回归(PolynomialRegression)

是研究一个因变量与一个或多个自变量间多项式的回归分析方法。如果自变量只有一个

时，称为一元多项式回归；如果自变量有多个时，称为多元多项式回归。

 

fromsklearn.preprocessingimport PolynomialFeatures

 

岭回归(ridgeregression)

岭回归的优化目标：

岭回归是一种专用于共线性数据分析的有偏估计回归方法，是一种改良的最小二乘估计法，对某些数据的拟合要强于最小二乘法。

 

fromsklearn.linear_modelimport Ridge

fromsklearn.preprocessingimportPolynomialFeatures

 

 

 

多层感知机（Multilayerperceptron，MLP）

一个简单的全连接神经网络。MLP输出为one-hotvectors：一个one-hot向量除了某一位的数字是1以外其余各维度数字都是0。

 

fromsklearn.neural_networkimport MLPClassifier