机器学习算法与Python实践

机器学习/人工智能 知识图谱

可以为自己建立一个机器学习的知识图谱，并争取掌握每一个经典的机器学习理论和算法，简单地总结如下：

1）回归算法：

• 最小二乘法（OrdinaryLeast Square）
• 逻辑回归（Logistic Regression）
• 逐步式回归（Stepwise Regression）
  (缩减方法)
• 多元自适应回归样条（MultivariateAdaptive Regression Splines）
• 本地散点平滑估计（Locally Estimated Scatterplot Smoothing）

2）基于实例的算法：

• k-Nearest Neighbor(KNN)
• 学习矢量量化（Learning Vector Quantization， LVQ）
• 自组织映射算法（Self-Organizing Map ， SOM）

3）基于正则化方法：

• 岭回归（Ridge Regression）L2
• 稀疏约束Least Absolute Shrinkage and Selection Operator（LASSO）L1
• 弹性网络（Elastic Net）

4）决策树学习：

• 分类及回归树（ClassificationAnd Regression Tree， CART）
  http://blog.csdn.net/m0_37167788/article/details/78794833
• ID3 (Iterative Dichotomiser 3)
• C4.5
• Chi-squared Automatic Interaction Detection(CHAID)
• Decision Stump
• 随机森林（Random Forest）
• 多元自适应回归样条（MARS）
• 梯度推进机（Gradient Boosting Machine， GBM）

5）基于贝叶斯方法：

• 朴素贝叶斯算法
• 平均单依赖估计（AveragedOne-Dependence Estimators， AODE）
• Bayesian Belief Network（BBN）

6）基于核的算法：

• 支持向量机（SupportVector Machine， SVM）
• 径向基函数（Radial Basis Function ，RBF)
• 线性判别分析（Linear Discriminate Analysis ，LDA)

7）聚类算法：

• k-Means算法
• 期望最大化算法（Expectation Maximization， EM）

8）基于关联规则学习：

• Apriori算法
• Eclat算法

9）人工神经网络：

• 感知器神经网络（PerceptronNeural Network）
• 反向传递（Back Propagation）
• Hopfield网络
• 自组织映射（Self-OrganizingMap, SOM）
• 学习矢量量化（Learning Vector Quantization， LVQ）；

10）深度学习：

• 受限波尔兹曼机（RestrictedBoltzmann Machine， RBN）
• Deep Belief Networks（DBN）
• 卷积网络（Convolutional Network）
• 堆栈式自动编码器（Stacked Auto-encoders）

11）降低维度的算法：

• 主成份分析（PrincipleComponent Analysis， PCA）
• 偏最小二乘回归（Partial Least Square Regression，PLS）
• Sammon映射
• 多维尺度（Multi-Dimensional Scaling, MDS）
• 投影追踪（ProjectionPursuit）

12）集成算法：

• Boosting
• Bootstrapped Aggregation（Bagging）
• AdaBoost
• 堆叠泛化（Stacked Generalization， Blending）
• 梯度推进机（GradientBoosting Machine, GBM）
• 随机森林（Random Forest）

后续将持续更新机器学习算法及其Python实践代码，与大家一起学习探讨。