【基础】常用的机器学习&数据挖掘知识点

Basis(基础)：

MSE(Mean Square Error 均方误差)，LMS(LeastMeanSquare 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihoodEstimation最大似然估计)，QP(Quadratic Programming 二次规划)，CP(Conditional Probability条件概率)，JP(Joint Probability 联合概率)，MP(Marginal Probability边缘概率)，BayesianFormula(贝叶斯公式)，L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)，GD(GradientDescent梯度下降)，SGD(Stochastic Gradient Descent 随机梯度下降)，Eigenvalue(特征值)，Eigenvector(特征向量)，QR-decomposition(QR分解)，Quantile (分位数)，Covariance(协方差矩阵)。

 

Common Distribution(常见分布)：

Discrete Distribution(离散型分布)：BernoulliDistribution/Binomial(贝努利分布/二项分布)，NegativeBinomialDistribution(负二项分布)，MultinomialDistribution(多项式分布)，GeometricDistribution(几何分布)，HypergeometricDistribution(超几何分布)，PoissonDistribution (泊松分布)

 

Continuous Distribution (连续型分布)：UniformDistribution(均匀分布)，NormalDistribution /Guassian Distribution(正态分布/高斯分布)，ExponentialDistribution(指数分布)，LognormalDistribution(对数正态分布)，GammaDistribution(Gamma分布)，BetaDistribution(Beta分布)，Dirichlet Distribution(狄利克雷分布)，RayleighDistribution(瑞利分布)，Cauchy Distribution(柯西分布)，Weibull Distribution (韦伯分布)

 

Three Sampling Distribution(三大抽样分布)：Chi-squareDistribution(卡方分布)，t-distribution(t-distribution)，F-distribution(F-分布)

 

Data Pre-processing(数据预处理)：

Missing Value Imputation(缺失值填充)，Discretization(离散化)，Mapping(映射)，Normalization(归一化/标准化)。

 

Sampling(采样)：

Simple Random Sampling(简单随机采样)，OfflineSampling(离线等可能K采样)，OnlineSampling(在线等可能K采样)，Ratio-based Sampling(等比例随机采样)，Acceptance-RejectionSampling(接受-拒绝采样)，ImportanceSampling(重要性采样)，MCMC(MarkovChain Monte Carlo 马尔科夫蒙特卡罗采样算法：Metropolis-Hasting&Gibbs)。

 

Clustering(聚类)：

K-Means，K-Mediods，二分K-Means，FK-Means，Canopy，Spectral-KMeans(谱聚类)，GMM-EM(混合高斯模型-期望最大化算法解决)，K-Pototypes，CLARANS(基于划分)，BIRCH(基于层次)，CURE(基于层次)，DBSCAN(基于密度)，CLIQUE(基于密度和基于网格)

 

Classification&Regression(分类&回归)：

LR(Linear Regression 线性回归)，LR(LogisticRegression逻辑回归)，SR(SoftmaxRegression 多分类逻辑回归)，GLM(GeneralizedLinear Model 广义线性模型)，RR(RidgeRegression 岭回归/L2正则最小二乘回归)，LASSO(Least Absolute Shrinkage andSelectionator Operator L1正则最小二乘回归)， RF(随机森林)，DT(DecisionTree决策树)，GBDT(GradientBoostingDecision Tree 梯度下降决策树)，CART(ClassificationAnd Regression Tree 分类回归树)，KNN(K-NearestNeighbor K近邻)，SVM(Support VectorMachine)，KF(KernelFunction 核函数PolynomialKernelFunction 多项式核函数、Guassian KernelFunction 高斯核函数/RadialBasisFunction RBF径向基函数、String KernelFunction 字符串核函数)、 NB(Naive Bayes 朴素贝叶斯)，BN(Bayesian Network/Bayesian Belief Network/ Belief Network 贝叶斯网络/贝叶斯信度网络/信念网络)，LDA(LinearDiscriminant Analysis/FisherLinear Discriminant 线性判别分析/Fisher线性判别)，EL(EnsembleLearning集成学习Boosting，Bagging，Stacking)，AdaBoost(Adaptive Boosting 自适应增强)，MEM(MaximumEntropyModel最大熵模型)

 

Effectiveness Evaluation(分类效果评估)：

Confusion Matrix(混淆矩阵)，Precision(精确度)，Recall(召回率)，Accuracy(准确率)，F-score(F得分)，ROCCurve(ROC曲线)，AUC(AUC面积)，LiftCurve(Lift曲线) ，KS Curve(KS曲线)。

 

PGM(Probabilistic Graphical Models概率图模型)：

BN(Bayesian Network/Bayesian BeliefNetwork/ BeliefNetwork 贝叶斯网络/贝叶斯信度网络/信念网络)，MC(Markov Chain 马尔科夫链)，HMM(HiddenMarkov Model 马尔科夫模型)，MEMM(MaximumEntropy Markov Model 最大熵马尔科夫模型)，CRF(ConditionalRandom Field 条件随机场)，MRF(MarkovRandomField 马尔科夫随机场)。

 

NN(Neural Network神经网络)：

ANN(Artificial Neural Network 人工神经网络)，BP(ErrorBackPropagation 误差反向传播)

 

Deep Learning(深度学习)：

Auto-encoder(自动编码器)，SAE(StackedAuto-encoders堆叠自动编码器：Sparse Auto-encoders稀疏自动编码器、Denoising Auto-encoders去噪自动编码器、ContractiveAuto-encoders 收缩自动编码器)，RBM(RestrictedBoltzmann Machine 受限玻尔兹曼机)，DBN(DeepBelief Network 深度信念网络)，CNN(ConvolutionalNeural Network 卷积神经网络)，Word2Vec(词向量学习模型)。

 

DimensionalityReduction(降维)：

LDA LinearDiscriminant Analysis/FisherLinear Discriminant 线性判别分析/Fisher线性判别，PCA(Principal ComponentAnalysis 主成分分析)，ICA(IndependentComponentAnalysis 独立成分分析)，SVD(Singular Value Decomposition 奇异值分解)，FA(FactorAnalysis因子分析法)。

 

Text Mining(文本挖掘)：

VSM(Vector Space Model向量空间模型)，Word2Vec(词向量学习模型)，TF(TermFrequency词频)，TF-IDF(Term Frequency-Inverse DocumentFrequency 词频-逆向文档频率)，MI(MutualInformation互信息)，ECE(Expected Cross Entropy 期望交叉熵)，QEMI(二次信息熵)，IG(InformationGain信息增益)，IGR(Information Gain Ratio 信息增益率)，Gini(基尼系数)，x2Statistic(x2统计量)，TEW(TextEvidence Weight文本证据权)，OR(OddsRatio 优势率)，N-Gram Model，LSA(Latent Semantic Analysis 潜在语义分析)，PLSA(ProbabilisticLatentSemantic Analysis 基于概率的潜在语义分析)，LDA(Latent DirichletAllocation 潜在狄利克雷模型)

 

Association Mining(关联挖掘)：

Apriori，FP-growth(FrequencyPattern Tree Growth 频繁模式树生长算法)，AprioriAll，Spade。

 

Recommendation Engine(推荐引擎)：

DBR(Demographic-based Recommendation 基于人口统计学的推荐)，CBR(Context-basedRecommendation基于内容的推荐)，CF(Collaborative Filtering协同过滤)，UCF(User-basedCollaborativeFiltering Recommendation 基于用户的协同过滤推荐)，ICF(Item-basedCollaborative Filtering Recommendation 基于项目的协同过滤推荐)。

 

Similarity Measure&Distance Measure(相似性与距离度量)：

Euclidean Distance(欧式距离)，ManhattanDistance(曼哈顿距离)，ChebyshevDistance(切比雪夫距离)，MinkowskiDistance(闵可夫斯基距离)，Standardized Euclidean Distance(标准化欧氏距离)，MahalanobisDistance(马氏距离)，Cos(Cosine 余弦)，HammingDistance/EditDistance(汉明距离/编辑距离)，JaccardDistance(杰卡德距离)，Correlation Coefficient Distance(相关系数距离)，InformationEntropy(信息熵)，KL(Kullback-LeiblerDivergence KL散度/Relative Entropy 相对熵)。

 

Optimization(最优化)：

Non-constrainedOptimization(无约束优化)：CyclicVariableMethods(变量轮换法)，Pattern Search Methods(模式搜索法)，VariableSimplexMethods(可变单纯形法)，Gradient Descent Methods(梯度下降法)，NewtonMethods(牛顿法)，Quasi-NewtonMethods(拟牛顿法)，Conjugate Gradient Methods(共轭梯度法)。

 

ConstrainedOptimization(有约束优化)：ApproximationProgramming Methods(近似规划法)，FeasibleDirection Methods(可行方向法)，PenaltyFunction Methods(罚函数法)，Multiplier Methods(乘子法)。

 

Heuristic Algorithm(启发式算法)，SA(SimulatedAnnealing，模拟退火算法)，GA(geneticalgorithm遗传算法)

 

Feature Selection(特征选择算法)：

Mutual Information(互信息)，DocumentFrequence(文档频率)，InformationGain(信息增益)，Chi-squared Test(卡方检验)，Gini(基尼系数)。

 

Outlier Detection(异常点检测算法)：

Statistic-based(基于统计)，Distance-based(基于距离)，Density-based(基于密度)，Clustering-based(基于聚类)。

 

Learning to Rank(基于学习的排序)：

 

Pointwise：McRank；

 

Pairwise：RankingSVM，RankNet，Frank，RankBoost；

 

Listwise：AdaRank，SoftRank，LamdaMART；

 

Tool(工具)：

MPI，Hadoop生态圈，Spark，BSP，Weka，Mahout，Scikit-learn，PyBrain…

 

作者：尾巴子

 

End.

原文地址：http://www.shellsec.com/tech/205232.html