机器学习10大经典算法详解

本文主要详细介绍了机器学习的10大经典算法，具有一定的参考价值。感兴趣的朋友可以参考一下。

本文分享机器学习的10个经典算法，供大家参考。具体如下。

1、C4.5

C4.5算法是机器学习算法中的分类决策树算法，其核心算法是ID3算法。C4.5算法继承了ID3算法的优点，在以下几个方面对ID3算法进行了改进：

1)用信息增益率来选择属性，克服了用信息增益选择属性时选择值较多的属性的缺点；

2)建树过程中的修剪；

3)可以完成连续属性的离散化；

4)能够处理不完整的数据。

C4.5算法有以下优点：生成的分类规则易于理解，准确率高。其缺点是在构造树的过程中，需要对数据集进行多次扫描和排序，导致算法效率低下。

2、The k-means algorithm即K-Means算法

K-means算法是一种聚类算法，它将n个对象按其属性k n分成k个分区，它类似于处理混合正态分布的最大期望算法，因为它们都试图在数据中找到自然聚类的中心。它假设对象属性来自空间向量，目标是最小化每个组内的均方误差之和。

3、Support vector machines支持向量机

支持向量机(SVM)，简称SV机(本文统称SVM)。它是一种监督学习方法，广泛应用于统计分类和回归分析。支持向量机将向量映射到一个更高维的空间，在这个空间中建立一个具有最大间距的超平面。在分隔数据的超平面的两侧有两个平行的超平面。分离超平面使两个平行超平面之间的距离最大化。假设平行超平面之间的距离或间隙越大，分类器的总误差越小。一本优秀的指南是C.J.C Burges Van Walt和Barnard的《模式识别支持向量机指南》比较支持向量机与其他分类器。

4、The Apriori algorithm

Apriori算法是挖掘布尔关联规则频繁项集最有影响力的算法之一。其核心是基于两阶段频率集思想的递归算法。该关联规则在分类上属于一维、单层、布尔型关联规则。这里，所有支持度大于最小支持度的项集称为频繁项集，简称为频率集。

5、最大期望(EM)算法

在统计计算中，EM (Expectation-Maximization)算法是一种寻找概率模型中参数的最大似然估计的算法，其中概率模型依赖于不可观测的隐变量(Latent variable bl)。最大期望常用于机器学习和计算机视觉的数据聚类领域。

6、PageRank网页排名

PageRank是Google算法的重要内容。2001年9月，他获得了谷歌创始人之一拉里佩奇的美国专利。所以pageRank中的page并不是指网页，而是指Page，也就是这种层次化的方法以Page命名。

PageRank根据一个网站的外部链接和内部链接的数量和质量来衡量这个网站的价值。PageRank背后的概念是，一个页面的每一个链接都是对那个页面的投票，链接越多，其他网站的投票就越多。就是这个所谓的——的“链接热度”，衡量的是有多少人愿意把自己的网站和你的链接起来。PageRank的概念引用自一篇学术论文，引用频率为——，即被他人引用的次数越多，一般判断该论文的权威性越高。

7、AdaBoost

Adaboost是一种迭代算法。其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后将这些弱分类器组合起来，形成一个更强的最终分类器(强分类器)。算法本身是通过改变数据分布来实现的。它根据每个训练集中每个样本的分类是否正确，以及最后一次总体分类的准确性来确定每个样本的权重。将权重修改后的新数据集送入下级分类器进行训练，最后将每次训练得到的分类器最终融合为最终的决策分类器。

8、kNN: k-nearest neighbor classification

k近邻(KNN)分类算法是理论上比较成熟的方法，也是最简单的机器学习算法之一。这种方法的思想是：如果特征空间中K个最相似样本中的大部分属于某一类别，则该样本也属于该类别。

9、Naive Bayes朴素贝叶斯

在众多分类模型中，使用最广泛的两种分类模型是决策树模型和朴素贝叶斯模型(NBC)。朴素贝叶斯模型源于经典数学理论，具有坚实的数学基础和稳定的分类效率。同时，NBC模型需要的估计参数少，对缺失数据不敏感，算法相对简单。理论上，与其他分类方法相比，NBC模型的错误率最小。但事实上，并不总是这样。这是因为NBC模型假设属性相互独立，而这种假设在实际应用中往往不成立，这给NBC模型的正确分类带来了一定的影响。当属性个数较多或者属性之间的相关性较大时，NBC模型的分类效率不如决策树模型。然而，当属性相关性较小时，NBC模型具有最好的性能。