Coursera ML笔记 -----week8-1 K-means
来源:互联网 发布:淘宝开什么网店赚钱 编辑:程序博客网 时间:2024/06/06 14:07
欢迎点击作者原文地址
前面学习了监督学习的两大类问题:分类和回归。
后面就开始学习无监督学习:密度估计和聚类
首先了解一下监督学习和无监督学习的差别,这一点可以直接从我们输入的数据看出来
supervise learning :
unsupervise learning:
显然,监督学习的数据都是成对出现,带有lable
接下来开始一个聚类算法的学习,K-means
输入:
1. 随机初始
2. 循环以下两个步骤:
- cluster assignment step: 找到
- move centroid step: 分别计算
(如果某个中心点所在的类一个点也没有,那么可以考虑把这个中心点去掉,把k个类变成k-1个类,也可以重新初始化k个中心点)
对于这个聚类算法,我们有如下的几个问题要解决:
1. 我们的k要怎么选取
2. 选定k以后,初始中心点
3. 如果出现了local optimal怎么办
4. optimization objective
optimization objective:
在监督学习中,我们都有一个cost function。在这里,我们显然也应有对应的
其中
那么
我们的optimization objective 就是:
在K-means循环的过程中,两个step分别对应不同的优化目标:
assignment step:固定了
move step:不断地优化
k怎么选择?
主要还是靠人工的方法进行选择?可供参考的方法有:
elbow method:就是选择不同的k计算distortion function,看在哪一个k下出现了明显的转折点elbow,那么就选择那个k作为我们的目标K
但是有一个问题是,我们在实际运用的过程中,我们会发现k之间的弯折程度并没有那么大,没有明显的转折点,有多个k可以选择。
更一般的方法是,选择不同的k进行聚类,然后在后续的过程中使用不同的维度评估不同的k的效果
初始中心点的选择:
直接在给出的example里面选择k个点作为初始的中心点。
但是上述的选择方法有时候容易出现local optimal,我们怎么解决:
在
当然,在
- Coursera ML笔记 -----week8-1 K-means
- Coursera ML笔记 -----week8-2 数据降维
- [Coursera机器学习]K-means Clustering and Principal Component Analysis WEEK8编程作业
- Coursera ML笔记1-2
- Coursera机器学习 Week8 笔记
- Coursera ML笔记 -----week9-1 异常检测
- Coursera ML笔记3
- Coursera ML笔记4
- Coursera ML笔记5
- Coursera ML笔记6
- Coursera ML笔记
- ML-Week8
- Coursera ML笔记 -----week3 Regulariztion
- [机器学习] Coursera ML笔记
- [机器学习] Coursera ML笔记
- 【ML--12】聚类---K-means算法
- 斯坦福ML公开课笔记12——K-Means、混合高斯分布、EM算法
- 斯坦福ML公开课笔记12——K-Means、混合高斯分布、EM算法
- 二叉树
- 07-图4 哈利·波特的考试 (25分)
- python从入门到实践7-6
- 判断是否是闰年
- 5天玩转C#并行和多线程编程 —— 第四天 Task进阶
- Coursera ML笔记 -----week8-1 K-means
- HTML5复习 (3)
- 打造炫酷通用的ViewPager指示器
- 山东省第二届ACM省赛 I
- 设置属性setter方法
- intelj idea 创建 Struts2 项目
- 记录:macbook 下剪切快捷键
- AngularJS快速入门3--控制器
- 解决ScrollView.setOnScrollChangeListener() API23以上可用问题