个人学习总结一机器学习入门(四)
来源:互联网 发布:万方免费数据库查询 编辑:程序博客网 时间:2024/05/23 12:01
(以后没有特殊情况还是两篇博客分开更比较好,都放在周末时间太紧张了)
好了进入正题,上一篇简单讲了讲计算机视觉以及和数字图像处理、计算机图形学和机器学习的区别和联系,这一篇打算主要来初步讲讲深度学习。
首先惯例还是先来定义。
深度学习的概念由Hinton等人于2006年提出,对传统的人工神经网络算法进行了改进,通过模仿人的大脑处理信号时的多层抽象机制来完成对数据的识别。
深度学习中的“deep”,简单来讲指的是神经网络多层结构。下面细讲下。
深度
的值,计算的结果被应用到这个节点的子节点的值。考虑这样一个计算集合,它可以被允许在每一个节点和可能的图结构中,并定义了一个函数族。输入节点没有父节点,输出节点没有子节点。
空间,另一个对应于所产生输出的线性混合)。
人工智能研究的方向之一,是以所谓 “专家系统” 为代表的,用大量 “如果-就” (If - Then) 规则定义的,自上而下的思路。人工神经网络 ( Artifical Neural Network),标志着另外一
种自下而上的思路。神经网络没有一个严格的正式定义。它的基本特点,是试图模仿大脑的神经元之间传递,处理信息的模式。
在传统的模式识别应用中,基本处理流程是先对数据进行预处理,之后在预处理后的数据上进行特征提取(Feature Extraction),然后利用这些特征,采用各种算法如
SVM,CRF等训练出模型,并将测试数据的特征作为模型的输入,输入分类或标注的结果。在这个流程中,特征提取是至关重要的步骤。特征提取的好坏直接影响到模型分类的
性能。而在实际应用中,设计合适的特征是一项充满挑战的工作,以图像为例,目前常用的特征还是少数的几种,如SIFT、HOG等。而深度学习方法可以首先从原始数据中无
监督地学习特征,将学习到的特征作为之后各层的输入,省去了人工设计特征的步骤。
含多个隐层的深度学习模型
Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络。
Key Words:有监督学习与无监督学习,分类、回归,密度估计、聚类,深度学习,Sparse DBN,
1. 有监督学习和无监督学习
给定一组数据(input,target)为Z=(X,Y)。
有监督学习:最常见的是regression & classification。
regression:Y是实数vector。回归问题,就是拟合(X,Y)的一条曲线,使得下式cost function L最小。
classification:Y是一个finite number,可以看做类标号。分类问题需要首先给定有label的数据训练分类器,故属于有监督学习过程。分类问题中,cost function L(X,Y)是X属于类Y的概率的负对数。
,其中fi(X)=P(Y=i | X);
无监督学习:无监督学习的目的是学习一个function f,使它可以描述给定数据的位置分布P(Z)。 包括两种:density estimation & clustering.
density estimation就是密度估计,估计该数据在任意位置的分布密度
clustering就是聚类,将Z聚集几类(如K-Means),或者给出一个样本属于每一类的概率。由于不需要事先根据训练数据去train聚类器,故属于无监督学习。
PCA和很多deep learning算法都属于无监督学习。
2.Deep Learning Algorithm 的核心思想:
把learning hierarchy 看做一个network,则
①无监督学习用于每一层网络的pre-train;
②每次用无监督学习只训练一层,将其训练结果作为其higher一层的输入;
③用监督学习去调整所有层
"这里不负责任地理解下,举个例子在Autoencoder中,无监督学习学的是feature,有监督学习用在fine-tuning. 比如每一个neural network 学出的hidden layer就是feature,作为下一次神经网络无监督学习的input……这样一次次就学出了一个deep的网络,每一层都是上一次学习的hidden layer。再用softmax classifier去fine-tuning这个deep network的系数。"
(目前整理就这些,关于深度学习还有后续更新)
- 个人学习总结一机器学习入门(四)
- 个人学习总结一机器学习入门(一)
- 个人学习总结一机器学习入门(二)
- 个人学习总结一机器学习入门(三)
- 个人学习总结一机器学习入门(五)
- 个人学习总结一机器学习入门(六)
- 个人学习总结一机器学习入门(七)
- 个人学习总结一机器学习入门(八)
- 个人学习总结一机器学习入门(九)
- 个人学习总结一机器学习入门(十)
- 机器学习入门(一)
- 机器学习入门(一)
- 机器学习入门(一)
- 学习理论、模型选择、特征选择——斯坦福CS229机器学习个人总结(四)
- Andrew Ng机器学习入门学习笔记(四)之神经网络(一)
- 机器学习总结一
- 机器学习笔记(一)机器学习入门之旅
- dwz 个人学习笔记(一)入门
- [LeetCode]17. Letter Combinations of a Phone Number
- Spring笔记
- Windows编程_Lesson004_项目预备_同步IO操作
- 人脸识别之颜色识别
- 深入理解javascript原型和闭包(12)——简介【作用域】
- 个人学习总结一机器学习入门(四)
- ubuntu 16.04 + Qt5.7.1+VTK6.3.0 + opencv2.4.13-viz(3D可视化)安装教程
- 在没有串口的情况下,调整打log的优先级的方法
- LeetCode 459. Repeated Substring Pattern
- 5.13
- [leetcode: Python]242.Valid Anagram
- jvm 垃圾收集器
- Promise相关
- POJ 2187 旋转卡壳 解题报告