深度学习-基础知识学习笔记

专业名词解析：

• 人工智能：人工智能是指，在不接触情况下，一个人和对方进行一系列的问答，如果在相当长的一段时候，都无法判断对方是人还是计算机，可以认为这个机器是智能的。

• 人工智能包括：机器感知（计算机视觉，自然语言处理），学习（模式识别，机器学习，增强学习），记忆（知识表示），决策（规划，数据挖掘）等。

• 感知器：模拟人类感知能力的数学模型，感知器是一种最简单的神经网络。

• 人工神经网络（神经网络）：是机器学习算法中比较接近生物神经网络的数学模型。

• 深度学习：是从机器学习中的神经网络发展出来的一种新领域。甚至逐渐超出机器学习的范畴，朝着人工智能的方向快速发展。

---

logistic函数

用来将一个实数空间的数映射到（0,1）区间。

softmax函数

将多个标量映射为一个分布函数。
例如，

机器学习基础知识

机器学习是从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对未知数据进行预测。目前，主流的机器学习的算法是基于统计的，也叫统计机器学习。

决策函数：一种输入与输出之间的映射关系。

衡量决策函数的好坏的一个准则：定义一个损失函数，然后再所有的训练样本上评价决策函数的风险。这里的风险是在已知的训练样本（经验数据）上计算得来的，因此成为经验风险。我们的目标变为，找到一个参数使得经验风险最小

过拟合：模型在训练样本的错误率很低，但是在未知数据的错误率很高。

过拟合的原因：训练数据少和噪声等原因。

泛化错误：一般表现为，模型在训练集和测试集上错误率的差距。

解决过拟合：在经验风险最小化原则上加上参数的正则化，称为结构风险最小化原则。

机器学习算法类型：有监督学习 和 无监督学习 和 增强学习。

有监督学习：利用一组已知输入和输出的数据来对模型的参数进行学习，使得模型预测的输出标记和真实标记尽可能一致。

有监督学习：根据输出的类型可分为 回归 和 分类。

（线性）回归：已知的输出是连续的，模型的输出也是连续的。
分类：已知的输出是离散的类别标记，则是分类问题。在分类问题中，通过学习得到的决策函数f也叫分类器。

无监督学习：用来学习的数据不包括输出目标，需要学习算法自动获取到一些有价值的信息。一个典型的无监督学习为聚类。

增强学习：暂无。

特征学习：原始数据的特征有很多，有一些是无用或者冗余或者易变的。因此需要提取有效的、稳定的特征。特征学习就是自动的学习有效特征。特征学习分为 特征选择 和 特征提取。

特征选择：从很多特征集合中选择有效的特征子集。
特征提取：构造一个新的特征空间，并将原始特征投影在新的特征空间中。

参数学习算法

参数学习算法为，从训练集的样本中，自动学习决策函数的参数。
梯度下降法 和 最小二乘法 都是参数学习算法

梯度下降法　
梯度下降法是求解无约束优化问题时较为常用的方法。

项目１

项目２

定义 A

定义 B

项目３

定义 C

定义 D

定义D内容

代码块

代码块语法遵循标准markdown代码，例如：

@requires_authorizationdef somefunc(param1='', param2=0):    '''A docstring'''    if param1 > param2: # interesting        print 'Greater'    return (param2 - param1 + 1) or Noneclass SomeClass:    pass>>> message = '''interpreter... prompt'''

脚注

生成一个脚注1.

目录

用 [TOC]来生成目录：

数学公式

使用MathJax渲染LaTex 数学公式，详见math.stackexchange.com.

• 行内公式，数学公式为：Γ(n)=(n−1)!∀n∈N。

• 块级公式：

x=−b±b2−4ac−−−−−−−√2a

更多LaTex语法请参考 这儿.

UML 图:

可以渲染序列图：

或者流程图：

• 关于 序列图 语法，参考 这儿,

• 关于 流程图 语法，参考 这儿.

离线写博客

即使用户在没有网络的情况下，也可以通过本编辑器离线写博客（直接在曾经使用过的浏览器中输入write.blog.csdn.net/mdeditor即可。Markdown编辑器使用浏览器离线存储将内容保存在本地。

用户写博客的过程中，内容实时保存在浏览器缓存中，在用户关闭浏览器或者其它异常情况下，内容不会丢失。用户再次打开浏览器时，会显示上次用户正在编辑的没有发表的内容。

博客发表后，本地缓存将被删除。　

用户可以选择 把正在写的博客保存到服务器草稿箱，即使换浏览器或者清除缓存，内容也不会丢失。

注意：虽然浏览器存储大部分时候都比较可靠，但为了您的数据安全，在联网后，请务必及时发表或者保存到服务器草稿箱。

浏览器兼容

1. 目前，本编辑器对Chrome浏览器支持最为完整。建议大家使用较新版本的Chrome。

2. IE９以下不支持

3. IE９，１０，１１存在以下问题

   1. 不支持离线功能

   2. IE9不支持文件导入导出

   3. IE10不支持拖拽文件导入

---

---

1. 这里是 脚注 的 内容. ↩