吴恩达Deeplearning.ai专项课程笔记（一）-- 神经网络基础

　　吴恩达深度学习专项课程Deeplearning.ai共开设五门课，目前已经学了大半，想起来忘了整理课程笔记，这几天抽空补上。

1.基础概念

• 神经网络 ：输入一些数据，经过隐藏层，最终得到输出，圆形节点为神经元。
  　

• 神经网络样例 ：（标准神经网络/卷积神经网络/循环神经网络）
  　　　

• 结构化数据与非结构化数据 ：结构化数据通常指数据库数据（每个特征都有清晰定义），非结构化数据如音频、原始音频、图像、文本等。

2.Logistic回归（二分类）

• 特征向量构建
  exm.图像特征向量的提取，把每个像素上的RGB数值（假设共nx个）提取出来排列入一个向量中，就得到一个nx维的特征向量；
  　　
  　　
• 深度学习符号约束
  １.样本：
  　　对(x,y)表示一个单独样本，其中x为nx维特征向量,y∈{ 0，1} （二分分类）。
  　　
  2.训练集：
  　　对于训练集中的单个样本，用圆括号加上标进行标注，如：(x(1),y(1)),(x(2),y(2)),…(x(m),y(m)) 其中m表示训练集样本个数，即：m=Mtrain。
  　　
  ３.矩阵符号约束：
  　　训练集矩阵X的约定形式，将样本横向排列，写成矩阵X的列，因此矩阵维度为(nx,m)，输出矩阵Y的约定形式，将样本对应标签依旧横向排列，写成矩阵Y的列，因此输出矩阵维度为(1,m)。
  
  　
• logistic回归
  　　对于单个样本x，其正确标签值为y，通过logistic回归得到的预测值记为y^=P(y=1|x)（读作y hat或y帽），对应参数分别为ω，b。其中ω维数同x，为一个nx维向量，b为实数。
  　　给定样本x(i)，logistic回归公式为：　　　　　　　
  　　 　　　　　　　y^(i)=σ(ωTx(i)+b)，z(i)=ωTx(i)+b
  　　激发函数sigmoid函数控制y^的值在0与1之间，函数公式为σ(x)=11+e−x，函数图像如下图所示。
  　　　　
  　　损失函数（也叫误差函数），用于衡量预测值与实际值间的接近程度，其定义方法有多种，如L2范数平方均值等，在Logistic回归中，定义损失函数L为：
  　　　　　　　　　　L(y^,y)=−(ylog(y^)+(1−y)log(1−y^))
  　　损失函数L基于单个样本定义，衡量模型在单个训练样本上的表现，针对整个训练集，采用成本函数J(cost　function)衡量基于参数的总成本。　　
  　　　　1m∑mi=1L(y^(i),y(i))=−1m∑mi=1[y(i)log(y^(i))+(1−y(i))log(1−y^(i))]
  　　目标：找到合适的参数ω,b，使成本函数值降到最低。
  　　

• 梯度下降
  　　目标：学习使成本函数尽可能小的参数ω,b
  　　方法：首先初始化ω,b，然后进行沿最陡的下坡方向下降，直至抵达最低点（收敛到全局最优解或接近全局最优解）
  　　公式：ω＝ω−αdJ(ω)dω, α为学习率，也称为每次下降的步长，而梯度可以理解为函数曲线/曲面的方向。

  　１.单个样本的梯度下降
  　　由于单个样本而言，损失函数为：
  　　 　　　l(y^(i),y(i))=−（y(i)log(y^(i))+(1−y(i))log(1−y^(i))）
  　　其中：z(i)=ωTx(i)+b， y^(i)=σ(z(i))
  　　dldz=−(y(i)1σ(z)σ(z)(1−σ(z))+(1−y)11−y^(i)σ(z)(σ(z)−1))　　
  　　化简结果为：σ(z)−y(i)
  　　→dldω=dldzdzdω=(σ(z)−y(i))x(i)
  　　→dldb=dldzdzdb=σ(z)−y(i)=dldz
  　２.m个样本的梯度下降
  　　对成本函数L(ω,b)=1m∑mi=1l(y^(i),y(i))：
  　　→dLdω=1m∑mi=1(σ(z)−y(i))x(i)
  　　→dLdb=1m∑mi=1(σ(z)−y(i))
  　　

3.向量化

　　在实际编程过程中，由于在训练大数据集时，采用显式for循环导致程序运行时间复杂度过高。采用向量化的方法将消除显式for循环，加快代码运行速度。
　　
　　1、举例
　　调用numpy包，实现逻辑回归的乘法部分：z=np.dot(ω.T,x)
　　对向量v中每个元素做指数运算：np.exp(v)
　　对向量v中每个元素做对数运算：np.log(v)]
　　将向量v中每个元素变为绝对值：np.abs(v)
　　求v中每个元素和0相比的最大值：np.maximum(v,0)
　　对向量v中所有元素求和：np.sum(v)
　　
　　2、logistic回归中向量化的实现
　　初始化：
　　　　参数ω初始化：ω=np.random.rand((nx,1))，维度为(nx,1)
　　　　参数b初始化，b=0，numpy的广播机制将在计算时扩充b的维度为(nx,1)
　　　　训练集矩阵：X，大小为(nx,m)　
　　　　训练集样本标签: Y，大小为(1,m)
　　预测：
　　　　定义矩阵Z，大小为(1,m)，z=np.dot(ω.T,x)+b：
　　　　 　　　Z=[ωTx(1)+b,...,ωTx(m)+b]=[z(1),z(2),...,z(m)]
　　　　预测值: A ，大小同Y，为(1,m)，A=np.sigmoid(Z)：
　　　　　　　Ａ=[σ(zx(1)),σ(z(2)),...,σ(z(m))]=[a(1),a(2),...,a(m)]
　　梯度下降：
　　　由单样本梯度下降推导结果dldz=σ(z)−y(i)，及m个样本推导结果

{dLdω=1m∑mi=1(σ(z)−y(i))x(i)$　　dLdb=1m∑mi=1(σ(z)−y(i))

　　　有：
　　　　　　

⎧⎩⎨⎪⎪dz=A−Ydw=1mnp.dot(dz.T,X)db=1mnp.sum(dz)

　　　则→

{ω=ω−αdω　　　b=b−αdb

---