李沐深度学习第一课
来源:互联网 发布:最新网络红歌有哪些 编辑:程序博客网 时间:2024/05/12 09:20
对于深度学习来说,很多时候理解它的数学不如知道怎么实现和有更直观的感受。
神经网络的一般流程:
1. 训练神经网络每次读取一定大小的数据,我们称作batch_size。
2. 定义模型参数。
3. 定义模型结构。
4. 定义损失函数,即目标函数。
5. 优化:随机梯度下降(SGD),当目标函数是最小化时,将模型参数沿着梯度的反方向走特定距离,这个距离一般叫做学习率。
6. 开始训练,先forward,然后backward(最小化loss)。epoch表示对数据扫多少遍,即epoch=5意味着扫数据5遍。
调参从简单模型开始,慢慢对参数有感觉,成为老司机~~
dense层即全连接层。
softmax logistic regression:多类别分类模型。在分类任务里,我们需要得到属于每一个类的概率,这些概率需要为正,而且加起来等于1。如果简单的使用线性回归,我们不能保证这一点,一个通常的做法是通过softmax函数来将任意的输入归一化成合法的概率值。
演示这个模型的常见数据集是手写数字识别MNIST。
在线性回归里,损失函数用的是最小化平方误差。
而在softmax里,我们希望的是正确的类别的概率最大就可以,比如:正确的类概率为0.8,其他类都是0.00..这样也是可以的。针对预测为概率值的损失函数—-交叉熵损失函数。
课程里提到这篇博客关于softmax的数值稳定性问题(待看):http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/
- 李沐深度学习第一课
- Tensorflow进行深度学习(第一)
- 跟着吴恩达学深度学习:用Scala实现神经网络-第一课
- 动手学深度学习——第一课笔记(上)
- 网易云深度学习第一课第一周编程作业
- 网易云深度学习第一课第二周编程作业
- 网易云深度学习第一课第三周编程作业
- 吴恩达深度学习课程第一课第二周课程作业
- 深度学习第一课:MXNet/Gluon环境配置和安装
- 吴恩达深度学习第一课第三周课后作业
- 深度学习第一课:使用NDArray来处理数据
- 深度学习第一课:使用autograd来自动求导
- 李沐深度学习
- 李沐深度学习第二课
- Tensorflow深度学习之一:第一个Tensorflow深度学习程序
- 王小草【深度学习】笔记第一弹--神经网络
- 深度学习零基础进阶第一弹
- 深度强化学习--第一讲
- 1040. 有几个PAT(25)
- 51NOD 1266 蚂蚁
- 第一次尝试
- 封装okhttp--拦截器
- Win10中TensorFlow的GPU环境的配置
- 李沐深度学习第一课
- 1041. 考试座位号(15)
- mysql去掉某个字段的某部分内容
- ZooKeeper Zab一致性协议
- 【动态规划】之01背包问题(难度:2星)
- C++类中const, static, reference等类型成员的初始化
- Angular增删改查练习
- 1042. 字符统计(20)
- 算法爱好者——算法题:三数之和 ? 待解决