技术文章 | 深度学习的这些坑你都遇到过吗?神经网络11大常见陷阱及应对方法
来源:互联网 发布:巧手十字绣软件 编辑:程序博客网 时间:2024/05/16 17:06
本文来源于阿里云-云栖社区,原文点击这里。
如果你的神经网络不工作,该怎么办?本文作者列举了搭建神经网络时可能遇到的11个常见问题,包括预处理数据、正则化、学习率、激活函数、网络权重设置等,并提供解决方法和原因解释,是深度学习实践的有用资料。
如果你的神经网络不工作,该怎么办?作者在这里列出了建神经网络时所有可能做错的事情,以及他自己的解决经验。
- 忘记规范化数据
- 忘记检查结果
- 忘记预处理数据
- 忘记使用正则化
- 使用的batch太大
- 使用了不正确的学习率
- 在最后层使用了错误的激活函数
- 你的网络包含了Bad Gradients
- 初始化网络权重不正确
- 你使用的网络太深了
- 使用隐藏单元的数量不对
忘记规范化数据了
问题描述
在使用神经网络时,思考如何正确地规范化数据是非常重要的。这是一个无法改变的步骤——假如这一步骤没有小心、正确地做,你的网络就几乎不可能工作。由于这个步骤非常重要,在深度学习社区中也是众所周知的,所以它很少在论文中被提及,因此初学者常常在这一步出错。
怎样解决?
一般来说,规范化(normalization)的意思是:将数据减去均值,再除以其方差。通常这是对每个输入和输出特征单独做的,但你可能经常会希望对特征组做或特别主翼处理某些特征的规范化。
展开全文
阅读全文
0 0
- 技术文章 | 深度学习的这些坑你都遇到过吗?神经网络11大常见陷阱及应对方法
- 深度学习的这些坑你都遇到过吗?神经网络 11 大常见陷阱及应对方法
- 深度学习的这些坑你都遇到过吗?神经网络11大常见陷阱及应对方
- 深度学习这些坑你都遇到过吗?
- 深度学习这些坑你都遇到过吗?
- 常见的javascript 陷阱 你遇到过吗
- Golong学习之常见开发陷阱,你遇到过几个?
- AI技术大盘点: 神经网络/机器学习/深度学习/大数据…你想知道的都在这些图里了
- Go语言开发常见陷阱,你遇到过几个?
- 遇到求职陷阱 你可以这样应对
- 深度学习中常见的过拟合方法
- 机器学习--常见神经网络及深度神经网络概述
- 这些编程工具你都用过吗?
- 微信这些好用的功能你都用过吗?
- 聊一聊HTML5的表单,话说这些表单你都用过吗?
- 技术文章 | vue工具帮你解决常见的错误与陷阱
- 这些SQLite与SQL差异问题,你遇到过吗
- 这些SQLite与SQL差异问题,你遇到过吗
- centos7.2安装五笔输入法的方法(测试OK)
- 每日一题--第一个只出现一次的数字
- hdu 1059 Dividing 多重背包
- php判断cookie是否存在
- HDU5863cjj's string game(DP+矩阵快速幂)
- 技术文章 | 深度学习的这些坑你都遇到过吗?神经网络11大常见陷阱及应对方法
- getParameter()和getAttribute()
- 3blue1brown
- 解决ios/swift 报错 Reason: image not found
- Linux-centos下安装jdk
- Native module ToastModule tried to override ToastModule for module name ToastAndroid
- F
- [笔记]《操作系统精髓与设计原理》---(3)线程
- CAS单点登录-基础搭建HelloWorld(二)