深度学习经验备忘录
来源:互联网 发布:知乎手机版怎么引用 编辑:程序博客网 时间:2024/05/22 13:05
1. 训练大数据的Conv-DSSM,跑起来一点儿不收敛,且有的时候运气好就往下收敛,有的时候运气不好就打死一点儿都不动,原因:学习速率设的太小了,走不出低谷。把0.0015改成0.15后,立马可以收敛了。
2. 训练大数据句子相似度匹配任务的RNN(双层), 跑起来cost跳动剧烈但不往下降。解决:把learning-rate从1.0调到0.01,冲量从0.85跳到0.95,mini-batch从20调到100, 好了。原因分析:学习率大,minibatch小,导致波动剧烈;
3. Tensorflow上的翻译例子,数据集制作:
按空格split,按标点符号split .,!?"':;[]() 但是标点符号仍作为token
把每位数字都变成0
按词频从高到低排序,最前面加上_PAD, _GO, _EOS, _UNK
0 0
- 深度学习经验备忘录
- 深度学习细节备忘录
- 26条深度学习经验
- 26条深度学习经验
- 深度学习算法工程经验
- 深度学习的一些经验和体会
- 大牛的深度学习面试经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- Yoshua Bengio等大神传授:26条深度学习经验
- hdu 1789 贪心
- 欢迎使用CSDN-markdown编辑器
- 网络通信框架Netty的TCP粘包/拆包解决方案
- 论Android Adapter notifyDataSetChanged与notifyDataSetInvalidated无效原因
- Android开发多线程时的注释事项
- 深度学习经验备忘录
- 一个签到函数
- iOS 应用文件夹地址获取
- CollapsingToolbarLayout用法详解(简洁易懂)
- Android 查看内存使用情况
- webrtc 源码分析
- 面试:实现AB两个数的值交换
- java对图片接收的实现
- Oracle中的to_char,to_date