2016.05.12回顾
来源:互联网 发布:画中画的软件 编辑:程序博客网 时间:2024/05/08 02:07
昨天开始尝试自己写logistic regression,参考别人的写了一个demo,主要是为了理解算法,果断发现了不少问题。
1、梯度下降法,有批量梯度下降,有随机梯度下降,批量梯度下降就是按着梯度负方向在走,就是偏导,X矩阵是样本总体,但是我奇怪的是随机梯度下降法,是把X一条一条的使用,为什么这样也能收敛?后来看书上的图像,参数收敛是一种波动式的收敛,但是最终还是会收敛,至于证明应该很复杂,我就不管了,但是这种的好处是时间复杂度很低,特别是数据量大了的情况,批量梯度下降消耗太高,但是原理我仍然没理解透彻
2、写的demo居然发现个神奇的问题,就是sigmoid函数我令成1/(1+exp(z))居然会overflow,但是1/(1+exp(-z))就不会出错,我现在还没发现问题,但至少说这个点有意思!
总结:效率要提高,要专注,思维要清晰,这些东西都很抽象,有难度,然后就是要按时睡觉,昨天又没按时睡觉,11点半前睡觉!养成好习惯!执行力!!!!
0 0
- 2016.05.12回顾
- 2016.05.03回顾
- 2016.05.09回顾
- 2016.05.10回顾
- 2016.05.11回顾
- 2016.05.25回顾
- 2016.05.31回顾
- 2016.01.12回顾
- bootstrap 2016.07.12回顾
- 2016.09.12回顾
- 2016.12.12回顾
- 回顾
- 回顾
- 回顾
- 回顾
- 回顾
- 回顾
- 回顾
- ASP.NET MVC Razor(cshtml)页面,JS或Jquery提示条件编译已关闭的解决方案
- 欢迎使用CSDN-markdown编辑器
- 最近工作里遇到的一些问题,记录下来
- 在没有root的手机上直接查看sqlite数据库内容
- (DT系列一)DTS结构及其编译方法
- 2016.05.12回顾
- build 并deploy saiku-query0.4到nexus
- 图像优化---平方根计算优化
- Android中XLIFF的使用
- C strcat
- C# Dictionary判断Key已存在
- Andriod 布局过度绘制优化
- (DT系列二)device tree的书写规范
- Java中的String为什么是不可变的? -- String源码分析