关于神经网络理论的几个疑问与思考
来源:互联网 发布:ubuntu破解root密码 编辑:程序博客网 时间:2024/05/31 11:04
1,loss function应该如何设计?如果我需要修改loss function,需要遵循哪些规则?
我看到caffe中有多种不同的loss层,但是不理解为什么要这样设计。我有时候很想改loss function,但是又不知道这样改理论上是否可行。
说两个具体的问题:
第一,比如,DRML(2016,CVPR)中用multi label sigmoid 交叉熵函数作为loss function时,如下图:
我非常不能理解,相比于sigmoid 交叉熵函数,它多了一次对标签C的累加,但是最终却没有除以C,这是为什么?
如果我在原layer基础上修改代码,除以了C,然后再在学习率上乘以C.
想想看loss的作用就是反向求导调整训练参数,那么学习率乘以C倍,梯度值除以了C,参数变化量是不是跟没有这个改变时完全一样了?
第二,最开始设计loss是说跟真实值越接近越好,所以用一个函数去刻画,优化的目标也是这个函数计算出来的loss尽可能小,但是实际上我们在比较不同算法时又基本上不靠precision做比较,我们期待的,往往是f1 score最高,既然我们把数据的真实标签送进去了,神经网络也计算了预测结果,那么我们完全可以用f1 score的某个反比函数作为loss函数,这样做以后神经网络的目标就是优化loss最小也就是f1 score最大,这样训练出来的结果f1 score不是应该更高吗?为什么大家不直接这样用呢?
2,分类问题中哪些标准适合做统一对比?上课时老师说不能用precision,因为要考虑recall,有人用f1 score作为标准,有人用AUC 作为标准,但是要面对数据偏倚严重的问题,所以有人又做了有偏倚的f1 score计算探究,有没有比较统一,容易计算,并且非常合理公平的计算方式?
- 关于神经网络理论的几个疑问与思考
- 关于Scalability的一些思考与疑问
- 关于js的几个疑问
- 关于技术与理论的思考(转载)
- 实践与理论的思考
- 【Java 并发】关于中断的几个疑问
- 关于 Benchmark 的几个思考
- 神经网络理论的发展与前沿问题
- 神经网络理论的发展与前沿问题
- 细读:关于搜索引擎及其开发,我的疑问和思考
- 关于前篇提到的几个疑问的个人理解
- 关于C++类的继承 的几个疑问
- c#学习笔记一 关于接口的几个疑问
- 由一道面试题引起的疑问与思考
- 思考VC维与PAC:如何理解深度神经网络中的泛化理论?
- 关于疑问与结论的问题
- 关于LDR的疑问与探索
- 关于成为架构师的几个思考?
- Effective Java-学习笔记(6-9章)
- 错误:“”fatal error C1057:宏扩展中遇到意外的文件结束
- php apache 重写URL
- ajax提交表单数据不跳转
- cookie与session的比较,以及application
- 关于神经网络理论的几个疑问与思考
- Hadoop集群安装部署---从单节点的伪分布式扩展为多节点分布式
- 《Effective C#》条款8:确保0为值类型的有效状态
- git使用笔记
- Fractions Again?! -UVA 10976
- android各版本分辨率适配(项目亲测)
- sublime text3安装插件方法
- 最短路(4)--差分约束
- Vue2--非父子组件通信笔记