数据比赛实现的细节
来源:互联网 发布:java底层框架 编辑:程序博客网 时间:2024/06/07 02:36
- workflow & pipeline 的设计;
0. 数据预处理
- 降维:
- PCA;
- 图像预处理
- 去均值,归一化(缩放在 (0, 1) 之间),imresize;
1. 机器学习方法
- 尤其是图像问题,对特征提取方法提取特征的质量依赖较高;
- 也即特征工程,这里给出一些先验的特征提取方法:
- scene classification:bag of visual words,比如 restaurant 对应的 words:椅子,吧台,桌子等这些即为 visual words;
- 也即特征工程,这里给出一些先验的特征提取方法:
- 参数优化:
2. 深度学习方法
- 考虑到最终实现的效率问题:
- 使用 transfer learning,使用在 ImageNet 等大型数据集上已训练好的大型深度神经网络模型;也即 fine-tune a pre-trained model(transfer learning),使用转移学习对已训练好的模型进行 fine-tune 尤其适用于仅有中等规模的数据集(medium amounts of data),此外还有训练时间的考虑。自然,如果数据集规模很大,时间较为充沛,可考虑自己设计深度神经网络模型以及对本地数据进行训练;
- 且从头到尾训练一个深度神经网络,对于小规模的数据集还容易造成,过拟合问题;
- 模型所在的位置:Index of /matconvnet/models
3. 模型调优
- 不断地改变参数,有时为了最终的比赛结果宁可牺牲效率;
0 0
- 数据比赛实现的细节
- 比赛时出现的一些细节错误
- const的实现细节
- Spider的实现细节
- 线程的实现细节
- 算法实现的细节
- 数据结构的实现细节
- Layer的实现细节
- caffe代码阅读8: Data_layers的实现细节(各个数据读取层的实现细节) 2016.3.25-28
- 算法比赛细节点汇总
- 大数据和人工智能的相关比赛
- JSON数据解析的细节
- @protocol 的实现的细节
- CAS 的SSO实现细节
- SOA 实现的技术细节
- OkHttp的一些实现细节
- SQL语句实现查询一段时间内的数据中要注意的细节问题
- 数据细节
- 利用Android实现文件传输
- 文章标题
- 使用Quartz.Net组件实现定时计划任务
- opencv3自定义窗口内显示多张图片
- 矢量量化调试
- 数据比赛实现的细节
- android Activity 中获取 FragmentManager
- 使用sqoop从MySQL导入数据到HBase
- 21天实战Caffe相关资料
- startActivity过程的文字讲述
- gdb调试c++常用技巧
- methodSwizzling的使用
- redis持久化
- 基础Android之多线程