DeepLearning-Xavier在caffe中的实现
来源:互联网 发布:大唐电信数据所地址 编辑:程序博客网 时间:2024/05/16 19:22
我们来看一下caffe中具体是怎样实现的,代码位于include/caffe/filler.hpp文件中。
template <typename Dtype>class XavierFiller : public Filler<Dtype> { public: explicit XavierFiller(const FillerParameter& param) : Filler<Dtype>(param) {} virtual void Fill(Blob<Dtype>* blob) { CHECK(blob->count()); int fan_in = blob->count() / blob->num(); int fan_out = blob->count() / blob->channels(); Dtype n = fan_in; // default to fan_in if (this->filler_param_.variance_norm() == FillerParameter_VarianceNorm_AVERAGE) { n = (fan_in + fan_out) / Dtype(2); } else if (this->filler_param_.variance_norm() == FillerParameter_VarianceNorm_FAN_OUT) { n = fan_out; } Dtype scale = sqrt(Dtype(3) / n); caffe_rng_uniform<Dtype>(blob->count(), -scale, scale, blob->mutable_cpu_data()); CHECK_EQ(this->filler_param_.sparse(), -1) << "Sparsity not supported by this Filler."; }};
由上面可以看出,caffe的Xavier实现有三种选择:
(1) 默认情况,方差只考虑输入个数:
(2) FillerParameter_VarianceNorm_FAN_OUT,方差只考虑输出个数:
(3) FillerParameter_VarianceNorm_AVERAGE,方差同时考虑输入和输出个数:
阅读全文
0 0
- DeepLearning-Xavier在caffe中的实现
- caffe filter type:Xavier
- Caffe--xavier初始化方法
- caffe初始化-Xavier
- LeNet在caffe中的实现分析
- deeplearning库Caffe在windows下的配置
- deeplearning库Caffe在windows下的配置
- DeepLearning: caffe--入门资料
- 2017.06.28 Caffe DeepLearning
- BP算法的推导及其在Caffe中的实现
- LRN在caffe和tensorflow中的不同实现
- caffe中的卷积实现
- caffe中的normalization实现
- Caffe中的卷积实现
- 【deeplearning】【框架】【caffe】之 caffe安装
- deeplearning中的优化算法
- Xavier Initialization 的理解与推导(及实现)
- 关于Batch Normalization在Caffe中的使用
- centos7/6.9 docker-ce-17/1.7.1使用证书登陆(openssl tls)
- 内网ping不通
- elasticsearch None of the configured nodes are available遇到的坑
- java -- cropper裁剪图片并base64上传 移动端简单示例
- 微服务的4个设计原则和19个解决方案
- DeepLearning-Xavier在caffe中的实现
- Unity 定时开启/关闭外部应用
- 数据库中间件mycat测试之一
- 效率接口-组织人员同步接口
- MOBILedit Forensic Express(手机取证工具)官方64位版V4.2.0.10865下载 | MOBILedit Forensic Express破解版
- tomcat启动报错
- 相同实体字段的赋值
- 【学习】CSS基础(二)
- oracle基础入门(1)--用户名表空间