学习Caffe（四）Loss Layer解析

Euclidean_loss_layer.cpp

Forward

比较简单

template <typename Dtype>void EuclideanLossLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,    const vector<Blob<Dtype>*>& top) {  int count = bottom[0]->count();  caffe_sub(      count,      bottom[0]->cpu_data(),      bottom[1]->cpu_data(),      diff_.mutable_cpu_data());  if (bottom.size() == 3) {    caffe_mul(count, bottom[2]->cpu_data(), diff_.cpu_data(), diff_.mutable_cpu_data());  }  Dtype dot = caffe_cpu_dot(count, diff_.cpu_data(), diff_.cpu_data());  Dtype loss = dot / bottom[0]->num() / Dtype(2);  top[0]->mutable_cpu_data()[0] = loss;}

Backward

template <typename Dtype>void EuclideanLossLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,    const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom) {  for (int i = 0; i < 2; ++i) {    if (propagate_down[i]) {      const Dtype sign = (i == 0) ? 1 : -1;      const Dtype alpha = sign * top[0]->cpu_diff()[0] / bottom[i]->num();      caffe_cpu_axpby(          bottom[i]->count(),              // count          alpha,                              // alpha          diff_.cpu_data(),                   // a          Dtype(0),                           // beta          bottom[i]->mutable_cpu_diff());  // b    }  }}

这里比较困惑的是top[0]->cpu_diff()[0]。其实这个是loss_weight,每个loss layer的第一个top的loss weight默认都是1

见官方说明：http://caffe.berkeleyvision.org/tutorial/loss.html

Softmax_loss_layer.cpp

softmax：是指把前级神经元输出的值都以指数归一化, 估计 x中的每一种分类结果出现的概率

softmaxloss：softmax每个神经元表示一个类，假设输入是m个已标记的样本：{(x(1),y(1)),...,(x(m),y(m))}，标签是y，则目标是最大化y(i)对应的这个神经元在输入x(i)的情况下输出的概率值：

对第j个神经元，要最大化真实标签为第j类的样本在该神经元上输出的概率。

Caffe的实现

Caffe中softmax的实现是先计算出神经元的最大值，减去最大值，再归一化。为了保持数值稳定性。

template <typename Dtype>void SoftmaxLayer<Dtype>::Reshape(const vector<Blob<Dtype>*>& bottom,      const vector<Blob<Dtype>*>& top) {  //获得标准化的下标  softmax_axis_ =      bottom[0]->CanonicalAxisIndex(this->layer_param_.softmax_param().axis());  top[0]->ReshapeLike(*bottom[0]);  //维度等于softmax_axis_这个维度  vector<int> mult_dims(1, bottom[0]->shape(softmax_axis_));  //利用矩阵相乘来求和，这个的值都是1  sum_multiplier_.Reshape(mult_dims);  Dtype* multiplier_data = sum_multiplier_.mutable_cpu_data();  caffe_set(sum_multiplier_.count(), Dtype(1), multiplier_data);  //softmax_axis_指示第几维度做softmax，默认值是1，若是一个分类网络，则此时outer_num_等于batch_size,  //inner_num_等于1  outer_num_ = bottom[0]->count(0, softmax_axis_);  inner_num_ = bottom[0]->count(softmax_axis_ + 1);  vector<int> scale_dims = bottom[0]->shape();  //scale_存放神经元输出的最大值。因此其softmax_axis这个维度上的长度是1  scale_dims[softmax_axis_] = 1;  scale_.Reshape(scale_dims);}

template <typename Dtype>void SoftmaxLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,    const vector<Blob<Dtype>*>& top) {  const Dtype* bottom_data = bottom[0]->cpu_data();  Dtype* top_data = top[0]->mutable_cpu_data();  Dtype* scale_data = scale_.mutable_cpu_data();  int channels = bottom[0]->shape(softmax_axis_);  int dim = bottom[0]->count() / outer_num_;  caffe_copy(bottom[0]->count(), bottom_data, top_data);  // We need to subtract the max to avoid numerical issues, compute the exp,  // and then normalize.  for (int i = 0; i < outer_num_; ++i) {    // initialize scale_data to the first plane    caffe_copy(inner_num_, bottom_data + i * dim, scale_data);    for (int j = 0; j < channels; j++) {      for (int k = 0; k < inner_num_; k++) {        //计算最大值，注意除了指定的softmax_axis_维度，其他维度都是        //独立地做softmax        scale_data[k] = std::max(scale_data[k],            bottom_data[i * dim + j * inner_num_ + k]);      }    }    // subtraction    caffe_cpu_gemm<Dtype>(CblasNoTrans, CblasNoTrans, channels, inner_num_,        1, -1., sum_multiplier_.cpu_data(), scale_data, 1., top_data);    // exponentiation    caffe_exp<Dtype>(dim, top_data, top_data);    // sum after exp    caffe_cpu_gemv<Dtype>(CblasTrans, channels, inner_num_, 1.,        top_data, sum_multiplier_.cpu_data(), 0., scale_data);    // division    for (int j = 0; j < channels; j++) {      caffe_div(inner_num_, top_data, scale_data, top_data);      top_data += inner_num_;    }  }}

参考文献
UFLDL
softmax vs softmaxloss
caffe math function