normalization的实现原理

我是在FaceNet的论文中看到这个东西的。

那么在其具体的实现原理是怎么样的呢？

归一化，的方式有很多，在那篇论文中，相当于做的是希望：每个点都映射到一个球面上。也就是希望：

为了达到这个目的，FaceNet是这样来做的：

所以在实现的时候，这就是前馈的过程。

那么反馈的时候，应该怎么做呢？

主要就是集中在：y_i对x_i的偏导上面；为了参数完整的反馈过程，我的推导如下：

注意其中，求和的原因是bottom层的 x_i 对上层的每个 y_j 都有贡献。

恩，推导了这么大一个篇幅，其实最后的结果并不是很复杂，前馈的过程中计算的中间变量，反馈的时候还可以用。

部分实现可以参考下一篇：caffe中normalization的实现