torch入门笔记21:xavier初始化方法

今天的task主要是为了使得分类中要达到更好的优化效果，这里需要对model内部参数的初始化做一下特殊的处理。

还记得torch会帮我们随机初始化参数吗？我们现在不使用torch的初始化参数，而使用一种更高级的初始化方法，称之为xavier方法。概括来讲，就是根据每层的输入个数和输出个数来决定参数随机初始化的分布范围。在代码里只需要一句：

model = require('weight-init')(model, 'xavier')

其中的‘weight-init’指向了与主文件同一文件夹里的weight-init.lua这个文件。xavier方法就在这个文件里面。它是由https://github.com/e-lab/torch-toolbox所实现的。

具体的使用即如 https://github.com/e-lab/torch-toolbox/tree/master/Weight-init

local method = 'xavier'local model_new = require('weight-init')(model, method)

在载入model后，进行training迭代之前。