深度学习框架Lasagne的一些总结和技巧

深度学习框架也用过几个了，一直比较喜欢的是Lasagne，因为其设计哲学是不回避底层（theano)，而且封装得比较灵活，不像Keras那样完全一套自己的逻辑，底层借口暴露的太少，导致想做自己的模型的时候用keras非常费力。

从某种意义上说，个人觉得Lasagne其实不太能称得上是一个神经网络的框架，而是theano的一个非常好的toolbox，其整个设计都是把theano变得更好使用。

由于学习时间的多变，导致有时候会集中时间写一段时间的代码，有时候会集中时间看paper，所以经常忘掉 lasagne里的一些逻辑和规则，这次在这里我就不定期总结一些，当做给自己的一个tips. 所以其实很多技巧和经验是theano的经验，一并写一下。

• 声明网络输入变量的时候，需要提前设计好属性（vector或者matrix或者4d等等），如下：
  c = T.imatrix()
q = T.ivector()
y = T.imatrix()
c_pe = T.tensor4()
q_pe = T.tensor4()

  属性的确定，是需要考虑到batch这个维度的，所以，单个输入是一个向量的话，声明的时候就是matrix，
  另外，网络输出目标　y　是一个[batch_size,n_classes]的矩阵。

• label的转换问题，通常情况下，对于label都需要转换成为one-hot的向量，
  　有一个方便的工具　
  from sklearn.preprocessing import LabelBinarizer,label_binarize

  举例：

    >>> label_binarize([1, 6], classes=[1, 6, 4, 2])    array([[1, 0, 0, 0],           [0, 1, 0, 0]])

　
　　另外统计错误率的一个简单语句是　

numpy.count_nonzero(y_true-y_predict)

• 关于theano建模过程中的输入样本的问题
  theano中建模的通常形式是，用x=T.matrix(),y=T.tensor()这种，这种变量的类型是：theanoTensor.
  这就要求我们在建模过程中，接触不到实际数据，而是用一个变量抽象代替它。

  实际上，theano的function中的输入形式是很多样的，典型的有：
  （１）
  train_model=theano.function([x,y],cost,updates=updates)
cost=train_model(x_batch,y_batch)


  （２）
  givens = {
x: x_shared,
y: y_shared,
}
train_model=theano.function([],cost,givens=givens,updates=updates)
x_shared.set_value(x_batch)
y_shared.set_value(y_batch)
cost=train_model()

  第一种没有太多的技巧而言，第二种来说其实我们可以不用声明变量，直接用theanoSharedTensor变量直接代替它。
  例如：
  可初始化y_shared=theano.shared(np.zeros((batch_size,1),dtype=np.int32),borrow=True)，
  而在建模过程中需要用y的地方用y_shared代替。
  这样的好处是更直观。而且不用有givens={x:x_shared,y:y_shared}的过程。

• 关于对theano.function的使用需要注意的地方

  theano.function在建立模型的时候，输入是一个列表，即便没有输入。
  例如 cc= theano.function(Inputs=[aa,bb],outputs=[cost])
  但是在调用的时候，是不用用列表的形式传送的。
  　
  　dd=cc(a1,b1)[0] 。
  　
  这点一定要注意，否则很容易出现传送变量错误，但是代报错信息却不会提示，只会在导入数据到模型中出错而提示具体的表面上的错误。