无监督学习（unsupervised learning） 4.自编码器

---

1 Auto-Encoder

• Example：28x28=784 → Encoder → <784
• Decoder：将code返回原来的训练数据
• 将Encoder和Decoder联合学习
• Deep Auto-Encoder：《Reducing the dimensionality of data with neural networks》——Science2006
  
  • initialize by RBM，layer by layer

---

2 Application

• Text Retrieval：bag of words + deep auto-encoder
• Similar Image Search：

---

3 Pre-training DNN

• 自编码器用于深度学习中的预训练，参数的初始设置
  
  • Find-tune Backpropagation
• De-noising auto-encoder：《Extracting and composing robust features with denoising autoencoders》——ICML2008
  
  • encode和decode之前先加noise
• Contractive auto-encoder：《Explicit invariance during feature extraction》——ICML2011
  
  • 输入变化时将code的变化降到最小

---

4 Auto-Encoder for CNN

• Convolution —— Deconvolution
  
  • ≈ Convolution，相当于补了一些0之后做了Convolution（但是权重相反）

• Pooling —— Unpooling

  • 记住每个位置取得最大值的位置，然后扩大（空余位置补0）
  • 或者直接复制max值（Keras）

• 训练时可以在code上加惩罚项，例如L2