大规模图像分类器的演化-Large-Scale Evolution of Image Classifiers-读后杂谈

答辩完也毕业了，签证正在办理之中，基本也不去学校了，这连续好几天都是早上起的晚随便吃点，下午5点左右准时开始给老婆做饭，吃了饭主动洗涮，老婆需要散步就陪着一会。好了不说这些了，说一下我最近阅读的这篇文章吧，deepmind团队的文章，文章标题已经是Large-Scale Evolution of Image Classifiers，被ICML17接受了，文章可以在arxiv上下载到。我就说一下我的感受吧：

1：解决的主要问题其实在abstract中写的很清楚了，主要是解决神经网络的结构设计问题，我们都知道对于一个特定的任务：如果我们想用神经网络来解决的话，其最优的结构往往不好找到，我们平时说的调参就是这个意思，大家都知道不好调参。

2：这个文章解决的问题是使用演化的方法来调参，为什么使用演化的方法呢，我觉得我就不说了，我2年前就很想做这种工作，去年年底提交到了某个if很高的cs学科的期刊，后来被reject了一次，再后来老板让我修改了一下继续提交，并且要求换了个ae，最终意见估计这个月底出来吧。

3：这篇文章的大概意思是想证明一下，使用演化算法做出来的神经网络结构，在图像分类上不会低于人工精心设计的结构，并且最后结果也给了验证。

4：在该文章中一共使用了1000个大小的种群，其中使用了250台机器，每个机器称为worker，使用tournament selection的方法来选择一个好的个体，然后在这个个体之上进行变异，记住：这个文章只能够没使用crossover，并且tournament selection的时候直接把那个不好的个体给kill掉了

5：基本思路就是这样，但是作者还验证了几个想法：种群个数小的时候，容易陷入local minima，训练步骤不够的话也是性能不好。其实这些都是在演化计算中很obvious的问题，不知道为何作者要做个analysis，可能这个文章是给ML community的人看的吧。

6：此外，个体使用的都是BP来进行训练，对应分类结果为fitness的。在mutation的时候，尽量的集成父类的圈中连接，此外，它也把BP的学习率加入了演化过程中。同时，演化的是CNN的结构，具体的基本单元作者给出而一个list，从list中来选择的

7：从最简单的结构开始，使用一种graphic的方式来encode，说实话我没看明白具体怎么在做。

8：总结就是：这种思路很obvious，但是很多人都没做这是因为没有人有这种资源。我们从academy的角度来做的话，应该考虑如何高效的representation，以及optimization。其实representation的问题作者也提到了。这个方向不错，我觉得可以做很多东西，如果我的文章被接受了就爽了。