新浪实习总结

在新浪微博已经呆了二个月了，是在feed算法组里做深度学习，用的是tensorflow。

主要做的工作就是

1.CharCNN模型了解，字典生成，CharCNN git代码地址https://github.com/mhjabreel/CharCNN

   给他们分享了charcnn的论文，组会上讲的，当时好紧张，刚来就讲了一篇论文好几十个人听你讲，然后还不认识谁是boss，压力超大。 他们把英文的改成了中文，效果不太好，后续我没有跟进这个模型，我只是了解了原理，大体读了下代码。最后他们将Charcnn部署成插件用来做预测服务，网页端有一个接口用来访问。

2.图片数据的打包，由raw-data到tfrecord

  一开始手中是没有图片的，他们微博中倒是可以找到图片，我漫步在各大数据集网站上，最后发现由于版权问题，数据集基本不开放，然后自己写爬虫来爬。

  数据格式的打包，当时也调研了很长时间，查了很多资料，最后最好的方式是打包成tfrecord，bin格式的文件是为了c++使用的，放到python中不适合，然后python打包成bin格式的代码网上基本没有，但是mnist是采用的bin格式。

3.ImageNet中的Inception模型

   这个是耗时最长的一个东西，数据集的下载就耗时一个星期，120G的数据集可怜服务器访问只能有200K网速，中间还出现过问题。下数据集期间来看inception模型，也接触到了很多深度学习新的东西，如batchsize epoch，还有梯度下降、dropout，下一层是上一层多个卷积核的组合。dropout解决了参数过多问题，也一定程度上避免了过拟合。对分布式的训练也有一定的了解，比如同步和异步的方式。期间服务器的tensorflow版本升级过二次，相应我的模型代码修改了二次，真的蛋疼。

4.tensorflow访问HDFS

   后续这几天整的比较多的事mesos chronos docker这些深度学习平台搭建的事，tensorflow访问HDFS用了好长时间，先是找方法，找到方法之后测试没成功，因为hadoop装的事32位，后来自己装了一个2.6.5版本的测试成功了，但是boss说不轻易升级系统版本，搞了半天，把截图的错误给他看。

5.mesos调用docker

     一开始使用的是karios这个工具，就是mesos的一个提交的客户端，但是docker没有启动 任务在系统启动了。后来使用了命令行的方式来启动，启动成功，估计是工具太旧了吧。现在要把深度学习的模型代码打包到docker里面，正在测试中。

     这段时间docker看的比较多，因为涉及到向docker里传参的问题，因为都是新的东西需要自己去摸索。docker中的环境 水很深，bash不能识别source命令，用sh可以识别source但是括号不能识别。再过几天就要离职了，在准备文档。做的最多的事情就是看文档编码，修改代码。

这个东西他们也是刚起步，因为新浪本身就不是一个做技术出身的公司，像tensorflow这种平台，我们只有2个员工+3个实习生在做，感觉他们也不知道怎么做，进度有些慢，遇到的问题也很多，像服务器内存泄露，docker搭建，HDFS搭建，mesos任务调度，现在平台还没有搭建起来，但是我负责的代码基本准备好了，我们实习生也没有权限，所以测试代码的工作肯定我没法做，分布式的inception模型不知道啥时候跑。而且以后准备数据是一个大问题。好了就说这么多，实习还算一般吧，以后我可能不会去新浪工作，饭很难吃。

   再过几天就要离职了，三个月过去了，很快，收获也很多，一开始去上班，晚上回到宿舍躺下就能睡着，真的是特别累，慢慢的就逐渐适应了吧， 有时候中午不睡觉，坐在椅子上看的眼睛疼，腰也不舒服，一直坚持着就是想早点把这个问题解决。以后的规划就是把算法好好研究一样，我需要在毕业找工作的时候证明自己。保研时的失意，对我打击很大，一直在觉悟中，究竟自己缺什么。