大数据和云计算技术周报（第1期）

来源：互联网发布：less.js官方下载编辑：程序博客网时间：2024/05/16 14:33

写在第1期周报

Q1：周报反响如何？

A1：实话说，第0期超出了我们的预期，前后6个同学以订阅的名义打赏，完全出乎我们的意料。有编辑直言，人生第一次收到稿费。谢谢各位同学的支持！另外说一句，请继续坚持打赏和支持！我们真的很喜欢红包砸来的感觉！

Q2:收到红包，众编辑情绪有啥变化？

A2:受到大家鼓励，众编辑纷纷表示：“如果不坚持，都不好意思了！”，另外我们的队伍进一步壮大，新增了蓝随同学，我们现在已经有9位编辑了（分别是：刘涛、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随）。

Q3：还要人不？

A3：要，长期招募热心同学，方式一如既往简单，联系群主。

Q4：周报有啥变动不？

A4：根据薛述强同学提议和推荐，后面固定增加一个FAQ栏目，将社区群里面日常讨论精华汇集起来。本次入选FAQ，群主表示很喜欢。第一次尝试，很多不足，希望我们有更多大家喜欢的经典问题。

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

1Hadoop历史 Hadoop一晃十年，影响着整个技术方向的发展，任何技术的迭代都很难绕开它的影响，大量新技术的产生，里程碑级别的hadoop如何进一步发展，值得深思：

https://mp.weixin.qq.com/s/HzFW7QntAkaRroiWJtFuZA

2Spark基础概念

Spark作为海量数据处理的快速通用引擎，它以MapReduce无以比拟的处理速度，以拥有Java、Scala、Python与R多种编程语言支持的易用性，以整合SQL、Streaming与复杂分析的通用性以及对多平台数据源的支持获得空前的关注。算法的关键步骤最后往往就是调参，而平台的开发使用也亦如此。如何提升Spark平台运行速度，最大程度发挥硬件整体性能，是性能调优的最终目标。事实上，Spark已经成为数据处理的标准。

http://m.blog.csdn.net/u012608836/article/details/70837668?from=groupmessage

Spark的调度管理是Spark作业运行和资源分配的核心，调度的层次依次是底层计算资源，任务调度，作业调度，应用调度。了解这些层次之间的逻辑关系，可以更方便的对Spark的运行状态监控以及对于集群的配置优化。

https://mp.weixin.qq.com/s/4d_K8qkVKO86u_TU3xjtbg

本文是刘同学内部培训的私货；更详细的材料大家可以以下链接获取：http://pan.baidu.com/s/1nuPmslz

3Google DevOps文化成功的转型都涉及文化，工具和人，三者缺一不可，云化新时代强调devops，google经验值得一看。

https://mp.weixin.qq.com/s/RYV0vQDgNQbTU31xuyCaXA

4大数据应用向大家分享大数据技术在资产管理和量化投资领域的应用。

2017年11月17日，央行等五部门联合发布《关于规范金融机构资产管理业务的指导意见(征求意见稿)》，开辟了资产管理行业的新时代。无论在业务运营的微观层面,还是在行业格局的宏观层面,大数据都将深远地改变着资产管理行业,并逐渐成为资管行业新一轮发展的新基石。

https://mp.weixin.qq.com/s/6Ln3oiV4rO9I9A421nSoTg

5FAQ

经过社区资深编辑薛总提议，后面每期里面总结和分享一些群里面讨论的经典问题。本周的问题是薛总推荐：