大数据和云计算技术周报（第3期）

来源：互联网发布：3.3v的单片机编辑：程序博客网时间：2024/05/16 16:06

写在第3期周报

Q1：老生常谈，上一期周报反响如何？

A1：第2期热度持续高涨，同学们纷纷用红包表达了真爱。特别致谢陈炯总对第2期周报的大红包。编辑部同学表示说“同学们都是真爱，早饭都帮忙解决了”。同学们，请继续打赏表达你们的真爱，支持我们坚持下去！

Q2: 本期有啥干货？

A2: 本期会给大家奉献上精彩的：NoSQL/NewSQL、Hadoop基础概念、kafka基础概念、应用和生态还有当前大热门AI相关内容。全是干货，希望大家喜欢。

Q3：周报有啥优化不？

A3：欢迎大家持续给我们提意见，我们会持续优化，以更好的内容奉献给支持我们的读者和社区的朋友。本期开始，根据魏同学的建议，将进一步缩短网址链接和优化二维码样式，方便大家阅读，希望大家喜欢！

Q4:文末有惊喜?

A4:嗯！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

AI近闻

1）Github年度报告盘点：TensorFlow无疑是最大赢家！

http://dwz.cn/73xirR

2）英伟达发布新一代旗舰显卡Titan V：Volta架构，售价3000美元

http://dwz.cn/73xja4

3）重磅人工智能报告：2017人工智能+内容生产研究报告.pdf

https://pan.baidu.com/s/1eR5i3Fc

应用和生态

1）刚刚结束的中国大数据大会（BDTC），部分PPT已经提供下载了：
http://dwz.cn/73wYYp

2）随着科技的不断进步与新设备的不断涌现，数据可视化领域目前正处在飞速地发展之中。
http://dwz.cn/73xk99

3）阿里有钱，成为CNCF顶级会员，顶级会员都是没有砸出来的，牛！
http://dwz.cn/73xlts

4）本文从蜂窝物联网的概念，发展，原理，参数等方面全方位解读了NB-IOT，虽然文章篇幅较大，但是如果能够读通下来，相信对于蜂窝物联网技术能够得到更深一层次的理解。
http://dwz.cn/73xlTH

NoSQL/NewSQL

1）小媳妇终于转正，impala也终于升为顶级项目了。就是不知道在大压力下挂死，内存溢出等问题解决没？

http://dwz.cn/73xmt6

2）HBase以其支持海量数据秒级查询而被逐渐使用，然而某些需要当做rowkey的字段由于其递增性，并非适合直接当做行键，主要原因在于当一个region达到阈值后，会分裂成两个region，而新插入的数据会直接插入到新的region，这样导致以前所有的Region处于“半饱”状态；同时，这些region会处于同一个Regionserver上,造成所谓的“热点”问题。这边文章为我们提供了如何设计rowkey的以避免数据倾斜的思路。

http://student-lp.iteye.com/blog/2309075

3）如何高效可靠地存储海量小文件。文件大小为几KB~几MB，文件总数据量上百PB，并且高速增长，并追求高存储效率，节省服务器成本、电力成本、数据存储成本等
http://dwz.cn/73xo29

Hadoop基础概念

hadoop知识点总结，本文对MapReduce原理、HDFS、YARN等组件的知识点进行全方面的讲解，以及对一些细节知识点进行整理和扩展分析。对刚接触hadoop的同学进行知识点整理很有帮助
http://dwz.cn/73xoJF

kafka基础概念

作为顶级的分布式消息系统，会用它作为收集大数据的通道使用，如何做到性能极致，该文章很值得参考
http://dwz.cn/73xpIj

精选FAQ

社区定期精选一些FAQ，分享给更多的人，本期推关于SSD存储寿命的问题：

007

文末彩蛋，开心一刻

致谢：

刘涛、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉