大数据和云计算技术周报（第0期）

来源：互联网发布：less.js官方下载编辑：程序博客网时间：2024/05/16 12:51

写在第0期周报

Q1：为什么要搞一个周报：

A1：受众多社区日报、周报的启发（如湾区日报，ES日报等等），所以大数据和云计算技术社区经过众多讨论，也决定搞一个周报。目的很简单，营造分享的气氛，同时参与的同学能从中学到东西。

Q2:为什么是第0期，不是从1开始吗？

A2:程序员写代码不是上来就int i=0吗，从0开始也挺好。

Q3:准备搞多久？

A3:能坚持多久算多，怎么样也应该半年以上没问题。我们现在已经有8位编辑了（分别是：刘涛、薛述强、刘彬、刘超、程鹏、董言、吕西金、朱洁），希望更多有兴趣的同学加入我们。

Q4：想加入这个活动的，怎么加入？

A4：微信联系群主就可以了，长期坚持有惊喜。：）

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

1HBase协处理器

HBase虽然能够通过MapReuduce对它表中的数据进行分布式计算，但是某些简单的相加和聚合操作，比如求和与计数，要是能够把它们放到服务端直接计算，便可省去巨大的通信开销，从而直接提升扫描性能。官方对协处理器的介绍如下：

https://blogs.apache.org/hbase/entry/coprocessor_introduction

HBase提供以下三种方法来调用协处理器提供的服务，如何部署、运行以及调试，这篇文章具有很好的参考价值。

https://www.ibm.com/developerworks/cn/opensource/os-cn-hbase-coprocessor2/index.html

HBase协处理可以应用于二级索引，在插入数据之前通过协处理器来实现索引字段在索引表的存储，删除数据之前通过协处理删除索引表的索引，该方案来自华为贡献于社区。

https://github.com/Huawei-Hadoop/hindex

2Flink

Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Runtime），提供支持流处理和批处理两种类型应用的功能。

https://mp.weixin.qq.com/s?__biz=MzA3MDY0NTMxOQ==&mid=2247483910&idx=1&sn=9e40343a26760d32c49715e626b0db1f&chksm=9f38e12ea84f683846694f50505e8cb73a4298d22812a0f601edf0b260622e24d324b0540809&mpshare=1&scene=23&srcid=1116iQeBwMUj9aFrxaXMWn6U#rd

3Apache Kylin

Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。本文将从kylin的架构设计与原理入手，介绍kylin的核心模块与架构体系

https://mp.weixin.qq.com/s?__biz=MzUyMjI1Mzg4MQ==&mid=2247483808&idx=1&sn=b8658be8aae0802a7baf1ad523bf3fbd&chksm=f9cfe2f6ceb86be02e45e3f958394a7a6dbc3263be6214a6a19ef01de0afabf059c0b1c6cdf3&mpshare=1&scene=23&srcid=1116GIuRsX4k2hxdTR2jIBvA#rd

https://mp.weixin.qq.com/s?__biz=MzUyMjI1Mzg4MQ==&mid=2247483802&idx=1&sn=207e66c9cbeb6ea3a5db5f09ec93272c&chksm=f9cfe2ccceb86bdad769c76425b554515967ea30fb198241d24b7f7e652bf9a920e95e2f0902&mpshare=1&scene=23&srcid=1116co5ZvCpw8wdckNTN342Q#rd

4JAVA RPC

如果公司对效率有极高的要求建议使用 Dubbo，相对比 RPC 的效率会比 HTTP 高很多；如果团队不想对技术架构做大的改造建议使用 Dubbo，Dubbo 仅仅需要少量的修改就可以融入到内部系统的架构中。但如果技术团队喜欢挑战新技术，建议选择 Spring Cloud，Spring Cloud 架构体系有有趣很酷的技术。

http://mp.weixin.qq.com/s?__biz=MjM5ODI5Njc2MA==&mid=2655812098&idx=1&sn=b1b497eb898a72061986ff367b4adfe6&chksm=bd7437d58a03bec35a6a4a073ad76c235488ff624127510d078304a93c24f4b54115a9bb8b02&mpshare=1&scene=23&srcid=11175HnQsOtX0kEohZov1LP5#rd

5应用架构

今年刚上线就成功经受双11网购狂潮的网联平台，是国内金融信息化建设的又一重要系统，将对包括支付宝、微信支付在内的整个支付体系产生关键影响，其分布式架构应用了诸多最新的云计算和大数据技术，值得深入研究。

http://mp.weixin.qq.com/s?__biz=MzA5MDk5MDM4OA==&mid=2655927812&idx=1&sn=206c7c24c88f06ca39cdd69120fca6c2&chksm=8bb9ac5fbcce25494718966b427e211a32328b9ac033100ced56ff1e5d3bb30e8186a21437e0&mpshare=1&scene=23&srcid=111444OtZzZykDyQ7Joof47h#rd