海量数据处理相关知识收集

来源：互联网发布：扒一扒淘宝oem化妆品编辑：程序博客网时间：2024/04/28 11:47

十道海量数据处理面试题与十个方法大总结
http://blog.csdn.net/v_july_v/article/details/6279498

海量数据处理面试题集锦与Bit-map详解
http://blog.csdn.net/v_july_v/article/details/6685962

海量数据处理之Bloom Filter详解
http://blog.csdn.net/v_july_v/article/details/6685894

从几幅架构图中偷得半点海量数据处理经验
http://blog.csdn.net/v_july_v/article/details/6689489

处理海量数据的基本思路就是分而治之的策略和流水线作业。虽然从单个的计算效率来说，单台计算机的计算效率应该是最高的，但单台计算机的吞吐量有限。分布式计算的优势就在于虽然牺牲了部分计算能力，但由于人多力量大，而且节点间配置灵活，可互补，比单纯的增加计算机数量的模式要具有很大的优势。分布式计算的关键点就在于切分、调度、冗余和通信。