分布式系统概述(来自学习资料)
来源:互联网 发布:淘宝网儿童保护电插头 编辑:程序博客网 时间:2024/06/13 23:52
2 分布式系统概述
注:由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解hadoop、storm、spark等技术框架,都需要具备基本的分布式系统概念
2.1 分布式软件系统(Distributed Software Systems)
² 该软件系统会划分成多个子系统或模块,各自运行在不同的机器上,子系统或模块之间通过网络通信进行协作,实现最终的整体功能
² 比如分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。
2.2 分布式软件系统举例:solrcloud
A. 一个solrcloud集群通常有多台solr服务器
B. 每一个solr服务器节点负责存储整个索引库的若干个shard(数据分片)
C. 每一个shard又有多台服务器存放若干个副本互为主备用
D. 索引的建立和查询会在整个集群的各个节点上并发执行
E. solrcloud集群作为整体对外服务,而其内部细节可对客户端透明
总结:利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统。
2.3 分布式应用系统模拟开发
需求:可以实现由主节点将运算任务发往从节点,并将各从节点上的任务启动;
程序清单:
AppMaster
AppSlave/APPSlaveThread
Task
程序运行逻辑流程:
阅读全文
0 0
- 分布式系统概述(来自学习资料)
- Elasticsearch概述、ES概念、什么是搜索、全文检索、Elasticsearch功能(来自网络+学习资料)
- python:beautifulSoup学习(来自学习资料)
- 分布式系统概述
- 分布式系统------概述
- 分布式系统概述
- 分布式系统概述
- 分布式系统概述
- 1 、分布式系统概述
- 分布式系统(Distributed System)资料
- 分布式系统distributed-system资料
- 分布式数据库系统(DDBS) 概述
- 分布式数据库系统(DDBS) 概述
- 分布式系统概述(Hadoop与HBase的前生今世)
- 分布式系统概述(Hadoop与HBase的前生今世)
- 分布式系统概述(Hadoop与HBase的前生今世)
- svn学习资料总概述
- 分布式存储系统学习(1)--概述
- 循环神经网络(RNN, Recurrent Neural Networks)介绍
- zoj1203
- 1.1 Getting the Source Tree
- Java中的static详解
- sdut-离散题目9
- 分布式系统概述(来自学习资料)
- MacOS下MySQL 乱码问题解决方法
- 1.1 获取源代码树
- 读书笔记《Effective C++》条款36:绝不重新定义继承而来的non-virtual函数
- 网站异常发送异常代码到邮箱
- ios 代理、block和通知
- C#167课的主要内容
- c语言排序
- HDU4576 A very hard mathematic problem(很好的搜索)