分布式系统概述
来源:互联网 发布:sql多条件查询 编辑:程序博客网 时间:2024/06/14 23:09
2 分布式系统概述
注:由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解hadoop、storm、spark等技术框架,都需要具备基本的分布式系统概念
2.1 分布式软件系统(Distributed Software Systems)
² 该软件系统会划分成多个子系统或模块,各自运行在不同的机器上,子系统或模块之间通过网络通信进行协作,实现最终的整体功能
² 比如分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。
2.2 分布式软件系统举例:solrcloud
A. 一个solrcloud集群通常有多台solr服务器
B. 每一个solr服务器节点负责存储整个索引库的若干个shard(数据分片)
C. 每一个shard又有多台服务器存放若干个副本互为主备用
D. 索引的建立和查询会在整个集群的各个节点上并发执行
E. solrcloud集群作为整体对外服务,而其内部细节可对客户端透明
总结:利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统。
2.3 分布式应用系统模拟开发
需求:可以实现由主节点将运算任务发往从节点,并将各从节点上的任务启动;
程序清单:
AppMaster
AppSlave/APPSlaveThread
Task
程序运行逻辑流程:
阅读全文
0 0
- 分布式系统概述
- 分布式系统------概述
- 分布式系统概述
- 分布式系统概述
- 分布式系统概述
- 1 、分布式系统概述
- 分布式数据库系统(DDBS) 概述
- 分布式数据库系统(DDBS) 概述
- 第1章 分布式系统概述
- 现代操作系统——分布式系统概述
- 分布式系统的一些基本理论算法概述
- 分布式系统概述(来自学习资料)
- 分布式系统基础-消息队列概述
- 分布式系统概述(Hadoop与HBase的前生今世)
- 分布式系统概述(Hadoop与HBase的前生今世)
- 《大规模分布式系统架构与设计实战》第一章 概述
- 【1. 概述】 分布式漏洞扫描系统设计与实现
- 分布式系统概述(Hadoop与HBase的前生今世)
- React Native之React速学教程(下)
- Linux下安装MongoDB
- PHP 设置调试工具XDebug PHPStorm IDE
- WebPack 简单使用
- HADOOP背景介绍
- 分布式系统概述
- 离线数据分析流程介绍
- 集群搭建
- Round Numbers[数位DP][二进制]
- 集群使用初步
- hadoop 3.0.0 alpha3 安装、配置
- vim常用快捷键
- Git 命令 操作
- 操作Hadoop集群