Laxcus大数据分布计算演示实例
来源:互联网 发布:沥青路面设计软件 编辑:程序博客网 时间:2024/06/05 11:00
Laxcus大数据管理系统提供了基于Diffuse/Converge分布算法的计算能力。算法的具体介绍详见《Laxcus:大数据处理系统》一文。本图展示了在集群环境下的随机数产生、排序、显示、存储的过程。
图中终端窗口的文字解释:<1>“conduct”,Laxcus系统关键字,是diffuse/converge分布算法的语句化描述。
<2>“system_sort”,分布计算的中间件命名,名称不区分大小写,但要求集群中唯一。
<3>“from、to、collect”,conduct命令下的关键字,diffuse/converge分布计算的阶段。
<4>“sites”,conduct关键字,要求的节点数目(节点是一台逻辑计算机)。
<5>“writeto”,conduct关键字,指示数据写入文件名。
<6> “begin、end、total、orderby”,用户的自定义关键字,格式是“名称(数据类型)=参数”。这些关键字由用户定义,用户在自己的中间件中解析和处理。图中的“orderby”是字符串类型,参数与单引号包括(兼容SQL格式),其它是整数类型。
完整说明:
这是由多台计算机产生各自的随机生成数字,然后组合协调,进行排序的演示示列。以“system_sort”命名的中间件计算机组件,按照diffuse/converge分布计算机的算法原理,通过终端作用到集群的中间件上执行的过程。
在from阶段,系统启动6台计算机,每台计算机平均分配100(total)个数中的六分之一,产生从-100000到9999999之间的随机数。to阶段有3台计算机,承接from阶段产生的数字,每台计算机平均分配100(total)个数中的三分之一,并对分配到的数字进行排序,排序采用降序方式。数据结果在终端上显示,同时写入一个名为"/notes/records.bin"磁盘文件(这是在Linux系统上的运行实现,如果终端运行在Windows系统,需要改为对应的目录结构)。
另:在实际运行过程中,Laxcus大数据系统将检查参数中要求的中间件节点数目,如果不能达到要求,将自动降为实际可用数目。
0 0
- Laxcus大数据分布计算演示实例
- Laxcus大数据管理系统2.0(6)- 第四章 数据计算
- Laxcus大数据管理系统2.0(9)- 第七章 分布任务组件
- Laxcus大数据管理系统2.0(5)- 第二章 数据组织
- Laxcus大数据管理系统2.0(5)- 第三章 数据存取
- Laxcus大数据管理系统2.0(7)- 第五章 数据构建
- 三种硬件平台运行Laxcus大数据系统的表现
- 三分钟部署Laxcus大数据管理系统
- Laxcus大数据管理系统单机集群版
- 大数据应用日志采集之Scribe演示实例完全解析
- 大数据生态系统基础:Apache Spark(二):运行环境和实例演示
- LAXCUS对数据存储的优化
- 大数据透视《西游记》之妖怪分布
- 大数据作业 hadoop伪分布搭建
- 大数据可视化--全球分布散点图
- 大数据-计算引擎
- Spark 大数据计算
- 数据库大数据存储类型演示
- Servlet汇总
- 对云计算 大数据 机器学习 pagerrank的粗浅理解
- Solr配置中文分词器mmseg4j详解-linux版
- 计算机网络面试题
- 编写有效的测试用例及如何进行用例评审
- Laxcus大数据分布计算演示实例
- 一笔画问题
- Unicode(ASII)控制字符的含义
- SDUST SingleTest D(15.4.4)
- C++类的构造函数和析构函数的调用顺序
- OC Base64
- 合成拷贝控制与继承
- VirtualBox Host-only理解与实践
- android webview 如何去广告和如何解决重定向返回的问题。