大数据实验总结
来源:互联网 发布:做淘宝客需要什么条件 编辑:程序博客网 时间:2024/04/25 19:52
大数据实验总结
- 大数据实验总结
- 实验总要求
- 基础环境
- 心得体会
实验总要求
给五台主机,先后配置torque,mpich,mongodb,hadoop,zookeeper,hbased
torque
有主有从
master:lk
slave:slave2~5mpich
各台机器是平等的mongodb
需要分片,副本集,还有各种角色的配置
一台机器可以有不同的角色,但是要给不同角色配置不同的端口
- hadoop,zookeeper
zookeeper只在前面三台机器上安装,安装结果应该是一个leader和两个follower
- hbase
master:lk
backup-master:slave2
regionservers:slave3~5
基础环境
基础环境就是所有软件安装中都需要的
免密码登陆
方便交互关闭防护墙
防止各台机器在交互时候通信受到影响/etc/hosts
和/etc/hostname
给各个机器取别名,要一致
心得体会
整个环境其实搭了很久,属于边摔跤边学会走路的那种,参考了很多网上的资料,可以说是既是帮了很大的忙,又是挖了很大的坑。
因为以前没有接触过这些,所以是网上的教程把我带上路,但是因为每个人的机器什么的都是不同的,要求也不一样,所以单纯的粘贴复制肯定是不行的,要小心的把每个点都看清楚然后再进行配置,比如,我在配置MongoDB的时候,有一个地方IP忘了改成自己机器的IP,导致浪费了很多时间。
出现问题不可怕,多去网上看看别人的解决方法就可以了
整个集群的环境,有一些关键词吧:交互通信,主从控制等,我感觉还是在配置过程中感受到了这方面的思想。
torque和MongoDB是比较难搭的。torque是一个搭的,一是刚刚开始做,所以比较不熟悉,二是torque主从的搭建不一样,需要理清哪些在master上面搭建,哪些在slave上面搭建;MongoDB的难点在于组件多和配置多,config server,shard分片和mongos的配置,比较繁琐。
hadoop中等难度吧,其他的mpich,hbase都不是很难
我这次实验的最大感受是要学会看日志,日志真的很有用,只有知道哪里错了才能对症下药
还有,要学会积累工具。在hadoop搭建的时候,看到网上基本都用到了deploy.conf
,deploy.sh
和runRemoteCmd.sh
这三个文件,通过这三个文件,可以很方便的在一台机器上实现对多台机器的操作(前提是免密登陆和权限足够),就不需要在集群搭建的时候经常进行切换,对每个机器做重复的操作。
- 大数据实验总结
- Hadoop大数据实验
- 大数据实验数据集何处来?
- 大数据总结
- 大数据作业总结
- 数据解析大总结
- 数据存储大总结
- 大数据技术总结
- 大数据概要--总结
- 大数据知识总结
- 大数据面试总结
- 大数据-总结
- 大数据分析实验环境搭建
- 大数据的处理总结
- 总结大纲--大数据专题
- hive大数据倾斜总结
- 大数据系统问题总结
- hive大数据倾斜总结
- Mac 终端 命令
- LeetCode-217. Contains Duplicate
- 第11周【项目3
- com.andriod.application cannot found
- (转)性能测试总结(一)---基础理论篇
- 大数据实验总结
- El表达式
- android EditText中插入tag
- 数据结构上机实践第14周项目2
- 数据结构上机实践第13周项目1
- Docker部署Tomcat及Web应用
- 关于阿里云ssl证书配置
- 单一用户登陆
- Fiori2.0学习笔记-多语言的应用