伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
来源:互联网 发布:桌面日历记事本软件 编辑:程序博客网 时间:2024/05/16 11:02
环境说明
1、操作系统centos 6.5
2、jdk-7u51-linux-x64.tar.gz
hadoop-1.1.2.tar.gz
hbase-0.94.7-security.tar.gz
zookeeper-3.4.5.tar.gz
设置IP地址
设置静态ip
执行
- vim /etc/sysconfig/network-scripts/ifcfg-eth0
- DEVICE="eth0"
- BOOTPROTO="static"
- ONBOOT="yes"
- TYPE="Ethernet"
- IPADDR="192.168.40.137"
- PREFIX="24"
- GATEWAY="192.168.40.2"
设置静态ip后不能上网,有待高手指点
关闭防火墙
- 执行命令 service iptables stop
- 验证:service iptables status
- 关闭防火墙的自动运行
- 执行命令 chkconfig iptables off
- 验证: chkconfig --list | grep iptables
设置主机名
执行命令
- (1)hostname m
- (2)vi /etc/sysconfig/network
设置ssh免密码登陆
执行命令(1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证: ssh chaoren
安装jdk
执行命令
- (1)cd /usr/local (注意linux下的文件权限问题)
- (2)mv dk-7u51-linux-x64 jdk
- (3)vi /etc/profile 增加内容如下:
- export JAVA_HOME=/opt/jdk
- export PATH=$JAVA_HOME/bin:$PATH
- export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
- (4)source /etc/profile
- 验证: java -version
安装hadoop
- 执行命令 (1)tar -zxvf hadoop-1.1.2.tar.gz
- (2)mv hadoop-1.1.2 hadoop
- (3)vi /etc/profile 增加内容如下:
- export JAVA_HOME=/usr/local/jdk
- export HADOOP_HOME=/usr/local/hadoop
- export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
- (4)source /etc/profile
- (5)修改conf目录下的配置文件
- 1.hadoop-env.sh
- export JAVA_HOME=/usr/local/jdk/
- 2.core-site.xml
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://m:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/usr/local/hadoop/tmp</value>
- </property>
- </configuration>
- 3.hdfs-site.xml
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.permissions</name>
- <value>false</value>
- </property>
- </configuration>
- 4.mapred-site.xml
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>m:9001</value>
- </property>
- </configuration>
- (6)hadoop namenode -format
- (7)$HADOOP_HOME/bin/start-all.sh
- 验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
- (2)在浏览器查看,http://m:50070 http://m:50030
2安装zookeeper
- zk服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致。
- 在m的/usr/local目录下,解压缩zk....tar.gz,设置环境变量
- 在conf目录下,修改文件 vi zoo_sample.cfg zoo.cfg
- 编辑该文件,执行vi zoo.cfg
- 修改dataDir=/usr/local/zk/data
- 新增server.0=m:2888:3888
- 创建文件夹mkdir /usr/local/zk/data
- 在data目录下,创建文件myid,值为0
- 启动,在三个节点上分别执行命令zkServer.sh start
- 检验,在三个节点上分别执行命令zkServer.sh status
3安装hbase
- 在hadoop0上解压缩、重命名、设置环境变量HBASE_HOME
- 修改文件$HBASE_HOME/conf/hbase-env.sh,修改内容如下
- export JAVA_HOME=/usr/local/jdk
- export HBASE_MANAGES_ZK=true
- 修改文件hbase-site.xml,修改内容如下
- <property>
- <name>hbase.rootdir</name>
- <value>hdfs://m:9000/hbase</value>
- </property>
- <property>
- <name>hbase.cluster.distributed</name>
- <value>true</value>
- </property>
- <property>
- <name>hbase.zookeeper.quorum</name>
- <value>m</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- (可选)修改regionservers,具体操作见ppt
- 启动,执行命令start-hbase.sh
0 0
- 伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
- 伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
- 伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
- 伪分布式集群环境hadoop、hbase、zookeeper搭建
- Hadoop+HBase+ZooKeeper分布式集群环境搭建
- Hadoop+HBase+ZooKeeper分布式集群环境搭建
- 学习搭建Hadoop+HBase+ZooKeeper分布式集群环境
- zookeeper伪分布式集群环境搭建
- Zookeeper伪分布式集群环境搭建过程
- hadoop+hbase+zookeeper完全分布式环境搭建
- Hadoop 、Hbase、zookeeper 集群环境搭建
- Hadoop+Hbase+Zookeeper集群环境搭建
- hadoop、zookeeper、hbase、spark集群环境搭建
- hadoop、zookeeper、hbase、spark集群环境搭建
- hadoop、zookeeper、hbase、spark集群环境搭建
- 大数据伪分布式环境搭建hadoop+zookeeper+hive+sqoop+hbase
- zookeeper伪分布式集群搭建(centOS7)
- zookeeper伪分布式集群搭建
- UML统一建模语言
- 快速排序C实现(阿里巴巴 2012年笔试题)
- python学习笔记 with语句
- 线段树练习 2(线段树是个啥玩意啊,还是个大师的题,我感觉青铜都不到)
- PHP数学运算和日期相关
- 伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
- Python学习笔记 装饰器详解
- LeetCode:Merge k Sorted Lists
- Android中Bitmap,byte[],Drawable相互转化
- poj 2287 贪心(田忌赛马)
- excel中vba调用java程序并获取返回值
- Django学习系列(五)——编写第一个Django应用part4_View&URL
- [iOS] 使用UIWebView时objective-c与javascript互相调用
- 解决方案:cocoapods提示ld: library not found for -lPods