mac下安装伪分布hadoop2.6.0和hbase1.0.1.1
来源:互联网 发布:制衣打飞软件 编辑:程序博客网 时间:2024/05/21 07:27
mac下安装伪分布hadoop2.6.0和hbase1.0.1.1
1、安装JDK,我安装的是java1.7
2、创建管理员账户
3、安装ssh服务(如果已有跳过此步)
4、ssh无密码验证登陆
以上过程略,可参考ubuntu下安装hadoop一文。
5、下载并解压hadoop2.6.0安装包
tar -xzvf hadoop-2.6.0.tar.gz /Users/hadoop
6、配置hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,yarn-site.xml。
hadoop-env.sh中加入JAVA_HOME路径:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75.jdk/Contents/Home
core-site.xml配置如下:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/Users/hadoop/hadoop-2.6.0/tmp</value> </property></configuration>
mapred-site.xml配置如下:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
hdfs-site.xml配置如下:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/Users/hadoop/hadoop-2.6.0/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/Users/hadoop/hadoop-2.6.0/tmp/dfs/data</value> </property></configuration>
yarn-site.xml配置如下:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property></configuration>
7、配置系统环境变量
打开/etc/profile加入以下内容:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75.jdk/Contents/Homeexport HADOOP_HOME=/Users/hadoop/hadoop-2.6.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8、格式化hdfs文件系统
hdfs namenode -format
9、启动hadoop服务
start-all.sh
安装正确的话,此时应该有以下5个java线程:
NameNodeDataNodeSecondaryNameNodeNodeManagerResourceManager
在浏览器中输入localhost:50070可以查看hadoop集群概述
10、解压hbase安装包
tar -xzvf hbase-1.0.1.1-bin.tar.gz /Users/hadoop
11、配置hbase-env.sh、hbase-site.xml。
hbase-env.sh配置如下:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75.jdk/Contents/Homeexport HBASE_MANAGES_ZK=true
hbase-site.xml配置如下:
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.tmp.dir</name> <value>/Users/hadoop/hbase-1.0.1.1/tmp</value> </property> <property> <name>zookeeper.session.timeout</name> <value>120000</value> </property></configuration>
12、启动hbase
首先启动hadoop,然后启动hbase
start-all.shstart-hbase.sh
安装正确的话,应该有以下3个hbase相关线程:
HMasterHRegionServerHQuorumPeer
13、存在的问题
1)hadoop官网提供的安装包是32位的,安装到64位机器上会出现“
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable ”的提示,暂时未发现影响使用。如果想消除这条提示,可以在官网下载src源文件在64位机器上进行手动编译。
2)hbase的线程会出现自动中断的情况,目前尝试了网上找到的多种方法,依然没有解决,暂时只能通过重启hbase的方法处理该问题。
0 0
- mac下安装伪分布hadoop2.6.0和hbase1.0.1.1
- Hadoop2.6.0伪分布下Hbase1.0.0安装教程
- Hadoop2.6.0在MAC下伪分布安装
- hadoop2.2.0伪分布下安装hive
- 伪分布安装Hadoop2.8.0+Hbase1.3.1+Hive1.2.1+Kylin2.0
- Centos7下Hadoop-2.5.1和Hbase1.0.1的伪分布式安装
- Mac下Hbase伪分布安装和使用
- 1、Hadoop2.6.0 和 Hadoop1.2.1伪分布环境搭建
- Mac下hadoop2.7 伪分布式安装
- Hadoop2伪分布模式安装
- hadoop2.2.0伪分布安装
- Hadoop2安装-伪分布模式
- hadoop2.X 伪分布安装
- 64位Ubuntu14.04下安装hadoop2.6单机配置和伪分布配置详解
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- Ubuntu14.04下安装Hadoop2.4.0 --- 伪分布模式
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- codevs1204 寻找子串位置
- HDOj 5918 Sequence I【KMP】
- 横竖屏切换SurfaceView 大小的调整
- Aho-Corasick 自动机
- 求二叉树的所有末级左节点的值的和
- mac下安装伪分布hadoop2.6.0和hbase1.0.1.1
- matplotlib中ion()和ioff()的使用
- KMeans——之我见
- PAT:1005. Spell It Right
- 【NOIP2010提高组T4】引水入城-搜索+DP
- Matlab中值滤波代码
- Autocad提示产品许可证错误无法激活的解决办法
- c语言显示比赛的结果
- OpenCV常见算法实现(一)- 椒盐噪声