mac下安装hadoop(一)
来源:互联网 发布:京东好还是淘宝好 编辑:程序博客网 时间:2024/06/05 20:13
一、配置java环境
我安装的是JDK:1.8.0_111 网上java环境的配置教程很多 配置好JAVA_HOME环境变量 验证java 和javac
在.bash_profile中加上
JAVA_HOME= 这里填你的jdk安装安装路径
CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH:
export JAVA_HOME
export CLASSPATH
export PATH
二、配置ssh 确认ssh能远程登录管理
我的是mac 所以安装方法如下:
首先确认能够远程登录
系统偏好设置-共享
在终端执行
ssh-keygen -t rsa
一路回车就行
会在~/.ssh目录下生成两个文件
然后执行
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
验证ssh
ssh localhost
三、安装hadoop
下载链接:http://hadoop.apache.org/releases.html
解压到相应目录
$tar -zxvf hadoop-2.8.1.tar.gz
四、修改配置文件
core-site.xml
该配置文件用于指明namenode的主机名和端口,hadoop临时目录
其中value修改成你自己hadoop的路劲
<configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://0.0.0.0:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储路径 --> <property> <name>hadoop.tmp.dir</name> <value>/Users/eleme/Documents/ProgramFiles/apache-software-foundation/hadoop-2.7.3/temp</value> </property> </configuration>
hadfs-site.xml
默认副本数3,修改为1,dfs.namenode.name.dir指明fsimage存放目录,多个目录用逗号隔开。dfs.datanode.data.dir指定块文件存放目录,多个目录逗号隔开
其中配置文件中file路劲修改成你自己的设置目录路劲
我在hadoop目录下建了tmp文件夹,又在tmp在建了hdfs文件夹,再在hdfs下建了name和data文件夹,所以才有下面的文件路劲
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/Users/eleme/Documents/ProgramFiles/apache-software-foundation/hadoop-2.7.3/tmp/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file://Users/eleme/Documents/ProgramFiles/apache-software-foundation/hadoop-2.7.3/tmp/hdfs/data</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>localhost:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
yarn配置
mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.admin.user.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value> </property>
yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
五、配置hadoop环境变量
vim ~/.bash_profile
添加
export HADOOP_HOME=/Users/chenxun/software/hadoop-2.8.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native:$HADOOP_COMMON_LIB_NATIVE_DIR"
source ~/.bash_profile
7、运行Hadoop
格式化HDFS
hdfs namenode -format启动hdfs
可以一次启动使用命令:start-all.sh
打开http://localhost:50070,进入hdfs管理页面
打开http://localhost:8088,进入hadoop进程管理页面
也可以按照下面的方法一个个的启动:
start-dfs.sh
访问http://localhost:50070
启动yarn
start-yarn.sh
访问http://localhost:8088
运行测试例子
创建hdfs目录
hdfs dfs -mkdir -p /user/yonglu/input
上传测试文件
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml input
执行测试jar
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar grep input output ‘dfs[a-z.]+’
查看执行结果
hdfs dfs -cat output/part-r-00000 16/12/17 12:56:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable dfsadmin dfs.webhdfs.enabled dfs.replication dfs.namenode.secondary.http dfs.namenode.name.dir dfs.datanode.data.dir如果启动过程出现下面的提示:需要重新编译安装lib/native下面的动态库:
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable dfsadmin
参考文章:
http://blog.csdn.net/beijihukk/article/details/53782508?utm_medium=referral&utm_source=itdadao
http://blog.csdn.net/tterminator/article/details/51779689
重新编译之前需要安装
protobuf
和maven以及cmake,自己百度搜索安装即可开始编译native库,命令如下:
mvn package -Pdist,native -DskipTests -Dtar
安装过程出现下面的错误可能是zlib没安装 也可能是openssl没设置好,设置openssl的方法如下(我的mac,你根据你自己的openssl安装路径设置)
export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2kexport OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2k/include
将编译出的native library复制到下载的二进制版本的Hadoop 2.6.0相应目录中
编译出的native library库的位置为
hadoop-2.7.0-src/hadoop-dist/target/hadoop-2.7.0/lib/native
拷贝到二进制版本的Hadoop 2.7.0的目录
hadoop-2.7.0/lib/native
阅读全文
0 0
- mac下安装hadoop(一)
- Mac下Hadoop 出现问题(一)
- hadoop学习之一:mac下hadoop安装
- hadoop学习之一:mac下hadoop安装
- hadoop系列(一) Centos7下安装hadoop
- mac 下hadoop安装并运行例子
- Mac下Jenkins安装(一)
- Hadoop安装(一)
- FireFly菜鸟学习一(mac下安装Firefly)
- Hadoop 2.6 在MAC YOSEMITE 上安装配置 以及开发环境eclipse搭建(一)
- hadoop安装日记(一):在Ubuntu下创建hadoop用户组和用户
- 【Hadoop】MAC下hadoop2.6安装以及执行wordcount
- MAC OS X EI Capiton下Hadoop的详细安装
- Mac OS X EI Capitan下安装hadoop
- MAC OS X EI Capiton下Hadoop的详细安装
- Mac环境下安装Hadoop伪分布模式
- mac下Hadoop、HDFS、Spark环境的安装和搭建
- MAC上安装hadoop
- Linux系统操作练习(二)
- HTML中的float属性
- UVALive 3415 浅谈二分图最大点独立集架构建模
- libevent源码学习-----Reactor模型
- checked exception和unchecked exception的区别
- mac下安装hadoop(一)
- docker简介、虚拟机与Docker有何不同
- java技术手册
- 实验二.单链表
- 1.基础语法(1) print语句
- java面试编程题(数组和链表相关)
- 做数组题时,出现的与返回值有关的问题
- 计算机文化课--摩尔定律
- Git branch 简介