Hadoop2.6.0-Centos7.0真机安装过程
来源:互联网 发布:算法设计与分析(第2版) 编辑:程序博客网 时间:2024/05/16 09:16
版本: hadoop2.6.0
依赖: jdk1.8.0_40 , eclipse(java普通版) , glibc_2.14
hadoop_eclipse_plugin_2.6.0
测试所用用户名: garreet.king
部署模式: 伪分布式部署
1) 安装JDK,解压安装在/usr/program/jdk1.8.0_40目录下
chown -R garreet.king /usr/program/jdk1.8.0_40
2) 安装hadoop,解压安装在/usr/program/hadoop-2.6.0目录下
chown -R garreet.king /usr/program/hadoop-2.6.0
3) 在/etc/profile文件中配置JDK的环境变量,加到文件末尾
#set java environmentexport JAVA_HOME=/usr/program/jdk1.8.0_40export JRE_HOME=/usr/program/jdk1.8.0_40/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
4) 在/etc/profile文件中配置hadoop的环境变量,加到文件末尾
# set hadoopexport HADOOP_HOME=/usr/program/hadoop-2.6.0export PATH=$HADOOP_HOME/bin:$PATH
5) 设置/etc/profile为可执行,并执行环境变量
chmod +x /etc/profilesource /etc/profile
6) 检查java和hadoop是否成功
java -versionhadoop version
7) 配置无密码ssh
ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
8) 创建hadoop内的相关目录,在hadoop目录内执行命令
#临时目录mkdir tmp#数据目录mkdir dfs cd ./dfs #名称节点目录mkdir name #真实数据目录mkdir data cd ..
9) 配置hadoop,以下路径均为相对hadoop的路径
《etc/hadoop/hadoop-env.sh》 文件中
export JAVA_HOME=/usr/program/jdk1.8.0_40
《etc/hadoop/core-site.xml》文件中
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/program/hadoop-2.6.0/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>
《hdfs-site.xml》文件中
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/program/hadoop-2.6.0/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/program/hadoop-2.6.0/dfs/data</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property></configuration>
《mapred-site.xml》 文件中
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
《 yarn-site.xml 》 文件中:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
10)格式化hadoop的文件系统
hadoop namenode -format
看到dfs/name/current文件夹,就是成功了,这里只能执行一次
不然data和name里面的文件就不匹配了,修正的方法,这里不涉及
11.)启动hadoop
cd sbin./start-dfs.sh./start-yarn.sh
用 jps 命令查看,有以下进程则为成功
SecondaryNameNode
Jps
NameNode
DataNode
ResourceManager
NodeManager
12)验证hadoop
#创建一个目录hadoop fs -mkdir /testhadoop fs -ls /
看到 test 目录的描述,就是正确了
- Hadoop2.6.0-Centos7.0真机安装过程
- Centos7.2安装Hadoop2.6.0
- CentOS7.0安装配置hadoop2.7.0
- CentOS7安装hadoop2.7.3
- CentOS7.0真机配置jdk安装Tomcat8
- CentOs7安装Hadoop2.7.0总结
- CentOS7安装配置hadoop2.7.2
- CentOS7 Hadoop2.7.3 安装HBase
- CentOs7安装Hadoop2.7.0总结
- Centos7安装Hadoop2.8步骤
- centos7+hadoop2.8.1集群安装
- centos7上hadoop2.6和hbase1.0安装
- CentOS7安装Hadoop2.7完整流程
- CentOS7安装Hadoop2.7完整流程
- CentOS7安装Pig(Hadoop2.6,Pig0.15)
- CentOS7安装Hadoop2.7完整流程
- CentOS7安装Hadoop2.7.2实录整理
- CentOS7安装Hadoop2.7完整流程
- 教程二:应用发布App Store平台教程(2015新版)
- 111
- 算法学习之排序
- 使用greys 排查问题案例
- Tomcat连接线程池配置
- Hadoop2.6.0-Centos7.0真机安装过程
- 模式匹配算法--KMP c代码
- 自定义创建Openstack镜像(Windows)
- 写在开头
- Linux 信号处理signal
- 第六届蓝桥杯C/C++第10题生命之树解题报告
- [Rx86OS-V] 用C语言实现画面(颜色)
- Two Sum
- 黑马程序员——OCFoundation框架-9:计算某个文件夹下的代码行数