【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置
来源:互联网 发布:一键安装php mysql 编辑:程序博客网 时间:2024/05/15 20:34
今天总算是把hadoop2.4的整个开发环境弄好了,包含 windows7上eclipse连接hadoop,eclipse的配置和测试弄得烦躁的一逗比了~
先上一张成功的图片,hadoop的伪分布式安装配置,只要按照步骤来,有点基础的 基本没什么问题的。。eclipse的配置 弄了很长一段时间才弄好的,中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。
今天来说说hadoop2.4的安装和配置吧~
1、环境的准备:
系统:CentOS
JDK版本:jdk7
系统需要包含ssh服务的。
CentOS配置:/etc/profile 最后面添加如下:(此配置文件接的是上次编译hadoop2.4源码的配置文件:http://blog.csdn.net/enson16855/article/details/35568049)
export JAVA_HOME=/usr/java/jdk1.7.0_60export PATH="$JAVA_HOME/bin:$PATH"export MAVEN_HOME=/home/hadoop/soft/apache-maven-3.2.1export PATH="$MAVEN_HOME/bin:$PATH"export ANT_HOME=/home/hadoop/soft/apache-ant-1.9.4export PATH="$ANT_HOME/bin:$PATH"export HADOOP_PREFIX=/home/hadoop/soft/hadoop/hadoop-2.4.0export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"export HADOOP_PREFIX PATH CLASSPATHexport LD_LIBRARY_PATH=$HADOOP_PREFIX/lib/native/
注意:这边要求下载好hadoop-2.4.0,并且解压到指定的目录(本人的:/home/hadoop/soft/hadoop)~
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/
2、配置hadoop
hadoop-env.sh:
export JAVA_HOME=/usr/java/jdk1.7.0_60export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"core-site.xml :
<configuration> <property> <name>fs.default.name</name> <value>hdfs://192.168.0.167:9000</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value> </property></configuration>hdfs-site.xml :
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value> </property></configuration>mapred-site.xml,这里2.4.0中没有这个文件,可以新建一个,或者直接修改mapred-site.xml.template
<configuration> <property> <name>mapreduce.jobtracker.address </name> <value>192.168.0.167:9001</value> </property></configuration>
yarn-site.xml:
<configuration><!-- Site specific YARN configuration properties --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
3,ssh免密码登陆设置
命令:(此处要切换root用户,不要傻逼嘻嘻的一直使用个人用户)
ssh-keygen -t rsa -P ""直接回车即可
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
试一下ssh localhost要是能免密码登陆显示系统信息,就应该是对的。(这里有个输入密码环节,是系统的密码)
4、格式化hdfs:
命令:
./bin/hadoop namenode -format
出现上面这个图片那样的 说明格式化成功。。。。
5、启动hadoop
命令:
./sbin/start-all.sh新版本的hadoop其实不建议这么直接start-all,建议一步步来,需要start-dfs.sh等等一系列的操作,反正我们只是做试验一样,我就没这么去讲究了。。
关闭的命令:
./sbin/stop-all.sh
启动成功如下:
基本启动的进程如下:
SecondaryNameNode
DataNode
NodeManager
Jps
ResourceManager
NameNode
浏览器访问:http://localhost:50070
http://localhost:8088 hadoop进程管理页面
这样就算是整体成功了。。
- 【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置
- Hadoop之——Hadoop2.4.1伪分布搭建
- Hadoop之——伪分布安装
- CentOS安装伪分布Hadoop
- CentOS安装配置Hadoop 1.2.1(伪分布模式)
- hadoop伪分布安装配置
- Hadoop的伪分布和完全分布安装配置过程
- hadoop2.7伪分布安装配置
- Hadoop配置之伪分布
- hadoop之伪分布安装
- CentOS 安装 hadoop(伪分布模式)
- CentOS下Hadoop伪分布模式安装
- hadoop的伪分布安装
- hadoop的伪分布安装
- hadoop的伪分布安装
- Hadoop的伪分布安装
- hadoop的伪分布安装
- Hadoop2.4.0伪分布安装步骤
- Android程序的隐藏与退出
- Android Content Provider的启动过程源代码分析
- 天龙八部服务器端共享内存的设计(2/3)
- 天龙八部服务器端共享内存的设计(3/3)
- 女性在经期面临着大量的血液流失,这个时候人体合成血红蛋白的重要元素—铁
- 【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置
- 小于号重载须注意的问题——strict weak ordering
- HDU 1171 Big Event in HDU
- poj 1094 拓扑排序(给不等式判断递增串)
- VC CTreeCtrl 控件
- 【扫盲贴】 linux系统如何创建新用户
- 播放SD卡上全部音频文件
- 网站建设中什么最关键——网站结构
- 一道难以解决的问题