Ubuntu配置hadoop单机+伪分布式环境+eclipse-- 配置hadoop单机环境(二)

来源:互联网 发布:iphone mac连接 编辑:程序博客网 时间:2024/05/16 13:50

Ubuntu配置hadoop单机环境


Ubuntu在安装完hadoop之后,配置hadoop伪分布式环境只需修改配置文件即可。

快速入口链接:
Ubuntu安装hadoop准备工作
Ubuntu配置hadoop伪分布式环境
Ubuntu配置hadoop+eclipse

1)修改配置文件

为便于运行,可配置hadoop的环境变量,这样可在命令行直接运行hadoop命令,打开文件
$sudo gedit ~/.bashrc
添加语句

export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin

hadoop的配置文件位于“HADOOP_HOME/etc/hadoop”中。
需要配置的文件为“core-site.xml”和“hdfs-site.xml”。
进入“HADOOP_HOME”目录,打开文件“core-site.xml”,
$gedit /etc/hadoop/core-site.xml
将文件修改为

<configuration>        <property>             <name>hadoop.tmp.dir</name>             <value>file:/usr/local/hadoop/tmp</value>             <description>Abase for other temporary directories.</description>        </property>        <property>             <name>fs.defaultFS</name>             <value>hdfs://localhost:9000</value>        </property></configuration>

打开文件“hdfs-site.xml”,
$gedit /etc/hadoop/hdfs-site.xml
将文件修改为

<configuration>        <property>             <name>dfs.replication</name>             <value>1</value>        </property>        <property>             <name>dfs.namenode.name.dir</name>             <value>file:/usr/local/hadoop/tmp/dfs/name</value>        </property>        <property>             <name>dfs.datanode.data.dir</name>             <value>file:/usr/local/hadoop/tmp/dfs/data</value>        </property></configuration>

配置完成后格式化namenode,
$hdfs namenode -format
下图所示format成功且退出状态为0。
格式化namenode
接下来启动hadoop,
$start-dfs.sh
出现错误,如下图所示
hadoop启动错误
需修改配置文件“HADOOP_HOME/etc/hadoop/hadoop-env.sh”,
将语句

export JAVA_HOME=$JAVA_HOME

修改为语句

export JAVA_HOME=/usr/local/java

再次启动hadoop,
$start-dfs.sh
输入“yes”
启动hadoop
输入
$jps
查看活动结点
jps查看活动结点

在浏览器输入“http://localhost:50070”可以查看namenode和datanode的信息,
查看结点信息


下一篇介绍伪分布式环境的配置。
Ubuntu配置hadoop单机+伪分布式环境+eclipse(三)

0 0
原创粉丝点击