Hadoop入门之Hadoop伪分布式环境搭建

来源：互联网发布：网络斗牛赌博作弊器编辑：程序博客网时间：2024/06/06 12:51

在配置Hadoop环境前，应该在Linux环境中先配置JAVA环境变量，SSH免密登录。如果没有SSH免密登录，在分布式环境下，就会重复很多次输入密码的动作。

假设此时JAVA_HOME与SSH免密登录已经配置好。这时候从Hadoop官网http://hadoop.apache.org/ 下载Hadoop压缩包，上传到Linux上，选择一个合适的目录解压。解压之后，按照如下步骤进行操作：

1.在Hadoop包根目录下，编辑文件 etc/hadoop/hadoop-env.sh，更改：

export JAVA_HOME=/usr/java/latest

2.然后使用 bin/hadoop 测试hadoop命令是否可用

3.配置HDFS

(1)配置NameNode

    在文件etc/hadoop/core-site.xml中

(2)配置DataNodes

在文件etc/hadoop/slaves中

hadoop-senior.ibeifeng.com

(3)配置SecondaryNode

4.接下来进行测试

(1)格式化文件系统

bin/hdfs namenode -format

(2)启动NN节点和DN节点的进程

sbin/start-dfs.sh

(3)创建执行MapReduce任务的文件目录

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir /user/<username>

(4)将输入文件复制到分布式文件系统中

bin/hdfs dfs -put etc/hadoop input

(5)执行一个测试用例

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'

0 0