一、Hadoop单机版standalone的安装与配置(Hadoop1.2.1,CentOS6.5)

来源:互联网 发布:搜索网站排名优化策略 编辑:程序博客网 时间:2024/05/17 07:33
一、安装jdk
    1、下载bin包,自行下载,上传到CentOS6.5中,
    2、安装bin包,
        # chmod 755 jdk-6u27-linux-x64-rpm.bin
        # ./jdk-6u27-linux-x64-rpm.bin
    3、配置环境变量
        # vi /etc/profile
        添加如下
export JAVA_HOME=/usr/java/jdk1.6.0_27
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export path=$PATH:$JAVA_HOME/bin
        使配置生效
        # source /etc/profiles

二、配置SSH免密码登录
    参考文章:http://blog.csdn.net/gsying1474/article/details/49468727

三、安装Hadoop
    下载地址:https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
    解压hadoop(tar xvf hadoop-1.2.1.tar.gz)
    1、环境hadoop变量配置
vi hadoop-env.sh
添加如下内容
export JAVA_HOME=/usr/java/jdk1.6.0_27/

    2、配置conf/core-site.xml文件,Hadoop的核心文件,配置的是HDFS的地址和端口号
<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>
    3、配置conf/hdfs-site.xml,Hadoop中的HDFS的配置,配置的备份方式默认是3,在单机版的Hadoop中,需要设置为1
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

    4、配置conf/mapred-site.xml,Hadoop中MapReduce配置文件,配置JobTracker的地址和端口
<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
        </property>
</configuration>

    5、启动Hadoop之前需要格式化Hadoop的文件系统HDFS
# ./bin/hadoop namenode -format
    6、启动Hadoop
# ./bin/start-all.sh
    7、访问地址确保启动成功了
http://192.168.10.128:50030
http://192.168.10.128:50070

0 0
原创粉丝点击