hadoop的搭建

hadoop集群搭建

本次搭建的是hadoop-2.6.5，该版本的兼容性较好

hadoop的集群搭建有三种方式：

    单节点    伪分布式    分布式

• 单节点

在一台机器上运行的hadoop，搭建配置简单，这里不详细展开

• 伪分布式

  安装软件    jdk安装，配置环境变量    vi /etc/profile免秘钥    ssh免秘钥（官网上的写法）        ssh localhost        ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa        cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys上传文件    解压，mv hadoop-2.6.5 /opt/sxt    修改配置文件        JAVA_HOME        HADOOP_PREFIX配置集群文件    修改JAVA_HOME    修改core-site.xml        配置NameNode的启动地址和端口        配置数据存放目录    修改hdfs-site.xml        配置文件副本个数        配置secondaryNameNode的启动地址和端口    修改slaves        添加从节点主机名启动集群    初始化        hdfs namenode -format    启动        start-dfs.sh操作    创建/user/root目录    上传hadoop压缩包文件    查看        通过浏览器的地址+端口号查看信息

• 分布式

  安装环境    传送文件        scp -r命令传送java安装包到其他三个节点上        用过scp -r将/etc/profile文件传送到其他三个节点上配置免秘钥    在其他三个节点上：ssh localhost    通过scp -r命令将node01的公钥传到其他三个节点上    cat ~/node01.pub  >> ~/.ssh/authorized_keys配置hadoop配置文件    在伪分布式集群上的变化        将数据临时存放路径改        集群副本数改        secondarynamenode启动地址改        slaves改将hadoop部署包分发到其他三个节点上    cd /opt/sxt    scp -r hadoop-2.6.5  node02:`pwd`    scp -r hadoop-2.6.5  node03:`pwd`    scp -r hadoop-2.6.5  node04:`pwd`    将配置文件分发到其他三个节点上确认进程    jps启动集群    初始化NameNode        如原先有full文件，需要将其删除，再进行初始化    start-dfs.sh    通过jps命令确认其他节点的进程运行状况    通过浏览器查看集群文件及状态