搭建分布式集群

基础操作

1. 客户机的文本模式与图形模式切换

     1. ctrl + alt + F6  文本模式     2. ctrl + alt + F7   图形模式

2. 设置开机默认进入文本模式

    1. 进入 /etc/default/grub    2. 将GRB_CMPLINE_LINUX_DEFAULT="quiet"        修改为：GRB_CMPLINE_LINUX_DEFAULT="text"    3. 更新： $> sudo update-grub

3. 配置集群主机

    1. 格式： ip： 192.168.1.100--192.168.1.105         主机名: s100--s105    2. 更改主机名: /etc/hostname        $>   sudo echo s100(主机名s100--s105) > hostname    3. 更改主机ip : /etc/hosts        ifconfig 查看ip        $> sudo nano hosts            127.0.0.1                    localhost(默认存在)            192.168.1.100                s100            192.168.1.101                s101            192.168.1.102                s102            192.168.1.103                s103            192.168.1.104                s104            192.168.1.105                s105    注： 每个主机都进行以上配置

安装jdk

    1. 下载jdk1.8.0    2. $> tar -xzvf  jdk1.8.0文件    3. 在根目录下：$> cd  /    4. 新建文件夹： $> sudo mkdir   /soft    5. 更改权限： $> sudo chown  ubuntu:ubuntu  /soft    6. 将tar开 的文件拷贝到soft下：$>sudo  mv   ~/download/jdk1.8.0   /soft    7. 配置环境变量：$> sudo  cat /etc/environment        $>  ln  -s  jdk1.8.0   jdk        environment下：             JAVA_HOME=/soft/jdk            PATH=":/soft/jdk/bin"    8. 查看Java是否生效        $> source  environment        $>  echo  $JAVA_HOME   如果输出是/soft/jdk，则配置成功        $>  echo  $PATH   如果输出/soft/jdk/bin， 则配置成功

安装hadoop

    1. 下载hadoop2.9.0    2. $> tar -xzvf  adoop2.9.0文件    3. 在根目录下：$> cd  /    4. 将tar开 的文件拷贝到soft下：$>sudo  mv   ~/download/adoop2.9.0   /soft    5. 配置环境变量：$> sudo  cat /etc/environment        $>  ln  -s  adoop2.9.0   hadoop        environment下：             HADOOP_HOME=/soft/hadoop            PATH=":/soft/hadoop/bin:/soft/hadoop/sbin"    6. 查看hadoop是否生效        $> source  environment        $>  echo  $HADOOP_HOME   如果输出是/soft/hadoop，则配置成功        $>  echo  $PATH   如果输出":/soft/hadoop/bin:/soft/hadoop/sbin"， 则配置成功    7. 配置hadoop        1> core-site.xml            <configuration>                <property>                    <name>fs.defaultFS</name>                    <value>hdsf://localhost/</value>                </property>            </configuration>        2> hdfs-site.xml            <configuration>                <property>                    <name>dfs.replication</name>                    <value>1</value>                </property>            </configuration>        3> mapred-site.xml            $> cp mapred-site.xml.template mapred-site.xml            <configuration>                <property>                    <name>mapreduce.framework.name</name>                    <value>yarn</value>                </property>            </configuration>        4> yarn-site.xml            <configuration>                <property>                    <name>yarn.resourcemaneger.hostname</name>                    <value>localhost</value>                    <name>yarn.nodemanager.aux-services</name>                    <value>mapreduce_shuffle</value>                </property>            </configuration>    8.检查配置结果        1> 启动hadoop             $> start-all.sh        2> 查看进程数            $> jps        3> 如果进程数不对，则关闭hadoop,并且进行格式化            $> stop-all.sh            $> hadoop  namenode -format        注： start-all.sh 启动所有进程            start-dfs.sh 启动数据节点和名称节点进程            start-mapred.sh  启动资源管理进程

安装ssh

    1. 下载ssh        $>  sudo apt-get install -f ssh    2. 启动无密登录，并且生成密钥对        $> ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa    3. 将公钥导入授权库        $> cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys    4. 登录到localhost        $> ssh localhost    5. 退出        $> exit