CentOS7环境搭建--Notes

00 CentOS环境搭建1 所需软件：VMware-player-12.5.1CentOS-7-x86_64-Minimal.isojdk-8u111-linux-x64.rpmhadoop-2.7.3.tar.gz2 安装流程：安装VMware在VMware上将CentOS7最小安装版安装到移动硬盘设置CentOS7，更改主机名，添加新用户配置ssh无密码登录安装JDK伪分布式安装Hadoop为CentOS安装图形界面（非必须，个人的某些软件需要图形界面支持）3 具体操作：3.1 安装VMware在以下网站下载免费版VMware player，并安装：http://www.vmware.com/products/player/playerpro-evaluation.html本机下载文件：VMware-player-12.5.1-4542065.exe注：有些早期版本不支持Win10系统，下载时需确认是否支持所用系统。3.2 最小安装CentOS73.2.1 在以下网站下载CentOS7，本机使用的iso文件为：CentOS-7-x86_64-Minimal.isohttps://www.centos.org/download/3.2.2 启动VMware，选择创建新虚拟机，在向导中确定使用的镜像、安装位置以及硬件配置，最后点击完成即可。主要截图如下：图 1选择CentOS镜像图 2将移动盘设为目的盘图 3硬件设置截图3.2.3 开启新建的虚拟机，选择第一项Install CentOS 7，点击Enter进入安装。图 4 最小安装CentOS3.2.4 进入如下界面后，进行一些设置的选择，就可开始安装CentOS。过程中可以设置root用户密码以及新建一个用户，安装完成后，点击reboot即可进入CentOS系统。图 5安装初始界面图 6准备安装界面图 7安装完成界面3.3 连通网络输入dhclient命令连通网络，并用ping命令检查是否网络已连通。图 8 连通网络3.4 更改主机名新建用户并设置管理员权限3.4.1输入命令hostname查看主机名后，输入命令hostnamectl set-hostname bigdata将主机名更改为bigdata，此命令同时修改了静态、瞬态和灵活主机名更改后可用命令hostnamectl status查看。图 9 更改主机名3.4.2 使用vi修改/etc/sysconfig/network中hostname的值为bigdata，并禁用ipv6。图 10 修改network文件3.4.3 输入useradd lc命令增加新用户lc，输入passwd lc命令为用户lc设置密码，然后用vi编辑/etc/sudoers文件，使得用户可以通过su/sudo命令获得管理员权限。最后使用命令su lc登录到lc用户下。图 11添加新用户lc并修改权限

1. 配置ssh无密码登录

3.5.1 CentOS7是默认安装ssh的，也可以通过安装ssh的命令进行确认：$sudo yum install openssh-server图 12 确认ssh已安装3.5.2输入以下命令生成公钥/私钥对，无须输入密码，一直回车，即可在"~/.ssh"目录下生成密钥，其中"~"代表当前用户主目录：$ ssh-keygen -t rsa -P ""图 13 生成公钥/私钥对3.5.3 进入密钥存放目录并查看其中内容，其中id_rsa代表的是私钥，id_rsa.pub代表的是公钥。然后使用cat命令将公钥追加到授权对key文件中：图 14 追加公钥到授权对key3.5.4如果是第一次创建授权key文件，还需要使用chmod命令修改一下该文件对权限，可使用ls –l命令查看修改前后的对比：图 15 修改authorized key权限3.5.5 CentOS默认没有启动ssh无密登录，检查/etc/ssh/sshd_config的设定，使用命令sudo vi /etc/ssh/sshd_config打开文件并取消以下四行内容的注释：port 22RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile    %h/.ssh/authorized_keys图 16 修改sshd_config文件3.5.6修改sshd_config文件后，需使用命令service sshd restart重启ssh服务，使修改后的配置生效。接下来模拟ssh登录，在此之前，首先查看一下hosts文件，这里存储了域名和ip地址的映射，回到主目录后可用命令cat /etc/hosts直接查看：图 17 重启ssh服务3.5.7输入ssh localhost，请求用ssh登录localhost主机。第一次访问时输入yes，将信息添加到known hosts的列表中，也需要输入密码。输入exit退出之后，再次登录，就无需输入密码了。图 18 ssh无密码登录3.6 安装JDK3.6.1 输入命令rpm -qa | grep jdk查看系统jdk，如果有openjdk，输入命令yum -y remove卸载之。本系统由于是最小化安装，没有openjdk。图 19 检查系统是否安装过jdk3.6.2使用sudo yum install命令安装wget，然后使用wget命令到以下网址下载需要的JDK，本机使用的安装文件为jdk-8u111-linux-x64.rpm，存放在/home目录下，最后输入命令yum localinstall jdk-8u91-linux-x64.rpm安装文件，此命令默认会在/usr/java目录下新建一个目录（此版本为jdk1.8.0_111）用来安装jdk：http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.rpm图 20 下载安装jdk1.83.6.3 输入java –version命令，发现jdk已经安装成功。注意，记录下jdk安装目录以备之后设置环境变量：/usr/java/jdk1.8.0_111图 21 安装jdk1.8成功3.7 单节点安装HADOOP 2.7.33.7.1 在home目录下用wget命令在以下网址下载hadoop-2.7.3.tar.gz并输入命令tar –xzvf hadoop-2.7.3.tar.gz解压。https://archive.apache.org/dist/hadoop/core/stable/hadoop-2.7.3.tar.gz图 22 下载并解压hadoop2.7.33.7.2为方便输入，安装vim后，使用vim更改/home/.bashrc文件配置环境变量，保存后用source命令更新文件。export JAVA_HOME=/usr/java/latestexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jarexport HADOOP_HOME=/home/lc/Hadoop-2.7.3export HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin3.7.3 配置hadoop-2.7.3/etc/hadoop目录下hadoop-evn.sh文件：export JAVA_HOME= usr/java/latest3.7.4 配置hadoop-2.7.3/etc/hadoop目录下的core-site.xml文件：hadoop.tmp.dir/home/lc/hadoop-2.7.3/tmpfs.defaultFShdfs://localhost:90003.7.5 配置 hadoop-2.7.3/etc/hadoop目录下的hdfs-site.xml文件：dfs.replication1dfs.namenode.name.dirfile:/home/lc/hadoop-2.7.3/tmp/dfs/namedfs.datanode.data.dirfile:/home/lc/hadoop-2.7.3/tmp/dfs/datadfs.webhdfs.enabledtrue3.7.6 创建先前设置过的目录tmp、dfs、data以及name：图 23 新建需要的目录3.7.7配置hadoop-2.7.3/etc/hadoop目录下的mapred-site.xml文件（需先复制template为此文件）：mapreduce.framework.nameyarnmapreduce.jobhistory.addresslocalhost:10020mapreduce.jobhistory.webapp.addresslocalhost:198883.7.8配置hadoop-2.7.3/etc/hadoop目录下的yarn-site.xml文件：yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.addresslocalhost:8032yarn.resourcemanager.scheduler.addresslocalhost:8030yarn.resourcemanager.resource-tracker.addresslocalhost:8031yarn.resourcemanager.admin.addresslocalhost:8033yarn.resourcemanager.webapp.addresslocalhost:8080yarn.log-aggregation-enabletrue3.7.9 配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的slaves，设置为localhost。3.7.10 进入hadoop主目录，输入hdfs namenode -format指令格式化NameNode，如果exiting status为0，表示顺利初始化了namenode：图 24 格式化namenode3.7.11 进入hadoop主目录，输入命令$sbin/start-all.sh启动hadoop，然后输入命令jps查看启动情况。注意，ssh要保持联通状态。图 25 启动hadoop成功3.7.11 之前配置好的jobhistory进程需要手动启动。进入hadoop主目录，输入命令$sbin/mr-jobhistory-daemon.sh start historyserver以及$sbin/yarn-daemon.sh start historyserver启动jobhistory，再输入命令jps查看启动情况。图 26 启动jobhistoryserver3.8 为CentOS安装图形界面由于本次采用的是最小化安装，没有图形界面，对于一些依赖图形界面的软件不是很方便，这里记录一下安装图形界面的方法。为操作方便，从以下界面登陆后，使用su命令，以root身份进行安装。安装完成后，重启即可进入图形界面，在登录界面也可点击图11中的"Not listed？"，输入用户名root和密码以root身份登录。图 27 命令登录界面su  //获取root权限dhclient  //DHCP协议客户端，配置网络接口yum grouplist  //列出可用的选择，下图可以看到GNOME Desktop在available列表中yum  groupinstall -y "GNOME Desktop"//-y表示安装过程中都选择yes//配置开机进入图形界面ln -sf /lib/systemd/system/graphical.target /etc/systemd/system/default.targetstartX //开启图形界面，因已经配置了开机进入图形界面，此处可直接重启图 28部分可用的安装组图 29图形界面安装完成图 30图形登录界面3.9 在虚拟机浏览器确认一下hadoop的安装3.9.1 浏览网站http://localhost:50070，查看Namenode信息：图 31 查看localhost：500703.9.2 浏览网站http://localhost:8080，查看all application信息：图 32 查看localhost：80803.9.3 浏览网站http://localhost:8042查看NodeManager信息：图 33 查看localhost：8042注：部分图片来源于网易云课堂大数据微专业视频截图，笔记整理自其视频内容，部分笔记整理自以下网络资料：http://xiexiaojun.blog.51cto.com/2305291/1720694http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.htmlhttp://www.centoscn.com/CentOS/2015/0620/5700.htmlhttp://www.jb51.net/os/RedHat/138116.htmlhttp://blog.topspeedsnail.com/archives/6985http://www.dongcoder.com/detail-19257.htmlhttp://blog.163.com/wang_hai_fei/blog/static/309020312008728333912/