Hadoop初始化

Hadoop配置及初始化

1. 安装LINUX系统（如果你没有阿里云这样自带LINUX的服务器）下载安装 VMware WorkStation Pro下载Ubuntu的ios镜像在VMware WorkStation Pro里添加该LINUX镜像2. 安装VMware Workstation Tools某一LINUX系统已经打开，在工具栏的虚拟机选项卡下，点击VMware Tools安装，此时会在LINUX桌面（或工具栏上）出现DVD将其中的VMwareTools...tar.gz压缩包拖到桌面上（或其它地方）打开TERMINAL，命令行切到该压缩包所在路径，执行命令tar -xvf VMwareTools...tar.gz 进行解压解压后生成的文件运行 sudo ./vmware-install.pl (WHY ADD ./)3. 进行文件共享工具栏-》虚拟机-》设置-》选项-》共享文件夹设置完毕后可以在根目录下的mnt/hgfs下看到共享文件夹4. 创建新用户sudo addgroup hadoopsudo adduser -ingroup hadoop hduser 创建在hadoop这一组别内的用户hduser5. ubuntu安装后更新软件源cd /etc/aptsudo apt-get update6. 为hadoop用户增加权限sudo gedit /etc/sudoers在hduser下添加权限，即在root ALL=(ALL:ALL)ALL下一行写 hduser ALL=(ALL:ALL)ALLATTENTION:这里在添加hduser时，我错把ALL写成All，造成sudo命令不能使用的情况，解决方案如下：    重启LINUX，并按住SHIFT键，进入GRUB菜单（我使用的UBUNTU是16.04 LTS）    Advanced options for Ubuntu -> ... recovery mode    grub(upgrade grub bookloader) 选择yes （这样就可以在root权限下修改文件内容了）    再选择root(Drop to root shell prompt) 在其中修改之前出错的文件，如nano /etc/sudoers7. 配置Hadoop集群在VMware中进行主机配置，这里Hadoop集群包括两个节点：1 master, 2 slave（Hadoop 2.0 可以配置两个Master,其中一个做备用）, 其中Ubuntu_master既做master，又做slave, Ubuntu_clone只做slave配置hostname: Ubuntu下修改机器名称 sudo gedit /etc/hostname；修改完成后需要重新启动才能生效，生效查看的方式是使用命令hostname配置hosts:要在网络上让两台机器互相识别，每台机器上都要执行sudo gedit /etc/hosts；里面第三行附近配置ip的别名（先通过ifconfig查各个机器的ip，再在该hosts文件里写上`ip Ubuntu_master`。前面的ip如192.168.72.128，后面的为别名）修改完成后需要重新启动，并使用`ping Ubuntu_master`和`ping Ubuntu_clone`查看是否可以ping通自己和另一台机器