大数据-ubuntu16.04上Hadoop安装教程_单机配置

NUM 1:ubuntu 准备工作

一：首先正常安装ubuntu16.04

请看我的这篇文章

virtualbox安装ubuntu

二：创建hadoop用户

1.创建可以登录的hadoop用户

sudo useradd  -m hadoop -s /bin/bash

2.设置密码为hadoop

sudo passwd hadoop

3.为用户hadoop增加管理员权限，方便部署

sudo adduser hadoop sudo

4.注销当前用户，重新登录hadoop

三：更新apt

sudo apt-get update

四：下载gedit

sudo apt-get install gedit

五：安装SSH、配置SSH无密码登录

1.ubuntu已经默认安装了SSH client

所以只要安装SSH server

sudo apt-get install openssh-server

2.登录本机

ssh localhost

3.无密码登录SSH

exit    #退出刚才的SSH localhost

cd ~/.ssh/    #若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa    #会有提示，都按回车可以了

cat ./id_rsa.pub >> ./authorized_keys   #加入授权

4.再用ssh localhost 无需密码就可以登录

六：安装java及配置环境变量

请看我的这篇文章

ubuntu配置java

NUM 2：安装hadoop2（单机版）

一.下载hadoop2.6(比较稳定的版本)

下载地址

二.安装

1.创建文件夹

通过终端在/usr/local目录下新建hadoop文件夹，命令行：

sudo mkdir /usr/local/hadoop

2、解压源码包
然后将下载到压缩包拷贝到java文件夹中，命令行：

sudo mv /home/hadoop/下载/hadoop-2.6.0.tar.gz /usr/local/hadoop

然后进入hadoop目录，命令行：

cd /usr/local/hadoop

解压压缩包，命令行：

sudo tar -zxvfhadoop-2.6.0.tar.gz

赋予该用户对该文件夹的读写权限

sudo chmod 774 /usr/local/hadoop

3.至此单机模式hadoop已安装好

cd /usr/local/hadoop

./bin/hadoop version 

会出现版本号

4.测试数据

cd /usr/local/hadoop

mkdir ./input

cp ./etc/hadoop/*.xml ./input    #将配置文件作为输入文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

结果：会有一大部分输出信息

***我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中

cat ./output/*   #查看运行结果

输出的结果是符合正则的单词 dfsadmin 出现了1次

注意：要想再次运行此命令，需先删除./output

rm -r ./output