Hadoop 安装和配置

安装

创建用户

sudo useradd -m hadoop -s /bin/bashsudo ubuntu中权限管理机制，管理员给普通用户执行root权限执行的操作，需要当前用户密码

设置密码

sudo passwd hadoop

增加管理员权限

sudo adduser hadoop sudo

更新apt 软件源

sudo apt-get update

安装vim编辑器

sudo apt-get install vim

安装SSH (client and Server)

ubuntu 默认安装了ssh clientsudo apt-get install openssh-server登录本机ssh localhost退出exit

配置SSH 无密码登录

# ~  表示当前用户主文件夹  /home/用户名 cd ~/.ssh  #如果没有目录  先执行一次ssh localhostssh-keygen -t rsa  #有提示  回车就行cat ./id_rsa.pub >> ./id_authorized_keys #加入授权

SSH 能预防  DNS欺诈 IP欺骗1.口令用自己的账户密码 远程登录服务器(数据加密)  ip欺骗2.密钥创建密钥，并拷贝在需要访问的服务器上 加入id_authorized_keys(登录时间长)

Hadoop2 安装

下载地址

下载 stable

下载以后 解压 重命名 赋予权限

#解压到 /usr/local下sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -c /usr/localcd /usr/localsudo mv ./hadoop-2.6.0/ ./hadoopsudo chown -R hadoop ./hadoop

单机配置

修改配置文件

路径： usr/local/hadoop/etc/hadoop/core-site.xmlhdfs-site.xml

NameNode初始化

./bin/hdfs namenode -format

启动NameNode an DataNode守护进程

./sbin/start-dfs.sh

DataNode启动失败

./sbin/stop-dfs.sh #关闭rm -r ./tmp  #删除tmp文件 原hdfs 所有数据./bin/hdfs namenode -format #格式化 NameNode./sbin/start-dfs.sh #重启