配置ssh无密码登录、安装Java运行环境、Hadoop安装、Hadoop伪分布式配置

来源:互联网 发布:刘易斯汉密尔顿 知乎 编辑:程序博客网 时间:2024/05/19 00:10

最近学了一下Hadoop,参考了网上的资料,自己动手搭建了一下,最后觉得把搭建过程记录下来和大家分享一下(仅供参考)

首先添加当前用户到 sudoers 文件中
这里写图片描述

这里写图片描述

这里写图片描述

更新apt

这里写图片描述

更改一些配置文件

这里写图片描述

输入【Y】然后自动联网更新

安装ssh

这里写图片描述

这里写图片描述

配置ssh无密码登录

这里写图片描述

这里写图片描述

安装Java运行环境

将 jdk-8u144-linux-x64.gz 复制到/home/pwk/目录

这里写图片描述

删除所有的open的jdk

这里写图片描述

解压 jdk-8u144-linux-x64.gz

这里写图片描述

新建 java-env.sh文件

这里写图片描述

配置JAVA_HOME 的环境变量

这里写图片描述

注 vim编辑中 【a】输入 、【i】插入 、【w】保存、【q】退出
Esc键切换编辑状态和命令状态

这里写图片描述

这里写图片描述

jdk安装成功

安装Hadoop

将 hadoop-2.8.1.tar.gz 复制到 /home/pwk目录下

这里写图片描述

解压 hadoop-2.8.1.tar.gz

这里写图片描述

重命名hadoop-2.8.1为hadoop

这里写图片描述

修改文件权限

这里写图片描述

配置hadoop路径

这里写图片描述

这里写图片描述

修改 /home/pwk/hadoop/etc/hadoop/中的hadoop-env.sh文件

这里写图片描述

这里写图片描述

这里写图片描述

配置成功

Hadoop 伪分布式配置

配置/home/pwk/hadoop/etc/hadoop/中的core-site.xml文件

这里写图片描述

这里写图片描述

配置/home/pwk/hadoop/etc/hadoop/中的 hdfs-site.xml文件

这里写图片描述

这里写图片描述

执行NameNode的格式化

这里写图片描述

这里写图片描述

开启 NameNode 和 DataNode 守护进程

这里写图片描述

打开浏览器 输入 【localhost:50070】

这里写图片描述

成功

(第一次写博客,不足之处请见谅)

原创粉丝点击