CentOS安装Hadoop
来源:互联网 发布:php list each 编辑:程序博客网 时间:2024/05/22 13:08
1 创建hadoop用户
首先以root用户登录远程服务器,执行下面命令创建新用户hadoop,并修改hadoop用户的密码
useradd -m hadoop -s /bin/bashpasswd hadoop
为了避免出现权限问题,我们为hadoop用户增加管理员权限
visudo
找到第98行,就是root ALL=(ALL) ALL
这行,可以先按ESC
键,然后输入:98
,可以直接跳到第98行
我们在这行下面增加一行内容,中间的间隔为Tab
hadoop ALL=(ALL) ALL
先按下i
,进入编辑模式后,加入上面一行内容,编辑完成后,先按ESC
键,输入:wq
,按回车键保存退出
2 安装和配置SSH无密码登录
新开一个窗口,以hadoop用户登录进来,然后执行下列命令检查CentOS是否已安装了SSH client、SSH server
rpm -qa | grep ssh
如果返回的结果包含了SSH client和SSH server,那么无需安装,如下图
若需要安装,可执行下面命令安装
sudo yum install openssh-clientssudo yum install openssh-server
接下来,我们测试一下SSH是否可用
ssh localhost
首次登录SSH需要输入yes,然后按照提示输入hadoop密码
为了减少每次登陆SSH输入密码,我们配置SSH为无密码登录
先退出SSH,执行exit
命令
进入.ssh
目录下,然后利用ssh-keygen生成密钥
cd /home/hadoop/.ssh/ssh-keygen -t rsa
遇到所有的提示,全部按回车键
最后将密钥加入到授权中去,并修改文件权限
cat id_rsa.pub >> authorized_keyschmod 600 ./authorized_keys
在试一下登录ssh命令ssh localhost
命令,就可以无需密码直接登陆
3 安装Java环境
先使用xftp将jdk-8u151-linux-x64.tar.gz文件放入/home/hadoop
目录下
通过xshell在/home/hadoop
目录下新建java文件夹
sudo mkdir /home/hadoop/java
然后将压缩包拷贝到java文件夹下
sudo cp jdk-8u151-linux-x64.tar.gz /home/hadoop/java
进入/home/hadoop/java
目录
cd /home/hadoop/java
然后解压jdk-8u151-linux-x64.tar.gz
sudo tar zxvf jdk-8u151-linux-x64.tar.gz
接下来设置jdk环境变量,这里采用全局设置方法,修改~/.bashrc
vi ~/.bashrc
添加下面内容
JAVA_HOME=/home/hadoop/java/jdk1.8.0_151JRE_HOME=/home/hadoop/java/jdk1.8.0_151/jreCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libPATH=$JAVA_HOME/bin:$PATHexport PATH JAVA_HOME CLASSPATH
最后source一下
source ~/.bashrc
验证一下
java -version
4 安装Hadoop
先下载hadoop-2.9.0.tar.gz,通过xftp上传到/home/hadoop
目录下
解压hadoop-2.9.0.tar.gz
sudo tar zxvf hadoop-2.9.0.tar.gz
修改一下文件的权限
sudo chown -R hadoop:hadoop hadoop-2.9.0
验证一下Hadoop是否安装成功
./hadoop-2.9.0/bin/hadoop version
结果如下则说明安装成功
- hadoop centos 安装
- centos安装hadoop注意
- CentOS 安装hadoop
- CentOS hadoop 的安装
- centos下安装hadoop
- CentOS下安装hadoop
- CentOS 安装 Hadoop 手记
- CentOS下安装hadoop
- centos 单机安装hadoop
- centos虚拟机安装hadoop
- centos hadoop环境安装
- Centos安装Hadoop出错
- CentOS安装Hadoop
- hadoop(1):centos 安装 hadoop & hive
- centos上安装hadoop过程
- centOS 安装 hadoop-2.2.0
- centOS 安装 hadoop-2.2.0
- centos下hadoop的安装
- 图集修改
- 函数指针2017/12/2C语言学习内容总结
- 深度学习
- 2.定义一个5位整数,求每一位上整数的和。
- AutoMapper在asp.netcore中的使用
- CentOS安装Hadoop
- 从ThoughtWorks 2017技术雷达看微软技术
- Net Core下多种ORM框架特性及性能对比
- linux配置静态ip
- 几个排序算法的Java实现
- CUDA学习笔记(1)
- 最新动态
- jfinall 初学基础
- java HttpServlet 之 HttpServletRequest请求