ubuntu14.04安装hadoop 2.7.3
来源:互联网 发布:国际交流软件有哪些 编辑:程序博客网 时间:2024/06/02 18:54
1.安装时我用到的文件(为了省事,整个安装过程我都用的是root用户)
操作系统:ubuntu-14.04.1-desktop-amd64.iso
jdk文件:jdk-8u111-linux-x64.tar.gz
hadoop文件:hadoop-2.7.3.tar.gz
hadoop本地库文件:hadoop-native-64-2.7.0.tar
2.安装完操作系统后,ssh是无法使用的,需要先安装ssh
具体安装步骤见:http://jingyan.baidu.com/article/9c69d48fb9fd7b13c8024e6b.html
sudo apt-get update
sudo apt-get install ssh openssh-server
sudo apt-get install ssh
3.建立ssh无密码登录本机
ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。
a. 创建ssh-key,,这里我们采用rsa方式;
b. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的;
c. 登录localhost;
d. 执行退出命令;
4.安装jdk
a.把jdk-8u111-linux-x64.tar.gz拷贝到/opt下
b.通过tar -zxvf jdk-8u111-linux-x64.tar.gz解压文件
c.用vi ~/.bashrc编辑bashrc文件,在文件最后追加环境变量
d.保存文件并执行source ~/.bashrc
f.通过java -version判断jdk是否安装成功
5.安装hadoop
a.首先到https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/下载hadoop-2.7.3.tar.gz
b.解压并放在你希望的目录中。我放到了/opt
$ sudo tar xzf hadoop-2.7.3.tar.gz
c.配置~./bashrc文件,通过vi~./bashrc 打开文件,并在最后追加如下内容
d.修改/opt/hadoop-2.7.3/etc/hadoop下的配置文件
1)修改hadoop-env.sh
2)修改core-site.sh
3)修改hdfs-site.sh
4)修改mapred-site.sh
hadoop目录下只有mapred-site.sh.template模板,需要复制一份并重命名cp mapred-site.sh.template mapred-site.sh
f.替换本地文件
解压hadoop-native-64-2.7.0.tar文件,并替换掉/opt/hadoop-2.7.3/lib/native下的文件,否则会报本地文件错误,下载地址http://dl.bintray.com/sequenceiq/sequenceiq-bin/
6.启动hadoop
输入jps出现如下界面,说明启动成功
7.测试
通过如下命令向hdfs上传文件
用如下命令查看
完成
- ubuntu14.04安装hadoop 2.7.3
- ubuntu14.04 安装hadoop
- ubuntu14.04下安装hadoop
- ubuntu14.04 安装hadoop 2.6.0小结
- 在Ubuntu14.04上安装Hadoop
- ubuntu14.04的HADOOP安装,详细
- ubuntu14.04 配置hadoop
- 新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04
- Ubuntu14.04全分布式安装Hadoop 2.7.2(一)创建用户组
- hadoop在ubuntu14.04中完全分布式安装步骤
- Ubuntu14.04集群分布式Hadoop-2.6.0系统安装
- Hadoop : Ubuntu14.04 amd64 安装伪分布式集群环境
- Hadoop安装&单机/伪分布式配置_Hadoop2.7.2/Ubuntu14.04
- Hadoop安装教程_分布式配置_Hadoop2.6.0/Ubuntu14.04
- Ubuntu14.04 安装lua5.3
- ubuntu14.04安装skype4.3
- Ubuntu14.04 安装lua5.3
- Ubuntu14.04上配置hadoop
- LinuxShell宝典 --- 判断与比较
- 升讯威ADO.NET增强组件(源码):送给喜欢原生ADO.NET的你
- ElasticSearch详解三之——查询
- MVC和MVP
- Apache Commons Compress 压缩zip
- ubuntu14.04安装hadoop 2.7.3
- Conversion to dalvik format failed with error 1
- 4513: [Sdoi2016]储能表
- Android动画-滚动小车
- MongoDB整合Spring 详细讲解(含代码)
- porting valgrind to arm platform
- C++进程间通信方法比较
- 最大似然估计(Maximum likelihood estimation)
- D2 第11届前端技术论坛记录