Ubuntu14.0.4下部署Hadoop2.7.2伪分布模式
来源:互联网 发布:农村淘宝一个村几个店 编辑:程序博客网 时间:2024/04/30 04:12
一、安装运行软件环境【以下都是用root帐户】
5)、配置core-site.xml gedit core-site.xml
1、更新软件源索引列表,这样才可以下载到最新的软件:apt-get update
2、安装ssh工具:
1)、开始安装:apt-get install ssh
2)、重启后,查看系统进程: ps -e |grep ssh
3)、设置ssh免密码登录:
(1)、生成密钥: ssh-keygen -t rsa -P ""
(2)、把公钥信息追加到证书文件中:cat /root/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
(3)、测试成功免密码登录本机: ssh localhost
3、安装JDK:jdk-8u60-linux-x64.gz
1)、创建jdk安装目录
(1)、cd /opt
(2)、mkdir java
2)、解压文件到刚才新建的/opt/java目录中
tar -xzvf jdk-8u60-linux-x64.gz -C /opt/java
3)、配置java的系统环境变量
(1)、gedit /etc/profile #添加下面的jdk环境变量
也可通过修改~/.bashrc文件,同样也是有效的。
# JDK evironment configs
JAVA_HOME=/opt/java/jdk1.8.0_60
JRE_HOME=${JAVA_HOME}/jre
CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
PATH=$PATH:${JAVA_HOME}/bin
(2)、source /etc/profile #配置文件生效
(3)、检验jdk配置成功: java -version
二、安装hadoop【以下都是用root帐户】
1)、解压文件到/opt目录下:
tar -xzvf hadoop-2.7.2.tar.gz -C /opt
2)、配置hadoop的系统环境变量:
(1)、gedit /etc/profile #添加下面的hadoop环境变量
# Hadoop evironment configs
PATH=$PATH:/opt/hadoop-2.7.2/bin
(2)、source /etc/profile #配置文件生效
3)、配置hadoop自身的环境变量:
gedit /opt/hadoop-2.7.2/etc/hadoop/hadoop-env.sh #把原来的JAVA_HOME替换成新的;
4)、检验hadoop配置成功: hadoop version
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <span style="white-space:pre"></span><name>hadoop.tmp.dir</name> <span style="white-space:pre"></span><value>/usr/local/hadoop-2.7.2/hadoop_tmp</value> <span style="white-space:pre"></span><description>A base for other temporary directories.</description> </property></configuration>特别需要注意:hadoop.tmp.dir属性必须指定,因为Hadoop的许多配置默认都是采用hadoop.tmp.dir这个路径(如NameNode的存储目录等),而在用户没有指定的情况下,hadoop.tmp.dir默认是放在/tmp目录下的,一旦重启操作系统,则所有的hadoop文件将全部不见。
6)、配置hdfs-site.xml gedit hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>由于是伪分布模式,说白了就是一台机器上运行NameNode和DataNode,所以设置文件的复制备份为1份就可以了,配置再多份也没有效果。
7)、启动Hadoop文件系统(在Hadoop安装根目录下运行):./sbin/start-dfs.sh。
8)、查看Hadoop伪分布模式是否安装成功:
在浏览器中输入:http://localhost:50070,如果能看到以下站点,则说明安装成功。
0 0
- Ubuntu14.0.4下部署Hadoop2.7.2伪分布模式
- Ubuntu14.0.4下Hbase1.1.3伪分布模式部署
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- Ubuntu14.04下安装Hadoop2.4.0 --- 伪分布模式
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- 二、Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- 二、Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
- Ubuntu14.04安装Hadoop2.5.2(伪分布模式)
- hadoop2的伪分布部署
- hadoop2.6.1 完全分布/伪分布部署
- Linux下部署Hadoop伪分布模式
- Hadoop2伪分布模式安装
- Hadoop2安装-伪分布模式
- Ubuntu下 hadoop2.5.1 (伪分布模式) 配置工作
- hadoop2.6.4+Ubuntu14.04的单机模式和伪分布模式环境搭建
- C 相关
- CAPI(相干加速器处理器接口)
- JavaScript >AjaxFileUpload插件无法解析后台传来的json数据
- Java基础:三步学会Java Socket编程
- 深入了解Java之四(JVM)
- Ubuntu14.0.4下部署Hadoop2.7.2伪分布模式
- Hibernate缓存机制
- 过滤 “�”(任意0-7位数字)格式的字符串
- MFC+GDI控件自绘(3):图像按钮(ImageButton)
- iOS原生的定位与地图归纳
- BitmapFactory.Options详解
- 《Linux Shell 脚本攻略》学习记录之四
- jqGrid在某列中添加input输入框后再操作
- 使用SHC加密bash脚本程序