Hadoop2.6.0在Ubuntu Kylin14.04上的配置
来源:互联网 发布:c语言string.h 编辑:程序博客网 时间:2024/06/16 10:08
环境:
系统:Ubuntu Kylin 14.04LTS版本(不得不说,相比原始的系统,这个中国定制版麒麟实在是好看和好用多了)
Hadoop 2.6.0
jdk1.8.0_25
步骤:
1. 创建Hadoop用户
创建用户
sudo useradd hadoop
设置密码
sudo passwd hadoop
为hadoop用户创建目录
cd /home
sudo mkdir hadoop
sudo chown hadoop /home/hadoop
为hadoop用户授予管理员权限,这样方便以后的操作
sudo adduser hadoop sudo
注销当前用户,登录hadoop用户
2. 安装SSH
SSH(Secure Shell)是目前比较可靠的为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。通过SSH,可以把所有传输的数据进行加密,也能够防止DNS欺骗和IP欺骗。
安装SSH server
sudo apt-
get
install openssh-server
注意:因为ubuntu kylin 已经升级了,如果还是旧的版本需要更新源,执行下面的命令
设置SSH无密码登陆
ssh localhost
有如下提示(SSH首次登陆提示),输入yes
配置成无密码登陆:
先输入 exit 退出ssh,然后执行如下命令
cd ./.ssh # 如果没有该目录,先执行一次ssh localhost
ssh-keygen -t rsa # 一直按回车就可以,生成的密钥保存为.ssh/id_rsa
cp id_rsa.pub authorized_keys
再用ssh localhost
命令,就可以直接登陆了
3. 配置jdk
首先介绍厦大数据库实验室博客介绍的方法:
sudo apt-get install openjdk-7-jre openjdk-7-jdk
这种方法可以直接在终端安装好jdk.
4. 安装Hadoop
首先到Apache官网下载Hadoop,我下载的是Hadoop2.6.0 压缩包名称:hadoop-2.6.0.tar.gz 解压缩后为hadoop-2.6.0
将文件夹拷贝到/usr/local/hadoop中
sudo mv ~/hadoop-2.6.0/ /usr/local/hadoop # 将文件名改为hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop # 修改文件权限
修改环境变量信息JAVA_HOME
cd /usr/local/hadoop
gedit etc/hadoop/hadoop-env.sh
将 export JAVA_HOME=${JAVA_HOME}
改为
export JAVA_HOME=
"/usr/lib/jvm/java-8u5-sun"
输入如下命令Hadoop检查是否可用,成功则会显示命令行的用法
bin/hadoop
5. Hadoop伪分布设置
修改配置文件etc/hadoop/core-site.xml,将
<configuration>
</configuration>
改为:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase
for
other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs:
//localhost:9000</value>
</property>
</configuration>
修改配置文件etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/dfs/data</value>
</property>
</configuration>
配置完成后,首先在 Hadoop 目录下创建所需的临时目录:
cd /usr/local/hadoop
mkdir tmp dfs dfs/name dfs/data
初始化文件系统HDFS
bin/hdfs namenode -format
开启NameNode等进程
sbin/start-dfs.sh
输入jps,以检查各个节点是否就绪。若此时DataNode等节点没有开启,则重新初始化,重新start
- Hadoop2.6.0在Ubuntu Kylin14.04上的配置
- ubuntu上配置Hadoop2.6.0
- hadoop2.7.1在ubuntu上的集群配置
- ubuntu kylin14.04 上 android 5.1.1源码下载,编译
- ubuntu kylin14.04 安装qt5
- Hadoop2 在windows上的配置
- ubuntu-kylin14.10下Qt5.3.2配置
- AutoDock Tools在Ubuntu Kylin14、Ubuntu Kylin15下安装的详细安装步骤
- ubuntu 14.04 32 Broadcom BCM43142在Ubuntu Kylin14.04下安装驱动
- 安装ubuntu kylin14.04并安装配置tomcat7和JDK1.7
- hadoop2.1.0在ubuntu下的安装配置
- 在ubuntu12.04上安装hadoop2.6.0
- Hadoop2.6.0在Win7下的配置
- ubuntu kylin14.04下sublime text 3 的安装和支持中文输入
- ubuntu kylin14.04 中安装音乐软件deepin_music记录
- HADOOP2.6.0在单机上的部署(部分原创)
- gitweb在ubuntu上的配置
- jetty+nginx在ubuntu上的配置
- Android 5.0 Screen pinning 屏幕固定功能
- Spring——jar包详解
- android:footerDividersEnabled="true"运行没有效果
- ubuntu输入密码登录后闪一下,无法进入系统 / ubuntu修改用户名、计算机名、主目录名 /改密码
- hdu 3998 Sequence LIS+最大流
- Hadoop2.6.0在Ubuntu Kylin14.04上的配置
- Android 5.0 上新增加的功能(部分)
- PAT(A) 1083
- 往浏览器控制台Console显示内容
- 【线段树】模板
- MAC 下将libpomelo连接到cocos2d-x
- NYOJ 972 核桃的数量【最小公倍数】
- Embedded world conference 2015
- Android Studio优化之启用Shift+Ctrl+O导入所有的包