Hadoop单机安装详细步骤
来源:互联网 发布:mac office365 编辑:程序博客网 时间:2024/05/19 13:59
环境准备
安装Java
过程简单,这里省略具体安装步骤。安装后确认相应版本的Java已安装,这里选择1.7。
java -version
创建Hadoop账号
为Hadoop创建一个专门的账号是很好的实践:
sudo adduser hadoopsudo passwd hadoop
授予 Hadoop root权限
为了测试,图方便,这里给Hadoop root权限,生产环境不建议这样做。
使用root权限编辑/etc/sudoers:
sudo vim /etc/sudoers
末尾添加一行:
hadoop ALL=(ALL) ALL
切换到Hadoop账号:
su hadoop
配置SSH无密码登录
首先生成公私密钥对、
ssh-keygen -t rsa
指定key pair的存放位置,回车默认存放于/home/hadoop/.ssh/id_rsa
输入passphrase,这里直接回车,为空,确保无密码可登陆。
拷贝生成的公钥到授权key文件(authorized_keys)
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
改变key权限为拥有者可读可写(0600) :
chmod 0600 ~/.ssh/authorized_keys
chomod命令参考:
chmod 600 file – owner can read and writechmod 700 file – owner can read, write and executechmod 666 file – all can read and writechmod 777 file – all can read, write and execute
测试是否成功:
ssh localhost
下载安装
下载Hadoop 2.6.0
cd ~wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
解压:
tar -zxvf hadoop-2.6.0.tar.gz
重命名一下:
mv hadoop-2.6.0 hadoop
(最好做个关联ln -s hadoop-2.6.0 hadoop
)
配置环境变量
vim ~/.bashrcexport JAVA_HOME=/usr/java/jdk1.7.0_79/export HADOOP_HOME=/home/hadoop/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin source ~/.bashrc
配置Hadoop
配置Hadoop
cd $HADOOP_HOME/etc/hadoopvim core-site.xml
<configuration><property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value></property></configuration>
配置HDFS
vim hdfs-site.xml
<configuration><property> <name>dfs.replication</name> <value>1</value></property><property> <name>dfs.name.dir</name> <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value></property><property> <name>dfs.data.dir</name> <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value></property></configuration>
配置MapReduce
vim mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
配置YARM:
vim yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
启动集群
格式化HDFS
使用之前,需要先格式化Hadoop文件系统
hdfs namenode -format
启动HDFS和YARN
cd $HADOOP_HOME/sbin
启动文件系统:
start-dfs.sh
启动YARN:
start-yarn.sh
查看状态
查看HDFS状态,浏览器访问: http://localhost:50070
查看second namenode:
http://localhost:50090
查看DataNode:
http://localhost:50075/
http://localhost:50075/dataNodeHome.jsp
简单使用Hadoop:
使用HDFS
在HDFS创建两个目录:
hdfs dfs -mkdir /userhdfs dfs -mkdir /user/hadoop
上传:
hdfs dfs -put /opt/modules/elasticsearch-2.3.1/logs logs
从管理界面可以看到:
运行MapReduce作业
提交一个MapReduce作业:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep logs output 'dfs[a-z.]+'
可以从YARN应用的界面查看作业情况 http://localhost:8088
(完)
0 0
- Hadoop单机安装详细步骤
- Hadoop单机版安装步骤
- Hadoop 集群安装详细步骤
- ubuntu安装hadoop详细步骤
- ubuntu安装hadoop详细步骤
- hadoop 集群安装详细步骤
- ubuntu安装hadoop详细步骤
- hadoop 2.5.2 + hive1.1.0 单机环境安装步骤
- hadoop 2.5.2 + hive1.1.0 单机环境安装步骤
- Hadoop在linux下的单机安装步骤
- linux 单机安装 Elasticsearch6.0.0 详细步骤以及问题解决方案
- Linux下Hadoop集群安装详细步骤
- Linux下Hadoop集群安装详细步骤
- Linux下Hadoop集群安装详细步骤 .
- Linux下Hadoop集群安装详细步骤
- 集群分布式 Hadoop安装详细步骤
- Hadoop集群安装详细步骤|Hadoop安装配置
- Hadoop单机版安装
- 单例模式的三种实现
- sqoop 测试
- 非递归求解斐波那契数列
- 后台返回秒数 计算剩余时间
- Fiddler调试工具
- Hadoop单机安装详细步骤
- Java 反射:Classes
- 文件上传时候可能遇到的问题
- why you can't focus on one thing
- struts之文件下载
- Android WebView的坑总结
- Codeforces 431C k-Tree (基础dp)
- jquery highcharts组件--纵向柱状图标实例
- operator new之non-member operator new固守规则