CentOS 上安装 Apache Hadoop!
来源:互联网 发布:网络布线设计费怎么算 编辑:程序博客网 时间:2024/04/29 06:46
该项目包括以下模块:
- Hadoop Common:支持其他 Hadoop 模块的常用工具。
- Hadoop 分布式文件系统 (HDFS™):分布式文件系统,可提供对应用程序数据的高吞吐量访问支持。
- Hadoop YARN:作业调度和集群资源管理框架。
- Hadoop MapReduce:一个基于 YARN 的大型数据集并行处理系统。
本文将帮助你逐步在 CentOS 上安装 hadoop 并配置单节点 hadoop 集群。
在安装 hadoop 之前,请确保你的系统上安装了 Java。使用此命令检查已安装 Java 的版本。
java -versionjava version "1.7.0_75"Java(TM) SE Runtime Environment (build 1.7.0_75-b13)Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)
要安装或更新 Java,请参考下面逐步的说明。
第一步是从 Oracle 官方网站下载最新版本的 java。
cd /opt/wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"tar xzf jdk-7u79-linux-x64.tar.gz
需要设置使用更新版本的 Java 作为替代。使用以下命令来执行此操作。
cd /opt/jdk1.7.0_79/alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2alternatives --config javaThere are 3 programs which provide 'java'.Selection Command-----------------------------------------------* 1 /opt/jdk1.7.0_60/bin/java+ 2 /opt/jdk1.7.0_72/bin/java3 /opt/jdk1.7.0_79/bin/javaEnter to keep the current selection[+], or type selection number: 3 [Press Enter]
现在你可能还需要使用 alternatives 命令设置 javac 和 jar 命令路径。
alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2alternatives --set jar /opt/jdk1.7.0_79/bin/jaralternatives --set javac /opt/jdk1.7.0_79/bin/javac
下一步是配置环境变量。使用以下命令正确设置这些变量。
设置 JAVA_HOME 变量:
export JAVA_HOME=/opt/jdk1.7.0_79
设置 JRE_HOME 变量:
export JRE_HOME=/opt/jdk1.7.0_79/jre
设置 PATH 变量:
export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin
设置好 java 环境后。开始安装 Apache Hadoop。
第一步是创建用于 hadoop 安装的系统用户帐户。
useradd hadooppasswd hadoop
现在你需要配置用户 hadoop 的 ssh 密钥。使用以下命令启用无需密码的 ssh 登录。
su - hadoopssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/authorized_keysexit
现在从官方网站 hadoop.apache.org 下载 hadoop 最新的可用版本。
cd ~wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gztar xzf hadoop-2.6.0.tar.gzmv hadoop-2.6.0 hadoop
下一步是设置 hadoop 使用的环境变量。
编辑 ~/.bashrc,并在文件末尾添加以下这些值。
export HADOOP_HOME=/home/hadoop/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
在当前运行环境中应用更改。
source ~/.bashrc
编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 并设置 JAVA_HOME 环境变量。
export JAVA_HOME=/opt/jdk1.7.0_79/
现在,先从配置基本的 hadoop 单节点集群开始。
首先编辑 hadoop 配置文件并进行以下更改。
cd /home/hadoop/hadoop/etc/hadoop
让我们编辑 core-site.xml。
fs.default.namehdfs://localhost:9000
接着编辑 hdfs-site.xml:
dfs.replication1dfs.name.dirfile:///home/hadoop/hadoopdata/hdfs/namenodedfs.data.dirfile:///home/hadoop/hadoopdata/hdfs/datanode
并编辑 mapred-site.xml:
mapreduce.framework.nameyarn
最后编辑 yarn-site.xml:
yarn.nodemanager.aux-servicesmapreduce_shuffle
现在使用以下命令格式化 namenode:
hdfs namenode -format
要启动所有 hadoop 服务,请使用以下命令:
cd /home/hadoop/hadoop/sbin/start-dfs.shstart-yarn.sh
要检查所有服务是否正常启动,请使用 jps 命令:
jps
你应该看到这样的输出。
26049 SecondaryNameNode25929 DataNode26399 Jps26129 JobTracker26249 TaskTracker25807 NameNode
现在,你可以在浏览器中访问 Hadoop 服务:http://your-ip-address:8088/ 。
hadoop
via: https://www.unixmen.com/setup-apache-hadoop-centos/
作者:anismaj 译者:geekpi 校对:wxy
本文由 LCTT 原创编译,Linux中国 荣誉推出
本文地址:http://www.linuxprobe.com/centos-apache-hadoop.html
- CentOS 上安装 Apache Hadoop!
- CentOS 上安装 Apache Hadoop!
- CentOS 上安装 Apache Hadoop!
- centos上安装hadoop过程
- Centos上单机安装Hadoop
- CentOS 7上安装apache
- hadoop在CentOS上的安装部署
- 在CentOS上安装Hadoop集群
- 在CentOS上安装Hadoop集群
- 零基础在Centos上安装Hadoop
- 在Ubuntu Linux上安装Apache Hadoop
- 怎样在Ubuntu上安装Apache Hadoop
- CentOS 上安装MYSQL+Apache+PHP
- CentOS 6.5上使用yum安装Apache
- 在CentOS上安装Hadoop 2.x 集群
- 在CentOS上安装Hadoop 2.x 集群
- hadoop,jdk在centos上的的安装
- CentOS 7.1 上安装Cloudera Manager 管理的Hadoop
- 第一章:绪论
- 百度地图的覆盖物自定义(二)--信息窗口的自定义(调用白茹提供的信息窗口InfoWindow)
- Codeforces Round #431 (Div. 2) A Odds and Ends
- CentOS 上安装 Apache Hadoop!
- 【Unity Shader实战】利用凹凸纹理和边缘光模拟全息投影的效果
- CentOS 上安装 Apache Hadoop!
- 01.简单的c++程序
- 利用爬虫和Django+echarts建立自己的动画人气统计小站
- 2017-9-2
- AJAX
- Solr(一)——初识Solr
- Unity_创建序列帧动画_073
- 阿里云优惠券(代金券)的领取方法和步骤
- 百度地图的覆盖物自定义(二)--点击标注物弹出完全自定义的信息提示窗口(不继承百度提供的Infowindow)