linux安装Hadoop-单机环境
来源:互联网 发布:网络咨询医生招聘 编辑:程序博客网 时间:2024/05/21 19:36
如今大数据各种火,看看各种招聘网址,大数据、数据挖掘起薪20W啊,各种诱惑,所以,自己也学学大数据相关。
具体大数据什么,能做什么,发展史等等,我在这里就不描述了,网上一大堆,再说,个人从来不记什么东西发展史什么的,浪费脑细胞。
本文主要是作为个人的学习笔记,如果有不对之处,欢迎指正。
首先肯定是从环境的搭建开始。
个人环境配置
LinuxCentos7JDKjdk7u25Hadoop2.5.2
安装步骤
1:安装SSH
使用yum install openssh-server安装ssh服务(Centos7默认已经安装ssh)
2:配置ssh免密码登陆
ssh-keygen -t rsa -P ''
使用上面命令后,会在~/home/{username}/.ssh/下生成两个加密文件,id_rsa(私钥)和id_rsa.pub(公钥)。
然后进入.ssh目录,将id_rsa.pub中的内容追加到authorized_keys文件中:cat id_rsa.pub >> authorized_keys;
如果是Ubuntu,则此时已经可以使用ssh免密码登陆,如果是centos环境,则需要修改.ssh目录权限和authorized_keys权限,如下:
chmod 700 .sshchmod 600 authorized_keys此时,则可以直接使用ssh免密码登陆了:ssh localhost验证结果。
3:安装配置JDK
jdk的安装配置此处也不在描述,相信搞java的童鞋都能搞定。
4:安装Hadoop
- 下载Hadoop(可在官方提供的镜像地址下载:http://mirror.bit.edu.cn/apache/hadoop/common/)选择hadoop-2.5.2.tar.gz下载。
- 将压缩文件解压到某目录下(tar -zxvf hadoop-2.5.2.tar.gz)。
- 添加Hadoop环境变量(vim /etc/profile,将如下内容添加到文件中)。
export HADOOP_HOME={Hadoop目录}/hadoop-2.5.2export HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_YARN_HOME=$HADOOP_HOMEexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATHexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH保存退出,病执行如下命令试修改生效:
source /etc/profile
- 修改Hadoop配置
进入Hadoop目录下/home/shipg/soft/hadoop/hadoop-2.5.2/etc/hadoop,修改hadoop-env.sh文件中JAVA_HOME值,如下我的配置:
export JAVA_HOME=/usr/java/jdk1.7.0_75保存退出
此时,单机版Hadoop环境已经安装完成。
5:验证结果
使用Hadoop自带的wordcount来验证安装结果。首先在Hadoop跟目录下创建input目录(mkdir input),在input目录中随便拷贝一份文件进去,或者自己写些内容到此目录下,此处将README.txt拷贝进input目录。
然后执行如下命令执行单词统计:
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jar org.apache.hadoop.examples.WordCount input output
此命令大概意思为:执行hadoop-mapreduce-example-2.5.2-sources.jar包中的WordCount类,数据源在input目录,将最终结果输出到output目录下。执行命令后可看到如下图所示表示执行成功。
此时,在Hadoop跟目录下你会发现多出了output目录,其中统计结果即放在此目录下。
cat part-r-00000即可看到对README.txt文件中各个单词的统计结果。
至此,Hadoop单机版即安装并验证结果完成。
- linux安装Hadoop-单机环境
- linux hadoop 单机安装
- linux下单机安装hadoop
- linux单机上安装hadoop
- Hadoop环境安装初探-单机模式配置
- Hadoop环境安装初探-单机模式配置
- linux 下安装 单机模式 hadoop
- linux中安装单机版hadoop
- 使用Cygwin模拟Linux环境安装配置运行基于单机的Hadoop
- 使用Cygwin模拟Linux环境安装配置运行基于单机的Hadoop
- linux(redhat)环境下Hadoop 2.2.0安装部署(单机伪分布式)
- Hadoop初识--Hadoop单机模式安装和环境配置
- hadoop平台搭建(3)--hadoop安装、环境配置、单机运行
- Hadoop单机环境配置
- Hadoop单机环境配置
- hadoop单机环境搭建
- Hadoop单机环境配置
- hadoop单机环境配置
- 规则 4.12:函数接口输出参数要对返回码进行详细描述,不同返回码独立成行,并左对齐。
- Linux GCC常用命令
- 快速幂算法的理解
- android 基础知识 字体加粗
- 搞笑的 strlen与 sizeof
- linux安装Hadoop-单机环境
- mac 终端 svn 命令
- Go 语言的 parse 解析器
- iOS UIActionSheet的用法
- linux 下logrorate的理解和配置
- java中null与""的区别
- jquery之点击表格的某一行获取其id
- Manifest.permission_group类详解
- NIO解读之多路复用器Selector