Hadoop环境搭建
来源:互联网 发布:登山杖淘宝 编辑:程序博客网 时间:2024/06/05 20:10
Hadoop环境搭建
1. 准备
(1)linux系统
ubuntu
(2)jdk
- 安装jdk
apt-get install openjdk-7-jdk
- 设置环境变量
vim /etc/profile在文件开头添加下面的内容
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH
- 生效环境变量
source /etc/profile
- 检查是否安装及配置成功
javac
会有命令帮助列表显示出来
2. 配置Hadoop
- 下载Hadoop
cd /opt
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
- 解压
tar -zxvf hadoop-1.2.1.tar.gz
- 配置
配置四个文件
(1)hadoop-env.sh
cd /opt/hadoop-1.2.1/conf
vim hadoop-env.sh
这个文件配置java_home,在文件开头加入下面的内容:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
(2)core-site.xml
vim core-site.xml
在<configuration></configuration>之间加入下面的内容:
<property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
注释:
dfs.name.dir : name node所有原数据的目录
fs.default.name: 文件系统的name node的根访问
(3)hdfs-site.xml
配置文件系统的数据的存放目录
vim hdfs-site.xml
在<configuration></configuration>之间加入下面的内容:
<property><name>dfs.data.dir</name><value>/hadoop/data</value></property>
vim mapred-site.xml
在<configuration></configuration>之间加入下面的内容:
<property><name>mapred.job.tracker</name><value>localhost:9001</value></property>
(5)环境变量加上HADOOP_HOME
vim /etc/profile添加上HADOOP_HOME,在PATH里添加上$HADOOP_HOME/bin
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64export JRE_HOME=$JAVA_HOME/jreexport HADOOP_HOME=/opt/hadoop-1.2.1export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/bin:$PATH
source /etc/profile
3. 启动Hadoop
- name node格式化
hadoop namenode -format
- 启动hadoop
/opt/hadoop-1.2.1/bin/start-all.sh输入三次密码
- 使用JSP查看hadoop是否正常运行
jps
会看到有JobTracker , Jps, DataNode, TaskTracker, NameNode, SecondaryNameNode
- 查看hadoop文件系统下有哪些文件
hadoop fs -ls /
阅读全文
0 0
- 【hadoop】hadoop环境快速搭建
- Hadoop - Hadoop开发环境搭建
- Hadoop环境搭建
- hadoop开发环境搭建
- linux搭建hadoop环境
- nutch+hadoop环境搭建
- Hadoop环境搭建-集群
- eclipse hadoop 环境搭建
- linux搭建hadoop环境
- hadoop环境搭建步骤
- MyEclipse 搭建 hadoop 环境
- Hadoop 环境搭建
- windows搭建hadoop环境
- Hadoop环境搭建
- hadoop集群环境搭建
- Hadoop环境搭建
- hadoop环境搭建问题
- hadoop单机环境搭建
- layer父子页面交互
- 20170817周末记账流水(2017-08-17 10:00)
- 1~n的异或和
- Timer动态管理
- QNX车载操作系统音频功能扩展Acoustics for Voice 3.0-qnx的音频降噪技术
- Hadoop环境搭建
- Brackets 常用插件, 汉化方法及其配置
- “The left-hand side of an assignment must be a variable” problem with charAt
- jQuery datatables插件
- android O正式包即将发布,你准备好了吗
- UVA 11300 Spreading the Wealth
- 求大佬解释下ptrace的pt_regs的定义,而且分为i386 arm x86和aarch64的不同分支
- HttpClient的GET和POST解析
- mysql导出所有用户权限脚本