hadoop单机安装配置
来源:互联网 发布:linux使用gcc调试 编辑:程序博客网 时间:2024/05/17 02:43
1.安装jdk
2.安装hadoop
3.添加hadoop的环境变量
4.初始化HDFS
5.启动hadoop
6.为了免密码登录要配置ssh
7.datanode 未启动
1.安装jdk
在java官网
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
wget -c http://211.161.151.147/files/3100000000487EA2/download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
yum 安装
- yum install java-1.7.0-openjdk* -y
2.安装hadoop
wget -c http://archive.apache.org/dist/hadoop/hadoop-2.8.0.tar.gz
修改ect的配置文件
yarn-site.xml
<!--告诉NodeManager获取数据的方式是shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定Yarn的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
mapred-site.xml
<!--告诉Hadoop以后MR运行在yarn上-->
<property>
<name>mapreduce.frameword.name</name>
<value>yarn</value>
</property>
hdfs-site.xml
<!--指定HDFS的保存数据副本的数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
core-site.xml
<configuration>
<!--指定HDFS的NameNode地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!--用来指定Hadoop用来运行时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.8.0/tmp</value>
</property>
</configuration>
hadoop-env.sh
修改javahome
# The java implementation to use.
export JAVA_HOME=/lib/jvm/jre-1.8.0
3.添加hadoop的环境变量
export JAVA_HOME=/lib/jvm/jre-1.8.0
export HADOOP_HOME=/opt/hadoop-2.8.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
环境变量直接在 /etc/profile 最下面添加上就好了,记得要把路径改为你自己的路径哦,修改完路径要执行 source /etc/profile 来使环境变量生效
4.初始化HDFS
hadoop namenode -format(过时)
hdfs namenode -format(现在) 格式化一次即可。
5.启动hadoop
cd sbin/
./start-all.sh
jps 可以查看正在运行的java 进程
6.为了免密码登录要配置ssh
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost
7.datanode 未启动
多次格式化以后,会导致namenode的uuid和datanode的uuid不一致,所以无法启动datanode
推荐做法。该问题可以再log日志下看到报错
1.关闭服务
2.删除tmp文件夹
3.格式化
4.重启服务
参看网站http://www.aboutyun.com/thread-7931-1-1.html
查看HDFS的网址:localhost:50070
阅读全文
0 0
- hadoop单机安装配置
- Hadoop单机安装配置过程
- hadoop单机安装配置及测试通过
- Hadoop单机版安装,配置,运行
- Hadoop单机单节点集群安装配置
- <JAVA>Hadoop安装配置(单机)
- Hadoop单机模式的配置与安装
- Hadoop单机模式中Hive安装配置
- Hadoop环境安装初探-单机模式配置
- Hadoop环境安装初探-单机模式配置
- Hadoop初识--Hadoop单机模式安装和环境配置
- hadoop平台搭建(3)--hadoop安装、环境配置、单机运行
- Hadoop:Hadoop单机伪分布式的安装和配置
- Hadoop:Hadoop单机伪分布式的安装和配置
- Hadoop安装单机/伪分布式配置/Hadoop集群
- Hadoop单机环境配置
- Hadoop单机环境配置
- hadoop单机配置
- 16-service之$timeout
- 文章标题
- HDU6038-Function 思维+组合问题
- 在Fragment中OnActivityResult方法中接收Activity中返回的值
- 忘记题目是什么了
- hadoop单机安装配置
- 现代前端技术解析:Web前端技术基础
- java_常用类_String
- 【转】JavaScript & jQuery 面试题
- 判断元素出栈,入栈顺序的合法性
- Android drawable level-list
- ANSYS Workbench 技巧特点
- elasticsearch5 官方文档整理。。。。中
- hexo 博客