Hadoop伪分布式配置
来源:互联网 发布:主流建站软件 编辑:程序博客网 时间:2024/05/21 18:48
Hadoop伪分布式配置
1.配置jdk
1.1卸载原有的jdk
进入root用户,在命令行输入yum remove Java
1.2解压jdk-8u65-linux-x64.tar.gz文件到app文件夹下
mkdir app(创建app文件夹)
cd app
tar -zxvf jdk-8u65-linux-x64.tar.gz
2.配置环境变量
2.1进入root用户
vi /etc/profile
在此文件的最后,输入:
JAVA_HOME=/home/single/app/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
键入:wq 退出
2.2切换到普通用户,让修改过的环境文件生效,执行source命令
source /etc/profile
3.配置IP地址的映射
Root用户修改hosts文件
vi /etc/hosts(本机IP 用户名)
192.168.29.9 master
检查:
ping master
如果能ping通则配置正确
Linux里ping会一直输出结果,按下ctrl+c中断
4.伪分布式配置
4.1解压Hadoop压缩文件
tar -zxvf hadoop-2.6.0.tar.gz
解压后,bin目录存放一些命令,etc目录存放一些配置文件
4.2修改配置文件 在/home/single/app/hadoop-2.6.0/etc/hadoop目录
cd /home/single/app/hadoop-2.6.0/etc/hadoop
1>vi hadoop-env.sh
找到JAVA_HOME这一行修改
export JAVA_HOME=/home/single/app/jdk1.8.0_65
2> vi core-site.xml
(里面的master是主机名)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
3> vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4>复制文件 cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5> vi yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
4.3格式化HDFS(只执行一次,下次在启动hadoop的时候就不用格式化了)
在hadoop解压目录执行:bin/hdfs namenode -format
cd /home/hadoop/hadoop-2.6.0
bin/hdfs namenode -format
5.启动hadoop服务
在hadoop解压目录执行:sbin/start-all.sh
启动的过程中需要多次输入yes和密码
启动完成后在命令行输入jps(共6个)
[single@master hadoop-2.4.1]$ jps
4144 SecondaryNameNode
3883 NameNode
4275 ResourceManager
3999 DataNode
4651 Jps
4561 NodeManager
至此hadoop启动成功
6.检验
在hadoop解压目录输入一下命令
1. 查看文件
bin/hadoop fs -ls /
2. 创建目录
bin/hadoop fs -mkdir /hello
3. 把本地文件放入hdfs
bin/hadoop fs -put 本地文件路径 hdfs路径
如 bin/hadoop fs -put etc/hadoop/core-site.xml /hello
4. 查看hdfs里某个文件的 内容
bin/hadoop fs -cat /hello/core-site.xml
能够查看则说明配置成功
7.关闭hadoop
sbin/stop-all.sh
- hadoop伪分布式配置
- HADOOP伪分布式配置
- hadoop伪分布式配置
- hadoop伪分布式配置
- hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop 伪分布式配置
- hadoop伪分布式配置
- Hadoop伪分布式配置
- Hadoop 伪分布式配置
- hadoop伪分布式配置
- 配置伪分布式Hadoop
- 配置 hadoop 伪分布式
- hadoop伪分布式配置
- Hadoop 伪分布式配置
- Hadoop伪分布式配置
- Android-设置PullToRefresh下拉刷新样式
- <(\S*?)[^>]*>.*?</\1>|<.*? />这个正则表达式该如何解释?
- android 引导用户指示操作 高亮显示 可以自定义文字或者图片来作为提示,文字会自动换行
- 数据结构之排序
- 欢迎使用CSDN-markdown编辑器
- Hadoop伪分布式配置
- iOS利用Runtime自定义控制器POP手势动画
- 时间选择器的封装
- Android Handler 消息响应机制源码分析
- 欢迎使用CSDN-markdown编辑器
- 通过 ActiveMQ 演示如何使用 JMS API (入门)
- Android 自定义Toast
- 回溯和分支限定
- SDUTOJ 2169 Sequence 山东省第二届省赛