hadoop2.6.5配置HDFS并运行
来源:互联网 发布:php 页面 空格 编辑:程序博客网 时间:2024/06/01 21:41
1.先来看一下定义的节点功能
2.设置namenode登录datanode的免密登录
在namenode执行:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3.在所有的datanode节点都执行:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4.把namenode节点的公钥id_dsa.pub重定向追加到所有datanode的 ~/.ssh/authorized_keys文件中
cat ~/.ssh/id_dsa.pub >> ssh root@node2: ~/.ssh/authorized_keys
5.验证免密登录是否成功:
在namenode上执行命令:ssh root@node2,能够不用密码连接上就说明免密设置成功了
6.配置core-site.xml文件
vi /hadoop/etc/hadoop/core-site.xml
<configuration> <property> <!--这是配置namenode的ip和端口--> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value><!--node1的IP要在/etc/hosts里面配置好--> </property> <property> <!--这是配置hadoop持久化的目录--> <name>hadoop.tmp.dir</name> <value>/var/hadoop-2.6/fully</value> </property></configuration>
7.配置hdfs-site.xml文件
vi /hadoop/etc/hadoop/hdfs-site.xml
<configuration> <property> <!--这是配置datanode的数量--> <name>dfs.replication</name> <value>3</value> </property> <property> <!--这是配置secondary namenode所在的节点--> <name>dfs.namenode.secondary.http-address</name> <value>node2:50090</value> </property></configuration>
8.配置datanode的节点列表
[root@node1 hadoop]# vi slaves node2node3node4
9.启动hadoop的hdfs
执行命令:
$ bin/hdfs namenode -format$ sbin/start-dfs.sh
10.浏览器打开HDFS验证启动是否正确
打开浏览器输入网址:http://node1:50070/
页面能正常打开,并且Live Nodes显示数量是3,则正常启动HDFS
阅读全文
0 0
- hadoop2.6.5配置HDFS并运行
- 配置Hadoop2.x的HDFS、MapReduce来运行WordCount程序
- 编写HDFS程序并运行的步骤
- 部署hadoop2.7.2 集群 基于zookeeper配置HDFS HA+Federation
- 配置Hadoop2.0HDFS的HA以及联邦使用QJM
- Hadoop2.X配置管理1-HDFS安装配置单机版
- hadoop2.6.5配置
- 【HDFS】hadoop2.x HDFS javaAPI
- hadoop2.7.3关于hdfs配置项的变动(相比较hadoop2.6.0)
- hadoop2.2 hdfs
- hadoop2 hdfs命令
- Hadoop2 HDFS shell命令
- Hadoop2.X HDFS架构
- hadoop2.x之HDFS
- hadoop2.8.2HDFS架构
- hadoop学习之HDFS(2.1):linux下eclipse中配置hadoop-mapreduce开发环境并运行WordCount.java程序
- Hadoop配置文件 HDFS垃圾回收,无密码登录和各个服务组件如何配置那台服务器运行并测试
- hadoop2.6.5 HDFS的高可用集群搭建
- IT基础38
- 卷积神经网络CNN理论到实践(2)
- IT基础39
- Scala的64位eclipse版ide
- IT基础40
- hadoop2.6.5配置HDFS并运行
- IT基础42
- 理解android.intent.action.MAIN 与 android.intent.category.LAUNCHER
- WordPress 不修改代码通过sql语句修改数据库批量增加文章阅读量
- java--二维数组求和,公司全年季度营业额度
- 你为什么要用Spring
- Java compiler level does not match the version of the installed Java project facet问题怎么解决
- 栈和队列的使用 refresh的停车场
- struts2为什么每次请求都要创建一个Action对象