集群搭建小结
来源:互联网 发布:sql数据库suspect 编辑:程序博客网 时间:2024/06/06 04:50
主备节点启动小结
在这次ha集群的搭建过程中细节上出现了较多卡顿。
针对搭建好后的主备节点的启用也出现了一些问题。
在启动时单在一个节点上格式化后,另一个namenode节点并未同步格式化内容 可能是因为网络通信的问题,毕竟这次的数据导入过程中因为专用网络出现了较多问题
致使另一节点上的namenode启用并未成功
因此无法连通8020端口。
解决方案
将有格式化信息的name相关信息拷贝一份至另一namenode,注意datanode的version也要对应,而datanode的data的信息在start-dfs.sh时生成
ha集群启用相关指令
- hadoop-daemon.sh start journalnode
- hdfs namenode -format
- hadoop-daemon.sh start namenode
- start-dfs.sh
- start-yarn.sh
- hadoop-daemon.sh start datanode
- hdfs haadmin -getServiceState nn1
查看活跃主备节点的状态
*haadmin -failover –forcefence –forceactive nn2 nn1
确定要转为active的namenode的id,这里将namenode1设为active,使用命令行工具进行状态切换
hdfsnamenode -initializeSharedEditshadoop-daemon.sh start namenode在namenode1上对journalnode的共享数据进行初始化,然后启动namenode进程:
namenode2上同步journalnode的共享数据,然后启动namenode进程:$HADOOP_HOME/bin/hdfsnamenode -bootstrapStandby$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
参考连接
磁盘挂载
fdisk -l查看有那些磁盘可以挂载
mount * //
有时会出现
mount: you must specify the filesystem type
问题
即要先格式化磁盘 mkfs.ext3 要挂载的盘
附hadoop成功启动后截图
hbase集成小结
在针对集群中的hbase集成相对较为顺利,但也遇到了些问题,不过通过更改hosts中公网ip映射hosts为0.0.0.0对应,解决了在配置文件中不能用host代替的问题。
hbase常用指令
* start-hbase.sh* stop-hbase.sh
0 0
- 集群搭建小结
- Twitter Storm集群搭建小结
- Twitter Storm集群搭建小结
- zookeeper-linux集群搭建小结
- kafka-linux集群搭建小结
- Spark2.1集群环境搭建小结(1)
- Spark2.1集群环境搭建小结(2)
- 集群搭建
- 集群搭建
- 集群搭建
- 集群搭建
- 集群搭建
- zk集群搭建搭建
- Zookeeper集群安装小结
- MongoDB集群应用小结
- Mongodb集群小结
- Storm集群,zookeeper集群搭建
- Zookeeper集群搭建+Kafka集群搭建--55
- Git常用命令
- 基于ROS indigo版本下kinect图像显示
- 【自定义控件】练习:验证码
- php app支付宝回调(异步通知)
- 数据结构-单向链表
- 集群搭建小结
- java基础学习目录
- React native 入门指南
- List集合使用泛型与不使用泛型有什么区别?
- Mybatis实战之TypeHandler高级进阶
- FAT32 文件系统详解
- 【书山有路】Python基础教程 第4章
- 500. Keyboard Row\205. Isomorphic Strings\453. Minimum Moves to Equal Array Elements
- 高性能javascript(一)加载与执行