Hadoop生态圈各组件的启动及关闭脚本
来源:互联网 发布:网络侮辱罪立案标准 编辑:程序博客网 时间:2024/05/22 00:37
1. Hdfs (v 2.7.3)
1.1.启动集群
sbin/start-dfs.sh
注:这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。
1.2.启动NameNode
sbin/hadoop-daemon.sh start namenode
1.3.启动DataNode
sbin/hadoop-daemon.sh start datanode
1.4. 启动 MR的HistoryServer
sbin/mr-jobhistory-daemon.sh start historyserver
1.4.停止集群
sbin/stop-dfs.sh
1.5.停止单个进程
sbin/hadoop-daemon.sh stop zkfcsbin/hadoop-daemon.sh stop journalnodesbin/hadoop-daemon.sh stop datanodesbin/hadoop-daemon.sh stop namenode
参考:http://www.cnblogs.com/jun1019/p/6266615.html
2. Yarn (v 2.7.3)
2.1.启动集群
sbin/start-yarn.sh
注:start-yarn.sh启动脚本只在本地启动一个ResourceManager进程,而3台机器上的nodemanager都是通过ssh的方式启动的。
2.2.启动ResouceMananger
sbin/yarn-daemon.sh start resourcemanager
2.3.启动NodeManager
sbin/yarn-daemon.sh start nodemanager
2.3.启动JobHistoryServer
sbin/yarn-daemon.sh start historyserver
2.4.停止集群
sbin/stop-yarn.sh
2.5.停止单个节点
sbin/yarn-daemon.sh stop resourcemanagersbin/yarn-daemon.sh stop nodemanager
参考:http://www.cnblogs.com/jun1019/p/6266615.html
3. Zookeeper (v 3.4.5)
3.1.启动集群
bin/zkServer.sh start
3.2.启动单个节点
bin/zkServer.sh start
3.3.启动客户端
bin/zkCli.sh -server master:2181
4.Kafka (v 2.10-0.10.1.1)
4.1.启动集群
bin/kafka-server-start.sh -daemon config/server.properties
4.2.启动单个节点
bin/kafka-server-start.sh -daemon config/server.properties
4.3.创建Topic
bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test
4.4.列出Topic
bin/kafka-topics.sh --list --zookeeper master:2181
4.5.生产数据
bin/kafka-console-producer.sh --broker-list master:9092 --topic test
4.6.读取数据
bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning
5.Hbase (v 1.2.4)
5.1.启动/停止集群
bin/start-hbase.shbin/stop-hbase.sh
5.2. 启动/停止HMaster
bin/hbase-daemon.sh start masterbin/hbase-daemon.sh stop master
5.3. 启动/停止HRegionServer
bin/hbase-daemon.sh start regionserverbin/hbase-daemon.sh stop regionserver
5.2.启动Shell
bin/hbase shell
6.Spark (v 2.1.0-bin-hadoop2.7)
6.1.启动程序
6.1.1. 本地
bin/spark-shell --master local
6.1.2.Standalone
bin/spark-shell --master spark://master:7077
6.1.3. Yarn Client
bin/spark-shell --master yarn-client
6.1.4. Yarn Cluster
bin/spark-shell --master yarn-cluster
7. Flume
7.1启动Agent
bin/flume-ng agent -n LogAgent -c conf -f conf/logagent.properties -Dflume.root.logger=DEBUG,console
8.Sqoop
8.1.导入
sqoop import \--connect jdbc:mysql://mysql.example.com/sqoop \--username sqoop \--password sqoop \--table cities
8.2.导出
sqoop export \--connect jdbc:mysql://mysql.example.com/sqoop \--username sqoop \--password sqoop \--table cities \--export-dir cities
9.Hive
9.1 启动metastore
nohup hive --service metastore >> /home/zkpk/apache-hive-2.1.1-bin/metastore.log 2>&1 &
9.2 启动Hive server
nohup hive --service hiveserver2 >> /home/zkpk/apache-hive-2.1.1-bin/hiveserver.log 2>&1 &
9.2. 启动Shell
hive -h <host> -p <port>beeline -u jdbc:hive2://<host>:<port>
10. Mysql
10.1.启动Shell
mysql -u<user> -p<password>
11. Redis
redis-server ./redis.conf &
<未完待续>
- Hadoop生态圈各组件的启动及关闭脚本
- Hadoop生态圈各组件的启动及关闭脚本
- Hadoop生态圈各组件的启动及关闭
- Hadoop生态圈以及各组成部分的简介
- HADOOP生态圈以及各组成部分的简介
- Hadoop生态圈的介绍
- hadoop中各组件的作用
- 对于hadoop生态圈的理解
- Hadoop/Spark生态圈里的新气象
- Hadoop/Spark生态圈里的新气象
- 对Hadoop生态圈的一个理解
- Hadoop生态圈
- 图画hadoop -- 生态圈
- Hadoop生态圈
- Hadoop生态圈常用命令
- 构建Hadoop生态圈
- hadoop生态圈
- Hadoop生态圈
- Hadoop启动过程中,遇到ssh登录0.0.0.0的问题
- Hdfs结点格式化后重启集群
- 强类型、弱类型、动态类型、静态类型语言
- 大数据学习笔记:Flume导数据至Kafka
- Hadoop生态圈
- Hadoop生态圈各组件的启动及关闭脚本
- 苏宁校招把这所学校师生惹毛了!
- 微博CEO自曝三大新功能!网友:充会员吗?
- 使用 MapReduce 实现分组排名
- 想和你们说个事:
- Hive作业
- Java EE核心模式学习理解和记录
- iOS 动画基础总结篇
- Android常用的依赖以及权限