jstorm2.1.1 集群安装
来源:互联网 发布:js eval 编辑:程序博客网 时间:2024/06/03 20:47
一、基础环境:
JDK :1.8.0_65 (要求1.6+)
ZooKeeper:3.4.10
Jstorm2.1.1
主机数:3(要求3+,且必须是奇数,因为ZooKeeper的选举算法)
二、节点上安装配置:
下载并解压
wget "https://github.com/alibaba/jstorm/releases/download/2.1.1/jstorm-2.1.1.zip"unzip jstorm-2.1.1.zip
配置环境变量
vim ~/.bash_profile JSTORM_HOME=/data/jstorm/jstorm-2.1.1export PATH=$PATH:$JSTORM_HOME/bin保存后source ~/.bash_profile
设置 storm.yaml
vim storm.yaml
storm.zookeeper.servers:zk的IP地址
nimbus.host:nimbus的IP地址
注意:
1.配置文件中参数前必须有一个空格,否则会解析失败。
2.最后加入jvm 参数配置,否则内存太小无法启动
nimbus.childopts: "-Xms128m -Xmx128m -Xmn64m -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=15 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:+HeapDumpOnOutOfMemoryError -XX:CMSMaxAbortablePrecleanTime=5000"
在提交jar的节点上执行:
mkdir ~/.jstormcp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
启动JStorm
在nimbus 节点上执行 nohup jstorm nimbus &, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误
在supervisor节点上执行 nohup jstorm supervisor &, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误
运行任务jar
#提交上传jar
执行jstorm jar xxxxxx.jar com.alibaba.xxxx.xx parameter
- xxxx.jar 为打包后的jar
- com.alibaba.xxxx.xx 为入口类,即提交任务的类
- parameter即为提交参数
- Jstorm2.1.1集群安装
- jstorm2.1.1 集群安装
- Centos7安装JStorm2.1.1
- 安装JStorm2.1.1
- Centos7安装JStorm2.1.1
- centos7搭建jstorm2.1.1集群环境
- Jstorm2.2.1安装
- centos6.5安装JStorm2.1.0
- Storm 1.1.0 集群安装
- kafka_2.9.1-0.8.1.1 集群的安装
- hadoop集群上面安装 spark 1.1.0
- kafka_2.9.2-0.8.1.1安装、测试、集群
- Hive 1.1.0 集群安装配置
- HBase集群+Zookeeper集群安装
- Hadoop集群安装spark集群
- storm集群安装及zk集群安装
- [参考]zookeeper集群安装 kafka 集群安装
- 安装大型 Linux 集群
- [AirFlow]AirFlow使用指南三 第一个DAG示例
- All com.android.support libraries must use the exact same version specification
- Java面试题全集(下)
- React native 自定义IconFont react-native-vector-icons
- php电子邮件发送
- jstorm2.1.1 集群安装
- [一天一项目]获取当前天气——获取某个地区当前的天气情况。
- 前端性能优化归纳总结篇!!!
- java程序员的python之路(mongodb高级查询)
- [转载]整数读入优化 C++
- Android 不通过USB数据线调试
- hadoop-2.8编译以及集群安装
- linux防火墙基础及iptables数据流
- php 根据标签的属性值来爬取内容的正则表达式