flink从安装到提交任务
来源:互联网 发布:经期饮食 知乎 编辑:程序博客网 时间:2024/06/06 13:04
本操作全部在Windows下环境进行操作,linux环境下更为简单
下载:
flink这东西安装要启动local模式还是比较简单的,首先从官网上下载 http://flink.apache.org/downloads.html 我下载的是最新版本1.1.3,
解压flink:
下载完后对其进行解压,我解压所在的目录在D:\flink-1.1.3-bin-hadoop26-scala_2.10\flink-1.1.3
启动flink:
打开cmd ,
cd /d D:\flink-1.1.3-bin-hadoop26-scala_2.10\flink-1.1.3 \bin 目录,运行start-local.bat 命令 ,就可以启动flink, 在浏览器下输入
http://localhost:8081/ 就可以对flink集群进行监控,可以查看哪些任务正在运行,哪些任务运行失败,哪些任务运行结束。
启动netcat:
cd /d sparkconall/netcat
nc -l -p 520
提交自己的jar包:
jar包是我自己写了个流接收端口520数据的的wordcount的程序,用maven打成jar包,提交任务如下,
cd /d D:\flink-1.1.3-bin-hadoop26-scala_2.10\flink-1.1.3\bin
flink run -c com.wanda.flink.StreamWordCount D:\wilson.zhou\workspace\rocket-zlast\target\rocket-zlast-0.0.1-SNAPSHOT.jar
run -c 是指指定main方法和jar包
查看运行结果:
cd /d D:\flink-1.1.3-bin-hadoop26-scala_2.10\flink-1.1.3\log
type flink-wilson.zhou-jobmanager-SH-TS-0026LT.out
结果:
(c++,1)
(java,1)
(jsds,1)
(sds,1)
(sdsada,1)
(sdjsjsdas,1)
(ajsdada,1)
(sk,1)
(jav,1)
- flink从安装到提交任务
- 从作业提交到任务调度完整生命周期浅析
- 从 "No module named pyspark" 到远程提交 spark 任务
- 提交任务到spark集群及spark集群的安装
- Flink 代码方式提交程序到远程集群运行
- Spark1.3从创建到提交:10)任务提交源码分析
- Flink安装
- 利用Flink stream从kafka中写数据到mysql
- Spark提交任务到集群
- Spark提交任务到集群
- spark 提交任务到spark
- 【Spark Core】从作业提交到任务调度完整生命周期浅析
- Spark Core---从作业提交到任务调度完整生命周期浅析
- Spark1.3从创建到提交:3)任务调度初始化源码分析
- spark源码解析-从提交任务到jar的加载运行(基于2.1.0版本)
- Flink源码--CLI提交Job
- 从kafka到flink到hbase的心酸路程示例(希望有用)
- spark用程序提交任务到yarn
- 第九周项目4-广义表算法库及应用(3)
- 如何解决误修改/etc/passwd 的root根目录,导致无法进入root根目录的问题
- 第十周项目2——二叉树的便利的递归算法
- 第十周-项目三 利用二叉树遍历思想解决问题
- centos安装pip并修改官方源为豆瓣源
- flink从安装到提交任务
- 做开发的童鞋应该都了解这几款软件
- iOS Button传多个对象
- 第十周-项目三-
- Nuance在iOS中的应用
- java基础2_helloWorld
- CocoaHttpserver初识
- 汽车仿真的一些开发思虑
- 两个小Points