关于SparkStreaming运行案例时控制台不打印的问题
来源:互联网 发布:mac的终端是什么 编辑:程序博客网 时间:2024/06/10 19:58
跑官方案例从Socket接收数据,WordCount统计时,控制台不打印的问题
1、打开一个端口,然后输入数据从这个端口输出出去
$ nc -lk 9999如果nc没有安装,需要安装一下yum install -y nc2、跑一下官方自带的例子./bin/run-example streaming.NetworkWordCount Spark 9999
结果:控制台没有输出结果集。
原因:因为运行SparkStreaming时,local[2]模式里线程数必须最少为2,官网中有提到,因为一个线程用来接收数据,一个线程用来处理数据。
说明:我在运行测试案例的时候是在虚拟机中运行的,默认只有一个CPU核数,在run-example脚本中,默认local的线程数是和CPU核数相关的,所以我在运行过程中local模式下只有一个线程开启,导致没有线程处理数据并输出。
解决方案:调整虚拟机的CPU核数即可,真实环境中不会出现这种问题,因为服务器CPU核数肯定大于1.
阅读全文
0 0
- 关于SparkStreaming运行案例时控制台不打印的问题
- flash builder 控制台不打印的问题
- Eclipse中运行MapReduce程序时控制台无法打印进度信息的问题
- Eclipse中运行MapReduce程序时控制台无法打印进度信息的问题
- 问题:在eclipse中运行maven命令,控制台不打印任何信息
- 关于printf不打印的问题
- SparkStreaming的运行流程
- spark部署一台机器时sparkstreaming无结果数据打印的问题
- Struts2 控制台不打印异常的解决方案
- 关于控制台打印Unicode字符的测试
- 关于eclipse的android logcat不打印的问题
- C#控制台的打印对齐问题
- 控制台日志打印乱码的问题
- 基于HDFS的SparkStreaming案例实战
- 关于聊天室输入密码时不显示打印*的代码问题
- Xcode8控制台不打印NSLog
- Eclipse 控制台不显示打印信息的处理方法
- eclipse控制台不显示打印信息的处理方法
- idea maven项目来搭建ssm整合
- 关于启动spark-shell报错:<console>:14: error: not found: value spark
- PAT乙级1033. 旧键盘打字(20)
- java——线程生命周期waiting状态和blocked状态的区别
- PyImport_ImportModule
- 关于SparkStreaming运行案例时控制台不打印的问题
- 数据库(表结构)设计技巧及注意事项
- JAVA NIO 例子
- Eureka 源码解析 —— 应用实例注册发现(七)之增量获取
- Parameter 'userName' not found. Available parameters are [0, 1, 2, param3, param1, param2]
- 数据结构链表习题2.27,假设以两个元素依值递增有序排列的线性表A和B分别表示两个集合,现要求另辟空间构成一个顺序链表
- CSDN 第一篇博文
- linux下启动svn实例
- Spring Cloud (19) | Eureka Server 高可用服务注册中心