Spark Streaming java实现简单例子(一)

来源：互联网发布：大学生分期借贷软件编辑：程序博客网时间：2024/05/18 14:43

1. 背景：之前已经学习过Spark SQL的相关知识，现在开始对Spark的另一模块Streaming部分进行学习。首先是参考官网上的Demo进行样例的编写，但是发现代码有点问题，百度之后发现，在一处代码处发现问题，所以写此文。

2. 介绍：一些博客上的

 JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String,String>(){ //如果是Scala，由于SAM装换，可以写成val words = lines.flatMap{line => line.split("　＂)}            @Override            public Iterable<String> call(String line) throws Exception {                return Arrays.asList(line.split(" "));//将其变成Iterable的子类            }        });

或者官网上

// Split each line into wordsJavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(" ")).iterator());

对于此处，都是有问题的，应该是

JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {            public Iterator<String> call(String line) throws Exception {                String aStr[] = line.split(",");                return Arrays.asList(aStr).iterator();            }        });

此处值得注意，需要了解一下Interator，通过http://www.cnblogs.com/chenssy/p/3821328.html 认识到list可以转化。

Iterator iterator = list.iterator();        while(iterator.hasNext()){            String string = iterator.next();            //do something        }

3. 对于之前提及的IDEA中设置本地执行Spark程序，然后在虚拟机中执行

$ nc -lk 9999

同时，输入例如“Hello,world”，即可实现streaming的简单样例

阅读全文

1 0