spark word count

package com.nassoft.spark;import java.io.IOException;import java.util.Arrays;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.FlatMapFunction;import org.apache.spark.api.java.function.Function2;import org.apache.spark.api.java.function.PairFunction;import org.apache.spark.api.java.function.VoidFunction;import scala.Tuple2;public class Main {public static void main(String[] args) throws IOException{// TODO Auto-generated method stub// 1 创建一个sparkconf 对象并配置// 使用setMaster 可以设置spark集群可以链接集群的URL，如果设置local 代表在本地运行而不是在集群运行SparkConf conf = new SparkConf().setAppName("WordCountWithSpark");//.setMaster("local[2]");// 2 创建javasparkContext对象// sparkcontext 是一个入口，主要作用就是初始化spark应用程序所需的一些核心组件，例如调度器，task，// 还会注册spark，sparkMaster结点上注册。反正就是spake应用中最重要的对象JavaSparkContext sc = new JavaSparkContext(conf);// 3 对输入源创建一个出事RDD// 元素就是输入源文件中的一行//JavaRDD<String> lines = sc.textFile("F://message_info.log");//JavaRDD<String> lines = sc.textFile("hdfs://spark:9000//tmp//run.sh");JavaRDD<String> lines = sc.textFile("file:///usr/hdp/2.5.5.0-157/spark/bin/beeline");// 4 把输入源拆分成一个一个的单词// 引用一个RDD 都会创建一个function 类（比较简单的话就是一个匿名内部类）// FlatMapFunction 有连个参数输入和输出JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {private static final long serialVersionUID = 1L;public Iterable<String> call(String arg0) throws Exception {// TODO Auto-generated method stubreturn Arrays.asList(arg0.split(" "));}}).flatMap(new FlatMapFunction<String, String>() {private static final long serialVersionUID = 1L;@Overridepublic Iterable<String> call(String arg0) throws Exception {// TODO Auto-generated method stubreturn Arrays.asList(arg0.split("\t"));}}).flatMap(new FlatMapFunction<String, String>() {private static final long serialVersionUID = 1L;@Overridepublic Iterable<String> call(String arg0) throws Exception {// TODO Auto-generated method stubreturn Arrays.asList(arg0.split("\\."));}});// 5 需要将每一个单词映射为（单词，1） 后面才可以更具单词key 对后面value 1 进行累加从而达到计数的功能JavaPairRDD<String, Integer> parirs = words.mapToPair(new PairFunction<String, String, Integer>() {/** * 每一个单词都映射成(单词，1) */private static final long serialVersionUID = 1L;public Tuple2<String, Integer> call(String arg0) throws Exception {// TODO Auto-generated method stubreturn new Tuple2<String, Integer>(arg0, 1);}});// 6 以单词做为key 统计单词出现的次数，用reducebykey 算子，对每一个key对于的value进行操作JavaPairRDD<String,Integer> wordcount = parirs.reduceByKey(new Function2<Integer, Integer, Integer>() {private static final long serialVersionUID = 1L;public Integer call(Integer arg0, Integer arg1) throws Exception {// TODO Auto-generated method stubreturn arg0+arg1;}});// 7 已经通过spark 的几个算子 flatMap，mapToPair，reduceByKey 已经统计出每一个结点中的单词出现的次数// 这中操作叫做transformation，但是在一开始的RDD是把文件拆分打散到不同的结点中的，所以后面还需要操作action 进行集合// 9 action 操作通过foreach 来遍历所有最后一个RDD生成的元素wordcount.foreach(new VoidFunction<Tuple2<String,Integer>>() {private static final long serialVersionUID = 1L;@Overridepublic void call(Tuple2<String, Integer> arg0) throws Exception {// TODO Auto-generated method stubSystem.out.println(arg0._1+" 出现了:"+arg0._2+"次");}});sc.close();}}