Spark MLlib java TF-IDF计算 (spark 1.5.2)

import java.util.Arrays;import java.util.List;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.spark.mllib.feature.HashingTF;import org.apache.spark.mllib.feature.IDF;import org.apache.spark.mllib.feature.IDFModel;import org.apache.spark.mllib.linalg.Vector;public class Test {/* * tf-idf含义 * TF-IDF是一种特征向量化方法，这种方法多用于文本挖掘， * 通过算法可以反应出词在语料库中某个文档中的重要性。 * 文档中词记为t，文档记为d , 语料库记为D . 词频TF(t,d) 是词t 在文档d 中出现的次数。 * 文档频次DF(t,D) 是语料库中包括词t的文档数。如果使用词在文档中出现的频次表示词的重要程度， * 那么很容易取出反例，即有些词出现频率高反而没多少信息量， 如,”a” , “the” , “of” 。 * 如果一个词在语料库中出现频率高，说明它在特定文档集中信息量很低。 * 逆文档频次（inverse document frequency）是词所能提供的信息量的一种度量 *  */public static void main(String[] args) {SparkConf conf = new SparkConf();conf.setAppName("WordCounter").setMaster("local");JavaSparkContext sc = new JavaSparkContext(conf);final HashingTF hashingTF = new HashingTF();/* hello mllibsparkgoodBye sparkhello sparkgoodBye spark */JavaRDD<String> text = sc.textFile("C:/Users/dulinan/Desktop/spam1.txt");JavaRDD<Vector> tf = text.map(new Function<String, Vector>() {@Override            public Vector call(String v1) throws Exception {            return hashingTF.transform(Arrays.asList(v1.split(" ")));            }});        IDFModel idf = new IDF().fit(tf);                JavaRDD<Vector> tfIdf = idf.transform(tf);                List<Vector> list = tfIdf.collect();        System.out.println(list);}}