Mahout 定制ClusterDumper：只输出中心点

hadoop1.0.4，mahout0.5。

mahout里面有实现读取聚类算法中的方法，叫做ClusterDumper，这个类输出的格式一般如下：

VL-2{n=6 c=[1.833, 2.417] r=[0.687, 0.344]}Weight:  Point:1.0: [1.000, 3.000]...1.0: [3.000, 2.500]VL-11{n=7 c=[2.857, 4.714] r=[0.990, 0.364]}Weight:  Point:1.0: [1.000, 5.000]...1.0: [4.000, 4.500]VL-14{n=8 c=[4.750, 3.438] r=[0.433, 0.682]}Weight:  Point:1.0: [4.000, 3.000]...1.0: [5.000, 4.000]

不过，如果我只想实现输出聚类中心的文件的话，那么就不行了。本来想继承ClusterDumper，结果ClusterDumper是一个final的，算了，还是自己写吧。

参考ClusterDumper中的源码，如下：

for (Cluster value :           new SequenceFileDirValueIterable<Cluster>(new Path(seqFileDir, "part-*"), PathType.GLOB, conf)) {        String fmtStr = value.asFormatString(dictionary);        if (subString > 0 && fmtStr.length() > subString) {          writer.write(':');          writer.write(fmtStr, 0, Math.min(subString, fmtStr.length()));        } else {          writer.write(fmtStr);        }

或者参考lz之前的一篇文章：mahout源码KMeansDriver分析之二中心点文件分析（无语篇），里面也有关于聚类中心的读取；

可以写一个ClusterCenterDump的类，如下：

package com.caic.cloud.util;import java.io.File;import java.io.FileNotFoundException;import java.io.IOException;import java.io.Writer;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.mahout.clustering.Cluster;import org.apache.mahout.common.iterator.sequencefile.PathType;import org.apache.mahout.common.iterator.sequencefile.SequenceFileDirValueIterable;import com.google.common.base.Charsets;import com.google.common.io.Files;/** * just output the center vector to a given file * @author fansy * */public class ClusterCenterDump {private Log log=LogFactory.getLog(ClusterCenterDump.class);private Configuration conf;private Path centerPathDir;private String outputPath;/*public ClusterCenterDump(){}public ClusterCenterDump(Configuration conf){this.conf=conf;}*/public ClusterCenterDump(Configuration conf,String centerPathDir,String outputPath){this.conf=conf;this.centerPathDir=new Path(centerPathDir);this.setOutputPath(outputPath);}/** * write the given cluster center to the given file * @return * @throws FileNotFoundException  */public boolean writeCenterToLocal() throws FileNotFoundException{if(this.conf==null||this.outputPath==null||this.centerPathDir==null){log.info("error:\nshould initial the configuration ,outputPath and centerPath");return false;}Writer writer=null;try {File outputFile=new File(outputPath);writer = Files.newWriter(outputFile, Charsets.UTF_8);this.writeTxtCenter(writer, new SequenceFileDirValueIterable<Cluster>(new Path(centerPathDir, "part-*"), PathType.GLOB, conf));//new SequenceFileDirValueIterable<Writable>(new Path(centerPathDir, "part-r-00000"), PathType.LIST,//PathFilters.partFilter(),conf));writer.flush();} catch (IOException e) {log.info("write error:\n"+e.getMessage());return false;}finally{try {if(writer!=null){writer.close();}} catch (IOException e) {log.info("close writer error:\n"+e.getMessage());}}return true;}/** * write the cluster to writer * @param writer * @param cluster * @return * @throws IOException  */private boolean writeTxtCenter(Writer writer,Iterable<Cluster> clusters) throws IOException{for(Cluster cluster:clusters){String fmtStr = cluster.asFormatString(null);System.out.println("fmtStr:"+fmtStr);writer.write(fmtStr);writer.write("\n");}return true;}public Configuration getConf() {return conf;}public void setConf(Configuration conf) {this.conf = conf;}public Path getCenterPathDir() {return centerPathDir;}public void setCenterPathDir(Path centerPathDir) {this.centerPathDir = centerPathDir;}/** * @return the outputPath */public String getOutputPath() {return outputPath;}/** * @param outputPath the outputPath to set */public void setOutputPath(String outputPath) {this.outputPath = outputPath;}}

下面是一个测试类：

package fansy;import java.io.FileNotFoundException;import junit.framework.TestCase;import org.apache.hadoop.conf.Configuration;import com.caic.cloud.util.ClusterCenterDump;import com.caic.forecast.pub.util.SpringUtil;public class ClusterCenterDumpTest extends TestCase {public void testWrite() throws FileNotFoundException{SpringUtil.springWithoutWeb();Configuration conf=new Configuration ();conf.set("mapred.job.tracker", "master:9001");conf.set("fs.default.name", "master:9000");String centerPath="output/clusters-2";String outputPath="e:/a.txt";ClusterCenterDump cc=new ClusterCenterDump(conf,centerPath,outputPath);boolean flag=cc.writeCenterToLocal();System.out.println("done:"+flag);}}

这样在本地e:/a.txt中就可以生成类似下面的文件了：

VL-2{n=6 c=[1.833, 2.417] r=[0.687, 0.344]}VL-15{n=10 c=[4.600, 3.700] r=[0.490, 0.812]}VL-5{n=5 c=[2.400, 4.700] r=[0.800, 0.400]}

其实，读取序列文件，在前面的一些blog中也有相应的文章，只是这里特别说明下是参考ClusterDumper而已，读取序列文件可以直接使用SequenceReader也可以。这里的ClusterDumper读取序列文件最主要的方法就是SequenceFileDirValueIterable中的方法了，这个看名字就知道是序列文件的值读取的类了。由于做项目需要，所以写了这样一个定制的ClusterDumper，直接复制ClusterCenterDump即可使用。注意：mahout是0.5的，如果使用其他的jar包，可能会出错，有些类的路径是不一样的。

如果您觉得lz的blog或者资源还ok的话，可以选择给lz投一票，多谢。（投票地址：http://vote.blog.csdn.net/blogstaritem/blogstar2013/fansy1990 ）

分享，成长，快乐

转载请注明blog地址：http://blog.csdn.net/fansy1990