Twister运行Kmeans

来源：互联网发布：淘宝上面买东西没发票编辑：程序博客网时间：2024/05/18 07:00

1. 预先准备

1.1 启动ActiveMQ和Twister。

xiuwenyi@Twister1:~/apache-activemq-5.4.2/bin$ ./activemq console

xiuwenyi@Twister1:~/twister-0.9/bin$ ./start_twister.sh

1.2 jar包（在所有的节点上）

在$TWISTER_HOME/samples/kmeans下运行 ant

将生成的Twister-Kmeans-0.9.jar拷贝到 $TWISTER_HOME/Apps 路径下

2. 运行Kmeans算法

2.1 创建Kmeans输入目录

xiuwenyi@Twister1:~$ cd $TWISTER_HOME/bin xiuwenyi@Twister1:~/twister-0.9/bin$ ./twister.sh mkdir kmeans

2.2 生成数据

xiuwenyi@Twister1:~/twister-0.9/bin$ cd $TWISTER_HOME/samples/kmeans/bin xiuwenyi@Twister1:~/twister-0.9/samples/kmeans/bin$ ./gen_data.sh init_clusters.txt 3 3 /kmeans km_data 6  60000

自动将生成的数据文件平均上传给集群上的每个节点

若不需自动生成数据，可采用下面的命令分配数据

cd $TWISTER_HOME/bin ./twister.sh put $TWISTER_HOME/samples/kmeans/input kmeans

2.3 创建分区文件

xiuwenyi@Twister1:~/twister-0.9/samples/kmeans/bin$ cd $TWISTER_HOME/bin xiuwenyi@Twister1:~/twister-0.9/bin$ ./create_partition_file.sh kmeans km_data $TWISTER_HOME/samples/kmeans/bin/kmeans.pf

2.4 运行

xiuwenyi@Twister1:~/twister-0.9/samples/kmeans/bin$ cd $TWISTER_HOME/samples/kmeans/binxiuwenyi@Twister1:~/twister-0.9/samples/kmeans/bin$ ./run_kmeans.sh init_clusters.txt 6 kmeans.pf