Spark系列(3)-Spark examles运行实例

来源:互联网 发布:r390清零软件 编辑:程序博客网 时间:2024/05/17 21:54

Spark 自带了很多的example,但是在终端输入run-example,并不会返回其参数,只有简单的一句话,如下:

$ ./bin/run-example Usage: run-example <example-class> [<args>]

所以还得自己动手去找,于是在eclipse中导入源码,在源码中可以看到。example有scala和java两个src,下面我们只看scala下面的package.如图

共有7个package

下面把每个package的详细图。

好啦,这就可以看到所有的类名啦。随便找几个运行看看。

examples包下随便找几个看看

./bin/run-example org.apache.spark.examples.SparkPiUsage: SparkPi <master> [<slices>]

$ ./bin/run-example org.apache.spark.examples.LocalALSUsage: LocalALS <M> <U> <F> <iters>

$ ./bin/run-example org.apache.spark.examples.SparkTCUsage: SparkTC <master> [<slices>]

从上可以看出,只看Usage提示是很晦涩难懂的,需要理解其意义,还得看源码呀。另外我发现有些example运行不了,这个可能是Spark的BUG,正在确认中。

0 0