第一次在spark环境下运行jar包

第一次在spark环境下运行jar包，耶耶耶！！！心情赞赞哒！！！！

现在开发的工具也主要换成了Intellij，因为方便嘛！！！之前果然不应该用eclipse，简直是强求啊~~Intellij从开发，到打包在spark界都是一把手~~么么哒~~

打包的部分主要参考了一下博文：

如何使用intellij搭建spark开发环境（下）

总结来说有以下步骤：

1. 建立一个artifacts

生成程序包之前要先建立一个artifacts，File -> Project Structure -> Artifacts  -> + -> Jars -> From moudles with dependencies，然后随便选一个class作为主class。

2. 配置artifact

按OK后，对artifacts进行配置，修改Name为hello1，删除Output Layout中hello1.jar中的几个依赖包，只剩hello1项目本身

3. 打包

按OK后， Build -> Build Artifacts -> hello1 -> build进行打包，经过编译后，程序包放置在out/artifacts/hello1目录下，文件名为hello1.jar。

至于提交嘛，用以下命令

spark-submit --class wc1 --master spark://localhost:6060 FirstJar.jar /wordcount

因为我的class wc1头上是没有package的，所以直接写，另外最后的arg[0]是hdfs的路径~

终于运行成果啦！！

心情赞赞哒！！！