Intellij Idea Linux环境下 新建Maven(java)和Scala工程
来源:互联网 发布:js 数组 push pop 编辑:程序博客网 时间:2024/05/16 08:22
Maven工程
1.新建Maven工程,用Java编写Spark的WordCount程序
2.在弹出的界面选择左侧Maven项目,SDK选择自己按安装的jdk,点击next按钮
3.填写 GropId 和ArtifactId,点击next按钮
4.填写工程名称和选择工程存放的位置,点击next继续
5.在新建的Maven项目中,找到Pom.xml文件,添加配置信息(依赖包),其中build选项中是为了eclipse Maven打包需要的配置信息。
<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.6.1</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.10</artifactId> <version>1.6.1</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.10</artifactId> <version>1.6.1</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.10</artifactId> <version>1.6.1</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.5.0-cdh5.3.6</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka_2.10</artifactId> <version>1.6.1</version> </dependency> </dependencies> <build> <sourceDirectory>src/main/java</sourceDirectory> <testSourceDirectory>src/main/test</testSourceDirectory> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> <archive> <manifest> <mainClass></mainClass> </manifest> </archive> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> <plugin> <groupId>org.codehaus.mojo</groupId> <artifactId>exec-maven-plugin</artifactId> <version>1.2.1</version> <executions> <execution> <goals> <goal>exec</goal> </goals> </execution> </executions> <configuration> <executable>java</executable> <includeProjectDependencies>true</includeProjectDependencies> <includePluginDependencies>false</includePluginDependencies> <classpathScope>compile</classpathScope> <mainClass>cn.spark.sparktest.App</mainClass> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> <source>1.6</source> <target>1.6</target> </configuration> </plugin> </plugins> </build>
6.
>>1导入外部Spark的jar包(编写Spark程序需要这些jar包),选择项目右键,点击Open Modules Settings
>>2<< ,按照如下图示添加jarbao
3.找到安装的Spark的lib目录下的spark-assembly-1.6.1-hadoop2.5.0-cdh5.3.6.jar包加入到项目中去,即可
创建Scala工程
1.idea程序,File--》new--》Project,然后按照如下图示创建Scala工程
2.填写新建工程name,选择工程存储位置,jdk版本,Scala版本,(scala选 spark-sdk-2-10,为了和Spark兼容),点击finish即可
阅读全文
0 0
- Intellij Idea Linux环境下 新建Maven(java)和Scala工程
- Intellij idea使用Maven管理Scala工程
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- 用 IntelliJ IDEA 新建 JAVA 工程
- Intellij IDEA 下开发Scala环境配置
- Intellij idea下的maven web工程
- IntelliJ IDEA 中 右键新建(new)时,选项没有scala(java) class的解决方法和具体解释
- IntelliJ IDEA构建基于maven的spark+hbase工程(scala语言)
- IntelliJ IDEA Maven,Eclispe Maven,sbt 创建spark Scala和Java项目
- intellij idea新建maven项目
- ubantu(linux)构建开发环境(JDK/intellij idea/maven)
- IntelliJ IDEA Maven项目下文件夹不能右键新建java文件等文件的解决办法
- 利用IntelliJ IDEA和eclipse建立Scala工程
- IntelliJ IDEA 普通java工程如何转为maven工程
- Intellij IDEA 把普通java工程转为maven工程
- Intellij Idea 创建 Maven 工程
- IntelliJ IDEA 创建Maven 工程
- Windows下使用IntelliJ IDEA创建Maven工程
- AI大事件 | 人类理解行为数据集推出,Uber发布自家分布式深度学习框架
- 用公开语料推进NLP研究,孵化现象级产品 | 专访阿里AI Labs聂再清
- Java并发编程-同步辅助类之Phaser
- ThinkPHP根据时间显示不同的问候语
- 网络安全工程师的学习路线
- Intellij Idea Linux环境下 新建Maven(java)和Scala工程
- java实现个人所得税计算
- 二维码的生成细节和原理
- dedecms常用标签
- GANs正在多个层面有所突破
- JZOJ5419. 【NOIP2017提高A组集训10.24】线段树
- L1-008. 求整数段和
- js取项目上下文
- mark