IDEA创建项目以及打包

来源：互联网发布：平安知鸟app下载安装编辑：程序博客网时间：2024/06/02 07:19

根据《大数据Spark企业级实战》中的“3.3 实战：在IDEA中开发代码，并运行在Spark集群中”改编。

使用“File -> New -> Project” 创建一个新项目

选择Scala，点击Next

命名工程，选择Project SDK和Scala SDK，点击Finsh完成创建。

完成创建后的界面

Ctrl+Shift+Alt+S 进入Project Structure窗口，点击Project可以修改属性

点击Modules，选择NewFolder

创建main/scala文件夹

将main/scala文件夹的属性修改为Sources

点击绿色的“+”，引入Scala sdk

引入Spark开发所需的jar包

导入后的界面如下图所示

导入包完成后，在工程的scala下面创建一个package，如下图所示

输入包名，点击“OK”完成package的创建

右击包名，选择New -> Scala Class

输入Object对象的名称

编写Spark代码

Ctrl+Shift+Alt+S，选择Artifacts -> JAR -> From modules with dependencies

选择Main Class，Main Class是Jar文件中执行的入口函数所在的类。点击“OK”

把名称改为MySparkAPPJar,因为每台机子上都安装了Scala和Spark，所以可以把Scala和Spark相关的jar文件都删除掉：

接下来进行Build，选择Build Artifacts

第一次选择Build，以后同一个工程要选择Rebuild，然后等待编译完成：

编译完成后，可以看到编译后产生的jar文件。

SBT构建项目

SBT是scala官方首推的项目构建工具，但由于天朝网络限制的原因，SBT的远程中央库不能很好的玩耍（下载依赖包特别的慢），故搭建了局域网内的nexus sonatype，来支持局域网内部快速下载依赖包。步骤如下：
    1、下载官方SBT工具http://www.scala-sbt.org/download.html,并解压安装到系统
    2、添加环境变量，SBT_HOME=/xxxx/sbt/    PATH=%SBT_HOME%\bin;
    3、修改在SBT安装目录的conf下的sbtopts文件，加入
        # 覆盖sbt内置的repos 源
        -Dsbt.override.build.repos=true
        # ivy依赖包存储地址
        -ivy D:/ivyrepository
        # sbt运行的jvm内存
        -mem 2048
     4、在cmd执行sbt命令，即可在admin目录下生成.sbt(下载速度慢，卡死)
     5、在.sbt目录下添加一个文件repositories，配置信息如下：
[repositories]
local
my-typesafe-ivy-releases: http://192.168.6.6:8088/nexus/content/groups/ivy-releases/,[organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
my-maven-proxy-releases: http://192.168.6.6:8088/nexus/content/repositories/c9/

6、再次sbt
好了，大家可以愉快使用命令行来使用sbt工具构建scala项目了。

由于SBT本身没有支持自动构建scala开发的类似maven的项目结构，且大家现都使用idea来书写scala。故这里讲下idea使用 SBT来构建scala项目的方法：
1、SBT默认集成在idea（bundle版）,但最好建议使用我们已下载的SBT，以此是idea操作和命令行操作统一；
2、打开idea,并进入settings设置里面设置sbt相关属性：
File-->OtherSettings-->Default Settings

在Launcher(sbt-lunch.jar)选项下面引入我们下载的sbt-launch.jar
   由于idea设置的sbt不知道为什么就是不能引用到全局的sbt里面的配置（可能是本身bug），所以只能是在idea SBT设置界面也定义同样的一套SBT的配置设置。
   找到SBT-->JVMOptions-->VM parameters 点开配置窗体，
   添加
-Xms2048m
-Xmx2048m
-XX:MaxPermSize=512M
-Dsbt.override.build.repos=true
-Dsbt.ivy.home=/media/work/repository

即可以愉快使用Idea愉快玩耍sbt了。

3、idea使用sbt构建scala项目结构
File-->new-- project-->scala 选择SBT

稍等片刻，SBT将会把项目构建成功

0 0