项目管理idea+maven+git

安装idea

参考我之前的博客：
安装idea
修改idea设置
快捷键修改

安装maven

下载地址
下载：

解压到E盘Maven文件夹下：

在Maven文件夹下新建一个LoaclWarehouse文件夹，用作仓库。

修改E:\Maven\apache-maven-3.5.0\conf下settings.xml文件：
在如下图位置：

添加：

<localRepository>E:\Maven\LoaclWarehouse</localRepository>

在mirrors下添加阿里云远程镜像，速度贼快：

<!-- 阿里云仓库 -->        <mirror>            <id>alimaven</id>            <mirrorOf>central</mirrorOf>            <name>aliyun maven</name>            <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>        </mirror>        <mirror>            <id>alimaven</id>            <name>aliyun maven</name>            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>            <mirrorOf>central</mirrorOf>        </mirror>

在profiles下添加，修改jdk为1.8：

 <profile>            <id>jdk-1.8</id>            <activation>                <activeByDefault>true</activeByDefault>                <jdk>1.8</jdk>            </activation>            <properties>                <maven.compiler.source>1.8</maven.compiler.source>                <maven.compiler.target>1.8</maven.compiler.target>                <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>            </properties>        </profile>

添加环境变量：
M2_HOME
E:\Maven\apache-maven-3.5.0
Path
%M2_HOME%\bin;

idea建立maven

在settings里面：

建立新工程：


一直next到结束。

工程建好后，如下图修改：

在pom.xml文件中添加依赖
maven仓库地址
到这个地址中找到你想要的jar包，将其依赖copy到pom里面去

maven会自动将这个jar包对应的所有依赖全部自动加载。

spark开发pom文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    <modelVersion>4.0.0</modelVersion>    <groupId>com.nju.spark</groupId>    <artifactId>com.nju.spark.machinelearning</artifactId>    <version>1.0-SNAPSHOT</version>    <packaging>jar</packaging>    <name>com.nju.spark.machinelearning</name>    <url>http://maven.apache.org</url>    <properties>        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>    </properties>    <dependencies>        <dependency>            <groupId>junit</groupId>            <artifactId>junit</artifactId>            <version>4.12</version>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-core_2.11</artifactId>            <version>2.0.2</version>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11 -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-sql_2.11</artifactId>            <version>2.0.2</version>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-streaming_2.11</artifactId>            <version>2.0.2</version>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.11 -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-mllib_2.11</artifactId>            <version>2.0.2</version>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive_2.11 -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-hive_2.11</artifactId>            <version>2.0.2</version>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-graphx_2.11 -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-graphx_2.11</artifactId>            <version>2.0.2</version>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-yarn_2.11 -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-yarn_2.11</artifactId>            <version>2.0.2</version>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib-local_2.11 -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-mllib-local_2.11</artifactId>            <version>2.0.2</version>        </dependency>        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11 -->        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>            <version>2.0.2</version>        </dependency>        <dependency>            <groupId>com.hankcs</groupId>            <artifactId>hanlp</artifactId>            <version>portable-1.3.4</version>        </dependency>    </dependencies></project>

安装git

git下载地址
安装完成后，在开始菜单里找到“Git”->“Git Bash”，蹦出一个类似命令行窗口的东西，就说明Git安装成功！
安装完成后，还需要最后一步设置，在命令行输入：

$ git config --global user.name "Your Name"$ git config --global user.email "[e-mail]"

具体过程请参见：
廖雪峰Git安装

码云

码云是目前国内比较好的代码托管平台。
码云官方教程如下：
码云教程
安装好插件后可以将之前建立的项目托管到码云上。

数据如何处理

一般上传项目时，不要把本地数据也传上去，比如一些训练数据集。
首先将这些数据打包压缩传到百度云盘上，然后共享出链接，填在项目根目录的README文件里面，因为README作为你的项目的说明是要上传的。
然后在工程根目录下建立 .gitignore文件，其实不用自己建，到下面的网址可以下载：
gitignore
随便拿一个gitignore结尾的文件到工程根目录下，然后在文本编辑器里“保存”或者“另存为”就可以把文件保存为.gitignore了。

*.class/src/main/resource/*

创建doc文档

首先创建README.md文件，添加对项目的说明。
然后生成javadoc文档：


zh_CN
-encoding UTF-8 -charset UTF-8 -windowtitle “SPARK MLLib” -link http://docs.Oracle.com/javase/8/docs/api