【spark】使用scala读取项目中的文件的方法

在IDAL下面读取本地文件，可以使用绝对路径也可以使用相对路径

一，直接路径的表达：

val path2 ="E:\\data\\TEST1.txt"val data = sc.textFile(path2)data.foreach(println)

直接将文件的绝对路径放在某个变量中，然后再使用textFile()读取里面的内容

但是一般开发都采用这种方法吧

二，相对路径

在使用maven创建的项目中，在编译时会在项目下生成target文件夹，其下面的class文件夹里面生成src->main中的数据如resources中的文件或者是scala文件夹下面的.scala文件的“倒影”。

所以寻找文件的相对位置时，要先找到target这个目录下的地址，然后再找具体的文件。

下面这三条语句都能找到这个地址：

val resource1: URL = Test.getClass.getClassLoader.getResource("")    val resource2: URL = MyRouteMain.getClass.getResource("")    val resource3: URL = MyRouteMain.getClass.getResource("/")    println("resource1 => " + resource1)    println("resource2 => " + resource2)    println("resource3 => " + resource3)

打印结果如下：

resource1 => file:/E:/mycode/Spark/mylearn/target/classes/resource2 => file:/E:/mycode/Spark/mylearn/target/classes/org/resource3 => file:/E:/mycode/Spark/mylearn/target/classes/

可见第一、三条语句寻找的是文件class的地址，第二条语句具体的class所在的文件夹地址。然后通过：

val path3 = resource1+"data/hello.txt"val data = sc.textFile(path3)data.foreach(println)

来输出文件中的内容。