统计没有农产品市场的省份有哪些

来源:互联网 发布:三天打鱼两天晒网编程 编辑:程序博客网 时间:2024/05/02 06:13
  /**
      * 统计没有农产品市场的省份有哪些
      */
      //有农产品市场的省份
    val productRDD=sc.textFile("file:///home/tg/datas/product.txt")
    //全国所有的省份
    val provsRDD=sc.textFile("file:///home/tg/datas/allprovince.txt")


    val haveMacket=productRDD.map(m=>m.split("\t"))
      .filter(m=>m.length==6 && m(4)!=null)
      .map(m=>{
        val province=m(4).trim
        (province,province)
      }).distinct() //对省份进行去重


    val allProvs=provsRDD.map(m=>(m,m))
    val result=allProvs.leftOuterJoin(haveMacket)


    println("没有农产品市场的省份有:")
    result.foreach(item=>{
      if(item._2._2==None) //itme._2._2是一个Option
         println(item._1)
    })
0 0