spark从零开始

来源:互联网 发布:中国未来 通胀 知乎 编辑:程序博客网 时间:2024/06/06 09:00
    好像是以后有spark的项目,然后,就开始学习spark。    正儿八经的从0开始,看了几天文档,看了几天视频,敲了点代码,ran然呼呼的,似懂非懂,跟大家交流下。    spark目前为止的感觉是要比java 好用,不用担心类型,不用担心调用,不用担心返回值啥的,代码简单...巴拉巴拉 一堆的好处,缺点就是难,不好想,java可以边写边想,这个就得想好了再写,还有写高级函数,函数中有函数,各种匿名函数,各种操作。还有就是想学好spark,还是先学习下scala,spark的语法计数应该就是来自scala。    整个环境我装了一天还多,一个字,烦。    各种版本问题,还有网上好多过期的不能用的链接。下载安装好后,一运行版本不行,尴尬的不要不要。    建议大家直接下一个scala—SDK ,eclipse的环境,用的也熟悉。    我装的版本是 spark-1.6.1-bin-hadoop2.6,hadoop-2.6.5.tar,Scala-version-2.10.6,JDK是1.8,用着没啥故障。    环境啥的和java一样,scala,spark,hadoop都要配。具体的网上搜搜。    这几天一直都是在看scala的基础,之前主要是写java,学习scala还好,但是太多的地方不一样,不得已还得从类型开始看,别说,没看一遍都会有收获的,所以哈,还是要建议刚开始学的童鞋,一定要从最基础的开始看,系统的学习。    项目组两个月没项目做了,整天都是嫌的蛋疼,看这看那,没点目的性,有志同道合的兄台给建议下,发展之路哈。
原创粉丝点击