windows下安装spark环境
来源:互联网 发布:swift model数组 编辑:程序博客网 时间:2024/06/05 01:58
本机安装JDK1.8.0,spark2.0.1,scala2.12.1
安装JDK
略
安装scala
见上篇
注意:Spark的各个版本需要跟相应的Scala版本对应.
安装Spark
http://spark.apache.org/downloads.html
- 选择对应Hadoop版本的Spark,选择编译好的Pre-built版本,下载完成后将文件进行解压即可。在Spark的文件目录路径名中,不要出现空格。
- 将Spark的bin目录添加到系统变量PATH中。
- cmd命令行中,直接执行spark-shell命令,即可开启Spark的交互式命令行模式。
运行spark-shell 显示scala版本为2.11.8,spark可能自带了scala,或许可以不单独安装scala,未测试。
附:
wordCount
scala> var lines=sc.textFile("C:/Users/Administrator/Desktop/1.txt")scala> lines.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey((a,b)=>a+b).foreach(println)
0 0
- windows下安装spark环境
- windows环境下安装spark
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- windows 下单机安装Spark开发环境
- windows下安装Spark
- Windows 下 spark 安装
- Windows下单机安装Spark开发环境机器 (java, python)
- Windows下单机安装scala-Spark开发环境
- windows环境下搭建spark
- windows下spark环境搭建
- windows下搭建spark环境
- Ejabberd Windows下安装+spark
- windows下安装配置spark
- windows下spark开发环境配置
- windows下spark开发环境配置
- NetBeans无法使用编码GBK安全地打开该文件
- Android 开发之RecyclerView的使用
- LTspice introduction
- go语言fallthrough的用法心得
- 插入排序
- windows下安装spark环境
- 结构体初始化
- Windows安装TensorFlow
- HAProxy与负载均衡概念介绍
- Fiddler 教程
- css3 pointer-events:none 允许点击穿透
- 随机指针链表深复制
- typescript基础类型
- 产品策划流程体系、工具