在windows本地编写spark的wordcount
来源:互联网 发布:nginx 如何配置conf 编辑:程序博客网 时间:2024/05/13 05:10
最近要用到spark,这里记录以下在windows本地搭建spark的词频统计的整个流程。首先明确一下版本,这里用的是hadoop-2.7.0版本,spark版本必须要与之对应,这里用的是下面这个,下载地址在这里http://spark.apache.org/downloads.html ,这里用的是scale ide,对应的scala版本是2.11.8,对应的jdk是1.8,好了废话不多说,直接进入正题。
1 .首先创建一个scale project,起名为SparkTest,当然这里随便起名,一路默认点击下去后点击finish。
2 .创建之后见下图
3 .这里需要导入之前下载的spark压缩包里面jars下面的所有jar包。
4 .这里考虑到为了以后方便使用,不采用创建lib文件夹的方式引入jar包,而是下面这种创建一个用户库的方式将所有jar包引入命名为一个单独的库的形式。
5 .右击项目,build-path—–>>选择configure path进入下面这个
6 .选择 add library,选择user library
7 .一路next下去,最后新建一个用户库,因为之前已经创建了Spark库,所以这里随便起个名就行
8 .之后在新创建的这个库名上选中add External Jars,添加外部的jar包,直接将之前压缩包下的jars下面的jar包全部拷贝过来,之后点击完成,以后用的时候直接选择这个user library库即可,非常方便
9 .接下来是编写wordcount测试代码进行测试,先创建一个txt文件,内容随便写
10 .接下来编写一个Scala Object文件进行执行,代码见下,这里都给上了注释
11 .执行该代码后见控制台输出下面内容表明成功
12 .以上是在编译工具搭建一个spark demo的例子,核心就是引入spark所需的jar包,另外这里附上加餐,有人喜欢在cmd命令下进行开发,那么只需要配置一下环境变量即可,具体见下图
13 .设置完后点击保存,之后进入cmd命令,输入spark-shell,需要等待一段时间,之后出现下面内容,表明环境变量配置成功
14 .以上是在cmd窗口上进入spark的方式,至此两种方式都已经介绍完了,over收工。
- 在windows本地编写spark的wordcount
- 启动Spark Shell,在Spark Shell中编写WordCount程序,在IDEA中编写WordCount的Maven程序,spark-submit使用spark的jar来做单词统计
- scala本地wordcount的程序编写
- Spark Streaming 1:入门程序windows或linux下监听端口或本地目录的wordcount
- 利用Scala编写Wordcount并在spark框架下运行
- spark在windows本地调试
- idea运行spark的wordcount与eclipse运行spark的wordcount示例,及本地运行sparkpi
- win7本地spark跑wordcount
- 007-spark的wordCount
- Spark入门的WordCount
- Spark的WordCount详解
- Spark实战----(1)使用Scala开发本地测试的Spark WordCount程序
- scala-eclipse 编写spark简单程序 WordCount
- spark shell中编写WordCount程序
- eclipse编写wordcount提交spark运行
- 编写第一个Spark程序WordCount
- Spark 的JAVA版 wordCount
- Spark-windows 下安装和wordcount使用
- Ethereum Docker开发环境搭建(Mac版)
- WEB服务器的配置与管理
- Qt数据库开发实例(sqlite数据库)
- LeetCode131 Palindrome Partitioning
- 操作系统原理与实践5--内核栈切换的进程切换
- 在windows本地编写spark的wordcount
- Spring框架初学
- iOS 高仿《丁香医生》
- LeetCode132 Palindrome Partitioning II
- ABOUT INTERNET
- spring framework体系结构及内部各模块jar之间的maven依赖关系[即spring引入所需要的所有jar包]
- AJAX处理php文件示例
- LeetCode133 Clone Graph
- SARSA和Q-learning算法