Spark1.6.0 Hadoop2.6.0 单机win7下配置(Intellij IDEA)
来源:互联网 发布:js定义数组长度 编辑:程序博客网 时间:2024/05/02 01:00
1. 首先需要注意的
Scala版本要与Spark相应版本对应
比如Spark1.6.0,官网上给出了依赖
Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).
否则会报错
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
2. 下载Intellij IDEA
下载后只需要注意两点
- 安装scala插件
- 新建工程的时候,选择正确的scala版本,如果如果没有,creat一个
3. 下载spark-1.6.0-bin-hadoop2.6
下载地址:Spark官网下载
4. 下载win下编译版
The official release of Apache Hadoop 2.6.0 does not include the required binaries (e.g., winutils.exe) necessary to run hadoop. In order to use Hadoop on Windows, it must be compiled from source.
网上充斥着2.2.0版本的,今天找到了2.6.0的
附上下载地址:
Hadoop 2.6.0 Windows 64-bit Binaries
5. 配置环境变量
- 在系统变量(也可以是用户变量)里,创建变量HADOOP_HOME,值为上面第4步下载的Binaries的路径;
- 在path后加上,%HADOOP_HOME%\bin。
6. Intellij IDEA依赖添加
在工程的External Libraries里面添加上面第3步spark-1.6.0-bin-hadoop2.6中的lib文件夹下的spark-assembly-1.6.0-hadoop2.6.0.jar
7. 测试
测试可以选择下载的Spark文件中自带的example,此次选择SparkPI。
在工程中新建一个Scala Object, SparkPi, 如下:
package basicimport scala.math.randomimport org.apache.spark._/** * Created by *** on 2016/11/24. */object SparkPi { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("Spark Pi") val spark = new SparkContext(conf) val slices = if (args.length > 0) args(0).toInt else 2 val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow val count = spark.parallelize(1 until n, slices).map { i => val x = random * 2 - 1 val y = random * 2 - 1 if (x*x + y*y < 1) 1 else 0 }.reduce(_ + _) println("Pi is roughly " + 4.0 * count / n) spark.stop() }}
输出结果
1 0
- Spark1.6.0 Hadoop2.6.0 单机win7下配置(Intellij IDEA)
- 在Win7虚拟机下搭建Hadoop2.5.2+Spark1.5.2单机环境
- Spark1.6.0-Hadoop2.6配置过程
- Hadoop2.6.0安装配置(单机)
- Hadoop2.6.0在Win7下的配置
- Intellij IDEA 配置svn(win7)
- hadoop2.6.0伪分布式+spark1.6.0配置记录
- Tachyon0.6.4+Spark1.3+hadoop2.6.0 配置教程详解
- Tachyon0.6.4+Spark1.3+hadoop2.6.0 配置教程详解
- 一、Hadoop2.6.0 单机模式配置
- Ubuntu14.04下安装hadoop2.6.0(单机模式)
- ubuntu下安装Hadoop2.6.0单机模式
- 【hadoop】win7下通过intellij idea对hadoop2.7.3进行访问操作的实践
- Spark1.6.0源码导入(IDEA)
- HaDoop2.6下安装并配置Spark1.6.3
- 【spark】win7-64位下编译spark1.6.0
- spark 1.6.0 安装与配置(spark1.6.0、Ubuntu14.04、hadoop2.6.0、scala2.10.6、jdk1.7)
- IntelliJ IDEA下配置AndroidAnnotations
- Java系列(十四)__多线程
- opengl(未完)
- 关于写博客的一点想法
- 这两天做了一个挻有意思的试验
- 新闻发布项目——业务逻辑层(commentService)
- Spark1.6.0 Hadoop2.6.0 单机win7下配置(Intellij IDEA)
- android自动打开和关闭软键盘
- MySqlpinjie
- Cards
- 封装
- [Debug之路]Linux+QT遇到的问题记录
- 新闻发布项目——业务逻辑层(categoryTBService)
- java线程的生产者消费者模型
- GDB的调试