Spark的安装配置以及初步测试
来源:互联网 发布:进销存 淘宝 编辑:程序博客网 时间:2024/05/29 17:40
简单来说Spark就是专为大规模数据处理而 设计的快速通用计算引擎
spark伪分布式安装配置
1、解压
$ tar -zxvf /opt/softwares/spark-1.6.1-bin-2.5.0-cdh5.3.6.tgz
2、配置,添加属性
$ mv spark-env.sh.template spark-env.sh
JAVA_HOME=/opt/modules/jdk1.7.0_79
SCALA_HOME=/opt/modules/cdh/scala-2.10.4
HADOOP_CONF_DIR=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop
3、启动HDFS服务
$ sbin/start-dfs.sh
4、启动
$ bin/spark-shell
PS:
常见问题
若处于安全模式,则可以强制离开
$ bin/hadoop dfsadmin -safemode leave
Spark的数据处理流程
a)数据输入(从数据源获取数据)
b)数据处理(ETL等)
c)数据输出(数据持久化)
d)结果展示(如:图表形式)
** 示例一 (最常见的用法,先忽略掉实现的细节)
val rdd = sc.textFile(“/input/a.txt”) //hdfs路径
val wcrdd=rdd.flatMap(line=>line.split(“\t”)).map(word=>(word,1)).reduceByKey((a,b)=>(a+b))
wcrdd.saveAsTextFile(“wc-spark1”) //默认路径为/user/tom
** 示例二
val rdd = sc.textFile(“/input/a.txt”)
val linerdd=rdd.flatMap(line=>line.split(“\t”))
val kvrdd=linerdd.map(word=>(word,1))
val wcrdd=kvrdd.reduceByKey((a,b)=>(a+b))
wcrdd.saveAsTextFile(“wc-spark2”)
** 示例三
val wcrdd=sc.textFile(“/input/a.txt”).flatMap(line=>line.split(“\t”)).map(word=>(word,1)).reduceByKey((a,b)=>(a+b)).saveAsTextFile(“wc-spark3”)
** 示例四
val rdd = sc.textFile(“/input/a.txt”)
//如果某参数只使用一次,则可以使用下划线来代替
val wcrdd=rdd.flatMap(.split(“\t”)).map((,1)).reduceByKey(+)
wcrdd.saveAsTextFile(“wc-spark4”)
- Spark的安装配置以及初步测试
- spark-sql 安装,配置以及测试
- Spark 安装配置简单测试
- spark的安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置yuan
- Spark 入门之一:CentOS 6.5 下Spark 1.4 的安装以及配置
- spark的安装及测试
- spark源码编译、配置安装、测试
- JDK的下载,安装,环境变量的配置以及测试
- Puppet的在centos6.6下的初步安装配置以及证书注册
- redis安装以及主从的简单配置测试
- mysql的下载,安装与配置以及测试
- 安装VMware以及centos的初步介绍
- matlab的安装以及初步使用
- Spark 0.9的安装配置
- spark的配置与安装
- Spark的安装和配置
- RGB "Bayer" Color and MicroLenses
- filter、map、reduce、lambda(Python)
- 如何取得视频流数据?
- WebStorm mac版破解方法
- 登录记住密码
- Spark的安装配置以及初步测试
- Qt5 由.ui文件生成.pro文件和C++文件
- js输出当前时间到指定位置
- java 反射机制
- Intellij IDEA窗口不见了
- 程序员不成熟的若干个特征
- poj 2286 The Rotation Game 迭代加深搜索
- Mongodb学习笔记 --- 概念操作整理
- Qt4 工程升级为Qt5工程