spark2.0.2测试spark-shell
来源:互联网 发布:网络兼职推广语 编辑:程序博客网 时间:2024/04/27 12:41
spark2.0.2测试spark-shell
上一篇文章介绍的是如何进行spark环境的搭建以及启动和关闭spark。本篇文章讲述的是如何在spark上利用spark-shell进行简单的测试。
下面上货:
首先看截图:
1、首先进入到命令行模式:
/home/spark/bin/spark-shell
然后就能看见spark的图标了。
2、在scala命令行中输入如下命令:
val line = sc.textFile("/wordcountinput/123")
这句话的意思是读取hdfs中的/wordcountinput/123文件
然后再使用line.count获得行总数。
3、再次使用scala命令行进行本地文件的测试:
val line= sc.textFile("file:///home/spark/conf/spark-env.sh")
测试一下本地文件/home/spark/conf/saprk-env.sh的行数。
运行截图最开始已经给出了。
0 0
- spark2.0.2测试spark-shell
- spark-shell脚本浅析(Spark2.0.0)
- spark-shell 测试demo_for_SQL
- spark-shell的环境测试
- spark:spark启动、spark-shell启动及测试--7
- 【spark】spark2.1.1集群搭建
- Spark2.1.1<Spark架构综述>
- 通过Spark的shell测试Spark的工作
- 通过Spark Shell测试Spark集群以cache机制
- 【Spark】Spark2.0.2在Hadoop2.7.3上的安装 二(集群安装)
- 初识Spark2.0之Spark SQL
- spark2.0 英文翻译 Spark Programming Guide
- Spark<集群搭建Centos7.3+Spark2.1.1>
- Spark【基础篇】Spark2.2.0集群搭建
- 初识Spark2.0之Spark SQL
- Spark2.1.0文档:Spark编程指南-Spark Programming Guide
- spark2.x shell 客户端操作sparkSQL
- Spark2.0.2集群部署
- 优秀的架构师需要那些专业和软技能?
- js字符串转换成数字与数字转换成字符串的实现方法
- CH5---php从入门到精通
- Mysql数据复制策略
- 解决maven不支持EL表达式和在jstl中el表达式报错问题
- spark2.0.2测试spark-shell
- SSH框架之Hibernate的List集合映射、数组映射、List集合的数据保存
- Android基于Socket的网络通信
- 数据库总结图
- 利用java socket实现远程视频
- linux 终极shell zsh 及增强工具 oh-my-zsh 一并安装
- 苏嵌30 16.12.16
- 修改mysql数据存储目录
- Dynamic Shadow Projector