Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone
来源:互联网 发布:淘宝评价完了怎么截图 编辑:程序博客网 时间:2024/06/05 05:24
0.下载安装IDEA
IDEA主页
1.安装Scala插件
2.新建工程
打开新工程后,在src文件夹下新建一个文件夹,名为qyTest2,在里面新建一个scala class,把class的类型改为object。
3.设置Project Structure
打开File-》Project Structure -》Libraries
加入新的lib(new project lib->java),选择Spark目录下的lib文件夹,
选择spark-assembly…..jar
再添加hbase目录下的lib文件夹
在File-》Project Structure-》Artifacts下添加jar包
完成了。
接下来写好代码后只要Build Artifacts
然后 run
run的时候要先配置edit configuration
OK
部分代码:
## 但是我用的时候报错了hrdd.map(tuple => tuple._2).map(result => (result.getRow, result.getColumn("course".getBytes(), "art".getBytes()))).map(row => { ( row._1.map(_.toChar).mkString, row._2.asScala.reduceLeft { (a, b) => if (a.getTimestamp > b.getTimestamp) a else b }.getValue.map(_.toChar).mkString ) }).take(10)
2016.01.09更新:
在打jar包的时候,默认由几个部分组成:
左侧是打入jar包的部分,右侧是可以增加进去的(???)。
左侧又分为:程序的complie output文件和系统的jar包,如Hbase,Spark,Scala
Spark和Scala可以删除,Hbasejar包可以在配置完Spark的classpath后删除。
我的Spark的classpath是在$SPARK_HOME/conf/spark-env.sh
下配置的。
export SPARK_CLASSPATH=/usr/local/cluster/hbase/lib/*
参考:
Windows下IntelliJ IDEA中调试Spark Standalone
Spark操作hbase
Spark:用Scala和Java实现WordCount
0 0
- Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone
- Windows下IntelliJ IDEA中调试Spark Standalone
- Windows下IntelliJ IDEA中调试Spark Standalone
- win7下用Intelij IDEA 远程调试spark standalone 集群
- (二)win7下用Intelij IDEA 远程调试spark standalone 集群
- scala 控制hbase,spark
- Java连接Spark Standalone集群
- IntelliJ IDEA构建基于maven的spark+hbase工程(scala语言)
- spark Standalone
- Spark Standalone
- scala spark hbase 操作案例
- idea本地调试spark
- IDEA调试SPARK程序
- IDEA调试Spark小结
- idea spark远程调试
- idea远程调试 spark
- Spark 连接 Hbase 配置
- spark 连接hbase
- Android开发:常见布局、Logcat和储存方式
- FZU Fire Game
- c#之再战委托事件多线程2_委托和事件结合降低模块低耦合
- Java创建柱状图及饼状图
- 传统线程互斥技术Synchronized01
- Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone
- 1022. Digital Library (30) STL 中 vector,string,map的运用
- iOS开发的52个要点纪要之八
- [leetcode] 97. Interleaving String 解题报告
- LeetCode(279)Perfect Squares
- 在iOS中使用ZXing库
- Eclipse黑色主题,设置字体大小问题
- 使用Timer类的动画
- 网页设计心得报告(2) 网站规划 by wrh