Spark将计算结果写入到Mysql中
来源:互联网 发布:网络封包抓取工具 编辑:程序博客网 时间:2024/05/29 23:48
在《Spark与Mysql(JdbcRDD)整合开发》文章中我们介绍了如何通过Spark读取Mysql中的数据,当时写那篇文章的时候,Spark还未提供通过Java来使用JdbcRDD的API,不过目前的Spark提供了Java使用JdbcRDD的API。
1、你最好使用forEachPartition 函数来遍历RDD,并且在每台Work上面创建数据库的connection。
2、如果你的数据库并发受限,可以通过控制数据的分区来减少并发。
3、在插入Mysql的时候最好使用批量插入。
4、确保你写入数据库过程能够处理失败,因为你插入数据库的过程可能会经过网络,这可能会导致数据插入到数据库失败。
5、不建议将你的RDD数据写入到Mysql等关系型数据库中。
今天主要来谈谈如果将Spark计算的结果写入到Mysql或者其他的关系型数据库里面。其实方式也很简单,代码如下:
package scalaimport java.sql.{DriverManager, PreparedStatement, Connection}import org.apache.spark.{SparkContext, SparkConf}object RDDtoMysql { case class Blog(name: String, count: Int) def myFun(iterator: Iterator[(String, Int)]): Unit = { var conn: Connection = null var ps: PreparedStatement = null val sql = "insert into blog(name, count) values (?, ?)" try { conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/spark", "root", "123456") iterator.foreach(data => { ps = conn.prepareStatement(sql) ps.setString(1, data._1) ps.setInt(2, data._2) ps.executeUpdate() } ) } catch { case e: Exception => println("Mysql Exception") } finally { if (ps != null) { ps.close() } if (conn != null) { conn.close() } } } def main(args: Array[String]) { val conf = new SparkConf().setAppName("RDDToMysql").setMaster("local") val sc = new SparkContext(conf) val data = sc.parallelize(List(("www", 10), ("iteblog", 20), ("com", 30))) data.foreachPartition(myFun) }}其实是通过foreachPartition遍历RDD的每个分区,并调用普通的Scala方法来写数据库。在运行程序之前需要确保数据库里面存在blog表,可以通过下面语句创建:
CREATE TABLE `blog` ( `name` varchar(255) NOT NULL, `count` int(10) unsigned DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf-8然后直接运行上述的代码即可。运行完成你就可以在数据库里面查询结果:
SELECT * FROM blog b;www 10blog 20com 30需要注意的是:
1、你最好使用forEachPartition 函数来遍历RDD,并且在每台Work上面创建数据库的connection。
2、如果你的数据库并发受限,可以通过控制数据的分区来减少并发。
3、在插入Mysql的时候最好使用批量插入。
4、确保你写入数据库过程能够处理失败,因为你插入数据库的过程可能会经过网络,这可能会导致数据插入到数据库失败。
5、不建议将你的RDD数据写入到Mysql等关系型数据库中。
0 0
- spark将计算结果写入到mysql中
- Spark将计算结果写入到Mysql中
- Spark将计算结果写入到Mysql中
- 将Mysql查询结果写入到文件
- spark sql读取mysql数据源并且将结果写入mysql
- mapreduce的结果写入到mysql中
- Spark-SQL从MySQL中加载数据以及将数据写入到mysql中(Spark Shell方式,Spark SQL程序)
- Spark写入数据到MySQL
- 从一个文件读取内容计算出结果,将结果写入到另一个文件中
- 如何用vb将计算结果输出到word中?
- python 查询Mysql并将记录写入到Excel中
- python【番外篇】:将xml中的数据写入到mysql中
- 将MySQL中sql运行结果保存到文件
- MySQL将查询结果插入到数据表中
- 将MySQL中sql运行结果保存到文件
- MySQL将查询结果插入到数据表中
- MySQL将查询结果插入到数据表中
- 将mysql的查询结果保存到文件中
- Spark函数讲解序列文章
- iOS开发之理解iOS中的MVC设计模式
- Java SE 回顾(一) 数据类型&异或
- 在ie8上js实现简单的combobox功能(支持拼音检索)
- C语言位运算的高级应用(尤其适合单片机和嵌入式编程)
- Spark将计算结果写入到Mysql中
- web应用程序
- dnscrypt-proxy+dnsmasq搭建无污染DNS服务器
- HTML---网页编程基础知识
- assets目录和res/raw目录的区别
- 杨辉三角-金字塔格式输出
- javascrip常用功能封装框架
- [致敬陈景润]几个基础数论问题证明
- ASP.NET新闻发布系统初识