spark sql读取mysql数据源并且将结果写入mysql

来源:互联网 发布:上海首届网络文化节 编辑:程序博客网 时间:2024/05/20 04:48

一、创建测试表t_user2、user_t和t_result


1、t_user2表结构如下:


2、user_t表结构如下:


3、t_result表结构如下:


4、插入测试数据:


二、创建maven工程,导入mysql驱动包、spark相关包

mysql-connector-java.5.1.24.jar
spark-assembly-1.6.2-hadoop2.6.0.jar
spark-examples-1.6.2-hadoop2.6.0.jar

注:pom.xml文件内容如下


三、创建本地执行的scala代码类:

SparkSqlMysqlDatasource.scala

结果:

id  12 ,name  cassie, age  25
id  11 ,name  zhangs, age  25
id  23 ,name  zhangs, age  34
id  22 ,name  tom, age  23
name zhangs
age    138.5


四、查看数据库表t_result,发现刚才从mysql中读取出来的数据已经插入到表中





以上内容已经测试通过,可根据需要修改,如有疑问请留言!谢谢



1 0
原创粉丝点击