spark读取mongodb(maven)
来源:互联网 发布:淘宝联盟怎样注册账号 编辑:程序博客网 时间:2024/06/05 04:29
<!--spark连接mongodb-->
<dependency> <groupId>org.mongodb.spark</groupId> <artifactId>mongo-spark-connector_2.11</artifactId> <version>2.0.0</version></dependency><dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.0.0</version></dependency>
import com.mongodb.spark._import com.mongodb.spark.config.ReadConfigimport org.apache.spark.{SparkConf, SparkContext}
def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setAppName("Get_Company_From_Mongodb_Spark") .set("spark.mongodb.input.uri", "mongodb://password:user@mongo_ip:port/app_data.enterprise_data_gov") val sc = new SparkContext(conf) val readConfig = ReadConfig(Map("database" -> "app_data", "collection" -> "enterprise_data_gov", "readPreference.name" -> "secondaryPreferred"), Some(ReadConfig(sc))) val res = sc.loadFromMongoDB(readConfig)}
阅读全文
0 0
- spark读取mongodb(maven)
- spark读取mongodb
- spark读取mongodb数据
- spark mongodb
- spark mongodb
- MongoDB Spark
- spark源码编译(maven)
- spark处理mongodb数据(python版)
- spark连接mongodb(权限认证)示例
- 【MongoDB】【Spark】在MongoDB上使用Spark
- kafka + spark streaming 实时读取计算 nginx 日志,存储结果到 mongodb/mysql
- [spark]spark读取postgresql的表(纯SQL方式)
- spark(2)-入门spark之java maven wordcount实验
- Spark学习(文件读取路径)
- Spark学习(文件读取路径)
- Spark学习(文件读取路径)
- vue( axios )node mongodb 读取数据库
- MongoDB整合Spring(Maven项目)
- Vue2.0 探索之路——生命周期和钩子函数的一些理解
- 初识Linux
- hdu1114Piggy-Bank (完全背包)
- POJO对象
- java获取调用者文件多,类名,方法,行号信息
- spark读取mongodb(maven)
- codeforces 20C 只能用dijstra堆优化或者spfa
- Snax(方便实现skynet服务)
- linux c 实现 获取系统内存,某进程cpu利用率,以及某端口的网络状况
- (hnust 1601)名字缩写(map存储前缀)
- 普通树(非二叉树)和森林的深度优先遍历和广度优先遍历说明
- jmeter 安装插件
- 各种获取控件坐标的方法总结
- 初来乍到