scala数据切割分片
来源：互联网 发布：淘宝店铺怎么虚拟发货 编辑：程序博客网 时间：2024/05/16 08:06
import scala.collection.mutable.ArrayBuffer
def dfOfPartition(input: Iterator[Int]) = {
var a = ArrayBuffer[Int]()
input.foreach { elem => a+=elem}
a.toDF
}
val list = 1 to 100
val rdd = sc.parallelize(list,10)
val result = rdd.mapPartitions(partition => Iterator(dfOfPartition(partition)))
result.collect().foreach(println)
def dfOfPartition(input: Iterator[Int]) = {
var a = ArrayBuffer[Int]()
input.foreach { elem => a+=elem}
a.toDF
}
val list = 1 to 100
val rdd = sc.parallelize(list,10)
val result = rdd.mapPartitions(partition => Iterator(dfOfPartition(partition)))
result.collect().foreach(println)
0 0
- scala数据切割分片
- 分组、分片、数据报
- 数据分片与路由
- Redis数据分片
- 数据分片与路由
- solr数据分片相关
- 数据的水平切割
- IP数据报进行分片
- Mongodb数据分片的实现
- Redis数据分片以及扩容
- 数据分片路由抽象模型
- 利用MyCAT实现数据分片
- php中$符号切割数据
- cocos-九宫格数据切割
- 大数据图数据库之数据分片
- 大数据日知录--数据分片与路由
- 分片
- Mongodb数据分片的维护(新增分片到已有的分片复制集)
- 个人主页
- javascript的同源策略以及jsonp请求百度天气接口
- 改变状态栏背景颜色
- 虚拟机装完Centos7提示Initial setup of CentOS Linux 7 (core)
- how to install ruby version manager(rvm)
- scala数据切割分片
- 两人份版意式蘑菇菜汤
- 206. Reverse Linked List
- 关于TCP快速重传的细节-重传优先级与重传触发条件
- 配置pam时出错： 401 Unauthorized Could not authenticate using provided credentials
- 配置管理(3) salt-api安装、配置、使用
- macos中切换同一程序的不同窗口
- 【Bash百宝箱】shell变量及扩展
- mybatis中插入和读取mysql的blob/text类型数据
