【Spark工作机制详解】 I/O 机制

来源:互联网 发布:cad数控冲床编程 编辑:程序博客网 时间:2024/05/22 04:52


      Spark I/O  不仅需要考虑本地主机的I/O开销,还要考虑数据在不同主机之间到传输开销。 Spark的寻址方式也针对大数据发生改变。


    1 序列化


    2 压缩


   3 Spark 块管理


0 0
原创粉丝点击