Hadoop数据分配

来源:互联网 发布:机器人编程语言类型 编辑:程序博客网 时间:2024/04/28 21:23
在Hadoop分配任务时,可以由一步MapReduce将数据拆分,每一份放在一个结点上。经过观察,每一份被分配到的结点是确定而非随机的。而HDFS上的文件,可以在Hadoopfs/data/current/ 下被本地访问。可以用文件创建时间来区分block(最新).
原创粉丝点击