Mapr与Mapr-FS工作(一)——块大小
来源:互联网 发布:linux touch cat 命令 编辑:程序博客网 时间:2024/04/28 08:05
在MAPR-FS文件被分成块(类似于Hadoop的块)通常,256 MB的默认。65,536个字节的任意倍数是一个有效的块大小,但正确地调整大小是很重要的:
- 较小的块尺寸导致较大的地图的任务数量,这可能会导致较低的性能由于任务调度开销
- 较大的块大小需要更多的内存来map任务的输出,它可以崩溃了JVM或添加显著垃圾收集的开销排序
MAPR可以在以上的有300 MB每秒提供一个单一的数据流,使其能够使用比在股票Hadoop的大数据块。一般情况下,明智的做法是设置64 MB和256 MB之间的块大小。
块大小设置在目录级。文件继承包含它们的目录的块大小设置,因为这样做对哪些块大小尚未明确设定子目录。写的一个Hadoop的应用程序的任何文件,无论是通过文件API或通过NFS,使用由对所在的文件写入的目录设置中指定的块大小。如果更改写入文件后的目录中的块大小设置,该文件将保留旧的块大小设置。进一步的写入到文件将使用文件的现有块大小。
设置块大小
您可以设置块大小的方法有两种给定目录:
- 改变
块大小
的属性。dfs_attributes文件在目录的顶层 - 使用命令
hadoop的MFS -setchunksize <SIZE>的<Directory>
例如,如果音量测试
是NFS的安装在/ MAPR / my.cluster.com /项目/测试
,您可以通过编辑文件中设置块大小为268,435,456字节/ MAPR / my.cluster.com /项目/测试/ 。dfs_attributes
和设置CHUNKSIZE = 268435456
。为了实现从同样的事情Hadoop的
外壳,使用以下命令:
0 0
- Mapr与Mapr-FS工作(一)——块大小
- Mapr与Mapr-FS工作(二)——块大小
- MapR与Mahout工作(一)——Mahout升级
- Mapr与Mapreduce的工作(一)
- Mapr与Mapreduce配合工作(七)——MAPR提供快速通道(称为ExpressLane)
- Mapr与Mapreduce配合工作(六)——调整您的MAPR安装
- Mapr搜索指南(一)——Mapr全文检索
- Mapr与Cascading工作(一)——升级Cascading
- Mapr与Flume工作(一)——升级Flume
- Mapr与HCatalog工作(一)——HCatalog的升级
- Mapr与Hive工作(二)——使用HiveServer2
- Mapr与Hive工作(三)——升级hive
- Mapr与Hive工作(一)——Hive的的ODBC连接器
- Mapr与Cascading工作
- Mapr与Flume工作
- Mapr与Hbase工作
- Mapr与HCatalog工作
- Mapr与Hive工作
- Understanding DBMS_STATS.SET_*_PREFS procedures
- 面试题之自创 实现两个整型大数(都是正数)的相减操作
- 2013年EMR软件实施年终总结
- 关于二叉堆、优先级队列、AVL TREE和RB TREE的总结
- repo 使用goagent 代码下载android源码
- Mapr与Mapr-FS工作(一)——块大小
- Mapr与Mapr-FS工作(二)——块大小
- Mass Spectrometry Blog
- LeetCode(26)Remove Duplicates From Sorted Array
- 有效逻辑地址所对应的物理地址
- WebService开发实例(java代码)
- Mapr使用数据
- 关于程序员的59条搞笑但却真实无比的编程语录
- 读书笔记-《基于Oracle的SQL优化》-第二章-1