HadoopDB GlobalHasher的参数问题
来源:互联网 发布:知天下图 编辑:程序博客网 时间:2024/05/21 17:48
hadoop jar hadoopdb.jar edu.yale.cs.hadoopdb.dataloader.GlobalHasher input_path output_path 10 \| 0上面的命令是将数据切分到10个分区内,即集群中的10个结点,最后的参数 0是指对每行记录的第一个字段进行hash,可将其视作键值。
下面是edu.yale.cs.hadoopdb.dataloader.GlobalHasher类中的一段代码,可以看到
该全局hasher要求输入四个参数
//输入 目录FileInputFormat.setInputPaths(conf, new Path(args[0]));// OUTPUT propertiesPath outputPath = new Path(args[1]);HDFSUtil.deletePath(outputPath);FileOutputFormat.setOutputPath(conf, outputPath);//分区数量int partNo = Integer.parseInt(args[2]);conf.setNumReduceTasks(partNo);//分界符conf.set(DELIMITER_PARAM, args[3]);//要hash的字段位置int hashFieldPos = Integer.parseInt(args[4]);conf.setInt(HASH_FIELD_POS_PARAM, hashFieldPos);
- HadoopDB GlobalHasher的参数问题
- 认识HadoopDB
- HadoopDB浅析
- HadoopDB(耶鲁大学的老师弄的基于hive+hadoop的东东)
- HadoopDB混合数据库问世
- HadoopDB集群配置方法
- HadoopDB集群配置方法
- hadoopDB 数据仓库 简介
- HadoopDB安装使用
- setdest的参数问题!
- 两个参数的问题?
- 调用的参数问题
- getParameter()的参数问题
- 可变参数的问题
- MessageBox参数的问题
- 指针参数的问题
- inflate()参数的问题
- 参数的点估计问题
- lpc1788_ucos\uCOSII_cpu\cpu.h --ucosii移植在lpc1788--part2
- iOS开发资源:WSCoachMarksView、Musical Chairs、MBTileParser以及Chat H
- ARP命令详解和解决ARP攻击
- 无线局域网自动切换IP批处理文件
- 哈希表的原理个人理解与浅析
- HadoopDB GlobalHasher的参数问题
- 七周七数据库
- vector的内存释放
- OGRE的材质脚本 (二)
- 使用开源的驰骋表单设计器设计表单案例演示
- 表添加字段的SQL语句写法
- HA+LB+NAS:三层架构实现群集高可用和高性能
- Android实现打电话功能
- embed\app\LNG3A\main.c app_cfg.h os_cfg.h --ucosii移植在LPC1788--oart6