MaxCompute使用心得
来源:互联网 发布:双色球中奖算法 编辑:程序博客网 时间:2024/05/29 06:30
随着MaxCompute的使用,总结如下:
一。MapperReduce
1,基于Java沙箱的原因,所以不能在Mapper和Reduce中使用操作数据库的例子 。因此只能考虑把这些 从数据库中读取的数值放到Main方法中去使用。
2.如果想给Mapper和Reduce 通过Main方法给传参,官方给的数据只能传String,可以考虑把对象转成JSONString 即可,推荐使用com.google.json. 示例如下
设置值时如下: job.set("invalid_ip_data_json", json.toJson(invalid_ip_set));
取值时如下: String le_params = gson.fromJson(rule_params_json, new TypeToken<HashMap<String, JSONObject>>() { }.getType());
3.当导出格式weicsv时精度有可能只到分钟,此时可以考虑导出格式为txt文本格式。
阅读全文
3 0
- MaxCompute使用心得
- MaxCompute Studio使用心得系列1——本地数据上传下载
- MaxCompute Studio使用心得系列2——编译SQL脚本
- MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况
- MaxCompute Studio使用心得系列1——本地数据上传下载
- MaxCompute Studio使用心得系列2——编译SQL脚本
- 使用 MaxCompute Studio 开发大数据应用
- MaxCompute的分区配置和使用
- MaxCompute分区表和非分区表使用对比
- Odps(MaxCompute)使用时一些问题
- 使用MaxCompute搭建社交好友推荐系统
- 使用MaxCompute进行数据质量核查
- MaxCompute(原ODPS)使用总结-初级篇
- 阿里云大数据实验室:MaxCompute使用体验
- 【干货分享】大数据计算服务MaxCompute使用教程
- 【干货分享】大数据计算服务MaxCompute使用教程
- MaxCompute Next
- 什么是 MaxCompute
- C语言--一个实参与形参赋值引发的思考
- 数据库开发技术 课堂笔记7
- autoCAD2014安装激活
- Android自定义View学习(一):实心圆
- Servlet基础—用户登录
- MaxCompute使用心得
- C语言程序-位操作
- 2017.9.21更新日志
- 3.简单封装ajax
- AI初识
- React native和native交互
- C语言中字符串处理小案例(切割)
- SSH与SSM学习之Spring18——Spring整合JDBC
- 视频项目笔记(2)