MaxCompute使用心得

来源:互联网 发布:双色球中奖算法 编辑:程序博客网 时间:2024/05/29 06:30

随着MaxCompute的使用,总结如下:
一。MapperReduce
1,基于Java沙箱的原因,所以不能在Mapper和Reduce中使用操作数据库的例子 。因此只能考虑把这些 从数据库中读取的数值放到Main方法中去使用。
2.如果想给Mapper和Reduce 通过Main方法给传参,官方给的数据只能传String,可以考虑把对象转成JSONString 即可,推荐使用com.google.json. 示例如下
设置值时如下:
job.set("invalid_ip_data_json", json.toJson(invalid_ip_set));
取值时如下:
String le_params = gson.fromJson(rule_params_json, new TypeToken<HashMap<String, JSONObject>>() { }.getType());
3.当导出格式weicsv时精度有可能只到分钟,此时可以考虑导出格式为txt文本格式。

原创粉丝点击