【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总

免费开通大数据服务：https://www.aliyun.com/product/odps

本文列举了Flume采集网站日志到MaxCompute的一些常见问题，欢迎大家补充；

Q：找不到指定路径的文件

A：本实验要在Linux系统下运行，路径也要写在Linux下的路径

Q：找不到指定sink type的类

A：插件错误，需要用新版本的 flume插件 写新版本的 datahub

Q：不能执行SinkRunner

A：插件错误，需要用新版本的 flume插件 写新版本的 datahub

Q：不识别Datahub  endpoint地址

A：填的 endpoint是 ecs上用的，应填写公网地址

Q：更改endpoint地址后依旧报同样的错

A：虚拟机未能ping通外网，重新设置虚拟机，搭建桥接模式

Q：报ak有错

A：先检查ak是否被禁用，若没有不断刷新页面

Q：上传数据成功后往MaxCompute归档时未成功

A：MaxCompute表的字段和Datahub topic字段大小写不一致（还要注意Flume配置文

   件中a1.sinks.k1.serializer.fieldnames的一致性）

Q：错误，找不到主类

A：不支持文件夹命名带空格，如MaxCompute Project，改为MaxCompute_Project

MaxCompute产品地址：https://www.aliyun.com/product/odps

欢迎加入阿里云数加钉钉群讨论

原文链接：

http://click.aliyun.com/m/13938/