很好-Hadoop通过C的API访问HDFS
来源:互联网 发布:知天命尽人事下一句 编辑:程序博客网 时间:2024/05/21 18:50
在通过Hadoop的C的API 访问HDFS的时候,编译和运行出现了不少问题,在这边,做个总结吧:
系统:Ubuntu11.04,Hadoop-0.20.203.0
样例代码就是参考官方文档中提供到:
编译:官网这样描述
See the Makefile for hdfs_test.c in the libhdfs source directory (${HADOOP_HOME}/src/c++/libhdfs/Makefile) or something like:
gcc above_sample.c -I${HADOOP_HOME}/src/c++/libhdfs -L${HADOOP_HOME}/libhdfs -lhdfs -o above_sample
但是我两个方法都试了,不行,后面发现原来是要少了:
所以完整到makefile就是:
好了,编译通过,但是运行的时候出现以下错误信息:
1.
./testHdfs: error while loading shared libraries: xxx.so.0:cannot open shared object file: No such file or directory
解决方法:把xxx.so.0所在的目录添加到/etc/ld.so.conf中,然后/sbin/ldconfig –v下就可以了。
2.
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration
...
Call to org.apache.hadoop.fs.Filesystem::get(URI, Configuration) failed!
Exception in thread "main" java.lang.NullPointerException
Call to get configuration object from filesystem failed!
解决方法,修改/etc/profile,添加相应的CLASSPATH:
最后,恭喜你,问题解决了。
- 很好-Hadoop通过C的API访问HDFS
- Hadoop通过C的API访问HDFS
- Hadoop通过C的API访问HDFS
- Hadoop-2.6.0上的C的API访问HDFS
- hadoop之HDFS:通过Java API访问HDFS
- 通过 HDFS 的 API 访问文件系
- 使用Hadoop的C API操作HDFS
- hadoop学习笔记--5.HDFS的java api接口访问
- 通过HDFS的API访问文件系统的例子
- 通过JAVA—API访问HDFS 上的文件
- 使用Hadoop API访问Kerberos 安全HDFS
- Java API 访问Hadoop的HDFS文件系统 如果不用FileSystem.get(URI.create("hdfs://.......:9000/"),conf)
- HDFS通过java api进行访问
- Hadoop之HDFS的API
- Hadoop 通过 Maven 用 Java API 对HDFS的读取/写入示例
- Hadoop通过路径和和链接访问HDFS
- Hadoop之HDFS的API实现
- Hadoop HDFS 的 Java API 操作方式
- CodeForces 650 B.Image Preview(二分)
- RabbitMQ的几种应用场景
- Weblogic的三种部署方式
- C与C++中IO流的比较
- 正则表达式基础知识
- 很好-Hadoop通过C的API访问HDFS
- zipalign工具优化apk
- 机器学习、数据挖掘、计算机视觉等领域经典书籍推荐
- 为什么要初始化CSS样式?
- mysql创建定时器(event),查看定时器,打开定时器,设置定时器时间
- button实现href
- Sqlite-JDBC查询datetime类型抛异常
- Robot Framework中经常用的第三方库的安装方法
- Spring AOP