Hadoop通过C的API访问HDFS
来源:互联网 发布:php 删除文件 编辑:程序博客网 时间:2024/05/16 06:16
在HADOOP_HOM下通过ant compile-c++-libhdfs -Dislibhdfs=true(ant是类似于make的工具,主要应该与java,利用build.xml问价),产生libhdfs.so
或者在HADOOP_HOME/src/c++/libhdfs执行:①./configure --enable-shared JVM_ARCH=tune=k8 --prefix=`pwd`/nativelib
②make install
在通过Hadoop的C的API 访问HDFS的时候,编译和运行出现了不少问题,在这边,做个总结吧:
系统:Ubuntu11.04,Hadoop-0.20.203.0
样例代码就是参考官方文档中提供到:
- #include "hdfs.h"
- int main(int argc, char **argv) {
- hdfsFS fs = hdfsConnect("default", 0);
- const char* writePath = "/tmp/testfile.txt";
- hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY|O_CREAT, 0, 0, 0);
- if(!writeFile) {
- fprintf(stderr, "Failed to open %s for writing!\n", writePath);
- exit(-1);
- }
- char* buffer = "Hello, World!";
- tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1);
- if (hdfsFlush(fs, writeFile)) {
- fprintf(stderr, "Failed to 'flush' %s\n", writePath);
- exit(-1);
- }
- hdfsCloseFile(fs, writeFile);
- }
编译:官网这样描述
See the Makefile for hdfs_test.c in the libhdfs source directory (${HADOOP_HOME}/src/c++/libhdfs/Makefile) or something like:
gcc above_sample.c -I${HADOOP_HOME}/src/c++/libhdfs -L${HADOOP_HOME}/libhdfs -lhdfs -o above_sample
但是我两个方法都试了,不行,后面发现原来是要少了:
- LIB = -L$(HADOOP_INSTALL)/c++/Linux-i386-32/lib/
- libjvm=/usr/lib/jvm/java-6-openjdk/jre/lib/i386/client/libjvm.so
所以完整到makefile就是:
- HADOOP_INSTALL=/home/fzuir/hadoop-0.20.203.0
- PLATFORM=Linux-i386-32
- JAVA_HOME=/usr/lib/jvm/java-6-openjdk/
- CPPFLAGS= -I$(HADOOP_INSTALL)/src/c++/libhdfs
- LIB = -L$(HADOOP_INSTALL)/c++/Linux-i386-32/lib/
- libjvm=/usr/lib/jvm/java-6-openjdk/jre/lib/i386/client/libjvm.so
- LDFLAGS += -lhdfs
- testHdfs: testHdfs.c
- gcc testHdfs.c $(CPPFLAGS) $(LIB) $(LDFLAGS) $(libjvm) -o testHdfs
- clean:
- rm testHdfs
好了,编译通过,但是运行的时候出现以下错误信息:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration
...
Call to org.apache.hadoop.fs.Filesystem::get(URI, Configuration) failed!
Exception in thread "main" java.lang.NullPointerException
Call to get configuration object from filesystem failed!
解决方法:将HADOOP_HOME和HADOOP_HOME/lib下所有到jar包加入/usr/lib/jvm/java-6-openjdk/jre/lib/ext/(其实只要需要到加入,但是不知道哪些是需要的)
最后,恭喜你,问题解决了。
- Hadoop通过C的API访问HDFS
- Hadoop通过C的API访问HDFS
- 很好-Hadoop通过C的API访问HDFS
- Hadoop-2.6.0上的C的API访问HDFS
- hadoop之HDFS:通过Java API访问HDFS
- 通过 HDFS 的 API 访问文件系
- 使用Hadoop的C API操作HDFS
- hadoop学习笔记--5.HDFS的java api接口访问
- 通过HDFS的API访问文件系统的例子
- 通过JAVA—API访问HDFS 上的文件
- 使用Hadoop API访问Kerberos 安全HDFS
- Java API 访问Hadoop的HDFS文件系统 如果不用FileSystem.get(URI.create("hdfs://.......:9000/"),conf)
- HDFS通过java api进行访问
- Hadoop之HDFS的API
- Hadoop 通过 Maven 用 Java API 对HDFS的读取/写入示例
- Hadoop通过路径和和链接访问HDFS
- Hadoop之HDFS的API实现
- Hadoop HDFS 的 Java API 操作方式
- [从架构到设计]第二回:对象的旅行---对象和人,两个世界,一样情怀
- _declspec(dllexport) \__declspec(dllimport)
- java学习资料网站收集
- mysql 性能优化方案
- 《牡丹亭》摘录
- Hadoop通过C的API访问HDFS
- boost c++编译备忘
- java 多线程
- 传递对象
- Windows编写第一个程序注意:
- 对异常的一些体会、认识
- 如何动态修改ddraw 表面的width和height
- (转)URLDownloadToFile
- 黑马程序员——Java集合类