hadoop之libhdfs配置及使用（hadoop1.2.1 + eclipse CDT 使用libhdfs）

hadoop官方的二进制发布版本一直是32位平台编译的，对于java来说跨平台不影响使用，但是为了在c/c++程序中操作hdfs就做不到了，因为libhdfs.so是二进制不兼容的。
可能需要编译：$cd HADOOP_HOME<br>$ant compile-c++-libhdfs -Dislibhdfs=true（ant使用略）
一：文件目录：
我的hadoop和jdk安装路径HADOOP_HOME=/home/hadoop/hadoop-1.2.1，JAVA_HOME=/usr/lib/jvm/jdk1.8.0_45。
二:工程配置
1.库文件配置
使用libhdfs所需的.h和.c文件：hdfs.h，hdfs.c，hdfsJniHelper.h，hdfsJniHelper.c在${HADOOP_HOME}/src/c++/libhdfs/,将其加到工程src中。
而libhdfs是基于JNI的，所以JAVA的头文件也在哪也要告诉GCC。JAVA头文件在$JAVA_HOME/include和$JAVA_HOME/include/linux下。加到工程includes中
（可能需要修正相关文件中.h的路径，例如jni.h中#include "jni_md.h" -> #include "linux/jni_md.h"），
 Project->Properties->C/C++ Build->Settings->Tool Settings->GCC C++ compiler->includes->include path(-l)
2.动态链接库配置
libhdfs的动态链接库libhdfs.so在$HADOOP_HOME/c++/Linux-amd64-64/lib目录下
JAVA的动态链接库在$JAVA_HOME/jre/lib/amd64/server目录下,使用到libjvm.so

a）在eclipseCDT里配置动态库
Project->Properties->C/C++ Build->Settings->Tool Settings->GCC C++ Linker->Libraries
    添加Libraries (-l): hdfs,jvm
    添加Library search path (-L): {libhdfs.so,libjvm.so路径}
/*Project->Properties->C/C++ Build->Settings->Tool Settings->GCC C++ Linker->Miscellaneous
  other options    添加-R/libhdfs.so路径,-R/libjvm.so路径*/
此时可能设置并未生效，继续b）。
b）设置动态链接库的方法为：
/*
运行报错，提示error while loading shared libraries: libhdfs.so.0: cannot open shared object file: No such file or directory，由于hadoop的c++/Linux-i386-32/lib目录下libhdfs.so、libhdfs.so.0、libhdfs.so.0.0.0文件相同，先将libhdfs.so.0改为libhdfs.so.0.bak，再执行

    $ln -s ./libhdfs.so.0.0.0 ./libhdfs.so.0  #为某一个文件在另外一个位置建立一个同步的链接,软链接：ln -s 源文件 目标文件

*/
在/etc/ld.so.conf.d/目录下新建一个.conf文件，然后在文件里填入链接库所在目录。
$sudo gedit /etc/ld.so.conf.d/hdfs.conf
在此文件中填入目录（使用绝对路径）
$JAVA_HOME/jre/lib/amd64/server
$HADOOP_HOME/c++/Linux-amd64-64/lib

 保存，退出，然后执行命令使配置文件生效
$sudo ldconfig       (出现libhdfs.so.0 不是符号连接)
sudo /sbin/ldconfig -v(很重要！！！！)
/*
./testHdfs: error while loading shared libraries: xxx.so.0:cannot open shared object file: No such file or directory

解决方法：把xxx.so.0所在的目录添加到/etc/ld.so.conf中，然后/sbin/ldconfig –v下就可以了。
*/
/*
3.jar包添加到CLASSPATH中
修改/etc/profile：
#为了将hadoop下所有.jar都加到CLASSPATH中
#find /home/hadoop/hadoop-1.2.1/ -name *.jar|awk '{ printf("export CLASSPATH=%s:$CLASSPATH\n", $0); }'
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-lang-2.4.jar:${HADOOP_HOME}/hadoop-core-1.2.1.jar:${HADOOP_HOME}/lib/commons-logging-api-1.0.4.jar:${HADOOP_HOME}/lib/commons-configuration-1.6.jar:${HADOOP_HOME}/contrib/streaming/hadoop-streaming-1.2.1.jar:$CLASSPATH
保存修改：$source /etc/profile
*/
三：样例代码
/* testLibhdfs.c */<br><br>#include "hdfs.h"
 
int main(int argc, char **argv) {
 
    hdfsFS fs = hdfsConnect("default", 0);
    const char* writePath = "/tmp/testfile.txt";
    hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY|O_CREAT, 0, 0, 0);
    if(!writeFile) {
          fprintf(stderr, "Failed to open %s for writing!\n", writePath);
          exit(-1);
    }
    char* buffer = "Hello, World!";
    tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1);
    if (hdfsFlush(fs, writeFile)) {
           fprintf(stderr, "Failed to 'flush' %s\n", writePath);
          exit(-1);
    }
   hdfsCloseFile(fs, writeFile);
}

参考：

http://blog.csdn.net/sprintfwater/article/details/8973089