Hbase开发提高

首先需要安装配置HDFS和eclipse，此步骤可通过前面的博客查阅。运行此过程时可以考虑在eclipse中加入Hadoop插件对HDFS文件进行管理，此过程暂不做描述，可自行查找相关教程文档。

 

1. 通过终端开启Hadoop

$ start-all.sh

$jps

 

2. 打开eclipse，创建project，创建包和class

 

3. 导入jar包，Build Path → Configure Build Path... ，导入Hadoop下和文件lib下的所有jar包

 

4. 编写代码实现相应功能

package com.jdk.hdfs;
 
import java.io.IOException;
import java.net.URI;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
 
public class ls {
 
/**
 * @param args
 * @throws IOException 
 */
public static void main(String[] args) throws IOException {
//查看文件夹
//String dir = "/";
//Configuration conf = new Configuration(); 
////conf.set("fs.defaultfs", "hdfs://196.168.152.141:9000/");  //如果是在本地运行，则可以直接使用conf，不需要加URI链接，如果运行的是集群，则需要添加URI链接，下同
//FileSystem fs = FileSystem.get(conf);
//FileStatus[] filestatus = fs.listStatus(new Path(dir));
//Path[] list = FileUtil.stat2Paths(filestatus);
//for (Path path : list){
//System.out.println(path.toString());
//}
//fs.close();
//新建文件夹
//Configuration conf = new Configuration(); 
//FileSystem fs = FileSystem.get(URI.create("hdfs://196.168.152.141:9000/"),conf);
//fs.mkdirs(new Path("/hi"));    // 文件“hi”即为创建的文件夹
//fs.close();
//删除文件夹
//Configuration conf = new Configuration(); 
//FileSystem fs = FileSystem.get(URI.create("hdfs://196.168.152.141:9000/"),conf);
//fs.delete(new Path("/hi"),true);    // 文件“hi”即为删除的文件夹
//fs.close();
//导入文件
//Configuration conf = new Configuration(); 
//FileSystem fs = FileSystem.get(URI.create("hdfs://196.168.152.141:9000/"),conf);
//Path src = new Path("需要导入的文件的路径");
//Path dst = new Path("导入到HDFS的目标文件夹，如刚才创建的“/hi”文件");
//fs.close();
}
}

 

4. 新建class，编写代码

package com.jdk.hdfs;
 
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
 
public class ReadHDFS {
 
/**
 * @param args
 * @throws IOException 
 */
public static void main(String[] args) throws IOException {
//读取HDFS中的文件
String dir = "HDFS中需要读取的目标文件及其目录";
Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf);
FSDataInputStream file = fs.open(new Path(dir));
BufferedReader in = null;
String line;
in = new BufferedReader(new InputStreamReader(file,"UTF-8"));
while((line = in.readLine()) != null){
System.out.print(line);
}
if(in != null){
in.close();
}
fs.close();
 
}
 
}