Hadoop第一个程序,利用API向HDFS中写入数据
来源:互联网 发布:linux怎么ping大包 编辑:程序博客网 时间:2024/06/02 15:50
参考:http://f.dataguru.cn/thread-85493-1-1.html
这时学习Hadoop以来写的第一个成功的程序,程序仿照《Hadoop实战》中的PutMerge程序,这里有几个要注意的地方:
1.hdfs的地址是一个网络地址,如下面的:hdfs://localhost:9000/test3
2.确保不会出现“权限不足”的异常
import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;/** * *//** * Hadoop版本1.2.1 * 系统ubuntu 12.04 * JDK 1.7 * */public class PutMerge {public static void main(String[] args) throws IOException {Configuration conf = new Configuration();Path inputDir = new Path("/home/hadoop/input");String serverPath = "hdfs://localhost:9000/test3";Path hdfsfile = new Path(serverPath);FileSystem hdfs = FileSystem.get(URI.create(serverPath), conf);FileSystem local = FileSystem.getLocal(conf);FileStatus[] status = local.listStatus(inputDir);FSDataOutputStream out = hdfs.create(hdfsfile);for(int i = 0; i < status.length; i++) {FSDataInputStream in = local.open(status[i].getPath());byte buffer[] = new byte[256];int byteread = 0;while((byteread = in.read(buffer)) > 0) {out.write(buffer);}in.close();}out.close();}}
- Hadoop第一个程序,利用API向HDFS中写入数据
- Hadoop第一个程序,利用API向HDFS中写入数据
- hadoop小程序---写入hdfs
- Hadoop源码分析HDFS Client向HDFS写入数据的过程解析
- Hadoop向HDFS写入、删除、读取文件
- hdfs 查看文件(第一个hadoop程序)
- hadoop API 写入HDFS简单注释
- 多个程序向同一个kafka topic写入数据
- 第一个hadoop程序(java程序访问hadoop的hdfs文件系统中的文件)
- 利用C#向word文档中写入数据
- 利用C#向word文档中写入数据
- 利用C#向word文档中写入数据
- Python利用xlwt向Excel中写入数据示例
- 浅析hadoop写入数据api
- 浅析hadoop写入数据api
- 浅析hadoop写入数据api
- 浅析hadoop写入数据api
- 第一个hadoop程序
- Could not load file or assembly 'XXXXXXXX' or one of its dependencies. 试图加载格式不正确的程
- 2013C++第10周项目——循环结构程序设计
- GCD一些总结
- linux下 tcpdump 抓包工具
- redis.conf 配置参数说明
- Hadoop第一个程序,利用API向HDFS中写入数据
- 【MySQL】MySQL常用操作集合
- gcc以及Qt的DLL文件调用之总结
- Ubuntu使用笔记_U盘启动&装系统
- android之wifi开发
- 新人报道
- 使用GCD的时候容易犯的小错误总结
- 【Think In Java】 正则表达式
- eclipse各版本代号