大数据-二
来源:互联网 发布:java while和do while 编辑:程序博客网 时间:2024/06/02 22:34
handoop项目如下:
Common:一系列组件和接口,用于分布式文件系统和通用的I/O(序列化,java RPC和持久化数据结构(RPC是远程调用过程常用与分布式应用);
Avro:一种序列化系统,用于支持高效的跨语言的RPC和持久化数据存储;
Mapreduce:分布式数据处理模型和执行环境,运行于大型商用机集群;
HDFS:分布式文件系统,运行于大型商用机集群;
Pig:数据流语言和运行环境,用以探究非常庞大的数据集.Pig运行在mapreduce和HDFS集群上;
Hive:一种分布式的,按列存储的数据仓库.Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成Mapreduce作业)用以查询数据;
Zookeeper:一种分布式的,可用性搞得协调服务.ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用;
HBase:一种分布式的,按列存储的数据库,HBase使用HDFS作为底层存储,同时支持Mapreduce的批量式计算和点查询(随机读取);
Sqoop:该工具用于在结构话数据存储(如关系行数据库)和HDFS之间高下批量传输数据;
Oozie:该服务用于运行和调度Hadoop作业(如Mapreduce,pig,hive,及sqoop作业)
阅读全文
0 0
- 大数据-二
- 大数据(二) - HDFS
- 大数据(二)
- 大数据(二)
- 大数据(二)--Spark
- 大数据学习笔记<二>
- 大数据学习(二)
- 大数据运营(二)
- 大数据时代(二)大数据的优势
- 大数据技术全解之二
- 贫农的大数据之二(Kafka)
- 大数据的处理方法<二>
- 二、大数据相关的几个名词解释
- 大数据分析技术研究报告(二)
- 深度学习(二)大数据智能
- 深度学习(二)大数据智能
- 大数据学习(二):Hadoop源码分析
- 大数据之Hive(笔记二)
- 不可错过的全面详细介绍Android单元测试的系列文章(一)
- 内存优化
- 有返回值的多线程示例
- pat 甲级 1104. Sum of Number Segments
- spring DI起步
- 大数据-二
- 神经网络学习笔记(二):feedforward和feedback
- Android 保存图片到SQLite,读出SQLite中的图片
- 【CodeForces500B】【贪心】New Year Permutation 题解
- Mybatis知识点备忘
- Spring事务的隔离级别
- 引用数组,指针数组与数组引用,数组指针
- ffmpeg(二) 网络流转发
- 寻找两个链表的第一个公共结点