Alluxio
来源:互联网 发布:大数据安全上市公司 编辑:程序博客网 时间:2024/06/10 22:18
Alluxio是一个基于内存的分布式文件系统的,它是架构在底层分布式文件系统和上层分布式计算框架的一个中间件的额,主要职责是以文件形式在内存或者其它存储设施中提供数据的存储服务
Alluxio=Master+Worker+Client
Master和Worker一起组成了Alluxio的服务端,它们是系统管理员维护和管理的组件的,Client通常是应用程序的,Spark,MapReduce作业的,或者Alluxio的命令行用户,
主Master主要是负责处理全局的系统元数据的,文件系统树,Client可以通过与Master的交互来读取或者修改元数据的,此外所有Worker会周期性地发送心跳给主Master的,来确保它们还参与在Alluxio集群中的,主Master不会主动发起与其他组件的通信,它只是以回复请求的方式与其他组件进行通信,一个Alluxio集群只有一个主Master的
Worker负责管理分配给Alluxio的本地资源,这些资源可以是本地内存,SDD或者是硬盘,Worker以块的形式存储数据,并通过读取或者是创建数据块的方式来处理来自Client的读写数据的请求,但是Worker只负责这些数据块上的数据的,文件到块的实际映射只会存储在Master上的
阅读全文
0 0
- alluxio
- Alluxio
- Alluxio简介
- Spark & Alluxio
- Alluxio简介
- spark&&alluxio
- Alluxio初探
- Alluxio Paper
- Alluxio编译
- Alluxio学习笔记(一):Alluxio介绍
- Alluxio之定位策略
- Alluxio环境搭建
- Alluxio之定位策略
- Alluxio架构图-总
- Alluxio架构图-Master
- Alluxio架构图-Worker
- Alluxio Master - BlockMaster
- alluxio的适用场景
- jQuery选项卡切
- MFC Windows程序设计 读书笔记2
- shell script 显示距离(向前)某一天的时间
- 无限场景
- 网速慢报js语法错误
- Alluxio
- 虚基类、虚函数、纯虚函数的用法及其区别
- 云计算的三种服务模式:IaaS,PaaS和SaaS
- 初学者CG原画动物绘画教程
- react-native-scrollable-tab-view 嵌套react-native-swiper 引发的 bug
- 注意!这6种行为会让自己的征信“招黑”
- js笔记——call,apply
- mips汇编程序中的.set指令使用
- EXCEL编程经验总结