Alluxio

来源:互联网 发布:大数据安全上市公司 编辑:程序博客网 时间:2024/06/10 22:18

Alluxio是一个基于内存的分布式文件系统的,它是架构在底层分布式文件系统和上层分布式计算框架的一个中间件的额,主要职责是以文件形式在内存或者其它存储设施中提供数据的存储服务

Alluxio=Master+Worker+Client
Master和Worker一起组成了Alluxio的服务端,它们是系统管理员维护和管理的组件的,Client通常是应用程序的,Spark,MapReduce作业的,或者Alluxio的命令行用户,

主Master主要是负责处理全局的系统元数据的,文件系统树,Client可以通过与Master的交互来读取或者修改元数据的,此外所有Worker会周期性地发送心跳给主Master的,来确保它们还参与在Alluxio集群中的,主Master不会主动发起与其他组件的通信,它只是以回复请求的方式与其他组件进行通信,一个Alluxio集群只有一个主Master的

Worker负责管理分配给Alluxio的本地资源,这些资源可以是本地内存,SDD或者是硬盘,Worker以块的形式存储数据,并通过读取或者是创建数据块的方式来处理来自Client的读写数据的请求,但是Worker只负责这些数据块上的数据的,文件到块的实际映射只会存储在Master上的

原创粉丝点击