Spark集群启动后进程的简单介绍
来源:互联网 发布:淘宝优惠券领取网站 编辑:程序博客网 时间:2024/06/11 10:19
刚开始学习Spark,首先看一下Spark集群启动之后都会产生哪些进程,方便查看集群是否启动正常。首先介绍下我的Spark集群是以Hadoop的HDFS作为分布式文件存储系统,资源管理系统既可以使用Hadoop的Yarn,也可以使用Spark自带的Standalone模式,当然也可以使用其他的资源管理系统,例如Mesos、EC2等。
我的测试集群是一个master节点和4个worker节点
启动HDFS会产生哪些进程
在master节点上会产生NameNode进程和SecondaryNameNode进程。NameNode进程管理集群的全局数据,而SecondaryNameNode是NameNode的备份,这么做是为了容错。
在worker节点上会产生DataNode进程,该进程管理本台worker上的数据。
启动yarn会产生哪些进程
在master上会产生ResourceManager进程,该进程管理整个集群的内存和CPU等资源。
在worker节点上会产生DataNode进程,该进程管理本worker上的内存和CPU等资源。
启动Spark会产生哪些进程(运行在Standalone模式下)
在master节点上会产生Master进程,该进程管理整个集群的资源。
在worker节点上会产生Worker进程,该进程管理本worker上的资源
这里先做简单的记录,随着学习的深入再不断补充完善。
0 0
- Spark集群启动后进程的简单介绍
- Spark集群启动后进程的简单介绍
- spark 集群启动后,worker 节点worker 进程一段时间后自动结束
- 进程的简单介绍
- 启动spark集群
- 启动hadoop集群后,发现两个namenode都是standby的状态。且namenode上没有启动DFSZKFailoverController进程
- Spark的Master和Worker集群启动的源码分析
- Spark集群启动命令汇总
- 配置Spark standalone集群启动
- Spark集群启动过程分析
- [解决]Spark集群HA无法正常启动的问题
- 启动关闭hadoop集群和spark集群
- 安装spark集群详细介绍
- Spark Standalone集群安装介绍
- Spark集群容错场景介绍
- 安装spark集群及spark介绍
- 使用Spark集群进行ETL的架构介绍
- 集群和负载均衡的简单介绍
- 【翻译】动手动脑玩转Web游戏之三:人物动起来、敌人出现、自定义视角
- 【翻译】动手动脑玩转Web游戏之五:Collada模型、多层创建
- 用户空间和内核空间通讯之【Netlink 上】
- 用户空间和内核空间通讯之【Netlink 中】
- ActiveMQ的介绍与应用-别人的
- Spark集群启动后进程的简单介绍
- 用户空间和内核空间通讯之【Netlink 下】
- 硬盘的存储原理和内部架构
- 小议Linux系统下的文件系统
- 戏说文件系统之ext2【上】
- 戏说文件系统之ext2【下】
- 戏说文件系统之ext2【续】
- 区别RDD、DataFrame和DataSet
- 戏说文件系统之ext3【上】