spark源码学习笔记

1、什么是函数式编程：一个函数可以作为另外一个函数的参数，类似于数学中的复合函数

2、常用函数：filter，map& flatmap

3、spark的关键组件：Master 、Worker、SparkContext、CoarseGrainedExecutorBackend（standalone模式）

4、worker向master注册

5、提交Task的过程：确定要提交的stage后，根据默认的并行数（spark.default.parallelism=n）,把元数据分成n份，同时封装n个Task，通过网络发送到CoarseGrainedExecutorBackend的线程池中，并行的执行。