【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节:Spark架构设计(2)
来源:互联网 发布:淘宝 情趣内衣买家晒图 编辑:程序博客网 时间:2024/06/10 15:13
三,深入RDD
RDD本身是一个抽象类,具有很多具体的实现子类:
RDD都会基于Partition进行计算:
默认的Partitioner如下所示:
其中HashPartitioner的文档说明如下:
另外一种常用的Partitioner是RangePartitioner:
RDD在持久化的需要考虑内存策略:
Spark提供很多StorageLevel可供选择:
于此同时Spark提供了unpersistRDD:
对RDD本身还有一个非常重要的CheckPoint操作:
其中doCheckpoint的细节如下:
以NewHadoopRDD为例,其内部的信息如下所示:
以WholeTextFileRDD为例,其内部的信息如下所示:
RDD在产生作业调用的时候,经典的过程如下所示:
0 0
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节:Spark架构设计(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节:Spark架构设计(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节:Spark架构设计(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节:Spark架构设计(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节:为什么Spark是大数据必然的现在和未来?(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节:为什么Spark是大数据必然的现在和未来?(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节:动手实战Scala面向对象编程(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节:动手实战Scala函数式编程(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节:动手实战Scala函数式编程(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节:动手体验Scala(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节:动手实战Scala面向对象编程(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节:动手实战Scala面向对象编程(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-安装Ubuntu系统(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节:动手体验Scala(2)
- mysql数据类型总结
- linux expect 安装
- 详细讲解Android中的AbsListView的源码
- html(一)基础知识
- Java多线程
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节:Spark架构设计(2)
- mvc4.0 @Styles.Render
- 在shell脚本中利用expect实现自动应答
- nested exception is java.sql.SQLException: IO 错误
- 多边形的面积
- mysql的my.ini文件被修改,无法启动问题,错误编号1067
- MVC 控制器向View传值的三种方法
- 用Palette提取图片颜色
- Expect简介