【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节:Spark架构设计(1)
来源:互联网 发布:网络电视需要宽带吗 编辑:程序博客网 时间:2024/06/10 07:53
一、以RDD为基石的Spark编程模型
在Spark中一切都是基于RDD的:
什么是RDD呢?官方给出的解释是:
也就是说每个RDD都至少有以下三个函数实现:
Spark自带了非常多的RDD:
RDD主要分为两种:
其中的transformations是lazy execution的,需要具体的action去触发,每个action操作都是一个单独的job;
接下来我们看一个具体的RDD操作的例子:
RDD中有两个比较特殊的RDD:
这两个RDD的特殊之处在于皆是控制性操作的RDD:
二,RDD的依赖和运行时
在Spark中RDD是具备依赖关系的,而依赖分为两种:
“Narrow”依赖的一个好处就是可以进行内部的pipeline操作:
运行的时候是以RDD为统一抽象并行化运行:
更进一步的详细RDD并行化计算过程如下所示:
正如所有的分布式结构一样,Spark分布式集群也是主从结构的:
Spark运行时组件如下所示:
Spark运行时候的事件流如下所示:
0 0
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节:Spark架构设计(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节:Spark架构设计(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节:Spark架构设计(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节:Spark架构设计(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节:为什么Spark是大数据必然的现在和未来?(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节:为什么Spark是大数据必然的现在和未来?(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节:动手实战Scala函数式编程(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节:动手实战Scala面向对象编程(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节:动手实战Scala函数式编程(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节:动手体验Scala(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节:动手实战Scala面向对象编程(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节:动手实战Scala面向对象编程(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-安装Ubuntu系统(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节:动手体验Scala(1)
- 软件测试基础知识
- ScheduledExecutorService创建newScheduledThreadPool线程池遇到的问题
- js判断浏览器是否IE8或者IE9
- typedef函数指针用法
- iOS相机编程主题(Camera Programming Topics for iOS)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节:Spark架构设计(1)
- tags 在linux的下的使用
- 键盘上特殊符号的中英文名称
- Objective-C运行时编程指南(Objective-C Runtime Programming Guide)
- 多线程多个消费者与生产者(c++版)
- OJ刷题之《将十进制、八进制和十六进制数1000对应十进制数输出》
- 韩顺平php视频笔记37 php数据类型(部分)
- SecureCrt设置字符编码
- @html.ActionLink的几种参数格式