您当前所在位置:首页 > PPT课件 > 工作PPT > 行业PPT → SPARK大数据处理引擎(初级)ppt课件

凯时app下载:SPARK大数据处理引擎(初级)ppt课件

PPT预览

课件下载 www.sixtyyearswar.com SPARK大数据处理引擎(初级)ppt课件

PPT内容

这是SPARK大数据处理引擎(初级)ppt课件下载,主要介绍了Apache Spark 项目;Spark 技术架构;Spark 核心技术;部署方式;运行流程;配置要求,欢迎点击下载。

SPARK 大数据处理引擎 云软件组 陈修恒 Spark 一、Apache Spark 项目 三、Spark 技术架构 四、Spark 核心技术 五、部署方式 六、运行流程 七、配置要求 Hadoop生态系统 Apache Hadoop 项目 Common HDFS 一个部署在廉价的机器上、具有高度容错性的文件系统 YARN 资源调度引擎 MapReduce 基于YARN调度引擎的大数据并行处理系统 Apach Spark 项目 Spark是一个快速通用的大规模数据处理框架。具有Hadoop的批处理能力,而且性能更佳??梢杂糜诹鞔?、Sql统计、机器学习和图计算。 Apach Spark 项目 Spark VS Hadoop MapReduce Spark 技术架构 Spark 核心技术 MapReduce 编程模型 Spark RDD Spark 运行流程 Spark Transformation & Action Spark Shuffle Spark Streaming Spark SQL Spark Mllib Spark GraphX MapReduce 编程模型 MapReduce 编程模型 词频统计 MapReduce 编程模型 示例:词频统计 MapReduce 代码预览 MapReduce 编程模型 MapReduce 编程模型 MapReduce 编程模型 MapReduce 系统 数据划分和计算任务调度 出错检测和恢复 数据/代码互定位 系统优化 Spark RDD RDD(Resilient Distributed Dataset,弹性分布式数据集),他具高度的容错性,允许开发人员在大型集群上执行基于内存的计算。 RDD是一个只读的分区存储集合。只能基于稳定物理存储中的数据集或在已有的RDD上执行转换命令(Transformation)来创建。 RDD不需要物化。在创建 RDD 时Spark会维护转换算法。需要使用时,可以从物理存储的数据计算出最终的 RDD。 Spark操纵数据的一个高度抽象,是数据抽取和处理的基础。 Spark 运行流程 Spark 运行流程 Spark Transformation & Action Spark Shuffle Spark Streaming Spark Streaming Spark Streaming Spark Streaming Spark Streaming Spark SQL Spark Mllib Spark GraphX 三、部署方式 Standalone模式 独立模式,自己负责资源调度。单点故障借助 zookeeper实现。 Spark On Mesos Spark运行在Mesos上,支持 CPU 非独占,资源由Mesos负责管理。 Spark On Yarn 资源由Yarn负责管理,最有前景的部署模式,支持动态添加资源。但是限于YARN自身发展,目前仅支持粗粒度模式。 Spark On cloud 如 AWS的EC2,使用这种模式,访问Amazon的S3很方便。 standalone 模式 四、配置要求 五、关键术语 SparkContext Stage & Job Driver & Executor RDD Shuffle StorageLevel Broadcast Accumulator Optional

相关PPT

大数据对营销的意义ZHYTppt课件:这是大数据对营销的意义ZHYTppt课件下载,主要介绍了什么是大数据;大数据的四个特点;大数据的应用;大数据在营销及广告中的应用 ;挑战和机遇,欢迎点击下载。
大数据下的财务分析ppt课件:这是大数据下的财务分析ppt课件下载,主要介绍了财务分析逻辑思路;财务分析实操方法;财务分析六大体系;案例讲解财务分析,欢迎点击下载。
互联网金融详细大数据ppt课件:这是互联网金融详细大数据ppt课件下载,主要介绍了互联网金融的涵义;互联网金融的模式及发展现状;互联网金融对商业银行的影响;商业银行可能的应对措施,欢迎点击下载。
《SPARK大数据处理引擎(初级)ppt课件》是由用户huangyixuan于2020-07-27上传,属于行业PPT。

标签:

相关PPT

缩略图

  • SPARK大数据处理引擎(初级)ppt课件