您当前所在位置:首页 > PPT课件 > 工作PPT > 行业PPT → SPARK大数据处理引擎(初级)ppt课件

大赢家在线备用:SPARK大数据处理引擎(初级)ppt课件

PPT预览

课件下载 www.sixtyyearswar.com SPARK大数据处理引擎(初级)ppt课件

PPT内容

这是SPARK大数据处理引擎(初级)ppt课件下载,主要介绍了Apache Spark 项目;Spark 技术架构;Spark 核心技术;部署方式;运行流程;配置要求,欢迎点击下载。

SPARK 大数据处理引擎 云软件组 陈修恒 Spark 一、Apache Spark 项目 三、Spark 技术架构 四、Spark 核心技术 五、部署方式 六、运行流程 七、配置要求 Hadoop生态系统 Apache Hadoop 项目 Common HDFS 一个部署在廉价的机器上、具有高度容错性的文件系统 YARN 资源调度引擎 MapReduce 基于YARN调度引擎的大数据并行处理系统 Apach Spark 项目 Spark是一个快速通用的大规模数据处理框架。具有Hadoop的批处理能力,而且性能更佳??梢杂糜诹鞔?、Sql统计、机器学习和图计算。 Apach Spark 项目 Spark VS Hadoop MapReduce Spark 技术架构 Spark 核心技术 MapReduce 编程模型 Spark RDD Spark 运行流程 Spark Transformation & Action Spark Shuffle Spark Streaming Spark SQL Spark Mllib Spark GraphX MapReduce 编程模型 MapReduce 编程模型 词频统计 MapReduce 编程模型 示例:词频统计 MapReduce 代码预览 MapReduce 编程模型 MapReduce 编程模型 MapReduce 编程模型 MapReduce 系统 数据划分和计算任务调度 出错检测和恢复 数据/代码互定位 系统优化 Spark RDD RDD(Resilient Distributed Dataset,弹性分布式数据集),他具高度的容错性,允许开发人员在大型集群上执行基于内存的计算。 RDD是一个只读的分区存储集合。只能基于稳定物理存储中的数据集或在已有的RDD上执行转换命令(Transformation)来创建。 RDD不需要物化。在创建 RDD 时Spark会维护转换算法。需要使用时,可以从物理存储的数据计算出最终的 RDD。 Spark操纵数据的一个高度抽象,是数据抽取和处理的基础。 Spark 运行流程 Spark 运行流程 Spark Transformation & Action Spark Shuffle Spark Streaming Spark Streaming Spark Streaming Spark Streaming Spark Streaming Spark SQL Spark Mllib Spark GraphX 三、部署方式 Standalone模式 独立模式,自己负责资源调度。单点故障借助 zookeeper实现。 Spark On Mesos Spark运行在Mesos上,支持 CPU 非独占,资源由Mesos负责管理。 Spark On Yarn 资源由Yarn负责管理,最有前景的部署模式,支持动态添加资源。但是限于YARN自身发展,目前仅支持粗粒度模式。 Spark On cloud 如 AWS的EC2,使用这种模式,访问Amazon的S3很方便。 standalone 模式 四、配置要求 五、关键术语 SparkContext Stage & Job Driver & Executor RDD Shuffle StorageLevel Broadcast Accumulator Optional

相关PPT

互联网金融详细大数据ppt课件:这是互联网金融详细大数据ppt课件下载,主要介绍了互联网金融的涵义;互联网金融的模式及发展现状;互联网金融对商业银行的影响;商业银行可能的应对措施,欢迎点击下载。
大数据十大经典算法SVM讲解PPT课件:这是大数据十大经典算法SVM讲解PPT课件下载,主要介绍了什么是SVM;SVM的特点;线性分类;最优标准;约束条件;凸二次规划问题求解;线性分类;常用的核函数;总结,欢迎点击下载。
微软大数据的新世界Microsoft Big DataTailaippt课件:这是微软大数据的新世界Microsoft Big DataTailaippt课件下载,主要介绍了技术趋势及其关系;大数据就是资本;数据的管理面临着挑战;一系列新问题;数据应用场景;微软大数据,欢迎点击下载。
《SPARK大数据处理引擎(初级)ppt课件》是由用户野慌于2020-07-27上传,属于行业PPT。

标签:

相关PPT

缩略图

  • SPARK大数据处理引擎(初级)ppt课件
山东医学高等专科学校 | 西陆军事 | TPM管理咨询培训,5S,6S,现场管理,精益生产管理(JIT),设备六西格玛项目管理 | 南京翻译公司 | 汇师经纪(huishi365.com)是培训讲师的讲师经纪平台,专为培训机构提供优质讲师。 | 山东技校网 | 首页 | 木鸟民宿网 | 青岛猎头公司 | 南京翻译公司 | 沙巴体育 | IT培训班选达内,美国上市的IT培训机构 | 在职研究生招生报名信息平台 | IT培训班选达内,美国上市的IT培训机构 | 石家庄二中西校区 | 中国化工网 | 【新乡新东方】新乡英语学校 |