Python3实战Spark大数据分析及调度

admin

游客，如果您要查看本帖隐藏内容请回复

                               
   
        
            Python3迎战Spark核心组件
            不会Scala ？ 让Python带你开发Spark应用程序
            
               

               
                    
                        核心RDD
                        
                            RDD是什么及特性
                            RDD创建方式
                            SparkContext&SparkConf详解
                            使用IDE开发pyspark应用程序
                            提交spark应用程序到服务器上运行
                        
                    
                    
                        RDD编程详解
                        
                            RDD中常用Transformation算子使用
                            RDD中常用Action算子使用
                            处理词频统计迭代&访问量TopN
                            处理平均数&实现二次排序
                            面试题：Python Spark实现聚合功能
                        
                    
                    
                        进阶
                        
                            Spark核心概念&运行架构
                            Spark UI& Spark Shuffle详解
                            Spark和Hadoop重要概念区分
                            Spark中缓存的作用及选择
                            Spark窄依赖和宽依赖
                            Spark Lineage
                        
                    
               
            
            
               

               
                    
                        Spark SQL
                        
                            Spark SQL的架构
                            DataFrame&Dataset
                            使用Python API对DataFrame进行编程
                            Spark SQL常见的认识错误及纠正
                        
                    
                    
                        Spark调优
                        
                            序列化
                            内存管理
                            数据结构
                            广播变量
                            数据本地性
                        
                    
                    
                        Spark Streaming
                        
                            Spark Streaming概述
                            常用实时流处理框架
                            Spark Streaming执行原理、核心概念
                            使用PySpark API对Spark Streaming编程
                        
                    
               
            
        
   
   
        
            Azkaban任务调度 让Spark作业运行井然有序
            从基础、实战到进阶，完美的Azkaban学习之路
            
               
                    常见的调度框架介绍
                    Azkaban概述
                    Azkaban架构
                    Azkaban运行模式
                    Azkaban源码下载及编译
                    单机版部署及配置文件详解
                    实操案例快速入门
               
               
                    Dependency作业
                    HDFS作业
                    MapReduce作业
                    Hive作业
                    Spark作业
                    定时作业
                    告警邮件发送
               
               
                    Azkaban权限管理
                    Two Server Mode环境部署及案例使用
                    Azkaban Plugin及Ajax API的使用
                    Azkaban短信告警及定制化改造思路
               
            
        
   
   
        
            PySpark+Azkaban 实战气象数据业务分析项目
            使用爆款框架，掌握大数据处理与分析
            
               
                    构建大数据平台
                    
                        企业级大数据应用
                        企业级大数据分析平台
                        企业级数据开发流程
                        大数据分析系统处理流程
                    
               
               

               
                    项目实战
                    
                        根据数据量评估集群规划
                        企业常规需求分析
                        实战项目功能实现
                    
               
               

               
                    上线
                    项目部署到YARN上运行
               
            
            
               

               

            
        
   
   
        
            学习主流新技术，做一个与时俱进的工程师
            
               
                    
                        
                        大数据领域，Apache Spark是最受瞩目的开源项目之一，在国内外众多公司中广泛使用
                    
                    
                        
                        不会JAVA、Scala语言的Python开发人员也能够使用Spark进行数据处理分析
                    
                    
                        
                        不仅讲Azkaban，还讲Azkaban存在的弊端以及改进思路
                    
                    
                        
                        结合项目实战，详解大数据分析平台的技术选型、以及集群资源的综合评估
                    
               
               

            
        
   
   
        
            学员专享增值服务
            
               
                    
                    问答专区
                    关于课程的问题都可在问答区随时提问，讲
                    师会进行集中答疑
               
               
                    
                    源码开放
                    课程案例代码完全开放给你，你可以根据
                    所学知识，自行修改、优化
               
            
        
   
   
        
            
               
                    适合人群
                    
                        了解Python语言的想使用Spark进行数据处理分析的人员
                        了解Hadoop，想快速提升Spark技能的小伙伴
                        想转行投身大数据行业的小伙伴
                    
               
               
                    技术储备要求
                    
                        熟悉常用linux命令的使用
                        掌握Python同时有数据库SQL基础
                    
               
            
        
   
                               

游客，如果您要查看本帖隐藏内容请回复