新版Python+大数据开发，数据工程师提升教程

01、阶段一Python大数据开发基础

01、第一章大数据介绍及开发环境

1-1大数据介绍

1-2linux介绍及虚拟机网络配置

1-3linux目录介绍

02、第二章linux命令

2-1linux命令（一）

2-2vim编辑器的使用

2-3linux命令（二）

03、第三章MySQL数据库

3-1mysql和datagrip的介绍

3-2数据定义语言的使用

3-3数据操作语言的使用

3-4数据库约束

3-5数据库查询

3-6运算与排序

3-7函数，分组和二次过滤

3-8数据库的多种连接查询

3-9数据库练习回顾

04、第四章excel的使用

4-1excel的相关操作

05、第五章kettle的使用

5-1kettle的使用

06、第六章数据分析及可视化

6-1finebi的初步使用

6-2集团分析项目

6-3数据抽取和统计分析

07、第七章大数据框架与数仓基础

7-1Hadoop的介绍，配置和集群的使用

7-2hdfs的介绍，使用和特特点

7-3数据仓库的介绍

7-4数据仓库的基本使用

7-5作业讲解

08、第八章数仓实战项目

8-1数仓实战之滴滴出行

8-2数仓实战之智能电商分析平台（一）

8-3数仓实战之智能电商分析平台（二）

8-4flume的介绍和使用

8-5数仓实战之智能电商分析平台（三）

02、阶段二Python基础编程

01、第一章Python基础语法

1-1Python概述

1-10while循环

1-11while循环嵌套

1-12for循环

1-13循环else

1-14字符串定义、切片

1-15字符串查找、替换、合并

1-16字符串删除、判断

1-17列表定义

1-18列表的操作使用

1-19元组定义使用

1-2Pyhton解释器与Pycharm安装配置

1-20字典定义使用

1-21集合定义使用

1-22公共方法与推导式

1-23函数基本使用

1-24函数作用域

1-25总结复习

1-26不定长参数与组包拆包

1-27引用类型

1-28案例-学员管理系统

1-29递归与复习

1-3Python变量与注释

1-30文件基本操作

1-31文件操作案例

1-4变量使用与debug工具

1-5Python格式化输出

1-6输入与类型转化

1-7Python运算符

1-8Python分支语句

1-9分支总结与复习

02、第二章Python面向对象编程

2-1类定义与初始化

2-10Python模块与包

2-11学员管理系统-面向对象版本

2-2总结与复习

2-3示例属性操作

2-4魔法方法

2-5面向对象案例

2-6面向对象封装与继承

2-7面向对象多态

2-8类属性方法

2-9Python异常处理

03、阶段三Python进阶编程

01、第一章多任务编程-进程

1-1多任务的介绍

1-2多进程的使用

1-3进程执行带有参数的任务

1-4进程的注意点

02、第二章多任务编程-线程

2-1多线程的使用

2-2多进程的使用

2-3线程的注意点

2-4进程和线程对比

03、第三章网络编程

3-1socket的介绍

3-2TCP客户端程序开发

3-3多任务版TCP服务端程序开发

04、第四章HTTP协议和静态Web服务器

4-1HTTP协议

4-2查看HTTP协议的通信过程

4-3搭建Python自带静态Web服务器

4-4静态Web服务器-面向对象开发

05、第五章html+css基础

5-1html的介绍

5-2初识常用的html标签

5-3资源路径

5-4css的介绍

5-5css选择器

06、第六章JavaScript

6-1JavaScript的介绍

6-2变量和数据类型

6-3函数定义和调用

6-4条件语句

6-5数组及操作方法

6-6循环语句

6-7字符串拼接

07、第七章jQuery

7-1jQuery的介绍

7-2jQuery选择器

7-3选择集过滤

7-4获取和设置元素内容

7-5jQuery事件

7-6JavaScript对象

7-7json

7-8ajax

7-9综合案例

08、第八章闭包和装饰器

8-1闭包

8-2装饰器

8-3装饰器的使用

8-4通用装饰器的使用

09、第九章正则表达式

9-1with语句

9-2深拷贝和浅拷贝

9-3re的模块介绍

9-4匹配单个字符

9-5匹配多个字符

10、第十章mini-Web

10-1Web应用概述

10-2应用程序开发

10-3路由列表功能开发

10-4logging日志

11、第十一章数据埋点

11-1埋点形式

11-2埋点方案

11-3埋点实践

04、阶段四SQL

01、第一章窗口函数

1-1窗口函数简介与基本用法

1-2OVER(PARTITIONBY)

1-3排序函数

1-4windowframes自定义窗口

1-5分析函数

1-6PARTITIONBY与ORDERBY

1-7窗口函数避坑指南

02、第二章数据报表

2-1数据介绍

2-2使用SQL进行数据汇总

2-3使用CASEWHEN和GROUPBY将数据分组

2-4使用WITH(CommonTableExpressions)公用表表达式

2-5计算多个指标

2-6分组对比

05、阶段五Python数据处理与分析实战

01、第一章Python数据分析简介

1-1Python数据分析环境搭建

1-2Python数据分析简介

02、第二章Pandas快速入门

2-1Pandas快速入门

2-2Series和Dataframe

2-3Dataframe增删改

2-4Dataframe查询

2-5租房数据分析示例

03、第三章pandas数据清洗

3-1数据组合-concat

3-2数据组合-merge

3-3缺失值处理

3-4数据整理

3-5Pandas数据类型

04、第四章pandas数据处理

4-1Apply自定义函数

4-2数据分组操作

4-3数据分组操作-透视

4-4数据分组操作-会员数据分析1

4-5数据分组操作-会员数据分析2

4-6Dataframe数据类型

4-7Dataframe数据类型案例

05、第五章Python数据可视化

5-1Matplotlib绘图

5-2Pandas绘图

5-3Seaborn绘图

5-4Pyecharts绘图

06、第六章pandas综合案例

6-1案例1Appstore数据分析

6-2案例2优衣库销售数据分析

6-3案例3RFM用户分群1

06、阶段六Hadoop生态体系

01、第一章linux

1-1linux环境搭建

1-2linux文件系统

1-3vi编辑器

1-4linux用户与权限

1-5大数据集群环境搭建

1-6linux软件安装方式

1-7shell

02、第二章Zookeeper

2-1大数据导论

2-2Zookeeper

03、第三章Hadoop

3-1hadoop简介

3-2hadoop环境搭建

3-3Hadoop_HDFS

3-4Hadoop_MapReduce

3-5Hadoop_YARN

3-6Hadoop_HA

04、第四章Hive

4-1数据仓库介绍

4-2Hive介绍和安装

4-3Hive_DDL语法

4-4Hive_DML语法

4-5Hive_DQL语法

4-6Hive其他功能介绍

4-7Hive函数高阶应用

4-8Hive窗口函数

4-9Hive调优

07、阶段七离线数仓项目-知行教育

1-1知行教育数仓项目介绍

01-教育项目的基本介绍.mp4

01-课前回顾和今日内容.mp4

02-教育项目的架构流程说明.mp4

02-教育项目的业务流程.mp4

1-10访问咨询主题看板_数据清洗

06-访问咨询主题看板_数据采集操作以及hiveserver2服务异常.mp4

07-访问咨询主题看板_数据清洗转换操作(SQL实现,未解决转换).mp4

08-访问咨询主题看板_数据清洗转换(转换解决).mp4

09-访问咨询主题看板_数据清洗转换操作(最终实现).mp4

1-11访问咨询主题看板_数据分析

10-访问咨询主题看板_数据分析(总访问量统计).mp4

11-访问咨询主题看板_数据分析(统计各个受访页面).mp4

12-访问咨询主题看板_数据分析(咨询量统计).mp4

1-12访问咨询主题看板_数据导出

01-课前回顾和今日内容.mp4

13-访问咨询主题看板_数据导出操作(咨询量导出).mp4

14-访问咨询主题看板_数据导出操作(访问量).mp4

15-今日总结.mp4

1-13访问咨询主题看板_增量数据采集清洗

02-访问咨询主题看板_新增数据模拟.mp4

03-访问咨询主题看板_增量数据采集操作(sqoop脚本编写以及shell讲解).mp4

04-访问咨询主题看板_增量数据采集的shell脚本的编写.mp4

05-访问咨询主题看板_增量数据采集shell脚本测试操作.mp4

06-访问咨询主题看板_增量数据采集操作(oozie配置).mp4

07-访问咨询主题看板_增量数据清洗转换操作.mp4

1-14访问咨询主题看板_增量数据分析

08-访问咨询主题_增量数据统计分析(SQL实现以及思考点)(上).mp4

09-上午内容的总结.mp4

10-访问咨询主题看板_增量统计分析操作(问题解决).mp4

11-访问咨询主题看板_增量统计分析(shell脚本编写和测试).mp4

12-访问咨询主题看板_增量数据导出操作.mp4

1-15意向用户主题看板_需求分析

01-课前回顾和今日内容.mp4

13-意向用户主题看板_需求分析(前三个).mp4

14-意向用户主题看板_需求分析(后三个).mp4

15-意向用户主题看板_需求分析总结.mp4

16-意向用户主题看板_业务数据准备.mp4

17-今日总结.mp4

1-16意向用户主题看板_建模分析

02-意向用户主题看板_建模分析操作(ODS,DIM,DWD).mp4

03-意向用户主题看板_建模分析(后三层).mp4

1-17分桶表

04-分桶表的基本介绍以及作用说明.mp4

05-分桶表的作用_抽样函数的说明.mp4

06-分桶表的作用_提升查询效率(多表)_mapjoin.mp4

07-分桶表的作用_提升查询的效率(多表)_bucketmapjoin.mp4

08-上午内容总结.mp4

09-分桶表的作用_提升查询的效率(多表)SMBjoin操作.mp4

1-18意向用户主题看板_数据采集清洗

10-意向用户主题看板_建模操作.mp4

11-意向用户主题看板_数据采集(DIM).mp4

12-意向用户主题看板_数据采集(ODS层).mp4

13-意向用户主题看板_数据清洗转换操作(涵盖采样以及查看执行计划).mp4

1-19意向用户主题看板_DWM层数据处理

01-课前回顾和今日内容.mp4

14-意向用户主题看板_DWM层数据生成(SQL实现).mp4

15-意向用户主题看板_DWM层数据生成(优化的效率测试).mp4

16-意向用户主题看板_DWM层数据生产(最终实现).mp4

17-意向用户主题看板_DWS层数据生成操作.mp4

18-意向用户主题看板_DWS层数据导出操作.mp4

1-2项目环境搭建

03-clouderamanager的基本介绍.mp4

04-clouderamanager的架构以及功能描述.mp4

05-教育项目的环境初始化工作.mp4

06-教育项目的环境搭建_如何连接以及基本操作.mp4

07-教育项目的环境注意事项.mp4

08-教育项目_数据仓库的基本概念.mp4

09-上午内容的总结.mp4

1-20拉链表

02-拉链表的实现流程分析(上).mp4

03-拉链表的实现流程分析(下).mp4

04-拉链表的实现流程_项目增量流程说明.mp4

1-21hive索引

01-今日内容说明.mp4

05-索引的基本介绍.mp4

06-hive索引的分类_原始索引和行组索引.mp4

07-hive的所有分类_布隆过滤索引.mp4

1-22hive优化项目数据

02-hive的函数补充说明.mp4

03-hive的相关优化_并行优化(并行编译和并行执行).mp4

04-hive的相关的优化_小文件合并操作.mp4

05-hive的相关优化_矢量化查询和读取零拷贝.mp4

06-hive的数据倾斜优化_groupby倾斜.mp4

07-hive的数据倾斜优化_join的数据倾斜.mp4

08-hive的数据倾斜优化_如何感知倾斜以及union优化.mp4

09-hive的优化的总结说明.mp4

10-上午内容的总结.mp4

1-23学生出勤主题看板_需求分析

11-学生出勤主题看板_需求分析(前四个).mp4

12-学生出勤主题看板_需求分析(后四个).mp4

13-学生出勤主题看板_需求分析总结.mp4

14-学生出勤主题看板_业务数据准备工作.mp4

1-24学生出勤主题看板_建模

01-课前回顾和今日内容.mp4

15-学生出勤主题看板_建模分析操作.mp4

16-学生出勤主题看板_建模操作.mp4

17-学生出勤主题看板_数据采集操作.mp4

18-今日总结.mp4

1-25学生出勤看板_DWM层数据处理

02-学生出勤主题看板_DWM层(学生出勤信息表处理)_上.mp4

03-学生出勤主题看板_DWM层(学生出勤状态信息表)_中.mp4

04-学生出勤主题看板_DWM层(学生出勤状态信息表)_下.mp4

05-学生出勤主题看板_DWM层(学生出勤状态信息表)_完整实现以及总结.mp4

06-学生出勤主题看板_DWM层(班级出勤人数表)_整体实现.mp4

07-学生出勤主题看板_DWM层(请假人数信息表)_上.mp4

08-上午内容的总结.mp4

09-学生出勤主题看板_DWM层(请假人数表)_中.mp4

10-学生出勤主题看板_DWM层(学生请假人数表)_下.mp4

11-学生出勤主题看板_DWM层(请假人数表)_最终实现操作.mp4

12-学生出勤主题看板_DWM层(班级旷课人数表)_实现操作.mp4

13-学生出勤主题看板_DWM层(汇总表)_实现.mp4

14-学生出勤主题看板_DWS层实现操作.mp4

1-26finebi基本使用

15-商业BI基本介绍.mp4

16-finebi的安装操作.mp4

17-finebi的数据源以及数据准备工作.mp4

18-finebi的图表展示操作_仪表盘构建.mp4

19-finebi实现图表展示操作_上.mp4

20-finebi实现图表展示操作_下.mp4

21-今日总结.mp4

1-27Git应用

01-git的历史和SVN对比说明.mp4

02-GIT的工作流程.mp4

03-GIT的安装操作.mp4

04-git如何构建版本库.mp4

05-git基本操作_自己玩的流程.mp4

06-git案例_如何提交代码(如何设置忽略).mp4

07-git远程仓库的基本介绍.mp4

08-git的远程仓库操作_如何配置免密以及如何推送到远端(命令).mp4

09-git的远程仓库操作_基于图形化界面方式推送数据到远端.mp4

10-git的远程仓库操作_如何拉取代码及其协作开发.mp4

11-git的分支管理_基本概念介绍.mp4

12-git的分支的管理_相关的操作.mp4

13-git如何在IDEA中使用操作.mp4

1-3数据仓库

01-课前回顾和今日内容.mp4

02-教育项目的数仓分层架构说明.mp4

10-数据仓库和数据集市基本介绍.mp4

11-维度分析基本介绍_维度和指标的介绍以及分类.mp4

12-维度分析基本介绍_分层分级以及下钻和上卷.mp4

13-数仓建模的基本介绍.mp4

14-事实表和维度表的基本介绍.mp4

15-事实表和维度表的分类介绍.mp4

16-维度建模的三种模型(星型,雪花和星座)基本概念.mp4

17-维度建模的三种数仓发展模型图解.mp4

18-维度建模_缓慢渐变维基本介绍.mp4

19-今日总结.mp4

1-4Hue操作HDFS,Hive

03-HUE相关的操作_HDFS和HIVE.mp4

1-5oozie基本使用

04-oozie的基本介绍.mp4

05-oozie的基本使用操作.mp4

1-6sqoop相关操作

06-sqoop的基本介绍.mp4

07-sqoop的相关的操作_基本操作.mp4

08-上午内容的总结.mp4

09-sqoop的相关的操作_全量导入到HDFS操作.mp4

10-sqoop的相关的操作_全量导入到hive的操作.mp4

11-sqoop的相关的操作_条件导入到HDFS和hive操作.mp4

12-sqoop的相关的操作_数据导出操作以及相关参数.mp4

1-7访问咨询主题看板_需求分析

13-访问咨询主题看板_需求分析(前四个).mp4

14-访问咨询主题看板_需求分析(后四个).mp4

15-访问咨询主题看板_需求分析总结.mp4

1-8访问咨询主题看板_建模

01-课前回顾和今日内容.mp4

02-访问咨询主题看板_建模操作(前置说明).mp4

03-访问咨询主题看板_建模操作.mp4

16-访问咨询主题看板_业务数据准备工作.mp4

17-访问咨询主题看板_建模分析(前三层).mp4

18-访问咨询主题看板_建模分析(后三层).mp4

1-9访问咨询主题看板_hive优化

04-访问咨询主题看板_hive基础优化(上).mp4

04-访问咨询主题看板_hive基础优化(下).mp4

05-上午内容的总结.mp4

08、阶段八大数据Spark技术栈

第一章PySpark

1-1Spark概述

1-10RDD创建

1-11RDD算子

1-12Spark综合案例1

1-13Spark缓存机制

1-14Spark案例-IP地址查询

1-15Spark累加器和广播变量

1-16Spark内核调度

1-17SparkSQL简介

1-18SparkSQL实操

1-19SparkHive

1-2Spark简介

1-20SparkSQL底层执行原理

1-21Spark自定义函数

1-3pyspark安装

1-4spark-standalone环境搭建

1-5Spark的StandaloneHA环境搭建

1-6Spark单词统计

1-7SparkOnYarn

1-8Spark关键概念

1-9RDD详解

09、阶段九Spark综合项目

第一章一站式制造

1-1项目介绍

1-10DWS层构建

1-11项目回顾（一）

1-12DWB层构建

1-13项目回顾（二）

1-14ST层构建

1-15AirFlow架构解析

1-16AirFlow任务调度

1-17Spark核心概念回顾

1-18Prometheus架构说明

1-19监控插件安装

1-2项目中docker使用

1-20Grafana使用

1-21项目总结二

1-3项目环境搭建

1-4项目数仓分层

1-5项目业务分析

1-6sqoop数据采集

1-7python数据采集

1-8项目ODS层创建

1-9DWD层构建

10、阶段十java编程语言

第一章大数据java编程

1-1Java基础语法

1-10多线程

1-11maven

1-12HDFS

1-13MapReduce

1-2面向对象

1-3java常用API

1-4集合

1-5反射

1-6lambda表达式

1-7io流

1-8网络编程

1-9JDBC

11、阶段十一NoSQL与实时计算技术

01、第一章NoSQL-Redis

1-1Redis的介绍与安装

1-2Redis的基本命令

1-3Jedis

1-4数据存储设计与持久化

1-5Redis架构

1-6Redis高级

02、第二章NoSQL-kafka

2-1消息队列

2-10kafka原理

2-11一次性语义

2-12kafka监测

2-2kafka简介

2-3附录

2-4kafka环境搭建

2-5kafka的基本命令

2-6kafka工具

2-7kafkaAPI

2-8消费分配策略

2-9存储机制

03、第三章NoSQL-Hbase

3-1Hbase简介与环境部署

3-10Phoenix

3-11二级索引

3-2Hbase基本命令

3-3HbaseJavaAPI

3-4Hbase原理

3-5Hbase表设计

3-6BulkLoad

3-7协处理器

3-8Hbase优化

3-9Hbase与其他组件的整合

04、第四章NoSQL-综合案例

4-1综合案例介绍

4-2Flume数据采集

4-3离线分析

4-4实时计算

4-5可视化

12、阶段十二面试强化就业加强课

第一章python+大数据面试加强

1-1面试加强

13、阶段十三大数据Flink技术栈

01、第一章Flink基础

1-1流式计算简介

1-2Flink简介

1-3Flink环境部署

1-4Flink入门案例

1-5Flink架构体系

02、第二章Flink流批一体API开发

2-1流处理基本概念

2-2Flink的数据源

2-3Flink的转换算子

2-4Flink的Sink操作

2-5Flink与其他组件的整合

03、第三章Flink高级API开发

3-1四大基石Window

3-2四大基石time

3-3四大基石state

3-4四大基石checkpoint

04、第四章Flink高级特性

4-1异步io与两端递交

4-2ProcessFunctionAPI

4-3双流join

4-4数据类型和序列化

05、第五章FlinkSQL

5-1FlinkSQL简介

5-2FlinkSQL连接外部系统

5-3SQLClient

5-4动态表

5-5FlinkSQL_窗口

5-6FlinkSQL_函数

5-7FlinkSQL连接外部系统及优化

14、阶段十四Flink综合项目

01、第一章星途车联网-项目基石与前瞻

1-1车联网行业背景介绍

1-2汽车行业和车辆类型

1-3车联网行业产业链

1-4车联网技术选型

1-5车联网项目工程搭建

1-6上报数据的格式解析

02、第二章星途车联网-原始终端数据实时ETL

2-1数据推送到kafka

2-2解析工具类走读

2-3实时ETL

2-4数据积压与反压

2-5过滤数据

03、第三章星途车联网-数据落地

3-1数据存储_hive

3-2数据存储_Hbase

3-3HBase调优

04、第四章星途车联网-PhoenixonHBase即席查询

4-1Phoenix简介及常用命令

4-2HBase二级索引

4-3车联网明细数据统计

4-4Zeppelin简介及使用

05、第五章星途车联网-车辆驾驶行为分析

5-1驾驶行程业务逻辑

5-2驾驶行程指标分析

06、第六章星途车联网-电子围栏分析

6-1电子围栏简介

6-2电子围栏分析步骤

6-3电子围栏分析实现

07、第七章星途车联网-远程诊断实时故障分析

7-1实时故障业务逻辑

7-2实时故障分析实现

08、第八章星途车联网-项目展示和任务调度

8-1项目展示和任务调度