01 Linux基础

操作系统概述

Linux内核与GNU介绍

Linux发行版介绍

虚拟化安装centos

虚拟网络编辑器

规划多主机网络通信

虚拟化管理快照与克隆

SSH客户端使用与配置

02 Linux初级

Linux命令行原理

help内部命令帮助

man命令8种帮助手册

df/du文件系统分析

文件系统HFS规范

文件系统管理命令

bash的{}、$扩展

03 Linux文本操作

文件内容预览命令

管道的使用

基于管道的文件游标预览

日志文件追踪

vi命令的快捷操作

vi命令的编辑模式

vi命令的末行模式

awk脚本案例：统计报表

04 Linux文本分析

grep检索文件

正则表达式

文本分析命令cut

文本分析命令sort

文本分析命令wc

文本分析命令sed

sed案例：正则和s命令另类使用

文本分析命令awk

06 Linux安装管理

操作系统软件安装原理

源码编译安装及原理

RPM包管理机制原理

RPM的查询、安装、卸载

YUM仓库原理

YUM本地、局域网仓库源配置

案例：维护多个YUM源

YUM安装中文帮助文档

07 Linux高级

shell原理、命令原理

shell解释器的4种脚本执行方式

shell函数、内部命令、外部命令总结

文件描述符与重定向

输出重定向的6种方式

输入重定向的4种方式

案例：重定向http协议到网站请求主页

条件表达式

08 Linux脚本编程

本地、局部变量

位置、特殊变量

父子进程、环境变量

linux中for进程原理

管道的子进程执行原理

引用、命令替换扩展

命令状态与逻辑判断

算数表达式及bash扩展

09 Linux脚本案例

shell脚本：用户管理

shell脚本：文件管理

shell脚本：增强for循环遍历文件

shell脚本：游标for循环遍历文件

shell脚本：重定向while循环遍历文件

shell脚本：管道+while循环遍历文件

bash解释器的7中命令扩展总结

流程控制语句&bash词的拆分扩展

11 四层负载均衡

四层负载均衡LVS拓扑

NAT网络原理

LVS的DNAT模式分析

LVS的DR模式分析

LVS的TUN模式分析

LVS的静态调度算法

LVS的动态调度算法

内核配置ARP协议

LVS的命令讲解

12 Keepalived实现高可用

高可用概述

健康检查及故障迁移策略

分布式选主策略

keepalived原理

keepalived配置文件详解

基于keepalived的高可用LVS

高可用验证

后端健康检查验证

LVS的DR模式实验搭建

13 Linux基础

单点性能压力下的面向服务开发理论

反向代理服务器原理

Nginx介绍

Nginx和Apache的httpd对比

IO的阻塞模型和异步非阻塞模型

Nginx角色框架原理

Nginx的内核参数配置

Nginx的内核sendfile零拷贝原理

Nginx的TCP配置

14 Nginx的反向代理和负载均衡

Nginx的虚拟服务器原理

Nginx的location匹配规则

Nginx的自动索引

Nginx的反向代理服务器配置

Nginx的upstream负载均衡配置

Nginx的DNS负载均衡配置

Nginx负载均衡下数据一致性解决方案

01 Linux基础

1T文件处理

Hadoop历史

Hadoop架构

NameNode讲解

SecondaryNameNode讲解

DataNode与副本防治策略

HDFS权限

HDFS安全模式

HDFS文件上传流程

02 HDFS高级概念

hadoop完全分布式集群搭建

hadoop3新特性

NameNode的Federation

NameNode-HA

NameNode-HA集群搭建

NameNode-HA手动切换

NameNode-HA自动切换

java客户端操作HDFS

HDFS读文件流程

03 MR

MapReduce简介与原语

MapReduce执行流程

二次排序

MapReduce作业提交流程

MapReduce作业执行流程

YARN-ResourceManager-HA搭建

运行自带的wordcount程序

手写wordcount程序

伪分布式集群搭建

04 MR源码解析

MapReduce作业提交流程源码解析

作业切片计算的源码解析

MapTask输入方式的源码解析

MapTask执行流程源码解析

MapTask输出方式的源码解析

MapTask环形缓冲区源码解析

RedueTask的shuffle源码解析

ReduceTask分组的源码解析

ReduceTask输出的源码解析

06 MapReduce案例

PageRank简介及算法介绍

PageRank映射为MR原语

PageRank键值对设计

PageRank编码和运行

TFIDF简介及算法

TFIDF映射为MR原语

TFIDF键值对设计

TFIDF编码和运行

itemCF简介及算法

07 Hive介绍及架构

hive的介绍

数据仓库概念讲解

数据仓库与数据库区别

Hive的架构原理

Hive元数据讲解

Hive的使用场景

Hive的优缺点

Hive的执行引擎

Hive操作符

08 Hive架构

linux环境下mysql安装

mysql登录权限修改

Hive三种安装搭建模式

Hive元数据存储到mysql

基于内存数据库模式搭建

基于远程数据库模式搭建

基于远程数据库服务搭建

Hive配置文件讲解

Hive命令操作

09 Hive DDL1

Hive基础数据类型

Hive复杂数据类型

Hive数据类型转换

Hive创建数据库

Hive创建表三种方式

Hive创建管理表

Hive创建外部表

Hive数据读取规则Row Format

Hive语法解析

11 Hive DML

Hive从本地加载数据

Hive从hdfs加载数据

Hive通过查询插入数据

Hive插入数据到指定目录

Hive insert values插入

Hive事务管理

Hive事务特性

Hive事务配置

Hive修改数据

12 Hive查询

Hive全表查询

Hive条件查询

Hive分组查询

Hive运算符

Hive内置函数

Hive自定义函数

Hive表连接

Hive排序方式

Hive嵌套查询

13 Hive访问方式

Hive命令行方式

Hive元数据管理

Hiveserver2讲解

Hive beeline客户端讲解

Hive JDBC操作

Hive参数

Hive变量

Hive脚本运行方式

Hive GUI方式

14 Hive安全管理

Hive授权模式

Hive Legacy Mode

Hive 基于SQL标准授权模型

Hive 基于元数据授权模型

Hive角色管理

Hive授权命令

Hive回收权限命令

Hive删除数据

Hive清空数据

16 Hbase介绍及架构

hbase介绍

NoSQL介绍

Hbase特点

Hbase存储数据结构

Hbase数据模型

Hbase表结构介绍

Hbase架构图

Hbase角色

Hbase内存结构介绍

Hbase存储数据结构LSM树

17 Hbase架构及操作

Hbase standalone模式安装

Hbase 完全分布式安装

Hbase 高可用

Hbase搭建注意

Hbase基本命令

Hbase DDL命令

Hbase DML命令

Hbase命名空间命令

Hbase写数据流程

Hbase读数据流程

18 Hbase Java API

Hbase创建表

Hbase删除表

Hbase插入数据

Hbase更新数据

Hbase删除数据

Hbase获取一条数据

Hbase获取某个范围的数据

Hbase过滤器

Hbase与MR集成

Hbase与hive集成

19 Hbase压缩存储

Protobuffer讲解

Protobuffer安装

Protobuffer配置基本类型

Protobuffer配置集合类型

Protobuffer生成Java类

Hbase读取Protobuffer生成的类

Hbase压缩存储

21 flume source讲解

Avro source

Thrift source

Exec source

Spooling directory source

Kafka source

Netcat source

自定义Source

Source的分类

22 flume sink讲解

Hdfs sink

Hive sink

Hbase sink

Avro sink

Thrift sink

Logger sink

Kafka sink

自定义Sink

23 Sqoop介绍及架构

Sqoop简介

ETL讲解

Sqoop架构图

Sqoop架构设计

Sqoop版本介绍

Sqoop导入

Sqoop导出

Sqoop安装

24 Sqoop操作

Sqoop导入数据到hdfs

Sqoop导入数据到hive

Sqoop导入数据到hbase

Sqoop通过查询语句到hdfs

Sqoop导出数据到mysql

导出配置

Hdfs配置

Hbase配置

26 ElasticSearch

ElasticSearch的现状与前景

Lucene框架与倒排索引原理

Lucene框架在el search搜索引擎中的作用

ElasticSearch全分布式特性

ElasticSearch的环境要求与安装

Curl命令与rest风格的使用

Api搜索项目演示1

Api搜搜项目演示2

27 CDH

国内外大数据平台介绍

Cloudera产品介绍

什么是CDH

什么是cloudera manager

什么是cloudera manager service

cloudera manager框架原理

集群基础设施配置

纯手工安装cloudera manager

28cloudera manager使用

cloudera manager部署CDH

cloudera manager管理主机

cloudera manager管理集群

cloudera manager管理服务

cloudera manager管理实例

cloudera manager管理配置

cloudera manager管理监控

cloudera manager管理资源

service的dashboard

29 Hue的使用

Hue介绍

Hue安装

Hue的HDFS管理与使用

Hue的YARN管理与使用

Hue的HIVE管理与使用

Hue的Oozie管理与使用

Hue的metadata管理与使用

Hue的用户管理与使用

01 Scala基础语言应用

Scala背景介绍

Scala语言六大特性

Scala下载安装配置

Scala IDE开发Scala配置

IDEA 开发Scala配置

Scala类型推断机制

Scala数据类型

Scala基本语法

Scala类和对象

Scala 循环、判断

02 Scala函数编程

Scala函数定义

Scala递归函数

Scala默认值函数

Scala可变参数函数

Scala匿名函数

Scala嵌套函数

Scala偏应用函数

Scala高阶函数

Scala柯里化函数

ScalaActor通信模型

03 Scala字符串、集合

Scala String操作

Scala Array 操作

Scala可变数组操作

Scala List 操作

Scala 可变列表操作

Scala Set 操作

Scala 可变Set操作

Scala map 操作

Scala 可变map操作

Scala 元组操作及要点

04 Scala高级应用

Scala伴生类

Scala伴生对象

Scala样例类

Scala样例类案例

Scala Trait要点

Scala Trait 案例

Scala match匹配

Scala隐式值操作

Scala隐式参数操作

Scala隐式函数操作

Scala隐式类操作

06 Spark核心RDD

Spark编程核心RDD

SparkRDD原理及使用

RDD结构及注意点

RDD五大特性

RDD弹性原理

RDD分布式原理

RDD容错原理

coalesce算子使用

zip,zipWithIndex使用

07 Spark 转换算子

map算子使用

flatMap算子使用

filter算子使用

sample算子使用

reduceByKey算子使用

SortByKey算子使用

Join、union算子使用

Cogroup算子使用

distinct,使用

repartition算子使用

08 Spark行动算子

Foreach算子使用

Take算子使用

SaveAsTextFile使用

Count算子使用

Take算子使用

Collect算子使用

First算子使用

CountByKey使用

CountByValue使用

Reduce使用

09 Spark 持久化算子

持久化数据级别分类

持久化算子cache使用

Cache要点注意事项

持久化算子persist使用

Persist要点注意事项

持久化算子Checkpoint

Checkpoint执行流程

Checkpoint注意事项

Checkpoint使用优化

Spark任务提交参数详解

11 Spark术语

Spark-ClusterManager

Spark-Driver

Spark-Master

Spark-Worker

Spark-Executor

Spark-线程池

Spark-Application

Spark-job

Spark-Stage

12 Spark计算模式

SparkRDD窄依赖

SparkRDD宽依赖

SparkStage切割划分

SparkStage计算模式

Pipeline管道数据落地

Stage并行度划分

提高Stage并行度方式

Spark-task

13 Spark任务调度

任务调度角色划分

资源调度角色划分

Spark资源调度过程

Spark任务调度过程

SparkDAG有向无环图

粗粒度资源申请特点

细粒度资源申请特点

Spark推测执行机制

14 Spark任务提交案例

Spark pv,uv案例

Spark WordCount案例

Spark二次排序案例

Spark分组取topN案例

Spark分组取topN优化

Spark处理数据思路转换

MasterHA高可用配置

MasterHA搭建注意点

16 Spark 核心之Shuffle

SparkShuffle概念

Spark-HashShuffle普通机制

Spark-HashShuffle优化机制

Spark-SortShuffle普通机制

Spark-SortShufflebypass机制

HashShuffle执行流程详解

SortShuffle执行流程详解

HashShuffle与SortShuffle对比

Shuffle文件寻址详解

Spark oom问题处理

Spark统一内存管理划分

17 SparkSQL初级

Shark原理分析

SparkSQL原理分析

SparkSQL演变过程

DataFrame与DataSet

SparkSQL数据源

SparkSQL底层架构

SparkSQL谓词下推

Json格式数据转DataSet

普通RDD和DataSet互操作

Parquet数据转DataSet

Spark静态内存管理划分

18 SparkSQL高级

SparkSQL序列化问题

Hive On Spark原理

Spark On Hive原理

Spark On Hive配置详解

SparkSQL DataSet存储

SparkSQL之UDF

SparkSQL之UDAF

SparkSQL之over函数

JDBC数据转DataSet

aS

KafkaTopic更改、删除

19 SparkStreaming流式处理框架

SparkStreaming介绍

SparkStreaming&Strom

SparkStreaming接受数据原理

SparkStreaming之Dstream

SparkStreaming读取Socket数据

foreachRDD算子使用

transform算子使用

updateStateByKey算子使用

window窗口操作

reduceByKeyAndWindow使用

DriverHA原理及搭建

21 SparkStreaming+kafka整合

Receiver模式整合原理

Receiver模式问题及优化

Direct模式整合原理

Direct模式Api使用

WAL机制配置及使用

Receiver模式并行度设置

Direct模式并行度设置

无主架构模型

21 kafka整合

Direct模式offset管理

新版本Direct模式使用

新版本Direct模式对比

新版本Direct模式offset管理

SparkStreaming配置参数详解

SparkStreaming反压机制

Rdb 与aof类型

主从架构模型

22 Redis语法

Redis介绍

String1类型

String2类型

List1类型

List2类型

Set类型

Sorted set类型

Redis集群搭建

23 Storm流式计算

Storm应用场景

Storm架构模型

Storm框架介绍

Storm单词统计练习

Storm分组策略

Storm分组实践

Storm伪分布式安装

01 Python介绍及安装

Python介绍

Python历史

Python优缺点

Python应用场景

Python下载

Python安装

Python ide安装

Python helloworld

Python交互式窗口

Python注释及乱码

02 Python基础知识

Python变量

Python类型

Python标识符

Python关键字

Python输入

Python输出

Python运算符

Python分支结构

Python input陷阱

Python 循环结构

03 Python集合类型

字符串

列表

元组

字典

可变类型

不可变类型

集合的迭代

集合排序

集合嵌套

04 Python函数

Python函数介绍

函数的定义与调用

Python参数

Python返回值

Python递归函数

Python匿名函数

高阶函数

高阶函数和递归计算

斐波拉契数列

06 Python类与对象

面向对象编程介绍

类与对象

定义类与创建对象

Self

保护对象的属性

继承

多继承

多态

类属性与实例属性

类方法与静态方法

07设计模式与异常

单例模式

工厂模式

异常简介

异常捕获

异常的传递

自定义异常

异常处理中排除异常

异常的分类

08 Python模块及数据库操作

模块的使用与安装

模块制作

Python中的模块

模块的发布

模块安装及使用

Python连接mysql

Python查询数据库

数据API

API的封装

09 Numpy库

numpy介绍

numpy特点

numpy安装

numpy基础

矩阵的创建

矩阵的属性

矩阵的基本运算

矩阵的常用函数

矩阵的切片

矩阵的索引

11 机器学习算法一

贝叶斯分类算法

贝叶斯概率分类原理

贝叶斯公式推广

拉普拉斯估计原理

模型保存

KNN算法原理

KNN问题

机器学习中的归一化

距离度量方式

Kmeans聚类算法原理

12 机器学习算法二

Kmens++算法

K值的选择策略

TF-IDF原理

逻辑回顾分类算法原理

傅里叶变化

最大似然估计思想

逻辑回归构造损失函数

逻辑回顾损失函数公式推导

逻辑回归归一化

混淆矩阵

13 机器学习算法三

推荐系统原理

推荐系统架构

lambda架构处理数据

实时和离线场景应用

ML下python在Hive中应用

dubbo使用zookeeper协调应用

dubbo服务提供端原理

dubbo服务消费端原理

dubbo在推荐系统中应用

实时在线推荐app

14 机器学习案例

垃圾邮件分类案例

数据点基于贝叶斯分类案例

手动实现KNN算法

数据点基于KNN算法分类

数据点Kmeans聚类案例

01 Hive优化

hive优化思想

hive查询计划

hive本地模式

hive并行计算

hive严格模式

hive排序

hive map join

hive大表join

02 Hive优化

hive合并小文件

hive map与reduce个数

hive-jvm重用

Hive数据倾斜

Hive脚本编程

Hive脚本执行架构

Hive的任务的监控

hive map-side聚合

03 hbase优化

预分区

Rowkey设计

列族个数

Compact合并优化

Split优化

多htable并发写

Htable参数设置

批量写

04 hbase优化

多htable并发读

批量读

多线程并发读

缓存查询结果

Blockcache

Htablepool

Hbase索引

多线程并发写

06 Spark核心源码分析

Spark-Master启动源码分析

Spark-Worker启动源码分析

Spark-Driver启动源码分析

Spark-Application注册源码分析

Spark-Executor启动源码分析

Spark-资源调度源码分析

Spark-任务调度源码分析

Spark-Shuffle-Write源码分析

Spark-Shuffle-Read源码分析

Spark数据倾斜不同解决方案

07 Spark优化

Spark分配更多的资源

Spark并行度调优

Spark 代码调优

Spark 算子选择使用

Spark 自定义分区器

Spark数据结构优化

Spark数据本地化调优

Spark内存调优

Spark对外内存调优

SparkShuffle调优

08 机器学习优化

有无截距

线性不可分问题

调整分类域值

鲁棒性调优

归一化数据

均值归一化

逻辑回归训练方法选择

机器学习中python脚本优化

09 Kylin介绍及架构

kylin的背景介绍

kylin的应用场景

kylin的发展历史

kylin的工作原理

kylin的体系架构

kylin的核心，cube构建

kylin的sql查询原理

kylin的特性和生态圈

kylin事实表

kylin维度表

11 kylin的使用及访问方式

simple cube描述

cube构建

kylin的视图

kylin的元数据存储

kylin JDBC访问方式

kylin rest方式

12 Flink流式处理框架一

Flink架构原理

Flink与Storm的区别

Flink与SparkStreaming的区别

Flink编程模型抽象层次

Flink无界数据流

Flink有界数据流

Flink程序和数据流

13 Flink流式处理框架二

窗口和时间

有状态算子操作

容错检查点原理

Flink任务和算子链

Flink-TaskManager

Flink-JobManager

14 Flink流式处理框架三

Flink-DataStream Api操作

Flink与Kafka整合

基于本地模型部署Flink

基于Yarn模式部署Flink

TableApi 及SQL查询使用

网页排名案例实现