课程描述INTRODUCTION
数据分析平台
日程安排SCHEDULE
课程大纲Syllabus
数据分析平台课程大纲:
数据分析平台第一天
第1个主题:Hadoop的来源和动机
1.传统大规模系统存在的问题
2.对一种新的解决方案的需求
3.Hadoop应用案例解析
4.Hadoop 版本介绍
5.Hadoop与传统分布式环境的区别
第2个主题:Hadoop安装和部署准备
1.Hadoop系统模块组件概述
2.Hadoop试验集群的部署结构
3.Hadoop 安装依赖关系
4.Hadoop 生产环境的部署结构
第3个主题:Hadoop集群安装和部署
第4个主题:Hadoop组件详解
1.Hadoop HDFS 基本结构
2.Hadoop HDFS 副本存放策略
3.Hadoop NameNode 详解
4.Hadoop SecondaryNameNode 详解
5.Hadoop DataNode 详解
6.Hadoop JobTracker 详解
7.Mapper
8.Reducer
9.API 使用Eclipse进行快速开发
10.新MapReduce API
第5个主题:Hadoop 核心代码剖析
1. Hadoop Mapper 类核心代码剖析
2. Hadoop Reducer 类核心代码剖析
第6个主题:HDFS分布式文件系统编程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API对HDFS编程
第7个主题
数据分析平台第二天
第1个主题:Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任务提交流程剖析
第2个主题: Hadoop MapReduce Streaming编程
1. Hadoop Streaming 和 Java MapReduce Api 差异
2. 使用 MapReduce 实现数据库功能
第3个主题:MapReduce分布式程序
1. MapReduce流程
2.剖析一个MapReduce程序
3.基本MapReduceAPI 概念
4.驱动代码
第4个主题:Hadoop Mapreduce高级编程
1.ToolRunner介绍
2.使用MRUnit进行测试
3.利用Combiners来减少中间数据
4.使用Configure和Close方法来进行Map/Reduce设置和关闭
5.编写Partitioner来优化负载平衡
6.直接访问Hadoop分布式文件系统(HDFS)
7.使用分布式缓存(Distributed Cache)
第5个主题:MapReduce的优化
1. map优化
2. reduce优化
3. 小文件优化
第6个主题:MapReduce的任务调度
1. Queue调度的使用
2. 公平调度的使用
3. 能力调度的使用
第7个主题Hadoop 生态系统介绍
分布式管理组件-Zookeeper
分布式数据仓库-Hive
分布式数据库-Hbase
数据导入导出-Sqoop
工作流管理- Ozzie
Hadoop数据仓库-Hive
Hive基础
Hive的作用和原理说明
Hadoop仓库和传统数据仓库的协作关系;Hive与传统数据库的对接使用
Hadoop/Hive仓库数据数据流
数据分析平台第三天
Hadoop数据仓库-Hive
Hive Cli 的基本用法
HQL基本语法
自行编写数据库与Hadoop相互ETL工具的思路
Hadoop 分布式数据仓库-Hbase
Hbase概念与架构
hbase核心知识点
hbase安装、部署
Hbase配置优化综述
表设计优化相关参数
监控工具使用方法及注意事项
常见异常现象级处理方法
数据分析平台总结
转载://www.ibid2.com/gkk_detail/5836.html
已开课时间Have start time
大数据课程公开培训班
- 大数据分析与洞察孙子辰
- 大数据时代财务管理-从业务杨云
- 大数据时代营销数据分析技能陈剑
- 微信+O2O+大数据+会员曾智辉
- 微信-O2O-大数据-会员曾智辉
- 大数据分析(Hadoop)朱永春
- 人力资源数据分析与挖掘陈剑
- 大数据时代企业公司化运营杨云
- 大数据时代的绩效管理杨云
- 产品数据管理高级实务培训刘海涛
- 大数据Hadoop开发培训钱兴会
- 大数据、云计算与信息化演进何宝宏
- 大数据时代的财务管理—从业杨云
- 大数据实时处理- Spar杨老师
- 大数据时代的商业数据分析管邹红伟
- 赢在未来-大数据时代的财务吕军
- 工业4.0、大数据分析与中李杰
- 移动互联网时代的大数据企业Ton
- 大数据时代的绩效管理-精细杨云
大数据课程内训
- 《优秀中台数据力训练营:多林屹
- 《互联网营销》董彦峰
- AI数字人实战指南覃小龙
- 传统企业数字能力提升五步法李福东
- 《大数据精准营销》董彦峰
- 数字化思维与技术*应用实践王文琭
- 大数据、人工智能、5G技术刘立丰
- 金融科技下的大数据营销迟台增
- 数字化转型思维变革与方法实李福东
- 工业制造企业数字能力提升五李福东
- 大连接战略背景下的物联网云杨睿
- 数据化思维变革与数字化转型李福东