Hadoop大数据平台课程培训

【课程背景】
数字化浪潮是人类正在经历的第五次信息革命。数字化一方面使得信息的搜集、存储、处理、分发具有了前所未有的效率；另一方面，使得信息从其附着物上分离出来，得以独立于实物、空间和时间而存在。数字化是大数据的根本。大数据的本质是对事物规律的深刻洞察。学习大数据需要掌握其特征描述，包括大数据的技术特征和大数据的价值逻辑。本次课程授课范围为大数据的技术特征。本课程分为理论和实践两部分。理论部分主要带学员了解大数据的基本概念和关键技术，介绍当前大数据平台的基本架构，重点介绍Hadoop生态系统框架及其HDFS、YARN、MapReduce2.0、Hbase、Zookeeper等组件的原理及应用。带学员了解Hadoop大数据平台的运维，帮助学员建立完整的大数据认知体系。实践课程为Hadoop实验课程。带领学员动手搭建Hadoop环境，完成Spark计算框架的搭建，完成XXX和XXX两个操作实验。

【课程特点】
授课形式：理论讲解+动手实验
时间安排：系统学习1天（6小时）
理论讲解与动手实验相结合。其中理论讲解占50%，动手实验占50%。

【课程收益】
1.了解大数据的基本概念、发展历程、主流技术和应用场景等。通过分析大数据平台在建设、生产和运维过程中出现的问题，帮助学员逐步形成解决问题的思路。
2.通过实验课程掌握Hadoop生态系统基本组件的运用。学会使用MapReduce和Spark计算框架解决实际问题。

【受众对象】
1.云计算和电信行业领域的技术人员、管理人员、政企客户经理、产品经理、项目经理
2.管理支持组织中数据中心运行、规划、设计负责人
3.希望提升自身职业能力的人员、其他对大数据技术感兴趣的人员

【课程内容】
一.大数据基本概念及关键技术
1.大数据的基本概念
●信息革命与数字化浪潮
●大数据的产生背景定义和特征
●大数据与云计算的关系
●大数据的影响
●大数据在行业的价值体现
2.大数据的关键技术
●传统架构的局限性
●大数据理论基础
●大数据总体架构和关键技术
●大数据汇聚
●大数据处理
●大数据分析
●大数据展现
●大数据开放

二.大数据平台架构
1.大数据平台详细架构
●大数据平台功能逻辑架构
●Hadoop集群架构
●MPP集群架构
●流处理+内存数据库架构
●大数据平台数据流程
●大数据平台的管理
●大数据平台能力开放
2.行业大数据平台
●某运营商大数据平台
●某银行大数据平台
●某互联网公司大数据平台

三.Hadoop生态系统
1.初识Hadoop 
●Hadoop生态系统
●Hadoop历史版本变迁介绍
●Hadoop基本组件
2.Hadoop三大组件的原理
●分布式文件系统原理
●HDFS原理
●HDFS读写过程
●MapReduce基本原理
●MapReduce框架
●Wordcount案例
●MapReduce内部逻辑
●资源管理系统YARN
●YARN的作用
●YARN的基本原理
3.Hadoop生态系统
●Hadoop1.0～Hadoop3.0演进历史
●Hive和Pig优劣势
●Mahout工具
●Hbase原理
●Hbase数据模型
●Hbase物理模型
●ZooKeeper
●Sqoop
●Flume

四.Hadoop平台运维
1.Hadoop平台运维 
●自动扩缩容
●资源监控
●资源分配管理
●权限管理
●平台容灾
2.Hadoop平台运维案例 
●Hadoop集群访问安全控制
●Hadoop存储共享计算隔离设计
●实时查询库Hbase多实例
●Flume集群高可用
●HDFS磁盘检查机制优化

五.动手实验
1)Hadoop安装 
●Hadoop安装-获取linux操作系统
●Hadoop安装-安装JDK
●Hadoop安装-配置hadoop
2)Hadoop的核心-HDFS简介 
●数据管理策略
●HDFS特点
●HDFS文件读写操作
3)Hadoop的核心-MapReduce原理与实现 
●MapReduce的原理
●MapReduce的运行流程
●实验一：WordCount单词计数实例
●分片输入—Map—Shuffle—Reduce过程总结
4)开发Hadoop应用程序 
●相似度算法
●基于物品的推荐算法原理
●基于物品的推荐算法实战
●实验总结
补充章节 人工智能
1)未来已来
2)人工智能概念和应用
3)机器学习原理
4)云计算和大数据驱动深度学习
5)机器学习平台架构

Hadoop大数据平台课程培训