大数据分析挖掘课程

    培训受众:
    1.系统架构师、系统分析师、高级程序员、资深开发人员。
    2.牵涉到大数据处理的数据中心运行、规划、设计负责人。
    3.政府机关.金融保险、移动和互联网等大数据来源单位的负责人。
    4.高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

    课程收益:
    1.全面了解大数据处理技术的相关知识。
    2.学习Hadoop/Yarn/Spark的核心数据分析技术
    3.深入学习Mahout/MLlib挖掘工具在大数据中的使用。
    4.掌握Storm流处理技术和Docker等技术与大数据挖掘结合的方法。

    培训目标
    1.全面了解大数据处理技术的相关知识。
    2.学习Hadoop/Yarn/Spark的核心数据分析技术
    3.深入学习Mahout/MLlib挖掘工具在大数据中的使用。
    4.掌握Storm流处理技术和Docker等技术与大数据挖掘结合的方法。

    学员基础
    1.对IT系统设计有一定的理论与实践经验。
    2.数据仓库与数据挖掘处理有一定的基础知识。
    3.对Hadoop/Yarn/Spark大数据技术有一定的了解。

    培训要点
    本课程从大数据挖掘分析技术实战的角度.结合理论和实践.全方位地介绍Mahout和 MLlib等大数据挖掘工具的开发技巧。本课程涉及的主题包括：大数据挖掘及其背景.Mahout和 MLlib大数据挖掘工具.推荐系统及电影推荐案例.分类技术及聚类分析.以及与流挖掘和Docker技术的结合.分析了大数据挖掘前景分析。
    本课程教学过程中还提供了案例分析来帮助学员了解如何用Mahout和 MLlib挖掘工具来解决具体的问题.并介绍了从大数据中挖掘出有价值的信息的关键。
    本课程不是一个泛泛的理论性、概念性的介绍课程.而是针对问题讨论Mahout和 MLlib解决方案的深入课程。对于上述领域有深入的理论研究与实践经验.在课程中将会针对这些问题与学员一起进行研究.在关键点上还会搭建实验环境进行实践研究.以加深对于这些解决方案的理解。通过本课程学习.希望推动大数据分析挖掘项目开发上升到一个新水平。

    培训内容
    第一讲大数据挖掘及其背景
    1)数据挖掘定义
    2)Hadoop相关技术
    3)大数据挖掘知识点

    第二讲 MapReduce/DAG计算模式
    1）分布式文件系统DFS
    2）MapReduce计算模型介绍
    3）使用MR进行算法设计
    4）DAG及其算法设计

    第三讲 云挖掘工具Mahout/MLib
    1）Hadoop中的Mahoutb介绍
    2）Spark中的Mahout/MLib介绍
    3）推荐系统及其Mahout实现方法
    4）信息聚类及其MLlib实现方法
    5）分类技术在Mahout/MLib中的实现方法

    第四讲 推荐系统及其应用开发
    1）一个推荐系统的模型
    2）基于内容的推荐
    3）协同过滤
    4）基于Mahout的电影推荐案例

    第五讲 分类技术及其应用
    1）分类的定义
    2）分类主要算法
    3）Mahout分类过程
    4）评估指标以及评测
    5）贝叶斯算法新闻分类实例

    第六讲 聚类技术及其应用
    1）聚类的定义
    2）聚类的主要算法
    3）K-Means、Canopy及其应用示例
    4）Fuzzy K-Means、Dirichlet及其应用示例
    5）基于MLlib的新闻聚类实例

    第七讲 关联规则和相似项发现
    1）购物篮模型
    2）Apriori算法
    3）抄袭文档发现
    4）近邻搜索的应用

    第八讲 流数据挖掘相关技术
    1）流数据挖掘及分析
    2）Storm和流数据处理模型
    3）流处理中的数据抽样
    4）流过滤和Bloom filter

    第九讲 云环境下大数据挖掘应用
    1）与Hadoop/Yarn集群应用的协作
    2）与Docker等其它云工具配合
    3）大数据挖掘行业应用展望

大数据分析挖掘课程