主要从 Spark SQL 的入门开始讲解，最后通过实战案例来巩固之前所学的知识，让学员达到深入浅出，融会贯通的教学目标。对于 Hive 相关知识我们会从入门开始学习。SpringBoot 框架也会手把手教大家搭建。在最后，会讲解 NLP 的基础知识，并且使用实战案例对影评信息进行情感分析。

完全在线实验的 Spark 培训课程，从 Spark 的安装开始，带你逐步完成 Spark 技术入门。再通过一系列实践项目的动手操作，让你全面入门 Spark 相关技术。课程涵盖 Scala，Streaming，SparkSQL，MLlib，GraphX 等 Spark 相关技术，教程中提供尽可能丰富的步骤说明和截图，详细的理论知识会附上相关文章链接。

存款营销是银行吸收存款的主要经营模式，通过现有数据建立模型来判断客户是否订阅存款业务，从而帮助商业银行更好的分配人力资源，提高业务量，以满足现阶段营销活动对提高营销成功率的期望。 本实验会使用spark机器学习中的逻辑回归算法，分析银行营销数据，按照机器学习开发步骤，建立逻辑回归模型，预测客户是否会存款，并评估预测模型的精确度。

本课程将通过更加深入的讲解，使用真实的 SFPD 数据集，结合实际问题的分析过程，带你学习 DataFrame 的创建方式、常用操作、UDF 自定义函数 和重分区相关知识。

Spark Streaming 是 Spark 引擎的一种扩展，适用于实时处理流式数据。本课程将带你学习 Spark Streaming 的工作机制，了解 Streaming 应用的基本结构，以及如何在 Streaming 应用中附加 SQL 查询。本课程难度为一般，属于初级级别课程，适合具有 Spark 基础的用户，熟悉 Spark Streaming 的工作机制。

我们知道网站用户访问流量是不间断的，基于网站的访问日志，即 Web log 分析是典型的流式实时计算应用场景。比如百度统计，它可以做流量分析、来源分析、网站分析、转化分析。另外还有特定场景分析，比如安全分析，用来识别 CC 攻击、 SQL 注入分析、脱库等。在本课程中，我们将基于 Spark Streaming 流式计算框架，简单地实现一个类似于百度分析的系统。本课程源自图灵教育的《Spark 最佳实践》第6章第3节，感谢图灵教育授权实验楼发布。

决策树是一种被广泛使用的分类算法，本节课将介绍如何用 Spark 预测森林植被。相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置，在实际应用中，对于探测式的知识发现决策树也更加适用。

K-means 算法是集简单和经典于一身的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。本节课主要讲解 K-means 算法，并给出个聚类足球比赛案例。

本课程将使用 Scoket 来模拟用户浏览商品产生实时数据，并使用 Spark Streaming 构建实时数据处理系统。

本课程将通过一个航班数据分析实例来学习 Spark 综合技巧和数据可视化技术。在航班数据分析实验中，可以学习到如何使用 OpenRefine 进行简单的数据清洗，以及如何通过 Spark 提供的 DataFrame、 SQL 和机器学习框架等工具，对航班起降的记录数据进行分析，尝试找出造成航班延误的原因，以及对航班延误情况进行预测。在数据可视化实验中，可以学习到 D3.js 中的数据读取、插值、元素选取、属性设置等 API 的用法。

在本课程中，你将了解如何利用 SQL Context 及相关的 API 进行统计分析。最后将通过一个Spark自定义 UDF 分析 Uber的实例，进一步学习如何利用 Spark SQL 分析数据。本课程难度为一般，属于初级级别课程，适合具有 Spark 基础的用户，学习 Spark SQL 的基础知识。

MLlib 是运行在 Spark 上一个机器学习算法库，借助 Spark 的内存计算，可以使机器学习的模型计算时间大大缩短。本节课基于协同过滤算法实现简易电影推荐。

本节课将介绍如何用 Spark 分析日志。日志在计算机系统中是一个非常广泛的概念，操作系统内核、各种应用服务都有可能输出日志。日志包含很多有用的信息，例如访问者的 IP、时间、目标网页、来源地址等，分析日志能帮助企业营销做出决策。

本节课主要介绍 Spark 的算子，通过演示黑名单实时过滤案例来加深您对 Spark RDD 的理解， 适合刚有 Spark 基础 的人学习。

课程将涉及 Spark FPGrowth 关联规则学习，这是一种从大量的数据中挖掘出有用信息的方法。例如超市存在的购物数据，可以使用关联规则对商品进行关联推销和个性化用户推荐。

出租车是我们生活中经常乘坐的一种交通工具，但打车难的问题也限制了我们更好地利用这种交通方式。在哪些地方出租车更容易打到？在什么时候更容易打到出租车？本课程将基于某市的出租车行驶轨迹数据，带你学习如何应用Spark SQL和机器学习相关技巧，并且通过数据可视化手段展现分析结果。

本课程将可以学习到 Spark 的机器学习库 MLlib 的相关知识，掌握 MLlib 中的基本数据类型。同时，本课程还将通过一个电影推荐的实例，讲解如何利用机器学习算法解决实际问题。

本课程将针对飞行准点率数据集，通过一些简单的分析任务来学习 DataFrame 的由来、构建方式以及一些常用操作。在本课程中，你可以了解到 Spark 生态体系中，核心的 RDD 与 DataFrame 之间的区别和联系。同时，你还可以学习到在 Spark 中加载数据集的方式、如何配置和使用第三方库等等。

本课程将学习Spark体系中用于解决图和并行图计算问题的新组件——GraphX。GraphX通过RDD的扩展，在其中引入了一个新的图抽象，即顶点和边带有特性的有向多重图，提供了一些基本运算符和优化了的Pregel API，来支持图计算。在本课程中你将可以学习到GraphX 框架的基本使用技巧、属性图的定义和操作符的种类，以及PageRank 、连通分量和三角形计数这三个经典的图计算算法。

本课程将学习 Spark 平台中对于 R 语言的支持前端 SparkR。课程将会讲解到如何在 SparkR 中创建和操作 DataFrame、如何运行 SQL 查询，以及如何利用机器学习相关的 API。最后，还会通过一些简单的实例来学习 SparkR 时间序列分析。