主要从 Spark SQL 的入门开始讲解，最后通过实战案例来巩固之前所学的知识，让学员达到深入浅出，融会贯通的教学目标。对于 Hive 相关知识我们会从入门开始学习。SpringBoot 框架也会手把手教大家搭建。在最后，会讲解 NLP 的基础知识，并且使用实战案例对影评信息进行情感分析。

完全在线实验的 Spark 培训课程，从 Spark 的安装开始，带你逐步完成 Spark 技术入门。再通过一系列实践项目的动手操作，让你全面入门 Spark 相关技术。课程涵盖 Scala，Streaming，SparkSQL，MLlib，GraphX 等 Spark 相关技术，教程中提供尽可能丰富的步骤说明和截图，详细的理论知识会附上相关文章链接。

存款营销是银行吸收存款的主要经营模式，通过现有数据建立模型来判断客户是否订阅存款业务，从而帮助商业银行更好的分配人力资源，提高业务量，以满足现阶段营销活动对提高营销成功率的期望。 本实验会使用spark机器学习中的逻辑回归算法，分析银行营销数据，按照机器学习开发步骤，建立逻辑回归模型，预测客户是否会存款，并评估预测模型的精确度。

本课程将通过更加深入的讲解，使用真实的 SFPD 数据集，结合实际问题的分析过程，带你学习 DataFrame 的创建方式、常用操作、UDF 自定义函数 和重分区相关知识。

Spark Streaming 是 Spark 引擎的一种扩展，适用于实时处理流式数据。本课程将带你学习 Spark Streaming 的工作机制，了解 Streaming 应用的基本结构，以及如何在 Streaming 应用中附加 SQL 查询。本课程难度为一般，属于初级级别课程，适合具有 Spark 基础的用户，熟悉 Spark Streaming 的工作机制。

我们知道网站用户访问流量是不间断的，基于网站的访问日志，即 Web log 分析是典型的流式实时计算应用场景。比如百度统计，它可以做流量分析、来源分析、网站分析、转化分析。另外还有特定场景分析，比如安全分析，用来识别 CC 攻击、 SQL 注入分析、脱库等。在本课程中，我们将基于 Spark Streaming 流式计算框架，简单地实现一个类似于百度分析的系统。本课程源自图灵教育的《Spark 最佳实践》第6章第3节，感谢图灵教育授权实验楼发布。

决策树是一种被广泛使用的分类算法，本节课将介绍如何用 Spark 预测森林植被。相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置，在实际应用中，对于探测式的知识发现决策树也更加适用。

K-means 算法是集简单和经典于一身的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。本节课主要讲解 K-means 算法，并给出个聚类足球比赛案例。

本课程将使用 Scoket 来模拟用户浏览商品产生实时数据，并使用 Spark Streaming 构建实时数据处理系统。

本课程将通过一个航班数据分析实例来学习 Spark 综合技巧和数据可视化技术。在航班数据分析实验中，可以学习到如何使用 OpenRefine 进行简单的数据清洗，以及如何通过 Spark 提供的 DataFrame、 SQL 和机器学习框架等工具，对航班起降的记录数据进行分析，尝试找出造成航班延误的原因，以及对航班延误情况进行预测。在数据可视化实验中，可以学习到 D3.js 中的数据读取、插值、元素选取、属性设置等 API 的用法。

在本课程中，你将了解如何利用 SQL Context 及相关的 API 进行统计分析。最后将通过一个Spark自定义 UDF 分析 Uber的实例，进一步学习如何利用 Spark SQL 分析数据。本课程难度为一般，属于初级级别课程，适合具有 Spark 基础的用户，学习 Spark SQL 的基础知识。

本节课将介绍如何用 Spark 分析日志。日志在计算机系统中是一个非常广泛的概念，操作系统内核、各种应用服务都有可能输出日志。日志包含很多有用的信息，例如访问者的 IP、时间、目标网页、来源地址等，分析日志能帮助企业营销做出决策。

MLlib 是运行在 Spark 上一个机器学习算法库，借助 Spark 的内存计算，可以使机器学习的模型计算时间大大缩短。本节课基于协同过滤算法实现简易电影推荐。

本节课主要介绍 Spark 的算子，通过演示黑名单实时过滤案例来加深您对 Spark RDD 的理解， 适合刚有 Spark 基础 的人学习。

课程将涉及 Spark FPGrowth 关联规则学习，这是一种从大量的数据中挖掘出有用信息的方法。例如超市存在的购物数据，可以使用关联规则对商品进行关联推销和个性化用户推荐。

出租车是我们生活中经常乘坐的一种交通工具，但打车难的问题也限制了我们更好地利用这种交通方式。在哪些地方出租车更容易打到？在什么时候更容易打到出租车？本课程将基于某市的出租车行驶轨迹数据，带你学习如何应用Spark SQL和机器学习相关技巧，并且通过数据可视化手段展现分析结果。

本课程将可以学习到 Spark 的机器学习库 MLlib 的相关知识，掌握 MLlib 中的基本数据类型。同时，本课程还将通过一个电影推荐的实例，讲解如何利用机器学习算法解决实际问题。

本课程将针对飞行准点率数据集，通过一些简单的分析任务来学习 DataFrame 的由来、构建方式以及一些常用操作。在本课程中，你可以了解到 Spark 生态体系中，核心的 RDD 与 DataFrame 之间的区别和联系。同时，你还可以学习到在 Spark 中加载数据集的方式、如何配置和使用第三方库等等。

本课程将学习Spark体系中用于解决图和并行图计算问题的新组件——GraphX。GraphX通过RDD的扩展，在其中引入了一个新的图抽象，即顶点和边带有特性的有向多重图，提供了一些基本运算符和优化了的Pregel API，来支持图计算。在本课程中你将可以学习到GraphX 框架的基本使用技巧、属性图的定义和操作符的种类，以及PageRank 、连通分量和三角形计数这三个经典的图计算算法。

本课程将学习 Spark 平台中对于 R 语言的支持前端 SparkR。课程将会讲解到如何在 SparkR 中创建和操作 DataFrame、如何运行 SQL 查询，以及如何利用机器学习相关的 API。最后，还会通过一些简单的实例来学习 SparkR 时间序列分析。