本课程教你如何熟练地使用 Linux，本实验中通过在线动手实验的方式学习 Linux 常用命令，用户与权限管理，目录结构与文件操作，环境变量，计划任务，管道与数据流重定向等基本知识点。

本课程将带大家学习使用强大的 Vim 编辑器。Vim 是从 vi 发展出来的一个文本编辑器，在程序员中被广泛使用。和 Emacs 并列成为类 Unix 系统用户最喜欢的编辑器。适合所有想要学习编程和想要在实验楼学习的人。

本课程实验内容从 SQL 概念开始，在 MySQL 数据库中学习并实践了 SQL 常用语法及约束、索引、视图、SELECT 查询、修改与删除等基本操作。

目前 MongoDB 是 IT 行业非常流行的一种非关系型数据库(NoSQL),其灵活的数据存储方式备受当前 IT 从业人员的青睐。本课程是 MongoDB 基础教程，介绍了 MongoDB 基本的集合操作、高级查询以及索引与聚合。

Redis 是一个开源，支持网络且基于内存和键值对的存储数据库，本课程将介绍 Redis 的基本配置和使用方法。

本课程作为 Java 编程的入门内容，是每个 Java 初学者都必须掌握的基础知识。课程从常量与变量、运算符、流程控制、数组和方法等 Java 基础语法开始，层层递进，逐步带你认识了解如何通过 Java 实现面向对象的三大特征继承、封装，多态。同时，课程还会涉及 Java 中常用类、字符串、集合框架和异常处理的相关操作使用。

本次课程讲解了 JDK 中常用的 API，这对日常的开发十分重要。课程将涉及字符串数字处理函数，集合框架，输入输出流，以及多线程等相关知识。

本课程使用 Java 语言完成了一个简单的计算器。将使用到 Java Swing 图形组件等等。课程能够让大家深入学习如何制作 Swing 图形化界面以及为 UI 组件设置事件响应逻辑。本课程难度为一般，属于初级课程，适合具有Java基础和Swing组件编程知识的用户学习。

利用 SSM 框架和简单的前端知识、Markdown 的富文本编辑器插件和第三方评论插件和 MySQL 数据库搭建一个简单但是功能完善的个人博客网站。

本课程以实例的形式讲解 Java 多线程，由浅入深的用了六十多个实例逐步讲解整个多线程的使用方式，完善多线程编程的基本思想。认认真真敲打实例，保证每一个人都可以百分百学会 Java 多线程。

Scala 是一门多范式的编程语言，类似于 Java 。设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。在本课程中，你将可以学习到 Scala 的基础语法、类和对象、基本数据类型、控制语句以及函数等方面的知识，从而更好地来编写 Scala 应用。

“算 24 点”是一种数学游戏，正如象棋、围棋一样是一种人们喜闻乐见的娱乐活动。 它始于何年何月已无从考究，但它以自己独具的数学魅力和丰富的内涵正逐渐被越来越多的人们所接受。在本课程中，我们将通过一个算 24 点游戏的形式，进一步巩固 Scala 的基础。你将可以在本课程中学习到数学表达式的穷举方法、全排列算法，以及如何在 Java 中调用 Scala 的代码等。

本课程侧重介绍Scala的case class和pattern matching（模式匹配），这两个程序结构对于处理树结构的数据非常有帮助。在本课程中，你将可以学习到模式匹配中的常量模式、通配模式和变量模式等，以及如何进行模式限定修饰和重叠模式的定义和正确定义可选项。

本课程主要介绍 Scala 中可以让函数库调用变得更加方便的隐式变换和隐式参数，以及如何通过它们来避免一些繁琐和显而易见的细节问题。课程内容主要包括 implicits 的使用规则、隐含类型转换、转换被方法调用的对象等。

本课程侧重讲解 Scala 中的 Extractor ，它可以将数据模型和视图逻辑分离，在 Scala 体系中充当类似于适配器的角色，是一种极具函数式的做法。你将可以在课程中学到如何定义和设定 Extractor 。本课程难度为一般，属于初级级别课程，适合具有 Scala 基础的用户。

本课程主要介绍 Scala 中的抽象成员用法。先前的基础课程中提到 Scala 中的类型成员也可以是抽象的，而抽象字段和抽象方法都只有字段或者方法的定义，没有字段或者方法的具体实现。在本节，你将可以学到如何使用 Type 成员，以及抽象 vals 变量的初始化方法等要点。

课程涵盖了大数据领域常见的组件，如 Hadoop、Mapreduce、HBase、Mahout、Pig、Hive、Sqoop 等。我们将从理论出发，搭建环境并学习相应实践案例。

Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架，本实验学习并实践Hadoop系统的不同模式的部署，以及基本的系统使用与管理。

Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构。它可以将结构化的数据文件映射为一张数据库表，并提供简单的 sql 查询功能。还可以将 sql 语句转换为 MapReduce 任务运行。

HBase 是一个开源的非关系型分布式数据库，是 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，为 Hadoop 提供类似于 BigTable 规模的服务。

一个经典的数据架构中，Hadoop 是处理复杂数据流的核心。数据往往是从许多分散的系统中收集而来，并导入 Hadoop 分布式文件系统（HDFS）中，通过 MapReduce 或者其他基于 MapReduce 封装的语言进行处理。本课程的重点将关注 HDFS 数据的导入与导出，包含与本地文件系统、关系数据库、NoSQL 数据库、分布式数据库以及其他 Hadoop 集群之间数据的互相导入导出。

Flume 可以从多个数据源获取数据，把这些数据传给远程主机（可能是一对多或流水线模型 中的多个目标），再把它们传给多个目的端。尽管 Flume 提供了开发自定义数据源和数据目的端的编程 API，但它原本就支持许多常见的场景。本课程源自图灵教育的《Hadoop基础教程》第10章，感谢图灵教育授权实验楼发布。

本课程是 Hadoop 的一个非常基础的应用项目，利用实验楼提供的 Hadoop 环境，对一本武侠小说的文集进行简单的 WordCount 词频统计，从而得到该书中出现频次最高的人名。需要一定的 Hadoop 和 MapReduce 基础。本课程难度为简单，属于入门级别课程，适合对 Hadoop 刚刚入门的用户，甚至没有接触过 Hadoop 的用户也可以按照步骤一步步做出来。

Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。本课程难度为简单，属于入门级别课程，适合本课程难度为一般，属于初级级别课程，适合具有hadoop基础的用户。

本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。并且针对各大组件设计了相应的实操练习，如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。

本课程将学习 Spark SQL 的基础概念，了解如何利用 SQL Context 及相关的 API 进行统计分析。同时，课程还将通过分析股票价格与石油价格关系，进一步学习如何利用 Spark SQL 完成数据分析。

本次课程将介绍如何使用Spark MLlib对Twitter上的流数据进行情感分析，并且利用Python的工具包basemap可视化美国不同的州对于曾经的总统候选人希拉里及川普的情感分析结果，通过地理信息可视化我们可直观的感受到这两位候选人的受欢迎程度。

本节课将介绍如何用 Spark 分析日志。日志在计算机系统中是一个非常广泛的概念，操作系统内核、各种应用服务都有可能输出日志。日志包含很多有用的信息，例如访问者的 IP、时间、目标网页、来源地址等，分析日志能帮助企业营销做出决策。

本课程将通过一个航班数据分析实例来学习 Spark 综合技巧和数据可视化技术。在航班数据分析实验中，可以学习到如何使用 OpenRefine 进行简单的数据清洗，以及如何通过 Spark 提供的 DataFrame、 SQL 和机器学习框架等工具，对航班起降的记录数据进行分析，尝试找出造成航班延误的原因，以及对航班延误情况进行预测。在数据可视化实验中，可以学习到 D3.js 中的数据读取、插值、元素选取、属性设置等 API 的用法。

Spark Streaming 是 Spark 引擎的一种扩展，适用于实时处理流式数据。本课程将带你学习 Spark Streaming 的工作机制，了解 Streaming 应用的基本结构，以及如何在 Streaming 应用中附加 SQL 查询。本课程难度为一般，属于初级级别课程，适合具有 Spark 基础的用户，熟悉 Spark Streaming 的工作机制。

本课程将可以学习到 Spark 的机器学习库 MLlib 的相关知识，掌握 MLlib 中的基本数据类型。同时，本课程还将通过一个电影推荐的实例，讲解如何利用机器学习算法解决实际问题。

存款营销是银行吸收存款的主要经营模式，通过现有数据建立模型来判断客户是否订阅存款业务，从而帮助商业银行更好的分配人力资源，提高业务量，以满足现阶段营销活动对提高营销成功率的期望。 本实验会使用spark机器学习中的逻辑回归算法，分析银行营销数据，按照机器学习开发步骤，建立逻辑回归模型，预测客户是否会存款，并评估预测模型的精确度。

MLlib 是运行在 Spark 上一个机器学习算法库，借助 Spark 的内存计算，可以使机器学习的模型计算时间大大缩短。本节课基于协同过滤算法实现简易电影推荐。

本课程将通过更加深入的讲解，使用真实的 SFPD 数据集，结合实际问题的分析过程，带你学习 DataFrame 的创建方式、常用操作、UDF 自定义函数 和重分区相关知识。

本课程将针对飞行准点率数据集，通过一些简单的分析任务来学习 DataFrame 的由来、构建方式以及一些常用操作。在本课程中，你可以了解到 Spark 生态体系中，核心的 RDD 与 DataFrame 之间的区别和联系。同时，你还可以学习到在 Spark 中加载数据集的方式、如何配置和使用第三方库等等。

本课程将使用 Scoket 来模拟用户浏览商品产生实时数据，并使用 Spark Streaming 构建实时数据处理系统。

本节课主要介绍 Spark 的算子，通过演示黑名单实时过滤案例来加深您对 Spark RDD 的理解， 适合刚有 Spark 基础 的人学习。

完全在线实验的 Spark 培训课程，从 Spark 的安装开始，带你逐步完成 Spark 技术入门。再通过一系列实践项目的动手操作，让你全面入门 Spark 相关技术。课程涵盖 Scala，Streaming，SparkSQL，MLlib，GraphX 等 Spark 相关技术，教程中提供尽可能丰富的步骤说明和截图，详细的理论知识会附上相关文章链接。

主要从 Spark SQL 的入门开始讲解，最后通过实战案例来巩固之前所学的知识，让学员达到深入浅出，融会贯通的教学目标。对于 Hive 相关知识我们会从入门开始学习。SpringBoot 框架也会手把手教大家搭建。在最后，会讲解 NLP 的基础知识，并且使用实战案例对影评信息进行情感分析。

本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。并且针对各大组件设计了相应的实操练习，如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。

Spark 实时电商数据分析可视化系统是一个经典的大数据应用项目，技术栈主要有 Flume、Kafka、Spark Streaming、Flask 等，帮助大家了解和运用一些当前热门的大数据处理组件来亲自动手搭建一套大数据处理平台框架和熟悉大数据项目的基础开发流程。