楼+之大数据实战

楼+课程全部在蓝桥完成，正式开课前，你需要学习Scala语言，在开课前学习这门蓝桥的课程即可。 点击这里，学习《Scala开发教程》。另外由于课程 将在Linux系统上学习，你还需要了解下Linux和Vim基本命令。

Hadoop 基础实验中将实践 Hadoop 基本概念、HDFS 及 YARN 架构与操作、MapReduce 原理与编程思想。 还会涉及到 HBase 及 Sqoop 组件，不会涉及太深，以能够了解和使用这些组件为目的。”模仿学习“阶段，6 个实验， 需要你一步步按照实验文档和实验视频完成。“运用实战“阶段，5 个简单的挑战，涉及 Hadoop 组件的最重要的知识点， 完成挑战作业，获得 PASS。

学习 Solr、Hive、Flume、Kafka、Pig 等常见大数据分析组件，并结合第一周学习的 Hadoop 基础组件进行实战 Web 日志分析，让你能够在实验和挑战中学习结合多个不同的产品共同构建数据分析系统的思路。3 个挑战作业， 包含若干关键知识点，需要你在实验中足够认真和编程中足够细心才能够获得 PASS。

本周快速上手 Spark 大数据分析框架，涉及到 Spark 基础与部署、RDD 操作及持久化、Spark 应用开发入门、 Spark Streaming、Spark SQL、Spark GraphX 以及 Spark 机器学习的入门实战。本周的核心目的是能够结合 Spark 多个组件使用 Scala 开发简单的应用，“模仿学习”之后必须要能够“运用实战”。

结合实际项目学习 Spark SQL 数据分析。会应用到之前学习到的多个组件，实验中会开发一个完整的 Spark SQL 应用， 从数据 ETL（提取-转换-加载） 贯穿到使用该应用进行分析，最后到数据可视化或存储。会涉及使用一些新的 知识去解决遇到的新问题，重点学习项目中解决问题的思路。完成本周的内容，有能力使用 Spark SQL 开 发应用解决简单的数据分析问题。

结合实际项目学习 Spark Streaming 进行实时数据分析。会应用到之前学习到的多个组件，实验中会搭建 一个实时分析系统，并开发一个 Spark Streaming 应用，从数据 ETL（提取-转换-加载） 贯穿到使 用该应用进行分析，最后到数据可视化或存储。会涉及使用一些新的知识去解决遇到的新问题，重点学习项目 中解决问题的思路。完成本周的内容，有能力使用 Spark Streaming 开发应用解决简单的实时数据分析问题。

本周需要一定的数学基础，结合实际项目学习 Spark 机器学习进行建模、分析和运算。实验中会涉及多个 小的机器学习项目，在项目提供的数据中进行建模。本周的内容涉及到多个常见的机器学习算法，并学习如何使用 Spark 机器学习的模块进行应用开发，根据已有的数据中进行预测和分析。完成本周的内容，有能力使用 Spark 机器学习模块进行常见机器学习算法实践。