本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。并且针对各大组件设计了相应的实操练习，如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。

Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构。它可以将结构化的数据文件映射为一张数据库表，并提供简单的 sql 查询功能。还可以将 sql 语句转换为 MapReduce 任务运行。

课程涵盖了大数据领域常见的组件，如 Hadoop、Mapreduce、HBase、Mahout、Pig、Hive、Sqoop 等。我们将从理论出发，搭建环境并学习相应实践案例。

一个经典的数据架构中，Hadoop 是处理复杂数据流的核心。数据往往是从许多分散的系统中收集而来，并导入 Hadoop 分布式文件系统（HDFS）中，通过 MapReduce 或者其他基于 MapReduce 封装的语言进行处理。本课程的重点将关注 HDFS 数据的导入与导出，包含与本地文件系统、关系数据库、NoSQL 数据库、分布式数据库以及其他 Hadoop 集群之间数据的互相导入导出。

Flume 可以从多个数据源获取数据，把这些数据传给远程主机（可能是一对多或流水线模型 中的多个目标），再把它们传给多个目的端。尽管 Flume 提供了开发自定义数据源和数据目的端的编程 API，但它原本就支持许多常见的场景。本课程源自图灵教育的《Hadoop基础教程》第10章，感谢图灵教育授权实验楼发布。

Python是做数据分析最好的语言。大数据当然也离不开Hadoop，Hadoop由JAVA写成，但Python也可以很好地操控它。本课程介绍了Python中MRjob模块，通过该模块，可以让开发者非常简单的通过Python来使用Hadoop进行数据分析。

Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架，本实验学习并实践Hadoop系统的不同模式的部署，以及基本的系统使用与管理。

Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。本课程难度为简单，属于入门级别课程，适合本课程难度为一般，属于初级级别课程，适合具有hadoop基础的用户。

HBase 是一个开源的非关系型分布式数据库，是 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，为 Hadoop 提供类似于 BigTable 规模的服务。

本课程是 Hadoop 的一个非常基础的应用项目，利用实验楼提供的 Hadoop 环境，对一本武侠小说的文集进行简单的 WordCount 词频统计，从而得到该书中出现频次最高的人名。需要一定的 Hadoop 和 MapReduce 基础。本课程难度为简单，属于入门级别课程，适合对 Hadoop 刚刚入门的用户，甚至没有接触过 Hadoop 的用户也可以按照步骤一步步做出来。