一实验介绍 HDFS（Hadoop Distributed File System）是 Hadoop 分布式文件系统，是 Hadoop 三大核心之一。HDFS 是一个具有高容错性的文件系统，适合部署在廉价的机器上，HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。大数据处理框架如 MapReduce、Spark 等要处理的数据源大部分都存储在 HDFS 上，Hive、HBase 等框架的数据通常也存储在 HDFS 上。知识点 HDFS 架构 HDFS 应用场景 HDFS 基本操作 Web 管理界面 WebHDFS API 的使用（2）.HDFS 文件系统的基本特征高容错性：把硬件出错看做一种常态，HDFS 设计了相应机制能够快速自动进行错误检测和恢复。数据容量大：目前普通计算机的硬盘容量可以达到 1T 甚至更多，而 HDFS 集群可以轻松拥有上百台节点甚至更大的规模，还可以不停地往集群中添加节点，以适应海量数据的需求。可扩展性：水平扩展性强，集群中的节点可以根据需要进行动态地添加和删除。高吞吐量：由于 Hadoop 集群采用的是分布式架构，可以并行地处理数据，从而大大提高了单位时间内的数据处理能力，提高了吞吐量。（3）.HDFS 应用场景 HDFS 被设计为适应如下的应用场景：需要存储非常大的文件：这里非常大指的是 GB、或者 TB 级别，需要高吞吐量，对延时没有要求。一次写入、多次读取：即历史数据没有频繁变化的需求。硬件成本预算低：期望由普通廉价机器完成存储任务。需要高容错性：数据自动保存多个副本，副本丢失后自动恢复。需要根据数据规模变化方便地扩容：HDFS 集群可以横向扩展，当集群增加新节点之后，NameNode 自动感知，将数据分发和备份到相应的节点上。但它也有不适合的应用场景：低延时的数据访问：对延时要求在秒级别的应用，不适合采用 HDFS，因为 HDFS 是为高吞吐数据传输设计的。大量小文件：由于 HDFS 的 NameNode 要记录文件的元数据，大量小文件将导致元数据规模很大。HDFS 会将文件切割成块（block），块的大小（blocksize）默认为 128M。存储一个大小恰好为 128M 的文件，HDFS 只会记录一个块的元数据；存储 128 个 1024K 大小的文件，HDFS 则会记录 128 个块的元数据（HDFS 不会对小文件进行合并）。文件总大小固定，用小文件（远小于 blocksize）比用大文件所导致的块的数量要多得多。文件及块的元数据保存在 NameNode 的内存中，太多的元数据将导致 NameNode 所在节点的内存难以支撑。需要任意的文件修改：HDFS 采用追加（append-only）的方式写入数据。不支持文件任意 offset 的修改，且不支持多个写入器（writer）。（4）.HDFS 架构 HDFS 是一个主从（Mater-Slave）体系结构。由四个部分组成，HDFS Client、NameNode、DataNode 和 Secondary NameNode。如图所示： ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051028338) HDFS Client，通常指 HDFS 集群下各种操作请求对应的客户端。其功能主要有以下几点：文件上传到 HDFS 的时候，Client 将文件切分成一个一个的 Block，然后进行存储。 Client 与 NameNode 交互，获取文件的位置信息。 Client 与 DataNode 交互，读取或者写入数据。 Client 提供一些命令来管理和访问 HDFS，比如启动或者关闭 HDFS。 NameNode、Secondary NameNode 和 DataNode，已经在上一章介绍过此处不再重复。（5）.HDFS 基本操作在编写任务代码之前，首先应切换到 hadoop 用户。请双击打开桌面上的 Xfce 终端，并输入以下命令。在切换用户时 hadoop 用户的密码是 hadoop ： su -l hadoop copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051116211) 初始化 HDFS 在首次使用 HDFS 之前应当初始化 Namenode 。该操作可以类比于格式化磁盘，因此在 HDFS 上存放有数据时要谨慎使用该命令。注意：如果你沿用了上一节课保存的实验环境，则无需再次初始化。否则，请重新开始本节实验，使用“该实验默认环境”，并使用以下命令初始化 HDFS ： hdfs namenode -format （6）.导入文件由于 HDFS 是建立在本地磁盘之上的一层分布式存储系统，在使用 HDFS 之前需要向其中导入数据。首先来准备一些文件，最便捷的方式仍然是将 Hadoop 的配置文件作为样例。首先需要启动 HDFS 的守护进程。 start-dfs.sh copy Play Video 在终端中输入以下命令来创建目录和复制数据： cd /home/hadoop mkdir sample_data cp /opt/hadoop-2.6.1/etc/hadoop/* sample_data/ copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051239086) 任何对 HDFS 文件系统的操作都是以 hdfs dfs 开头，再辅以相应的操作参数。最常用的参数是 put ，其用法如下，可在终端中输入该命令。 hdfs dfs -put /home/hadoop/sample_data/hadoop-policy.xml /policy.xml copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051399063) 命令最后的 /policy.xml 代表存放于 HDFS 的文件名是 policy.xml，路径是 / （根目录）。如果你想继续沿用之前的文件名，则可以直接填写路径 /。如果需要上传多个文件，则可以连续地填写本地目录的文件路径，并以 HDFS 目标存放路径作为结尾： hdfs dfs -put /home/hadoop/sample_data/httpfs-env.sh /home/hadoop/sample_data/mapred-env.sh /user/hadoop copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051425472) 在填写路径相关的参数时，其规则与 Linux 系统下的文件目录规则相同，你可以使用通配符（例如 *.sh）等技巧来简化操作。（7）.文件和文件夹操作文件操作同样地，可以使用 -ls 参数来列出指定目录中的文件： hdfs dfs -ls /user/hadoop copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051507064) 此处列出的文件可能因实验环境而不同。如果需要查看某个文件的内容，则可以使用 cat 参数。最容易想到的是直接填写 HDFS 上的某个文件路径。如果需要比对本地目录与 HDFS 之上的文件，则可以分别填写它们的路径。但需要注意的是，本地目录需要以 file:// 指示符开头，并辅以文件路径（如 /home/hadoop/.bashrc ，不要忘记路径开始的 / ）。否则，任何填写到此处的路径都会默认识别为 HDFS 上的路径。 hdfs dfs -cat file:///home/hadoop/.bashrc /user/hadoop/mapred-env.sh copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051542403) 如果需要复制某个文件到另一个路径，则可以使用 cp 参数。 hdfs dfs -cp /user/hadoop/mapred-env.sh /user/hadoop/copied_file.txt copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051593430) 同样地，如果需要移动某个文件，则使用 mv 参数。这与 Linux 的文件系统命令格式基本相同。 hdfs dfs -mv /user/hadoop/mapred-env.sh /moved_file.txt copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051634668) 如果想把一些新的内容追加到 HDFS 上的某个文件中，则可以使用 appendToFile 参数。并且在填写待追加的本地文件路径时，可以填写多个。最后一个参数将作为被追加的对象，该文件必须在 HDFS 上存在，否则将报错。 echo 1 >> a.txt echo 2 >> b.txt hdfs dfs -appendToFile a.txt b.txt /user/hadoop/mapred-env.sh copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051735797) 可以使用 tail 参数来查看文件尾部内容，以确认是否追加成功。 hdfs dfs -tail /user/hadoop/mapred-env.sh copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051770454) 如果需要删除某个文件或目录，则使用 rm 参数。该参数还可以附带 -r 和 -f，其意义与 Linux 文件系统相同。 hdfs dfs -rm /moved_file.txt copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051837107) Play Video 目录操作在之前的课程中我们已经学习了如何在 HDFS 中创建目录。实际上，如果需要同时创建多个目录，你可以直接将多个目录的路径作为参数填入。-p 参数表明当其父目录不存在时，将会被自动创建。 hdfs dfs -mkdir -p /user/hadoop/dir1 /user/hadoop/dir2/sub_dir1 copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051872803) 如果想查看某些文件或者目录占用了多少的空间，则可以使用 du 参数： hdfs dfs -du /user/hadoop/ copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602051903618) Play Video （8）.导出文件在前文中我们主要介绍了 HDFS 内部的文件和目录操作，如果 MapReduce 等应用程序计算完成并产生了记录结果的文件，则可以使用 get 参数来将其导出到 Linux 系统的本地目录中。在此处第一个路径参数指的是 HDFS 内部的路径，而最后一个路径指的是保存在本地目录的路径。 hdfs dfs -get /user/hadoop/mapred-env.sh /home/hadoop/exported_file.txt copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052094395) 如果导出成功，可以在本地目录找到该文件： cd ~ ls copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052121213) Play Video （9）.Web 管理界面每个 NameNode 和 DataNode 都在内部运行着一个 Web 服务器，用于显示集群的当前状态等基本信息。在默认配置下，NameNode 的首页是http://localhost:50070/。它列出了集群中的 DataNode 和集群的基本统计数据。打开 FireFox 浏览器，在地址栏中输入： http://localhost:50070/ copy 在 OverView 中可以看到当前“集群”中活跃的 DataNode 节点数量： ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052192939) 如果集群发生了问题，并且使用 HDFS 时始终报错，可以先从这里检查集群的状态是否正常，再结合日志进行分析。 Web 界面也可以用于浏览 HDFS 内部的目录和文件，在顶部菜单栏点击 “Utilities” 下的 “Broswe the file system” 链接。 ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052222372) (10).WebHDFS REST API 如果将 HDFS 作为某个云计算系统的存储组件组成部分，外部访问是不可缺少的功能。为此， HDFS 提供了基于 HTTP 协议访问的方式—— WebHDFS。（11）.WebHDFS 概述文件系统 URI 与 HTTP URL 维基百科对 URI 的定义如下：统一资源标识符(Uniform Resource Identifier, URI)是为通过 URI 方案明确标识资源和可扩展性而设计的字符串。 WebHDFS 的文件系统语法格式是以 webhdfs:// 开头的，一个标准的 WebHDFS 文件系统 URI 写法如下： webhdfs://:/ copy 上面的 WebHDFS URI 等价于下面的 HDFS URI 。 hdfs://:/ copy 在 REST API 中，在路径之前多了一个前缀 /webhdfs/v1 ，在路径之后多了一些操作的参数 ?op=...，因此相关的 HTTP URL 写法应当是如下格式： http://:/webhdfs/v1/?op=... copy 启用 WebHDFS 在启用 WebHDFS 之前，首先应该关闭 Hadoop 集群。任何对 Hadoop 的修改都应当先关闭集群以避免对数据产生影响。 stop-yarn.sh stop-dfs.sh copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052416898) 使用 Vim 编辑器打开 hdfs-site.xml 文件： vim /opt/hadoop-2.6.1/etc/hadoop/hdfs-site.xml copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052457219) 打开之后，在 configuration 标签中新增以下属性和配置值： dfs.webhdfs.enabled true copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052483540) 默认情况下，如果外部应用想要访问 Namenode ，则可以直接与 Namenode 的 IP 和 50070 端口进行通信。同样地，如果外部应用想要使用 WebHDFS 诸如上传下载的文件管理功能，则需要通过 Datanode 的 IP 和 50075 端口来与其进行通信。在实际应用中，如果不想过于细致地区分这些端口，则可以按照以上的方式来启用 Namenode 的 WebHDFS 功能。修改完毕后，应当再次启动 Hadoop 的相关服务： start-dfs.sh start-yarn.sh copy （12）.创建目录在集群启动完成之后，可以利用 curl 工具来模拟 HTTP 请求。在终端中输入以下命令来尝试创建目录： curl -i -X PUT "http://localhost:50070/webhdfs/v1/user/hadoop/webhdfs_dir?op=MKDIRS" copy 如果直接使用以上命令来创建目录，可能会遇到权限相关报错信息： ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052581187) 这是由于 WebHDFS 启用的安全认证模式导致的。在目前的安全等级下，我们可以附加一个 user.name 参数来指明以哪个用户创建目录。更高的权限设置可以在官方文档 Authentication for Hadoop HTTP web-consoles 中查看如何设置。在之前的 URL 中附加一个参数 &user.name=hadoop 来表示我们用 hadoop 用户创建目录。再次尝试在终端中输入以下命令： curl -i -X PUT "http://localhost:50070/webhdfs/v1/user/hadoop/webhdfs_dir?op=MKDIRS&user.name=hadoop" copy 此时的返回信息表明已经目录已经创建成功： ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052637148) Play Video （13）.上传文件使用 WebHDFS 上传文件需要两个步骤，首先是在 NameNode 上创建文件的信息。首先提交一个 HTTP 的 PUT 请求，不需要自动跟踪重定向，此时也不需要发送文件的数据。将 op 参数设置为 CREATE，表明当前操作是创建文件。附加的参数 overwrite=true 是文件名相同时的解决办法，即覆盖原来的文件。请在终端中输入以下命令来创建文件，此时请求的 URL 仍然是 NameNode 的 IP 和端口： curl -i -X PUT "http://localhost:50070/webhdfs/v1/user/hadoop/new_uploaded_file.txt?op=CREATE&overwrite=true" copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052726598) 可以看到 HTTP 响应信息里有一个 Location 字段，第二步便是利用申请到的 Location 来上传实际的文件数据。需要注意的是，此时的 URL 已经变成了 DataNode 的 IP 和端口。在本课程中由于是伪分布式部署，你可以用 localhost 替代其 IP 。在终端中输入以下命令来发送数据，你可以直接复制之前返回的 Localtion 里的 URL 作为请求目标。请注意，涉及到文件修改的操作，都需要身份认证。因此我们还需要在请求的 URL 尾部添加一个参数，即使用哪个用户来创建：user.name=hadoop curl -i -X PUT -T /home/hadoop/sample_data/yarn-site.xml "http://localhost:50075/webhdfs/v1/user/hadoop/new_uploaded_file.txt?op=CREATE&namenoderpcaddress=localhost:9000&overwrite=true&user.name=hadoop" copy 可以看到响应信息里， Location 字段已经生成了上传成功的文件的 URI 。 ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052756123) Play Video （14）.重命名文件和目录. 有了之前的基础，重命名文件和目录的操作比较容易理解，直接使用 RENAME 作为操作参数的值。并指定 destination 参数即可，该参数是指重命名之后的文件路径。 curl -i -X PUT "http://localhost:50070/webhdfs/v1/user/hadoop/new_uploaded_file.txt?op=RENAME&destination=/user/hadoop/rename.txt&user.name=hadoop" ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052865977) copy Play Video （15）.下载文件下载文件只需要发送一个 HTTP GET 请求，并自动跟随重定向。 curl -i -L "http://localhost:50070/webhdfs/v1/user/hadoop/rename.txt?op=OPEN" -o /home/hadoop/downloaded.txt copy 请求首先被重定向到可以读取到文件数据的 DataNode ，然后客户端（也就是我们发出请求的这方）将会被重定向到 DataNode 以读取文件的数据。你也可以使用 curl 的 -o 参数将其保存到文件中。 ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602052950238) Play Video （16）.列出文件和状态统计如果想知道某个目录下有哪些文件，可以使用 LISTSTATUS 操作： curl -i "http://localhost:50070/webhdfs/v1/user/hadoop?op=LISTSTATUS" copy 返回的信息将以 JSON 格式组织，在具体开发时可以利用一些 JSON 解析工具对这些数据进行处理。 ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602053023132) 如果想要查看文件或目录的状态，可以使用 GETFILESTATUS 操作。发送一个 HTTP GET 请求即可： curl -i "http://localhost:50070/webhdfs/v1/user/hadoop?op=GETFILESTATUS" copy ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492357-20201007-1602053048843) Play Video （17）.关闭 Hadoop 集群以上就是 WebHDFS 的一些基本操作，更多的指令可以查阅 WebHDFS 的文档。本节课程至此就告一段落，作为习惯，我们仍然关闭 Hadoop 集群： stop-yarn.sh stop-dfs.sh copy （18）.HDFS Java API 编程 HDFS 提供了丰富的编程接口供开发人员调用，当然 HDFS 同时支持其它语言如 C++、Python 等编程接口，但它们都没有 Java 接口方便。凡是使用 Shell 命令可以完成的功能，都可以使用相应 Java API 来实现，甚至使用 API 可以完成 Shell 命令不支持的功能。笔者以 Eclipse 作为 IDE，为了管理 Jar 包的方便，创建一个 Maven 项目，导入以下依赖： org.apache.hadoop hadoop-client 2.9.2 org.apache.hadoop hadoop-common 2.9.2 log4j log4j 1.2.17 copy 下面挑选了部分 HDFS Java API 来演示，包括如何上传和下载文件、创建和删除目录、重命名、遍历文件目录等功能。 package com; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocatedFileStatus; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.RemoteIterator; import org.junit.Before; import org.junit.Test; public class HdfsClient { FileSystem fs = null; @Before public void init() throws Exception { //构造一个配置参数对象，通过set方法可以设置很多参数 Configuration conf = new Configuration(); //设置集群的访问地址和端口，以及客户端以hadoop用户身份访问hdfs fs = FileSystem.get(new URI("hdfs://192.168.128.131:9000"), conf, "hadoop"); } /** * 1.往hdfs上传文件 * @throws Exception */ @Test public void testUploadToHdfs() throws Exception { //要上传的文件所在的本地路径，如果包含中文，需要确保文件的格式为utf-8 Path src = new Path("e:/a.txt"); //要上传到hdfs的目标路径，如果没有，需要提前创建好 Path dst = new Path("/aaa"); fs.copyFromLocalFile(src, dst); fs.close(); } /** * 2.从hdfs上下载文件到本地 * @throws IOException * @throws IllegalArgumentException */ @Test public void testDownloadFileToLocal() throws IllegalArgumentException, IOException { //第1个参数：是否删掉源文件，第4个参数：是否使用本地文件系统，这里因为是windows环境下，必须要使用，所以要设置为true fs.copyToLocalFile(false,new Path("/aaa/b.txt"), new Path("e:/"),true); fs.close(); } /** * 3.创建目录 * @throws IllegalArgumentException * @throws IOException */ @Test public void testMkdir() throws IllegalArgumentException, IOException { //创建目录 fs.mkdirs(new Path("/a/b/c")); fs.close(); } /** * 4.删除目录 * @throws IllegalArgumentException * @throws IOException */ @Test public void testDelete() throws IllegalArgumentException, IOException { //删除文件夹，如果是非空文件夹，参数2必须给值true fs.delete(new Path("/aaa"), true); fs.close(); } /** * 5.重命名 * @throws IllegalArgumentException * @throws IOException */ @Test public void testRename() throws IllegalArgumentException, IOException { //重命名文件或文件夹 fs.rename(new Path("/a"), new Path("/b")); fs.close(); } /** * 6.查看文件信息 * @throws IOException * @throws IllegalArgumentException * @throws FileNotFoundException */ @Test public void testListFiles() throws FileNotFoundException, IllegalArgumentException, IOException { //hadoop中需要返回数据集时，大部分情况会返回迭代器，而非集合对象， //原因是数据集可能很大，如果返回的是集合对象，会给内存造成很大压力。 RemoteIteratorlistFiles = fs.listFiles(new Path("/"), true); while (listFiles.hasNext()) { LocatedFileStatusfileStatus = listFiles.next(); System.out.println(fileStatus.getPath().getName()); System.out.println(fileStatus.getBlockSize()); System.out.println(fileStatus.getPermission()); System.out.println(fileStatus.getLen()); BlockLocation[] blockLocations = fileStatus.getBlockLocations(); for (BlockLocationbl : blockLocations) { System.out.println("block-length:" + bl.getLength() + "--" + "block-offset:" + bl.getOffset()); String[] hosts = bl.getHosts(); for (String host : hosts) { System.out.println(host); } } System.out.println("--------------分割线--------------"); } } } （19）.实验总结本章介绍了 HDFS 文件系统的基本特征和体系架构，详细介绍了 HDFS 的工作机制，在此基础上，讲述了 HDFS 提供的三种访问接口：Web UI、Shell 命令和 Java API。 HDFS 采用分布式架构，文件系统主要由 NameNode 和 DataNode 组成。NameNode 作为管理节点，主要存储了每个文件的块信息，并控制数据的读写过程，而 DataNode 作为数据节点，主要用于存储真实数据。 HDFS 的工作机制涉及到通信机制、数据冗余机制、元数据管理机制、数据读写机制、异常恢复机制和安全模式机制。每一种机制都需要读者细细体会，慢慢理解，才能够深入了解。 HDFS 为用户提供了三种接口：Web UI、Shell 命令和 Java API。Web UI 网页接口主要用于查询 HDFS 文件系统的工作状态和基本信息。Shell 命令为管理和维护人员提供了文件系统的常见操作，用户可以使用各种 Shell 命令实现对文件系统的管理。Java API 为开发人员提供了 HDFS 的基本 API 调用接口，使用 Java API 可以完成 HDFS 支持的所有文件系统操作，但是相对于 Shell 命令而言，它对开发人员的要求较高，需要花费较长时间来学习基本 Java 类和相关操作的使用方法。

“1+X 大数据实训课程”实验报告