HDFS 基本操作在编写任务代码之前，首先应切换到 hadoop 用户。请双击打开桌面上的 Xfce 终端，并输入以下命令。在切换用户时 hadoop 用户的密码是 hadoop ： su -l hadoop copy 此处输入图片的描述 ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492895-20201003-1601697184958) 初始化 HDFS 在首次使用 HDFS 之前应当初始化 Namenode 。该操作可以类比于格式化磁盘，因此在 HDFS 上存放有数据时要谨慎使用该命令。注意：如果你沿用了上一节课保存的实验环境，则无需再次初始化。否则，请重新开始本节实验，使用“该实验默认环境”，并使用以下命令初始化 HDFS ： hdfs namenode -format ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492895-20201003-1601697230616) 导入文件由于 HDFS 是建立在本地磁盘之上的一层分布式存储系统，在使用 HDFS 之前需要向其中导入数据。首先来准备一些文件，最便捷的方式仍然是将 Hadoop 的配置文件作为样例。首先需要启动 HDFS 的守护进程。 start-dfs.sh ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492895-20201003-1601696762997) 在终端中输入以下命令来创建目录和复制数据： cd /home/hadoop mkdir sample_data cp /opt/hadoop-2.6.1/etc/hadoop/* sample_data/ copy 此处输入图片的描述任何对 HDFS 文件系统的操作都是以 hdfs dfs 开头，再辅以相应的操作参数。最常用的参数是 put ，其用法如下，可在终端中输入该命令。 hdfs dfs -put /home/hadoop/sample_data/hadoop-policy.xml /policy.xml copy 此处输入图片的描述命令最后的 /policy.xml 代表存放于 HDFS 的文件名是 policy.xml，路径是 / （根目录）。如果你想继续沿用之前的文件名，则可以直接填写路径 /。如果需要上传多个文件，则可以连续地填写本地目录的文件路径，并以 HDFS 目标存放路径作为结尾： hdfs dfs -put /home/hadoop/sample_data/httpfs-env.sh /home/hadoop/sample_data/mapred-env.sh /user/hadoop copy 在填写路径相关的参数时，其规则与 Linux 系统下的文件目录规则相同，你可以使用通配符（例如 *.sh）等技巧来简化操作。 ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492895-20201003-1601697809498) 文件操作同样地，可以使用 -ls 参数来列出指定目录中的文件： hdfs dfs -ls /user/hadoop copy 此处列出的文件可能因实验环境而不同。如果需要查看某个文件的内容，则可以使用 cat 参数。最容易想到的是直接填写 HDFS 上的某个文件路径。如果需要比对本地目录与 HDFS 之上的文件，则可以分别填写它们的路径。但需要注意的是，本地目录需要以 file:// 指示符开头，并辅以文件路径（如 /home/hadoop/.bashrc ，不要忘记路径开始的 / ）。否则，任何填写到此处的路径都会默认识别为 HDFS 上的路径。 hdfs dfs -cat file:///home/hadoop/.bashrc /user/hadoop/mapred-env.sh copy 如果需要复制某个文件到另一个路径，则可以使用 cp 参数。 hdfs dfs -cp /user/hadoop/mapred-env.sh /user/hadoop/copied_file.txt copy 同样地，如果需要移动某个文件，则使用 mv 参数。这与 Linux 的文件系统命令格式基本相同。 hdfs dfs -mv /user/hadoop/mapred-env.sh /moved_file.txt copy 如果想把一些新的内容追加到 HDFS 上的某个文件中，则可以使用 appendToFile 参数。并且在填写待追加的本地文件路径时，可以填写多个。最后一个参数将作为被追加的对象，该文件必须在 HDFS 上存在，否则将报错。 echo 1 >> a.txt echo 2 >> b.txt hdfs dfs -appendToFile a.txt b.txt /user/hadoop/mapred-env.sh copy 可以使用 tail 参数来查看文件尾部内容，以确认是否追加成功。 hdfs dfs -tail /user/hadoop/mapred-env.sh copy 如果需要删除某个文件或目录，则使用 rm 参数。该参数还可以附带 -r 和 -f，其意义与 Linux 文件系统相同。 hdfs dfs -rm /moved_file.txt copy Play Video 目录操作在之前的课程中我们已经学习了如何在 HDFS 中创建目录。实际上，如果需要同时创建多个目录，你可以直接将多个目录的路径作为参数填入。-p 参数表明当其父目录不存在时，将会被自动创建。 hdfs dfs -mkdir -p /user/hadoop/dir1 /user/hadoop/dir2/sub_dir1 copy 如果想查看某些文件或者目录占用了多少的空间，则可以使用 du 参数： hdfs dfs -du /user/hadoop/ copy 导出文件在此处第一个路径参数指的是 HDFS 内部的路径，而最后一个路径指的是保存在本地目录的路径。 hdfs dfs -get /user/hadoop/mapred-env.sh /home/hadoop/exported_file.txt copy 此处输入图片的描述如果导出成功，可以在本地目录找到该文件： cd ~ ls copy 此处输入图片的描述每个 NameNode 和 DataNode 都在内部运行着一个 Web 服务器，用于显示集群的当前状态等基本信息。在默认配置下，NameNode 的首页是http://localhost:50070/。它列出了集群中的 DataNode 和集群的基本统计数据。打开 FireFox 浏览器，在地址栏中输入： http://localhost:50070/ copy 在 OverView 中可以看到当前“集群”中活跃的 DataNode 节点数量： ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492895-20201003-1601698159817) 如果集群发生了问题，并且使用 HDFS 时始终报错，可以先从这里检查集群的状态是否正常，再结合日志进行分析。 Web 界面也可以用于浏览 HDFS 内部的目录和文件，在顶部菜单栏点击 “Utilities” 下的 “Broswe the file system” 链接。 ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492895-20201003-1601698139020) WebHDFS 的文件系统语法格式是以 webhdfs:// 开头的，一个标准的 WebHDFS 文件系统 URI 写法如下： webhdfs://:/ copy 上面的 WebHDFS URI 等价于下面的 HDFS URI 。 hdfs://:/ copy 在 REST API 中，在路径之前多了一个前缀 /webhdfs/v1 ，在路径之后多了一些操作的参数 ?op=...，因此相关的 HTTP URL 写法应当是如下格式： http://:/webhdfs/v1/?op=... copy 启用 WebHDFS 在启用 WebHDFS 之前，首先应该关闭 Hadoop 集群。任何对 Hadoop 的修改都应当先关闭集群以避免对数据产生影响。 stop-yarn.sh stop-dfs.sh copy 此处输入图片的描述使用 Vim 编辑器打开 hdfs-site.xml 文件： vim /opt/hadoop-2.6.1/etc/hadoop/hdfs-site.xml copy 此处输入图片的描述打开之后，在 configuration 标签中新增以下属性和配置值： dfs.webhdfs.enabled true copy 此处输入图片的描述默认情况下，如果外部应用想要访问 Namenode ，则可以直接与 Namenode 的 IP 和 50070 端口进行通信。同样地，如果外部应用想要使用 WebHDFS 诸如上传下载的文件管理功能，则需要通过 Datanode 的 IP 和 50075 端口来与其进行通信。在实际应用中，如果不想过于细致地区分这些端口，则可以按照以上的方式来启用 Namenode 的 WebHDFS 功能。修改完毕后，应当再次启动 Hadoop 的相关服务： start-dfs.sh start-yarn.sh 在集群启动完成之后，可以利用 curl 工具来模拟 HTTP 请求。在终端中输入以下命令来尝试创建目录： curl -i -X PUT "http://localhost:50070/webhdfs/v1/user/hadoop/webhdfs_dir?op=MKDIRS" copy 如果直接使用以上命令来创建目录，可能会遇到权限相关报错信息：此处输入图片的描述这是由于 WebHDFS 启用的安全认证模式导致的。在目前的安全等级下，我们可以附加一个 user.name 参数来指明以哪个用户创建目录。更高的权限设置可以在官方文档 Authentication for Hadoop HTTP web-consoles 中查看如何设置。在之前的 URL 中附加一个参数 &user.name=hadoop 来表示我们用 hadoop 用户创建目录。再次尝试在终端中输入以下命令： curl -i -X PUT "http://localhost:50070/webhdfs/v1/user/hadoop/webhdfs_dir?op=MKDIRS&user.name=hadoop" copy 此时的返回信息表明已经目录已经创建成功： ![image.png](https://dn-simplecloud.shiyanlou.com/courses/uid1492895-20201003-1601698246925)

“1+X 大数据实训课程”实验报告