这一实验项目体现了大数据处理的典型流程：步骤一、编写Flume配置文件采集数据： ![1.png](https://dn-simplecloud.shiyanlou.com/courses/uid1491940-20201009-1602253108330) 创建mvn工程，并引入Flume配置文件 pom.xml org.apache.httpcomponents httpclient 4.5.6 .......................................其他依赖引入后需要点击mvn的同步按钮创建CrawlerDemo类 import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.IOException; import java.util.ArrayList; import java.util.List; ![2.png](https://dn-simplecloud.shiyanlou.com/courses/uid1491940-20201009-1602253088323) 步骤二、编写MapReduce程序预处理数据：下载数据a.txt cd ~ wget https://labfile.oss.aliyuncs.com/courses/2956/a.txt copy 请实验者编写flume的配置文件，该文件的名字为：spool.conf,该文件放到 ~/ 下面。该Flume可以检测 ~/data 目录中文件的变化，一旦该目录有新文件时，会把该文件自动地采集到HDFS上的 /flume 目录。然后启动Flume，自行监测该功能是否正确，如果错误，请修改至正确为止；正确后，点击下一步按钮，将会自动监测你的Flume配置是否正确，监测需要等待一段时间。 txt文件共有1200条数据，采集自某个服务器的一段时间内的web日志。其格式如下所示： 2017-06-19 00:26:36 101.200.190.54 GET /sys/ashx/ConfigHandler.ashx action=js 8008 - 60.23.128.118 Mozilla/5.0+(Windows+NT+6.1;+WOW64;+rv:53.0)+Gecko/20100101+Firefox/53.0 http://www.lansejiari.net:8008/Welcome.aspx 200 0 0 297 ![1.2.png](https://dn-simplecloud.shiyanlou.com/courses/uid1491940-20201009-1602253114424) 步骤三、使用HQL语句分析数据：执行完毕之后，可以查看该目录下的文件内容是否正确： hadoop fs -cat /user/hive/warehouse/abc/* copy 如果文件内容有问题的话，那么请修改至正确为止；；如果确认正确的话，请实验者将上一步中的数据下载到环境 /home/hadoop/ 目录下，文件名为c.txt: hadoop fs -get /user/hive/warehouse/abc/* ~/c.txt copy 请点击下一步按钮，将会自动监测你的Hive分析是否正确，监测需要等待一段时间。 ![5.png](https://dn-simplecloud.shiyanlou.com/courses/uid1491940-20201009-1602253200744) 步骤四、使用Sqoop命令把分析结果导出到MySQL 在 MySQL 中首先创建数据库sqoop，然后在sqoop下创建数据表 abc，含有2个字段，一个是ip，字符串类型，一个是num，整数类型。由于数据进入 MySQL 是采用的追加的方式，而不是覆盖。如果希望以覆盖的方式，需要手动先自动清空数据表，这一条一般在反复操作时需要注意到。使用 Sqoop 把 HDFS 上的数据导出到 MySQL 中，然后查看MySQL中的数据是否正确。请实验者编写正确的sqoop语句，并自行检验，如果MySQL数据库中数据有错，请反复修改直到正确为止；如果正确，请将sqoop语句保存到 /home/hadoop/ 目录下的d.txt文件中，然后点击下一步按钮，将会自动监测你的sqoop语句是否正确。 ![4.png](https://dn-simplecloud.shiyanlou.com/courses/uid1491940-20201009-1602253214574) 步骤五、创建SpringBoot Web项目，查询MySQL数据并返回前端所需json数据 ![6.1.png](https://dn-simplecloud.shiyanlou.com/courses/uid1491940-20201009-1602253317692) ![6.2.png](https://dn-simplecloud.shiyanlou.com/courses/uid1491940-20201009-1602253323064) 需要让shiyanlou用户下的MySQL数据库和hadoop用户下的MySQL数据库保持同步。采用手动方式在shiyanlou用户下MySQL中创建sqoop数据库，然后在sqoop数据库下创建表abc，字段、类型还有10条数据保持一致，好在数据不多。然后开始搭建SpringBoot项目，完成相关后端代码，注意：请保证controller类的跳转方法中注解 @RequestMapping("/abc") 为abc。代码实现后，启动项目，打开浏览器访问页面http://localhost:8080/abc，查看网页中的 json数据是否正确。如果不正确，请反复修改直到正确为止；如果正确，请点击下一步按钮，将会自动监测你的SpringBoot程序是否正确，监测需要等待一段时间。注意：监测时确保项目是启动状态的。在shiyanlou用户下操作，因为hadoop用户下没有eclipse软件。由于需求中需要使用echarts的柱状图来完成可视化。在src/main/resources/static目录下，创建一个子目录js，把前端页面中echarts和jquery需要的相关js放入到该目录js中。在static目录下创建abc.html，请实验者编写该页面代码。代码编写完毕后，启动程序运行后，访问http://localhost:8080/abc.html 页面，就能看到可视化数据了，如果图形不正确，请反复修改直到正确为止；如果正确，请直接截图，然后保存到实验报告中去。我们会人为的来检验该图形是否正确，符合要求。至此，实验完毕。 ![6.2.png](https://dn-simplecloud.shiyanlou.com/courses/uid1491940-20201009-1602253320661)

“1+X 大数据实训课程”实验报告