实验 1
课程介绍及项目结构
知识点: 1.项目代码结构解析 2.项目用法演示
实验 2
命令行参数解析
知识点: 1.命令行终端显示颜色 2.使用argparse模块实现命令行参数解析 3.通过tempfile模块创建临时文件 4.Python中的父子进程
实验 3
请求并返回响应体
知识点: 1.处理用户提供的URL 2.定义用户代理 3.处理请求并返回响应体 4.从响应体中提取具体的信息
实验 4
爬取及打印输出
知识点: 1.从robotstxt和sitemapxml文件中提取链接 2.处理URLs并使用线程池来执行函数 3.爬取及打印输出
实验 5
插件及效果演示
知识点: 1.插件之查找子域名 2.插件之dnsdumpster 3.插件之支持结果导出 4.组合插件 5.效果演示
代码讲解不详细
linux环境有点不熟练不适应
可以直接下载实验开头的源代码,对照着学习,也可以跟着文档一步步实现。
萌新问一个问题,这个项目结构是一个个touch建出来,还是咋做呀,谢谢
还可以,简单的入门课程
还要努力才行。
超不错
还好吧
还好吧
Python 3.5 升级提示不影响运行,Python 默认执行 2.7 当然会找不到模块。
可以
环境还是有点问题。使用python3命令提交测试的时候总是会出现升级提示,使用python命令就找不到具体requests模块
很有趣
我想用re库爬取《财富》网页上的中国500强,改怎么定义正则表达式
hahha