你将学到的
  • Spark Streaming 与 Kafka 的对接
  • Kafka 消费者和生产者的应用
  • Echarts 数据展示
  • SocketIO 的使用
  • Dstream 中使用 Redis
  • Kafka 主题创建及数据存储
  • Kafka 整合 Flume
  • Flask 与 Kafka 对接
  • Flask 整合 SocketIO
  • Spark Streaming 高级函数应用

Spark 实时电商数据分析可视化系统是一个经典的大数据应用项目,技术栈主要有 Flume、Kafka、Spark Streaming、Flask 等,帮助大家了解和运用一些当前热门的大数据处理组件来亲自动手搭建一套大数据处理平台框架和熟悉大数据项目的基础开发流程。

本项目选取了当前主流的大数据组件,实现一套完整的大数据处理平台项目,包括了数据采集与传输、数据处理和数据可视化三大部分,通过对每个模块部分的技术讲解和应用对一些功能需求进行实现。项目整体流程可参考下图。

image

如果你想了解并熟悉大数据开发过程,那么本训练营将会是个不错的选择。

课程效果图

  • 项目中已经实现的用户行为分析漏斗效果如下所示,将用户行为日志中的四类行为进行实时统计展示。
image
  • 以下为项目拓展功能效果图,大家可以自己在线下进行实现哦。

image

课程特色

  • 大数据实时处理项目。
  • 项目页面显示效果实时刷新,数据变换动态化展示。
  • 采用 No-Sql 进行中间数据缓存,减低数据延迟。
  • 不同于其它大数据项目的结果数据存储,采用将结果数据回传进 Kafka 的方法进行替代。
  • 大数据组件多样性,针对项目的每个模块都有不同类型组件的应用,可以更加的熟悉大数据生态。

先学课程

课程信息

  • 学习周期:课程有效期 2 个月,2 个月后无法进行在线实验,但可查看文档内容。高级会员有效期内可一直学习,到期后课程失效,且无法查看文档。部分云主机实验环境因成本较高,存在开启次数限制。关于课程退款等相关注意事项说明,请阅读 用户付费协议
  • 版权说明:课程内容为实验楼原创或实验楼在原作者授权下制作。未经书面同意,擅自爬取、转载和再分发课程内容,均将受到严肃追责。
  • 企业团报:企业购买,请点击 企业用户咨询
课程教师

Miv 共发布过 1 门课程

查看老师的所有课程 >
蓝桥楼+
实验楼会员
会员
开通会员,即刻开始学习