实验 1
Streaming 入门
知识点: 1.SparkStreaming的工作机制 2.Streaming应用的基本结构 3.DStream的概念和结构 4.如何在Streaming上运行SQL查询
Spark Streaming 是 Spark 引擎的一种扩展,适用于实时处理流式数据。本课程将带你学习 Spark Streaming 的工作机制,了解 Streaming 应用的基本结构,以及如何在 Streaming 应用中附加 SQL 查询。本课程难度为一般,属于初级级别课程,适合具有 Spark 基础的用户,熟悉 Spark Streaming 的工作机制。
知识点: 1.SparkStreaming的工作机制 2.Streaming应用的基本结构 3.DStream的概念和结构 4.如何在Streaming上运行SQL查询
齐川同学 成都华为技术有限公司 共发布过 10 门课程
查看老师的所有课程 >
OK
g
不错
111
好
秒级时间粒度内的计算很高效,提升需要消息级计算比如storm
您好,下次遇到黑屏,可以QQ联系【2483748933】,会有工作人员为您处理~
太卡了,呜呜,实验多次被黑屏,咋破。 SSH登录还登不上,总是connect failed.
您好,您可以带着详细的报错截图到讨论区提问~ 提问方式:https://www.shiyanlou.com/library/shiyanlou-docs/quickstart/ask_question.md
有报错截图吗
重试实验环境依旧有问题
时间环境有问题,显示hadoop lib 无法加载
这里有一个基于Spark的项目,可以让我们不写spark代码,用最简单的配置,迅速跑起来流式streaming或离线的数据处理或分析的spark程序,大家可以玩一玩。它有丰富的数据输入,输出插件,比如kafka, elasticsearch, mongodb, mysql, hdfs, hive,clickhouse,TiDB 还可以直接用sql做数据处理。如果觉得功能不够还可以开发自己的插件,挺方便的。目前有微博,新浪,永辉超市等多家公司在线上使用。 项目地址:https://github.com/InterestingLab/waterdrop 文档地址: https://interestinglab.github.io/waterdrop/ 附一篇用waterdrop流式处理kafka数据写入ES的介绍: https://interestinglab.github.io/waterdrop/#/zh-cn/case_study/3
就是把官网的列子拿过来加以解释,没什么意思
例子是实时数据计算,如果要把实时数据与之前数据进行合并计算单词数量,要怎么处理呢?