实验 1
Streaming 入门
知识点: 1.SparkStreaming的工作机制 2.Streaming应用的基本结构 3.DStream的概念和结构 4.如何在Streaming上运行SQL查询
Spark Streaming 基础入门
会员Spark Streaming 是 Spark 引擎的一种扩展，适用于实时处理流式数据。本课程将带你学习 Spark Streaming 的工作机制，了解 Streaming 应用的基本结构，以及如何在 Streaming 应用中附加 SQL 查询。本课程难度为一般，属于初级级别课程，适合具有 Spark 基础的用户，熟悉 Spark Streaming 的工作机制。
课程内容
共1个章节
课程教师
齐川同学 成都华为技术有限公司 共发布过 10 门课程
查看老师的所有课程 >
OK
回复
g
回复
不错
回复
111
回复
好
回复
秒级时间粒度内的计算很高效，提升需要消息级计算比如storm
回复
shiyanlouecho
回复
L186
你不是真正的快乐
L434
您好，下次遇到黑屏，可以QQ联系【2483748933】，会有工作人员为您处理~
回复
太卡了，呜呜，实验多次被黑屏，咋破。 SSH登录还登不上，总是connect failed.
回复
shiyanlouecho
回复
L186
keynes_SH
L43
您好，您可以带着详细的报错截图到讨论区提问~
提问方式：https://www.shiyanlou.com/library/shiyanlou-docs/quickstart/ask_question.md
回复
有报错截图吗
回复
重试实验环境依旧有问题
回复
时间环境有问题，显示hadoop lib 无法加载
回复
这里有一个基于Spark的项目，可以让我们不写spark代码，用最简单的配置，迅速跑起来流式streaming或离线的数据处理或分析的spark程序，大家可以玩一玩。它有丰富的数据输入，输出插件，比如kafka, elasticsearch, mongodb, mysql, hdfs, hive，clickhouse，TiDB 还可以直接用sql做数据处理。如果觉得功能不够还可以开发自己的插件，挺方便的。目前有微博，新浪，永辉超市等多家公司在线上使用。
项目地址：https://github.com/InterestingLab/waterdrop
文档地址:
https://interestinglab.github.io/waterdrop/
附一篇用waterdrop流式处理kafka数据写入ES的介绍：
https://interestinglab.github.io/waterdrop/#/zh-cn/case_study/3
回复
就是把官网的列子拿过来加以解释，没什么意思
回复
例子是实时数据计算，如果要把实时数据与之前数据进行合并计算单词数量，要怎么处理呢？
回复
很基础 有一定收获
回复
学过本课的同学也学过...
