实验 1
Streaming 入门
知识点: 1.SparkStreaming的工作机制 2.Streaming应用的基本结构 3.DStream的概念和结构 4.如何在Streaming上运行SQL查询
Spark Streaming 基础入门
会员1488 人学过 30 次评价 作者: 齐川同学 难度: 初级
综合评分:
10.0
Spark Streaming 是 Spark 引擎的一种扩展，适用于实时处理流式数据。本课程将带你学习 Spark Streaming 的工作机制，了解 Streaming 应用的基本结构，以及如何在 Streaming 应用中附加 SQL 查询。本课程难度为一般，属于初级级别课程，适合具有 Spark 基础的用户，熟悉 Spark Streaming 的工作机制。
课程内容
共1个章节
课程教师
齐川同学 成都华为技术有限公司 共发布过 11 门课程
查看老师的所有课程 >学过本课的同学也学过...
完成学生认证，立享5折优惠 >>
开通会员，即刻开始学习
加入社群
加入编程交流社群
DStream和RDD之间的关系，SPARK-SQL初编写
OK
g
不错
111
好
秒级时间粒度内的计算很高效，提升需要消息级计算比如storm
您好，下次遇到黑屏，可以QQ联系【2483748933】，会有工作人员为您处理~
太卡了，呜呜，实验多次被黑屏，咋破。 SSH登录还登不上，总是connect failed.
您好，您可以带着详细的报错截图到讨论区提问~ 提问方式：https://www.shiyanlou.com/library/shiyanlou-docs/quickstart/ask_question.md
有报错截图吗
重试实验环境依旧有问题
时间环境有问题，显示hadoop lib 无法加载
这里有一个基于Spark的项目，可以让我们不写spark代码，用最简单的配置，迅速跑起来流式streaming或离线的数据处理或分析的spark程序，大家可以玩一玩。它有丰富的数据输入，输出插件，比如kafka, elasticsearch, mongodb, mysql, hdfs, hive，clickhouse，TiDB 还可以直接用sql做数据处理。如果觉得功能不够还可以开发自己的插件，挺方便的。目前有微博，新浪，永辉超市等多家公司在线上使用。 项目地址：https://github.com/InterestingLab/waterdrop 文档地址: https://interestinglab.github.io/waterdrop/ 附一篇用waterdrop流式处理kafka数据写入ES的介绍： https://interestinglab.github.io/waterdrop/#/zh-cn/case_study/3
就是把官网的列子拿过来加以解释，没什么意思