Spark Streaming 整合 Flume

来自网友在路上 171871提问提问时间：2023-10-20 08:19:17阅读次数： 71

本文代码链接： https://download.csdn.net/download/shangjg03/88442192

1.简介

Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。

在推送式方法 (Flume-style Push-based Approach) 中，Spark Streaming 程序需要对某台服务器的某个端口进行监听，Flume 通过 `avro Sink` 将数据源源不断推送到该端口。这里以监听日志文件为例，具体整合方式如下：

查看全文

本文"Spark Streaming 整合 Flume"：http://eshow365.cn/6-20176-0.html 内容来自互联网，请自行判断内容的正确性。如有侵权请联系我们，立即删除！