在ClouderaDataPlatformCDP公共云中使用Nifi对Kafka进行读/写

Nifi 和 Kafka 现在都可以在 Cloudera Data Platform,CDP 公有云中使用。Nifi 擅长与一切交谈,而 Kafka 是主流的消息总线,我只是想知道:

Nifi 和 Kafka 现在都可以在 Cloudera Data Platform,CDP 公有云中使用。Nifi 擅长与一切交谈,而 Kafka 是主流的消息总线,我只是想知道:

在 CDP 公共云中从 Apache Nifi 生成 / 使用数据到 Kafka 所需的最小步骤是什么

我会理想地寻找在任中工作的步骤,例如 Amazon AWS 和 Microsoft Azure。

我对遵循最佳实践并使用平台的默认配置的答案感到满意,但如果有常见的替代方案,也欢迎。

3

将来会有多种外形规格,现在我假设你有一个包含 1 个带 NiFi 的 datahub 和 1 个带 Kafka 的 Data Hub 的环境(如果两者都在同一个 datahub 上,答案仍然有效)。

先决条件

带 NiFi 和 Kafka 的数据中心

访问这些的权限(例如添加处理器,创建 Kafka 主题)

了解您的工作负载用户名(Cdp 管理控制台 & gt;单击您的姓名(左下)& gt;单击配置文件)

您应该在同一位置设置您的工作负载密码

这些步骤允许您在 CDP 公共云中将数据从 NiFi 生成到 Kafka

除非另有说明,否则我已将所有内容保留为默认设置。

在 Kafka 数据中心集群中:

收集代理的 FQDN 链接和使用的端口。

如果您有 Streams Messaging Manager:转到代理选项卡以查看 FQDN 和端口已经在一起

如果您无法使用 Streams Messaging Manager:使用 Kafka 转到 Data Hub 的硬件选项卡,并获取相关节点的 FQDN。(目前这些被称为 broker)。然后在每个后面添加:portnumber。默认端口为 9093。

以这种格式将链接组合在一起:FQDN:端口,FQDN:端口,FQDN:端口现在应该看起来像这样:

broker1.abc:9093,broker2.abc:9093,broker3.abc:9093

在 NiFi GUI 中:

确保您在 NiFi 中有一些数据要生成,例如通过使用GenerateFlowFile处理器

选择相关的处理器写入 kafka,例如PublishKafka_2_0,配置如下:

设置

自动终止关系:勾选成功和失败

属性

Kafka Brokers:我们之前创建的组合列表

安全协议:SASL_SSL

SASL 机构:PLAIN

SSL 上下文服务:默认 NiFi SSL 上下文服务

用户名:您的工作负载用户名(请参阅上面的先决条件)

密码:您的工作负载密码

主题名称:dennis

使用事务:false

最大元数据等待时间:30 秒

GenerateFlowFile处理器连接到PublishKafka_2_0处理器并启动流程

这些是最小的步骤,更广泛的解释可以在Cloudera Documentation中找到。请注意,最好的做法是显式创建主题(此示例利用 Kafka 的功能,该功能在生成主题时自动创建主题)。

这些步骤允许您在 CDP 公共云中使用来自 Kafka 的 NiFi 消耗数据

一个很好的检查,看看数据是否被写入 Kafka,再次消耗它。

在 NiFi GUI 中:

创建一个 Kafka 消费处理器,例如ConsumeKafka_2_0,配置其属性如下:

Kafka Brokers,Security Protocol,SASL Mechanism,SSL Context Service,Username,Password,Topic Name:All the same as in our producer example above

消费群体:1

偏移重置:最早

创建另一个处理器或漏斗以将消息发送到,并启动消费处理器。

就是这样,在 30 秒内,您应该会看到您发布给 Kafka 的数据现在再次流入 NiFi。

全面披露:我是 Cloudera 的员工,Nifi 背后的驱动力。

本站系公益性非盈利分享网址,本文来自用户投稿,不代表码文网立场,如若转载,请注明出处

(182)
不响应 CSS的标签样式
上一篇
在 C# /UWP中发生特定事件时强制窗口闪烁
下一篇

相关推荐

发表评论

登录 后才能评论

评论列表(87条)