Nifi 和 Kafka 现在都可以在 Cloudera Data Platform,CDP 公有云中使用。Nifi 擅长与一切交谈，而 Kafka 是主流的消息总线，我只是想知道：
在 CDP 公共云中从 Apache Nifi 生成 / 使用数据到 Kafka 所需的最小步骤是什么
我会理想地寻找在任中工作的步骤，例如 Amazon AWS 和 Microsoft Azure。
我对遵循最佳实践并使用平台的默认配置的答案感到满意，但如果有常见的替代方案，也欢迎。
3
将来会有多种外形规格，现在我假设你有一个包含 1 个带 NiFi 的 datahub 和 1 个带 Kafka 的 Data Hub 的环境（如果两者都在同一个 datahub 上，答案仍然有效）。
先决条件
带 NiFi 和 Kafka 的数据中心
访问这些的权限（例如添加处理器，创建 Kafka 主题）
了解您的工作负载用户名（Cdp 管理控制台 & gt;单击您的姓名（左下）& gt;单击配置文件）
您应该在同一位置设置您的工作负载密码
这些步骤允许您在 CDP 公共云中将数据从 NiFi 生成到 Kafka
除非另有说明，否则我已将所有内容保留为默认设置。
在 Kafka 数据中心集群中：
收集的 FQDN 链接和使用的端口。
如果您有 Streams Messaging Manager：转到选项卡以查看 FQDN 和端口已经在一起
如果您无法使用 Streams Messaging Manager：使用 Kafka 转到 Data Hub 的硬件选项卡，并获取相关节点的 FQDN。（目前这些被称为 broker）。然后在每个后面添加：portnumber。默认端口为 9093。
以这种格式将链接组合在一起：FQDN：端口，FQDN：端口，FQDN：端口现在应该看起来像这样：
broker1.abc:9093,broker2.abc:9093,broker3.abc:9093
在 NiFi GUI 中：
确保您在 NiFi 中有一些数据要生成，例如通过使用GenerateFlowFile处理器
选择相关的处理器写入 kafka，例如PublishKafka_2_0，配置如下：
设置
自动终止关系：勾选成功和失败
属性
Kafka Brokers：我们之前创建的组合列表
安全协议：SASL_SSL
SASL 机构：PLAIN
SSL 上下文服务：默认 NiFi SSL 上下文服务
用户名：您的工作负载用户名（请参阅上面的先决条件）
密码：您的工作负载密码
主题名称:dennis
使用事务：false
最大元数据等待时间：30 秒
将GenerateFlowFile处理器连接到PublishKafka_2_0处理器并启动流程
这些是最小的步骤，更广泛的解释可以在Cloudera Documentation中找到。请注意，最好的做法是显式创建主题（此示例利用 Kafka 的功能，该功能在生成主题时自动创建主题）。
这些步骤允许您在 CDP 公共云中使用来自 Kafka 的 NiFi 消耗数据
一个很好的检查，看看数据是否被写入 Kafka，再次消耗它。
在 NiFi GUI 中：
创建一个 Kafka 消费处理器，例如ConsumeKafka_2_0，配置其属性如下：
Kafka Brokers,Security Protocol,SASL Mechanism,SSL Context Service,Username,Password,Topic Name:All the same as in our producer example above
消费群体：1
偏移重置:最早
创建另一个处理器或漏斗以将消息发送到，并启动消费处理器。
就是这样，在 30 秒内，您应该会看到您发布给 Kafka 的数据现在再次流入 NiFi。
全面披露：我是 Cloudera 的员工，Nifi 背后的驱动力。
本站系公益性非盈利分享网址，本文来自用户投稿，不代表码文网立场，如若转载，请注明出处
评论列表（69条）