在ClouderaDataPlatformCDP公共云中使用Nifi对Kafka进行读/写

Nifi 和 Kafka 现在都可以在 Cloudera Data Platform,CDP 公有云中使用。Nifi 擅长与一切交谈,而 Kafka 是主流的消息总线,我只是想知道:

Nifi 和 Kafka 现在都可以在 Cloudera Data Platform,CDP 公有云中使用。Nifi 擅长与一切交谈,而 Kafka 是主流的消息总线,我只是想知道:

在 CDP 公共云中从 Apache Nifi 生成 / 使用数据到 Kafka 所需的最小步骤是什么

我会理想地寻找在任中工作的步骤,例如 Amazon AWS 和 Microsoft Azure。

我对遵循最佳实践并使用平台的默认配置的答案感到满意,但如果有常见的替代方案,也欢迎。

3

将来会有多种外形规格,现在我假设你有一个包含 1 个带 NiFi 的 datahub 和 1 个带 Kafka 的 Data Hub 的环境(如果两者都在同一个 datahub 上,答案仍然有效)。

先决条件

带 NiFi 和 Kafka 的数据中心

访问这些的权限(例如添加处理器,创建 Kafka 主题)

了解您的工作负载用户名(Cdp 管理控制台 & gt;单击您的姓名(左下)& gt;单击配置文件)

您应该在同一位置设置您的工作负载密码

这些步骤允许您在 CDP 公共云中将数据从 NiFi 生成到 Kafka

除非另有说明,否则我已将所有内容保留为默认设置。

在 Kafka 数据中心集群中:

收集的 FQDN 链接和使用的端口。

如果您有 Streams Messaging Manager:转到选项卡以查看 FQDN 和端口已经在一起

如果您无法使用 Streams Messaging Manager:使用 Kafka 转到 Data Hub 的硬件选项卡,并获取相关节点的 FQDN。(目前这些被称为 broker)。然后在每个后面添加:portnumber。默认端口为 9093。

以这种格式将链接组合在一起:FQDN:端口,FQDN:端口,FQDN:端口现在应该看起来像这样:

broker1.abc:9093,broker2.abc:9093,broker3.abc:9093

在 NiFi GUI 中:

确保您在 NiFi 中有一些数据要生成,例如通过使用GenerateFlowFile处理器

选择相关的处理器写入 kafka,例如PublishKafka_2_0,配置如下:

设置

自动终止关系:勾选成功和失败

属性

Kafka Brokers:我们之前创建的组合列表

安全协议:SASL_SSL

SASL 机构:PLAIN

SSL 上下文服务:默认 NiFi SSL 上下文服务

用户名:您的工作负载用户名(请参阅上面的先决条件)

密码:您的工作负载密码

主题名称:dennis

使用事务:false

最大元数据等待时间:30 秒

GenerateFlowFile处理器连接到PublishKafka_2_0处理器并启动流程

这些是最小的步骤,更广泛的解释可以在Cloudera Documentation中找到。请注意,最好的做法是显式创建主题(此示例利用 Kafka 的功能,该功能在生成主题时自动创建主题)。

这些步骤允许您在 CDP 公共云中使用来自 Kafka 的 NiFi 消耗数据

一个很好的检查,看看数据是否被写入 Kafka,再次消耗它。

在 NiFi GUI 中:

创建一个 Kafka 消费处理器,例如ConsumeKafka_2_0,配置其属性如下:

Kafka Brokers,Security Protocol,SASL Mechanism,SSL Context Service,Username,Password,Topic Name:All the same as in our producer example above

消费群体:1

偏移重置:最早

创建另一个处理器或漏斗以将消息发送到,并启动消费处理器。

就是这样,在 30 秒内,您应该会看到您发布给 Kafka 的数据现在再次流入 NiFi。

全面披露:我是 Cloudera 的员工,Nifi 背后的驱动力。

本站系公益性非盈利分享网址,本文来自用户投稿,不代表码文网立场,如若转载,请注明出处

(540)
不响应 CSS的标签样式
上一篇
在 C# /UWP中发生特定事件时强制窗口闪烁
下一篇

相关推荐

  • spring cloud搭建:如何使用Spring Cloud搭建一个可靠的微服务架构

    Spring Cloud是一个基于Spring Boot实现的云应用开发工具,它为基于Java的分布式系统提供了一种简单的方法来构建和部署分布式系统。Spring Cloud提供了一组工具和框架,可以轻松地构建和部署分布式系统。…

    2023-04-06 07:54:29
    0 19 99
  • spring cloud实战构建可伸缩的微服务架构

    Spring Cloud实战是一种基于Spring Boot的微服务架构,它使用Spring Cloud技术栈(Eureka、Feign、Ribbon、Zuul、Hystrix等)来构建分布式系统。它提供了一个可以快速构建分布式系统的框架,可以让开发者更加轻松地开发,管理和部署分布式应用。…

    2023-01-18 12:02:05
    0 44 28
  • cordcloud优惠码:全场7折!Cordcloud优惠码立即使用!

    CordCloud优惠码是一种电子优惠券,可以在CordCloud上使用。它们可以被用来抵扣购买的商品或服务的费用。例如,用户可以使用优惠码购买CordCloud上的商品或服务,以获得折扣。…

    2023-03-25 12:25:23
    0 19 94
  • spring cloud和dubbo实现分布式系统的灵活性与可靠性

    示例示例## spring cloudSpring Cloud是一个基于Spring Boot实现的云应用开发工具,它为基于JVM的云应用提供了一种简单而有效的开发方式。Spring Cloud提供了一套分布式系统开发的工具集,它可以帮助开发者快速构建分布式系统,并且提供了一系列的微服务框架,如服务注册与发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等等,可以帮助开发者更加便捷地构建分布式系统。…

    2023-03-20 04:02:43
    0 22 12
  • 首席财务官cfo:GoogleCloud:如何让CFO访问组织中的所有项目账单

    关于首席财务官cfo的问题,在access cfo中经常遇到,看起来有一种方法可以访问特定的项目,但不能访问整个组织?…

    2022-11-26 08:07:45
    0 78 40
  • Cloud怎么念:google云平台sku描述链接实例怎么计费:

    关于Cloud怎么念的问题,在sku cloud中经常遇到,我想看看与实例相关的每个服务的付款如何表示我如何知道哪个服务与哪个实例相关,例如:服务:计算引擎 sku:负载平衡的 HTTP / HTTPS 请求与该服务相关的实例?…

    2022-12-23 00:29:17
    0 36 64
  • Cloud opp o:适用于CloudStorage或HDFS的I/O差异是什么

    关于Cloud opp o的问题,在hadoop vs cloud中经常遇到,根据 Google Cloud 文档,…

    2022-11-27 00:26:19
    0 76 31
  • 如何禁用CloudFirestore

    我在 Firebase 中使用 Realtime Database,偶然我点击了 Cloud Firestore。从那时起,每当我想访问 Realtime Database 时,它默认为 Cloud Firestore,我必须点击并选择我正在使用的数据库,超级烦人。有没有办法禁用或删除它?…

    2022-11-20 06:49:21
    0 71 23

发表评论

登录 后才能评论

评论列表(69条)