在CentOS 8上使用CMAK安装和配置Apache Kafka

这是续集。
您可以通过以下链接以PDF格式下载本文来支持我们。

以PDF格式下载指南

这是续集。
这是续集。
这是续集。
这是续集。
这是续集。

这是续集。

这是续集。
这是续集。
这是续集。
这是续集。


这是续集。

这是续集。
这是续集。

我们生活在这个世界上,我们每天使用和与之交互的大多数事物都是由部署在全球某处的计算机来运行的,无论是您的社交媒体,在线支付,移动货币交易乃至语音通信,还是计算机考虑到这一点,请记住,这些计算机中发生了非常重要的交易,相关方需要对其进行可视化处理,然后将其用于其他用途。一个很好的例子是可视化和处理金融交易,以期找出信息。那么,即使在将来,我们也有机会以有效,可靠的方式捕获此类数据吗?嗯,已经开发出可以解决这些问题的技术解决方案,其中之一就是Apache Kafka。

对于Ubuntu:在Ubuntu上安装和配置Apache Kafka

Apache Kafka是一个开放源代码的分布式事件流平台,成千上万的公司使用它来实现高性能数据管道,流分析,数据集成和关键任务应用程序。 阿帕奇·卡夫卡一个事件记录了一个事实,即在世界或您的企业中发生了“某事”,并以数字方式进行了记录。

事件流是一种以事件流的形式从事件源(生产者)(例如数据库,传感器,移动设备,云服务和软件应用程序)实时捕获数据的实践;将这些事件流持久存储以供以后检索;操作实时,回顾性地处理,处理事件流并对其作出反应;并根据需要将事件流路由到不同的目标技术(消费者)。 阿帕奇·卡夫卡

生产者是将数据发送到Kafka集群的程序/应用程序或实体,消费者位于另一侧并从Kafka集群接收数据.Kafka集群可以由一个或多个Kafka代理组成,它们位于不同的服务器上。

“生活真的很简单,但我们坚持让生活变得复杂。”-孔子(孔子)

其他术语的定义

  • 主题:主题是用于存储和发布特定数据流的通用名称。例如,如果您希望存储有关被单击页面的所有数据,则可以给主题命名,例如“单击的页面”。
  • 分区:每个主题都划分为多个分区(“存储桶”)。创建主题时,需要指定分区的数量,但以后可以根据需要增加。每条消息都以增量ID(称为增量ID)存储在分区中其偏移值。
  • Kafka Broker:每台装有Kafka的服务器都称为Broker,它是一个包含多个主题及其分区的容器。

Apache Kafka用例

以下是可以利用Apache Kafka的一些应用程序:

  • 消息中断:与大多数消息系统相比,Kafka具有更好的吞吐量,内置的分区,复制和容错能力,这使其成为大规模消息处理应用程序的理想解决方案。
  • 网站活动跟踪
  • 日志聚合:Kafka提取文件的详细信息,并将日志或事件数据作为消息流进行更清晰的抽象。
  • 流处理:从事件源实时捕获数据;持久存储这些事件流以供以后检索;根据需要将事件流路由到不同的目标技术
  • 事件源:这是一种应用程序设计样式,其中状态更改以时间顺序的记录序列记录。
  • 提交日志:Kafka可用作分布式系统的一种外部提交日志,该日志有助于在节点之间复制数据,并充当故障节点恢复其数据的重新同步机制。
  • 指标:这涉及汇总来自分布式应用程序的统计信息,以生成操作数据的集中供稿。

在CentOS 8上安装Kafka

Apache Kafka需要Java才能运行。

步骤1:准备服务器

因此,我们将首先更新CentOS服务器并安装Java。幸运的是,默认的CentOS 8存储库包括最新的两个主要Java 8和Java 11 LTS版本,如下所示:

sudo dnf update
sudo dnf install java-11-openjdk-devel wget git unzip -y

第2步:在CentOS 8上获取Kafka

正确安装Java之后,现在让我们获取Kafka的源代码。 资料下载 并找到最新版本并在Binary downloads(二进制下载)下获取源代码。单击Kafka推荐的源代码,您将被重定向到包含可用来获取它的链接的页面。

cd ~
wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz
sudo mkdir /usr/local/kafka-server && cd /usr/local/kafka-server
sudo tar -xvzf ~/kafka_2.13-2.6.0.tgz --strip 1

由于设置了-strip 1标志,因此存档内容将被提取到/ usr / local / kafka-server /中。

第3步:创建Kafka和Zookeeper系统单位文件

Kafka和Zookeeper的Systemd单位文件将在执行常见的服务操作(例如启动,停止和重新启动Kafka)方面提供很大帮助,从而使其适应于其他服务的启动,停止和重新启动方式,这是有益且一致的。

让我们从Zookeeper服务开始:通过Zookeeper管理Kafka的群集状态和配置的方式。

$ sudo vim /etc/systemd/system/zookeeper.service

[Unit]
Description=Apache Zookeeper Server
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka-server/bin/zookeeper-server-start.sh /usr/local/kafka-server/config/zookeeper.properties
ExecStop=/usr/local/kafka-server/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

然后进行卡夫卡服务

$ sudo vim /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk"
ExecStart=/usr/local/kafka-server/bin/kafka-server-start.sh /usr/local/kafka-server/config/server.properties
ExecStop=/usr/local/kafka-server/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

添加完配置文件后,请重新加载systemd守护程序以应用更改,然后启动服务程序。

sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka

步骤4:为Apache Kafka(CMAK)安装群集管理器| Kafka Manager

CMAK(以前称为Kafka Manager)是一种开源工具,用于管理Yahoo开发的Apache Kafka集群。

cd ~
git clone https://github.com/yahoo/CMAK.git

步骤5:配置CMAK

最低配置是将用于CMAK(pka kafka管理器)状态的zookeeper主机。可以在conf目录中的application.conf文件中找到。更改cmak.zkhosts =” my.zookeeper.host.com:2181” ”而且您还可以通过逗号分隔来指定多个Zookeeper主机,例如:cmak.zkhosts =” my.zookeeper.host.com:2181,other.zookeeper.host.com:2181”

$ vim ~/CMAK/conf/application.conf

cmak.zkhosts="localhost:2181

添加完zookeeper主机后,下面的命令将创建一个可用于部署该应用程序的zip文件。下载文件后,您应该在终端上看到很多输出。请花些时间完成并编译。

cd ~/CMAK/
./sbt clean dist

完成所有操作后,您应该会看到类似以下的消息:

[info] Your package is ready in /home/tech/CMAK/target/universal/cmak-3.0.0.5.zip

切换到zip文件所在的目录并解压缩:

$ cd ~/CMAK/target/universal
$ unzip cmak-3.0.0.5.zip
$ cd cmak-3.0.0.5

步骤5:启动服务并访问它

解压缩产生的zipfile并按照以下步骤将工作目录更改为它之后 第4步,您可以像这样运行服务:

$ cd ~/CMAK/target/universal/cmak-3.0.0.5
$ bin/cmak

默认情况下,它将选择端口9000,因此打开您喜欢的浏览器并将其指向http:// ip-or-domain-name-of-server:9000。如果您的防火墙正在运行,请将该端口高低地访问。

sudo firewall-cmd --permanent --add-port=9000/tcp
sudo firewall-cmd --reload

一切正常后,您应该看到如下所示的界面:

当您初次进入上述界面时,您将意识到没有可用的集群。在那里,我们将继续创建新的集群。单击““下拉列表然后点击”添加集群”。

在CentOS 8上使用CMAK安装和配置Apache Kafka

将显示一个表格供您填写,如下图所示。为群集命名,添加Zookeeper主机,如果有几台,则以逗号分隔它们。您可以根据需要填写其他详细信息。

在CentOS 8上使用CMAK安装和配置Apache Kafka

一切都满意后,向下滚动并点击“保存”。

在CentOS 8上使用CMAK安装和配置Apache Kafka

并且您应该将集群添加到CMAK接口/管理器。

步骤6:添加示例主题

Apache Kafka提供了多个可使用的Shell脚本,让我们首先创建一个带有单个分区和单个副本的示例主题“ ComputingForGeeksTopic”。打开一个新终端,使CMAK运行并发出以下命令:

cd /usr/local/kafka-server
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ComputingForGeeksTopic

Created topic ComputingForGeeksTopic.

确认主题是否在CMAK界面中更新:在主题下,单击编号。

在CentOS 8上使用CMAK安装和配置Apache Kafka

您应该能够看到我们添加的新主题,如下所示:

在CentOS 8上使用CMAK安装和配置Apache Kafka

单击它以查看其其他详细信息,例如分区等。

在CentOS 8上使用CMAK安装和配置Apache Kafka

步骤7:在CMAK界面中创建主题

创建主题的另一种简单方法是通过CMAK网络界面。只需点击“话题“下拉列表,然后单击”创造”。这说明如下。

在CentOS 8上使用CMAK安装和配置Apache Kafka

您将需要输入有关新主题的所有详细信息(复制因子,分区等)。填写表格,然后单击“创造“在它下面。

在CentOS 8上使用CMAK安装和配置Apache Kafka

结论

Apache Kafka现在已安装在CentOS 8服务器上。应该注意的是,可以在多台服务器上安装Kafka来创建集群。其他,感谢您的访问并一直进行到最后,我们感谢您的支持。给我们。

进一步了解 阿帕奇·卡夫卡进一步了解 Apache Kafka的集群管理器

在下面找到其他惊人的指南:

从零开始的SQL:如何开始学习数据库?

在Ubuntu和Debian上安装Apache Spark

这是续集。
您可以通过以下链接以PDF格式下载本文来支持我们。

以PDF格式下载指南

这是续集。
这是续集。
这是续集。
这是续集。
这是续集。

这是续集。

这是续集。
这是续集。
这是续集。
这是续集。


这是续集。

这是续集。
这是续集。

Sidebar