Ubuntu22.04下安装kafka_2.11-0.10.1.0并运行简单实例

目录

一、版本信息

二、安装Kafka

1.将Kafka安装包移到下载目录中

2.下载Spark并确保hadoop用户对Spark目录有操作权限

三、启动Kafka并测试Kafka是否正常工作

1.启动Kafka

2.测试Kafka是否正常工作

一、版本信息

虚拟机产品：VMware® Workstation 17 Pro   虚拟机版本：17.0.0 build-20800274

ISO映像文件：ubuntukylin-22.04-pro-amd64.iso

Hadoop版本：Hadoop 3.1.3

JDK版本：Java JDK 1.8

Spark版本：Spark 3.2.0

Kafka版本：kafka_2.11-0.10.1.0

前面的2.11就是该Kafka所支持的Scala版本号，后面的0.10.1.0是Kafka自身的版本号

这里有我放的百度网盘下载链接，读者可以自行下载：

链接：https://pan.baidu.com/s/121zVsgc4muSt9rgCWnJZmw 
提取码：wkk6

也可去Kafka官网进行下载：Apache Kafka

注意：其中的ISO映像文件为ubuntukylin-16.04.7版本的而不是22.04版本，22.04版本内存过大无法上传，见谅！！！

附上Ubuntu Kylin(优麒麟)官网下载：优麒麟 (ubuntukylin.com)        读者可以前去官网下载ISO映像文件

现附上相关资料，读者可通过这些资料来查看自己的Spark与其他组件（例如JDK，Hadoop，Yarn，Hive，Kafka等）的兼容版本、Spark Streaming + Kafka 集成指南、Kafka清华源镜像下载地址等：

1. 查看Spark与Hadoop等其他组件的兼容版本

查看Spark与Hadoop等其他组件的兼容版本 - 技术研究与问题解决 - 博客园 (cnblogs.com)icon-default.png?t=N7T8https://www.cnblogs.com/liuys635/p/12371793.html

2. Github中Spark开源项目地址

apache/spark: Apache Spark - A unified analytics engine for large-scale data processing (github.com)icon-default.png?t=N7T8https://github.com/apache/spark3. Spark Streaming + Kafka 集成指南

Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher) - Spark 3.2.0 Documentation (apache.org)icon-default.png?t=N7T8https://spark.apache.org/docs/3.2.0/streaming-kafka-0-10-integration.html4. Kafka清华源镜像下载地址

Index of /apache/kafka (tsinghua.edu.cn)icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/

二、安装Kafka

1.将Kafka安装包移到下载目录中

将物理机上下载的Kafka安装包拖拽到读者虚拟机Ubuntu系统家目录中的下载目录中（安装包内已经附带zookeeper,不需要额外安装zookeeper）：

2.下载Spark并确保hadoop用户对Spark目录有操作权限

sudo tar -zxf ~/下载/kafka_2.11-0.10.1.0.tgz -C /usr/local
cd /usr/local
sudo mv kafka_2.11-0.10.1.0/ ./kafka
sudo chown -R hadoop ./kafka    # 此处的 hadoop 为你的用户名

sudo tar -zxf ~/下载/kafka_2.11-0.10.1.0.tgz -C /usr/local：

  • 使用 sudo 权限解压缩并解包 Kafka 压缩包文件 kafka_2.11-0.10.1.0.tgz
  • -zxf 参数表示使用 gzip 解压缩，并且是解包操作
  • ~/下载/kafka_2.11-0.10.1.0.tgz 是 Kafka 压缩包的路径
  • -C /usr/local 指定了解压缩后的文件应该放置的目标路径为 /usr/local

cd /usr/local：

  • 切换当前工作目录到 /usr/local

sudo mv kafka_2.11-0.10.1.0/ ./kafka：

  • 使用 sudo 权限将 Kafka 解压后的文件夹 kafka_2.11-0.10.1.0 重命名为 kafka
  • ./kafka 意味着将文件夹移动到当前目录下，也就是 /usr/local 目录

sudo chown -R hadoop ./kafka：

  • 使用 sudo 权限递归地更改 kafka 文件夹及其所有子文件和子文件夹的所有者为 hadoop 用户
  • -R 参数表示递归地更改权限

至此，Kafka安装完成，下面在Ubuntu系统环境下测试简单的实例

三、启动Kafka并测试Kafka是否正常工作

1.启动Kafka

打开第一个终端，输入下面命令启动Zookeeper服务：

cd /usr/local/kafka
./bin/zookeeper-server-start.sh config/zookeeper.properties

千万不要关闭这个终端窗口，一旦关闭，Zookeeper服务就停止了（Kafka工作运行完毕后不再使用时再关闭）

打开第二个终端，然后输入下面命令启动Kafka服务：

cd /usr/local/kafka
bin/kafka-server-start.sh config/server.properties

千万不要关闭这个终端窗口，一旦关闭，Kafka服务就停止了（Kafka工作运行完毕后不再使用时再关闭）

2.测试Kafka是否正常工作

再打开第三个终端，然后输入下面命令创建一个自定义名称为“wordsendertest”的Topic：

cd /usr/local/kafka
./bin/kafka-topics.sh  --create  --zookeeper  localhost:2181 --replication-factor  1  --partitions  1  --topic  wordsendertest
#可以用list列出所有创建的Topic，验证是否创建成功
./bin/kafka-topics.sh  --list  --zookeeper  localhost:2181
  • kafka-topics.sh：Kafka 提供的命令行工具，用于管理 Kafka 主题（topics）
  • --create：指示命令要创建一个新的主题
  • --zookeeper localhost:2181：指定ZooKeeper 的连接地址，Kafka 使用 ZooKeeper 来管理集群的状态信息。在此，localhost:2181 表示 ZooKeeper 运行在本地主机上，端口号为2181
  • --replication-factor 1：指定主题的副本因子（replication factor），即该主题的每个分区的数据将被复制到几个副本中。这里设置为1，表示每个分区只有一个副本
  • --partitions 1：指定主题的分区数。分区用于将主题的数据分散存储和处理，可以提高性能和扩展性。这里设置为1，表示只有一个分区
  • --topic dblab：指定要创建的主题的名称，这里命名为 "dblab"。 在本地主机上创建一个名为 "dblab" 的 Kafka 主题，该主题具有1个副本因子和1个分区

下面用生产者（Producer）来产生一些数据，请在当前终端（记作“数据源终端”）内继续输入下面命令：

./bin/kafka-console-producer.sh  --broker-list  localhost:9092 --topic  wordsendertest
  • - kafka-console-producer.sh： Kafka 提供的命令行工具，用于在控制台上向 Kafka 主题发送消息
  • --broker-list localhost:9092：指定Kafka 集群的 broker 地址列表，用于指定消息要发送到哪个 Kafka 集群。在此，localhost:9092 表示 Kafka 集群的一个 broker 运行在本地主机上，端口号为9092
  • --topic dblab：指定要发送消息的目标主题，这里是 "dblab"。 在本地主机上向名为 "dblab" 的 Kafka 主题发送消息

上面命令执行后，就可以在当前终端内用键盘输入一些英文单词（也可以等消费者启用后再输入）

现在可以启动一个消费者（Consumer），来查看刚才生产者产生的数据。请另外打开第四个终端，输入下面命令：

cd /usr/local/kafka
./bin/kafka-console-consumer.sh  --zookeeper  localhost:2181 --topic  wordsendertest  --from-beginning
  • - kafka-console-consumer.sh：Kafka 提供的命令行工具，用于在控制台上消费 Kafka 主题的消息
  • --zookeeper localhost:2181：指定了 ZooKeeper 的连接地址，Kafka 使用 ZooKeeper 来管理集群的状态信息。在此，localhost:2181 表示 ZooKeeper 运行在本地主机上，端口号为2181。尽管在较新的 Kafka 版本中，已经不再需要指定 ZooKeeper 地址，而是直接连接到 Kafka broker，但是一些旧版本的命令仍然需要指定
  • --topic dblab：指定要消费消息的目标主题，这里是 "dblab"
  • --from-beginning：指示消费者从该主题的起始位置开始消费消息，而不是从当前最新的消息开始消费。 从名为 "dblab" 的 Kafka 主题消费消息，并从起始位置开始消费

可以看到，屏幕上会显示出如下结果，也就是刚才在另外一个终端里面输入的内容（启动消费者后亦可在生产者中输入内容，消费者终端也可查看到）

-> 实例运行结束后可以Ctrl+Z停止进程 ~~~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3021939.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

WPF之自定义绘图

WPF之自定义绘图

1，创建自定义控件类 class CustomDrawnElement:FrameworkElement{public static readonly DependencyProperty BackgroundColorProperty;static CustomDrawnElement(){FrameworkPropertyMetadata meta new FrameworkPropertyMetadata(Colors.SkyBlue);meta.Affects…
阅读更多...
【初阶数据结构】栈

【初阶数据结构】栈

目录 栈的概念及结构栈的实现栈的结构栈的初始化栈的销毁入栈出栈取栈顶元素判断栈是否为空取栈中元素个数代码测试 完整代码Stack.hStack.ctest.c 栈的概念及结构 栈：是一种特殊的线性表，它只允许在固定的一端进行插入和删除元素的操作。   栈顶&…
阅读更多...
代码随想录算法训练营DAY47|C++动态规划Part8|198.打家劫舍、213.打家劫舍II、198.打家劫舍III

代码随想录算法训练营DAY47|C++动态规划Part8|198.打家劫舍、213.打家劫舍II、198.打家劫舍III

文章目录 198.打家劫舍思路CPP代码 ⭐️213.打家劫舍II解决环的问题思路总结CPP代码 ⭐️198.打家劫舍III思路递归三部曲——确定参数和返回值递归三部曲——确定终止条件递归三部曲——确定单层遍历的逻辑 打印dp数组CPP代码暴力递归记忆化递归 198.打家劫舍 力扣题目链接 文章…
阅读更多...
爬虫：爬取豆瓣电影

爬虫：爬取豆瓣电影

文章目录 前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结 前言 上篇我们将到如何利用xpath的规则，那么这一次，我们将通过案例来告诉读者如何使用Xpath来定位到我们需要的数据，就算你不懂H5代码是怎么个嵌套或者十分复…
阅读更多...
3D模型素材有哪些常见的用途？

3D模型素材有哪些常见的用途？

3D模型素材已经成为了设计、游戏开发、电影制作和建筑等领域的重要工具。它们以其独特的形式和丰富的细节，为这些领域的专业人士提供了无尽的创作可能性。 1.建筑和室内设计：在建筑设计中，3D模型可以帮助建筑师更直观地展示设计方案&#xff…
阅读更多...
Mysql 基础 - 常见 子句

Mysql 基础 - 常见 子句

算数运算符 > < > < !/<> 逻辑运算符 3i in is null is not null 2l limit like 2o or 、order by 1a and ib between and 1n not and、or 、not、 in、 orderby、 limit、 like、 between...and、 is null 、is not null
阅读更多...
智能家居4 -- 添加接收消息的初步处理

智能家居4 -- 添加接收消息的初步处理

这一模块的思路和前面的语言控制模块很相似&#xff0c;差别只是调用TCP 去控制 废话少说&#xff0c;放码过来 增添/修改代码 receive_interface.c #include <pthread.h> #include <mqueue.h> #include <string.h> #include <errno.h> #include <…
阅读更多...
全面的Partisia Blockchain 生态 4 月市场进展解读

全面的Partisia Blockchain 生态 4 月市场进展解读

Partisia Blockchain 是一个以高迸发、隐私、高度可互操作性、可拓展为特性的 Layer1 网络。通过将 MPC 技术方案引入到区块链系统中&#xff0c;以零知识证明&#xff08;ZK&#xff09;技术和多方计算&#xff08;MPC&#xff09;为基础&#xff0c;共同保障在不影响网络完整…
阅读更多...
SOLIDWORKS Electrical电气元件智能开孔

SOLIDWORKS Electrical电气元件智能开孔

实际的电气元器件安装中&#xff0c;一些元器件需要穿过孔洞安装&#xff0c;例如按钮、指示灯会在配电柜的控制面板上&#xff0c;需要穿过控制面板安装。这部分内容放在软件建模、装配时&#xff0c;往往比较复杂因为考虑孔的大小符合元器件规格、孔跟随元器件移动、同一元器…
阅读更多...
Java 中的 HTTP 客户端库OkHttp、Apache HttpClient和HttpUrlConnection

Java 中的 HTTP 客户端库OkHttp、Apache HttpClient和HttpUrlConnection

大家好&#xff0c;我是G探险者。 项目开发里面经常会有这么一种场景&#xff1a;与服务器进行 HTTP 通信。一般存在于服务间远程调用的场景 Java 生态系统提供了多种 HTTP 客户端库&#xff0c;每种都有其自己的特点、优势和适用场景。 本文将介绍几种主要的 Java HTTP 客户…
阅读更多...
【系统架构师】-选择题（十二）

【系统架构师】-选择题（十二）

1、网闸的作用&#xff1a;实现内网与互联网通信&#xff0c;但内网与互联网不是直连的 2、管理距离是指一种路由协议的路由可信度。15表示该路由信息比较可靠 管理距离越小&#xff0c;它的优先级就越高&#xff0c;也就是可信度越高。 0是最可信赖的&#xff0c;而255则意味…
阅读更多...
第一天复习Qt文件读取

第一天复习Qt文件读取

Qt文件操作&#xff1a; 1、QFile QTextStream操作文件案例&#xff1a; 1、打开文件 QFile file(absolute filepath | relative path); file.readLine()返回内容长度&#xff0c;如果为-1就是读取失败 file. Close()读取后关闭 file.errorString()返回文件打开发生的错误2、…
阅读更多...
【C语言】字符函数和字符串函数--超详解

【C语言】字符函数和字符串函数--超详解

前言&#xff1a; 在编程的过程中&#xff0c;我们经常要处理字符和字符串&#xff0c;为了⽅便操作字符和字符串&#xff0c;C语⾔标准库中提供了 ⼀系列库函数&#xff0c;接下来我们就学习⼀下这些函数。 1. 字符分类函数 C语⾔中有⼀系列的函数是专⻔做字符分类的&#…
阅读更多...
DeepSeek API文档：创建对话补全的指南

DeepSeek API文档：创建对话补全的指南

DeepSeek平台不仅提供了一个用户友好的聊天界面&#xff0c;还为开发者提供了强大的API接口&#xff0c;使他们能够创建和集成智能对话补全功能。以下是关于如何使用DeepSeek API创建对话补全的详细介绍。 DeepSeek API概述 DeepSeek的API允许开发者通过编程方式与DeepSeek的…
阅读更多...
福州网站建设如何设计极简风格合理？

福州网站建设如何设计极简风格合理？

福州网站建设如何设计极简风格合理&#xff1f;企业网站逐渐流行&#xff0c;每个人的审美也发生着巨大的改变&#xff0c;开始追求一种极简的风格。简单的 风格才能够凸显原有的主题&#xff0c;不会太过主次不分。 越来越多的网站建设中选择极简的风格&#xff0c;简单的页面…
阅读更多...
后门通信模型剖析

后门通信模型剖析

通信模型剖析 梳理DinodasRAT Linux后门通信模型如下&#xff1a; 发送数据-通信数据结构 #原始数据 20000000e703881435b674f7de23a2f80fe35ac0ba1a46c7d96e08a8747889eacf6b1950#载荷数据 e703881435b674f7de23a2f80fe35ac0ba1a46c7d96e08a8747889eacf6b1950#数据解密 180…
阅读更多...
nlp课设 - 基于BERT 的情感分类

nlp课设 - 基于BERT 的情感分类

基于BERT 的情感分类 主要论文&#xff1a; BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding&#xff08;双向Transformer 的预训练&#xff09; 核心技术&#xff1a; Embedding 、Attention --> Transformer 任务简介、拟解决问题…
阅读更多...
JSP技术讲解

JSP技术讲解

目录 1、JSP简介 2、JSP体验 3、JSP运行原理 4、JSP基本语法 5、JSP指令 6、JSP内置九大对象 7、JSP标签 8、JSP配置 9、JSP排错 10、总结 在前面的Servlet学习中发现Servlet本质是一个java程序&#xff0c;因此Servlet更加擅长编写程序的业务逻辑&#xff0c;而如果要…
阅读更多...
创建和管理数据库

创建和管理数据库

1. 一条数据的存储过程 存储数据是处理数据的第一步.只有正确的把数据存储起来&#xff0c;我们才能进行有效的处理和分析.否则&#xff0c;只能是一团乱麻.在MySQL中&#xff0c;一个完整的数据存储过程一共有四步 : 创建数据库&#xff0c;确认字段&#xff0c;创建数据表&a…
阅读更多...
Python中tkinter编程入门1

Python中tkinter编程入门1

1 tkinter库简介 tkinter是Python的标准库&#xff0c;用来进行GUI&#xff08;Graphical User Interface&#xff0c;图形用户界面&#xff09;编程。 2 导入tkinter库 tkinter是Python默认的GUI库&#xff0c;因此&#xff0c;IDLE中已经包含了该库&#xff0c;使用时无需…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发