Kafka

Kafka

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 848 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

Redis、Kafka和Pulsar消息队列对比

JetLee 发表了文章 • 0 个评论 • 1054 次浏览 • 2021-05-04 22:02 • 来自相关话题


市面上有非常多的消息中间件,RabbitMQ、Kafka、RocketMQ、Pulsar、 Redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以Redis、Kafka和Pulsar为例,逐步深入,讲讲它们架构和原理...
查看更多

图解 Kafka

guoaaaad 发表了文章 • 0 个评论 • 2061 次浏览 • 2021-04-30 08:28 • 来自相关话题


Kafka 是主流的消息流系统,其中的概念还是比较多的,下面通过图示的方式来梳理一下 Kafka 的核心概念,以便在我们的头脑中有一个清晰的认识。

基础

Kafka 是一套流处理系统,可以让后端服务轻松的相互沟通,是微服务架构中常用的组件。
[...
查看更多

下一代消息队列 Pulsar 到底是什么?

Andy_Lee 发表了文章 • 0 个评论 • 2049 次浏览 • 2021-01-23 17:26 • 来自相关话题


Pulsar 是一个由 Yahoo 公司于 2016 年开源的消息中间件,2018 年成为 Apache 的顶级项目。

在开源的业界已经有这么多消息队列中间件了,Pulsar 作为一个新势力到底有什么优点呢?

Pulsar 自从出身就不断的再和其他...
查看更多

因为一次 Kafka 宕机,我明白了 Kafka 高可用原理!

翔宇 发表了文章 • 0 个评论 • 2019 次浏览 • 2020-12-25 17:25 • 来自相关话题


Kafka宕机引发的高可用问题

问题要从一次Kafka的宕机开始说起。

笔者所在的是一家金融科技公司,但公司内部并没有采用在金融支付领域更为流行的RabbitMQ,而是采用了设计之初就为日志处理而生的Kafka,所以我一直很好奇Kafka的高可用...
查看更多

Kafka端到端的延迟

阿娇 发表了文章 • 0 个评论 • 2183 次浏览 • 2020-10-25 14:15 • 来自相关话题


【编者的话】在大规模的使用Kafka过程中,我们通常会遇到各种各样的问题,比如说,通常会有一些大数据集群中的Job发现总有几个Task会比较慢,导致整体的任务迟迟不能完成运行,这种情况通常问题会比较复杂,想要知道具体延迟在哪里,我们需要知道在Kafka集群中哪...
查看更多

Kafka经典面试题详解

老马 发表了文章 • 0 个评论 • 3923 次浏览 • 2020-10-24 11:54 • 来自相关话题


【编者的话】无论是作为面试官,还是应聘者,我都接触过很多Kafka面试题。而在最近面试了很多候选人,发现写了熟悉Kafka,但是对于Kafka相关的知识却是只知道大概用处,简单搭建和使用。我想说,虽然我们是SRE(可靠性工程师),但不论你是业务层的SRE还是基...
查看更多

Kafka都没整明白,还敢去面试?

翔宇 发表了文章 • 0 个评论 • 2087 次浏览 • 2020-09-23 21:38 • 来自相关话题


Apache Kafka 被誉为时下热门的企业级消息传递系统,其初衷是一个分布式流系统,用于发布和订阅记录流,以其快速,高可扩展性以及较完美的容错效果备受业内人士青睐。

放眼当下数据为王的时代,深入了解 Apache Kafka 及其常见的部署应用,快速...
查看更多

Kafka的生产者原理及重要参数说明

aoxiang 发表了文章 • 0 个评论 • 2631 次浏览 • 2020-09-18 10:21 • 来自相关话题


上一篇说了一个案例是为了说明如何去考量一个Kafka集群的部署,算是一个参考吧,毕竟大家在不同的公司工作肯定也会有自己的一套实施方案。

这次我们再回到原理性的问题,这次会延续[第一篇]...
查看更多

Kafka的集群部署实践及运维相关

老马 发表了文章 • 0 个评论 • 2609 次浏览 • 2020-09-17 23:16 • 来自相关话题


上一篇 Kafka 的文章《大白话带你认识Kafka》中我们应该已经了解了一些关于基础角色和集群架构相关的问题,这时候我们应该很想了解一下如何构建生产中的Kafka集群或者一些相关的运维工具...
查看更多

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 848 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

Redis、Kafka和Pulsar消息队列对比

JetLee 发表了文章 • 0 个评论 • 1054 次浏览 • 2021-05-04 22:02 • 来自相关话题


市面上有非常多的消息中间件,RabbitMQ、Kafka、RocketMQ、Pulsar、 Redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以Redis、Kafka和Pulsar为例,逐步深入,讲讲它们架构和原理...
查看更多

图解 Kafka

guoaaaad 发表了文章 • 0 个评论 • 2061 次浏览 • 2021-04-30 08:28 • 来自相关话题


Kafka 是主流的消息流系统,其中的概念还是比较多的,下面通过图示的方式来梳理一下 Kafka 的核心概念,以便在我们的头脑中有一个清晰的认识。

基础

Kafka 是一套流处理系统,可以让后端服务轻松的相互沟通,是微服务架构中常用的组件。
[...
查看更多

下一代消息队列 Pulsar 到底是什么?

Andy_Lee 发表了文章 • 0 个评论 • 2049 次浏览 • 2021-01-23 17:26 • 来自相关话题


Pulsar 是一个由 Yahoo 公司于 2016 年开源的消息中间件,2018 年成为 Apache 的顶级项目。

在开源的业界已经有这么多消息队列中间件了,Pulsar 作为一个新势力到底有什么优点呢?

Pulsar 自从出身就不断的再和其他...
查看更多

Kafka端到端的延迟

阿娇 发表了文章 • 0 个评论 • 2183 次浏览 • 2020-10-25 14:15 • 来自相关话题


【编者的话】在大规模的使用Kafka过程中,我们通常会遇到各种各样的问题,比如说,通常会有一些大数据集群中的Job发现总有几个Task会比较慢,导致整体的任务迟迟不能完成运行,这种情况通常问题会比较复杂,想要知道具体延迟在哪里,我们需要知道在Kafka集群中哪...
查看更多

Kafka经典面试题详解

老马 发表了文章 • 0 个评论 • 3923 次浏览 • 2020-10-24 11:54 • 来自相关话题


【编者的话】无论是作为面试官,还是应聘者,我都接触过很多Kafka面试题。而在最近面试了很多候选人,发现写了熟悉Kafka,但是对于Kafka相关的知识却是只知道大概用处,简单搭建和使用。我想说,虽然我们是SRE(可靠性工程师),但不论你是业务层的SRE还是基...
查看更多

Kafka都没整明白,还敢去面试?

翔宇 发表了文章 • 0 个评论 • 2087 次浏览 • 2020-09-23 21:38 • 来自相关话题


Apache Kafka 被誉为时下热门的企业级消息传递系统,其初衷是一个分布式流系统,用于发布和订阅记录流,以其快速,高可扩展性以及较完美的容错效果备受业内人士青睐。

放眼当下数据为王的时代,深入了解 Apache Kafka 及其常见的部署应用,快速...
查看更多

Kafka的集群部署实践及运维相关

老马 发表了文章 • 0 个评论 • 2609 次浏览 • 2020-09-17 23:16 • 来自相关话题


上一篇 Kafka 的文章《大白话带你认识Kafka》中我们应该已经了解了一些关于基础角色和集群架构相关的问题,这时候我们应该很想了解一下如何构建生产中的Kafka集群或者一些相关的运维工具...
查看更多

大白话带你认识Kafka

aoxiang 发表了文章 • 0 个评论 • 2780 次浏览 • 2020-08-28 11:49 • 来自相关话题


Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

Kafka基础

消息系统的作用

应该大部份小伙伴都清楚,用机油装箱举个例子。

所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解...
查看更多

Kafka 节点重启失败导致数据丢失的分析排查与解决之道

JetLee 发表了文章 • 0 个评论 • 3119 次浏览 • 2020-08-10 18:25 • 来自相关话题


背景

在 2 月10 号下午大概 1 点半左右,收到用户方反馈,发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader,导致某些消息发送到该分区时,会报如下 no leader 的错误信息:
{{{In the middle of a...
查看更多

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 848 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

Redis、Kafka和Pulsar消息队列对比

JetLee 发表了文章 • 0 个评论 • 1054 次浏览 • 2021-05-04 22:02 • 来自相关话题


市面上有非常多的消息中间件,RabbitMQ、Kafka、RocketMQ、Pulsar、 Redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以Redis、Kafka和Pulsar为例,逐步深入,讲讲它们架构和原理...
查看更多

图解 Kafka

guoaaaad 发表了文章 • 0 个评论 • 2061 次浏览 • 2021-04-30 08:28 • 来自相关话题


Kafka 是主流的消息流系统,其中的概念还是比较多的,下面通过图示的方式来梳理一下 Kafka 的核心概念,以便在我们的头脑中有一个清晰的认识。

基础

Kafka 是一套流处理系统,可以让后端服务轻松的相互沟通,是微服务架构中常用的组件。
[...
查看更多

下一代消息队列 Pulsar 到底是什么?

Andy_Lee 发表了文章 • 0 个评论 • 2049 次浏览 • 2021-01-23 17:26 • 来自相关话题


Pulsar 是一个由 Yahoo 公司于 2016 年开源的消息中间件,2018 年成为 Apache 的顶级项目。

在开源的业界已经有这么多消息队列中间件了,Pulsar 作为一个新势力到底有什么优点呢?

Pulsar 自从出身就不断的再和其他...
查看更多

因为一次 Kafka 宕机,我明白了 Kafka 高可用原理!

翔宇 发表了文章 • 0 个评论 • 2019 次浏览 • 2020-12-25 17:25 • 来自相关话题


Kafka宕机引发的高可用问题

问题要从一次Kafka的宕机开始说起。

笔者所在的是一家金融科技公司,但公司内部并没有采用在金融支付领域更为流行的RabbitMQ,而是采用了设计之初就为日志处理而生的Kafka,所以我一直很好奇Kafka的高可用...
查看更多

Kafka端到端的延迟

阿娇 发表了文章 • 0 个评论 • 2183 次浏览 • 2020-10-25 14:15 • 来自相关话题


【编者的话】在大规模的使用Kafka过程中,我们通常会遇到各种各样的问题,比如说,通常会有一些大数据集群中的Job发现总有几个Task会比较慢,导致整体的任务迟迟不能完成运行,这种情况通常问题会比较复杂,想要知道具体延迟在哪里,我们需要知道在Kafka集群中哪...
查看更多

Kafka经典面试题详解

老马 发表了文章 • 0 个评论 • 3923 次浏览 • 2020-10-24 11:54 • 来自相关话题


【编者的话】无论是作为面试官,还是应聘者,我都接触过很多Kafka面试题。而在最近面试了很多候选人,发现写了熟悉Kafka,但是对于Kafka相关的知识却是只知道大概用处,简单搭建和使用。我想说,虽然我们是SRE(可靠性工程师),但不论你是业务层的SRE还是基...
查看更多

Kafka都没整明白,还敢去面试?

翔宇 发表了文章 • 0 个评论 • 2087 次浏览 • 2020-09-23 21:38 • 来自相关话题


Apache Kafka 被誉为时下热门的企业级消息传递系统,其初衷是一个分布式流系统,用于发布和订阅记录流,以其快速,高可扩展性以及较完美的容错效果备受业内人士青睐。

放眼当下数据为王的时代,深入了解 Apache Kafka 及其常见的部署应用,快速...
查看更多

Kafka的生产者原理及重要参数说明

aoxiang 发表了文章 • 0 个评论 • 2631 次浏览 • 2020-09-18 10:21 • 来自相关话题


上一篇说了一个案例是为了说明如何去考量一个Kafka集群的部署,算是一个参考吧,毕竟大家在不同的公司工作肯定也会有自己的一套实施方案。

这次我们再回到原理性的问题,这次会延续[第一篇]...
查看更多

Kafka的集群部署实践及运维相关

老马 发表了文章 • 0 个评论 • 2609 次浏览 • 2020-09-17 23:16 • 来自相关话题


上一篇 Kafka 的文章《大白话带你认识Kafka》中我们应该已经了解了一些关于基础角色和集群架构相关的问题,这时候我们应该很想了解一下如何构建生产中的Kafka集群或者一些相关的运维工具...
查看更多

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。