Introdução ao Apache Kafka
Date: 2020-06-27Last modified: 2022-10-07
Introdução
O Apache Kafka é uma Plataforma distribuída de streaming.
De forma distribuída ele consegue processar uma grande quantidade de dados entregar em tempo real aos seus consumidores.
Características:
- plataforma
- banco de dados
- extremamente rápido e baixíssima latência
- utiliza o disco ao invés da memória para processar os dados
- não é apenas um sistema tradicional de mensageiria como o RabbitMQ
- publish & subscriber
- processamento em tempo real
- armazenamento de streams em um modo seguro, distribuído e replicável
- producer
- consumer
- topic - onde os dados são transmitidos
Topic
- é um stream de dados que atua com um banco de dados
- um tópico possui diversas partições
- diversos consumidores podem ler de modo independente, cada um num offset diferente
Cluster
- conjunto de brokers (intermediários)
- cada broker é um server
- cada broker é responsável por armazenar os dados de uma partição
- replication factory
Producer
- envia mensagem para os brokers