Categoria
Change Data Capture (CDC) é uma técnica de engenharia de dados que permite capturar e propagar alterações ocorridas em bancos de dados em tempo real. Em vez de realizar consultas periódicas (polling) ou depender de gatilhos complexos, o CDC observa diretamente o log de transações do banco, detectando inserts, updates e deletes no momento exato em que ocorrem.
RabbitMQ é um broker de mensagens open-source que implementa o protocolo AMQP (Advanced Message Queuing Protocol). Sua arquitetura permite que sistemas distribuídos se comuniquem de forma assíncrona, desacoplando produtores de consumidores. Os componentes fundamentais incluem:
Apache Airflow é uma plataforma de orquestração de workflows criada pela Airbnb em 2014 e posteriormente doada à Apache Software Foundation. Sua principal função é programar, monitorar e gerenciar pipelines de dados complexos como DAGs (Directed Acyclic Graphs). Diferente de ferramentas como Luigi (mais simples, sem scheduler nativo robusto), Prefect (foco em estado e observabilidade) e Dagster (ênfase em tipagem e asset management), o Airflow se destaca pela maturidade, ecossistema extenso de i
Um data lake é um repositório centralizado que armazena dados em seu formato bruto, permitindo análises flexíveis sem a rigidez de esquemas predefinidos. Neste artigo, construiremos um data lake simples utilizando MinIO como armazenamento de objetos compatível com S3 e dbt como ferramenta de transformação de dados.
Desenvolvedores web acostumados com aplicações monolíticas muitas vezes enfrentam gargalos quando precisam escalar. Em um monólito, uma requisição HTTP geralmente executa tudo em um único processo — desde a validação até o banco de dados. Com microsserviços, surge a necessidade de comunicação entre componentes. Kafka entra como um backbone assíncrono, desacoplando produtores e consumidores sem bloqueios.