Solução de transmissão de dados para Amazon MSK

Capture dados continuamente para processamento usando um serviço escalável e durável de fluxo de dados em tempo real

Visão geral

A solução de dados de transmissão para Amazon MSK permite capturar dados de transmissão usando o Amazon Managed Streaming for Apache Kafka (Amazon MSK), um serviço de armazenamento altamente escalável capaz de lidar com alto volume de dados de produtores de dados. Um produtor pode ser milhares de fontes de dados, cada uma gerando uma transmissão de dados continuamente e que, normalmente, enviam registros simultaneamente e em tamanhos pequenos (kilobytes).

Os dados de transmissão incluem uma ampla variedade de dados, como arquivos de log gerados por clientes usando aplicativos móveis ou da web, compras de e-commerce, atividade de jogador durante o jogo, informações de redes sociais, pregões financeiros ou serviços geoespaciais, como também telemetria de serviços conectados ou instrumentação em data centers.

Essa Solução AWS fornece quatro modelos do AWS CloudFormation onde os dados fluem por produtores, armazenamento de transmissão, consumidores e destinos. Semelhante à solução de dados de transmissão para o Amazon Kinesis, os modelos são configurados para aplicar práticas recomendadas a fim de proteger dados e monitorar funcionalidades usando painéis e alarmes.

Casos de uso dessa solução da AWS
  • Título
Mais...

Benefícios

Configuração automatizada
Configure automaticamente os serviços da AWS necessários para capturar, armazenar, processar e entregar dados em streaming com facilidade.
Quatro opções de modelo
Escolha entre as quatro diferentes opções de modelo do AWS CloudFormation. Teste novas combinações de serviço para seu ambiente de produção e melhore os aplicativos existentes.
Casos de uso em tempo real
Capture logs de aplicativos de alto volume, analise dados de clickstream, forneça continuamente para um data lake e muito mais.
Código-fonte personalizável
Personalize o código clichê da solução e use as funcionalidades de monitoramento para fazer uma transição rápida do teste para a produção.

Detalhes técnicos

Você pode implantar essa arquitetura automaticamente usando o Guia de Implementação e o modelo que acompanha o AWS CloudFormation.

Blog de arquitetura da AWS
Amazon MSK Backup for Archival, Replay, or Analytics

Esta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.

Leia o blog 
Treinamento
Data Analytics Fundamentals

Neste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.

Inscreva-se agora 

Esta página foi útil?