Nenhum servidor para gerenciar

Totalmente gerenciado

Com alguns cliques no console, é possível criar um cluster totalmente gerenciado do Apache Kafka que segue as práticas recomendadas de implantação do Apache Kafka ou criar um cluster próprio usando uma configuração personalizada. Após a criação da configuração desejada, o Amazon MSK provisiona, configura e gerencia automaticamente seu cluster do Apache Kafka.

Nós de gerenciamento de metadados incluídos

O Apache Kafka usa o Kraft (Apache Kafka Raft) ou o Apache ZooKeeper para gerenciamento de metadados. O Amazon MSK permite criar clusters em qualquer um dos modos nas versões compatíveis do Apache Kafka. O Amazon MSK também gerencia esses nós de metadados adicionais para você, sem nenhum custo adicional.

Amazon MSK Sem Servidor

O MSK Serverless é um tipo de cluster do Amazon MSK que facilita a execução dos clusters do Apache Kafka sem a necessidade de gerenciar a capacidade de computação e de armazenamento. O MSK Serverless provisiona e escalona automaticamente recursos e gerencia as partições do Apache Kafka para que você possa transmitir dados sem precisar se preocupar com o dimensionamento correto nem a escalabilidade dos clusters.

Altamente disponível

A alta disponibilidade é o padrão

Todos os clusters são distribuídos em várias zonas de disponibilidade (três é o padrão) e contam com o suporte do acordo de nível de serviço do Amazon MSK e com o suporte de sistemas automatizados que detectam e respondem a problemas dentro da infraestrutura de cluster e do software Apache Kafka. Se um componente falhar, o Amazon MSK o substituirá automaticamente, sem tempo de inatividade para suas aplicações. O Amazon MSK gerencia a disponibilidade dos nós do controlador KRaft ou Apache ZooKeeper para que você não precise iniciar, parar nem acessar os nós por conta própria. Ele também implanta automaticamente patches de software conforme necessário para manter as atualizações do cluster em dia e seu funcionamento perfeito.

Replicação de dados confiável e automatizada em clusters MSK

O MSK Replicator é um recurso do Amazon MSK que permite replicar dados de forma confiável nos clusters do Amazon MSK com apenas alguns cliques, sem precisar de expertise em como configurar ferramentas de código aberto, escrever códigos ou gerenciar infraestruturas. O MSK Replicator provisiona e escala automaticamente os recursos subjacentes para que você possa replicar dados sob demanda e pagar somente pelo que usar. Com o MSK Replicator você pode criar aplicativos multirregionais altamente disponíveis e tolerantes a falhas para aumentar a resiliência. Você também pode usar o MSK Replicator para fornecer acesso a dados com menor latência em diferentes regiões geográficas ou para distribuir dados para seus parceiros.

Altamente seguro

Conectividade privada

O cluster do Apache Kafka é executado em uma Amazon Virtual Private Cloud (VPC) gerenciada pelo Amazon MSK. Os clientes Kafka em sua própria Amazon VPC podem acessar o cluster de forma privada por meio de uma interface de rede elástica entre contas que o Amazon MSK implanta em sua VPC. Se seus clientes Kafka estiverem espalhados por uma ou mais VPCs ou contas da AWS, você ainda poderá se conectar de forma privada ao seu cluster usando o recurso de conectividade privada de várias VPCs. Esse recurso elimina a sobrecarga operacional do autogerenciamento de uma solução PrivateLink e escala perfeitamente à medida que o cluster do Amazon MSK escala, permitindo que você mantenha a conectividade privada com o cluster sem fazer alterações adicionais na configuração. A conectividade privada com várias VPCs também elimina os desafios de gerenciar IPs não sobrepostos, tabelas complexas de emparelhamento e roteamento associadas a outras soluções de conectividade de VPC, pois permite a sobreposição de IPs nas VPCs conectadas.

Controle de acesso entre contas

Use uma política de cluster para seu cluster do Amazon MSK para definir quais entidades principais do IAM têm permissões entre contas para configurar a conectividade privada com seu cluster do Amazon MSK. Quando usado com a autenticação do cliente do IAM, você também pode usar a política de cluster para definir separadamente as permissões do plano de dados Kafka para os clientes conectados.

Controle de acesso detalhado

O IAM Access Control é uma opção de segurança sem custo que simplifica a autenticação de clusters e a autorização da API do Apache Kafka usando políticas de usuário ou funções do IAM para controlar o acesso. Com o IAM Access Control, não é mais necessário criar nem executar sistemas únicos de gerenciamento de acesso para controlar a autenticação e a autorização de clientes para o Apache Kafka. Os clusters são protegidos por permissões com privilégio mínimo por padrão. No caso de clusters provisionados, você também pode usar o Simple Authentication and Security Layer (SASL)/Salted Challenge Response Authentication Mechanism (SCRAM) ou a autenticação mútua do Transport Layer Security (TLS) com listas de controle de acesso (ACLs) do Apache Kafka para controlar o acesso de clientes.

Criptografia de dados em repouso e em trânsito

O Amazon MSK criptografa os dados em repouso sem configurações especiais nem ferramentas de terceiros. No caso de clusters provisionados, todos os dados em repouso podem ser criptografados usando por padrão a chave do AWS Key Management Service (KMS) ou a sua própria chave. Também é possível criptografar dados em trânsito entre agentes e entre clientes e agentes de um cluster pelo TLS. No caso de clusters sem servidor, todos os dados em repouso são criptografados por padrão usando as chaves gerenciadas por um serviço, e todos os dados em trânsito são criptografados pelo TLS por padrão.

Conectividade na Internet

O Amazon MSK oferece uma opção para se conectar com segurança aos agentes de clusters do Amazon MSK que executam o Apache Kafka 2.6.0 ou versões posteriores pela Internet. Ao habilitar o acesso público, clientes autorizados e externos a uma Amazon Virtual Private Cloud (VPC) privada podem transmitir dados criptografados para dentro e para fora de clusters específicos do Amazon MSK.

Controle de acesso entre contas

Use uma política de cluster para seu cluster do Amazon MSK para definir quais entidades principais do IAM entre contas têm permissões para configurar a conectividade privada entre contas com seu cluster do Amazon MSK. Quando usado com a autenticação do cliente do IAM, você também pode usar a política de cluster para definir separadamente as permissões do plano de dados Kafka para os clientes conectados.

Altamente integrado

Nenhum outro provedor oferece a amplitude e a profundidade das integrações da AWS no Amazon MSK. Essas integrações incluem:

Graviton

Os processadores AWS Graviton3 são a última geração de processadores AWS Graviton personalizados criados com base no AWS Nitro System. As instâncias M7g baseadas em processadores Graviton3 oferecem maior throughput de armazenamento e maior throughput de rede em comparação com instâncias M5 de tamanho similar, mas a um custo menor.

Código aberto

Executado com o Apache Kafka nativo

O Amazon MSK implanta versões nativas do Apache Kafka para que as aplicações e ferramentas criadas para o Apache Kafka funcionem com o Amazon MSK de imediato, sem precisar de alterações no código da aplicação.

Disponibilidade da versão simplificada

O Amazon MSK normalmente disponibiliza versões mais recentes do Apache Kafka sete dias após a disponibilidade pública.

Atualizações de versões integrais

É possível atualizar as versões do Apache Kafka nos clusters provisionados do Amazon MSK com apenas alguns cliques, permitindo que você decida quando aproveitar os recursos e as correções de erros presentes nas novas versões do Apache Kafka. O Amazon MSK automatiza a implantação de atualizações de versões em clusters em execução para manter a disponibilidade de E/S para seus clientes de acordo com práticas recomendadas. No caso de clusters sem servidor, as versões do Apache Kafka são atualizadas automaticamente pelo Amazon MSK.

O menor custo

Você pode começar a usar o Amazon MSK por menos de USD 2,00 por dia. Os clientes normalmente pagam entre USD 0,05 e 0,07 por gigabyte consumido, com tudo incluído, o que pode representar 1/13 do custo de outros provedores gerenciados. Acesse a página de Preços do Amazon MSK para saber mais.

Armazenamento em camadas

Com o armazenamento em camadas, você pode armazenar dados praticamente ilimitados no MSK sem a necessidade de fornecer e gerenciar a capacidade de armazenamento com armazenamento em camadas. Você pode habilitar o armazenamento em camadas com alguns cliques para clusters novos ou atuais e pagar pelo que você usa. Você pode primeiro armazenar dados em uma camada de armazenamento primário com performance otimizada e permitir que o MSK classifique os dados automaticamente na nova camada de baixo custo para uma retenção mais longa. O recurso tem suporte em todas as regiões da AWS com MSK. Para saber como começar a armazenar em camadas, visite nosso Guia do desenvolvedor do Amazon MSK.

Escalável

Escalabilidade do agente (apenas clusters provisionados)

Você pode escalar os clusters do Amazon MSK alterando o tamanho ou a família dos agentes do Apache Kafka em minutos, sem tempo de inatividade. A alteração do tamanho ou da família é uma forma comum de escalar os clusters do Amazon MSK, pois ela oferece a flexibilidade de ajustar a capacidade computacional do cluster do MSK às mudanças nas workloads. Esse método é o mais recomendado porque não exige uma nova atribuição da partição, o que pode impactar a disponibilidade do Apache Kafka.

Escalabilidade do cluster (apenas clusters sem servidor)

O Amazon MSK escala automaticamente os recursos de computação e armazenamento de seus clusters conforme as necessidades de taxa de transferência de sua aplicação.

Gerenciamento automático de partições

O Amazon MSK pode ser integrado ao Cruise Control, uma ferramenta popular de código aberto para o Apache Kafka que gerencia automaticamente a atribuição de partições em seu nome. No caso de clusters sem servidor, o Amazon MSK gerencia automaticamente a atribuição de partições para você.

Armazenamento com escalabilidade automática (apenas clusters provisionados)

É possível aumentar a escala da quantidade de armazenamento provisionado por agente de forma integral para acompanhar as alterações nos requisitos de armazenamento usando o Console de Gerenciamento da AWS ou a AWS Command Line Interface (AWS CLI). Também é possível criar uma política de autoescalabilidade para expandir automaticamente o armazenamento a fim de atender aos crescentes requisitos de transmissão.

Configurável

O Amazon MSK implanta uma prática recomendada de configuração de cluster para o Apache Kafka por padrão. No caso de cluster provisionados, você pode definir mais de 30 configurações de cluster diferentes e todas as configurações dinâmicas e no nível do tópico. Para obter mais informações, consulte Configurações personalizadas do MSK na documentação.

Visível

Fácil observação da performance de transmissão com métricas do CloudWatch por padrão

É possível visualizar e monitorar métricas importantes usando o Amazon CloudWatch para entender e manter a performance da aplicação de transmissão.

Exporte métricas JMX e Node para um servidor Prometheus com o Open Monitoring (apenas clusters provisionados)

O Open Monitoring com Prometheus permite monitorar o Amazon MSK usando soluções como Datadog, Lenses, New Relic, Sumo Logic ou um servidor Prometheus e migrar facilmente painéis de monitoramento existentes para o Amazon MSK. Para obter mais informações, consulte Open Monitoring com Prometheus na documentação.

Comece a usar o Amazon MSK

Calcule seus custos
Calcule seus custos

Visite a página de definição de preço do Amazon MSK

Read the documentation
Consulte o guia de conceitos básicos

Saiba como configurar seu cluster do Apache Kafka no Amazon MSK neste guia detalhado.

Execute seu cluster do Apache Kafka
Execute seu cluster do Apache Kafka

Comece a executar seu cluster do Apache Kafka no Amazon MSK. Faça login no console do Amazon MSK.