Caratteristiche di Amazon MSK

Con pochi clic nella console puoi creare un cluster Apache Kafka completamente gestito secondo le best practice di implementazione di Apache Kafka o crearne uno utilizzando una configurazione personalizzata. Una volta creata la configurazione desiderata, Amazon MSK effettua automaticamente il provisioning, la configurazione e la gestione delle operazioni del cluster Apache Kafka e dei nodi Apache ZooKeeper.

Apache Kafka utilizza KRaft (Apache Kafka Raft) o Apache ZooKeeper per la gestione dei metadati. Amazon MSK consente di creare cluster in entrambe le modalità nelle versioni di Apache Kafka supportate. Amazon MSK gestisce al posto tuo anche questi nodi di metadati aggiuntivi senza costi aggiuntivi.

MSK Serverless è un tipo di cluster per Amazon MSK che semplifica l'esecuzione di cluster Apache Kafka senza dover gestire la capacità di calcolo e archiviazione. MSK Serverless effettua il provisioning e dimensiona automaticamente le risorse gestendo allo stesso tempo le partizioni Apache Kafka, per consentirti di trasmettere i dati senza dover pensare al corretto dimensionamento o ridimensionamento dei cluster.

Tutti i cluster sono distribuiti su più zone di disponibilità (tre zone di disponibilità per impostazione predefinita), sono supportati dall'accordo di servizio di Amazon MSK e sono supportati da sistemi automatizzati in grado di rilevare e rispondere ai problemi all'interno dell'infrastruttura dei cluster e del software Apache Kafka. Se un componente smette di funzionare, Amazon MSK lo sostituisce automaticamente senza causare tempi di inattività delle applicazioni. Amazon MSK gestisce la disponibilità dei nodi Apache ZooKeeper in modo da non dover avviare, arrestare o accedere direttamente ai nodi. Inoltre, implementa automaticamente le patch software necessarie per consentire l'aggiornamento e il funzionamento ottimale del cluster.

MSK Replicator è una funzionalità di Amazon MSK che consente di replicare in modo affidabile i dati tra cluster Amazon MSK in pochi clic senza richiedere competenze per configurare strumenti open source, scrivere codice o gestire l'infrastruttura. MSK Replicator fornisce e dimensiona automaticamente le risorse sottostanti in modo da poter replicare i dati su richiesta e pagare solo per ciò che si utilizza. Con MSK Replicator, è possibile creare applicazioni multi-regionali ad alta disponibilità e con tolleranza ai guasti per una maggiore resilienza. È inoltre possibile utilizzare MSK Replicator per fornire un accesso ai dati a bassa latenza in diverse aree geografiche o per distribuire i dati ai partner.

I cluster Apache Kafka vengono eseguiti in un Amazon Virtual Private Cloud (VPC) gestito da Amazon MSK. I client Kafka del tuo ambiente Amazon VPC possono accedere al cluster privatamente tramite un'interfaccia di rete elastica per più account che Amazon MSK implementa nel tuo VPC. Se i tuoi clienti Kafka sono distribuiti su uno o più VPC o account AWS, puoi comunque connetterti privatamente al tuo cluster utilizzando la funzionalità di connettività privata multi-VPC. Questa funzionalità elimina il sovraccarico operativo derivato dalla gestione automatica di una soluzione PrivateLink e si adatta perfettamente alla scalabilità del cluster Amazon MSK, consentendo di mantenere la connettività privata con il cluster senza dover apportare ulteriori modifiche alla configurazione. La connettività privata multi-VPC elimina anche le preoccupazioni legate alla gestione di IP non sovrapposti, tabelle complesse di peering e di routing associate ad altre soluzioni di connettività VPC in quanto consente la sovrapposizione degli IP tra i VPC connessi.

Utilizza una policy per il tuo cluster Amazon MSK che ti consenta di definire quali principali IAM dispongono delle autorizzazioni per più account che consentano loro di configurare la connettività privata con il tuo cluster Amazon MSK. Se utilizzato con l'autenticazione del client IAM, puoi anche utilizzare la policy del cluster per definire in modo granulare le autorizzazioni del piano dati Kafka per i client che si connettono.

IAM Access Control è un'opzione di sicurezza gratuita che semplifica l'autenticazione del cluster e l'autorizzazione dell'API Apache Kafka utilizzando i ruoli IAM o le policy degli utenti per controllare gli accessi. Utilizzando IAM Access Control, non sarà più necessario costruire ed eseguire sistemi di gestione degli accessi una tantum per controllare l'autenticazione e l'autorizzazione dei client per Apache Kafka. I tuoi cluster sono protetti utilizzando le autorizzazioni con privilegi minimi di default. Per i cluster sottoposti a provisioning, puoi anche utilizzare l'autenticazione Simple Authentication and Security Layer (SASL)/Salted Challenge Response Authentication Mechanism (SCRAM) o l'autenticazione Mutual Transport Layer Security (TLS) con liste di controllo accessi (ACL) di Apache Kafka per controllare l'accesso dei client.

Amazon MSK esegue la crittografia dei dati a riposo senza alcuna configurazione speciale o strumenti di terza parte. Per i cluster con provisioning, tutti i dati a riposo possono essere crittografati utilizzando la chiave AWS Key Management Service (KMS) per impostazione predefinita o la tua chiave. Puoi anche crittografare tramite TLS i dati in transito tra broker, nonché tra client e broker sul tuo cluster. Per quanto riguarda i cluster serverless, per impostazione predefinita tutti i dati a riposo vengono crittografati utilizzando chiavi gestite dal servizio e tutti i dati in transito vengono crittografati tramite TLS.

Amazon MSK offre un'opzione per connettersi in modo sicuro ai broker dei cluster Amazon MSK che eseguono Apache Kafka 2.6.0 o versioni successive su Internet. Abilitando l'accesso pubblico, i clienti autorizzati esterni a un Amazon Virtual Private Cloud (VPC) privato possono trasmettere dati crittografati dentro e fuori da specifici cluster Amazon MSK.

Utilizza una policy per il tuo cluster Amazon MSK che ti consenta di definire quali principali IAM per più account dispongono delle autorizzazioni per configurare la connettività privata su più account con il tuo cluster Amazon MSK. Se utilizzato con l'autenticazione del client IAM, puoi anche utilizzare la policy del cluster per definire in modo granulare le autorizzazioni del piano dati Kafka per i client che si connettono.

Nessun altro fornitore di servizi offre la portata e la capacità delle integrazioni AWS su Amazon MSK. Queste integrazioni includono:

• AWS IAM per Apache Kafka e controllo di accesso delle API a livello di servizio
• Il servizio gestito da Amazon per Apache Flink per l'esecuzione di applicazioni Apache Flink completamente gestite per elaborare dati di streaming all'interno di Apache Kafka
• Il Servizio gestito da Amazon per Apache Flink Studio per eseguire Streaming SQL interattivo e SQL a esecuzione prolungata utilizzando Apache FlinkSQL
• Registro degli schemi di AWS Glue per il controllo e l'evoluzione degli schemi in modo centralizzato
• AWS IoT Core per lo streaming di eventi IoT in MSK
• AWS Database Migration Service (AWS DMS) per modificare l'acquisizione e l'analisi dei dati
• Amazon Virtual Private Cloud (Amazon VPC) per connettività client privata e isolamento di rete
• AWS Key Management Service (AWS KMS) per la crittografia dei dati a riposo
• AWS Certificate Manager Private Certificate Authority per l'autenticazione TLS reciproca dei client
• AWS Secrets Manager per l'archiviazione e la gestione sicure delle chiavi segrete SASL/SCRAM
• AWS CloudFormation per la distribuzione di Amazon MSK nel codice
• Amazon CloudWatch per parametri a livello di cluster, broker, argomento, consumatore e partizione
  

Amazon MSK distribuisce versioni native di Apache Kafka in modo che le applicazioni e gli strumenti creati per Apache Kafka possano funzionare con Amazon MSK ed essere pronti all'uso, senza che sia necessario apportare modifiche al codice dell'applicazione.

Generalmente, Amazon MSK rende disponibili le versioni più recenti di Apache Kafka entro sette giorni dal momento in cui diventano disponibili pubblicamente.

Puoi aggiornare le versioni di Apache Kafka sui cluster di cui è stato eseguito il provisioning in pochi clic e quindi sfruttare le funzionalità e le correzioni di bug presenti nelle nuove versioni di Apache Kafka. Amazon MSK automatizza la distribuzione degli aggiornamenti di versione sui cluster in esecuzione per mantenere la disponibilità delle operazioni di I/O del client per i clienti secondo le best practice. Per i cluster serverless, le versioni di Apache Kafka vengono aggiornate automaticamente da Amazon MSK.

È possibile utilizzare Amazon MSK a meno di 2,00 USD al giorno. Generalmente, i clienti pagano tra 0,05 USD e 0,07 USD per GB importato, tutto incluso, pari a 1/13 del costo di altri fornitori di servizi gestiti. Per ulteriori informazioni sui prezzi, consulta la pagina dei prezzi di Amazon MSK.

Con l’archiviazione su più livelli, puoi archiviare dati praticamente illimitati in MSK senza la necessità di eseguire il provisioning e gestire la capacità di archiviazione con l’archiviazione su più livelli. Puoi abilitare l’archiviazione su più livelli per cluster nuovi o esistenti con pochi clic e pagare solo per ciò che utilizzi. Puoi prima archiviare i dati in un livello di archiviazione principale ottimizzato per le prestazioni e consentire a MSK di classificare automaticamente i dati nel nuovo livello a basso costo per una conservazione più lunga. La funzione è supportata in tutte le regioni AWS in cui è disponibile MSK. Per ulteriori informazioni su come iniziare a utilizzare l'archiviazione su più livelli, consulta la Guida per sviluppatori di Amazon MSK.

In alternativa, puoi dimensionare i tuoi cluster Amazon MSK cambiando le dimensioni o la famiglia dei broker Apache Kafka in pochi minuti e senza tempo di inattività. Cambiare le dimensioni o la famiglia dei broker è un modo comune per dimensionare i cluster Amazon MSK, poiché offre la flessibilità di adattare la capacità di calcolo del cluster per effettuare modifiche ai carichi di lavoro. Questo metodo è preferibile perché non richiede la riassegnazione delle partizioni, che può influire sulla disponibilità di Apache Kafka.

Amazon MSK dimensiona automaticamente le risorse di calcolo e archiviazione dei cluster in base alle esigenze di velocità effettiva della tua applicazione.

Amazon MSK si integra con Cruise Control, un popolare strumento open source per Apache Kafka che gestisce automaticamente l'assegnazione delle partizioni per conto tuo. Per i cluster serverless, Amazon MSK gestisce automaticamente le assegnazioni delle partizioni.

Puoi aumentare facilmente la quantità di spazio di archiviazione assegnato per broker al fine di soddisfare le modifiche ai requisiti di archiviazione utilizzando la console di gestione AWS o l'AWS Command Line Interface (AWS CLI). Puoi anche creare una policy di scalabilità automatica per espandere automaticamente lo spazio di archiviazione e soddisfare i requisiti crescenti di streaming.

Amazon MSK distribuisce per impostazione predefinita una configurazione del cluster basata sulle best practice per Apache Kafka. Per i cluster con provisioning, hai la possibilità di ottimizzare più di 30 diverse configurazioni di cluster supportando tutte le configurazioni dinamiche e a livello di argomento. Per ulteriori informazioni, consulta la pagina Configurazioni MSK personalizzate nella documentazione.

Puoi visualizzare e monitorare parametri importanti utilizzando Amazon CloudWatch per comprendere e mantenere le prestazioni delle applicazioni di streaming.

Open Monitoring with Prometheus ti consente di monitorare Amazon MSK utilizzando soluzioni come Datadog, Lenses, New Relic, Sumo Logic o un server Prometheus e di eseguire facilmente la migrazione dei pannelli di controllo di monitoraggio esistenti verso Amazon MSK. Per ulteriori informazioni, consulta Open Monitoring with Prometheus nella documentazione.