Domande frequenti su Amazon MSK

• Apache Kafka archivia i flussi di dati in un modo fault-tolerant, fornendo un buffer fra produttori e consumatori. Archivia gli eventi come una serie continua di registri e conserva l’ordine in cui sono stati prodotti i registri.
• Apache Kafka consente a molti produttori di dati, come siti Web, dispositivi Internet of Things (IoT) e istanze Amazon Elastic Compute Cloud (Amazon EC2), di pubblicare dati di streaming in modo continuo e di categorizzarli utilizzando gli argomenti Apache Kafka. Diversi consumatori di dati (ad esempio applicazioni di machine learning, funzioni AWS Lambda o microservizi) leggono da questi argomenti a velocità diverse, in modo simile a quanto avviene con una coda di messaggi o un sistema di messaggistica aziendale.
• Gli utenti di dati elaborano i dati dagli argomenti Apache Kafka in base al principio first-in-first-out, conservando l'ordine di produzione dei dati.

D: Cos'è MSK Serverless?
MSK Serverless è un tipo di cluster per Amazon MSK che semplifica l'esecuzione di cluster Apache Kafka senza dover gestire la capacità di calcolo e archiviazione. Con MSK Serverless, puoi eseguire le tue applicazioni senza dover fornire, configurare o ottimizzare i cluster, e paghi per il volume di dati che trasmetti e mantieni.

D: MSK Serverless bilancia automaticamente le partizioni in un cluster?
Sì. MSK Serverless gestisce interamente le partizioni, inclusi il loro monitoraggio e spostamento per uniformare il carico su un cluster.

D: Quanta capacità di velocità effettiva dei dati supporta MSK Serverless?
MSK Serverless fornisce fino a 200 MBps di capacità di scrittura e 400 MBps di capacità di lettura per cluster. Inoltre, per assicurare una sufficiente disponibilità di velocità effettiva per tutte le partizioni in un cluster, MSK Serverless alloca fino a 5 MBps di capacità di scrittura istantanea e 10 MBps di capacità di lettura istantanea per partizione.

D: Quali caratteristiche di sicurezza offre MSK Serverless
MSK Serverless cripta tutto il traffico in transito e tutti i dati a riposo utilizzando chiavi gestite dal servizio emesse attraverso AWS Key Management Service (KMS). I client si connettono a MSK Serverless su una connessione privata usando AWS PrivateLink senza esporre il tuo traffico alla rete internet pubblica. Inoltre, MSK Serverless offre l'IAM Access Control, che è possibile utilizzare per gestire l'autenticazione e l'autorizzazione dei client a risorse di Apache Kafka come gli argomenti.

D: Come possono produttori e consumatori accedere ai miei cluster MSK Serverless?
Quando crei un cluster MSK Serverless, fornisci sottoreti di una o più Amazon Virtual Private Clouds (VPC) che ospitano i client del cluster. I client ospitati in uno qualsiasi di questi VPC saranno in grado di connettersi al cluster MSK Serverless utilizzando la sua stringa di avvio del broker.

D: In quali Regioni è disponibile MSK Serverless?
Per la disponibilità regionale, fare riferimento alla pagina dei prezzi MSK.

D: Quali tipi di autenticazione sono supportati da MSK Serverless?
MSK Serverless attualmente supporta AWS IAM per l'autenticazione e l'autorizzazione del client. I tuoi clienti possono assumere un ruolo AWS IAM per l'autenticazione e puoi imporre il controllo degli accessi utilizzando una policy IAM associata.

D: Come posso elaborare i dati nel mio cluster MSK Serverless?
Puoi utilizzare qualsiasi strumento compatibile con Apache Kafka per elaborare i dati negli argomenti del cluster MSK Serverless. MSK Serverless si integra con il servizio gestito da Amazon per Apache Flink per l'elaborazione in streaming stateful e AWS Lambda per l'elaborazione degli eventi. Puoi anche utilizzare i connettori sink Apache Kafka Connect per inviare dati a qualsiasi destinazione desiderata.

D: In che modo MSK Serverless garantisce l'alta disponibilità?
Quando crei una partizione, MSK Serverless ne crea 2 repliche e le colloca in diverse zone di disponibilità. Inoltre, MSK serverless rileva e recupera automaticamente le risorse di back-end non riuscite per mantenere un'elevata disponibilità.

D: Posso utilizzare le API Apache Kafka per trasferire dati da e verso Apache Kafka?
Sì, Amazon MSK fornisce supporto per le API producer e consumer native di Apache Kafka. Non è richiesta la modifica del codice dell’applicazione quando i client iniziano a lavorare con i cluster in Amazon MSK.

D: È possibile utilizzare Apache Kafka Connect, Apache Kafka Streams o qualsiasi altro componente dell’ecosistema di Apache Kafka con Amazon MSK?
Sì, è possibile utilizzare qualsiasi componente che sfrutta le API produttore e consumatore di Apache Kafka e Apache Kafka Admin Client. Al momento, gli strumenti per il caricamento dei file .jar nei cluster Apache Kafka non sono compatibili con Amazon MSK, compresi Confluent Control Center, Confluent Auto Data Balancer e Uber uReplicator.

D: Gli aggiornamenti di versione di Apache Kafka sono supportati?
Sì, Amazon MSK supporta gli aggiornamenti di versione di Apache Kafka completamente gestiti sul posto per i cluster con provisioning. Per ulteriori informazioni sull'aggiornamento della tua versione di Apache Kafka e sulle best practice per l'alta disponibilità, consulta la documentazione relativa agli aggiornamenti della versione.

D: Posso cambiare le configurazioni di default del broker o caricare una configurazione del cluster su Amazon MSK?
Sì, Amazon MSK permette di creare configurazioni personalizzate e applicarle a cluster nuovi ed esistenti. Per ulteriori informazioni sulle configurazioni personalizzate, consulta la documentazione sulla configurazione.

D: Quali proprietà di configurazione possono essere personalizzate?
Le proprietà delle configurazioni che è possibile personalizzare sono documentate in questa pagina.

D: Qual è la configurazione predefinita per un nuovo argomento?
Amazon MSK utilizza la configurazione predefinita di Apache Kafka, se non altrimenti specificato in questa pagina.

D: Amazon MSK viene eseguito in un Amazon VPC?
Sì, Amazon MSK viene sempre eseguito all'interno di Amazon VPC gestito dal servizio Amazon MSK. Le risorse Amazon MSK verranno rese disponibili nel cloud privato virtuale Amazon, nella sottorete e nel gruppo di sicurezza selezionati quando il cluster è stato configurato. Gli indirizzi IP del cloud privato virtuale vengono collegati alle risorse Amazon MSK tramite interfacce di rete elastiche (ENI), in questo modo, il traffico di rete rimarrà nell'ambito della rete AWS e non sarà accessibile da Internet di default.

D: In che modo i broker nel cluster Amazon MSK vengono resi accessibili ai client nel VPC?
I broker nel cluster vengono resi accessibili ai client nel VPC attraverso interfacce di rete elastiche (ENI), che appariranno nell’account. I gruppi di sicurezza nelle interfacce ENI determinano la fonte e il tipo di traffico in entrata e in uscita consentito sui broker.

D: È possibile connettersi al mio cluster tramite Internet pubblico?
Sì, Amazon MSK offre un'opzione per connettersi in modo sicuro ai broker dei cluster Amazon MSK che eseguono Apache Kafka 2.6.0 o versioni successive su Internet. Abilitando l'accesso pubblico, i clienti autorizzati esterni a un Amazon Virtual Private Cloud (VPC) privato possono trasmettere dati crittografati dentro e fuori da specifici cluster Amazon MSK. È possibile abilitare l'accesso pubblico per i cluster MSK dopo che un cluster è stato creato senza costi aggiuntivi, ma si applicano i costi standard di trasferimento dati di AWS per l'ingresso e l'uscita del cluster. Per maggiori informazioni su come attivare l'accesso pubblico, consulta la documentazione sull'accesso pubblico.

D: La connessione tra i client e un cluster Amazon MSK è privata?
Per default i dati possono essere prodotti e utilizzati da un cluster Amazon MSK solo tramite una connessione privata tra i client nel VPC e il cluster Amazon MSK. Tuttavia, se attivi l'accesso pubblico per il tuo cluster Amazon MSK e ti connetti al tuo cluster MSK usando la stringa pubblica bootstrap-brokers, la connessione, anche se autenticata, autorizzata e criptata, non è più considerata privata. Si consiglia di configurare i gruppi di sicurezza del cluster perché abbiano regole TCP in entrata che permettano l'accesso pubblico dal proprio indirizzo IP di fiducia e di rendere queste regole il più restrittive possibile se si attiva l'accesso pubblico.

Domanda: Come faccio a connettermi al mio cluster Amazon MSK tramite Internet? 
Il modo più semplice è quello di attivare la connettività pubblica su internet ai broker dei cluster MSK che eseguono Apache Kafka 2.6.0 o versioni successive. Per ragioni di sicurezza, non puoi attivare l'accesso pubblico mentre crei un cluster MSK. Tuttavia, puoi aggiornare un cluster esistente per renderlo pubblicamente accessibile. Puoi anche creare un nuovo cluster e poi aggiornarlo per renderlo pubblicamente accessibile. Per maggiori informazioni su come attivare l'accesso pubblico, consulta la documentazione sull'accesso pubblico.

Domanda: Come faccio a connettermi al mio cluster Amazon MSK dall'interno della rete AWS ma dall'esterno dell'Amazon VPC del cluster?
Puoi connetterti al tuo cluster MSK da qualsiasi account VPC o AWS diverso da quello del tuo cluster MSK attivando la connettività privata multi-VPC per i cluster MSK che eseguono la versione 2.7.1 o le successive di Apache Kafka. Puoi attivare la connettività privata solo dopo la creazione del cluster per uno qualsiasi degli schemi di autenticazione supportati (autenticazione IAM, autenticazione SASL, SCRAM ed mTLS). Per abilitare la connettività privata bisogna configurare i tuoi client in modo che si connettano privatamente al cluster utilizzando connessioni VPC gestite da Amazon MSK che utilizzano la tecnologia AWS PrivateLink. Per saperne di più sull'impostazione della connettività privata, consulta la documentazione Accesso dall'interno di AWS.

D: Posso crittografare i dati nel cluster Amazon MSK?
Sì, Amazon MSK usa la crittografia lato server Amazon Elastic Block Store (Amazon EBS) e le chiavi AWS Key Management Service (AWS KMS) per crittografare i volumi di archiviazione.

D: All'interno di un cluster Amazon MSK, i dati sono crittografati, durante il transito tra broker?
Sì, per impostazione predefinita, sui nuovi cluster è abilitata la crittografia in transito tramite TLS per la comunicazione tra i broker. Per i cluster con provisioning, è possibile scegliere di non utilizzare la crittografia in transito, durante la creazione di un cluster.

D: Durante il transito tra i client Apache Kafka e il servizio Amazon MSK, i dati vengono crittografati?
Sì, per impostazione predefinita la crittografia in transito è impostata su TLS soltanto per i cluster creati dalla console CLI o dalla Console di gestione AWS. Occorre una configurazione ulteriore affinché i clienti possano comunicare con i cluster utilizzando la crittografia TLS. Per i cluster con provisioning, puoi cambiare l'impostazione di default della crittografia selezionando le impostazioni TLS/plaintext o plaintext. Puoi trovare ulteriori informazioni su MSK Encryption.

D: I dati sono criptati in transito mentre si spostano tra i broker e i nodi Apache ZooKeeper in un cluster Amazon MSK?
Sì, i cluster Amazon MSK che eseguono Apache Kafka versione 2.5.1 o successiva supportano la crittografia TLS in transito tra i broker Apache Kafka e i nodi ZooKeeper.

D: Come controllo l'autenticazione a un cluster e l'autorizzazione delle API di Apache Kafka?
Per i cluster serverless, è possibile utilizzare IAM Access Control sia per l'autenticazione che per l'autorizzazione. Per i cluster con provisioning, hai tre opzioni: 1) Il controllo accessi di AWS Identity and Access Management (IAM) sia per AuthN che AuthZ (consigliato), 2) Il certificato di autenticazione TLS (CA) per AuthN e la lista di controllo accessi per AuthZ, e 3) SASL/ SCRAM per AuthN e lista di controllo degli accessi per AuthZ. Amazon MSK consiglia l'utilizzo di IAM Access Control. È l'opzione più semplice da usare, perché prevede autorizzazioni agli accessi con privilegio minimo di default, che è l'opzione più sicura.

D: Come funziona l'autorizzazione in Amazon MSK?
Se utilizzi IAM Access Control, Amazon MSK applica le policy da te scritte e il suo authorizer per autorizzare le azioni. Se utilizzi TLS Certificate Authentication o SASL/SCRAM, Apache Kafka applica le liste di controllo degli accessi per l’autorizzazione. Per abilitare le ACL è necessario abilitare l'autenticazione client utilizzando i certificati TLS o SASL/SCRAM.

D: Come si fa per autenticare e autorizzare un client allo stesso tempo?
Se utilizzi IAM Access Control, Amazon MSK si occuperà per conto tuo dell’autenticazione e dell’autorizzazione, senza ulteriori configurazioni. Se utilizzi l'autenticazione TLS del client puoi usare il Dname dei certificati TLS dei client come elemento ACL principale per autorizzare le richieste dei client. Se utilizzi SASL/SCRAM, puoi usare il nome utente come principale dell'ACL per autorizzare le richieste del client.

D: Come controllo le operazioni delle API di servizio?
È possibile controllare le operazioni dell'API del servizio utilizzando AWS Identity and Access Management (IAM).

D: Posso abilitare IAM Access Control per un cluster esistente?
Sì, è possibile abilitare il controllo di accesso IAM per un cluster esistente dalla Console AWS o utilizzando l'API UpdateSecurity.

D: Posso usare IAM Access Control al di fuori di Amazon MSK?
No, IAM Access Control è disponibile soltanto per i cluster Amazon MSK.

D: Come faccio a fornire le autorizzazioni di accesso multi-account a un client Apache Kafka su un account AWS diverso da quello di Amazon MSK in modo che si connetta privatamente al mio cluster Amazon MSK?
Puoi allegare una policy del cluster al tuo cluster Amazon MSK per fornire le autorizzazioni client Apache Kafka su più account in modo da configurare la connettività privata al tuo cluster Amazon MSK. Quando si utilizza l'autenticazione del client IAM, è anche possibile utilizzare la policy del cluster per definire in modo granulare le autorizzazioni del piano dati Apache Kafka per il client che si connette. Per ulteriori informazioni sulle politiche dei cluster, consulta la documentazione sulla policy dei cluster.

D: Cos'è Apache ZooKeeper?
Tratto da https://zookeeper.apache.org: "Apache ZooKeeper è un servizio centralizzato per mantenere le informazioni di configurazione, dare un nome, fornire la sincronizzazione distribuita e servizi di gruppo. Tutti questi servizi vengono utilizzati in qualche modo dalle applicazioni distribuite,” compreso Apache Kafka.

D: Amazon MSK utilizza Apache ZooKeeper?
Sì, Amazon MSK utilizza Apache ZooKeeper per la gestione dei metadati. Inoltre, a partire dalla versione 3.7 di Apache Kafka, è possibile creare cluster in modalità ZooKeeper o in modalità KRaft. Un cluster creato con la modalità KRaft utilizza i controller KRaft per la gestione dei metadati anziché i nodi ZooKeeper.

• Amazon S3 utilizza Kinesis Data Firehose per fornire dati ad Amazon S3 da MSK in modo semplice e senza codice.
  
• Amazon Virtual Private Cloud (Amazon VPC) per l'isolamento e la sicurezza della rete
• Amazon CloudWatch per i parametri
• AWS Key Management Service (AWS KMS) per la crittografia dei volumi di archiviazione
• Amazon IAM per l'autenticazione e l'autorizzazione di Apache Kafka e le API di servizio
• AWS Lambda per il sourcing di eventi MSK
• AWS IoT per il sourcing di eventi IoT
• Registro di AWS Glue Schema per monitorare l'evoluzione degli schemi usati dalle applicazioni Apache Kafka
  
• AWS CloudTrail per i registri delle API AWS
• AWS Certificate Manager per le CA private impiegate per l'autenticazione TLS del client
• AWS CloudFormation per la descrizione e il provisioning dei cluster Amazon MSK tramite codice
  
• Il servizio gestito da Amazon per Apache Flink per applicazioni Apache Flink completamente gestite che elaborano dati in streaming
  
• Il servizio gestito da Amazon per Apache Flink per l’SQL dello streaming interattivo su Apache Kafka
  
• AWS Secrets Manager per le credenziali client utilizzate per l'autenticazione SASL/SCRAM
  

• Amazon S3 utilizza Kinesis Data Firehose per fornire dati ad Amazon S3 da MSK in modo semplice e senza codice.
  
• Amazon VPC per l'isolamento e la sicurezza della rete
• Amazon CloudWatch per i parametri
• Amazon IAM per l'autenticazione e l'autorizzazione di Apache Kafka e per le API di servizio
• Registro di AWS Glue Schema per monitorare l'evoluzione degli schemi usati dalle applicazioni Apache Kafka
• AWS CloudTrail per i registri delle API AWS
• AWS PrivateLink per la connettività privata
  

D: Come vengono calcolati i prezzi di Amazon MSK?
I prezzi dipendono dalle risorse create. Potrai trovare ulteriori informazioni alla nostra pagina sui prezzi.

D: I trasferimenti di dati resi necessari dalla replica dei dati sono a pagamento?
No, tutti i trasferimenti dei dati in-cluster sono inclusi nel servizio senza costi aggiuntivi.

D: Quali Regioni AWS offre Amazon MSK?
La disponibilità regionale di Amazon MSK è illustrata qui. 

D: Come vengono calcolati i prezzi del trasferimento di dati?
Con i cluster con provisioning, ti saranno addebitate le tariffe standard di trasferimento dati di AWS per i dati trasferiti da e verso un cluster Amazon MSK. Non saranno addebitati costi per il trasferimento di dati all'interno del cluster in una regione, compreso il trasferimento di dati tra broker e tra broker e nodi Apache ZooKeeper.

Con i cluster serverless, pagherai le tariffe standard di trasferimento dati di AWS per i dati trasferiti da o verso un'altra Regione e per i dati trasferiti verso l'internet pubblico.

• Soggetto allo standard HIPAA

• PCI

• ISO

• SOC 1, 2, 3

Per un elenco completo dei servizi AWS e dei programmi per la conformità, consulta Servizi AWS coperti dal programma di conformità.

D: Cos'è il Replicatore Amazon MSK?
Il Replicatore Amazon MSK è una funzionalità di Amazon MSK che consente ai clienti di replicare in modo affidabile i dati tra cluster Amazon MSK in diverse regioni AWS (replica tra regioni) o all'interno della stessa regione AWS (replica nella stessa regione), senza scrivere codice o gestire l'infrastruttura. È possibile utilizzare la replica interregionale (CRR) per creare applicazioni di streaming multi-regione ad alta disponibilità e tolleranti ai guasti per una maggiore resilienza. Puoi anche utilizzare CRR per fornire un accesso a bassa latenza ai consumatori in diverse aree geografiche. Puoi utilizzare SRR per distribuire i dati da un cluster a più cluster per condividere i dati con i partner e i team. Puoi anche utilizzare SRR o CRR per aggregare i dati di più cluster in uno solo per l'analisi.

D: Come si usa il Replicatore MSK?
Per configurare la replica tra una coppia di cluster MSK di origine e di destinazione, devi creare un Replicator nella Regione AWS di destinazione. Per creare un Replicator, devi specificare dettagli che includono il nome della risorsa Amazon (ARN) dei cluster MSK di origine e di destinazione e un ruolo AWS Identity and Access Management (IAM) che MSK Replicator può utilizzare per accedere ai cluster. Se non esiste già, sarà necessario creare il cluster MSK di destinazione. È inoltre possibile configurare impostazioni aggiuntive, tra cui la configurazione del nome dell'argomento e la posizione iniziale del Replicatore.

D: Quali tipi di cluster Kafka sono supportati dal Replicatore MSK?
MSK Replicator supporta la replica solo tra cluster MSK. Sono supportati i cluster MSK di tipo Con provisioning e Serverless. È inoltre possibile utilizzare MSK Replicator per passare da Con provisioning a Serverless o viceversa. Gli altri cluster Kafka non sono supportati.

D: Posso specificare quali argomenti voglio replicare?
Sì, è possibile specificare quali argomenti replicare utilizzando gli elenchi di consenso e negazione durante la creazione del Replicator.

D: MSK Replicator replica le impostazioni degli argomenti e gli offset dei gruppi di consumer?
Sì. MSK Replicator replica automaticamente i metadati Kafka necessari, come la configurazione degli argomenti, le liste di controllo degli accessi (ACL) e gli offset dei gruppi di consumer, in modo che le applicazioni che consumano possano riprendere l'elaborazione senza problemi dopo il failover. Puoi scegliere di disattivare una o più di queste impostazioni se desideri solo replicare i dati. È inoltre possibile specificare quali gruppi di consumer si desidera replicare utilizzando gli elenchi di consenso o negazione durante la creazione del Replicator.

D: È necessario scalare la replica quando la velocità di trasmissione effettiva in ingresso cambia?
No, MSK Replicator implementa, fornisce e ridimensiona automaticamente l'infrastruttura di replica sottostante per supportare le modifiche della velocità di trasmissione effettiva in ingresso.

D: Posso replicare i dati tra cluster MSK in diversi account AWS?
No, MSK Replicator supporta solo la replica tra cluster MSK nello stesso account AWS.

D: Come posso monitorare la replica?
Puoi utilizzare Amazon CloudWatch nella regione di destinazione per visualizzare le metriche per “ReplicationLatency, MessageLag e ReplicatorThroughput” a livello tematico e aggregato per ciascun Replicatore senza costi aggiuntivi. I parametri sarebbero visibili in ReplicatorName nello spazio dei nomi “AWS/Kafka”. Per verificare se il tuo Replicatore sta riscontrando problemi, puoi anche consultare i parametri “ReplicatorFailure, AuthError e ThrottleTime”.

D: È possibile utilizzare il Replicatore MSK per replicare i dati da un cluster a più cluster o replicare i dati da più cluster a uno?
Sì. È sufficiente creare un Replicator diverso per ogni coppia di cluster di origine e destinazione.

D: In che modo MSK Replicator si connette ai cluster MSK di origine e di destinazione?
MSK Replicator utilizza Controllo degli accessi IAM per connettersi ai cluster di origine e di destinazione. È necessario attivare i cluster MSK di origine e di destinazione per Controllo degli accessi IAM per creare un replicatore. Puoi continuare a utilizzare altri metodi di autenticazione tra cui SASL/SCRAM e MTL contemporaneamente per i tuoi clienti poiché Amazon MSK supporta più metodi di autenticazione contemporaneamente.

D: Quanta latenza di replica devo aspettarmi da MSK Replicator?
Il Replicatore MSK replica i dati in modo asincrono. La latenza di replica varia in base a molti fattori, tra cui la distanza di rete tra le regioni AWS dei cluster MSK, la capacità di capacità effettiva di trasmissione dei cluster di origine e di destinazione e il numero di partizioni sui cluster di origine e destinazione. Se riscontri una latenza elevata, segui la nostra guida alla risoluzione dei problemi.

D: È possibile mantenere invariati i nomi degli argomenti con il Replicatore MSK?
Sì. Il Replicatore MSK consente di selezionare una configurazione del nome dell'argomento tra “Prefisso” e “Identico” durante la creazione di un nuovo Replicatore. Per impostazione predefinita, il Replicatore MSK crea nuovi argomenti nel cluster di destinazione con un prefisso generato automaticamente aggiunto al nome dell'argomento. Ad esempio, il Replicatore MSK replicherà i dati in “topic” dal cluster di origine a un nuovo argomento nel cluster di destinazione chiamato “<sourceKafkaClusterAlias>.topic”. È possibile trovare il prefisso che verrà aggiunto ai nomi degli argomenti nel cluster di destinazione nel campo “sourceKafkaClusterAlias” utilizzando l'API DescribeReplicator o la pagina dei dettagli del Replicatore sulla console MSK. Se desideri replicare gli argomenti nel cluster di destinazione preservando i nomi originali, imposta semplicemente la configurazione del nome dell'argomento su “Identico”.

D: Perché dovrei usare la configurazione del nome dell'argomento “Identico”?
Si consiglia di utilizzare la configurazione del nome dell'argomento Identico per semplificare la creazione di architetture di dati di streaming altamente disponibili e resilienti nelle regioni AWS. Replicando gli argomenti di Kafka su altri cluster Amazon MSK mantenendo i nomi originali degli argomenti, questa configurazione riduce la necessità di riconfigurare le applicazioni client durante la configurazione della replica o gli eventi di failover. Ciò semplifica la creazione di configurazioni di cluster attive-passive su più regioni per una maggiore resilienza e disponibilità. Inoltre, semplifica casi d'uso come l'aggregazione dei dati tra cluster, le migrazioni tra cluster MSK e la distribuzione dei dati in più aree geografiche. Non si dovrebbe usare questa configurazione se i client non possono elaborare i dati quando sono stati aggiunti metadati aggiuntivi alle intestazioni dei record di Kafka.

D: Esiste il rischio di cicli di replica infiniti con una configurazione del nome dell'argomento Identico?
No. il Replicatore MSK impedisce automaticamente la replica dei record sull'argomento Kafka da cui sono stati originati, evitando così infiniti cicli di replica. A tale scopo, nell'ambito della replica, il Replicatore MSK aggiunge metadati alle intestazioni dei record.

D: Posso aggiornare il mio Replicatore esistente per utilizzare la configurazione del nome dell'argomento Identico?
No. La configurazione del nome dell'argomento non può essere modificata dopo la creazione di un Replicatore.

D: Come posso utilizzare la replica per aumentare la resilienza della mia applicazione di streaming tra le regioni?
È possibile utilizzare MSK Replicator per configurare topologie di cluster attive-attive o attive-passive per aumentare la resilienza dell'applicazione Kafka in tutte le regioni. In una configurazione attiva-attiva, entrambi i cluster MSK eseguono attivamente operazioni di lettura e scrittura. In confronto, in una configurazione attiva-passiva solo un cluster MSK alla volta serve attivamente lo streaming di dati, mentre l'altro cluster è in standby. Si consiglia di utilizzare la configurazione del nome dell'argomento “Identico” per la configurazione attiva-passiva e la configurazione “Prefisso” per la configurazione attiva-attiva. Tuttavia, l'utilizzo della configurazione “Prefisso” richiederà di riconfigurare i consumatori per leggere gli argomenti replicati. Se vuoi evitare di riconfigurare i tuoi client, puoi utilizzare la configurazione “Identico” anche per la configurazione attiva-attiva. Tuttavia, verranno addebitati costi aggiuntivi per l'elaborazione e il trasferimento dei dati per ogni Replicatore, in quanto ogni Replicatore dovrà elaborare il doppio della quantità di dati abituale, una volta per la replica e l'altra per evitare cicli infiniti.

D: Quali versioni di Kafka supportano la configurazione del nome dell'argomento Identico?
È supportata per tutti i cluster MSK in esecuzione sulle versioni di Kafka 2.8.1 e successive.

D: È possibile replicare i dati esistenti nel cluster di origine?
Sì. Per impostazione predefinita, quando si crea un nuovo Replicator, inizia a replicare i dati dall'estremità del flusso (ultimo offset) sul cluster di origine. In alternativa, per replicare i dati esistenti, puoi configurare un nuovo Replicator per iniziare a replicare i dati dal primo offset nelle partizioni dell'argomento del cluster di origine.

D: La replica può comportare una limitazione dei consumer nel cluster di origine?
Poiché MSK Replicator funge da consumatore per il cluster di origine, è possibile che la replica causi la limitazione di altri consumatori sul cluster di origine. Ciò dipende dalla capacità di lettura disponibile nel cluster di origine e dalla velocità di trasmissione effettiva dei dati da replicare. Si consiglia di fornire una capacità identica per i cluster di origine e di destinazione e tenere conto della velocità di trasmissione effettiva di replica calcolando al contempo la capacità necessaria. È inoltre possibile impostare quote Kafka per il Replicator sui cluster di origine e di destinazione per controllare la capacità che il Replicator può utilizzare.

D: È possibile comprimere i dati prima di scriverli nel cluster di destinazione?
Sì, puoi specificare il codec di compressione che preferisci durante la creazione del Replicator tra None, GZIP, Snappy, LZ4 e ZSTD.