Panoramica
La soluzione dei dati in streaming per Amazon Kinesis include quattro opzioni di implementazione e i relativi modelli AWS CloudFormation configurati per applicare le migliori pratiche per lo streaming di dati, incluso il monitoraggio dei dati tramite pannelli di controllo e allarmi, nonché la sicurezza dei dati.
È necessario acquisire i dati in streaming in modo durevole usando un'archiviazione altamente scalabile in grado di gestire elevati volumi di dati provenienti dai data producer. Per producer si intendono migliaia di origini dati, ognuna delle quali genera continuamente dati in streaming, inviati, di solito, sotto forma di record di piccole dimensioni (kilobyte) in contemporanea. Questa soluzione AWS ti aiuta a gestire, proteggere e archiviare un'ampia varietà di dati in streaming, come i file di log generati dai tuoi clienti utilizzando applicazioni mobili o Web. Supporta anche lo streaming di dati provenienti da acquisti di e-commerce, attività dei giocatori all'interno del gioco, informazioni dai social network, piani di negoziazione finanziaria o servizi geospaziali e telemetria da dispositivi connessi o strumentazione nei data center.
Vantaggi
Dettagli tecnici
Questa architettura può essere implementata automaticamente consultando la Guida all'implementazione e i quattro modelli di AWS CloudFormation allegati.
-
Opzione 1
-
Opzione 2
-
Opzione 3
-
Opzione 4
-
Opzione 1
-
Modello di AWS CloudFormation con Gateway Amazon API e AWS Lambda
Fai clic per ingrandireModello di AWS CloudFormation con Gateway Amazon API e AWS Lambda
Fase 1
Una REST API di Gateway Amazon API che funge da proxy per flusso di dati Amazon Kinesis, aggiungendo un registro di dati singolo e un elenco di record di dati.Fase 2
Un pool di utenti di Amazon Cognito viene utilizzato per controllare chi può invocare i metodi della REST API.Fase 3
Flusso di dati Kinesis per archiviare i dati in streaming in entrata.Fase 4
Una funzione AWS Lambda elabora i record provenienti dal flusso di dati.Fase 5
Gli errori e i registri non riusciti che emergono durante l'elaborazione di Lambda vengono annotati e gli eventi archiviati in Amazon Simple Queue Service (Amazon SQS).
La coda archivia metadati per registri di batch non riusciti ed errori Lambda, così da consentire ai clienti di recuperare questi registri e determinare le fasi successive per risolverli.
Fase 1
Una REST API di Gateway Amazon API che funge da proxy per flusso di dati Amazon Kinesis, aggiungendo un registro di dati singolo e un elenco di record di dati.Fase 2
Un pool di utenti di Amazon Cognito viene utilizzato per controllare chi può invocare i metodi della REST API.Fase 3
Flusso di dati Kinesis per archiviare i dati in streaming in entrata.Fase 4
Una funzione AWS Lambda elabora i record provenienti dal flusso di dati.Fase 5
Gli errori e i registri non riusciti che emergono durante l'elaborazione di Lambda vengono annotati e gli eventi archiviati in Amazon Simple Queue Service (Amazon SQS).
La coda archivia metadati per registri di batch non riusciti ed errori Lambda, così da consentire ai clienti di recuperare questi registri e determinare le fasi successive per risolverli.
Informazioni su questa implementazioneData di pubblicazione- Data di pubblicazione
Opzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS -
Opzione 2
-
Modello di AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Amazon CloudWatch
Fai clic per ingrandireModello di AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Amazon CloudWatch
Fase 1
Un'istanza Amazon Elastic Compute Cloud (Amazon EC2) utilizza Amazon Kinesis Producer Library (KPL) per generare dati.Fase 2
Flusso di dati archivia il flusso di dati in entrata.Fase 3
Servizio gestito da Amazon per Apache Flink elabora i record in entrata e salva i dati elaborati in un bucket Amazon Simple Storage Service (Amazon S3).Fase 4
Un pannello di controllo di Amazon CloudWatch monitora l'integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.Fase 1
Un'istanza Amazon Elastic Compute Cloud (Amazon EC2) utilizza Amazon Kinesis Producer Library (KPL) per generare dati.Fase 2
Flusso di dati archivia il flusso di dati in entrata.Fase 3
Servizio gestito da Amazon per Apache Flink elabora i record in entrata e salva i dati elaborati in un bucket Amazon Simple Storage Service (Amazon S3).Fase 4
Un pannello di controllo di Amazon CloudWatch monitora l'integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.Informazioni su questa implementazioneData di pubblicazione- Data di pubblicazione
Opzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS -
Opzione 3
-
Modello di AWS CloudFormation con flusso di dati Amazon Kinesis, Amazon Kinesis Data Firehose e Amazon S3
Fai clic per ingrandireModello di AWS CloudFormation con flusso di dati Amazon Kinesis, Amazon Kinesis Data Firehose e Amazon S3
Fase 1
Flusso di dati archivia i dati in streaming in entrata.Fase 2
Amazon Kinesis Data Firehose bufferizza i dati prima di consegnare l'output a un bucket S3. Si tratta di un servizio completamente gestito che dimensiona automaticamente le risorse in base al throughput dei dati e non richiede alcuna attività di amministrazione durante il funzionamento.Fase 3
Una pannello di controllo di CloudWatch monitora l'importazione e il buffering dei dati. Gli allarmi CloudWatchsono impostati su parametri essenziali di Kinesis Data Firehose.Fase 1
Flusso di dati archivia i dati in streaming in entrata.Fase 2
Amazon Kinesis Data Firehose bufferizza i dati prima di consegnare l'output a un bucket S3. Si tratta di un servizio completamente gestito che dimensiona automaticamente le risorse in base al throughput dei dati e non richiede alcuna attività di amministrazione durante il funzionamento.Fase 3
Una pannello di controllo di CloudWatch monitora l'importazione e il buffering dei dati. Gli allarmi CloudWatch sono impostati su parametri essenziali di Kinesis Data Firehose.Informazioni su questa implementazioneData di pubblicazione- Data di pubblicazione
Opzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS -
Opzione 4
-
Modello di AWS CloudFormation che utilizza flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Gateway Amazon API
Fai clic per ingrandireModello di AWS CloudFormation che utilizza flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Gateway Amazon API
Fase 1
Un'istanza EC2 che utilizza KPL per generare dati.Fase 2
Flusso di dati Kinesis archivia i dati in streaming in entrata.Fase 3
Servizio gestito per Apache Flink elabora i record in entrata e richiama in modo asincrono un endpoint esterno.Fase 4
L'applicazione demo invoca una funzione AWS Lambda.Fase 5
L'API esterna può essere qualsiasi integrazione supportata da Gateway API (ad esempio, un endpoint Amazon SageMaker).Fase 6
Un pannello di controllo di CloudWatch monitora l'integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.Fase 1
Un'istanza EC2 che utilizza KPL per generare dati.Fase 2
Flusso di dati Kinesis archivia i dati in streaming in entrata.Fase 3
Servizio gestito per Apache Flink elabora i record in entrata e richiama in modo asincrono un endpoint esterno.Fase 4
L'applicazione demo invoca una funzione AWS Lambda.Fase 5
L'API esterna può essere qualsiasi integrazione supportata da Gateway API (ad esempio, un endpoint Amazon SageMaker).Fase 6
Un pannello di controllo di CloudWatch monitora l'integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.Informazioni su questa implementazioneData di pubblicazione- Data di pubblicazione
Opzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS
Contenuto correlato
Questo post descrive l’architettura necessaria per l’inferenza in tempo reale nei dati in streaming utilizzando diversi servizi AWS. Copre anche l'integrazione del servizio gestito da Amazon per Apache Flink per richiamare in modo asincrono servizi o database sottostanti.
È un corso introduttivo su Amazon Kinesis Analytics pensato per aiutarti a interrogare i dati in streaming o a creare intere applicazioni in streaming utilizzando SQL.
In questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.