Información general
Streaming Data Solution para Amazon MSK le permite capturar datos de streaming mediante Amazon Managed Streaming para Apache Kafka (Amazon MSK), un servicio de almacenamiento escalable de forma masiva capaz de administrar grandes volúmenes de datos de los productores de datos. Un productor pueden ser miles de orígenes de datos, cada uno generando datos de streaming de manera continua y que, normalmente, envían registros de manera simultánea y en tamaños reducidos (kilobytes).
Además, los datos de streaming incluyen diversos tipos de datos, como archivos de registros generados por los clientes que utilizan aplicaciones móviles o web, compras electrónicas, actividades de los jugadores en un juego, información de redes sociales, operaciones bursátiles o servicios geoespaciales, así como telemetría de dispositivos conectados o instrumentación en centros de datos.
Esta solución de AWS proporciona cuatro plantillas de AWS CloudFormation en las que los datos fluyen a través de productores, almacenamiento de streaming, consumidores y destinos. De forma similar a Streaming Data Solution para Amazon Kinesis, las plantillas están configuradas para aplicar las prácticas recomendadas para supervisar la funcionalidad y proteger los datos mediante paneles y alarmas.
Beneficios
Detalles técnicos
Puede implementar automáticamente esta arquitectura con la guía de implementación y la plantilla de AWS CloudFormation adjunta.
-
Opción 1
-
Opción 2
-
Opción 3
-
Opción 4
-
Opción 1
-
Plantilla de AWS CloudFormation mediante Amazon Managed Streaming para Apache Kafka (Amazon MSK)
Haga clic para agrandarPlantilla de AWS CloudFormation mediante Amazon Managed Streaming para Apache Kafka (Amazon MSK)
Opción 1: plantilla de AWS CloudFormation mediante Amazon MSK
Paso 1
Esta plantilla de AWS CloudFormation implementa un clúster de Amazon Managed Streaming para Apache Kafka (MSK).
Paso 2
Se usa un grupo de usuarios de Amazon Cognito para controlar quién puede invocar los métodos de la API de REST.Paso 1
Esta plantilla de AWS CloudFormation implementa un clúster de Amazon Managed Streaming para Apache Kafka (MSK).
Paso 2
Se usa un grupo de usuarios de Amazon Cognito para controlar quién puede invocar los métodos de la API de REST.Acerca de este despliegueFecha de publicación- Fecha de publicación
Opciones de implementación¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla -
Opción 2
-
Plantilla AWS CloudFormation mediante Amazon MSK y AWS Lambda
Haga clic para agrandarPlantilla AWS CloudFormation mediante Amazon MSK y AWS Lambda
Opción 2: plantilla de AWS CloudFormation mediante Amazon MSK y AWS Lambda
Paso 1
Esta plantilla de CloudFormation implementa una función de AWS Lambda que procesa registros en un tema de Apache Kafka. La función predeterminada es una aplicación Node.js que registra los mensajes recibidos, pero se puede personalizar para satisfacer sus necesidades comerciales.
Paso 1
Esta plantilla de CloudFormation implementa una función de AWS Lambda que procesa registros en un tema de Apache Kafka. La función predeterminada es una aplicación Node.js que registra los mensajes recibidos, pero se puede personalizar para satisfacer sus necesidades comerciales.Acerca de este despliegueFecha de publicación- Fecha de publicación
Opciones de implementación¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla -
Opción 3
-
La plantilla de AWS CloudFormation utiliza Amazon MSK, AWS Lambda y Amazon Kinesis Data Firehose
Haga clic para agrandarLa plantilla de AWS CloudFormation utiliza Amazon MSK, AWS Lambda y Amazon Kinesis Data Firehose
Opción 3: plantilla de AWS CloudFormation mediante Amazon MSK, AWS Lambda y Amazon Kinesis Data Firehose
Paso 1
Una función de Lambda que procesa los registros en un tema de Apache Kafka.Paso 2
Un flujo de entrega de Amazon Kinesis Data Firehose que almacena los datos en un búfer antes de entregarlos en el destino.Paso 3
Un bucket de Amazon Simple Storage Service (Amazon S3) que almacena todos los eventos originales del clúster de Amazon MSK.Paso 1
Una función de Lambda que procesa los registros en un tema de Apache Kafka.Paso 2
Un flujo de entrega de Amazon Kinesis Data Firehose que almacena los datos en un búfer antes de entregarlos en el destino.Paso 3
Un bucket de Amazon Simple Storage Service (Amazon S3) que almacena todos los eventos originales del clúster de Amazon MSK.Acerca de este despliegueFecha de publicación- Fecha de publicación
Opciones de implementación¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla -
Opción 4
-
Plantilla de AWS CloudFormation mediante Amazon MSK, Amazon Managed Service para Apache Flink y Amazon S3
Haga clic para agrandarPlantilla de AWS CloudFormation mediante Amazon MSK, Amazon Managed Service para Apache Flink y Amazon S3
Opción 4: plantilla de AWS CloudFormation mediante Amazon MSK, Amazon Managed Service para Apache Flink y Amazon S3
Paso 1
Un bloc de notas de Amazon Managed Service para Apache Flink Studio que lee los eventos de un tema existente en un clúster de Amazon MSK.Paso 2
Un bucket S3 almacena la salida.Paso 1
Un bloc de notas de Amazon Managed Service para Apache Flink Studio que lee los eventos de un tema existente en un clúster de Amazon MSK.Paso 2
Un bucket S3 almacena la salida.Acerca de este despliegueFecha de publicación- Fecha de publicación
Opciones de implementación¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla
Contenido relacionado
Este artículo explica los patrones y las soluciones que se pueden utilizar para realizar copias de seguridad de temas de MSK en S3, lo que permite a los clientes reducir la configuración de retención de datos a largo plazo en MSK. Algunos clientes almacenan datos a largo plazo en MSK para cargas de trabajo de análisis de datos y Machine Learning. Compartimos un patrón para simplificar esta arquitectura mediante la descarga de datos de temas en S3 y el uso de S3 para análisis y ML.
En este curso autoguiado, aprenderá sobre el proceso que se sigue para planificar soluciones de análisis de datos y sobre los distintos procesos de análisis de datos que intervienen.