Migración de datos a la nube
Los datos son la clave de las implementaciones exitosas de aplicaciones, los flujos de trabajo de análisis y las innovaciones de aprendizaje automático. Al trasladar datos a la nube, debe comprender a dónde los está trasladando según cada caso de uso, los tipos de datos que está trasladando y los recursos de red disponibles, entre otras consideraciones. AWS ofrece una amplia variedad de servicios y herramientas de socios que ayudan a migrar los conjuntos de datos, ya sean archivos, bases de datos, imágenes de máquinas, volúmenes de bloques o incluso copias de seguridad en cinta.
Servicios de migración de datos a la nube de AWS
AWS proporciona un paquete de servicios de transferencia de datos a fin de brindar la solución adecuada para cualquier proyecto de migración de datos. El nivel de conectividad es un factor importante en la migración de datos, y AWS cuenta con ofertas que pueden abordar su almacenamiento de nube híbrida, transferencia de datos en línea y necesidades de transferencia de datos sin conexión.
Almacenamiento en nube híbrida
Muchos clientes desean aprovechar los beneficios del almacenamiento en la nube, pero tienen aplicaciones que se ejecutan en las instalaciones que requieren acceso de baja latencia a sus datos o necesitan transferir rápidamente datos a la nube. Las arquitecturas de almacenamiento en la nube híbrida de AWS conectan sus aplicaciones y sistemas locales al almacenamiento en la nube para ayudarlo a reducir costos, minimizar la carga de administración e innovar con sus datos.
AWS Storage Gateway
AWS Storage Gateway simplifica la adopción en las instalaciones del almacenamiento de AWS. Storage Gateway le permite conectar y extender sus aplicaciones en las instalaciones a AWS Storage. Los clientes utilizan Storage Gateway para reemplazar sin inconvenientes las bibliotecas de cinta con el almacenamiento en la nube, proporcionar intercambios de archivos con respaldo en el almacenamiento en la nube o crear un caché de baja latencia para acceder a los datos en AWS para las aplicaciones en las instalaciones. El servicio brinda tres tipos de gateways: de archivos, de cinta y de volúmenes.
- Los datos de archivos de la gateway de archivos se almacenan en Amazon S3 como objetos duraderos mediante la gateway de archivos de Amazon S3 o en recursos compartidos de archivos totalmente administrados mediante la gateway de archivos de Amazon FSx.
- La configuración de la biblioteca de cintas virtuales de la gateway de cintas se integra a la perfección con su software de copia de seguridad existente para el reemplazo rentable de cintas en Amazon S3 y el archivo a largo plazo en S3 Glacier y S3 Glacier Deep Archive.
- La gateway de volúmenes almacena o guarda en caché los volúmenes de bloques localmente, con copias de seguridad de un punto en el tiempo como instantáneas de EBS. Estas instantáneas se pueden recuperar en la nube.
AWS Direct Connect
El cliente selecciona una conexión física dedicada de Direct Connect para acelerar las transferencias de red entre sus centros de datos y los de AWS.
AWS Direct Connect permite establecer una conexión de red dedicada entre su red y una de las ubicaciones de AWS Direct Connect. Gracias al uso de redes VLAN 802.1q estándar del sector, esta conexión exclusiva se puede dividir en varias interfaces virtuales. Esto permite utilizar la misma conexión para acceder a recursos públicos como, por ejemplo, objetos almacenados en Amazon S3 utilizando un espacio de direcciones IP públicas, y a recursos privados como instancias de Amazon EC2 que se ejecutan dentro de una Amazon Virtual Private Cloud (VPC), utilizando un espacio de IP privado al tiempo que se mantiene la separación de redes entre entornos públicos y privados. Las interfaces virtuales se pueden volver a configurar en cualquier momento para que satisfagan sus necesidades a medida que cambian.
Explore nuestros paquetes de socio de AWS Direct Connect que ayudan a extender las tecnologías en las instalaciones a la nube.
Transferencia de datos en línea
Estos servicios facilitan y simplifican la transferencia de los datos hacia AWS y desde allí mediante métodos en línea.
AWS DataSync
AWS DataSync es un servicio de transferencia de datos que facilita la automatización del traslado de datos entre el almacenamiento local y Amazon S3, Amazon Elastic File System (Amazon EFS) o Amazon FSx for Windows File Server. DataSync maneja automáticamente muchas de las tareas relacionadas con las transferencias de datos que pueden ralentizar las migraciones o atascar las operaciones de TI, incluidas la ejecución de sus propias instancias, el manejo del cifrado, la administración de scripts, la optimización de red y la validación de la integridad de los datos. Puede usar DataSync para transferir datos con una velocidad hasta 10 veces superior a la de las herramientas de código abierto. Puede utilizar DataSync para copiar datos de AWS Direct Connect o enlaces de Internet a AWS para migraciones de datos únicas, flujos de trabajo de procesamiento de datos recurrentes y replicación automatizada para la protección y la recuperación de datos.
AWS Transfer Family
Con AWS Transfer Family se ofrece soporte completamente administrado para transferencias de archivos directamente desde y hacia Amazon S3. AWS Transfer Family es compatible con el protocolo seguro de transferencia de archivos (SFTP), el protocolo de transferencia de archivos a través de SSL (FTPS) y el protocolo de transferencia de archivos (FTP). De esta forma, el servicio ayuda a migrar sin problemas sus flujos de trabajo de transferencia de archivos a AWS mediante la integración con los sistemas de autentican existentes y el enrutamiento de DNS con Amazon Route 53 para que nada sus clientes y socios, o sus aplicaciones no perciban los cambios. Con sus datos en Amazon S3, podrá utilizarlo junto con los servicios de AWS para tareas de procesamiento, análisis, aprendizaje automático y archivado. Comenzar a utilizar AWS Transfer Family es sencillo y no es necesario configurar o comprar infraestructura.
Amazon S3 Transfer Acceleration
Amazon S3 Transfer Acceleration agiliza las transferencias a Amazon S3 mediante el Internet público. Puede maximizar su ancho de banda independientemente de la distancia o de las variaciones en la capacidad de Internet, sin necesidad de clientes especiales o protocolos de red propios. Simplemente cambie el punto de enlace que utiliza con el bucket de S3 y se aplicará la aceleración automáticamente.
Es ideal para los trabajos periódicos que se transfieren de una parte a otra del mundo, como las cargas de medios, las copias de seguridad y las tareas de procesamiento de datos locales que se envían de forma frecuente a una ubicación central.
AWS Snowcone
AWS Snowcone es el miembro más pequeño de la Familia de productos AWS Snow para informática de borde y dispositivos de transferencia de datos. Snowcone es portátil, resistente y seguro. Puede utilizar Snowcone para recopilar, procesar y transferir datos a AWS en línea a través de AWS DataSync. Ejecutar aplicaciones en entornos sin conexión y ubicaciones de borde conectadas puede suponer un desafío dado que esas ubicaciones con frecuencia carecen del espacio, potencia y refrigeración que necesitan los equipos de TI de centros de datos. AWS Snowcone almacena datos de forma segura en ubicaciones de borde, y puede ejecutar cargas de trabajo de informática de borde que utilizan instancias de Amazon EC2 o AWS IoT Greengrass. Los dispositivos Snowcone son pequeños y pesan 2 kilos, de modo que puede llevarlos en un mochila o colocarlos en espacios pequeños, para casos de uso de IoT, vehículos o incluso drones.
Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose es la forma más fácil de cargar datos de streaming en AWS. Puede capturar y cargar automáticamente los datos de streaming en Amazon S3 y Amazon RedShift, lo que habilita el análisis casi en tiempo real con las herramientas y los paneles de control de inteligencia empresarial existentes que ya emplea actualmente. Se trata de un servicio completamente administrado cuya capacidad se ajusta automáticamente para adaptarse al nivel de procesamiento de los datos y que no necesita administración permanente. También puede procesar por lotes, comprimir y cifrar los datos antes de cargarlos, a fin de minimizar la cantidad de almacenamiento utilizado en el destino y aumentar la seguridad. Puede crear fácilmente una transmisión de entrega de Firehose desde la consola de administración de AWS, configurarla con unos pocos clics y comenzar a enviar datos a la secuencia desde cientos de miles de orígenes de datos para que se carguen continuamente en AWS, y todo en pocos minutos.
Productos de socios de APN
AWS se ha asociado con una serie de proveedores del sector para el uso de dispositivos de gateway físicos que cierran la brecha entre la copia de seguridad tradicional y la nube. Enlace los datos existentes en sus instalaciones con la nube de Amazon para realizar el traslado sin afectar el rendimiento y conservando los catálogos de copias de seguridad existentes.
- Se integra a la perfección en la infraestructura existente
- Puede ofrecer anulación de duplicación, compresión, cifrado o aceleración de WAN
- Almacene localmente en caché copias de seguridad recientes y guarde todo en la nube de AWS
Transferencia de datos sin conexión
La Familia de productos de AWS Snow facilita el envío de datos desde y hacia AWS con métodos sin conexión.
AWS Snowcone
AWS Snowcone es el miembro más pequeño de la Familia de productos AWS Snow para informática de borde y dispositivos de transferencia de datos. Snowcone es portátil, resistente y seguro. Puede utilizar Snowcone para recopilar, procesar y transferir datos a AWS sin conexión enviando el dispositivo. Ejecutar aplicaciones en entornos sin conexión y ubicaciones de borde conectadas puede suponer un desafío dado que esas ubicaciones con frecuencia carecen del espacio, potencia y refrigeración que necesitan los equipos de TI de centros de datos. AWS Snowcone almacena datos de forma segura en ubicaciones de borde, y puede ejecutar cargas de trabajo de informática de borde que utilizan instancias de Amazon EC2 o AWS IoT Greengrass. Los dispositivos Snowcone son pequeños y pesan 2 kilos, de modo que puede llevarlos en un mochila o colocarlos en espacios pequeños, para casos de uso de IoT, vehículos o incluso drones.
AWS Snowball
AWS Snowballes un dispositivo de informática de borde y transporte de datos a escala de petabytes que viene con capacidades de almacenamiento y computación y está disponible en dos opciones. Los dispositivos Snowball Edge Storage Optimized proporcionan tanto almacenamiento en bloque como almacenamiento de objetos compatible con Amazon S3, además de 40 CPU virtuales. Resultan apropiados para el almacenamiento local y la transferencia de datos a gran escala. Los dispositivos Snowball Edge Compute Optimized proporcionan 52 CPU virtuales, almacenamiento en bloque y almacenamiento de objetos, así como una GPU opcional para casos de uso como el aprendizaje automático avanzado y el análisis de video en movimiento completo en entornos desconectados. Puede usar estos dispositivos para recopilar, procesar mediante aprendizaje automático y almacenar datos en entornos con conectividad intermitente (como fábricas, industrias y transporte) o en ubicaciones extremadamente remotas (como operaciones militares y marítimas) antes de devolverlos a los centros de datos de AWS. Estos dispositivos también pueden agruparse en clústeres y montarse en bastidores para crear instalaciones temporales de mayor tamaño.
Herramientas de migración de datos a la nube no administradas
AWS también ofrece herramientas sencillas de script o CLI para transferir datos locales al almacenamiento en la nube de AWS.
rsync
Los clientes utilizan rsync, una herramienta de código abierto, junto con herramientas de sistemas de archivos de terceros para copiar datos directamente en buckets de S3.
Interfaz de línea de comandos de S3
Los clientes utilizan la CLI de Amazon S3 para escribir comandos que permiten trasladar los datos directamente hacia los buckets de S3.
Interfaz de línea de comandos de S3 Glacier
Los clientes utilizanla CLI de Amazon S3 Glacier para trasladar datos hacia los almacenes de Glacier S3.
El reto común de la migración de datos a la nube
La abrumadora realidad del transporte de datos se aplica a la mayoría de los proyectos. ¿Cómo puede trasladarse con fluidez de la ubicación actual a la nueva nube, con el mínimo de interrupción, costo y tiempo? ¿Cuál es la forma más inteligente de trasladar sus GB, TB o PB de datos?
Se trata de un problema subyacente básico: ¿qué cantidad de datos puede trasladar, a qué distancia y con qué rapidez? Para un caso ideal, utilice esta fórmula:
Número de días = (bytes totales)/(megabits por segundo * 125 * 1000 * uso de red * 60 segundos * 60 minutos * 24 horas)
Por ejemplo, si tiene una conexión T1 (1,544 Mbps) y 1 TB (1024 * 1024 * 1024 * 1024 bytes) que introducir o sacar de AWS, el tiempo mínimo teórico que tardaría en cargarse a través de la conexión de red a un uso de red del 80% sería 82 días.
Relájese. Ya hemos hecho esto antes. Hemos podido constatar que los clientes abordan esta cuestión de dos formas: con herramientas de migración no administradas muy básicas para trasladar los datos o con uno de los conjuntos de servicios de AWS como se mencionó anteriormente.
Como regla básica general, para obtener los mejores resultados sugerimos lo siguiente:
| Conexión | Escala de datos | Método |
|---|---|---|
| Menos de 10 Mbps | Menos de 500 GB | No administrado |
| Más de 10 Mbps | Más de 500 GB | Servicio administrado |