Autodesk reduce el coste del procesamiento de macrodatos en un 90 % con AWS

Autodesk es un proveedor de software líder en diseño 3D para los sectores de la arquitectura, la ingeniería, la fabricación, los medios de comunicación y el entretenimiento. Más de 100 millones de personas en todo el mundo utilizan los productos de Autodesk, que incluyen el software de diseño asistido por ordenador y modelado de información de construcción.

Para mantener el ritmo de una base de usuarios en expansión, Autodesk inició su trayectoria con Amazon Web Services (AWS) con el fin de renovar la plataforma Autodesk Data Platform (ADP), un almacenamiento de datos que genera información y análisis detallados sobre el uso de los productos. Autodesk se basa en las métricas derivadas de ADP (como los usuarios activos, la adopción de los usuarios, las versiones de los productos, etc.) para mejorar el rendimiento de los productos e identificar nuevas oportunidades con el objetivo de ofrecer un servicio mejor a sus clientes.

En agosto de 2019, ADP recibía datos a una velocidad de unos 150 GB por hora, 50 GB más de lo que podía gestionar. Autodesk anticipó que el volumen de datos aumentaría a gran velocidad debido a dos factores clave: a que Autodesk añadía más suscriptores de software y a que cada nueva versión de sus productos de escritorio generaba más datos de uso de los productos.

«Predijimos que llegaría a ADP un enorme volumen de datos y que necesitaba mejoras. Necesitábamos mejorar nuestro sistema actual para procesar un aumento de datos entrantes de hasta 10 veces más de 150 GB, el volumen de datos más alto que ha recibido la plataforma. Nuestro objetivo también era lograr una mejora en la velocidad del procesamiento y la disponibilidad de los datos de hasta una hora y reducir los costes de procesamiento en un 70 por ciento», afirma Deanne Marie Lim, gerente sénior de ingeniería de datos en Autodesk, Asia-Pacífico.

Antes del proyecto de transformación, Autodesk ejecutaba su plataforma de datos en un sistema basado en Spark en AWS. El equipo de Autodesk observó el uso del producto cada hora por medio de Amazon Elastic Compute Cloud (Amazon EC2) para programar la limpieza y el procesamiento de los datos sin procesar cada hora. Sin embargo, la plataforma fallaba con frecuencia cuando los volúmenes de datos superaban los 100 GB en una hora determinada, debido a su capacidad limitada de escalado horizontal. Como resultado, el equipo tendría que volver a ejecutar el trabajo manualmente, lo que implicaría costes adicionales y ralentizaría la eficiencia del equipo.

Además, después de limpiar los datos sin procesar, lo que llevó hasta cuatro horas, Autodesk tuvo que realizar la extracción, transformación y carga (ETL) para presentar estos datos en los paneles. Dado que este proceso de limpieza y enriquecimiento produce el conjunto de datos más avanzado que impulsa todos los demás ETL y paneles, cualquier fallo o retraso perjudica la capacidad de la empresa para identificar oportunidades de mejora de productos y otros desarrollos comerciales de manera oportuna.

«Como parte de la Red de socios de AWS (APN), obtuvimos información de primera mano sobre cómo aprovechar las soluciones sin servidor con el objetivo de mejorar nuestra plataforma de datos. AWS proporcionó herramientas y tecnologías valiosas necesarias para abordar nuestros desafíos actuales. En particular, AWS Lambda y Amazon DynamoDB nos ayudaron a resolver los problemas que teníamos con nuestro proceso actual de limpieza y enriquecimiento de datos. En un año, desarrollamos una solución sostenible, escalable y rentable», añade Lim.

AWS ayudó a que ADP pasara de ser un modelo de procesamiento por lotes a un modelo basado en eventos que se ejecuta en AWS Lambda. Esto permite a Autodesk procesar los datos tan pronto como llegan, en lugar de a una hora programada, lo que provocaba retrasos en el análisis. AWS Lambda automatizó las agregaciones de ETL y los datos ahora se procesan casi en tiempo real, en comparación con los ciclos horarios.

Para permitir un rendimiento alto, una latencia baja y un procesamiento casi en tiempo real, Autodesk incorporó Amazon DynamoDB. ADP gestiona miles de solicitudes simultáneas en milisegundos con Amazon DynamoDB. Además, se utilizó Amazon Simple Storage Service (Amazon S3) para crear un lago de datos seguro y alcanzar una alta disponibilidad de los datos.

ADP puede procesar ahora más de seis mil millones de eventos de datos diarios de manera automática, lo que equivale a 12 TB de datos, y los datos están disponibles en dos minutos desde su recepción, frente a las cuatro horas anteriores.

Lim concluye: «Gracias a AWS, superamos nuestros objetivos. Redujimos los costes hasta en un 90 por ciento y mejoramos los análisis para los usuarios empresariales con un procesamiento de datos prácticamente en tiempo real. Ahora podemos realizar mejoras más significativas en la experiencia del usuario. Por ejemplo, mediante el seguimiento en tiempo real de los datos recopilados sobre las actividades anteriores de los usuarios, podemos ofrecerles recomendaciones sobre cómo mejorar la forma en que utilizan nuestro software. Con AWS, ahora podemos ofrecer información valiosa a nuestros clientes».

El éxito de esta implementación impulsó a Autodesk a seguir trabajando con AWS para aplicar modelos basados en eventos para otros conjuntos de datos sobre el uso de productos. De cara al futuro, Autodesk planea desarrollar su plataforma de datos para que sea compatible con el análisis predictivo. Esto permitirá a la empresa ofrecer una experiencia de usuario mejorada mediante el análisis de los patrones de uso comunes y la provisión de recomendaciones en tiempo real para mejorar la experiencia del usuario.