Autodesk crea análisis de macrodatos fiables y rentables con Amazon EMR

Fundada en 1982, Autodesk produce software de diseño, ingeniería y entretenimiento en 3D que utilizan más de 100 millones de clientes en todo el mundo. Su software AutoCAD ayuda a los arquitectos, ingenieros y profesionales de la construcción a crear dibujos digitales precisos. Como empresa basada en datos, Autodesk utiliza análisis e información para ofrecer mejores soluciones y características a sus clientes. Sin embargo, su solución de macrodatos de terceros no pudo seguir el ritmo de su crecimiento.

«Nuestra solución anterior tenía muchos problemas de fiabilidad», afirma Nick Wilson, director sénior de ingeniería de Autodesk. «Los datos son una unidad fundamental del negocio de Autodesk. Necesitábamos un nuevo proveedor que pudiera ofrecer la fiabilidad que necesitábamos y que pudiera escalar con nuestra trayectoria de crecimiento».

Tras evaluar la fiabilidad y el rendimiento de diferentes soluciones, Autodesk decidió migrar a Amazon EMR. «Autodesk es una tienda de AWS y tenemos una gran trayectoria en cuanto al uso de los servicios de AWS», afirma Wilson. «AWS también ofrecía muchas más ofertas de servicios por el coste que estábamos pagando. Podríamos identificar una ruta para migrar cada carga de trabajo de nuestro proveedor externo a Amazon EMR y otros servicios de AWS».

Migrar las cargas de trabajo de macrodatos de Autodesk a Amazon EMR no sería una tarea sencilla. Este esfuerzo implicaría migrar cargas de trabajo de 30 equipos diferentes, cada uno de los cuales utilizaba diferentes lenguajes de codificación y ejecutaba diversos tipos de consultas. Además, todas las cargas de trabajo críticas para la empresa de Autodesk se ejecutaban en la solución de terceros, y la empresa necesitaba evitar interrupciones innecesarias durante el proceso. Para facilitar el complejo proceso de migración, Autodesk participó en el Programa de Aceleración de la Migración de AWS (AWS MAP), que ayuda a acelerar los procesos de modernización y migración a la nube con una metodología basada en los resultados. AWS MAP no solo ayudó a Autodesk en los aspectos técnicos de la migración, sino que el programa proporcionó créditos para compensar algunos de los costes.

«Cuando se migra a un nuevo servicio, la computación no se optimizará hasta que se adquiera algo de experiencia con él», afirma Wilson. «Con los precios de AWS MAP, minimizamos el impacto de la migración en nuestros resultados y realizamos una transición sin problemas».

Autodesk ejecuta Apache Spark, un motor de análisis unificado de código abierto, en Amazon EMR como su motor de cómputo principal. Los clústeres de Spark admiten todos los procesos de procesamiento de datos y las canalizaciones de extracción, carga y transformación. Para gestionar su carga de datos, Autodesk adjunta volúmenes con la tecnología de Amazon Elastic Block Store (Amazon EBS), un servicio de almacenamiento en bloques escalable y de alto rendimiento, a las instancias de Spark. Estos servicios se escalan sin problemas con el objetivo de procesar los datos de Autodesk, que ascienden a 1 PB y crecen cada mes. Autodesk ejecuta Presto, un motor de consultas SQL distribuido y de código abierto, en Amazon EMR con el propósito de potenciar los paneles y ofrecer análisis.

«Presto en Amazon EMR es una parte fundamental del flujo de desarrolladores», afirma Wilson. «Ayuda a nuestro equipo a interactuar con los datos y a aprender de ellos, y proporciona información empresarial general para ayudar a desarrollar nuevos productos».

Al adoptar Amazon EMR, Autodesk mejoró considerablemente la fiabilidad de su servicio de macrodatos. Para las cargas de trabajo que dependen de Apache Spark y Presto, la empresa logró una disponibilidad del 99,8 por ciento y no se experimentaron interrupciones significativas ni tiempos de inactividad del servicio. Autodesk también redujo las horas dedicadas a la solución de problemas en un 25 por ciento.

El equipo de desarrollo valora enormemente esta fiabilidad constante y ahora puede centrar sus recursos en otras áreas de la empresa. «Antes no quería mirar las comunicaciones de la empresa los domingos. Me di cuenta de que los procesos críticos para la empresa no funcionaban porque nuestra solución de terceros tampoco lo hacía», afirma Wilson. «Ahora, nuestras canalizaciones funcionan de manera estable, los clústeres funcionan según lo esperado y cumplimos con nuestros acuerdos de nivel de servicio. En la actualidad, en Amazon EMR se ejecuta un sistema mucho más estable que antes de la migración».

Figura 1. Envío de trabajos y migración