Autodesk réduit le coût du traitement des big data jusqu'à 90 % grâce à AWS

Autodesk est l'un des principaux fournisseurs de logiciels de conception 3D pour les secteurs de l'architecture, de l'ingénierie, de la fabrication, des médias et du divertissement. Plus de 100 millions de personnes dans le monde utilisent les produits Autodesk, notamment les logiciels de conception assistée par ordinateur et de modélisation des informations du bâtiment.

Pour faire face à l'augmentation de sa base d'utilisateurs, Autodesk a entamé une collaboration avec Amazon Web Services (AWS) pour réorganiser l'Autodesk Data Platform (ADP), un entrepôt des données qui génère des informations et de l'analytique détaillées sur l'utilisation des produits. Autodesk s'appuie sur les métriques provenant de l'ADP, comme les utilisateurs actifs, l'adoption par les utilisateurs, les versions de produits, etc. pour améliorer les performances des produits et identifier de nouvelles opportunités afin de proposer de meilleurs services à ses clients.

En août 2019, l'ADP recevait des données à un débit d'environ 150 Go par heure, soit 50 Go de plus que sa capacité de gestion. Autodesk prévoyait une augmentation rapide du volume de données en raison de deux principaux facteurs : Autodesk ajoutait de nouveaux abonnés aux logiciels et chaque nouvelle version de ses produits de bureau générait davantage de données d'utilisation des produits.

« Nous avions prévu qu'un énorme volume de données arriverait sur l'ADP et nous avions besoin d'améliorations. Nous avions besoin d'améliorer notre système existant pour traiter une augmentation de données entrante jusqu'à 10 fois supérieure à 150 Go, soit le volume de données le plus élevé que la plateforme ait reçu. Notre objectif était également d'améliorer la vitesse de traitement des données et leur disponibilité en une heure, ainsi que de réduire les coûts de traitement de 70 % » déclare Deanne Marie Lim, senior data engineering manager chez Autodesk, Asie-Pacifique.

Avant le projet de transformation, Autodesk exécutait sa plateforme de données sur un système basé sur Spark sur AWS. L'équipe Autodesk a observé l'utilisation du produit sur une base horaire, en utilisant Amazon Elastic Compute Cloud (Amazon EC2) pour planifier le nettoyage et le traitement des données brutes toutes les heures. Cependant, la plateforme tombait fréquemment en panne lorsque les volumes de données dépassaient 100 Go en une heure donnée, en raison de sa capacité limitée de mise à l'échelle horizontale. Par conséquent, l'équipe devait réexécuter le travail manuellement, ce qui entraînait des coûts supplémentaires tout en ralentissant l'efficacité de l'équipe.

En outre, après avoir nettoyé les données brutes, ce qui a pris jusqu'à quatre heures, Autodesk a dû effectuer des opérations d'extraction, de transformation et de chargement (ETL) pour présenter ces données dans des tableaux de bord. Étant donné que ce processus de nettoyage et d'enrichissement produit le jeu de données le plus en amont qui alimente toutes les autres opérations d'ETL et tous les autres tableaux de bord, tout échec ou retard nuit à la capacité de l'entreprise à identifier les opportunités d'amélioration des produits et d'autres développements métier en temps voulu.

« Dans le cadre du réseau de partenaires AWS (APN), nous avons eu des informations de première main sur la manière de tirer parti des solutions sans serveur en vue d'améliorer notre plateforme de données. AWS a fourni de précieux outils et technologies nécessaires pour relever nos défis actuels. AWS Lambda et Amazon DynamoDB nous ont notamment aidés à résoudre les problèmes liés à notre processus actuel de nettoyage et d'enrichissement des données. Nous avons développé une solution durable, évolutive et rentable en un an », ajoute Mme Lim.

AWS a contribué à faire passer l'ADP d'un modèle de traitement par lots à un modèle basé sur les événements s'exécutant sur AWS Lambda. Cela permet à Autodesk de traiter les données dès leur arrivée, par opposition à une heure planifiée, ce qui a entraîné des retards au niveau de l'analytique. AWS Lambda a automatisé les agrégations ETL, et les données sont désormais traitées quasiment en temps réel, et non plus selon des cycles horaires.

Pour permettre un débit élevé, une faible latence et un traitement quasiment en temps réel, Autodesk a intégré Amazon DynamoDB. Avec Amazon DynamoDB, l'ADP gère des milliers de demandes simultanées en l'espace de quelques millisecondes. En outre, Amazon Simple Storage Service (Amazon S3) a été utilisé pour créer un lac de données sécurisé et atteindre une haute disponibilité des données.

L'ADP peut désormais traiter automatiquement chaque jour plus de six milliards d'événements de données, soit l'équivalent de 12 To de données, et les données sont disponibles dans les deux minutes suivant leur réception, contre quatre heures auparavant.

Mme Lim conclut : « Grâce à AWS, nous avons dépassé nos objectifs. En effet, nous avons réduit les coûts jusqu'à 90 % et amélioré l'analytique pour les utilisateurs professionnels grâce au traitement des données quasiment en temps réel. Nous pouvons désormais apporter des améliorations plus significatives à l'expérience utilisateur. Par exemple, en suivant les données en temps réel collectées sur les activités passées des utilisateurs, nous pouvons fournir aux utilisateurs finaux des recommandations sur la manière d'améliorer leur utilisation de notre logiciel. Grâce à AWS, nous pouvons désormais fournir des informations utiles à nos clients. »

Le succès de cette mise en œuvre a incité Autodesk à poursuivre sa collaboration avec AWS pour appliquer la modélisation basée sur les événements à d'autres jeux de données d'utilisation des produits. À l'avenir, Autodesk prévoit de faire évoluer sa plateforme de données pour prendre en charge l'analytique prédictive. Cela permettra à l'entreprise de proposer une expérience utilisateur améliorée en analysant les modèles d'utilisation courants et en fournissant des recommandations en temps réel pour améliorer le parcours utilisateur.