Autodesk riduce del 90% il costo di elaborazione dei big data grazie ad AWS

Autodesk è un provider di software leader nella progettazione 3D per i settori dell'architettura, dell'ingegneria, della produzione, dei media e dell'intrattenimento. Oltre 100 milioni di persone in tutto il mondo utilizzano i prodotti Autodesk, che includono i software di progettazione assistita da computer e di Building Information Modelling.

Per stare al passo con una base di utenti in espansione, Autodesk ha intrapreso un viaggio con Amazon Web Services (AWS) per rinnovare la piattaforma dati di Autodesk (Autodesk Data Platform, ADP), un data warehouse che genera approfondimenti e analisi dettagliate sull'utilizzo dei prodotti. Autodesk si affida alle metriche derivate dall'ADP, come utenti attivi, adozione da parte degli utenti, versioni dei prodotti e altro ancora, per migliorare le prestazioni dei prodotti e identificare nuove opportunità per servire meglio i propri clienti.

Ad agosto 2019, l'ADP riceveva dati a una velocità di circa 150 GB all'ora, ovvero 50 GB in più rispetto a quanto poteva gestire. Autodesk prevedeva un rapido aumento del volume di dati grazie a due fattori chiave: stava aggiungendo più abbonati al software e ogni nuova versione dei suoi prodotti desktop generava più dati sull'utilizzo dei prodotti.

"Avevamo previsto che un enorme volume di dati sarebbe arrivato sull'ADP ed era necessario apportare dei miglioramenti. Avevamo la necessità di potenziare il nostro sistema esistente per elaborare un aumento di dati in entrata fino a 10 volte superiore a 150 GB, il volume di dati più elevato ricevuto dalla piattaforma. Il nostro obiettivo era anche quello di ottenere un miglioramento della velocità di elaborazione e disponibilità dei dati fino a un'ora e una riduzione dei costi di elaborazione del 70 percento", afferma Deanne Marie Lim, senior data engineering manager presso Autodesk, Asia Pacifico.

Prima del progetto di trasformazione, Autodesk eseguiva la sua piattaforma dati su un sistema basato su Spark su AWS. Il team di Autodesk ha osservato l'utilizzo del prodotto su base oraria, utilizzando Amazon Elastic Compute Cloud (Amazon EC2) per pianificare la pulizia e l'elaborazione dei dati grezzi su base oraria. Tuttavia, la piattaforma si bloccava spesso quando i volumi di dati superavano i 100 GB in una determinata ora, a causa della sua capacità limitata di scalabilità orizzontale. Di conseguenza, il team era costretto a rieseguire manualmente il lavoro, aggiungendo costi e rallentando l'efficienza del team.

Inoltre, dopo la pulizia dei dati non elaborati, che richiedeva fino a quattro ore, Autodesk doveva eseguirne l'estrazione, la trasformazione e il caricamento (ETL) per presentarli nei pannelli di controllo. Poiché questo processo di pulizia e arricchimento produce il set di dati più a monte su cui si basano tutti gli altri ETL e pannelli di controllo, qualsiasi errore o ritardo compromette la capacità dell'azienda di identificare tempestivamente le opportunità di miglioramento dei prodotti e di altri sviluppi commerciali.

"Come parte della Rete dei partner AWS (APN), abbiamo ricevuto informazioni di prima mano su come sfruttare le soluzioni serverless per migliorare la nostra piattaforma dati. AWS ha fornito strumenti e tecnologie preziosi necessari per affrontare le sfide attuali. In particolare, AWS Lambda e Amazon DynamoDB ci hanno aiutato a risolvere i problemi riscontrati con il nostro attuale processo di pulizia e arricchimento dei dati. Abbiamo sviluppato una soluzione sostenibile, scalabile ed economica nel giro di un anno", aggiunge Lim.

AWS ha contribuito a spostare l'ADP da un modello di elaborazione in batch a un modello basato su eventi in esecuzione su AWS Lambda. Ciò consente ad Autodesk di elaborare i dati non appena arrivano, e non a un orario pianificato, che comportava ritardi nell'analisi. AWS Lambda ha automatizzato le aggregazioni ETL e ora i dati vengono elaborati quasi in tempo reale e non a cicli orari.

Per consentire un'elevata velocità di trasmissione effettiva, una bassa latenza e un'elaborazione quasi in tempo reale, Autodesk ha incorporato Amazon DynamoDB. Con Amazon DynamoDB, ADP gestisce migliaia di richieste simultanee nel giro di millisecondi. Inoltre, è stato utilizzato Amazon Simple Storage Service (Amazon S3) per creare un data lake sicuro e ottenere un'elevata disponibilità dei dati.

L'ADP è ora in grado di elaborare automaticamente più di sei miliardi di eventi di dati ogni giorno, pari a 12 TB di dati, che sono disponibili entro due minuti dalla loro ricezione, rispetto alle quattro ore necessarie in precedenza.

Lim conclude: "Grazie ad AWS abbiamo superato i nostri obiettivi. Abbiamo ridotto i costi fino al 90% e migliorato l'analisi per gli utenti aziendali con un'elaborazione dei dati quasi in tempo reale. Ora possiamo apportare miglioramenti più significativi all'esperienza utente. Ad esempio, monitorando in tempo reale i dati raccolti sulle attività passate degli utenti, possiamo fornire agli utenti finali consigli su come migliorare il modo in cui utilizzano il nostro software. Adesso, con AWS possiamo fornire approfondimenti preziosi ai nostri clienti".

Il successo di questa implementazione ha spinto Autodesk a continuare la collaborazione con AWS per applicare la modellazione basata sugli eventi per altri set di dati sull'utilizzo dei prodotti. Guardando al futuro, Autodesk prevede di evolvere la propria piattaforma di dati per supportare l'analisi predittiva. Ciò consentirà all'azienda di offrire un'esperienza utente migliorata analizzando i modelli di utilizzo comuni e fornendo consigli in tempo reale per migliorare il percorso dell'utente.