Autodesk crea analisi dei big data affidabili e convenienti utilizzando Amazon EMR

Fondata nel 1982, Autodesk produce software di progettazione 3D, ingegneria e intrattenimento utilizzati da oltre 100 milioni di clienti in tutto il mondo. Il suo software AutoCAD aiuta architetti, ingegneri e professionisti dell’edilizia a creare disegni digitali precisi. Poiché si tratta di un’azienda basata sui dati, Autodesk utilizza analisi e approfondimenti per offrire migliori soluzioni e funzionalità ai propri clienti. Tuttavia, la sua soluzione di terze parti per i big data non è riuscita a tenere il passo con la sua crescita.

"La nostra soluzione precedente presentava molti problemi di affidabilità", afferma Nick Wilson, senior engineering manager di Autodesk. "I dati sono una parte fondamentale delle attività di Autodesk. Avevamo bisogno di un nuovo fornitore in grado di offrire l'affidabilità di cui avevamo bisogno e che potesse dimensionare seguendo la nostra traiettoria di crescita."

Dopo aver valutato diverse soluzioni in termini di affidabilità e prestazioni, Autodesk ha scelto di migrare ad Amazon EMR. "Autodesk è un negozio AWS e abbiamo una lunga storia di utilizzo dei servizi AWS", afferma Wilson. "AWS ha inoltre fornito molte altre offerte di servizi al costo che stavamo pagando. Potremmo identificare un percorso per migrare ogni carico di lavoro dal nostro provider di terze parti ad Amazon EMR e ad altri servizi AWS."

La migrazione dei carichi di lavoro di big data di Autodesk su Amazon EMR non era un'operazione semplice. Questo sforzo comportava la migrazione dei carichi di lavoro di 30 team diversi, ognuno dei quali utilizzava linguaggi di codifica diversi ed eseguiva diversi tipi di query. Inoltre, tutti i carichi di lavoro aziendali critici di Autodesk funzionavano sulla soluzione di terze parti e l'azienda doveva evitare interruzioni non necessarie durante il processo. Per facilitare la complessa migrazione, Autodesk ha partecipato al programma di accelerazione della migrazione AWS (AWS MAP), che aiuta ad accelerare i percorsi di migrazione al cloud e modernizzazione con una metodologia basata sui risultati. AWS MAP non solo ha supportato Autodesk negli aspetti tecnici della migrazione, ma il programma ha fornito crediti per compensare alcuni dei costi.

"Ogni volta che si migra a un nuovo servizio, l'elaborazione non sarà ottimizzata finché non si acquisisce una certa esperienza", afferma Wilson. "Con i prezzi di AWS MAP, abbiamo ridotto al minimo l'impatto della migrazione sui nostri profitti e abbiamo effettuato una transizione senza interruzioni."

Autodesk esegue Apache Spark, un motore di analisi unificato open source, su Amazon EMR come motore di elaborazione principale. I cluster Spark supportano tutte le pipeline di elaborazione ed estrazione, caricamento e trasformazione dei dati. Per gestire il carico di dati, Autodesk collega alle istanze Spark i volumi basati su Amazon Elastic Block Store (Amazon EBS), un servizio di archiviazione a blocchi scalabile e ad alte prestazioni. Questi servizi sono perfettamente scalabili per elaborare i dati di Autodesk, che ammontano a 1 PB e crescono ogni mese. Per potenziare le dashboard e fornire funzionalità di analisi, Autodesk esegue Presto, un motore di query SQL distribuito e open source, su Amazon EMR.

"Presto su Amazon EMR è una parte fondamentale del flusso di sviluppo", afferma Wilson. "Aiuta il nostro team a interagire e a imparare dai dati e fornisce approfondimenti aziendali generali per aiutare a sviluppare nuovi prodotti."

Adottando Amazon EMR, Autodesk ha notevolmente migliorato l'affidabilità del suo servizio di big data. Per i carichi di lavoro basati su Apache Spark e Presto, l'azienda ha raggiunto il 99,8% di disponibilità e non ha registrato interruzioni significative o tempi di inattività del servizio. Autodesk ha inoltre ridotto del 25 percento le ore dedicate alla risoluzione dei problemi.

Il team di sviluppo apprezza molto questa costante affidabilità e ora può concentrare le proprie risorse su altre aree dell'azienda. "Prima non volevo guardare le comunicazioni aziendali la domenica. Avrei notato che i processi aziendali critici erano stati interrotti perché la nostra soluzione di terze parti non funzionava", afferma Wilson. "Ora le nostre pipeline funzionano in modo stabile, i cluster funzionano come previsto e stiamo rispettando i nostri accordi sui livelli di servizio. Oggi disponiamo di un sistema molto più stabile in esecuzione su Amazon EMR rispetto a prima della migrazione."

Figura 1. Invio lavori e migrazione