Clienti Amazon FSx per Lustre

Adobe è stata fondata 40 anni fa con la semplice idea di creare prodotti innovativi in grado di cambiare il mondo e offre una tecnologia rivoluzionaria che consente a chiunque di immaginare, creare e dare vita a qualsiasi esperienza digitale ovunque ci si trovi.

Sfida: anziché affidarsi a modelli open source, Adobe ha deciso di addestrare i propri modelli di IA generativa di base su misura per casi d'uso creativi.

Soluzione: Adobe ha creato una via preferenziale per l'IA su AWS per creare una piattaforma di formazione sull'IA e pipeline di dati allo scopo di iterare rapidamente i modelli. Adobe ha realizzato la sua soluzione con istanze P5 e P4d di Amazon Elastic Compute Cloud (Amazon EC2) basate su GPU NVIDIA, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Block Store (Amazon EBS) e Amazon Elastic Fabric Adapter (EFA). Adobe ha anche utilizzato Amazon Simple Storage Service (Amazon S3) come data lake e repository principale per le enormi quantità di dati. Adobe ha utilizzato Amazon FSx per Lustre per l'archiviazione di file ad alte prestazioni, per un rapido accesso ai dati e per garantire che le risorse GPU non siano mai lasciate inattive.

LG AI Research Insieme a esperti di intelligenza artificiale leader a livello mondiale, LG AI Research mira a guidare la prossima era dell'IA. Il suo scopo è realizzare insieme a te un futuro promettente fornendo un ambiente di ricerca ottimale e sfruttando tecnologie di IA all'avanguardia.

La sfida: LG AI Research aveva bisogno di mettere in produzione il suo modello di fondazione, EXAONE, in un anno. EXAONE, che sta per "expert AI for everyone", è un modello multimodale da 300 miliardi di parametri che usa sia immagini che dati di testo.

Soluzione: LG AI Research ha usato Amazon SageMaker per addestrare il suo modello di fondazione su larga scala e Amazon FSx per Lustre per distribuire i dati in istanze in modo da accelerare l'addestramento dei modelli. LG AI Research è riuscita a mettere in produzione con successo il suo modello di fondazione, EXAONE, in un anno. LG AI Research ha implementato correttamente EXAONE in un anno e ha ridotto i costi di circa il 35%, eliminando la necessità di un team di gestione dell'infrastruttura separato.

Paige è il fornitore leader della trasformazione digitale nel campo delle patologie e offre una soluzione completa, basata sul Web e abilitata all'intelligenza artificiale che apporta efficienza e sicurezza alla diagnosi del cancro.

Sfida: le soluzioni on-premise di Paige sono al massimo. L'obiettivo era addestrare modelli di IA e machine learning per far sì che aiutassero nella battaglia contro il cancro. Paige ha scoperto che, maggiore la capacità di elaborazione, più velocemente possono addestrare i modelli e aiutare a risolvere problemi diagnostici.

Soluzione: per eseguire i carichi di lavoro di addestramento ML, Paige ha scelto le istanze P4d di Amazon EC2, alimentate da GPU NVIDIA A100 Tensor Core, che offrono prestazioni elevate per l'addestramento ML e le applicazioni HPC nel cloud. Paige utilizza Amazon FSx per Lustre, un'archiviazione condivisa completamente gestita basata su un popolare file system ad alte prestazioni. L'azienda ha collegato questo servizio ad alcuni dei suoi bucket Amazon S3, aiutando i team di sviluppo a gestire petabyte di dati di input ML senza pre-impostare manualmente i dati su file system ad alte prestazioni. Il risultato della soluzione AWS è che Paige può addestrare una quantità di dati on-premise 10 volte superiore utilizzando l'infrastruttura AWS per il machine learning.  Paige ha inoltre sperimentato flussi di lavoro interni più veloci del 72% con Amazon EC2 e Amazon FSx per Lustre. 

Il Toyota Research Institute sceglie FSx per Lustre al fine di ridurre i tempi di addestramento del machine learning per il riconoscimento degli oggetti.

Il Toyota Research Institute (TRI) raccoglie ed elabora grandi quantità di dati provenienti dai test dei propri veicoli autonomi. Ogni set di dati di addestramento viene inserito in un dispositivo NAS on-premise e trasferito su Amazon Simple Storage Service (Amazon S3) prima dell'elaborazione su un potente cluster di calcolo GPU. Il TRI aveva bisogno di un file system ad alte prestazioni da abbinare alle proprie risorse di calcolo per accelerare l'addestramento dei modelli di ML e ricavare più rapidamente le informazioni per i data scientist.

Shell offre un portafoglio dinamico di opzioni energetiche, dal petrolio al gas e prodotti petrolchimici, all'eolico, al solare e all'idrogeno. Shell è orgogliosa di fornire l'energia di cui i propri clienti hanno bisogno per alimentare le loro vite. 

Sfida: Shell si affida all'HPC per la creazione, il test e la convalida di modelli. Dal 2020 al 2022, l'utilizzo della GPU è stato in media inferiore al 90%, con conseguenti ritardi nei progetti e limitazioni nella sperimentazione di nuovi algoritmi.

Soluzione: Shell aumenta la capacità di elaborazione on-premise passando al cloud con i cluster Amazon EC2 e Amazon FSx per Lustre. Questa soluzione garantisce a Shell la capacità di scalare rapidamente verso l'alto e verso il basso e di acquistare capacità di elaborazione aggiuntiva solo quando necessario. Le GPU Shell ora sono completamente utilizzate per ridurre i costi di elaborazione e accelerare i test dei modelli di machine learning.

Storengy, una filiale del gruppo ENGIE, è uno dei principali fornitori di gas naturale. L'azienda offre alle imprese di tutto il mondo soluzioni per lo stoccaggio del gas, soluzioni geotermiche, produzione di energia senza emissioni di carbonio e tecnologie di stoccaggio.

Per garantire lo stoccaggio corretto dei suoi prodotti, Storengy utilizza simulatori ad alta tecnologia per valutare lo stoccaggio sotterraneo di gas, un processo che richiede un utilizzo esteso dei carichi di lavoro di calcolo ad alte prestazioni (HPC). L'azienda utilizza la tecnologia HPC anche per eseguire lavori di scoperta ed esplorazione del gas naturale.

Smartronix sfrutta FSx per Lustre al fine di offrire prestazioni elevate e affidabili per le proprie implementazioni SAS Grid.

Smartronix fornisce soluzioni cloud, sicurezza informatica, integrazione di sistemi, C5ISR a livello mondiale, analisi dei dati e ingegneria mirata per molte delle principali organizzazioni commerciali e federali del mondo. L'azienda si è affidata a SAS Grid per analizzare e fornire statistiche giornaliere sul COVID a livello statale e ha riscontrato che il proprio file system parallelo autogestito era difficile da amministrare e proteggere.

Netflix è un servizio di streaming che offre un'ampia varietà di premiati programmi TV, film, anime, documentari e altro ancora.

Sfida: Netflix utilizza l'addestramento distribuito su larga scala per i modelli di machine learning multimediali, le anteprima di post-produzione, gli effetti visivi e la generazione di trailer per migliaia di video e milioni di clip. Netflix stava riscontrando lunghe attese a causa della replica tra nodi e un tempo di inattività della GPU pari al 40%.

Soluzione: Netflix ha riprogettato la pipeline di caricamento dei dati e ne ha migliorato l'efficienza pre-elaborando tutte le clip video/audio. Netflix ha anche scelto Amazon UltraClusters (istanze EC2 P4d) per accelerare le prestazioni di elaborazione. Le prestazioni di Amazon FSx per Lustre consentono a Netflix di saturare le GPU e, praticamente, di eliminare i loro tempi di inattività. Netflix ora sperimenta un miglioramento di 3-4 volte utilizzando la pre-elaborazione e FSx per Lustre, riducendo i tempi di addestramento dei modelli da una settimana a 1-2 giorni.

Hyundai Motor Company si è distinta come casa automobilistica riconosciuta a livello mondiale: i veicoli della sua marca vengono esportati in oltre 200 Paesi.

Sfida: Uno degli algoritmi spesso utilizzati nella guida autonoma è la segmentazione semantica, che consiste nell'annotare ogni pixel di un'immagine con una classe di oggetti. Queste classi possono essere, ad esempio, strada, persona, auto, edificio, vegetazione, cielo, ecc. Hyundai ne verifica la precisione e raccoglie immagini aggiuntive per correggere le prestazioni predittive insufficienti in situazioni specifiche. Questo approccio, però, può rivelarsi una sfida, poiché spesso non c'è abbastanza tempo per preparare tutti i nuovi dati lasciando tempo sufficiente per addestrare il modello e rispettare le scadenze programmate.

Soluzione: Hyundai ha scelto Amazon SageMaker per automatizzare l'addestramento dei modelli e la libreria Amazon SageMaker per il parallelismo dei dati, per passare da una singola GPU all'addestramento distribuito. Ha scelto Amazon FSx per Lustre per addestrare i modelli senza attendere le copie dei dati. Inoltre, ha scelto Amazon S3 per l'archiviazione permanente dei dati. Hyundai ha raggiunto un'efficienza di dimensionamento fino al 93% con 8 istanze GPU o 64 GPU in totale. FSx per Lustre ha consentito a Hyundai di eseguire più lavori di addestramento ed esperimenti sugli stessi dati senza tempi di attesa.

Rivian ha come missione quella di fare in modo che il mondo sia sempre avventuroso. Crediamo che esista un modo più responsabile per esplorare il mondo e siamo determinati a realizzare la transizione verso i trasporti sostenibili nel modo migliore possibile.

Per rispettare la pianificazione ingegneristica accelerata e ridurre il bisogno di prototipi fisici, il produttore di veicoli elettrici Rivian fa affidamento su tecniche di modellazione e simulazione avanzate. Grazie a una capacità di calcolo elevata, le simulazioni permettono agli ingegneri di testare nuove idee e di portare rapidamente i loro progetti sul mercato.

Denso sviluppa sensori di immagine per sistemi avanzati di assistenza alla guida (ADAS) che aiutano i conducenti con funzioni come il parcheggio e il cambio di corsia.

Sfida: per sviluppare i modelli ML necessari per il riconoscimento delle immagini ADAS, DENSO aveva creato cluster di GPU nel suo ambiente on-premise. Tuttavia, diversi ingegneri ML condividevano risorse GPU limitate, il che influiva sulla produttività, specialmente durante il periodo intenso prima del rilascio di un nuovo prodotto.

Soluzione: adottando Amazon SageMaker e Amazon FSx per Lustre, Denso è stata in grado di accelerare la creazione di modelli di riconoscimento delle immagini ADAS riducendo i tempi di acquisizione dei dati, di sviluppo del modello, di addestramento e di valutazione.

Joby Aviation utilizza AWS per rivoluzionare i trasporti.

Sfida: gli ingegneri di Joby si affidano al calcolo ad alte prestazioni (HPC) per condurre migliaia di simulazioni di fluidodinamica computazionale (CFD) complesse e ad alta intensità di calcolo che utilizzano centinaia di core CPU ciascuna e il cui completamento può richiedere molte ore.

Soluzione: l'utilizzo di Amazon Elastic Compute Cloud (Amazon EC2) e Amazon FSx per Lustre ha consentito a Joby di ottenere più rapidamente risultati dai carichi di lavoro CFD rispetto a quando utilizzava l'infrastruttura di calcolo ad alte prestazioni on-premise.

T-Mobile risparmia 1,5 milioni di dollari all'anno e raddoppia la velocità dei carichi di lavoro SAS Grid utilizzando Amazon FSx per Lustre.

Sfida: T-Mobile aveva registrato un elevato sovraccarico di gestione e difficoltà nelle prestazioni con il carico di lavoro SAS Grid autogestito.

Soluzione: T-Mobile ha implementato Amazon FSx per Lustre, un file system ad alte prestazioni completamente gestito, per migrare e dimensionare la propria infrastruttura SAS Grid. T-Mobile ha utilizzato l'ottima integrazione di Amazon FSx e S3 per ridurre il sovraccarico di archiviazione e ottimizzare le operazioni.

La produzione della quarta stagione della serie a episodi di Netflix "The Crown" ha affrontato sfide inaspettate, poiché il mondo ha subito l'isolamento per la pandemia da COVID-19 proprio quando il lavoro di post-produzione di VFX doveva iniziare. Adottando un flusso di lavoro basato sul cloud su AWS, tra cui il file server Amazon FSx Lustre per migliorare la velocità di trasmissione effettiva, il team VFX interno di Netflix, composto da 10 artisti, è stato in grado di completare senza problemi più di 600 riprese VFX per i 10 episodi della stagione in soli 8 mesi, il tutto lavorando da remoto. 

Maxar utilizza AWS per fornire previsioni il 58% più velocemente rispetto al suo supercomputer meteorologico.

Sfida: Maxar Technologies, un partner fidato e innovatore nell'ambito dell'Earth Intelligence e delle infrastrutture spaziali, aveva bisogno di fornire previsioni meteorologiche più velocemente rispetto al suo supercomputer on-premise.

Soluzione: Maxar ha collaborato con AWS per creare una soluzione HPC con tecnologie chiave tra cui Amazon Elastic Compute Cloud (Amazon EC2) per risorse di calcolo sicure e altamente affidabili, Amazon FSx per Lustre per accelerare la velocità di trasmissione effettiva di lettura/scrittura dell'applicazione e AWS ParallelCluster per creare rapidamente ambienti di calcolo HPC su AWS.

INEOS TEAM UK accelera la progettazione di imbarcazioni per l'America's Cup utilizzando AWS.

Sfida: costituita nel 2018, INEOS TEAM UK mira a portare l'America's Cup, la più antica competizione sportiva internazionale al mondo, in Gran Bretagna. L'America's Cup limita i test in acqua a non più di 150 giorni prima dell'evento, quindi le simulazioni di fluidodinamica computazionale (CFD) ad alte prestazioni di monoscafi e foil diventano fondamentali per un progetto vincente.  

Soluzione: utilizzando AWS, INEOS TEAM UK può elaborare migliaia di simulazioni di progettazione della barca per l'America's Cup in una settimana rispetto a più di un mese utilizzando un ambiente on-premise. INEOS TEAM UK ha partecipato alla 36° edizione della America's Cup nel 2021. Il team sta utilizzando un ambiente HPC in esecuzione su istanze spot di Amazon EC2.  Per garantire prestazioni veloci del disco per le migliaia di simulazioni completate ogni settimana, il team ha anche utilizzato Amazon FSx per Lustre al fine di fornire un file system veloce, scalabile e sicuro ad alte prestazioni basato su Amazon Simple Storage Service (S3).

Hive VFX riduce i costi iniziali di studio e funziona come uno studio VFX nel cloud su AWS.

Sfida: Hive aveva bisogno di un'infrastruttura ad alte prestazioni per lanciare un piccolo studio indipendente nel cloud al fine di consentire ad artisti di tutto il mondo di creare contenuti di qualità da remoto.

Soluzione: Amazon FSx per Lustre completamente gestito, integrato con Amazon S3, ha fornito un accesso rapido alle risorse di calcolo AWS senza grandi investimenti iniziali né la necessità da parte del team IT interno di competenze pregresse. La perfetta sincronizzazione dei dati e delle autorizzazioni dei file tra FSx Lustre e S3 ha consentito a Hive VFX di archiviare un grande volume di immagini e condividere i dati dei progetti in tutti i continenti.

Lyell accelera la ricerca sulla terapia cellulare contro il cancro con Amazon FSx per Lustre.

Sfida: Lyell fornisce terapie cellulari per la cura del cancro che richiedono l'esecuzione di una progettazione di tipo computazionale delle proteine su larga scala. Questi carichi di lavoro venivano tradizionalmente eseguiti on-premise, ma l'azienda aveva bisogno di una soluzione più scalabile ed economica per poter finalmente eseguire più di un solo esperimento al mese.

Soluzione: dopo la migrazione del file system a FSx per Lustre, i data scientist possono avviare e arrestare migliaia di cluster HPC costituiti da istanze EC2 e file system Amazon FSx, eseguendo così più rapidamente esperimenti con calcolo intensivo e pagando solo per il calcolo e l'archiviazione utilizzati per la durata del carico di lavoro.

BlackThorn Therapeutics accelera i tempi di acquisizione delle informazioni con FSx per Lustre.

Sfida: l'elaborazione dei dati dell'imaging a risonanza magnetica (MRI) con file system cloud fai-da-te standard richiedeva molto tempo e molte risorse. BlackThorn aveva bisogno di una soluzione di archiviazione di file condivisa e ad alta intensità di calcolo per semplificare i flussi di lavoro relativi a data science e machine learning.

Soluzione: Amazon FSx per Lustre si integra con Amazon S3 e Amazon SageMaker e fornisce un'elaborazione rapida dei set di dati di addestramento del ML e un accesso senza interruzioni al calcolo con istanze Amazon EC2.

Qubole migliora la durabilità dei dati riducendo al contempo i costi con Amazon FSx per Lustre.

Sfida: Qubole era alla ricerca di una soluzione di archiviazione ad alte prestazioni per elaborare carichi di lavoro di analisi e IA/ML per i propri clienti. Aveva bisogno di archiviare ed elaborare facilmente i dati intermedi contenuti nella serie di istanze spot EC2.

Soluzione: Qubole ha utilizzato Amazon FSx per Lustre per archiviare ed elaborare dati intermedi attraverso il suo file system parallelo ad alta velocità.