Istanze P4 di Amazon EC2
Massime prestazioni per l’addestramento del ML e le applicazioni HPC nel cloud
Le istanze P4d di Amazon Elastic Compute Cloud (Amazon EC2) offrono le massime prestazioni per applicazioni di addestramento di machine learning (ML) e calcolo ad alte prestazioni (HPC) nel cloud. Le istanze P4d sono alimentate dalle GPU NVIDIA A100 Tensor Core e offrono una velocità di trasmissione effettiva elevata e una rete a bassa latenza leader nel settore. Queste istanze supportano una rete di istanze a 400 Gb/s. Le istanze P4d offrono un risparmio fino al 60% sui costi per l'addestramento dei modelli ML, inclusa una media di prestazioni 2,5 volte migliori per i modelli di deep learning rispetto alle istanze P3 e P3dn della generazione precedente.
Le istanze P4d vengono implementate in cluster iperscalabili denominati Amazon EC2 UltraCluster che comprendono le prestazioni di elaborazione, rete e archiviazione più elevate nel cloud. Ciascun EC2 UltraCluster è uno dei supercomputer più potenti al mondo, che consente ai clienti di eseguire l’addestramento di ML multi-nodo più complessa e carichi di lavoro HPC distribuiti. Puoi facilmente dimensionare da poche a migliaia di GPU NVIDIA A100 negli EC2 UltraCluster in base alle loro esigenze di progetto ML o HPC.
Ricercatori, data scientist e sviluppatori possono utilizzare le istanze P4d per addestrare modelli ML per casi d'uso come l'elaborazione del linguaggio naturale, il rilevamento e la classificazione di oggetti e i motori di raccomandazione. Possono anche utilizzarlo per eseguire applicazioni HPC come scoperte farmaceutiche, analisi sismiche e modellazione finanziaria. A differenza dei sistemi on-premise, è possibile accedere a capacità di elaborazione e archiviazione virtualmente illimitate, dimensionare la propria infrastruttura in base alle esigenze aziendali e avviare un processo di formazione ML multi-nodo o un'applicazione HPC distribuita strettamente accoppiata in pochi minuti, senza costi di installazione o manutenzione.
Hai domande o hai bisogno di aiuto con EC2 UltraClusters?
Riserva subito le istanze P4d per un uso futuro
Con i blocchi di capacità di Amazon EC2 per il ML, puoi prenotare facilmente le istanze P4d con un anticipo fino a otto settimane. Puoi prenotare le istanze P4d per 1-14 giorni e in cluster di dimensioni da una a 64 istanze (512 GPU), offrendoti la flessibilità necessaria per eseguire un'ampia gamma di carichi di lavoro.
Addestramento ML e HPC su larga scala con EC2 P4d UltraClusters
Gli EC2 UltraClusters di istanze P4d combinano HPC, rete e archiviazione in uno dei supercomputer più potenti al mondo. Ogni EC2 UltraCluster di istanze P4d comprende più di 4.000 delle più recenti GPU NVIDIA A100, infrastruttura di rete non bloccante su scala Petabit e archiviazione a bassa latenza e velocità di trasmissione effettiva elevata con Amazon FSx per Lustre. Gli sviluppatori ML, ricercatori o data scientist possono avviare le istanze P4d in EC2 UltraClusters per ottenere l'accesso a prestazioni di livello supercomputer con un modello di utilizzo con pagamento a consumo per eseguire l’addestramento ML multi-nodo e i carichi di lavoro HPC più complessi.
Per domande o assistenza con EC2 UltraClusters, richiedi informazioni.
Disponibile solo in alcune regioni AWS. Per informazioni su quali Regioni sono supportate e ulteriori informazioni su EC2 UltraClusters contattaci.
Vantaggi
Riduzione del tempo di addestramento ML ridotto da giorni a minuti
Con le GPU NVIDIA A100 Tensor Core di ultima generazione, ogni istanza P4d offre prestazioni di deep learning in media 2,5 volte migliori rispetto alle istanze P3 della generazione precedente. Gli UltraCluster EC2 di istanze P4d consentono agli sviluppatori, ai data scientist e ai ricercatori di tutti i giorni di eseguire i loro carichi di lavoro ML e HPC più complessi, consentendo l'accesso a prestazioni di classe supercomputing senza costi anticipati o impegni a lungo termine. Il tempo di addestramento ridotto con le istanze P4d aumenta la produttività, consentendo agli sviluppatori di concentrarsi sulla loro missione principale per lo sviluppo di intelligenza ML nelle applicazioni aziendali.
Esegui l’addestramento ML multi-nodo più complesso con un'elevata efficienza
Gli sviluppatori possono scalare senza problemi fino a migliaia di GPU con un EC2 UltraCluster di istanze P4d. Le reti ad alta velocità effettiva e bassa latenza con supporto per reti di istanze a 400 Gbps, Elastic Fabric Adapter (EFA) e tecnologia GPUDirect RDMA, aiuta ad addestrare rapidamente i modelli ML utilizzando tecniche di scalabilità orizzontale/distribuita. EFA utilizza la NVIDIA Collective Communications Library (NCCL) per scalare a migliaia di GPU e la tecnologia GPUDirect RDMA consente la comunicazione GPU a GPU a bassa latenza tra le istanze P4d.
Riduzione dei costi di infrastruttura per l’addestramento ML e HPC
Le istanze P4d offrono fino al 60% in meno di costi per addestrare i modelli ML rispetto alle istanze P3. Inoltre, le istanze P4d possono essere acquistate come istanze Spot. Le istanze Spot traggono vantaggio dalla capacità inutilizzata delle istanze EC2 e possono ridurre notevolmente i costi di EC2 con uno sconto fino al 90% rispetto ai prezzi on demand. Con il minor costo dell’addestramento ML con le istanze P4d, i budget possono essere riallocati per creare più intelligence ML nelle applicazioni aziendali.
Servizi AWS scalabili e facili da utilizzare
AWS Deep Learning AMI (DLAMI) e i container di deep learning di Amazon semplificano l'implementazione di ambienti di deep learning P4d in pochi minuti poiché contengono le librerie e gli strumenti del framework di deep learning richiesti. Puoi anche aggiungere facilmente le tue librerie e strumenti a queste immagini. Le istanze P4d supportano i framework ML più diffusi come TensorFlow, PyTorch e MXNet. Inoltre, le istanze P4d sono supportate dai principali servizi AWS per il machine learning, la gestione e l'orchestrazione come Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), Batch AWS e AWS ParallelCluster.
Funzionalità
Basato su GPU NVIDIA A100 Tensor Core
Le GPU NVIDIA A100 Tensor Core offrono un'accelerazione senza precedenti su larga scala per il machine learning e HPC. I Tensor Core di terza generazione di NVIDIA A100 accelerano ogni carico di lavoro di precisione, velocizzando il time to insight e il time to market. Ogni GPU A100 offre oltre 2,5 volte le prestazioni di calcolo rispetto alla precedente generazione di GPU V100 e viene fornita con 40 GB HBM2 (nelle istanze P4d) o 80 GB HBM2e (nelle istanze P4de) di memoria GPU ad alte prestazioni. Una maggiore memoria GPU avvantaggia in particolare quei carichi di lavoro che si addestrano su grandi set di dati di dati ad alta risoluzione. Le GPU NVIDIA A100 utilizzano la velocità di trasmissione effettiva di interconnessione GPU NVSwitch in modo che ogni GPU possa comunicare ogni altra GPU alla stessa velocità di trasmissione effettiva bidirezionale a 600 GB/s e con latenza a singolo hop.
Rete ad alte prestazioni
Le istanze P4d forniscono una rete a 400 Gbps per aiutare i clienti a impiegare meglio la scalabilità orizzontale per i loro carichi di lavoro distribuiti come l’addestramento multi-nodo in modo più efficiente con reti a velocità di trasmissione effettiva elevata tra istanze P4d e tra un'istanza P4d e servizi di archiviazione come Amazon Simple Storage Service (Amazon S3) e FSx per Lustre. EFA è un'interfaccia di rete personalizzata progettata da AWS per aiutare a scalare le applicazioni ML e HPC su migliaia di GPU. Per ridurre ulteriormente la latenza, EFA è accoppiato con NVIDIA GPUDirect RDMA per consentire la comunicazione tra GPU a bassa latenza tra i server con bypass del sistema operativo.
Archiviazione ad alta velocità di trasmissione effettiva e bassa latenza
Accedi a velocità di trasmissione effettiva elevata e a bassa latenza su scala petabyte con FSx per Lustre o a un’archiviazione conveniente e virtualmente illimitata con Amazon S3 a velocità di 400 Gb/s. Per i carichi di lavoro che richiedono un accesso rapido a set di dati di grandi dimensioni, ogni istanza P4d include anche un’archiviazione SSD basata su NVMe da 8 TB con velocità trasmissione effettiva di lettura di 16 GB/s.
Basato su AWS Nitro System
Le istanze P4d sono basate su AWS Nitro System, che è una ricca raccolta di elementi costitutivi che consente di scaricare molte delle tradizionali funzioni di virtualizzazione su hardware e software dedicati per offrire elevate prestazioni, alta disponibilità e alta sicurezza riducendo al contempo il sovraccarico della virtualizzazione.
Testimonianze dei clienti
Il Toyota Research Institute (TRI), fondato nel 2015, sta lavorando per sviluppare la guida automatizzata, la robotica e altre tecnologie di amplificazione umana per Toyota.
"In TRI, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi. "Le istanze P3 della generazione precedente ci hanno aiutato a ridurre il tempo necessario per addestrare i modelli di ML da giorni a ore e non vediamo l'ora di utilizzare le istanze P4d, poiché la memoria GPU aggiuntiva e i formati float più efficienti consentiranno al nostro team di machine learning di addestrare con più modelli complessi a una velocità ancora maggiore".
Mike Garrison, Technical Lead, Infrastructure Engineering, TRI
"In TRI-AD, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi ed esplorare con l'obiettivo di ridurre gli infortuni e le vittime dei veicoli utilizzando la guida adattiva e la smart city. Grazie all'utilizzo delle istanze P4d di Amazon EC2, siamo riusciti a ridurre il tempo di addestramento per il riconoscimento degli oggetti del 40% rispetto alle istanze GPU della generazione precedente senza alcuna modifica ai codici esistenti".
Junya Inada, Director of Automated Driving (Recognition), TRI-AD
"Grazie all'utilizzo delle istanze P4d di Amazon EC2, siamo stati in grado di ridurre istantaneamente i nostri costi di addestramento rispetto alle istanze GPU della generazione precedente, consentendoci di aumentare il numero di team che lavorano sull’addestramento del modello. I miglioramenti della rete in P4d ci hanno permesso di scalare in modo efficiente a dozzine di istanze, il che ci ha dato una notevole agilità per ottimizzare, riqualificare e distribuire rapidamente modelli in auto di prova o ambienti di simulazione per ulteriori test".
Jack Yan, Senior Director of Infrastructure Engineering, TRI-AD
GE Healthcare è un leader mondiale nell'innovazione di tecnologie mediche e soluzioni digitali GE Healthcare consente ai medici di prendere decisioni più rapide e informate attraverso dispositivi intelligenti, analisi dei dati, applicazioni e servizi, supportati dalla sua piattaforma di intelligence Edison.
"In GE Healthcare, forniamo ai medici strumenti che li aiutano ad aggregare i dati, applicare l'intelligenza artificiale e l'analisi a tali dati e scoprire approfondimenti che migliorano i risultati dei pazienti, guidano l'efficienza ed eliminano gli errori. I nostri dispositivi di imaging medico generano enormi quantità di dati che devono essere elaborati dai nostri data scientist. Con i precedenti cluster GPU, ci sarebbero voluti giorni per addestrare modelli AI complessi, come i GAN progressivi, per le simulazioni e visualizzare i risultati. L'utilizzo delle nuove istanze P4d ha ridotto i tempi di elaborazione da giorni a ore. Abbiamo riscontrato una velocità da due a tre volte maggiore sui modelli di addestramento con varie dimensioni dell'immagine, ottenendo prestazioni migliori con una maggiore dimensione del lotto e una maggiore produttività con un ciclo di sviluppo del modello più rapido".
Karley Yoder, VP & GM, Artificial Intelligence, GM Healthcare
.1423e4372be1d9da0d8bc14e12566a8c5f996091.png)
HEAVY.AI è un pioniere nel settore dell'analisi accelerata. La piattaforma HEAVY.AI viene utilizzata nel mondo degli affari e della pubblica amministrazione per trovare approfondimenti nei dati oltre i limiti degli strumenti di analisi tradizionali.
"In HEAVY.AI stiamo lavorando per costruire un futuro in cui data science e analisi dei dati convergono per abbattere e fondere i silo di dati. I clienti stanno sfruttando le loro enormi quantità di dati che possono includere posizione e ora per costruire un quadro completo non solo di ciò che sta accadendo, ma anche di quando e dove accade, attraverso la visualizzazione granulare dei dati spazio-temporali. La nostra tecnologia consente di vedere sia la foresta che gli alberi. Attraverso l'utilizzo delle istanze Amazon EC2 P4d, siamo stati in grado di ridurre significativamente i costi di implementazione della nostra piattaforma rispetto alle istanze GPU della generazione precedente, quindi di dimensionare in modo conveniente enormi set di dati. I miglioramenti della rete su A100 hanno aumentato le nostre efficienze nel modo in cui ridimensioniamo miliardi di righe di dati e hanno permesso ai nostri clienti di raccogliere informazioni ancora più velocemente".
Ray Falcione, VP of US Public Sector, HEAVY.AI
Zenotech Ltd sta ridefinendo l'ingegneria online attraverso l'uso di HPC Clouds offrendo modelli di licenza on demand insieme a vantaggi prestazionali estremi sfruttando le GPU.
"In Zenotech stiamo sviluppando gli strumenti per consentire ai progettisti di creare prodotti più efficienti e rispettosi dell'ambiente. Lavoriamo in tutti i settori e i nostri strumenti forniscono maggiori informazioni sulle prestazioni del prodotto attraverso l'uso di simulazioni su larga scala. "L'utilizzo delle istanze AWS P4d ci consente di eseguire le nostre simulazioni 3,5 volte più velocemente rispetto alla precedente generazione di GPU. Questa accelerazione riduce significativamente i nostri tempi di risoluzione, consentendo ai nostri clienti di immettere i progetti sul mercato più rapidamente o di eseguire simulazioni con una fedeltà più elevata rispetto a quanto fosse possibile in precedenza".
Jamil Appa, Director and Cofounder, Zenotech
Aon è un'azienda leader a livello mondiale di servizi professionali che fornisce un'ampia gamma di soluzioni per rischi, pensioni e salute. Aon PathWise è una soluzione di gestione del rischio HPC basata su GPU e scalabile che assicuratori e riassicuratori, banche e fondi pensione possono utilizzare per affrontare le sfide chiave di oggi come i test delle strategie di copertura, le previsioni normative ed economiche e il budget.
"In PathWise Solutions Group LLC, il nostro prodotto consente alle compagnie assicurative, ai riassicuratori e ai fondi pensione di accedere alla tecnologia di prossima generazione per risolvere rapidamente le sfide assicurative chiave di oggi come il machine learning, i test delle strategie di copertura, i rapporti normativi e finanziari, la pianificazione aziendale e le previsioni economiche e sviluppo di nuovi prodotti e prezzi. Attraverso l'utilizzo delle istanze P4d di Amazon EC2 siamo in grado di offrire incredibili miglioramenti in termini di velocità per i calcoli a precisione singola e doppia rispetto alle istanze GPU della generazione precedente per i calcoli più impegnativi, consentendo ai clienti di eseguire una nuova gamma di calcoli e previsioni per il più prima volta. La velocità è importante e noi continuiamo a fornire ai nostri clienti valore significativo e la tecnologia più recente grazie alle nuove istanze di AWS”.
Van Beach, Global Head of Life Solutions presso Aon Pathwise Strategy and Technology Group
Unendo esperti di radiologia e IA, Rad AI crea prodotti che massimizzano la produttività dei radiologi, rendendo in definitiva l'assistenza sanitaria di gran lunga più accessibile e migliorando i risultati per i pazienti.
"In Rad AI, la nostra missione è aumentare l'accesso e la qualità dell'assistenza sanitaria, per tutti. Concentrandosi sul flusso di lavoro di imaging medico, Rad AI fa risparmiare tempo ai radiologi, riduce il burnout e migliora la precisione. Utilizziamo l'intelligenza artificiale per automatizzare i flussi di lavoro di radiologia e contribuire a semplificare i referti radiologici. Con le nuove istanze EC2 P4d, abbiamo riscontrato un'inferenza più rapida e la capacità di addestrare i modelli 2,4 volte più velocemente, con una precisione maggiore rispetto alle istanze P3 della generazione precedente. Ciò consente una diagnosi più rapida e precisa e un maggiore accesso a servizi di radiologia di alta qualità forniti dai nostri clienti negli Stati Uniti".
Doktor Gurson, Cofounder, Rad AI
Dettagli del prodotto
| Dimensioni istanza | vCPU | Memoria istanza (GiB) | GPU - A100 | Memoria GPU | Larghezza di banda della rete (Gbps) | GPUDirect RDMA | Peer to peer GPU | Archiviazione dell'istanza (GB) | Larghezza di banda EBS (Gb/s) | Prezzo on demand/h | Istanza riservata effettiva di 1 anno all’ora | Istanza riservata effettiva di 3 anno all’ora |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| p4d.24xlarge | 96 | 1152 | 8 | 320 GB HBM2 |
400 ENA e EFA | Sì | NVSwitch a 600 Gb/s | 8 x 1000 SSD NVMe | 19 | 32,77 USD | 19,22 USD | 11,57 USD |
| p4de.24xlarge (anteprima) | 96 | 1152 | 8 | 640 GB HBM2e |
400 ENA e EFA | Sì | NVSwitch a 600 Gb/s | 8 x 1000 SSD NVMe | 19 | 40,96 USD | 24,01 USD | 14,46 USD |
Le istanze P4d sono disponibili nelle regioni Stati Uniti orientali (Virginia settentrionale e Ohio), Stati Uniti occidentali (Oregon), Asia Pacifico (Seoul e Tokyo) ed Europa (Francoforte e Irlanda). Le istanze P4de sono disponibili nelle regioni Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon).
I clienti possono ora acquistare le istanze P4d e P4de come istanze on demand, istanze riservate, istanze spot e host dedicati o come parte di Savings Plan.
Guida introduttiva alle istanze P4d per ML
Uso di Amazon SageMaker
Utilizzo di DLAMI o container deep learning
Utilizzo di Amazon EKS o Amazon ECS
Guida introduttiva alle istanze P4d per HPC
Le istanze P4d sono ideali per eseguire simulazioni ingegneristiche, finanza computazionale, analisi sismiche, modellistica molecolare, genomica, renderizzazione e altri carichi di lavoro HPC basati su GPU. Le applicazioni HPC spesso richiedono prestazioni di rete elevate, storage veloce, grandi quantità di memoria e funzioni di elaborazione di alto livello o tutte queste caratteristiche insieme. Le istanze P4d supportano EFA, che consente alle applicazioni HPC che utilizzano Message Passing Interface (MPI) di dimensionarsi a migliaia di GPU. Batch AWS e AWS ParallelCluster consentono agli sviluppatori HPC di creare e dimensionare rapidamente applicazioni HPC distribuite.
Post del blog e articoli
Altre risorse
Nozioni di base su AWS
Inizia a lavorare nella console
Inizia a creare seguendo le istruzioni contenute nelle guide dettagliate per avviare un progetto AWS.