Istanze DL1 di Amazon EC2

Costo di addestramento ridotto per i modelli di Deep Learning

Le istanze DL1 di Amazon EC2 con tecnologia degli acceleratori Gaudi di Habana Labs (una società Intel) forniscono modelli di Deep Learning con costi di addestramento ridotti per i casi d'uso di elaborazione del linguaggio naturale, individuazione di oggetti e riconoscimento di immagini. Le istanze DL1 offrono un rapporto tra prezzo e prestazioni superiore del 40% rispetto alle attuali istanze EC2 basate su GPU per l'addestramento di modelli di Deep Learning.

Le istanze DL1 di Amazon EC2 dispongono di 8 acceleratori Gaudi, ciascuno con una memoria ad alta larghezza di banda (HBM) da 32 GB, una memoria di sistema da 768 GiB, processori personalizzati Intel Xeon scalabili di seconda generazione, una velocità effettiva di rete di 400 GB al secondo e 4 TB di archiviazione locale NVMe.

Le istanze DL1 includono l'Habana SynapseAI® SDK integrato con i migliori framework di machine learning come TensorFlow e PyTorch.

Puoi avviare facilmente le istanze DL1, utilizzando le AMI di AWS Deep Learning o gli AWS Deep Learning Containers o Amazon EKS ed ECS per le applicazioni containerizzate. Il supporto per le istanze DL1 su Amazon SageMaker arriverà presto.

Panoramica video sulle nuove istanze DL1 di Amazon EC2 (1:33)

Vantaggi

Costo di addestramento ridotto per i modelli di Deep Learning

Le istanze DL1 offrono un rapporto tra prezzo e prestazioni superiore del 40% rispetto alle nostre ultime istanze EC2 basate su GPU per l'addestramento di modelli di Deep Learning. Queste istanze hanno dei Gaudi Accelerator costruiti appositamente per addestrare modelli di Deep Learning. Puoi anche ottenere un ulteriore risparmio utilizzando EC2 Savings Plan per ridurre in maniera significativa il costo di addestramento dei tuoi modelli di Deep Learning.

Facilità d'uso e portabilità del codice

Iniziare a utilizzare le istanze DL1 è facile per gli sviluppatori a prescindere dalla loro esperienza. Possono continuare a utilizzare i loro servizi di gestione del flusso di lavoro con le AMI di Deep Learning di AWS e i container di Deep Learning per muovere i primi passi con le istanze DL1. Gli utenti avanzati possono anche costruire dei kernel personalizzati per ottimizzare le prestazioni del loro modello utilizzando i Tensor Processing Core programmabili di Gaudi. (TPC). Grazie agli strumenti di Habana SynapseAI®, possono migrare facilmente i loro modelli esistenti in esecuzione su istanze basate su GPU o CPU direttamente su istanze DL1 con cambiamenti minimi di codice.

Supporto per i maggiori framework e modelli di ML

Le istanze DL1 supportano i principali framework di ML come TensorFlow e PyTorch e ti consentono di continuare a utilizzare i tuoi flussi di lavoro di ML preferiti. Puoi accedere a modelli ottimizzati come Mask R-CNN per l'identificazione di oggetti e BERT per l'elaborazione del linguaggio naturale nel repository GitHub di Habana per creare, addestrare e implementare velocemente i tuoi modelli. La vasta libreria di kernel perTensor Processing Core (TPC) di SynapseAI supporta un'ampia gamma di operatori e diversi tipi di dati per una serie di bisogni di modelli e prestazioni.

Caratteristiche

Tecnologia degli acceleratori Gaudi di Habana Labs

Le istanze DL1 sono alimentate dagli acceleratori Gaudi di Habana Labs (una società Intel), che dispongono di otto TPC completamente programmabili e 32 GiB di memoria a larghezza di banda elevata per acceleratore. Hanno un'architettura di calcolo eterogenea per massimizzare l'efficienza di addestramento e un motore centrale configurabile per le operazioni matematiche con le matrici. Contano anche sull'unica integrazione nativa di settore da dieci porte Ethernet da 100 Gigabit per ogni Gaudi accelerator per garantire una comunicazione a bassa latenza tra gli Accelerator.

SDK di Habana SynapseAI®

Il SynapseAI® SDK è composto da un graph compiler e tempo di esecuzione, una libreria kernel di TPC, firmware, driver e strumenti. È integrato con i maggiori framework come TensorFlow e PyTorch. Le sue librerie di comunicazione aiutano a dimensionare rapidamente verso l'alto diversi accelerator utilizzando le stesse operazioni che utilizzi adesso per le istanze basate su GPU. Questo dimensionamento deterministico genera un maggiore utilizzo e una maggiore efficienza per un'ampia gamma di topologie di reti neurali. Con SynapseAI® tools, puoi integrare ed eseguere facilmente i tuoi modelli esistenti su istanze DL1 con cambiamenti di codice minimi.

Reti e archiviazione ad alte prestazioni

Le istanze DL1 offrono una velocità effettiva di rete da 400 GB al secondo e una connettività ad Amazon Elastic Fabric Adapter (EFA) e Amazon Elastic Network Adapter (ENA) per le applicazioni che hanno bisogno di accedere alla rete ad alta velocità. Le istanze DL1 includono anche 4 TB di archiviazione locale NVMe e consentono di raggiungere una velocità effettiva di lettura di 8 GB al secondo per un accesso rapido a set di dati molto vasti.

Basato su AWS Nitro System

Le istanze DL1 sono basate sul Sistema Nitro AWS, che è una ricca raccolta di blocchi costitutivi che consente di scaricare molte delle tradizionali funzioni di virtualizzazione su hardware e software dedicati per offrire elevate prestazioni, alta disponibilità e alta sicurezza riducendo al contempo il sovraccarico della virtualizzazione.

Dettagli del prodotto

Dimensioni istanza

vCPU

Memoria istanza (GiB)

Accelerator Gaudi

Larghezza di banda di rete (Gbps)

Acceleratore bidirezionale peer-to-peer (GB al secondo)

Archiviazione dell'istanza (GB) Larghezza di banda EBS (Gbps) On demand (prezzo/ora) Istanza riservata effettiva di 1 anno all’ora* Istanza riservata effettiva di 3 anno all’ora*

dl1.24xlarge

96

768

8

400

100

4 x 1000 
SSD NVMe
19 13,11 USD 7,87 USD 5,24 USD

*I prezzi mostrati sono validi nelle seguenti regioni: Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon).

Testimonianze dei clienti

Seagate

Seagate Technology è stata un leader mondiale per 40 anni offrendo soluzioni di archiviazione e gestione dati. Gli ingegneri si Data Science e di Machine Learning di Seagate hanno costruito un sistema avanzato di individuazione di difetti con Deep Learning (DL) e l'hanno implementato a livello mondiale nelle strutture di produzione dell'azienda. In un recente progetto di Proof of concept, Habana Gaudi ha superato gli obiettivi prestazionali nell'addestramento di uno dei modelli DL di segmentazione semantica utilizzato attualmente nella produzione di Seagate. 

"Ci aspettiamo che il grande vantaggio nel rapporto prezzo/prestazioni delle istanze DL1 di Amazon EC2, con la tecnologia dei Gaudi accelerator Habana, possa diventare un'importante aggiunta per il futuro dei cluster di calcolo AWS. Mentre Habana Labs continua ad evolversi permettendo una maggiore copertura degli operatori, c'è il potenziale per espandersi verso ulteriori casi d'uso aziendali e quindi ottenere un ulteriore risparmio sui costi".

Darrell Louder, Senior Engineering Director of Operations, Technology and Advanced Analytics di Seagate

Leidos

Leidos è uno dei primi 10 fornitori di Health IT e offre una vasta gamma di soluzioni personalizzabili e scalabili per ospedali e sistemi sanitari, organizzazioni biomediche e per tutte le agenzie federali degli Stati Uniti che si occupano di salute. 

"Una delle diverse tecnologie che stiamo abilitando oggi ai fini del progresso della sanità è l'utilizzo di Machine Learning e di Deep Learning per la diagnosi delle malattie basata sui dati di diagnostica per immagini. I nostri enormi set di dati necessitano di un addestramento tempestivo ed efficiente per aiutare i ricercatori che stanno cercando di risolvere alcuni degli urgenti casi medici più misteriosi. Considerata la necessità per Leidos e per i suoi clienti di un addestramento rapido, semplice ed economicamente sostenibile per i modelli di Deep Learning, siamo entusiasti di aver iniziato questo viaggio insieme a Intel e AWS per utilizzare le istanze DL1 di Amazon EC2 basate sui processori Habana Gaudi AI. Dall'utilizzo delle istanze DL1 ci aspettiamo un aumento della velocità di addestramento dei modelli e dell'efficienza con una conseguente riduzione dei rischi e dei costi di ricerca e sviluppo". 

Chetan Paul, CTO Health and Human Services di Leidos 

Intel

Intel ha creato una tecnologia di tracciamento 3D dell'atleta che analizza in tempo reale i video dell'atleta in azione per informare i processi di addestramento delle prestazioni e migliorare l'esperienza del pubblico durante le gare.

"Addestrare i nostri modelli sulle istanze DL1 di Amazon EC2 con la tecnologia dei Gaudi Accelerator di Habana Labs ci permetterà di elaborare in modo accurato e affidabile migliaia di video e di generare i dati prestazionali associati, il tutto riducendo i costi di addestramento. Con le istanze DL1, possiamo addestrare con la velocità e i costi necessari per offrire vantaggiosamente un servizio agli atleti, alle squadre e agli enti radiotelevisivi di tutti i livelli per una vasta gamma di sport." 

Rick Echevarria, Vice Presidente del gruppo marketing e vendite di Intel

RiskFuel

RiskFuel fornisce valutazioni in tempo reale e sensibili ai rischi alle società che gestiscono portafogli finanziari, aiutandole a crescere la loro precisione e le prestazioni di trading.

"Sono due i fattori ci hanno portato a scegliere le istanze DL1 di Amazon EC2 basate sui Gaudi AI Accelerator di Habana. Prima di tutto volevamo essere sicuri che i nostri clienti delle assicurazioni e delle banche potessero eseguire i modelli Riskfuel che sfruttano gli hardware più recenti. Per fortuna migrare i nostri modelli verso le istanze DL1 è stato semplice e intuitivo, davvero, si è trattato solo di cambiare alcune linee di codice. In secondo luogo, i costi di addestramento sono una grande componente delle nostre spese e la promessa di un miglioramento del rapporto prezzo/prestazioni fino al 40% offre potenzialmente un vantaggio sostanziale al nostro lavoro." 

Ryan Ferguson, CEO di Riskfuel

Fractal

Fractal è un leader mondiale nel campo dell'intelligenza artificiale e dell'analisi dei dati, migliorando le scelte delle società Fortune 500.

"L'Intelligenza Artificiale e il Deep Learning sono al centro della nostra capacità di Machine Vision e permettono ai clienti di prendere decisioni migliori in tutti i settori di cui ci occupiamo. Per migliorare la precisione, i set di dati stanno diventando più grandi e complessi e necessitano di modelli più grandi e complessi. Questo sta spingendo la necessità di prestazioni e prezzi di calcolo migliorati. Le nuove istanze DL1 di Amazon EC2 promettono una riduzione significativa dei costi di addestramento rispetto alle istanze EC2 basate su GPU. Ci aspettiamo che questo renda l'addestramento dei modelli di IA su cloud molto più accessibile e con un costo contenuto rispetto a prima per un'ampia schiera di clienti".

Srikanth Velamakanni, Group CEO di Fractal

Nozioni di base

Gli AWS Deep Learning AMI (DLAMI) e gli AWS Deep Learning Containers (DLC)

Gli AWS Deep Learning AMI (DLAMI) e AWS Deep Learning Containers (DLC) forniscono ai Data Scientist, a chi lavora con il ML e ai ricercatori le macchine e le immagini container preinstallate nei framework di Deep Learning per semplificare l'inizio facendoti saltare il complicato processo di creazione e ottimizzazione dei tuoi ambienti software da zero. Il SynapseAI SDK per i Gaudi Accelerator è integrato nei DL AMI e nei DLC di AWS permettendoti di iniziare velocemente a utilizzare le istanze DL1.

Amazon Elastic Kubernetes Service (EKS) o Elastic Container Service (ECS)

I clienti che preferiscono gestire i propri carichi di lavoro containerizzati tramite i servizi di orchestrazione dei container possono distribuire istanze DL1 con Amazon EKS o ECS.

Risorse aggiuntive

Demo: addestrare modelli di deep learning con le istanze DL1 di Amazon EC2 (2:03)
Presentazione di Amazon EC2 DL1 Instances (3:41)
Confronto dei costi di addestramento delle istanze DL1 di Amazon EC2 (0:50)
Iniziare facilmente a usare le istanze DL1 di Amazon EC2 (0:49)

Documentazione Habana® Gaudi® v0.15

Consulta la documentazione »

Forum per sviluppatori Habana®

Visita il forum »

Repository GitHub di Habana®

Visita GitHub »

Nozioni di base su AWS

Registrati per creare un account AWS

Registrati per creare un account AWS

Ottieni accesso istantaneo al piano gratuito di AWS.

Impara con semplici tutorial

Impara con i tutorial di 10 minuti

Esplora e impara con semplici tutorial.

Inizia a lavorare con EC2 nella console

Inizia a lavorare nella console

Inizia a creare seguendo le istruzioni contenute nelle guide dettagliate per avviare un progetto AWS.