Rad AI aumenta di dieci volte i profitti con le istanze P4d di Amazon EC2 P4d basate su NVIDIA

Secondo uno studio della Mayo Clinic, quasi il 90% dei radiologi statunitensi lavora al massimo o al di sopra della propria disponibilità. Rad AI contribuisce ad alleggerire il carico di lavoro addestrando modelli di machine learning (ML) a leggere documenti dettagliati e a riassumere automaticamente, in maniera personalizzata a seconda del linguaggio del radiologo, i referti usati dai medici prescrittori per individuare la malattia e consigliare un piano terapeutico. Rad AI lavora con il 16% del mercato radiologico statunitense, incluso il 6% dei dieci principali gruppi di radiologia, e desiderava estendere la propria soluzione a più clienti. Per aumentare la velocità di inferenza del machine learning e generare risultati in tempo reale, l’azienda ha scelto di utilizzare Amazon Web Services (AWS).

Rad AI ha effettuato la migrazione delle sue applicazioni per riassumere i documenti in esecuzione su server GPU on-premise verso le istanze P4d di Amazon Elastic Compute Cloud(Amazon EC2) basate sulle GPU di NVIDIA A100 Tensor Core. Tramite l’implementazione delle sue applicazioni sulle istanze P4d di Amazon EC2, Rad AI ha migliorato notevolmente i tempi di inferenza del machine learning, distribuendo i referti ai radiologi in maniera più rapida ed accurata e migliorando la qualità dell’assistenza al paziente.

Rad AI è una startup software-as-a-service che punta a migliorare la qualità dell’assistenza sanitaria ottimizzando il flusso di lavoro dei radiologi. “I radiologi sono piuttosto efficienti, ma la loro mole di lavoro è causa di fatica per tutti quanti” afferma Niven Shah, business development e strategy manager presso Rad AI. “I nostri prodotti si avvalgono degli ultimi progressi nell’elaborazione del linguaggio naturale per generare automaticamente conclusioni personalizzate relative ai referti radiologici, oltre a raccomandazioni per visite di controllo sulla base delle linee guida nazionali.”

Rad AI riduce il numero di parole dettate dai radiologi del 30-35% al giorno e permette ai radiologi di risparmiare circa un’ora ogni nove ore di lavoro. I suoi prodotti si integrano ai flussi di lavoro esistenti e agiscono come soluzioni zero-click. “Abbiamo creato Rad AI appositamente per ridurre il rischio di esaurimento dei radiologi, migliorare la qualità dell’assistenza al paziente e garantire che i pazienti effettuino visite di controllo e trattamenti al momento giusto” afferma Dott. Jeff Chang, radiologo e cofondatore di Rad AI. In passato l’azienda utilizzava le istanze Amazon EC2 P3 per implementare le applicazioni di machine learning, ma desiderava ottenere prestazioni migliori e velocità di inferenza più elevata per soddisfare più clienti. Rad AI ha intravisto un modo per raggiungere i suoi obiettivi tramite la migrazione dei suoi modelli di ML verso le istanze P4d di Amazon EC2, basate sulle GPU NVIDIA A100. 

Le istanze P4d di Amazon EC2 forniscono 320 GB di memoria GPU per istanza e sono le prime a supportare 400 Gbps di reti ad alta velocità sul cloud. Le elevate prestazioni e la bassa latenza le rendono ideali per un'elaborazione più rapida dei documenti più grandi. Inoltre, l’utilizzo dei servizi AWS aiuterebbe Rad AI a soddisfare lo standard HIPAA e i requisiti della certificazione System and Organization Controls 2 Type II, ottimizzando l’inserimento di nuovi gruppi di radiologia e sistemi sanitari.

Rad AI ha completato la migrazione nel 2021, migliorando la velocità di inferenza e le prestazioni complessive del machine learning. “Con la migrazione verso le istanze P4d di Amazon EC2, abbiamo migliorato la velocità di inferenza in tempo reale del 60%” afferma Ali Demirci, senior software engineer presso Rad AI. “Poiché siamo in grado di generare riassunti in tempo reale, questa soluzione ha un impatto immediato sull’esperienza cliente.” Rad AI ha visto un aumento del 136% nelle sue prestazioni e dell’11% nella sua velocità effettiva utilizzando le istanze P4d di Amazon EC2 per le implementazioni basate su cloud rispetto a quelle on-premise. Una maggiore velocità, prestazioni migliori e il dimensionamento del cloud permettono alla startup di distribuire le proprie soluzioni a più clienti, di lavorare sia con studi privati più piccoli che con sistemi sanitari multimiliardari.

Oggi, la soluzione di Rad AI distribuisce riassunti dei referti di lastre di TAC e risonanze magnetiche in 3 secondi invece dei 10 secondi necessari in precedenza e riassunti dei referti di radiografie in 0,7 secondi invece dei precedenti 2,5 secondi. Addestrando alcuni dei suoi modelli di ML sulle istanze P4d di Amazon EC2, Rad AI ha ridotto la durata dell’addestramento di 2,4 volte. Grazie ad una maggiore velocità di inferenza, adesso i radiologi sono in grado di inviare ai medici referti più accurati con raccomandazioni appropriate riguardanti le visite di controllo. Di conseguenza, i medici possono utilizzare tali referti per la diagnosi di patologie e mettere a punto trattamenti terapeutici che, a loro volta, migliorano l’impatto sul paziente.

Rad AI usaAmazon Elastic Container Service (Amazon ECS), un servizio di orchestrazione dei container completamente gestito per implementare diversi modelli di ML al giorno. “Essere in grado di implementare continuamente con Amazon ECS ci permette di rispondere rapidamente al feedback dei clienti” afferma Demirci. “Possiamo apportare lievi modifiche ai modelli o effettuare cambiamenti immediati a seconda delle esigenze. Il nostro team ML può effettuare il provisioning delle istanze in maniera rapida e automatica, il che aiuta ad ottimizzare la sperimentazione sul miglioramento dei modelli.” Grazie alla migrazione dell’interferenza ML al cloud, Rad AI ha anche eliminato il bisogno di procurare e ed effettuare il provisioning dell’infrastruttura per i suoi data center on-premise. Al contrario, Rad AI è in grado effettuare il provisioning delle istanze su richiesta, in modo da ottimizzare i costi operativi.

Inoltre, Rad AI ha scelto di sviluppare, addestrare e implementare la sua tecnologie di ML utilizzando PyTorch, un framework di ML open-source PyTorch permette a Rad AI di disassemblare e riassemblare le componenti dei suoi flussi di lavoro ML per semplici operazioni di debug e una sperimentazione rapida con iterazioni più nuove e più avanzate del suo flusso di addestramento ML. Con PyTorch, il team può distribuire modelli di architetture più complessi impiegando meno tempo nello sviluppo e nell’iterazione.

L’azienda ha anche dimensionato i suoi servizi su AWS, espandendosi per servire più clienti. “Quando si ha bisogno di implementare grossi modelli di ML come nel nostro caso, è necessario avere una quantità di memoria GPU notevole” afferma Andriy Mulyar, ML engineer presso Rad AI. “Le istanze P4d di Amazon EC2 dispongono di 40 GB di memoria con elevata larghezza di banda per GPU ed è effettivamente in grado di soddisfare le nostre esigenze in termini di memoria. Adesso, dimensioniamo le nostre applicazioni ML su richiesta senza bisogno di effettuare il provisioning di hardware fisici. Siamo in grado di generare output per i nostri clienti a velocità molto più elevate, il che, a sua volta, ci permette di aumentare la velocità di innovazione.” Poiché Rad AI è in grado di effettuare il dimensionamento per servire più clienti, la startup ha potuto estendere il suo bacino di clienti di oltre il 100% nel 2021. Inoltre, Rad AI ha aumentato i suoi ricavi ricorrenti di oltre 10 volte nel 2021, rispetto al 2020.

Tramite la migrazione verso le istanze P4d di Amazon EC2, Rad AI ha aumentato le sue entrate, accelerato l’innovazione e dimensionato, senza difficoltà, le sue applicazioni di ML, offrendo vantaggi in tempo reale ai suoi clienti e ampliando il suo raggio d’azione. Ad esempio, Radiology Associates of North Texas, il più grande studio privato di radiologia in Texas, ha esteso i servizi di Rad AI a tutti i suoi 225 radiologi dopo aver testato la soluzione con tecnologia AWS dell’azienda. In futuro, Rad AI intende automatizzare ulteriormente la sua data pipeline su AWS e lancerà nuovi prodotti guidati da ML per migliorare l’assistenza ai pazienti.

Rad AI ha costruito una soluzione rapida e con prestazioni elevate usando AWS per lo sviluppo e l’implementazione di applicazioni ML. “Ogniqualvolta ci si rivolge al team AWS per un aiuto, si è in contatto con una persona esperta e i problemi vengono risolti molto velocemente.” afferma Demirci. “Lavorare insieme al team AWS è stato per noi un grosso vantaggio.”