Bazaarvoice riduce i costi di inferenza del machine learning dell'82% utilizzando Inferenza serverless Amazon SageMaker

Con sede ad Austin, in Texas, e con uffici in tutto il mondo, Bazaarvoice utilizza il ML per automatizzare la moderazione dei contenuti per rivenditori e marchi aziendali. L'azienda raccoglie, condivide e modera recensioni, contenuti social, foto e video, che i clienti possono utilizzare per migliorare le pagine dei prodotti e incrementare le vendite. Bazaarvoice utilizza anche il ML per arricchire questi contenuti con informazioni semantiche allo scopo di aiutare i clienti a classificare i contenuti e raccogliere informazioni.

Bazaarvoice voleva migliorare scalabilità, velocità ed efficienza, ma stava affrontando delle difficoltà legate alla sua soluzione di ML più vecchia e più lenta. Ad esempio, ogni volta che l'azienda aveva bisogno di integrare un nuovo cliente o addestrare nuovi modelli, doveva modificare manualmente più file di modello, caricarli e attendere che il sistema registrasse la modifica. Il processo durava circa 20 minuti ed era soggetto a errori. Inoltre, l'architettura non era stata progettata per supportare in modo efficiente la crescente scalabilità dell'azienda: ogni macchina che supportava i suoi quasi 1.600 modelli aveva bisogno di 1 TB di RAM. “Il costo era piuttosto elevato e, poiché l'architettura era monolitica, non poteva scalare automaticamente, il che era uno dei nostri obiettivi principali”, afferma Lou Kratz, principal research engineer presso Bazaarvoice. L'agilità è stata fondamentale anche per supportare il crescente numero di clienti di Bazaarvoice e per sperimentare modelli di ML. “Volevamo essere in grado di aumentare il numero di modelli in produzione di 10 volte senza incorrere in limiti di memoria”, afferma Kratz.

Bazaarvoice ha preso in considerazione l'idea di creare una propria soluzione di hosting serverless, ma un progetto del genere sarebbe stato costoso e laborioso. Ha invece adottato Inferenza serverless Amazon SageMaker, un'opzione di inferenza appositamente progettata che semplifica alle aziende l'implementazione e la scalabilità dei modelli di ML per ridurre il carico operativo per i suoi team. “Questo progetto è stato l'inizio dell'unificazione dell'implementazione del nostro modello”, afferma Edgar Trujillo, senior ML engineer presso Bazaarvoice. L'azienda ha iniziato a inviare traffico al suo nuovo sistema nel dicembre 2021 e a febbraio 2022 gestiva tutto il traffico di produzione.

L'uso di Inferenza serverless ha reso semplice per Bazaarvoice l'implementazione di un modello e il suo spostamento su un endpoint dedicato nel caso in cui il modello presentava un traffico elevato. Di conseguenza, l'azienda ha migliorato il throughput riducendo al contempo i costi. Ha risparmiato l'82% sui costi di inferenza del ML migrando tutti i modelli su 12 mila client a Inferenza serverless. Bazaarvoice analizza e aumenta milioni di contenuti al mese, il che si traduce in decine di milioni di chiamate mensili a SageMaker, o circa 30 chiamate di inferenza al secondo. Ma la maggior parte dei suoi modelli di ML viene chiamata dai clienti solo una volta ogni pochi minuti, quindi non ha senso che Bazaarvoice allochi risorse dedicate. “Avevamo bisogno della flessibilità necessaria per passare da host dedicati per modelli grandi e costosi a opzioni a basso costo per modelli usati meno frequentemente”, afferma Kratz. Utilizzando Inferenza serverless, l'azienda può aumentare o ridurre verticalmente senza problemi per soddisfare la domanda, aumentando l'efficienza e risparmiando sui costi. “Il grande vantaggio per noi è che non dobbiamo gestire i server o pagare per il tempo di calcolo che non utilizziamo”, afferma Kratz. “E possiamo tenere il passo con tutti i contenuti in arrivo in modo che il cliente li veda moderati e aumentati in modo tempestivo”.

Poiché Bazaarvoice fornisce contenuti più rapidamente, i suoi clienti possono mostrarli molto prima per i nuovi utenti finali. Usando SageMaker, ci vogliono solo 5 minuti. “L'invio di nuovi dati dei clienti a un modello esistente richiedeva da 15 a 20 minuti”, afferma Kratz. “Adesso è immediato” e l'implementazione di un modello nuovo di zecca richiede solo 5 minuti anziché 20 o 30. Su AWS, Bazaarvoice ha registrato un aumento del throughput di distribuzione dei modelli. L'azienda può creare un modello, inviarlo ed eseguirlo su Inferenza serverless per valutarne le prestazioni prima di inviargli qualsiasi contenuto, riducendo i rischi dell'utilizzo di contenuti live. E non è necessario reimplementarlo quando è il momento di inviare contenuti al modello perché il modello è già in esecuzione su SageMaker. Invece, può implementare nuovi modelli non appena la convalida è completa. “L'utilizzo di Amazon SageMaker ha notevolmente migliorato la nostra capacità di sperimentare e portare nuovi modelli in produzione in modo rapido ed economico”, afferma Dave Anderson, technical fellow presso Bazaarvoice. “Abbiamo la flessibilità necessaria per portare avanti la nostra proposta di valore e questo è entusiasmante”. L'azienda ha aiutato i suoi data scientist a muoversi più velocemente e ha aggiunto più valore per i clienti.

Quando Bazaarvoice inserisce contenuti in uno dei suoi modelli di ML, il modello emette un valore di confidenza e lo utilizza per decidere il contenuto. Sulla precedente architettura dell'azienda, Bazaarvoice doveva spedire un nuovo modello ogni volta che voleva cambiare la logica decisionale. Bazaarvoice ha iniziato a utilizzare Amazon Elastic Container Service (Amazon ECS), un servizio di orchestrazione di container completamente gestito che semplifica alle aziende l'implementazione, la gestione e la scalabilità delle applicazioni containerizzate, per gestire la logica decisionale al di fuori del modello di ML. “Separare la logica decisionale è stato estremamente utile perché il team addetto alla gestione dei contenuti può ora ottenere i risultati e prendere decisioni praticamente istantaneamente”, afferma Kratz. “Non devono spedire un nuovo modello e attendere che venga implementato e aggiornato”.

Bazaarvoice ha ottenuto significativi risparmi sui costi migliorando al contempo l'esperienza di sviluppo del ML per il suo team e migliorando ciò che offre ai suoi clienti. L'azienda prevede di offrire ancora più vantaggi ai clienti utilizzando l'API Inferenza serverless Amazon SageMaker per consentire un accesso rapido. “Il ML sta diventando la norma in questo settore: non puoi competere senza di esso”, afferma Kratz. “Utilizzando Inferenza serverless Amazon SageMaker, siamo in grado di applicare il ML in modo efficiente su larga scala, ottenendo rapidamente molti modelli a un costo ragionevole e con un basso sovraccarico operativo”.