Autodesk utilizza AWS per sviluppare modelli per l'instradamento dei casi di assistenza tra i team di supporto clienti e prodotti

I clienti del provider di software Autodesk hanno problemi di supporto che vanno dalla tipica e semplice attività di ricerca e installazione del software a domande complesse sulla natura della modellazione avanzata all'interno dei pacchetti software dell'azienda. Queste richieste hanno spesso un impatto finanziario significativo per i clienti, rendendo necessaria l'assistenza.

Tuttavia, quando i clienti vogliono contattare Autodesk per un problema non pensano alle sue molteplici divisioni o ai vari reparti di supporto che gestiscono un'ampia gamma di domande: sanno solo di aver bisogno di aiuto per risolvere un problema in modo rapido ed efficace. Spesso non sanno come descrivere al meglio il loro problema; in passato i clienti erano indotti a rivolgersi al team di supporto sbagliato, il che implicava frustrazione e tempi di risoluzione più lunghi. L'assistenza specializzata del gruppo di supporto al prodotto richiede un impegno considerevole, mentre molti altri problemi possono essere risolti in pochi minuti. Un cliente con una semplice richiesta, ad esempio la ricerca di un link per il download, potrebbe rimanere bloccato per ore perché si è inavvertitamente messo in una coda per assistenza tecnica altamente specializzata e non per il team di supporto ai clienti.

Per risolvere questo problema, Autodesk ha creato modelli di competenze di machine learning (ML) utilizzando Amazon SageMaker, un servizio completamente gestito che offre a sviluppatori e data scientist la capacità di costruire, addestrare e implementare in modo rapido modelli di ML. I modelli di competenze differiscono dai modelli di classificazione tipici perché cercano di scegliere il team corretto responsabile del supporto all'utente. Questo è in contrasto con molti modelli che mirano a prevedere l'argomento di un caso e in seguito a instradare a partire da esso.

Per addestrare un modello, Autodesk ha attinto set di dati storici da un data lake su Amazon Simple Storage Service (Amazon S3), un servizio di archiviazione di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni all'avanguardia nel settore. Questo modello ha portato a una migliore esperienza del cliente e a un'esperienza di supporto più semplice, con costi aziendali ridotti e maggiore produttività del personale di supporto di Autodesk.

Autodesk crea soluzioni software per l'architettura, l'ingegneria, l'edilizia, i media e l'intrattenimento e le industrie manifatturiere, utilizzando tecnologie emergenti come la stampa 3D, l'intelligenza artificiale, la progettazione generativa e la robotica. Nel 2017, Autodesk ha spostato la sua pratica di sviluppo di data science dalle macchine locali ad Amazon Web Services (AWS) come primo passo di una strategia più ampia di utilizzo di AWS per il processo di sviluppo dei prodotti. Quindi, quando l'azienda ha avuto un problema con il sistema di supporto ai clienti, si è immediatamente rivolta ad AWS.

Il precedente sistema di routing basato su regole di Autodesk per il supporto ai clienti comportava una perdita di tempo nel reindirizzamento delle chiamate di supporto che dipendevano esclusivamente dall'input dei clienti per il routing. I clienti facevano fatica a navigare nel sistema di supporto perché era difficile classificare le loro domande e una richiesta indirizzata in maniera errata poteva aumentare il tempo di risposta da minuti a ore o più. "I clienti non dovrebbero aver bisogno di comprendere cosa implica dire di avere un problema tecnico o un problema di download e in che modo ciò influenza il percorso verso cui verranno indirizzati", afferma Alex O'Connor, lead data scientist presso Autodesk. Tuttavia, quando un cliente si perdeva nel sistema, i team di supporto dovevano scambiarsi informazioni per capire dove indirizzare internamente ogni richiesta in arrivo.

Autodesk ha cercato di creare modelli ML flessibili e personalizzabili che utilizzassero l'elaborazione del linguaggio naturale in modo da esaminare tanto le parole quanto il modo in cui esse si combinano, per automatizzare in maniera più accurata l'indirizzamento dei clienti verso le soluzioni più appropriate. "Per questo tipo di problemi, che i clienti descrivono a parole proprie, è consigliabile provare diverse combinazioni di modelli e dati per tenere conto dell'enorme variazione di dettagli e linguaggio", afferma O'Connor, "e parte del merito di AWS è stata la capacità di provare tutto ciò".

Per creare modelli di competenze di ML, gli analisti aziendali del team di data science di Autodesk si sono incontrati con ciascuno dei team di supporto per comprendere le rispettive specializzazioni e mappare chi fa cosa e come. Utilizzando queste conoscenze, il team ha curato i set di dati di addestramento per la creazione del modello delle competenze. Il team di data science ha estratto i dati storici da migliaia di richieste di assistenza ai clienti e le relative risoluzioni dal data lake su Amazon S3. In seguito, Autodesk ha utilizzato i notebook Amazon SageMaker per individuare il modello da utilizzare e la quantità di dati necessaria. "I notebook Amazon SageMaker sono interessanti perché consentono di esplorare i dati, comprendere la dinamica delle loro diverse funzionalità e persino addestrare modelli giocattolo che aiutino a comprendere quale potrebbe essere il comportamento di un modello ML se addestrato su diverse parti dei dati", spiega O'Connor. Una volta che il team, dopo alcuni tentativi, ha trovato il giusto abbinamento di modelli e dati adatto a un team di supporto, è potuto passare alla fase successiva: utilizzare modelli sempre più ricchi di funzionalità addestrati su set di dati più grandi con controlli e bilanciamenti aggiuntivi. Spesso, questi modelli più ricchi generalizzano meglio e sono più solidi in termini di variazione degli input dei clienti.

Dopo aver utilizzato i notebook Amazon SageMaker per eseguire l'analisi e l'esplorazione iniziale, Autodesk ha creato modelli esplorativi con Scikit-learn, una libreria di ML classico, scelta per la maggior parte dei progetti Python, utilizzando le numerose funzioni di supporto e modelli superficiali per ottenere informazioni sulla soluzione. Autodesk ha quindi addestrato i propri modelli di competenze in diversi framework di deep learning utilizzando la modalità script, che facilita il rapido riutilizzo del codice e l'iterazione del modello. L'azienda utilizza anche PyTorch per eseguire i trasformatori fast.ai e Hugging Face per l'elaborazione del linguaggio naturale.

Per implementare i modelli per i test, Autodesk ha utilizzato Amazon Elastic Container Service (Amazon ECS) per le prime versioni di hosting delle API. "Siamo quindi passati all'hosting degli endpoint di Amazon SageMaker nelle versioni successive e in produzione, poiché ciò ci ha consentito una maggiore flessibilità e una minore complessità", afferma Yathaarth Bhansali, principal engineer for the data science team presso Autodesk. Lo sviluppo e l'implementazione dei modelli di competenze iniziali, processi che includevano il dimensionamento e l'automazione dell'intero script, hanno richiesto circa 2-3 settimane.

I modelli creati da Autodesk utilizzando i servizi AWS hanno eliminato la complessità dall'esperienza del cliente e portato a una riduzione di oltre il 30% dei casi di errore nei principali canali di supporto, il che ha aiutato i clienti di Autodesk a ottenere risposte fino a tre volte più velocemente. "Qualsiasi riduzione del tempo che i clienti trascorrono in attesa di una soluzione può avere un enorme impatto aziendale per loro e per i datori di lavoro, poiché spesso i problemi incontrati possono bloccare il progresso di progetti cruciali per l'azienda", afferma O'Connor. Inoltre, il costante feedback positivo dei clienti ha dimostrato che il routing automatico abbina correttamente il cliente a un agente di supporto.

"Abbandonare il nostro vecchio sistema basato su regole è stato difficile, ma ne è valsa la pena", afferma James Bradley, director of data science presso Autodesk. "Ha portato a un'enorme semplificazione del modo in cui indirizziamo i casi di supporto e ha eliminato alcuni debiti tecnici storici legati all'utilizzo del nostro sistema precedente." Autodesk è riuscito a migliorare le sue pratiche di sviluppo man mano che AWS aggiorna i servizi. Ad esempio, l'azienda prevede di eseguire test A/B su diversi modelli e gli endpoint di Amazon SageMaker semplificheranno l'operazione. "Ogni volta che ci imbattiamo in qualcosa che vorremmo fare, scopriamo che AWS ci ha già anticipato", afferma O'Connor.

Nel complesso, l'utilizzo di Amazon SageMaker e Amazon ECS consente ai team di data science di Autodesk di concentrarsi sul miglioramento dei propri algoritmi anziché sulla manutenzione dell'infrastruttura. "Sono molto grato di non dover più gestire i miei server o aggiornare i driver", dice Bradley. "In passato ho perso molto tempo ad affrontare cose che erano al di sotto del livello del problema che stavo cercando di risolvere. Ci consideriamo ragionevolmente esperti. Perciò, quando ci troviamo davanti ai problemi, vorremmo poter tralasciare gli aspetti più basilari."

Il team di Autodesk continuerà a migliorare il sistema di routing, anche aggiungendo la possibilità di monitorare le code e avvisare il personale Autodesk dei clienti che potrebbero trovarsi nella coda sbagliata, oltre a utilizzare i dati per prevedere le esigenze dei clienti, migliorando così i tempi di risposta e aumentando la risoluzione al primo contatto. "Quando il cliente fa qualcosa, potremmo ricavarne informazioni e dare un suggerimento appropriato", afferma Bradley. L'azienda sta portando avanti iniziative per espandersi verso altre lingue nel suo sistema di routing e sta esplorando ambienti e modalità aggiuntivi in cui i clienti possano interagire con il supporto.

Su AWS, Autodesk ha eliminato le congetture per i clienti che navigano nel sistema di supporto. "I modelli di competenze e l'ambiente di supporto dovrebbero soddisfare le esigenze degli utenti ed essere la scelta migliore per loro, e non costringerli a seguire un canale o un altro solo perché è la loro unica opzione", afferma O'Connor. Ora, il sistema di supporto ai clienti di Autodesk fa esattamente ciò per cui è stato concepito: fornire ai clienti le risorse e le conoscenze necessarie per risolvere i problemi in modo efficiente.