Sprinklr Mengurangi Biaya Inferensi Machine Learning di AWS Inferentia

Sprinklr menyediakan platform manajemen pengalaman pelanggan terpadu (Unified-CXM) yang menggabungkan berbagai aplikasi untuk pemasaran, periklanan, penelitian, layanan pelanggan, penjualan, dan engagement media sosial. Sebagai perusahaan cloud-first, Sprinklr selalu berusaha untuk meningkatkan efisiensi dan mengoptimalkan penghematan biaya. Untuk membantu mencapai tujuannya, perusahaan menggunakan Amazon Web Services (AWS)—khususnya Amazon Elastic Compute Cloud (Amazon EC2) yang menyediakan kapasitas komputasi di cloud yang aman dan dapat diubah ukurannya.

Pada tahun 2021, Sprinklr berkesempatan untuk mencoba Instans Inf1 Amazon EC2, yang didukung oleh AWS Inferentia, sebuah chip inferensi machine learning (ML) beperforma tinggi yang dibangun dari awal dan telah dioptimalkan untuk aplikasi inferensi ML. Dengan memigrasikan beban kerja waktu nyata di platform Unified-CXM dari instans Amazon EC2 berbasis GPU ke AWS Inferentia, Sprinklr berhasil melakukan penghematan biaya yang signifikan dan telah menurunkan latensi lebih dari 30 persen di beban kerja tersebut. Selain itu, dengan mengurangi latensi, perusahaan juga telah meningkatkan performa produk dan layanannya bagi pelanggan mereka.

Sprinklr yang didirikan pada tahun 2009 merupakan perusahaan perangkat lunak Amerika dengan karyawan yang tersebar di seluruh dunia. Perusahaan ini merupakan pengadopsi awal layanan AWS baru, dan misinya adalah membantu organisasi di seluruh dunia untuk membuat pelanggan mereka lebih bahagia. Perusahaan ini menawarkan lebih dari 31 produk perangkat lunak yang berbeda di 4 rangkaian produk yang kuat dan telah mengembangkan mesin kecerdasan buatan eksklusif yang canggih bagi perusahaan agar dapat menganalisis data yang tersedia secara umum serta terlibat dengan pelanggan di 30 saluran digital dan sosial. Dengan Sprinklr, bisnis dapat berkolaborasi lintas tim secara internal dan saluran digital secara eksternal untuk menciptakan pengalaman pelanggan yang lebih baik.

Sprinklr selalu berusaha meningkatkan pengalaman pelanggan sembari menurunkan biaya komputasi dan mengoptimalkan efisiensi. “Tujuan kami adalah untuk selalu memanfaatkan teknologi terbaru sehingga kami dapat menghemat biaya lebih banyak,” kata Jamal Mazhar, wakil presiden infrastruktur dan DevOps di Sprinklr. Sprinklr berharap dapat mengurangi latensi sekaligus menurunkan biaya inferensi ML miliknya dan mempertimbangkan inovasi dari AWS untuk memenuhi tantangan tersebut. “Ketika kami mengetahui tentang AWS Inferentia, merupakan proses alami bagi kami untuk mempertimbangkan hal itu guna mendorong inisiatif biaya kami,” kata Yogin Patel, direktur senior rekayasa produk, kecerdasan buatan di Sprinklr. Dengan tujuan mengurangi biaya komputasi dan meningkatkan kepuasan pelanggan, Sprinklr mulai menguji Instans Inf1 Amazon EC2 pada Juli 2021.

Platform Unified-CXM Sprinklr menggunakan algoritma ML pada data tidak terstruktur yang bersumber dari berbagai saluran guna memberikan wawasan kepada pelanggannya. Sebagai contoh, pemrosesan bahasa alami perusahaan dan model ML visi komputer menganalisis berbagai format data yang bersumber dari posting media sosial, posting blog, konten video, dan konten lain yang tersedia di domain publik di lebih dari 30 saluran. Sprinklr dapat memperoleh sentimen dan maksud pelanggan dari konten ini guna memberikan wawasan produk kepada pelanggannya. Saat ini, perusahaan menjalankan sekitar 10 miliar prediksi per hari di lebih dari 500 modelnya. Sprinklr membagi beban kerjanya menjadi dua kelompok, yakni latensi yang dioptimalkan dan throughput yang dioptimalkan. Latensi mengacu pada durasi waktu yang dibutuhkan oleh inferensi untuk mencapai tujuannya, sedangkan throughput mengacu pada jumlah paket data yang diproses dalam jangka waktu tertentu. “Jika latensi turun sebesar 20 persen bahkan dalam satu model, penghematan biaya yang diperoleh akan sangat besar,” kata Patel.

AWS Inferentia memiliki sejumlah besar memori on-chip yang bisa digunakan untuk menyimpan model besar dalam cache, alih-alih menyimpannya di luar chip. Adanya memori di chip ini memiliki dampak yang signifikan dalam mengurangi latensi inferensi karena inti pemrosesan AWS Inferentia, yang disebut NeuronCore, memiliki akses berkecepatan tinggi ke model yang disimpan dalam memori pada chip dan tidak dibatasi oleh bandwidth memori di luar chip. NeuronCore juga memberikan inferensi performa tinggi di cloud dengan biaya yang jauh lebih rendah dan memudahkan pengembang untuk mengintegrasikan ML ke dalam aplikasi bisnis mereka.

Ketika Sprinklr mulai memigrasikan model ke Instans Inf1 Amazon EC2 dan menjalankan pengujian tolok ukur, perusahaan melihat adanya penurunan latensi lebih dari 30 persen di beban kerja dengan latensi yang dioptimalkan. “Kami selalu tertarik untuk menguji layanan AWS baru, bereksperimen dengan beban kerja, dan melakukan benchmark pada instans baru,” kata Patel. Melihat penurunan latensi secara signifikan yang mampu diberikan oleh AWS Inferentia dalam pengujian, Sprinklr memutuskan untuk memigrasikan semua beban kerja dengan latensi yang dioptimalkan miliknya ke Instans Inf1 Amazon EC2. “Tujuannya adalah untuk selalu mendapatkan latensi yang lebih rendah agar dapat memberikan pengalaman yang lebih baik kepada pelanggan,” kata Mazhar. “Dengan menggunakan Instans Inf1 Amazon EC2, kami dapat mencapai hal itu.”

Setelah memigrasikan sekitar 20 model ke Instans Inf1 Amazon EC2, Sprinklr mulai memigrasikan visi komputer dan model teksnya untuk meningkatkan efisiensi dan penghematan biaya. Kini, tim dapat melakukan deployment model menggunakan Instans Inf1 Amazon EC2 dalam waktu kurang dari 2 minggu. Selama proses migrasi perusahaan ke AWS Inferentia, perusahaan menemukan bahwa prosesnya berlangsung secara sederhana dengan banyak sumber daya dan dukungan yang tersedia. “Kami dapat dengan cepat menghubungi tim yang tepat,” kata Mazhar. “Dukungan dari AWS membantu kami meningkatkan kepuasan pelanggan dan produktivitas staf kami.”

Karena Sprinklr terus memigrasikan model ke AWS Inferentia, Sprinklr akan menambahkan lebih banyak model terkait suara, seperti pengenalan suara otomatis dan pengenalan maksud, untuk membantu bisnis terlibat lebih jauh dengan pelanggan mereka. Sprinklr berharap bahwa melakukan deployment model ini di AWS Inferentia akan memberikan performa dan latensi rendah yang dibutuhkan pelanggan dengan biaya yang jauh lebih rendah.