UIP Salesforce Menggunakan Instans Spot Amazon EC2 untuk Mengurangi Waktu Pemrosesan Data Lebih dari 90% dan Menghemat Lebih dari 1 Juta USD Setiap Bulan

Pada akhir 2019, tim UIP mulai mentransisikan klaster on-premise-nya ke Amazon EMR, sebuah platform big data cloud untuk menjalankan tugas pemrosesan data terdistribusi dalam skala besar, kueri SQL interaktif, dan aplikasi machine learning menggunakan kerangka kerja analitik sumber terbuka seperti Apache Spark, Apache Hive, dan Presto. Penggunaan Amazon EMR membantu Salesforce mengurangi kerumitan dalam mengelola kerangka kerja big data-nya dan menyediakan integrasi native untuk Instans Spot Amazon EC2 yang membantu perusahaan memanfaatkan kapasitas Amazon EC2 yang tidak terpakai di cloud.

Tim mengidentifikasi beban kerjanya yang berjalan di Apache Spark sebagai kandidat yang baik untuk penggunaan Instans Spot sebagai bagian dari strategi pengoptimalan biaya. Apache Spark di Amazon EMR menghadirkan percobaan ulang otomatis yang membantu memberikan ketahanan jika terjadi klaim ulang Instans Spot karena persyaratan kapasitas Amazon EC2. Selain itu, Tim UIP menggunakan Spark Streaming untuk memproses data dalam interval 5 menit, dan ini adalah faktor lain yang membantu meminimalkan kemungkinan untuk melakukan percobaan ulang.

Untuk menemukan ketersediaan terbaik dengan harga terendah, Salesforce UIP bereksperimen menggunakan Instans Spot bersama opsi pembelian Amazon EC2 lainnya. Salesforce UIP menjalankan skenario di berbagai persentase Instans Spot dan Instans Sesuai Permintaan Amazon EC2 agar perusahaan dapat untuk hanya membayar kapasitas komputasi per detik tanpa komitmen jangka panjang dan memiliki kontrol penuh atas siklus hidup instans. Untuk Instans Sesuai Permintaannya, Salesforce UIP menggunakan Savings Plans, suatu model penetapan harga fleksibel yang menawarkan harga lebih rendah dibandingkan dengan harga Sesuai Permintaan, sebagai imbalan atas komitmen penggunaan khusus. Dalam upaya menyeimbangkan keandalan klaster dengan diskon instans, tim UIP mengidentifikasi konfigurasi optimal dengan 60 persen penggunaan Amazon EC2 yang memanfaatkan Instans Spot dan sisanya menggunakan cakupan Savings Plans. Untuk memenuhi perjanjian tingkat layanan (SLA), Salesforce UIP menciptakan armadanya dengan mempertimbangkan performa. Strategi ini membagi beban kerja menjadi klaster SLA dan non-SLA bergantung pada karakteristik prosesor serta kemampuan dalam memenuhi persyaratan waktu SLA. “Dalam hal membangun armada kami, saya pikir manfaat sebenarnya di sini ialah berapa banyak jenis instans yang dapat Anda gunakan,” kata Eric Legault, principal engineer di Salesforce. “Menggunakan AWS membantu kami bermain dengan berbagai konfigurasi mesin dan mencoba berbagai skenario. Ini hanya masalah mengubah konfigurasi dan beberapa jam kemudian kita bisa melihat apakah konfigurasi yang diimplementasikan benar-benar bekerja atau tidak. Jadi, saya pikir inilah faktor keberhasilannya.”

Sejalan dengan praktik terbaik AWS untuk penggunaan Instans Spot, tim mengembangkan stabilitas tambahan ke dalam armadanya dengan memindahkan dari dua atau tiga jenis instans ke 27 jenis instans sambil mempertahankan kapasitas yang sama. Tim UIP menjalankan 12 klaster khusus untuk tujuan yang berbeda menggunakan jenis instans yang dioptimalkan untuk CPU, memori, atau beban kerja yang seimbang dan menampilkan campuran prosesor Intel dan AMD. “Makin banyak jenis instans yang Anda miliki, maka makin tangguh pula klaster Anda,” kata Legault.

Kini, Salesforce UIP memproses 200-250 TB sehari dan menulis sekitar dua kali lipat jumlah data dengan biaya yang hampir setara untuk memproses 100 TB. Dengan merancang ulang pemrosesan penyerapan ke pendekatan streaming dan menggunakan instans Spot untuk meningkatkan infrastruktur sekaligus mengontrol biaya, tim juga berhasil meningkatkan efisiensi pemrosesan, mengurangi waktu penyerapan, dan memproses data dari semula 4 jam menjadi hanya 15 menit. Untuk memberikan visibilitas yang lebih besar ke dalam metrik komputasinya, Salesforce menggunakan Amazon CloudWatch, suatu layanan pemantauan dan observabilitas sumber daya AWS. Tim memonitor aplikasi menggunakan dasbor khusus yang dibuat menggunakan perangkat lunak sumber terbuka Grafana yang menyediakan visualisasi untuk metrik operasional.

Solusi UIP Salesforce juga menggunakan Amazon EMR Managed Scaling yang secara otomatis mengubah ukuran klaster agar bisa menghasilkan performa terbaik dengan biaya serendah mungkin. Untuk mengimbangi kemungkinan reklamasi Instans Spot, Salesforce membiarkan klasternya untuk melakukan skala sekitar 5 persen dari kapasitas. Kapasitas tambahan berarti pemrosesan yang lebih cepat untuk memberikan lebih banyak ketersediaan dan stabilitas di klaster jika diperlukan. “Menurut saya itulah manfaat sebenarnya, yakni kita dapat menskalakan lebih tinggi dan menurunkan skala ketika kapasitas tidak diperlukan,” ujar Legault. “Proses ini juga menangani apa pun yang keluar, dalam hal reklamasi.” Selain itu, penggunaan kemampuan baru dalam Amazon EMR Managed Scaling mencegah UIP Salesforce menurunkan skala instans yang menyimpan data pengacakan perantara untuk Apache Spark, yang menghasilkan performa lebih baik dan biaya lebih rendah.

Penggabungan Instans Spot dari Salesforce UIP melengkapi penggunaan Savings Plan dan menurunkan biaya komputasi hingga lebih dari 60 persen sehingga menghemat lebih dari 1 juta USD per bulan bagi perusahaan. Selain dua klaster yang berjalan penuh waktu, tim UIP dapat meningkatkan skala klaster ketiga secara efektif jika diperlukan untuk mengakomodasi masuknya data secara tiba-tiba. Penggunaan Instans Spot oleh tim UIP untuk menangani peningkatan skala juga membantu menurunkan biaya di area Salesforce lainnya sehingga membebaskan instans Savings Plan yang dapat digunakan tim lain untuk mengurangi biaya selama periode puncak.

Sebagai bagian dari proses pengoptimalan, tim UIP menggunakan penasihat Instans Spot yang membantu perusahaan menentukan kumpulan dengan kemungkinan gangguan paling kecil dan memberikan penghematan dibandingkan tarif Sesuai Permintaan. Tim ingin dapat mengembangkan lebih banyak kecerdasan ke dalam manajemen armada dinamis menggunakan skor penempatan Spot Amazon EC2 yang dapat merekomendasikan, hampir mendekati waktu nyata, Wilayah AWS atau Availability Zone berdasarkan persyaratan Salesforce. Dengan menggunakan skor penempatan Spot Amazon EC2, tim UIP berencana untuk menemukan kapasitas yang lebih besar dan harga yang lebih rendah seiring berkembangnya tim di seluruh Wilayah AWS. “Kami menggunakan kapasitas cloud dan berbagai jenis instans Amazon EC2 untuk melakukan hal-hal yang tidak dapat kami lakukan di lokasi,” kata Legault. “Amazon EMR Managed Scaling memainkan peran besar dalam kemampuan kami menggunakan kemampuan elastis cloud. Kami juga secara signifikan mampu mengurangi biaya hanya dengan menggunakan Instans Spot dengan cara yang inovatif.”