Finch Computing Mengurangi Biaya Inferensi Sebesar 80% Menggunakan AWS Inferentia untuk Penerjemahan Bahasa

Finch—kombinasi kata “find (temukan)” dan “search (cari)”—melayani perusahaan media dan agregator data, organisasi intelijen dan pemerintah AS, serta perusahaan layanan keuangan melalui beberapa kantornya yang berlokasi di Reston, Virginia, dan Dayton, Ohio. Produknya berpusat di seputar NLP, yang merupakan subset dari kecerdasan buatan yang melatih model untuk memahami nuansa bahasa manusia, seperti mengartikan nada dan maksud. Produknya, Finch for Text, menggunakan komputasi paralel machine learning (ML) padat yang mengandalkan komputasi performa tinggi dan dipercepat sehingga dapat memberikan wawasan aset informasi mereka yang hampir mendekati waktu nyata kepada pelanggan. Misalnya, fitur disambiguasi entitasnya memungkinkan pelanggan untuk menginterpretasikan arti yang benar dari sebuah kata yang memiliki banyak arti atau ejaan.

Finch memperluas kemampuannya untuk mendukung bahasa Belanda, yang memicu gagasan bahwa Finch perlu menskalakan lebih jauh agar dapat juga menyertakan bahasa Prancis, Jerman, Spanyol, dan bahasa lainnya. Keputusan ini sangatlah penting bukan hanya karena klien Finch memiliki banyak konten dalam bahasa tersebut, tetapi juga karena model yang dapat mendukung bahasa tambahan mampu menarik pelanggan baru. Finch harus mencari cara untuk memproses data tambahan dalam jumlah besar tanpa memengaruhi throughput atau waktu respons, faktor penting bagi kliennya, atau meningkatkan biaya deployment.

Di AWS Re:Invent 2021, konferensi tahunan yang diselenggarakan oleh AWS untuk komunitas komputasi cloud global, perwakilan Finch mempelajari instans berbasis AWS Inferentia di Amazon Elastic Compute Cloud (Amazon EC2), yang menawarkan kapasitas komputasi yang aman dan dapat diubah ukurannya untuk hampir semua beban kerja. AWS memperkenalkan Finch kepada Partner AWS, yaitu Slalom, sebuah perusahaan konsultan yang berfokus pada strategi, teknologi, dan transformasi bisnis. Selama 2 bulan setelah konferensi tahunan AWS re:Invent, anggota tim Slalom dan Finch bekerja untuk membangun solusi hemat biaya. “Selain mendapatkan panduan dari tim AWS, kami terhubung dengan Slalom yang membantu kami mengoptimalkan beban kerja kami dan mempercepat proyek ini,” kata Scott Lightner, pendiri sekaligus kepala staf teknologi Finch.

Finch dan Slalom bersama-sama membangun solusi yang mengoptimalkan penggunaan Instans Inf1 Amazon EC2 berbasis AWS Inferentia yang memberikan inferensi ML performa tinggi dengan biaya rendah di cloud. “Mengingat mahalnya biaya GPU, kami tidak dapat menawarkan bahasa tambahan kepada pelanggan kami sekaligus menjaga produk kami tetap menghasilkan laba,” kata Lightner. “Instans Inf1 Amazon EC2 membantu kami meraih kedua hal tersebut secara bersamaan.”

Model terjemahan deep learning milik perusahaan berjalan di PyTorch di AWS, sebuah kerangka kerja deep learning open-source yang mempermudah pengembangan model ML dan deployment model ML ke produksi. Finch menggunakan Docker untuk melakukan kontainerisasi dan deployment model PyTorch-nya. Finch memigrasikan model berat komputasi ini dari instans berbasis GPU ke Instans Inf1 Amazon EC2 yang didukung oleh AWS Inferentia. Instans Inf1 Amazon EC2 dibangun untuk mempercepat serangkaian model yang beragam, mulai dari visi komputer hingga NLP. Tim dapat membangun solusi yang menggabungkan ukuran model dan mempertahankan throughput yang sama seperti saat menggunakan GPU, tetapi dengan biaya yang jauh lebih rendah. “Dengan menggunakan AWS Inferentia, kami dapat memperoleh throughput dan performa yang dibutuhkan di titik harga yang dapat dijangkau oleh daya beli pelanggan kami,” kata Lightner.

Strategi ini melibatkan deployment kontainer Docker ke Amazon Elastic Container Service (Amazon ECS), sebuah layanan orkestrasi kontainer terkelola penuh yang memudahkan organisasi untuk melakukan deployment, mengelola, dan menskalakan aplikasi dalam kontainer. Solusi ini menggabungkan AWS Deep Learning AMI (DLAMI), lingkungan yang telah dikonfigurasi sebelumnya untuk membangun aplikasi deep learning dengan cepat. Finch menyambungkan AMI AWS Inferentia ke pipeline DevOps dan memperbarui templat infrastruktur sebagai kode agar dapat menggunakan AWS Inferentia untuk menjalankan kontainer khusus menggunakan Amazon ECS. “Setelah pipeline DevOps kami berjalan di Instans Inf1 Amazon EC2 dan Amazon ECS, kami dapat dengan cepat melakukan deployment lebih banyak model deep learning,” kata Franz Weckesser, kepala bagian arsitek di Finch. Bahkan, Finch membangun model untuk mendukung bahasa Ukraina hanya dalam 2 hari. Dalam beberapa bulan, Finch telah melakukan deployment tiga model ML—mendukung NLP dalam bahasa Jerman, Prancis, dan Spanyol—dan meningkatkan performa model bahasa Belanda yang sudah ada.

Dengan menggunakan Instans Inf1 Amazon EC2, perusahaan meningkatkan kecepatan pengembangan produk baru ini sekaligus mengurangi biaya inferensi lebih dari 80 persen. Penambahan model baru menarik minat pelanggan yang tertarik untuk mendapatkan wawasan dari bahasa tambahan serta menerima umpan balik positif dari pelanggan lama. “Selalu ada tantangan dalam membuat perubahan menyeluruh pada infrastruktur,” kata Lightner. “Namun, kami dapat dengan cepat mengatasinya berkat ketekunan tim kami dan juga bantuan dari Slalom dan AWS. Hasil akhirnya sangatlah memuaskan.”

Finch ingin terus memigrasikan lebih banyak model ke AWS Inferentia. Model ini termasuk Sentiment Assignment yang mengidentifikasi sebuah konten sebagai positif, negatif, atau netral, serta fitur baru yang disebut Relationship Extraction, sebuah aplikasi intensif komputasi yang menemukan hubungan antara entitas yang disebutkan dalam teks. Finch juga terus menambahkan bahasa baru, dan rencana berikutnya adalah menambahkan bahasa Arab, Mandarin, dan Rusia. “Pengalaman kami bekerja di AWS Inferentia sangatlah bagus,” kata Lightner. “Sungguh luar biasa memiliki penyedia cloud yang bekerja bersama kami dan membantu kami menskalakan seiring pertumbuhan bisnis kami.”