Amazon Robotics Menggunakan Amazon SageMaker dan AWS Inferentia untuk Mengaktifkan Inferensi ML dalam Skala Besar

Amazon Robotics menggunakan perangkat lunak dan mesinnya untuk mengotomatiskan aliran inventaris di pusat pemenuhan pesanan Amazon. Ada tiga komponen fisik utama sistem perusahaan: unit rak bergerak, robot, dan tempat kerja karyawan. Robot mengirimkan unit rak bergerak ke tempat kerja, dan karyawan memasukkan inventaris (menyimpan) atau mengeluarkannya (mengambil). “Alur kerja penyimpanan dan pengambilan kami yang ada terkadang dapat membuat hambatan untuk pemrosesan hilir,” kata Eli Gallaudet, manajer perangkat lunak senior (senior software manager) di Amazon Robotics. “Pada tahun 2017, kami memulai inisiatif untuk mencari cara membuat beberapa alur kerja tersebut menjadi lebih sederhana.”

Mencari untuk mengurangi pemindaian bin yang memakan waktu, Amazon Robotics membangun Intent Detection System, sistem visi komputer berbasis deep learning yang dilatih pada jutaan contoh video tindakan penyimpanan. Perusahaan ingin melatih sistem untuk secara otomatis mengidentifikasi di mana rekanan menempatkan barang inventaris. Setelah mengetahui perlunya komputasi cloud untuk melakukan deployment model deep learning ke pusat pemenuhan Amazon, Amazon Robotics beralih ke AWS. Tim men-deploy modelnya ke kontainer Docker, meng-hosting-nya dengan menggunakan Amazon Elastic Container Service (Amazon ECS), sebuah layanan orkestrasi kontainer yang terkelola penuh.

Setelah tim mengumpulkan cukup banyak contoh video tentang tindakan penyimpanan, tim bereksperimen dengan menerapkan arsitektur model ke set data video beranotasi besar. Setelah beberapa iterasi, tim mulai bisa membiarkan model yang di-deploy mengotomatiskan proses.

Meskipun Amazon Robotics dapat memanfaatkan banyak sumber daya komputasi di AWS, perusahaan masih harus menangani hosting sendiri. Ketika AWS mengumumkan rilis Amazon SageMaker di AWS re:Invent 2017, Amazon Robotics dengan cepat mengadopsinya, menghindari kebutuhan untuk membangun solusi hosting sendiri yang mahal. Amazon Robotics adalah perusahaan pertama yang men-deploy ke Amazon SageMaker dalam skala besar dan tetap menjadi salah satu deployment terbesar pada Januari 2021.

Pada awalnya tim menggunakan Amazon SageMaker untuk meng-host model. Amazon Robotics mengadaptasi penggunaan layanannya sesuai kebutuhan, awalnya menggunakan arsitektur hybrid dan menjalankan beberapa algoritme di lokasi dan beberapa di cloud. “Kami membangun serangkaian fungsi inti yang memungkinkan kami menghadirkan Intent Detection System,” kata Tim Stallman, manajer perangkat lunak senior (senior software manager) di Amazon Robotics. “Ketika fitur Amazon SageMaker online, kami kemudian perlahan mulai mengadopsinya.” Misalnya, tim mengadopsi Amazon SageMaker Experiments—kemampuan yang memungkinkan tim untuk mengatur, melacak, membandingkan, dan mengevaluasi eksperimen ML serta versi model.

Amazon Robotics juga menggunakan penskalaan otomatis Amazon SageMaker. Amazon SageMaker tidak hanya mengelola host yang kami gunakan untuk membuat inferensi. “Ini juga secara otomatis menambah atau menghapus host sesuai kebutuhan untuk mendukung beban kerja.” Karena tidak perlu mengadakan atau mengelola armadanya sendiri yang memiliki lebih dari 500 GPU, perusahaan telah menghemat biaya inferensi hampir 50 persen.

Amazon Robotics telah mendapatkan kesuksesan yang cukup besar. Perusahaan telah menggunakan Amazon SageMaker untuk mengurangi waktu yang dihabiskan untuk manajemen dan untuk menyeimbangkan rasio ilmuwan dengan insinyur pengembangan perangkat lunak. Amazon SageMaker juga memungkinkan sistem untuk menskalakan secara horizontal selama peluncurannya di seluruh jaringan pemenuhan Amazon—dan tim yakin bahwa Amazon SageMaker dapat menangani permintaan inferensi puncaknya.

Solusi ini didukung oleh Amazon Elastic Compute Cloud (Amazon EC2), yang menyediakan kapasitas komputasi yang aman dan dapat diubah ukurannya di cloud dan memungkinkan pengguna untuk dengan cepat memigrasikan jenis host saat jenis host yang lebih baru tersedia. Tim Amazon Robotics dapat mengurangi biaya inferensi mereka hingga 20 persen dengan memigrasikan dari Instans P2 Amazon EC2 ke Instans G4 Amazon EC2. Kini, dengan memanfaatkan AWS Inferentia, tim Amazon Robotics dapat mengurangi lebih banyak biaya inferensi hingga 35 persen di atas instans G4 (pengurangan lebih dari 50 persen dari instans P2) dan Inferentia telah menghasilkan throughput 20 persen lebih tinggi, yang memungkinkan untuk memindai lebih banyak kemasan sehari tanpa memerlukan sumber daya lain. “Sistem kami akan menggunakan lebih dari 1000 host SageMaker pada tahun 2022 dan AWS Inferentia membantu kami melayani lalu lintas yang berkembang cepat dengan throughput yang lebih tinggi tanpa melatih ulang model ML kami,” kata Pei Wang, insinyur perangkat lunak (software engineer) di Amazon Robotics.

Solusi yang didukung oleh Amazon SageMaker berkembang pesat setelah deployment awalnya. Tim Amazon Robotics mulai menerapkan solusi dalam skala kecil di pusat pemenuhan di Wisconsin dan dengan cepat berkembang ke puluhan lainnya. Seiring berkembangnya solusi, Amazon SageMaker dapat menskalakan dengan cepat dan mulus. “Kami memperkirakan peningkatan volume hampir dua kali lipat pada tahun 2022,” kata Gallaudet.

Tim melihat banyak peluang lain untuk bereksperimen di AWS, termasuk menjalankan modelnya di edge menggunakan Amazon SageMaker Edge Manager, yang secara efisien mengelola dan memantau model ML di seluruh armada perangkat pintar. Amazon Robotics juga berencana membangun model yang dapat lebih mengotomatiskan pelacakan paket dan membantu mengotomatiskan penilaian kerusakan paket.

Dengan bereksperimen dengan teknologi mutakhir, Amazon Robotics terus meningkatkan efisiensi di pusat pemenuhan dan meningkatkan pengalaman pelanggan Amazon. “Banyak teknik yang telah kami pelajari dan pengalaman yang kami miliki dengan Intent Detection System telah secara langsung memungkinkan kami untuk bergerak cepat dalam proyek ini,” kata Stallman.