Infrastruktur AWS Machine Learning

Dari 500 perusahaan versi majalah Fortune hingga perusahaan rintisan, organisasi di berbagai industri semakin mengadopsi machine learning (ML) untuk berbagai kasus penggunaan, termasuk pemrosesan bahasa alami (NLP), penglihatan komputer, asisten suara, deteksi penipuan, dan mesin rekomendasi. Selain itu, model bahasa besar (LLM) yang memiliki ratusan miliar parameter membuka kasus penggunaan AI generatif baru, misalnya, pembuatan gambar dan teks. Dengan pertumbuhan aplikasi ML muncul peningkatan penggunaan, manajemen, dan biaya komputasi, penyimpanan, serta sumber daya jaringan. Mengidentifikasi dan memilih infrastruktur komputasi yang tepat sangat penting untuk mengurangi konsumsi daya yang tinggi, menurunkan biaya yang berlebihan, dan menghindari kompleksitas selama pelatihan dan deployment model ML untuk produksi. Untuk membantu Anda mempercepat inovasi ML, AWS menawarkan kombinasi ideal alat dan akselerator ML beperforma tinggi, hemat biaya, dan dibuat khusus serta dioptimalkan untuk aplikasi ML.

Manfaat

Mudah digunakan

Akselerator ML yang dibuat khusus untuk tujuan akses seperti AWS Trainium dan AWS Inferentia untuk melatih dan melakukan deployment model fondasi (FM) dan mengintegrasikannya ke dalam aplikasi Anda menggunakan layanan yang dikelola AWS seperti Amazon SageMaker dan Amazon Bedrock. SageMaker memberi ilmuwan data dan developer ML model fondasi terlatih yang dapat sepenuhnya disesuaikan untuk kasus penggunaan dan data spesifik Anda, dan dilakukan deployment ke dalam produksi. Bedrock memberi pelanggan pengalaman nirserver untuk membangun aplikasi AI generatif menggunakan FM melalui API.

Pelajari selengkapnya »

Performa tinggi

Anda dapat memberdayakan aplikasi ML Anda dengan infrastruktur ML beperforma tertinggi dari AWS. Instans Amazon EC2 P4d dan Amazon EC2 Trn1 ideal untuk pelatihan ML performa tinggi. Untuk inferensi, instans Amazon EC2 Inf2, yang didukung oleh Inferentia2 generasi kedua menawarkan throughput 4x lebih tinggi dan latensi hingga 10x lebih rendah daripada instans berbasis Inferensia generasi sebelumnya.

Pelajari selengkapnya »

Hemat biaya

Dengan pilihan layanan infrastruktur yang luas, Anda dapat memilih infrastruktur yang tepat sesuai anggaran Anda. Instans Amazon EC2 Trn1 berbasis AWS Trainium memberikan penghematan sebesar 50% untuk biaya pelatihan dan instans Amazon EC2 Inf2 berbasis AWS Inferentia2 memberikan performa harga lebih baik hingga 40% dibandingkan instans Amazon EC2 yang setara. Anda dapat menginvestasikan kembali penghematan biaya ini untuk mempercepat inovasi dan mengembangkan bisnis Anda.

Pelajari selengkapnya »

Berkelanjutan

AWS berkomitmen untuk mencapai tujuan Amazon nol emisi karbon pada tahun 2040. Amazon SageMaker, layanan ML terkelola penuh, menawarkan akselerator ML yang dioptimalkan untuk efisiensi energi dan mengurangi konsumsi daya saat melatih dan melakukan deployment model ML dalam produksi. Instans Amazon EC2 yang didukung oleh akselerator ML, seperti AWS Trainium dan AWS Inferentia2, menawarkan performa per watt hingga 50% lebih baik dibandingkan instans Amazon EC2 lainnya yang setara.

Pelajari selengkapnya »

Dapat Diskalakan

Pelanggan AWS memiliki akses ke komputasi, jaringan, dan penyimpanan yang hampir tidak terbatas sehingga mereka dapat menskalakan. Anda dapat menaikkan atau menurunkan skala sesuai kebutuhan dari satu hingga ribuan akselerator GPU atau ML, dan penyimpanan terabita hingga petabita. Dengan cloud, Anda tidak perlu berinvestasi di semua kemungkinan infrastruktur. Sebagai gantinya, manfaatkan komputasi elastis, penyimpanan, dan jaringan.

Pelajari selengkapnya »

Dukungan untuk Kerangka Kerja ML populer

Instans komputasi AWS mendukung kerangka kerja ML utama, seperti TensorFlow dan PyTorch. Instans ini juga mendukung model pustaka dan kit alat seperti Hugging Face untuk berbagai kasus penggunaan ML. AMI AWS Deep Learning (AWS DLAMI) dan Kontainer AWS Deep Learning (AWS DLC) telah diinstal sebelumnya dengan optimisasi untuk kerangka kerja dan kit alat ML guna mempercepat deep learning di cloud.

Pelajari selengkapnya »

Kisah sukses

Pepperstone
Pepperstone menggunakan infrastruktur ML AWS untuk memberikan pengalaman trading global tanpa hambatan bagi lebih dari 40.000 pengunjung unik setiap bulannya. Mereka menggunakan Amazon SageMaker untuk mengotomatiskan pembuatan dan deployment model ML. Dengan beralih ke SageMaker, mereka dapat mengurangi friksi antara DevOps dan tim ilmu data serta menurunkan waktu pelatihan model ML dari 180 jam menjadi 4,3 jam.

Baca studi kasus »
Finch Computing
Finch Computing menggunakan AWS Inferentia dengan PyTorch di AWS untuk membangun model ML guna melakukan tugas NLP, seperti penerjemahan bahasa dan disambiguasi entitas sehingga mengurangi biaya inferensi mereka lebih dari 80% dibandingkan dengan GPU.

Baca studi kasus »
Amazon Robotics
Amazon Robotics menggunakan Amazon SageMaker untuk mengembangkan model machine learning canggih yang menggantikan pemindaian manual di pusat pemenuhan pesanan Amazon. Amazon Robotics menggunakan Amazon SageMaker dan AWS Inferentia untuk mengurangi biaya inferensi hampir 50 persen

Baca studi kasus »
Money Forward
Money Forward meluncurkan layanan chatbot AI skala besar di instans Inf1 Amazon EC2 dan mengurangi latensi inferensi sebesar 97% dibandingkan instans berbasis GPU yang setara sekaligus mengurangi biaya. Berdasarkan keberhasilan migrasi ke instans Inf1, mereka juga mengevaluasi instans EC2 Trn1 berbasis AWS Trainium untuk meningkatkan performa dan biaya ML menyeluruh.

Pelajari selengkapnya »
Rad AI
Rad AI menggunakan AI untuk mengotomatiskan alur kerja radiologi dan membantu menyederhanakan pelaporan radiologi. Dengan instans Amazon EC2 P4d yang baru, Rad AI melihat inferensi yang lebih cepat dan kemampuan untuk melatih model 2,4x lebih cepat dan dengan akurasi yang lebih tinggi.

Baca studi kasus »
Amazon Alexa
"Kecerdasan berbasis AI dan ML Amazon Alexa, yang didukung Layanan Web Amazon, tersedia di lebih dari 100 juta perangkat saat ini, dan janji kami kepada pelanggan adalah bahwa Alexa selalu menjadi lebih cerdas, lebih komunikatif, lebih proaktif, dan bahkan lebih menyenangkan. Untuk memenuhi janji itu, perlu penyempurnaan berkelanjutan dalam hal waktu respons dan biaya infrastruktur machine learning, karena itulah kami sangat senang menggunakan Amazon EC2 Inf1 untuk menurunkan latensi inferensi dan biaya per inferensi pada teks-ke-ucapan Alexa. Dengan Amazon EC2 Inf1, kami akan mampu membuat layanan menjadi lebih baik bagi puluhan juta pelanggan yang menggunakan Alexa setiap bulan."

Tom Taylor, Senior Vice President – Amazon Alexa
Autodesk
"Autodesk memajukan teknologi kognitif asisten virtual yang didukung AI kami, Autodesk Virtual Agent (AVA) menggunakan Inferentia. AVA menjawab lebih dari 100.000 pertanyaan pelanggan per bulan dengan menerapkan teknik pemahaman bahasa alami (NLU) dan deep learning untuk mengekstrak konteks, tujuan, dan makna di balik pertanyaan. Saat mencoba Inferentia, kami mampu mendapatkan throughput 4,9x lebih tinggi daripada G4dn untuk model NLU, dan kami harap dapat menjalankan lebih banyak beban kerja pada instans Inf1 berbasis Inferentia."

Binghui Ouyang, Sr Data Scientist – Autodesk
Sprinklr
"Sprinklr menyediakan platform manajemen pengalaman pelanggan terpadu (Unified-CXM) yang menggabungkan berbagai aplikasi untuk pemasaran, periklanan, penelitian, layanan pelanggan, penjualan, dan keterlibatan media sosial. Tujuannya adalah selalu mendapatkan latensi yang lebih rendah agar dapat memberikan pengalaman yang lebih baik kepada pelanggan. Dengan Instans Inf1 Amazon EC2, kami dapat mencapai hal itu."

Jamal Mazhar, Vice President of Infrastructure and DevOps – Sprinklr

Baca studi kasus »