Autodesk Membangun Solusi Analitik Log Terpadu di AWS untuk Mendapatkan Wawasan Baru

Autodesk, penyedia perangkat lunak desain dan rekayasa 3D terkemuka, ingin melakukan lebih dari sekadar membuat dan menghadirkan perangkat lunak. Autodesk juga ingin memastikan agar jutaan pengguna globalnya memiliki pengalaman terbaik dalam menjalankan perangkat lunak tersebut. Untuk mewujudkannya, Autodesk perlu memantau dan memperbaiki masalah perangkat lunak secepat mungkin. Akan tetapi, melakukan hal ini bukanlah hal mudah, karena solusi log aplikasi data perusahaan sebelumnya kesulitan untuk mengimbangi volume data yang terus meningkat dan perlu dianalisis dan disimpan.

Solusi ini menyerap 2 TB data setiap hari, jumlah yang diharapkan terus meningkat hingga 10 TB dalam beberapa tahun ke depan. “Kami memiliki beberapa masalah kinerja terkait dengan solusi tersebut, yang menyulitkan kami untuk mendeteksi masalah dengan cepat,” kata Tommy Li, arsitek perangkat lunak senior di Autodesk. “Kami memerlukan kemampuan untuk memantau data insiden pencatatan data log dalam waktu nyata, agar kami dapat menjawab pertanyaan pelanggan dengan lebih cepat.”

Autodesk juga didorong oleh departemen keuangannya untuk menemukan solusi pencatatan data log yang lebih terjangkau. “Kami memiliki tim kecil, dan kami ingin mencari solusi yang akan memudahkan pengelolaan data log sekaligus menghemat biaya,” ujar Li.

Pada akhirnya, kami meningkatkan produk perangkat lunak kami dan menawarkan layanan lebih baik kepada pelanggan karena visibilitas waktu nyata yang kami sertakan pada data log.”

Tommy Li, Arsitek Perangkat Lunak Senior, Autodesk

  • Tentang Autodesk

  • Berkantor pusat di San Rafael, California, Autodesk adalah perusahaan perangkat lunak yang menciptakan produk bagi industri arsitektur, rekayasa, konstruksi, manufaktur, media, dan hiburan. Perangkat lunak milik perusahaan tersebut termasuk AutoCAD dan solusi 3D.

  • Manfaat
    • Menemukan dan memperbaiki masalah aplikasi lebih cepat melalui analisis data secara waktu nyata
    • Meningkatkan waktu rata-rata untuk mendeteksi dan memulihkan
    • Membangun solusi analisis log data perusahaan menggunakan tim IT kecil
  • Layanan AWS yang Digunakan

Membuat Solusi Data Log Terpadu yang Terkelola Penuh di AWS

Untuk meningkatkan kemampuan analisis log-nya untuk analisis akar masalah, Autodesk meneliti penyusunan solusi data log terpadu berbasis cloud dengan memanfaatkan Amazon Web Services (AWS). “Kami telah menggunakan layanan AWS untuk beragam fungsi internal di Autodesk, dan kami ingin memperluas penggunaan tersebut dengan mengembangkan sistem logging terpadu,” ungkap Li.

Amazon Data Firehose bertindak sebagai lapisan transportasi data untuk data logging, dan Layanan Terkelola Amazon untuk Apache Flink digunakan untuk membuka metrik pemantauan waktu nyata seperti lonjakan waktu respons dan tingkat kesalahan. Setelah data logging melewati jalur ini, data tersebut dikirimkan ke Amazon CloudWatch untuk metrik tambahan yang ditampilkan dalam dasbor standar di seluruh bisnis. Metrik ini mencakup ringkasan lalu lintas keseluruhan, termasuk waktu respons, kesalahan, dan permintaan total; metrik API, seperti persentil waktu respons, jumlah permintaan yang berhasil, dan jumlah permintaan gagal; CPU, jaringan, dan disk untuk tiap CPU; serta metrik Amazon CloudWatch untuk layanan AWS.

Di waktu yang bersamaan, Amazon Data Firehose mengirimkan data log ke Amazon OpenSearch Service, layanan terkelola yang memudahkan Anda untuk melakukan analitik log interaktif, pemantauan aplikasi waktu nyata, pencarian situs web, dan lainnya. “[Amazon OpenSearch Service] memungkinkan terjadinya aktivitas forensik data dan membantu menemukan serta memperbaiki masalah aplikasi dengan lebih cepat,” ujar Li. Amazon Athena memberikan kueri analitik interaktif yang lebih mendalam dan AWS X-Ray memberikan peralatan untuk menganalisis data pelacakan. Selain itu, alat visualisasi data sumber terbuka Kibana, yang terintegrasi dengan Amazon OpenSearch Service, mendorong dasbor untuk memantau data dalam waktu nyata.

Menemukan dan Memperbaiki Masalah Lebih Cepat dari Sebelumnya

Solusi logging terpadu yang dibangun di Amazon OpenSearch Service memberikan visibilitas yang lebih baik ke dalam log data dengan lebih cepat. “[Amazon OpenSearch Service] memungkinkan cara yang lebih konsisten untuk mengumpulkan dan mengukur data logging secara waktu nyata,” kata Li. “Layanan ini memberikan analisis data mendalam yang memungkinkan korelasi lebih baik antara peristiwa-peristiwa pencatatan log, yang memberikan jawaban untuk masalah aplikasi dengan lebih cepat.” Misalnya, tim Autodesk membuat dasbor yang mengidentifikasi tren dan pola untuk anomali yang dapat membantu menyusun korelasi secara cepat dengan catatan log terperinci untuk forensik terperinci.

Secara khusus, Autodesk memungkinkan analisis forensik yang lebih baik, menggunakan data instrumentasi untuk mendeteksi dan memperbaiki kesalahan untuk meningkatkan waktu pemulihan rata-rata secara keseluruhan. Perusahaan dapat mendeteksi anomali penggunaan API seperti tingkat kesalahan dan peningkatan waktu respons. Peringatan Amazon CloudWatch menyingkat waktu rata-rata untuk mendeteksi dan waktu untuk menghubungi tim respons insiden.

Perusahaan juga ingin mendapatkan wawasan lebih dalam dari data analitisnya untuk meningkatkan perangkat lunak dan layanan pelanggannya. Pada akhirnya, kami meningkatkan produk perangkat lunak kami dan menawarkan layanan lebih baik kepada pelanggan karena visibilitas waktu nyata yang kami dapatkan berkat data log,” ujar Li.

Bekerja bersama AWS, Autodesk membangun kemampuan analitik log yang sangat mudah diskalakan yang mengurangi biaya solusi secara keseluruhan.

Meruntuhkan Silo Data

Dengan memindahkan manajemen arsitektur dan klaster Elasticsearch ke AWS, Autodesk dapat membangun solusi pencatatan data log terpadunya dengan mudah. “Walaupun tim IT kami hanya terdiri dari beberapa orang, kami dapat mengembangkan dan mengelola solusi pencatatan data log yang kuat dengan mengizinkan AWS menangani teknologinya,” kata Li. “Hasilnya, kami tidak perlu lagi menggunakan sumber daya kami untuk mengelola infrastruktur utama, dan kami dapat menskalakan solusi sesuai kebutuhan untuk mendukung pertumbuhan volume pencatatan data log.”

Autodesk kini memiliki solusi yang menyediakan tampilan panel tunggal tentang pencatatan data log seperti kinerja dan waktu henti aplikasi.

“Kami tidak lagi memiliki silo data karena beragam tim menggunakan solusi pencatatan data log,” kata Li. “Semua orang dapat mengakses tampilan yang sama dengan solusi AWS, yang artinya semua orang menerima wawasan yang diperbarui ke status keseluruhan platform. Dan menggunakan dasbor Kibana, kami dapat menciptakan kosakata umum yang dapat kami semua gunakan untuk mendiagnosis masalah. Secara keseluruhan, sebagai perusahaan, kami dapat melakukan pendekatan yang lebih terpadu untuk menemukan dan memperbaiki masalah.”

Pelajari Selengkapnya

Pelajari selengkapnya tentang big data on AWS.