Amazon Robotics, Amazon SageMaker와 AWS Inferentia를 사용하여 대규모 기계 학습 추론 지원

Amazon Robotics는 소프트웨어와 기계를 사용하여 Amazon 주문 처리 센터의 인벤토리 흐름을 자동화합니다. 회사 시스템에는 이동식 선반, 로봇, 직원 워크스테이션의 세 가지 주요 물리적 구성 요소가 있습니다. 로봇은 이동식 선반 유닛을 스테이션에 전달하고 직원은 인벤토리를 넣거나(수납) 꺼냅니다(꺼내기). Amazon Robotics의 선임 소프트웨어 관리자인 Eli Gallaudet은 "기존의 수납 및 꺼내기 워크플로는 다운스트림 처리에 병목 현상을 일으키기도 합니다."라고 말합니다. "2017년에 저희는 이러한 워크플로 중 일부를 더 간단하게 만드는 방법을 알아내기 위한 이니셔티브를 시작했습니다."

시간이 많이 걸리는 보관함 스캔을 줄이기 위해 Amazon Robotics는 수백만 개의 수납 작업 동영상 예에 대한 훈련을 받은 딥 러닝 기반 컴퓨터 비전 시스템인 의도 감지 시스템을 구축했습니다. Amazon Robotics는 직원이 인벤토리 항목을 배치하는 위치를 자동으로 식별하도록 시스템을 훈련하고자 했습니다. 딥 러닝 모델을 Amazon 주문 처리 센터에 배포하려면 클라우드 컴퓨팅이 필요하다는 사실을 깨닫고 Amazon Robotics는 AWS로 눈을 돌렸습니다. 팀에서는 모델을 Docker 컨테이너에 배포하고 완전관리형 컨테이너 오케스트레이션 서비스인 Amazon Elastic Container Service(Amazon ECS)를 사용하여 모델을 호스팅했습니다.

팀이 수납 작업의 동영상 예를 충분히 수집한 후에는 주석이 달린 대규모 동영상 데이터 세트에 모델 아키텍처를 적용하는 실험을 했습니다. 여러 번 반복 후 팀은 배포된 모델이 프로세스를 자동화하도록 할 수 있었습니다.

Amazon Robotics는 AWS의 풍부한 컴퓨팅 리소스를 활용할 수 있었지만 여전히 자체 호스팅을 처리해야 했습니다. AWS가 AWS re:Invent 2017에서 Amazon SageMaker의 출시를 발표했을 때 Amazon Robotics는 비용이 많이 드는 자체 호스팅 솔루션을 구축할 필요가 없게 신속하게 이를 채택했습니다. Amazon Robotics는 Amazon SageMaker에 대규모로 배포한 최초의 회사였으며 이는 2021년 1월 현재 가장 큰 배포 중 하나입니다.

처음에 Amazon Robotics 팀은 Amazon SageMaker를 사용하여 모델을 호스팅했습니다. Amazon Robotics는 처음에는 하이브리드 아키텍처를 사용하고 일부 알고리즘을 온프레미스에서 실행하고 일부는 클라우드에서 실행하여 필요에 따라 서비스 사용을 조정했습니다. Amazon Robotics의 선임 소프트웨어 관리자인 Tim Stallman은 "저희는 의도 감지 시스템을 제공할 수 있는 핵심 기능 집합을 구축했습니다."라고 말합니다. "그런 다음 Amazon SageMaker 기능이 온라인으로 제공되면서 천천히 이들을 채택하기 시작했습니다." 예를 들어 팀은 기계 학습 실험 및 모델 버전을 구성, 추적, 비교 및 평가할 수 있는 기능인 Amazon SageMaker Experiments를 채택했습니다.

Amazon Robotics는 Amazon SageMaker 자동 크기 조정도 사용했습니다. Gallaudet은 "Amazon SageMaker는 추론에 사용하는 호스트만 관리하는 것이 아닙니다."라고 말합니다. "워크로드를 지원하기 위해 필요에 따라 호스트를 자동으로 추가하거나 제거하기도 합니다." 500개가 넘는 GPU 플릿을 자체적으로 조달하거나 관리할 필요가 없기 때문에 추론 비용을 50% 가까이 절감했습니다.

Amazon Robotics는 상당한 성공을 거두었습니다. Amazon SageMaker를 사용하여 관리에 소요되는 시간을 줄이고 사이언티스트와 소프트웨어 개발 엔지니어 비율의 균형을 맞췄습니다. 또한 Amazon SageMaker 덕분에 Amazon 주문 처리 네트워크 전체에 롤아웃하는 동안 시스템을 수평으로 확장할 수 있었습니다. 팀은 Amazon SageMaker가 최대 추론 수요를 처리할 수 있다고 확신합니다.

클라우드에서 안전하고 크기 조정 가능한 컴퓨팅 용량을 제공하고 사용자가 새로운 호스트 유형을 사용할 수 있게 되면 호스트 유형을 신속하게 마이그레이션할 수 있도록 하는 Amazon Elastic Compute Cloud(Amazon EC2)가 이 솔루션을 지원합니다. Amazon Robotics 팀은 Amazon EC2 P2 인스턴스에서 Amazon EC2 G4 인스턴스로 마이그레이션하여 추론 비용을 20%까지 줄일 수 있었습니다. 이제 Amazon Robotics 팀은 AWS Inferentia를 활용하여 G4 인스턴스 대비 35%(P2 인스턴스보다 50% 이상)까지 추론 비용을 추가로 절감할 수 있습니다. Inferentia는 20% 더 높은 처리량(throughput)을 제공했기 때문에 추가 리소스 없이 하루에 더 많은 패키지를 스캔할 수 있었습니다. Amazon Robotics의 소프트웨어 엔지니어인 Pei Wang은 “2022년에는 1,000개 이상의 SageMaker 호스트가 시스템에 사용될 것입니다. AWS Inferentia는 ML 모델의 재훈련 없이 20% 더 높은 처리량(throughput)으로 빠르게 증가하는 트래픽을 처리하는 데 도움이 됩니다”라고 말합니다.

Amazon SageMaker 기반 솔루션은 초기 배포 후 빠르게 성장했습니다. Amazon Robotics 팀은 위스콘신의 주문 처리 센터에서 소규모로 솔루션을 구현하기 시작했고 이후 수십 개로 빠르게 확장했습니다. 솔루션 성장에 따라 Amazon SageMaker도 함께 빠르고 원활하게 확장되었습니다. Gallaudet은 "2022년에는 생산량이 거의 두 배로 증가할 것으로 예상한다"고 말합니다.

팀은 스마트 디바이스 플릿에서 기계 학습 모델을 효율적으로 관리하고 모니터링하는 Amazon SageMaker Edge Manager를 사용하여 엣지에서 모델을 실행하는 등 AWS에서 실험할 수 있는 다른 많은 기회를 엿보고 있습니다. Amazon Robotics는 또한 패키지 추적을 추가로 자동화하고 패키지 손상 평가를 자동화하는 데 도움이 되는 모델을 구축할 것으로 기대합니다.

Amazon Robotics는 최첨단 기술을 실험함으로써 주문 처리 센터의 효율성을 지속적으로 높이고 Amazon 고객 경험을 개선하고 있습니다. Stallman은 "의도 감지 시스템에서 저희가 배운 많은 기술과 경험을 통해 이러한 프로젝트를 신속하게 진행할 수 있었습니다."라고 말합니다.