Amazon SageMaker 서버리스 추론을 사용하여 기계 학습 추론 비용을 82% 절감한 Bazaarvoice

텍사스 오스틴에 본사가 있고 전 세계에 지사를 둔 Bazaarvoice는 ML을 사용하여 기업 규모의 소매업체 및 브랜드의 콘텐츠 조정을 자동화하고 있습니다. Bazaarvoice는 고객이 제품 페이지를 개선하고 판매를 촉진하는 데 활용할 수 있는 리뷰, 소셜 콘텐츠, 사진 및 동영상을 수집, 배포, 조정합니다. 또한 ML을 활용해 시맨틱 정보로 이러한 콘텐츠를 보강하여 고객이 콘텐츠를 분류하고 통찰력을 얻는 데 도움을 주고 있습니다.

Bazaarvoice는 확장성, 속도, 효율성을 개선하고자 했지만 속도가 느린 구식 ML 솔루션으로 인해 어려움을 겪고 있었습니다. 예를 들어 새 고객을 등록하거나 새 모델을 훈련해야 할 때마다 여러 모델 파일을 수동으로 편집하고 업로드한 다음 시스템이 변경 사항을 등록할 때까지 기다려야 했습니다. 이 프로세스에 약 20분이 걸렸으며 오류가 발생하기 쉬웠습니다. 게다가 이 아키텍처는 회사의 성장 규모를 효율적으로 뒷받침하도록 설계되지 않았습니다. 약 1,600개의 모델을 지원하는 각 시스템마다 1TB의 RAM이 필요했습니다. Bazaarvoice의 Principal Research Engineer인 Lou Kratz는 “비용이 꽤 높았고, 아키텍처가 모놀리스로 구축되어 있어서 자동으로 확장할 수 없었습니다. 자동 확장은 우리의 주요 목표였습니다”라고 밝혔습니다. 민첩성은 Bazaarvoice의 늘어나는 고객을 지원하고 ML 모델을 실험하는 데에도 매우 중요했습니다. Kratz는 “메모리 한계에 걸리지 않고 프로덕션의 모델 수를 10배 늘릴 수 있기를 원했습니다”라고 했습니다.

Bazaarvoice는 자체 서버리스 호스팅 솔루션 구축을 고려했지만 이러한 프로젝트에는 큰 비용과 인력이 들었을 것입니다. 대신에 ML 모델을 간편하게 배포하고 확장할 수 있도록 특별히 구축된 추론 옵션인 Amazon SageMaker 서버리스 추론을 채택하여 운영 부담을 줄였습니다. Bazaarvoice의 Senior ML Engineer인 Edgar Trujillo는 “이 프로젝트는 모델 배포를 통합하게 된 발단이었습니다”라고 말합니다. 2021년 12월부터 새 시스템으로 트래픽을 보내기 시작했고, 2022년 2월에는 새 시스템이 모든 프로덕션 트래픽을 처리하게 되었습니다.

서버리스 추론을 사용하면서 모델을 배포한 후 모델에 트래픽이 많을 때 전용 엔드포인트로 간단하게 이동할 수 있게 되었습니다. 그 결과 처리량을 개선한 동시에 비용을 절감했습니다. 1만 2,000개의 고객사에서 모든 모델을 서버리스 추론으로 마이그레이션하여 ML 추론 비용을 82% 절감했습니다. Bazaarvoice는 매월 수백만 개의 콘텐츠를 분석하고 보강하는데, 그에 따라 SageMaker에 매월 수천만 건의 호출, 즉 초당 약 30건의 추론 호출이 발생합니다. 그러나 대부분의 ML 모델은 클라이언트의 호출이 몇 분에 한 번 꼴이므로 전용 리소스를 할당하는 것은 합리적이지 않습니다. Kratz는 “고가의 대규모 모델을 위한 전용 호스트와 사용 빈도가 낮은 모델을 위한 저렴한 옵션 간에 전환할 수 있는 유연성이 필요했습니다”라고 했습니다. 서버리스 추론을 사용하면서 수요에 맞춰 원활하게 스케일 업과 스케일 다운을 수행함으로써 효율성을 높이고 비용을 절감할 수 있게 되었습니다. Kratz는 “우리에게 가장 큰 이점은 서버를 관리하거나 사용하지 않는 컴퓨팅 시간에 대해 비용을 지불할 필요가 없다는 것입니다. 그리고 들어오는 모든 콘텐츠를 제때에 처리할 수 있기 때문에 고객은 시기적절하게 조정되고 보강된 콘텐츠를 확인할 수 있습니다”라고 말합니다.

Bazaarvoice가 콘텐츠를 더 빠르게 전달함에 따라 고객은 새로운 최종 사용자에게 해당 콘텐츠를 훨씬 더 빨리 표시할 수 있습니다. SageMaker를 사용하면 5분 밖에 걸리지 않습니다. Kratz는 “기존 모델에 새 고객 데이터를 전송하는 데에 15~20분이 걸렸지만 이제는 즉시 전송됩니다”라고 말합니다. 새로운 모델을 배포하는 데 20~30분이 아니라 단 5분이면 충분합니다. AWS에서 Bazaarvoice의 모델 전송 처리량은 증가했습니다. 모델을 구축, 출시하고 콘텐츠를 보내기 전에 서버리스 추론에서 실행해 성능을 평가함으로써 실시간 콘텐츠 사용에 따르는 위험을 줄일 수 있었습니다. 또한 모델이 이미 SageMaker에서 실행되고 있기 때문에 모델에 콘텐츠를 보낼 때 재배포할 필요가 없습니다. 오히려 검증이 완료되는 즉시 새 모델을 배포할 수 있습니다. Bazaarvoice의 Technical Fellow인 Dave Anderson은 “Amazon SageMaker를 사용하면서 새 모델을 빠르고 저렴하게 실험하고 프로덕션에 배포하는 능력이 크게 향상되었습니다. 가치 제안을 발전시킬 수 있는 유연성을 갖게 되었고, 이는 매우 흥미로운 일입니다”라고 말합니다. 회사는 데이터 과학자들이 더 빠르게 움직이도록 돕고 고객에게 더 많은 가치를 주고 있습니다.

Bazaarvoice가 콘텐츠를 한 ML 모델에 공급하면 모델은 신뢰도 값을 출력하고 이를 활용하여 콘텐츠를 결정합니다. 이전 아키텍처에서는 의사 결정 로직을 바꾸려 할 때마다 새 모델을 내놓아야 했습니다. Bazaarvoice는 Amazon Elastic Container Service(Amazon ECS)를 사용하여 ML 모델 밖에서 의사 결정 로직을 처리하기 시작했습니다. 이 서비스는 기업이 컨테이너화된 애플리케이션을 쉽게 배포, 관리하고 그 규모를 조정할 수 있게 해주는 완전관리형 컨테이너 오케스트레이션 서비스입니다. Kratz는 “의사 결정 로직을 분리한 것은 매우 유익했습니다. Content Operations 팀이 이제 거의 즉시 결과를 얻고 결정을 내릴 수 있기 때문입니다. 새 모델을 내놓고 배포와 업데이트를 기다릴 필요가 없습니다”라고 했습니다.

Bazaarvoice는 팀의 ML 개발 경험을 개선하고 고객에게 제공하는 서비스를 개선하는 동시에 비용을 크게 절감했습니다. SageMaker 서버리스 추론 API를 사용해 빠른 액세스를 지원함으로써 고객에게 더 많은 이점을 제공할 계획입니다. Kratz는 “ML은 이 업계의 표준이 되고 있습니다. ML이 없으면 경쟁할 수 없습니다”라고 말합니다. “SageMaker 서버리스 추론을 사용하면 대규모 ML을 효율적으로 수행하여 합리적인 비용과 낮은 운영 오버헤드로 많은 모델을 신속하게 출시할 수 있습니다.”