Resilience, AWS를 기반으로 실험실 연결을 위한 글로벌 데이터 메시 구축

2020년에 설립된 Resilience는 혁신적인 바이오 제조를 주도하고 있습니다. 이 회사는 주요 제약 및 생명 공학 회사를 위해 유전자 치료, 핵산 합성, 단백질 정제 등을 위한 확장 가능한 다양한 상용 바이오 제조 양식을 제공합니다. 또한 생물 반응기, 유세포 분석기, 현미경 및 게놈 시퀀서를 비롯한 대규모 기기 네트워크를 감독합니다.
 
Resilience는 생산을 가속화하고 실험 수행과 인사이트 생성 사이의 시간을 줄이기 위해 각 연구 및 제조 사이트에서 클라우드로의 연결을 구축해야 했습니다. 그러나 데이터의 방대한 양과 다양성으로 인해, 연결된 데이터 네트워크를 구축하는 것은 간단한 작업이 아니었습니다. “우리는 많은 제품 영역을 가지고 있으며, 이를 개발하려면 그만큼 광범위한 실험실 기기가 필요합니다. 이로 인해 높은 수준의 데이터 이질성이 발생합니다.”라고 Resilience의 Data Engineering 부문 Associate Director인 Adam Mendez는 말합니다. “우리는 데이터 유형에 구애받지 않고 모든 실험실 디바이스에서 클라우드로 데이터를 빠르고 안전하게 업로드할 수 있는 강력한 데이터 전송 시스템이 필요했습니다.” 이 회사는 안전하고 확장 가능한 인프라와 강력한 사물 인터넷(IoT) 기능을 갖춘 AWS가 프로젝트에 가장 적합한 솔루션이라고 판단했습니다.

Resilience의 Digital Research & Development 조직은 데이터 엔지니어링 및 네트워킹 팀과 긴밀하게 협력하여 3개월도 채 안되어 전 세계적으로 연결된 시스템을 구동하기 위한 AWS 인프라를 구축했습니다. 이 솔루션은 데이터 전송을 자동화하고 가속화하는 안전한 온라인 서비스인 AWS DataSync를 사용하여 온프레미스 시스템에서 AWS 클라우드로 데이터를 마이그레이션합니다. 이 데이터는 데이터를 인터넷에 노출하지 않고 가상 프라이빗 클라우드와 AWS 서비스 간의 연결을 설정하는 AWS PrivateLink를 사용하여 안전하게 전송됩니다. 그런 다음 이 데이터는 어디서나 원하는 양의 데이터를 검색할 수 있도록 구축된 객체 스토리지 서비스인 Amazon Simple Storage Service(S3)에 저장되며, Resilience 조직 전체에서 과학자와 비즈니스 사용자 모두 액세스할 수 있습니다. Mendez는 “AWS의 데이터 저장을 위한 중앙 관리형 시스템을 통해 서드파티 서비스형 소프트웨어(SaaS) 솔루션이든 내부 개발이든 관계없이 다른 애플리케이션 및 분석 소프트웨어와 원활하게 통합할 수 있습니다.”라고 말합니다.
 
지금까지 Resilience는 100개 이상의 다양한 실험실 디바이스에서 75TB 이상의 연구 데이터를 Amazon S3에 업로드했습니다. Resilience 전반에 걸쳐 과학자와 비즈니스 사용자는 이제 Amazon S3에서 기기 데이터를 검토, 처리 및 분석하여 연구 및 개발 목표를 달성할 수 있습니다. 이 회사는 오픈 소스 엣지 런타임 및 클라우드 서비스인 AWS IoT Greengrass와 같은 AWS 사물 인터넷 서비스를 사용하여 필요에 따라 마이그레이션 작업을 자동으로 호출함으로써 과학자들이 5분 이내에 클라우드에서 데이터에 액세스할 수 있도록 합니다. Resilience는 일반 프로그래밍 언어를 사용하여 클라우드 개발을 가속화하는 AWS Cloud Development Kit(AWS CDK)를 사용하여 애플리케이션을 모델링함으로써 며칠 만에 새로운 디바이스를 온보딩하고 전체 사이트를 온라인으로 가져올 수 있습니다. Resilience는 코드형 인프라 접근 방식을 통해 수십 개의 연구팀이 작업을 가속화할 수 있도록 돕고 있습니다. Resilience의 Lab Systems Engineer인 Jonathan Rivernider는 “각 사이트에서 거의 실시간으로 데이터를 업로드할 수 있게 함으로써 강력한 데이터 백업을 제공하는 동시에 팀이 교차 기능, 교차 사이트 방식으로 인사이트를 활용할 수 있도록 지원할 수 있습니다.”라고 말합니다. “이를 통해 과학자들이 데이터를 더 빠르게 이용할 수 있어 학습 주기를 가속화할 수 있습니다.”
 
클라우드에서 Resilience의 실험실 데이터는 과학자들이 데이터를 사용하는 방식에 맞게 구성되어야 했습니다. 이를 위해 팀은 데이터 레이크 아키텍처에 대한 AWS 권장 가이드를 사용하여 Amazon S3 데이터 레이크를 설계하고 AWS 파트너인 Quilt Data와 협력하여 거버넌스 제어를 할당했습니다. 이러한 제어를 통해 기기 데이터 세트를 데이터 패키지, 원시 실험실 데이터, 분석된 데이터 및 그래프와 PowerPoint를 비롯한 관련 실험실 파일의 변경 불가능한 기록으로 전환했습니다. 이제 데이터가 과학자들의 분석 단계를 거침에 따라 데이터 패키지는 버전 관리, 메타데이터 및 계보 정보와 함께 Amazon S3에 유지 관리됩니다. 이 데이터는 인증된 실험실 및 비즈니스 사용자를 위한 사용자 포털에서 검색할 수 있으며 전자 도서관 노트북과 통합됩니다.
 
팀은 다양한 AWS 리소스에 대한 운영 인사이트를 제공하는 모니터링 서비스인 Amazon CloudWatch를 사용하여 모든 데이터 전송 작업을 위한 강력한 로깅 시스템도 구축할 수 있었습니다. 이제 Resilience는 시스템 및 각 실험실 기기의 작동 상태를 확인하기 위한 적절한 경고가 설정되어 있는지 확인할 수 있습니다. Resilience의 Senior Systems Engineer인 Jiro Koga는 “연구 데이터의 민감한 특성을 감안하면, 이 시스템의 보안이 가장 중요합니다.”라고 말합니다. “AWS PrivateLink를 사용하여 엄격한 네트워크 방화벽 규칙, 클라이언트 인증서 및 보안 엔드포인트를 통합함으로써 전송 중이든 저장 중이든 모든 데이터를 암호화하여 안전하게 전송할 수 있습니다.”