IoT, 스마트 디바이스, 클라우드 애플리케이션 및 소셜에서 생성되는 데이터의 양이 기하급수적으로 증가하고 있습니다. 형식이나 데이터가 저장된 장소에 관계없이 인사이트 도출 시간을 최소화하여 이 데이터를 모두 손쉽고 비용 효율적으로 분석할 방법이 필요합니다.
Amazon Redshift는 현대적 데이터 아키텍처를 지원합니다. 이를 통해 데이터 웨어하우스, 데이터 레이크 및 운영 데이터베이스의 데이터를 쿼리하여 더 빠르고 심층적으로 인사이트를 도출할 수 있으며, 이는 다른 방법으로는 불가능합니다. 현대적 데이터 아키텍처를 사용하면 데이터를 개방형 파일 형식으로 Amazon S3 데이터 레이크에 저장할 수 있습니다. 이렇게 하면 새 사일로에 데이터를 잠그지 않고 이 데이터를 다른 분석 및 기계 학습 도구에 쉽게 사용할 수 있습니다.
Amazon Redshift 현대적 데이터 아키텍처를 사용하면 다음이 가능합니다.
- 데이터 레이크에서 데이터를 손쉽게 쿼리하고 데이터 레이크에 개방형 형식으로 다시 작성할 수 있습니다.
- 익숙한 SQL 문을 사용하여 모든 데이터 스토어에서 데이터를 결합하고 처리할 수 있습니다.
- 데이터 로드 및 ETL 파이프라인이 필요하지 않고 운영하는 데이터베이스에서 라이브 데이터에 대한 쿼리를 실행할 수 있습니다.
기능
Amazon Redshift 현대적 데이터 아키텍처는 다음 기능을 기반으로 합니다.
Amazon Redshift Spectrum
데이터를 로드하거나 인프라를 복제하지 않고 Amazon S3 데이터 레이크에서 직접 개방형 형식의 데이터를 쿼리합니다. Amazon Redshift Spectrum 기능을 사용하면 Apache Parquet, ORC, JSON, Avro, CSV와 같은 개방형 파일 형식을 쿼리할 수 있습니다. 시작하려면 이 단계별 자습서를 따라하세요.
데이터 레이크 내보내기
데이터 레이크 내보내기를 사용하여 Amazon Redshift 쿼리 결과를 개방형 파일 형식(Apache Parquet)으로 S3 데이터 레이크에 바로 저장합니다. 그런 다음 Amazon Redshift Spectrum 기능과 다른 AWS 서비스(기계 학습의 경우 Sagemaker, ETL 작업의 경우 EMR)를 사용하여 이 데이터를 분석할 수 있습니다. 시작하려면 이 5분 동영상을 시청하세요.
“당사는 AWS 및 서드 파티의 많은 분석 도구를 활용하고 있으며, 당사의 자체 솔루션을 통해 이미 습득한 것과 동일한 다양한 데이터 변환 패턴을 Amazon Redshift를 통해서도 계속해서 습득할 수 있어 매우 기쁩니다. 2017년부터 Redshift Spectrum을 통해 데이터 레이크에서 개방형 데이터 형식으로 쿼리할 수 있는 Amazon Redshift의 기능을 활용하고 있으며, 현재 새로운 Redshift 데이터 레이크 내보내기 기능을 통해 편리하게 데이터 레이크에 데이터를 다시 작성할 수 있게 되었습니다. 이를 통해 매우 많은 쿼리를 로드하는 경우에도 일관된 빠른 성능이 보장됩니다. 당사는 통합 빅 데이터 스택을 활용하여 Amazon Redshift 클러스터에서 더 많은 데이터를 공유하고 모든 게임에서 더 낮은 비용으로 더 많은 가치를 창출할 수 있기를 기대합니다.”
Kurt Larson, Warner Bros. Analytics의 분석 마케팅 운영 기술 담당 이사
