投稿日: Nov 19, 2020
AWS Glue のサーバーレス機能である AWS Glue スキーマレジストリを使用すると、追加料金なしで、登録済みの Apache Avro スキーマを使用してストリーミングデータの進化を検証および制御できます。スキーマレジストリは、Apache ライセンスのシリアライザーとデシリアライザーを通じて、Apache Kafka/Amazon Managed Streaming for Apache Kafka (MSK)、Amazon Kinesis Data Streams、Apache Flink /Amazon Kinesis Data Analytics for Apache Flink、および AWS Lambda 用に開発された Java アプリケーションと統合されます。
スキーマは、アプリケーションが生成するデータレコード (イベントとも呼ばれます) の構造と形式を定義します。例えば、スキーマは、イベントタイムスタンプ、顧客 ID、E メールアドレス、およびウェブページで実行されたアクションの一意の識別子などのフィールドのグループによって定義できます。データ生成アプリケーションがスキーマにフィールドを追加または削除すると (例えば、E メールアドレスが削除されると)、データ品質が低下し、ダウンストリームアプリケーションが失敗する可能性があります。このような問題を防ぐために、デベロッパーはよく、アプリケーション内に防御コードを記述したり、メンテナンスウィンドウを使用してアップストリームチームとダウンストリームチーム間でスキーマの変更を調整したり、単一のテクノロジーでのみ使用できるサードパーティーのスキーマレジストリを利用したりしています。
スキーマレジストリでは、防御的なコーディングとチーム間の調整を排除し、データ品質を向上させ、ダウンストリームアプリケーションの障害を減らし、複数の AWS のサービスにかけて統合されたレジストリを使用できます。データストリーミングアプリケーションがスキーマレジストリと統合されると、データ生成に使用されるスキーマが中央レジストリ内のスキーマに対して検証されるため、データ品質を一元的に制御できます。各スキーマは互換モードのガードレール内でバージョン管理できるため、デベロッパーはスキーマの進化を柔軟に制御できます。現在、Apache Kafka/Amazon MSK および Amazon Kinesis Data Streams 用に構築されたアプリケーションでスキーマレジストリを使用するか、その API を使用して独自の統合を構築できます。今後、スキーマレジストリを他の AWS のサービスやオープンソースフレームワークと統合し、Avro 以外のデータ形式と Java 以外のクライアントにサポートを拡大する予定です。
使用を開始するには、または詳細については、スキーマレジストリユーザードキュメントをご覧ください。
スキーマレジストリは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、南米 (サンパウロ)、アジアパシフィック (ムンバイ)、アジアパシフィック (ソウル)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (ストックホルム) の各 AWS リージョンでご利用いただけます。