Amazon OpenSearch Service の特徴

ホットストレージを使用すると、頻繁にアクセスされるデータをすばやく取得できます。ウォームストレージ層である UltraWarm は、アクセス頻度が低く古いデータに安価なストレージを提供すると同時に、インタラクティブなクエリエクスペリエンスを提供することにより、Amazon OpenSearch Service ホットストレージ層を補完します。UltraWarm は Amazon Simple Storage Service (Amazon S3) にデータを保存し、AWS Nitro System で特定の目的のために構築された、高度に最適化されたカスタムノードを使用して、データのキャッシュ、プリフェッチ、クエリを迅速に行います。

UltraWarm を使用することで、Amazon OpenSearch Service クラスター 1 つで最大 3 PB のデータを保持しながら、ホットストレージ層と比較して 1 GB あたりのコストをほぼ 90% 削減します。Kibana (バージョン 7.10 以前) または OpenSearch ダッシュボードインターフェイスでデータを簡単にクエリして視覚化することもできます。アーカイブログの復元に数時間または数日を費やすことなく、最近 (週) のログデータと過去 (月または年) のログデータの両方を分析します。

UltraWarm は、Amazon OpenSearch Service の完全マネージド型で低コストのウォームストレージ層です。OpenSearch、Elasticsearch (バージョン 7.10 まで)、OpenSearch ダッシュボード、および Kibana (バージョン 7.10 まで) と互換性があり、Amazon OpenSearch Service が現在提供しているものと同じツールを使用してデータを分析できます。UltraWarm は、統合されたアラート、SQL クエリなど、Amazon OpenSearch Service の既存の機能とシームレスに統合します。 

UltraWarm を使用すると、OpenSearch Service で分析したいデータをコスト効率よく拡張できます。以前に削除またはアーカイブされた可能性のあるデータに関する貴重な洞察を得ることができます。UltraWarm を使用すると、より多くのデータを経済的に保持して、必要なときにいつでもインタラクティブに分析できます。

Amazon OpenSearch Service は、2 つの統合ストレージ層、ホットおよび UltraWarm をサポートしています。ホット層は、インデックス作成、更新、およびデータへの最速アクセスを提供するために使用されるデータノードによって強化されます。UltraWarm ノードは、アクセス頻度の低い古いデータに低コストの読み取り専用階層を提供することにより、ホット層を補完します。

UltraWarm は、ストレージに Amazon Simple Storage Service (Amazon S3) を使用します。これは、99.999999999% の耐久性を実現するように設計されていて、ウォームデータ用に Elasticsearch レプリカを構成する必要がありません。さらに、ノードに障害が発生した場合、複数の UltraWarm ノードがある場合、他の UltraWarm ノードは必要に応じて自動的にデータにアクセスします。

UltraWarm は、最大 3 PB のプライマリデータをサポートします。UltraWarm は、このストレージを 100% 活用できるように設計されています。また、UltraWarm は耐久性のために Amazon S3 にデータを保存するため、Elasticsearch レプリカ用に追加のストレージを使用する必要はありません。

UltraWarm は、詳細な I/O キャッシング、プリフェッチ、クエリエンジンの最適化を実装して OpenSearch ダッシュボードおよび Kibana でインタラクティブなエクスペリエンスを提供し、ローカルストレージを使用して高密度インスタンスと同様のパフォーマンスを提供します。

UltraWarm を開始するには、コンソール、CLI、API を介して UltraWarm を有効にしてから、新しい Amazon OpenSearch Service ドメインを作成します。ドメインを作成したら、OpenSearch/Elasticsearch API を使用してホットから UltraWarm にデータを移動できます。詳細については、「OpenSearch Service デベロッパーガイド」をご覧ください。

コールドストレージとは、Amazon S3 でアクセス頻度の低いデータを保持し、必要な場合にのみコンピューティングの料金を支払うことができる、Amazon OpenSearch Service の最も低コストのストレージオプションです。コールドストレージは UltraWarm 上に構築されており、Amazon S3 でのデータの保存に特化したノードを提供し、高度なキャッシュソリューションを使用してインタラクティブなエクスペリエンスを提供します。コールドストレージは、コンピューティングリソースをストレージからデカップリングすることで、Amazon OpenSearch Service ドメインに任意の量のデータを保持しながら、GB あたりのコストを Amazon S3 ストレージの料金に近づけることができます。使用していないときに履歴データまたはアクセス頻度の低いウォームデータをデタッチし、コンピューティングを解放してコストを削減する。Kibana (バージョン 7.10 以前) または OpenSearch ダッシュボードインターフェイスと使いやすい API を選択して、コールドデータを検出し、ドメインの UltraWarm ノードに数秒で選択的にアタッチします。コールドストレージを使用すると、ウォームデータと同様のインタラクティブなエクスペリエンスとパフォーマンスで、アタッチされたコールドデータを照会することができます。

OpenSearch には、Elasticsearch B.V. の Apache ライセンスによる Elasticsearch コードの一部と、その他のソースコードが含まれています。Elasticsearch B.V. はその他のソースコードのソースではありません。ELASTICSEARCH は、Elasticsearch B.V. の登録商標です。

コールドストレージとは、Amazon OpenSearch Service のフルマネージドの最低コストのストレージ層であり、履歴ログをオンデマンドで安全に保存および分析するのを簡単にします。コールドストレージを使用すると、データの分析をアクティブに実行していないときにストレージをコンピューティングから完全に切り離すことができ、データを低コストですぐに利用できる状態に保つことができます。コールドストレージに保存されているデータは、UltraWarm ノードを介して Amazon OpenSearch Service ドメイン内で利用できます。コールドストレージは、OpenSearch と OpenSearch ダッシュボード、および Elasticsearch (バージョン 7.9、7.10) と Kibana (バージョン 7.9、7.10) とシームレスに統合されます。これにより、Amazon OpenSearch Service が現在提供しているものと同じツールを使用してデータを分析できます。

コールドストレージを使用すると、Amazon OpenSearch Service で分析するデータをコスト効率よく拡張して、以前に削除またはアーカイブされた可能性のあるデータに関する貴重なインサイトを得ることができます。コールドストレージは、古いデータの調査やフォレンジック分析を行う必要があり、Amazon OpenSearch Service のすべての機能を手頃な料金で使用したい場合に最適です。コールドストレージは、Amazon S3 によって大規模に構築、サポートされています。必要なデータを探して発見し、クラスター内の UltraWarm ノードにアタッチすると、数秒で分析できるようになります。アタッチされたコールドデータは、インデックス、ドキュメント、フィールドレベルでアクセスを制限する既存のきめ細かいアクセスコントロールポリシーの対象となります。

コールドストレージでは、Amazon OpenSearch Service は、ホット、UltraWarm、およびコールドの 3 つの統合ストレージ層をサポートします。ホット層は、インデックス作成、更新、データへの最速アクセスの提供に使用されます。UltraWarm は、Amazon S3 に堅実に保存され、永続的に利用可能である必要があるデータに対して高性能でインタラクティブな使用エクスペリエンスを提供する計算ノードを実現することにより、ホット層をシームレスに拡張し、現在、単一ドメインで最大 3PB のデータをサポートします。コールドストレージにより、使用していないときに UltraWarm からインデックスをデタッチし、コンピューティングを解放してコストを削減できるようになりました。新しいコールドストレージ API と OpenSearch ダッシュボードおよび Kibana インターフェースを使用すると、インデックスパターンとデータタイムスタンプに基づいてインデックスを検出し、分析に必要なものを簡単に見つけることができます。その後、そのデータをドメインにアタッチすると、数秒で分析できるようになります。分析が終了すると、データをデタッチするだけで、コンピューティングは再び解放されます。 

コールドストレージは、大規模に対応できるように構築されています。ホットデータとウォームデータのストレージ制限は 3PB のままですが、コールドストレージには任意の量のデータを保存できます。

コールドストレージは UltraWarm 上に構築されており、Amazon S3 でのデータの保存に特化したノードを提供し、高度なキャッシュソリューションを使用してインタラクティブなエクスペリエンスを提供します。コールドデータは、最初に Amazon OpenSearch Service ドメインの UltraWarm ノードにアタッチする必要があります。アタッチされると、このデータに対するクエリは、ウォームデータと同じパフォーマンスを提供する既存の UltraWarm ノードによって強化されます。要求されたデータに十分な UltraWarm のキャパシティを利用できる場合、ドメインへのコールドインデックスのアタッチには数秒かかります。追加のキャパシティが必要な場合は、UltraWarm データノードを追加する必要があり、これには数分かかる場合があります。

OpenSearch Service は、データベース検索を超えたリアルタイムのドキュメント検索機能を提供します。検索エンジンに OpenSearch を使用したフルマネージド型サービスです。 OpenSearch は、キーワード検索、自然言語検索、同義語、多言語などをサポートする、フル機能かつポータブルで、プラットフォームに依拠しない、Lucene ベースのオープンソースの検索エンジンです。 主要な検索機能には以下が含まれます。

• データベースやコンテンツマネジメントシステム、Web やイントラネットのクローラー、ストリーミングサービスからデータを取得
• 検索サービス上にフロントエンドを構築するための検索 API を提供
• 多くの属性にまたがる検索が可能
• 保存されたクエリの集合に一致する新しいドキュメントを、見込み検索で検出 (パーコレーション)
• OpenSearch サービスのモニタリング機能により、利用パターンを評価し、キャパシティプランニングとコスト予測の実行
• ベクトル検索、類似検索、セマンティック検索などを実現するために、k-近傍 (k-NN) 探索の組み込み機械学習 (ML) アルゴリズムを使用します
• 関連性スコアを計算するために Learning to Rank の組み込み ML アルゴリズムを使用します
• ML 拡張検索エクスペリエンスと生成系 AI アプリケーションを強化する、シンプルでスケーラブルかつ高性能なベクターストレージと検索を提供します
• SQL を含む複数のクエリ言語が使用可能

リソースを検索

動画: AWS On Air で検索

動画: LexisNexis on ML-driven 検索

デモ: Amazon OpenSearch Service で検索結果を改善する

ワークショップ: Amazon OpenSearch Service における ML による検索関連性の向上

ブログ: Novartis AG が OpenSearch Service の k-NN と SageMaker を使用して検索とレコメンデーション機能を強化

リファレンスアーキテクチャ図: 検索エンジン対応アプリケーション

セキュリティオペレーション (SecOps) チームが、セキュリティ調査に役立つツールを手に入れながら、潜在的な脅威を迅速に検出できるようにします。しかも、データ保持コストも抑えられます。ビジネスデータを保護し、潜在的なセキュリティ脅威を迅速に検出します。OpenSearch Service は、2,200 を超えるオープンソースの Sigma セキュリティルールをすぐにサポートし、セキュリティ検出結果をフィルタリングして潜在的なセキュリティ脅威を検出します。デフォルトの Sigma ルールをカスタマイズまたは使用して、潜在的なセキュリティ脅威を迅速に検出し、事前に選択した送信先にアラートを送信することもできます。Windows、Netflow、AWS CloudTrail、DNS などを含む複数のログソースをすぐにサポートできます。 

OpenSearch のセキュリティ分析は、ビジネスに不可欠な機能の運用を危険にさらす可能性のあるセキュリティ脅威の調査、検出、分析、対応に役立つよう設計されています。これらの脅威には、機密データの漏えい、サイバー攻撃、その他の有害なセキュリティ事象が含まれます。検出パラメータの定義、アラートの生成、潜在的な脅威への効果的な対応に必要なツールと機能が含まれています。

現在、Netflow、DNS ログ、Apache アクセスログ、Windows ログ、AD/LDAP ログ、Linux システムログ、AWS CloudTrail ログ、Amazon S3 アクセスログを含む 8 種類のログタイプをサポートしています。

JSON 形式のデータを OpenSearch に送信する既存の取り込みパイプラインを使用できます。

はい、OpenSearch のセキュリティ分析には、2200 を超える Sigma セキュリティルールがパッケージ化されており、さまざまなタイプの security detector ですぐに使用できます。これらのルールは、ログソースに関する最小限の設定を行うと事前に選択されます。

はい、上記のサポートされているログタイプにカスタムルールを追加できます。これらのルールは Sigma ルール形式である必要があり、security detector で使用する前に OpenSearch にインポートできます。

はい、ログは JSON 形式である必要があります。ECS (Elastic Common Schema) 形式で送信することをお勧めします。

OpenSearch のセキュリティ分析は、追加費用やライセンス料なしで利用できます。OpenSearch Service に他のデータを取り込む場合と同じ費用を支払います。

セキュリティ分析は、OpenSearch バージョン 2.5 以降を実行する OpenSearch Service にプリインストールされています。

Amazon Security Lake は、クラウド、オンプレミス、およびカスタムソースからのセキュリティデータを、アカウントに保存されている専用のデータレイクに自動的に一元化します。この集約されたデータは共通の形式に正規化され、S3 バケットに保存されます。このデータを OpenSearch Service に取り込むことができるため、そのデータを視覚化したり、クエリを実行したり、レポートを作成したりできます。セキュリティ分析にはセキュリティルールエンジンが用意されており、潜在的なセキュリティ事象を検出して警告したり、それらを関連付けて調査に役立てたりするのに役立ちます。

はい。Security Lake から追加のログを OpenSearch に取り込み、detector を作成して、取り込んだログに関連するルールを実行できます。

OpenSearch Optimized Instance ファミリーである OR1 は、社内ベンチマークで既存のインスタンスに比べて最大 30% 優れた料金パフォーマンスを提供し、Amazon S3 を利用してイレブンナインの耐久性を実現します。OR1 により、Amazon OpenSearch Service は OpenSearch のイノベーションと AWS テクノロジーを利用して、データをインデックス化してクラウドに保存する方法を再考しました。OR1 により、お客様は、期待するインタラクティブな分析エクスペリエンスを損なうことなく、OpenSearch のデプロイメントを経済的かつ確実にスケールできます。 

Amazon OpenSearch Service マネージドクラスターのための OpenSearch Optimized Instance ファミリーである OR1 は、社内ベンチマークで既存のインスタンスに比べて最大 30% 優れた料金パフォーマンスを提供し、Amazon S3 を利用してイレブンナインの耐久性を実現します。OR1 により、Amazon OpenSearch Service は OpenSearch のイノベーションと AWS テクノロジーを利用して、データをインデックス化してクラウドに保存する方法を再考しました。OR1 により、お客様は、期待するインタラクティブな分析エクスペリエンスを損なうことなく、OpenSearch のデプロイメントを経済的かつ確実にスケールできます。OR1 では、従量課金制およびリザーブドインスタンス価格で、プロビジョニングされたインスタンスとストレージにはシンプルな時間単位の料金が適用されます。

Amazon OpenSearch Service は大量のデータを取り込むことができると同時に、そのデータに対して豊富でインタラクティブな分析を提供できるため、顧客は運用ログ分析に広く利用しています。 OpenSearch Optimized Instance ファミリーである OR1 は、社内ベンチマークで既存のインスタンスに比べて最大 30% 優れた料金パフォーマンスを提供し、Amazon S3 を利用してイレブンナインの耐久性を実現します。大量の運用分析ワークロードをインデックス化している場合は、パフォーマンスの向上と計算効率の向上によるメリットが得られます。さらに、障害が発生した場合、OpenSearchは最後に成功した操作まで自動的にデータ回復を実行できるため、ドメインの信頼性が向上します。

Amazon OpenSearch Service は、論理 (ドキュメント) レプリケーションと物理 (セグメント) レプリケーションの 2 つのレプリケーション戦略をサポートしています。論理レプリケーションの場合、データはすべてのコピーに個別にインデックス付けされるため、作業が重複することになります。物理レプリケーションの場合、データは1次コピーにのみインデックス付けされ、プライマリからデータをコピーすることによって追加のコピーが作成されます。 Amazon OpenSearch Service マネージドクラスターの新しいインスタンスである OR1 は、物理レプリケーションを使用して、Amazon S3 をベースとするリモートストアにデータを書き込みます。耐久性の高いデータストアである Amazon S3 リポジトリは、すべてのレプリケーションとリカバリのオペレーションの信頼できる情報源となります。この革新的な設計は、Amazon OpenSearch Service ドメインのインデックス作成パフォーマンスの向上と耐久性の向上につながります。

Amazon OpenSearch Service は、クラスターマネージャーノード (マスターノード)、データノード、ウォームノードをサポートしています。データノードについては、ロールとワークロードの特性に応じて、汎用インスタンス、メモリ最適化、コンピューティング最適化、ストレージ最適化、そして現在は OpenSearch 最適化インスタンスから選択できます。ウォームノードの場合、Amazon OpenSearch Service はウォームデータの保存コストを削減するように最適化されたウルトラウォームインスタンスを提供します。 OR1 は、新しい OpenSearch 最適化インスタンスファミリーの最初のインスタンスオプションです。OR1はメモリ最適化されており、データノードとして使用できます。OR1 では、標準のメモリ最適化インスタンスよりもインデックス作成のスループットが向上します。さらに、OR1はスナップショットに依存しないデータ耐久性を提供し、高速自動リカバリを可能にします。OR1 インスタンスと Ultrawarm インスタンスはどちらも、ローカルストア (EBS) とリモートストア (マネージドストレージ-Amazon S3 ベース) を使用してデータを保存します。OR1の場合、データのコピーはローカルストアとリモートストアの両方に保存されますが、Ultrawarmでは、ストレージコストを削減するために、データは主にリモートストアに保存され、アクセスパターンに応じてデータはローカルストアに移動されます。 

OR1 インスタンスは EBS をローカルストアとして使用し、Amazon S3 をリモートストアとして使用します。すべてのデータは、99.999999999% (11.9秒) のデータ耐久性を提供するように設計された Amazon S3 に同期的に書き込まれます。

OR1 インスタンスは、OpenSearch バージョン 2.11 以降で作成され、保存時の暗号化が有効になっているすべての新しい Amazon OpenSearch Service マネージドクラスターのデータノードとして使用できます。起動時には、データノード用に他のインスタンスを使用して作成されたマネージドクラスターではOR1インスタンスを使用できません。OR1 では、クラスターマネージャー用の Graviton インスタンスをプロビジョニングする必要があります。

赤いインデックスが発生した場合、OR1 インスタンスは失われたシャードをリモートストア (Amazon S3) から自動的に復元します。回復時間は、回復するデータの量によって異なります。 

リファレンスアーキテクチャ eBook

動画: データ変換用ツール