Atributos do Amazon OpenSearch Service

Os conceitos básicos do Amazon OpenSearch Service são simples. Você pode instalar e configurar seu cluster do OpenSearch Service usando o Console de Gerenciamento da AWS ou uma única chamada de API por meio da AWS Command Line Interface (AWS CLI). Você pode especificar o número de instâncias, os tipos de instância, as opções de armazenamento e modificar ou excluir clusters existentes a qualquer momento.

O OpenSearch Service facilita o upgrade dos seus clusters do OpenSearch e Elasticsearch (até a versão 7.10) para versões mais recentes sem tempo de inatividade usando atualizações de versão no local. Os upgrades no local eliminam o incômodo de obter um snapshot manual, restaurá-lo em um cluster executando a versão mais recente e atualizar todas as referências de endpoint.

O OpenSearch Service fornece monitoramento e alertas de eventos internos, permitindo que você monitore os dados armazenados no seu cluster e envie notificações automaticamente com base em limites pré-configurados. Desenvolvido com o uso do plug-in de alertas do OpenSearch, esse atributo permite configurar e gerenciar alertas usando a interface do Kibana ou do OpenSearch Dashboards e a API REST. Você pode receber notificações por meio de webhooks personalizados, do Slack, do Amazon Simple Notification Service (Amazon SNS) e do Amazon Chime. Também é possível visualizar métricas de integridade do cluster, incluindo número de instâncias, integridade do cluster, documentos pesquisáveis, CPU e memória, bem como utilização de disco para dados e nós principais por meio do Amazon CloudWatch, sem custo adicional.

Com o OpenSearch Service, não é necessário ter proficiência na linguagem específica de domínio (DSL) de consultas OpenSearch. Escreva consultas SQL com o OpenSearch SQL ou use a OpenSearch Piped Processing Language (PPL), uma linguagem de consulta que permite usar a sintaxe de barra vertical (|) para explorar, descobrir e consultar seus dados. O OpenSearch Dashboards também inclui um workbench PPL e SQL.

O OpenSearch Service oferece o OpenSearch Dashboards e o Kibana integrados (Elasticsearch versão 7.10 e anteriores) e se integra ao Logstash para que você possa ingerir e visualizar seus dados usando suas ferramentas de código aberto preferidas. Faça análises de rastreamento com o suporte do OpenSearch Service para o padrão OpenTelemetry de código aberto e continue usando seu código atual com acesso direto a APIs e plug-ins do Elasticsearch, como Kuromoji, Phonetic Analysis, Ingest Processor Attachment, Ingest User Agent Processor e Mapper Murmur3.

Com o OpenSearch Service, você pode conectar suas aplicações com segurança ao ambiente gerenciado Elasticsearch (versão 7.10 e anteriores) ou OpenSearch na Amazon Virtual Private Cloud (Amazon VPC) ou na Internet pública, configurando o acesso à rede com o uso de grupos de segurança de VPC ou políticas de acesso baseadas em IP. Você também pode autenticar com segurança seus usuários e controlar o acesso usando o Amazon Cognito, o AWS Identity and Access Management (IAM) ou a autenticação básica com um nome de usuário e uma senha. O OpenSearch Service usa o plug-in de segurança OpenSearch ajudando você a definir permissões granulares para índices, documentos ou campos. Você também pode estender o Kibana com exibições somente leitura e suporte multilocatário seguro. O OpenSearch Service também é compatível com criptografia integrada de dados em repouso ou em trânsito para que você possa proteger seus dados quando eles estiverem armazenados no seu domínio ou em snapshots automáticos e quando eles forem transferidos entre nós no domínio. O OpenSearch Service é elegível para HIPAA e é compatível com os padrões PCI DSS, SOC, ISO e FedRAMP, facilitando a criação de aplicações que atendem aos requisitos de compatibilidade.

Tecnologia sem servidor: provisione automaticamente e ajuste continuamente para obter taxas rápidas de ingestão de dados e tempos de resposta em milissegundos durante mudanças nos padrões de uso e na demanda com o Amazon OpenSearch Sem Servidor.

O armazenamento quente permite a recuperação rápida de dados acessados com frequência. O UltraWarm é uma camada quente de armazenamento que complementa a camada quente de armazenamento do OpenSearch Service, fornecendo armazenamento mais econômico para dados mais antigos e acessados com menos frequência, sem deixar de proporcionar uma experiência interativa de consultas. O UltraWarm armazena dados no Amazon Simple Storage Service (Amazon S3) e usa nós personalizados, altamente otimizados e de propósito específico no AWS Nitro System para atividades rápidas de armazenamento em cache, pré-recuperação e consulta desses dados.

Com o UltraWarm, você pode reter até 3 PB de dados em um único cluster do OpenSearch Service, reduzindo os custos por GB em quase 90% em comparação com a camada quente de armazenamento. Você também pode consultar e visualizar facilmente os dados na interface do OpenSearch Dashboards ou Kibana (versão 7.10 e anteriores). Analise os dados de log recentes (semanas) e históricos (meses ou anos) sem perder horas ou dias restaurando logs arquivados.

O UltraWarm é uma camada quente de armazenamento totalmente gerenciada e de baixo custo para o OpenSearch Service. Ele é compatível com o OpenSearch, o Elasticsearch (até a versão 7.10) e o OpenSearch Dashboards e Kibana (até a versão 7.10), permitindo analisar dados com as mesmas ferramentas que o OpenSearch Service oferece hoje. O UltraWarm integra-se perfeitamente aos atributos atuais do OpenSearch Service, como alertas integrados, consultas SQL e muito mais. 

O UltraWarm ajuda você a expandir de forma econômica os dados que deseja analisar no OpenSearch Service. Você pode obter insights valiosos sobre dados que podem ter sido excluídos ou arquivados anteriormente. Com o UltraWarm, agora é possível reter economicamente mais dados para analisá-los de forma interativa sempre que quiser.

O OpenSearch Service é compatível com duas camadas de armazenamento integrado: quente e UltraWarm. A camada quente é alimentada por nós de dados que são usados para indexar, atualizar e fornecer o acesso mais rápido aos dados. Os nós do UltraWarm complementam a camada quente, fornecendo uma camada de baixo custo e somente leitura para dados mais antigos e acessados com menos frequência.

O UltraWarm usa o Amazon S3 para armazenamento, projetado para uma durabilidade de 99,999999999% e elimina a necessidade de configurar uma réplica do Elasticsearch para seus dados a quente. Além disso, se você tiver mais de um nó UltraWarm, no caso de uma falha no nó, os outros nós UltraWarm acessarão automaticamente os dados, conforme necessário.

O UltraWarm é compatível com até 3 PB de dados primários. O UltraWarm foi projetado para permitir que você utilize totalmente 100% desse armazenamento. E, como o UltraWarm armazena dados no Amazon S3 para maior durabilidade, você não precisa usar armazenamento adicional para réplicas do Elasticsearch.

O UltraWarm proporciona uma experiência interativa no OpenSearch Dashboards e no Kibana, implementando otimizações detalhadas de armazenamento em cache de E/S, pré-busca e mecanismo de consulta para fornecer performance semelhante à de instâncias de alta densidade usando armazenamento local.

Para começar com o UltraWarm, crie um novo domínio do OpenSearch Service com o UltraWarm habilitado por meio do console, da CLI ou de APIs. Após a criação do seu domínio, será possível mover dados do armazenamento quente para o UltraWarm usando as APIs do OpenSearch/Elasticsearch. Para obter mais informações, consulte o Guia do desenvolvedor do OpenSearch Service.

O armazenamento frio é a opção de armazenamento com o custo mais baixo para o OpenSearch Service, que permite reter no Amazon S3 os dados acessados com pouca frequência e pagar por computação apenas quando necessário. O armazenamento frio é baseado no UltraWarm, que fornece nós especializados que armazenam dados no Amazon S3 e usa uma solução de armazenamento em cache sofisticada para oferecer uma experiência interativa. Ao desacoplar recursos de computação do armazenamento, o armazenamento frio ajuda você a reter qualquer quantidade de dados no seu domínio do OpenSearch Service e, ao mesmo tempo, reduz os custos por GB para preços de armazenamento semelhantes aos do Amazon S3. Desvincule dados a quente históricos ou acessados com pouca frequência que não estão em uso e libere computação para ajudar a reduzir os custos. Descubra e anexe seletivamente seus dados inativos aos nós UltraWarm do seu domínio em segundos com a sua escolha de uma interface Kibana (versão 7.10 e anterior) ou OpenSearch Dashboards e APIs de fácil uso. Com o armazenamento inativo, você pode consultar os dados inativos anexados com uma experiência e performance interativas semelhantes à dos seus dados ativos.

O OpenSearch contém determinados códigos do Elasticsearch licenciados pelo Apache do Elasticsearch B.V. e outros códigos-fonte. O Elasticsearch B.V. não é a fonte desse outro código-fonte. ELASTICSEARCH é uma marca comercial registrada da Elasticsearch B.V.

O armazenamento frio é uma camada de armazenamento com o custo mais baixo e totalmente gerenciada para o OpenSearch Service que permite armazenar e analisar com segurança seus logs históricos sob demanda com mais facilidade. O armazenamento frio ajuda você a separar totalmente o armazenamento da computação quando não estiver realizando ativamente a análise de dados e permite que você mantenha seus dados prontamente disponíveis a baixo custo. Os dados de armazenamento frio ficam disponíveis no domínio do OpenSearch Service por meio dos seus nós do UltraWarm. O armazenamento frio integra-se perfeitamente ao OpenSearch e ao OpenSearch Dashboards, bem como ao Elasticsearch (versões 7.9 e 7.10) e ao Kibana (versões 7.9 e 7.10). Ele ajuda você a analisar dados usando as mesmas ferramentas que o OpenSearch Service fornece atualmente.

O armazenamento frio permite expandir de maneira econômica os dados que deseja analisar no OpenSearch Service, além de obter insights valiosos sobre dados que podem ter sido excluídos ou arquivados anteriormente. O armazenamento frio é uma ótima opção, caso precise fazer pesquisas ou análises forenses nos seus dados mais antigos e queira usar todas as funcionalidades do OpenSearch Service para fazer isso a um preço acessível. O armazenamento frio é criado para escala e baseia-se no Amazon S3. Encontre e descubra os dados de que precisa, anexe-os aos nós do UltraWarm no seu cluster e mantenha-os disponíveis para análise em segundos. Os dados a frio anexados estão sujeitos às políticas de controle de acesso refinado atuais que restringem o acesso no nível do índice, documento e campo.

Com o armazenamento frio, o OpenSearch Service é compatível com três camadas de armazenamento integradas: quente, UltraWarm e frio. A camada quente é usada para indexar, atualizar e fornecer o acesso mais rápido aos dados. O UltraWarm fornece uma extensão direta do nível frequente fornecendo nós de computação que oferecem uma experiência interativa de alta performance para dados armazenados de forma durável no Amazon S3 e deve ficar disponível de forma persistente, atualmente oferecendo suporte a até 3 PB de dados em um único domínio. Com o armazenamento frio, agora é possível desvincular os índices do UltraWarm quando não estiverem em uso e liberar computação para ajudar a reduzir os custos. Com as novas APIs de armazenamento frio e a interface do OpenSearch Dashboards e do Kibana, é possível descobrir índices com base em padrões de índice e carimbos de data e hora de dados para encontrar rapidamente tudo o que precisa para análises. Assim, os dados ficam prontos para serem anexados ao domínio e para análise em segundos. Ao concluir a análise, basta desanexar os dados para liberar a sua computação novamente. 

O armazenamento frio foi criado para escalar. Enquanto os limites de armazenamento de dados a quente e warm permanecerem em 3 PB, você poderá armazenar qualquer quantidade de dados no armazenamento frio.

O armazenamento frio é baseado no UltraWarm, que fornece nós especializados que armazenam dados no Amazon S3 e usa uma solução de armazenamento em cache sofisticada para oferecer uma experiência interativa. Primeiro, os dados a frio devem ser anexados aos nós do UltraWarm do seu domínio do OpenSearch Service. Uma vez anexados, as consultas sobre esses dados são alimentadas por nós do UltraWarm atuais e oferecem a mesma performance que os seus dados a quente. Se houver capacidade de UltraWarm suficiente disponível para os dados solicitados, levará segundos para anexar índices inativos ao seu domínio. Se você precisar de mais capacidade, os nós de dados do UltraWarm deverão ser adicionados, o que pode levar alguns minutos.

Auxilie suas equipes de operações de segurança (SecOps) a detectar ameaças potenciais rapidamente e, ao mesmo tempo, ter as ferramentas para ajudar nas investigações de segurança, tudo com baixos custos de retenção de dados. Proteja os dados da sua empresa e detecte rapidamente possíveis ameaças à segurança. O OpenSearch Service fornece suporte pronto para uso para mais de 2.200 regras de segurança Sigma de código aberto para detectar possíveis ameaças à segurança filtrando as descobertas relacionadas. Você pode até mesmo personalizar ou usar as regras padrão do Sigma para detectar rapidamente possíveis ameaças à segurança e enviar alertas para um destino pré-selecionado. Use o suporte pronto para uso para várias fontes de logs, incluindo Windows, Netflow, AWS CloudTrail, DNS e muito mais. 

A análise de segurança do OpenSearch foi projetada para ajudar a investigar, detectar, analisar e responder a ameaças à segurança que possam comprometer as operações de funções críticas de negócios. Essas ameaças incluem a exposição potencial de dados confidenciais, ataques cibernéticos e outros eventos adversos de segurança. Estão incluídos as ferramentas e os atributos necessários para definir parâmetros de detecção, gerar alertas e responder de forma eficaz a ameaças em potencial.

No momento, oferecemos suporte a oito tipos de log, incluindo NetFlow, logs de DNS, logs de acesso do Apache, logs do Windows, logs AD/LDAP, logs do sistema Linux, logs do AWS CloudTrail e logs de acesso do Amazon S3.

Você pode usar seus canais de ingestão existentes que enviam dados formatados em JSON para o OpenSearch.

Sim, pacotes de análise de segurança do OpenSearch com mais de 2.200 regras de segurança Sigma prontas para uso com diferentes tipos de detectores de segurança. Essas regras são pré-selecionadas quando você fornece uma configuração mínima sobre a origem do log.

Sim, regras personalizadas podem ser adicionadas para os tipos de log compatíveis acima. Essas regras precisam estar em um formato de regra Sigma e podem ser importadas para o OpenSearch antes de serem usadas com um detector de segurança.

Sim, os logs devem estar no formato JSON. Recomendamos enviá-los no formato ECS (Elastic Common Schema).

A análise de segurança do OpenSearch está disponível para você sem custos adicionais ou taxas de licenciamento. Você paga pelo mesmo custo que pagaria para ingerir outros dados no OpenSearch Service.

A análise de segurança vem pré-instalada com o OpenSearch Service executando a versão 2.5 ou superior do OpenSearch.

O Amazon Security Lake centraliza automaticamente os dados de segurança de fontes na nuvem, on-premises e personalizadas em um data lake específico armazenado em sua conta. Esses dados agregados são normalizados em um formato comum, armazenados em buckets do S3. Esses dados podem ser ingeridos no OpenSearch Service, que permite visualizar, consultar e criar relatórios. A análise de segurança fornece um mecanismo de regras de segurança que pode ajudar a detectar e alertar sobre possíveis eventos de segurança, bem como auxiliar a correlacioná-los para ajudar na sua investigação.

Sim, você pode trazer logs adicionais do Security Lake para o OpenSearch e criar um detector para executar regras relevantes nos logs ingeridos.

OR1, a família de instâncias otimizadas do OpenSearch que oferece uma relação até 30% maior entre preço e desempenho em relação às instâncias existentes em benchmarks internos e usa o Amazon S3 para fornecer 11 9s de durabilidade. Com o OR1, o Amazon OpenSearch Service usa a inovação do OpenSearch e as tecnologias da AWS para reimaginar como os dados são indexados e armazenados na nuvem. O OR1 permite que os clientes escalem de forma mais econômica e confiável suas implantações do OpenSearch, sem comprometer a experiência de análise interativa que eles esperam. 

OR1 é a família de instâncias otimizadas do OpenSearch para os clusters gerenciados do Amazon Opensearch Service que oferece uma relação até 30% maior entre preço e desempenho em relação às instâncias existentes em benchmarks internos e usa o Amazon S3 para fornecer 11 9s de durabilidade. Com o OR1, o Amazon OpenSearch Service usa a inovação do OpenSearch e as tecnologias da AWS para reimaginar como os dados são indexados e armazenados na nuvem. O OR1 permite que os clientes escalem de forma mais econômica e confiável suas implantações do OpenSearch, sem comprometer a experiência de análise interativa que eles esperam. O OR1 oferece preços de instâncias reservadas e com pagamento conforme o uso, com uma taxa horária simples para as instâncias e o armazenamento provisionados.

Os clientes usam amplamente o Amazon OpenSearch Service para análise de logs operacionais devido à sua capacidade de ingerir grandes volumes de dados e, ao mesmo tempo, fornecer análises abundantes e interativas sobre esses dados. OR1, a família de instâncias otimizadas do OpenSearch que oferece uma relação até 30% maior entre preço e desempenho em relação às instâncias existentes em benchmarks internos e usa o Amazon S3 para fornecer 11 9s de durabilidade. Se você estiver executando workloads pesadas de análise operacional de indexação, poderá se beneficiar da melhoria do desempenho e da eficiência computacional. Além disso, no caso de uma falha, o OpenSearch pode realizar a recuperação automática de dados até a última operação bem-sucedida, melhorando a confiabilidade do domínio.

O Amazon OpenSearch Service oferece suporte a duas estratégias de replicação — replicação lógica (documento) e física (segmento). No caso de replicação lógica, os dados são indexados em todas as cópias individualmente, levando à duplicação de esforços. No caso de replicação física, os dados são indexados somente na cópia primária e cópias adicionais são criadas copiando dados da cópia primária. OR1, as novas instâncias dos clusters gerenciados do Amazon OpenSearch Service, usam replicação física para gravar dados no armazenamento remoto baseado no Amazon S3. O repositório Amazon S3, um armazenamento de dados altamente durável, serve como fonte confiável para todas as operações de replicação e recuperação. O design inovador leva a melhorias no desempenho da indexação e a uma postura de durabilidade aprimorada para domínios do Amazon OpenSearch Service.

O Amazon OpenSearch Service oferece suporte a nós do gerenciador de clusters (nós principais), nós de dados e nós quentes. Para nós de dados, os clientes podem escolher entre: instâncias de uso geral, otimizadas para memória, otimizadas para computação, otimizadas para armazenamento e, agora, otimizadas para OpenSearch, dependendo da função e das características da workload. Para nós ativos, o Amazon OpenSearch Service fornece instâncias superativas que são otimizadas para reduzir o custo de armazenamento de dados quentes. As OR1 são a primeira opção de instâncias na nova família de instâncias otimizadas do OpenSearch. OR1 são otimizadas para memória e estão disponíveis como nós de dados. OR1 fornecem throughput de indexação aprimorada em relação às instâncias padrão otimizadas para memória. Além disso, OR1 fornecem durabilidade de dados sem depender de instantâneos e fornece recuperação rápida e automatizada. As instâncias OR1 e Ultrawarm usam armazenamento local (EBS) e armazenamento remoto (armazenamento gerenciado - com base no Amazon S3) para armazenar dados. Para OR1, uma cópia dos dados é mantida no armazenamento local e no armazenamento remoto, enquanto que, para o Ultrawarm, para reduzir os custos de armazenamento, os dados são mantidos principalmente no armazenamento remoto e, dependendo do padrão de acesso, os dados são movidos para o armazenamento local. 

As instâncias OR1 usam o EBS como armazenamento local e o Amazon S3 como armazenamento remoto. Todos os dados são gravados de forma síncrona no Amazon S3, projetado para fornecer 99,999999999% (11 9s) de durabilidade de dados.

As instâncias OR1 podem ser usadas como nós de dados para todos os novos clusters gerenciados do Amazon OpenSearch Service criados no OpenSearch versão 2.11 ou posterior e ter a criptografia em repouso ativada. No momento do lançamento, as instâncias OR1 não estarão disponíveis para clusters gerenciados que foram criados usando outras instâncias para nós de dados. Para OR1, você precisa provisionar instâncias Graviton para gerenciadores de cluster.

No caso de um índice vermelho, as instâncias OR1 restauram automaticamente os fragmentos perdidos do armazenamento remoto (Amazon S3). O tempo de recuperação varia de acordo com o volume de dados a serem recuperados. 

E-book de referência de arquitetura

Vídeo: Tools for data transformation (Ferramentas para transformação de dados)