Prós e Contras de Amazon Kinesis Data Firehose

A maior parte da infraestrutura, basicamente algumas configurações como monitoramento dos pipelines, recebimento de notificações ou mensagens de alerta, status etc... são gerenciadas pelo provedor de serviços. Uma curva de aprendizado relativamente fácil para construir pipelines com boas capacidades de escalonamento à medida que suas necessidades de dados aumentam. Tudo é seguro e regulamentado com as conformidades necessárias também. Análise coletada por e hospedada no G2.com.

Eu sinto que os pipelines falham ou há uma queda de tempo de inatividade que acontece às vezes. Os Data Pipelines que você constrói devem ser bons o suficiente para funcionar de forma eficiente. Leva uma curva de aprendizado acentuada quando você o usa para processamento de dados em tempo real, pois requer um entendimento e expertise maiores para ser capaz de lidar com isso. Não tão rápido quando se trata de processamento em tempo real. Análise coletada por e hospedada no G2.com.

One of the best features of Amazon Kinesis is its easy integration of it with other AWS services. We often require the streaming data from Kinesis to be stored and later analyzed. This requires easy integration with services like Lambda, S3, Data lakes, etc. This can be done very easily in the case of Kinesis. Análise coletada por e hospedada no G2.com.

There is very less visibility when the data is within AWS Kinesis. The user of the data has no idea where it resides. This is especially important in situations where there are drops in messages. Although it's not an exact science Kinesis can make it better. Análise coletada por e hospedada no G2.com.

Seus serviços de infraestrutura totalmente gerenciados permitem que os desenvolvedores se concentrem na construção de aplicações e na análise de dados sem se preocupar com a infraestrutura subjacente. A melhor parte deste produto é o modelo de precificação Pay-as-you-Go, o que significa que você só paga pelos dados que processa e entrega. Isso o torna uma solução econômica para lidar com dados de streaming em tempo real. Análise coletada por e hospedada no G2.com.

Algumas desvantagens incluem controle limitado sobre o tempo de entrega, afetando sistemas de entrega em tempo real. Também tem destinos limitados, focando principalmente na integração com outros serviços da AWS. Isso o torna incompatível com outros destinos, e temos que usar diferentes serviços para lidar com a integração. Análise coletada por e hospedada no G2.com.

Escalabilidade: O Amazon Kinesis Data Firehose pode lidar com qualquer quantidade de dados em streaming e escala automaticamente para cima ou para baixo com base no volume de dados ingeridos.

Baixa Latência: Com o Amazon Kinesis Data Firehose, você pode receber e processar dados em tempo real, com uma latência de apenas alguns segundos.

Fácil de usar: O Amazon Kinesis Data Firehose é um serviço totalmente gerenciado, o que significa que você não precisa se preocupar com o gerenciamento de servidores, configuração e escalonamento de infraestrutura, ou configuração de monitoramento e alertas. Você pode se concentrar no processamento e análise dos seus dados.

Integração com outros serviços da AWS: O Amazon Kinesis Data Firehose se integra perfeitamente com outros serviços da AWS, como S3, Redshift, Elasticsearch e Lambda, o que facilita a construção de pipelines de processamento de dados de ponta a ponta.

Segurança e Conformidade: O Amazon Kinesis Data Firehose é projetado para ser altamente seguro e em conformidade com padrões e regulamentos da indústria, como HIPAA, PCI e SOC. Ele utiliza criptografia em trânsito e em repouso, e fornece controles de acesso e capacidades de auditoria.

No geral, o Amazon Kinesis Data Firehose é uma ferramenta poderosa para ingestão e processamento de dados em streaming em tempo real, e pode ajudar você a construir pipelines de processamento de dados escaláveis, seguros e em conformidade na nuvem AWS. Análise coletada por e hospedada no G2.com.

Custo: Amazon Kinesis Data Firehose pode ser caro, especialmente se você estiver ingerindo um grande volume de dados ou usando múltiplos destinos. Você deve monitorar e otimizar cuidadosamente seu uso para evitar cobranças inesperadas.

Complexidade: Embora o Amazon Kinesis Data Firehose seja projetado para ser fácil de usar, ainda pode ser complexo de configurar e gerenciar, especialmente se você for novo no processamento de dados em tempo real. Você pode precisar investir tempo e recursos para aprender a usar o serviço de forma eficaz.

Disponibilidade: Como qualquer serviço em nuvem, o Amazon Kinesis Data Firehose pode experimentar ocasionalmente tempo de inatividade ou interrupções, o que pode afetar seu pipeline de processamento de dados. Você deve projetar seu pipeline para ser resiliente e ter planos de backup em caso de falhas.

Compatibilidade: O Amazon Kinesis Data Firehose pode não ser compatível com todas as fontes ou destinos de dados, ou pode exigir configuração ou personalização adicional para funcionar corretamente com certos sistemas. Você deve verificar a compatibilidade e os requisitos de suas fontes e destinos de dados antes de usar o serviço.

No geral, embora o Amazon Kinesis Data Firehose tenha muitos benefícios, é importante estar ciente dos potenciais desafios e limitações e planejar adequadamente para garantir uma implementação bem-sucedida. Análise coletada por e hospedada no G2.com.

- integração perfeita

- transformação de dados

- configurar facilmente pipelines de entrega de dados

- simplifica o processo de ingestão e entrega de dados de streaming em tempo real Análise coletada por e hospedada no G2.com.

-espera dados em um formato específico (por exemplo, JSON, CSV) e pode exigir algum pré-processamento se seus dados não seguirem esses formatos. Análise coletada por e hospedada no G2.com.

É melhor usado para analisar dados de maneira eficiente. Para mim, eu o uso para ETL dos dados e criar um monte de gráficos através do driver tableau-kinesis e trabalhar nisso. Análise coletada por e hospedada no G2.com.

Eu não tenho nada a desgostar sobre o software, pois meu trabalho está indo bem, mas gostaria de dizer que se o software fosse um pouco mais rápido com o Tableau, isso poderia ser um ponto positivo. Análise coletada por e hospedada no G2.com.

- É um serviço confiável

- Ele se integra muito bem com outras soluções da AWS (lambdas, fluxos de dados, etc.)

- Ele fornece entrega de dados quase em tempo real. Análise coletada por e hospedada no G2.com.

- A documentação é um pouco confusa, mas existem muitos fóruns para lidar com isso.

- O preço é um pouco mais alto do que outras alternativas no mercado.

- Não há sistema de fila, então isso pode ser um problema em alguns cenários. Análise coletada por e hospedada no G2.com.

Amazon Kinesis Data Firehose é um serviço totalmente gerenciado para carregar dados de streaming em armazenamentos de dados e ferramentas de análise. Faz parte da família de serviços Amazon Kinesis e é projetado para lidar com fluxos de dados em tempo real em grande escala.

A facilidade de uso do Kinesis Data Firehose é uma de suas principais vantagens. Os usuários podem criar fluxos de dados no AWS Management Console com alguns cliques, e o serviço cuidará de tarefas como armazenamento em buffer, compressão e transformação dos dados antes de serem carregados no destino. O Kinesis Data Firehose também se integra a vários serviços da AWS, incluindo Amazon S3, Amazon Redshift e Amazon Elasticsearch, tornando simples o carregamento de dados nesses serviços para análise posterior.

A escalabilidade é outra característica importante do Kinesis Data Firehose. O serviço pode lidar com grandes quantidades de dados de streaming e escala automaticamente para lidar com picos de volume de dados sem intervenção do usuário. Isso significa que as organizações podem usar o Kinesis Data Firehose para capturar e processar dados de várias fontes, como dispositivos IoT, feeds de mídia social e logs da web, e então armazenar esses dados para análise posterior. Análise coletada por e hospedada no G2.com.

1. O Amazon Kinesis Data Firehose tem integração limitada com outras aplicações e serviços de terceiros.

2. O Amazon S3, Amazon Redshift e Amazon Elasticsearch estão entre os destinos suportados pelo Kinesis Data Firehose. Isso pode ser limitante para usuários que desejam visitar outros lugares.

3. O custo do Kinesis Data Firehose pode ser caro, especialmente ao lidar com grandes volumes de dados.

4. O Kinesis Data Firehose não fornece capacidades de processamento em tempo real. Os dados devem ser armazenados em buffer antes de serem processados e entregues ao destino. Análise coletada por e hospedada no G2.com.

É automaticamente escalável e de custo muito baixo. É quase em tempo real. É altamente personalizável, e os dados são tipicamente disponibilizados em um fluxo por 24 horas, mas por um custo adicional, os usuários podem obter disponibilidade de dados por até sete dias. Análise coletada por e hospedada no G2.com.

A desvantagem é o tempo quase real, o que significa que às vezes leva mais tempo, como 60 segundos, para processar seus dados. Análise coletada por e hospedada no G2.com.

A melhor coisa sobre o Amazon Kinesis Data Firehose é seu gerenciamento de escalonamento automático na faixa de gigabytes por segundo e suporte para agrupamento, criptografia, etc. de dados. Análise coletada por e hospedada no G2.com.

Desgostar do Amazon Kinesis Data Firehose é que ele só suporta um total máximo de gravação de dados de 1MB por segundo. O tamanho do lote e a taxa de transferência precisam melhorar. Análise coletada por e hospedada no G2.com.