Prós e Contras de Spark Streaming

Sua capacidade de lidar com grandes volumes de dados o torna escalável horizontalmente e sua tolerância a falhas através da replicação de dados e também seu suporte para streaming em lote tornam o processamento de dados mais rápido. Análise coletada por e hospedada no G2.com.

A latência de micro batching reduz a latência e também seu consumo intensivo de recursos, consumindo uma grande quantidade de recursos. Análise coletada por e hospedada no G2.com.

O que eu mais gosto no Spark Streaming é sua capacidade de lidar com o processamento de dados em tempo real de forma eficiente, mantendo uma alta taxa de transferência. Ele permite uma integração perfeita com o ecossistema Apache Spark, proporcionando acesso a uma ampla gama de bibliotecas e ferramentas. O modelo de programação é fácil de trabalhar, e seus mecanismos de tolerância a falhas garantem um processamento de dados confiável mesmo diante de falhas. Além disso, a escalabilidade do Spark Streaming e sua integração com várias fontes de dados o tornam uma escolha versátil para lidar com dados de streaming. Análise coletada por e hospedada no G2.com.

Nenhum suporte embutido para processamento de tempo de evento. Análise coletada por e hospedada no G2.com.

Com a ajuda do Spark Streaming, enormes quantidades de dados podem ser transferidas com literalmente zero latência. Scripts são fáceis de configurar e executar usando clusters Spark. Mais importante, falhas podem ser encontradas e resolvidas com os logs da interface do usuário do Spark. Análise coletada por e hospedada no G2.com.

Há muito a aprender sobre o Spark Streaming e grandes quantidades de documentação podem, às vezes, ser um pouco avassaladoras de se percorrer. A visualização de dados pode ser mais aprimorada em vez de ter a interface básica. Pode ser caro às vezes se os clusters não estiverem devidamente otimizados. Análise coletada por e hospedada no G2.com.

O streaming do Spark é muito simples e fácil de implementar, pois precisamos apenas configurar os parâmetros para o pacote existente. Análise coletada por e hospedada no G2.com.

Às vezes, quando os motoristas não estão disponíveis, perdemos a conexão facilmente e temos que fazer outra execução limpando os estados para obter uma execução adequada. Análise coletada por e hospedada no G2.com.

O Spark Streaming é uma das melhores opções para transmitir dados facilmente, depois do Kafka. Se você deseja transmitir uma quantidade pequena ou média de dados, pode usar o Spark Streaming de forma fácil e segura. Análise coletada por e hospedada no G2.com.

Kafka é melhor do que o Spark Streaming porque o Spark Streaming não funciona adequadamente com uma quantidade maior de dados, enquanto o Kafka Streaming lida com os dados muito bem. Análise coletada por e hospedada no G2.com.

Análise em tempo real e uma solução de código aberto. Análise coletada por e hospedada no G2.com.

Complexo de configurar inicialmente e não tão relevante para pequenas aplicações. Análise coletada por e hospedada no G2.com.

Spark streaming is one of the key components which helps the real time streaming of data and also gives lots of enhancement that helps procesisng larger datasets Análise coletada por e hospedada no G2.com.

There is no dislike I feel In general but the compatibility does matter some or the other time on different platforms. But still its the best streaming and processing Análise coletada por e hospedada no G2.com.

Eu consegui construir um pipeline de dados complexo usando o Apache Spark. Análise coletada por e hospedada no G2.com.

O Spark geralmente não é adequado quando o conjunto de dados é relativamente pequeno. Análise coletada por e hospedada no G2.com.

It's evolution in Big Data World. Very trendy and evolving. Also people are using for real time processing as well as batch processing which saves cost too. Thankful Análise coletada por e hospedada no G2.com.

It's difficult to understand and learn. Not much resources available. Also, people must have a hard core big data background with map reduce and java understanding to further understand spark streaming Análise coletada por e hospedada no G2.com.

Spark é uma estrutura muito poderosa e executamos trabalhos de streaming do Spark para múltiplos requisitos, como coletar dados de flume, kafka, sqoop, hdfs e enviá-los para outros nós.

Um dos trabalhos de streaming do Spark usados diariamente é para copiar nossos dados de produção para DR usando um trabalho de streaming do Spark. O que fazemos aqui é copiar as fsimages do cluster de produção e DR, e então executar um trabalho de streaming do Spark para achatar a imagem e calcular a diferença, após o que os dados são enviados para um banco de dados e os dados são copiados de produção para DR usando a diferença da imagem do namespace. Copiamos quase 800+ TB de dados usando este trabalho de streaming. Análise coletada por e hospedada no G2.com.

Os trabalhos de streaming do Spark são intensivos em recursos, bem como complexos, então você precisa de engenheiros que saibam bem como ajustar o trabalho, caso contrário, um trabalho de streaming do Spark pode consumir recursos suficientes para derrubar um cluster de múltiplos nós. Análise coletada por e hospedada no G2.com.