Pros y Contras de Spark Streaming

Su capacidad para manejar grandes volúmenes de datos lo hace escalable horizontalmente y su tolerancia a fallos a través de la replicación de datos y también su soporte para el procesamiento por lotes hacen que el procesamiento de datos sea más rápido. Reseña recopilada por y alojada en G2.com.

La latencia de micro-lotes reduce la latencia y también su consumo intensivo de recursos al consumir una gran cantidad de recursos. Reseña recopilada por y alojada en G2.com.

Lo que más me gusta de Spark Streaming es su capacidad para manejar el procesamiento de datos en tiempo real de manera eficiente mientras mantiene un alto rendimiento. Permite una integración perfecta con el ecosistema de Apache Spark, proporcionando acceso a una amplia gama de bibliotecas y herramientas. El modelo de programación es fácil de trabajar, y sus mecanismos de tolerancia a fallos aseguran un procesamiento de datos confiable incluso frente a fallos. Además, la escalabilidad de Spark Streaming y su integración con diversas fuentes de datos lo convierten en una opción versátil para manejar datos en streaming. Reseña recopilada por y alojada en G2.com.

No hay soporte incorporado para el procesamiento de tiempo de eventos. Reseña recopilada por y alojada en G2.com.

Con la ayuda de Spark Streaming, se pueden transferir enormes cantidades de datos con literalmente cero latencia. Los scripts son fáciles de configurar y ejecutar utilizando clústeres de Spark. Lo más importante, las fallas se pueden encontrar y resolver con los registros de la interfaz de usuario de Spark. Reseña recopilada por y alojada en G2.com.

Hay mucho que aprender sobre Spark Streaming y grandes cantidades de documentación a veces pueden ser un poco abrumadoras de revisar. La visualización de datos puede mejorarse más en lugar de tener la interfaz básica. Puede ser costoso a veces si los clústeres no están debidamente optimizados. Reseña recopilada por y alojada en G2.com.

El streaming de Spark es muy simple y fácil de implementar ya que solo necesitamos configurar parámetros en el paquete existente. Reseña recopilada por y alojada en G2.com.

A veces, cuando los controladores no están disponibles, perdemos la conexión fácilmente y tenemos que hacer otra ejecución limpiando estados para obtener una ejecución adecuada. Reseña recopilada por y alojada en G2.com.

Spark streaming es una de las mejores opciones para transmitir datos fácilmente, después de Kafka. Si deseas transmitir una cantidad pequeña o mediana de datos, puedes usar Spark streaming de manera fácil y segura. Reseña recopilada por y alojada en G2.com.

Kafka es mejor que Spark Streaming porque Spark Streaming no funciona correctamente con una mayor cantidad de datos, mientras que Kafka Streaming maneja los datos muy bien. Reseña recopilada por y alojada en G2.com.

Análisis en tiempo real y una solución de código abierto. Reseña recopilada por y alojada en G2.com.

Complejo de configurar inicialmente y no tan relevante para aplicaciones pequeñas. Reseña recopilada por y alojada en G2.com.

Spark streaming is one of the key components which helps the real time streaming of data and also gives lots of enhancement that helps procesisng larger datasets Reseña recopilada por y alojada en G2.com.

There is no dislike I feel In general but the compatibility does matter some or the other time on different platforms. But still its the best streaming and processing Reseña recopilada por y alojada en G2.com.

Pude construir una tubería de datos compleja utilizando Apache Spark. Reseña recopilada por y alojada en G2.com.

Spark generalmente no es adecuado cuando el conjunto de datos es relativamente pequeño. Reseña recopilada por y alojada en G2.com.

It's evolution in Big Data World. Very trendy and evolving. Also people are using for real time processing as well as batch processing which saves cost too. Thankful Reseña recopilada por y alojada en G2.com.

It's difficult to understand and learn. Not much resources available. Also, people must have a hard core big data background with map reduce and java understanding to further understand spark streaming Reseña recopilada por y alojada en G2.com.

Spark es un marco muy poderoso y ejecutamos trabajos de transmisión de Spark para múltiples requisitos, como recopilar datos de flume, kafka, sqoop, hdfs y enviarlos a otros nodos.

Uno de los trabajos de transmisión de Spark que se utiliza diariamente es para copiar nuestros datos de producción a DR. Lo que hacemos aquí es copiar las fsimages del clúster de producción y DR, y luego ejecutar un trabajo de transmisión de Spark para aplanar la imagen y calcular la diferencia, después de lo cual los datos se envían a una base de datos y los datos se copian de producción a DR utilizando la diferencia de la imagen del espacio de nombres. Hemos copiado casi 800+ TB de datos utilizando este trabajo de transmisión. Reseña recopilada por y alojada en G2.com.

Los trabajos de transmisión de Spark son intensivos en recursos y complejos, por lo que necesitas ingenieros que sepan bien cómo ajustar el trabajo, de lo contrario, un trabajo de transmisión de Spark podría consumir suficientes recursos como para derribar un clúster multinodo. Reseña recopilada por y alojada en G2.com.