Reseñas y detalles del producto de Spark

He utilizado Spark para el procesamiento de datos, lo que más me gusta es la velocidad, procesa una gran cantidad de datos gracias a la computación en memoria, lo cual es mucho mejor en comparación con Hadoop MapReduce. Reseña recopilada por y alojada en G2.com.

Lo que no me gusta de Spark es que el costo de infraestructura es muy alto cuando se trata de ejecutar los datos en un entorno de clúster. Reseña recopilada por y alojada en G2.com.

La velocidad de Spark

La característica de integración de Spark con software personalizado, con otras herramientas.

La facilidad de uso y adaptabilidad del usuario. Reseña recopilada por y alojada en G2.com.

No hay sistema de archivos para gestionar.

Funciones/algoritmos limitados. Reseña recopilada por y alojada en G2.com.

Me encanta la velocidad del procesamiento de datos. También el inmenso ecosistema de integración con APIs y la gran cantidad de optimización en memoria que podemos lograr a través de él. Es muy fácil de usar e implementar con enfoques versátiles de procesamiento de datos que podemos lograr a través de él y también el soporte al cliente con la ayuda de la comunidad es excelente. Reseña recopilada por y alojada en G2.com.

Requiere una curva de aprendizaje pronunciada ya que las personas no técnicas o principiantes pueden encontrarlo muy complejo.

Cuando la complejidad de los datos es enorme, es difícil depurar y encontrar errores en los grandes datos procesados.

No es adecuado para el procesamiento de datos pequeños. Reseña recopilada por y alojada en G2.com.

Integración con lenguajes de scripting potentes (Python, Scala y Java). Consumo de archivos de almacén de datos de Apache disponibles para desarrollar modelos de ML y desplegar rápidamente en producción. La integración con Knime proporcionó desarrollo sin código de pipelines ETL, y la fusión con almacenes de datos de Apache nos permitió educar rápidamente al talento tradicional (basado en SQL y Excel) para construir conocimientos de datos robustos. La integración de la plataforma Knime con Spark no requirió potencia de cómputo adicional ya que realizó todo el procesamiento en la infraestructura de Spark. Reseña recopilada por y alojada en G2.com.

Fuera de la caja, Spark tiene menos algoritmos para modelos de ML, pero podemos extender con otros lenguajes de programación lo que implica un esfuerzo adicional al implementar con Knime. Reseña recopilada por y alojada en G2.com.

1. Realmente me gusta el concepto de RDD en Spark ya que son inmutables.

2. Spark proporciona muchas UDFs del sistema (listas para usar) para trabajar.

3. Podemos depurar fácilmente un problema de Spark verificando el linaje en la interfaz de usuario de Spark. Reseña recopilada por y alojada en G2.com.

1. A veces, los errores de falta de memoria en Spark se vuelven muy frecuentes, y se invoca un comando SIGKILL sin ningún rastro de pila adecuado por parte de Spark. De esta manera, se vuelve muy difícil depurar un trabajo de Spark. Reseña recopilada por y alojada en G2.com.

Spark hace posible el procesamiento de conjuntos de datos muy grandes y también maneja estos conjuntos de datos de manera bastante rápida.

Spark parece ser un software que avanza rápidamente.

Spark es uno de los software de tendencia en los últimos tiempos.

Es un gran motor de computación para resolver lógicas complejas. Reseña recopilada por y alojada en G2.com.

Spark parece ser un poco lento con datos amplios.

Spark carece un poco en apoyar a sus usuarios.

Spark necesita alguna capacidad avanzada para entender y estructurar la modelización de grandes datos. Reseña recopilada por y alojada en G2.com.

-Incorpora lenguajes de scripting potentes.

-El procesamiento de datos es significativamente más rápido que el sistema convencional de Big Data de Hadoop debido a sus cálculos en memoria y varias otras optimizaciones. Reseña recopilada por y alojada en G2.com.

Puede haber errores de falta de memoria como resultado de cálculos en memoria. El tiempo de ejecución de la consulta es algo alto, sin embargo, es esperado, pero se puede optimizar hasta ciertos niveles. Reseña recopilada por y alojada en G2.com.

In memory processing is mostly liked thing. Also directly we can use dataframes which makes it very developer friendly. Also streaming part I liked very much... Reseña recopilada por y alojada en G2.com.

There is nothing as such in my opinion which can be disliked. Reseña recopilada por y alojada en G2.com.

Spark's in-memory computations makes it suparfast over traditional Map-Reduce jobs.

Also spark has capacity to not just read from hdfs but also from any storage. Spark streaming is best for streaming applications.

Dataframes are also the best part of spark. Reseña recopilada por y alojada en G2.com.

There is nothing as such to dislike about spark. Reseña recopilada por y alojada en G2.com.

En memoria, niveles de computación y almacenamiento

GRAPHX y sparkmlib para ejecutar trabajos de ML en un entorno distribuido

Soporte para múltiples idiomas Reseña recopilada por y alojada en G2.com.

Problemas de rendimiento para UDFs no Scala

No se puede auto-optimizar la asimetría Reseña recopilada por y alojada en G2.com.