Pros y Contras de Spark SQL

Explanation about rdd and how we perform all the operations in distributed worker node Reseña recopilada por y alojada en G2.com.

Very basic level not much was there about connecting spark withbother data source Reseña recopilada por y alojada en G2.com.

Caching

Temporary table usage

It can be used for structured databases as well Reseña recopilada por y alojada en G2.com.

No automatic optimisation techniques

High learning curve, better documentation needed Reseña recopilada por y alojada en G2.com.

I like the most about spark sql is it is easy to use and we can easily apply normal sql query for it and we can use it in btw pyspark notebook also using %sql by register dataframe as temp table. Reseña recopilada por y alojada en G2.com.

Not any particular dislike some time I faced difficulty in performance and run time of cell if we run any complex query that has lot join and other condition to reduce this I use cte and make the query in chunks. Reseña recopilada por y alojada en G2.com.

Spark SQL tiene algunas capacidades que me gustan particularmente:

Spark SQL es un producto de referencia porque las tecnologías de big data se integran con él de manera tan fluida.

Tiene una alta eficiencia y puede procesar rápidamente una gran cantidad de datos.

Debido a lo similar que es su sintaxis de consulta al SQL estándar, aprender un nuevo lenguaje se hace más fácil. Reseña recopilada por y alojada en G2.com.

Mi principal queja con Spark SQL son sus limitaciones, que incluyen problemas de latencia, problemas menores de archivos y la falta de procesamiento de datos en tiempo real. Apache Apex, una solución alternativa, ya ha resuelto algunos problemas. Sin embargo, estos problemas deben resolverse en Spark SQL, ya que una alternativa es aceptable, pero algunas características proporcionadas por Spark SQL no están disponibles con Apex. Reseña recopilada por y alojada en G2.com.

Spark SQL no es más que un lenguaje de consulta que proporciona al desarrollador la capacidad de obtener y analizar los datos en HDFS. Spark SQL admite las características de indexación, así como las características de particiones, de modo que los datos que se van a cargar se organizan de una manera que se pueden obtener fácilmente y están listos para el análisis. Spark Core proporciona la plataforma o terminal donde podemos escribir nuestras consultas y realizar cualquier tarea operativa. Reseña recopilada por y alojada en G2.com.

El núcleo de Spark no admite las funciones de caché, por lo que no puede almacenar los resultados de consultas o una consulta en caché, por lo que cada vez que un desarrollador realiza una consulta, siempre utiliza el almacén o un escaneo completo de datos. Así que siento que debería ofrecer las funciones de caché para que el costo de computación sea bajo cuando alguien use el marco de Spark. Reseña recopilada por y alojada en G2.com.

Como ayuda a ejecutar un gran número de conjuntos de datos de manera distribuida. Spark SQL proporciona una abstracción de programación llamada Data Frames y también puede actuar como un motor de consultas SQL distribuido. Reseña recopilada por y alojada en G2.com.

Nada como tal. Pero unirse de esta manera es difícil si estás uniendo conjuntos de datos desequilibrados. Crea un conjunto de datos muy sesgado que no se utiliza para un modelo de datos adecuado. Reseña recopilada por y alojada en G2.com.

La integración de consultas SQL con los programas Spark es una de las mejores características. La velocidad de procesamiento de las grandes consultas, así como la optimización del espacio de almacenamiento, es insuperable. Reseña recopilada por y alojada en G2.com.

El costo de la herramienta es elevado en comparación con lo que ofrece. Si estás en la intranet, podría haber un problema de latencia al ejecutar las consultas. Reseña recopilada por y alojada en G2.com.

Spark funciona de manera más efectiva en comparación con otras bases de datos como MySQL. Puede cargar más datos en comparación con otras bases de datos y es mejor cuando se trabaja con grandes conjuntos de datos. Reseña recopilada por y alojada en G2.com.

No diría que es una desventaja, pero la versión premier de Spark es más costosa en comparación con otras bases de datos como MySQL, SQLite, pero Spark SQL ofrece una experiencia de primera calidad. Reseña recopilada por y alojada en G2.com.

Lo mejor es que podemos procesar nuestros datos en Spark con código SQL. SparkSQL tiene un optimizador de catalyst que propone el mejor plan de ejecución y DAG para ejecutar en Spark. Reseña recopilada por y alojada en G2.com.

Utiliza mucha memoria al procesar los datos, lo que lleva a problemas de falta de memoria. Reseña recopilada por y alojada en G2.com.

Spark SQL es más rápido, y la información de tipo adicional lo hace más eficiente. Reseña recopilada por y alojada en G2.com.

Hasta ahora, no hay soporte para tablas de transacciones. Reseña recopilada por y alojada en G2.com.