Pros y Contras de Spark SQL

Específicamente, hablando de los pocos mejores puntos que me gustan de Spark SQL son los siguientes:

- Es la mejor opción para el análisis de big data en colaboración con Hadoop.

- Proporciona acceso rápido a los datos en cargas de trabajo SQL.

- En Spark SQL, se pueden utilizar juntos muchos tipos de procesamiento de datos.

- Es fácil integrar múltiples fuentes de datos, desde Spark RDD hasta bases de datos externas.

- Spark SQL admite Map-reduce, consultas SQL, datos en streaming, aprendizaje automático (ML) y algoritmos de grafos. Reseña recopilada por y alojada en G2.com.

Mi principal desagrado son las limitaciones de Spark SQL, incluidas las cuestiones de latencia, problemas con archivos menores y la falta de procesamiento de datos en tiempo real. Apache ya ha resuelto algunos con una solución alternativa mediante Apache Apex. Sin embargo, estos problemas deben resolverse en Spark SQL ya que una alternativa está bien, pero algunas características que ofrece Spark SQL no están disponibles con Apex. Reseña recopilada por y alojada en G2.com.

1. Consultar grandes datos con sintaxis SQL.

2. Realizar agregaciones. Reseña recopilada por y alojada en G2.com.

Configurar un clúster independiente de Spark es difícil. Reseña recopilada por y alojada en G2.com.

Una característica que me gusta mucho como persona inclinada al software es que Spark es de código abierto. Esto me permite profundizar más en su valor que otros software que existen que realizan las mismas tareas. También es extremadamente robusto en funcionalidad como software. Aún más, este marco y la versión SQL son extremadamente más rápidos que sus competidores debido a la forma en que procesa los datos. Spark utiliza esta idea llamada modo de clúster y dentro de eso, utiliza procesamiento distribuido y permite que el cálculo en los marcos funcione completamente internamente. Otra gran característica es la capacidad de obtener datos de múltiples fuentes diferentes. El uso principal que puedo ver dentro de este marco es el aprendizaje automático y la inteligencia artificial cuando se utilizan grandes cantidades de datos de múltiples fuentes. Permite la mejor combinabilidad y capacidad de procesamiento. Reseña recopilada por y alojada en G2.com.

Una cosa que no me gusta de este software es que no hay soporte para API de conjuntos de datos en la versión de Python de este software. La razón por la que esto es un problema es que la mayoría de los programas de aprendizaje automático e inteligencia artificial que escribo están en el lenguaje Python, por lo que sin ese soporte, es una gran desventaja para mí personalmente. Todavía funciona, pero sin esa característica, es una pequeña decepción. En términos de otros lenguajes de programación, funciona muy bien. Otro problema potencial es la incapacidad de soportar múltiples usuarios concurrentes al mismo tiempo, lo que puede proporcionar obstáculos potenciales en grandes proyectos. Reseña recopilada por y alojada en G2.com.

Ability to handle big data and display the result in the least time. Reseña recopilada por y alojada en G2.com.

Noting. Faced no issue while using the same. Reseña recopilada por y alojada en G2.com.

Algunas características que más me gustan de Spark SQL son:

Spark SQL está tan bien integrado con herramientas de big data que lo convierte en un producto de referencia.

Puede procesar una gran cantidad de datos en segundos, esa es la eficiencia.

Su sintaxis de consulta es como SQL regular, lo que reduce el esfuerzo de aprender un nuevo lenguaje. Reseña recopilada por y alojada en G2.com.

Spark SQL necesita una gran cantidad de RAM para procesar datos, lo que provoca un consumo excesivo de memoria.

Además, no podemos crear una tabla en Spark para el tipo de unión. Reseña recopilada por y alojada en G2.com.

Viabilidad y fácil comprensión de las consultas construidas dentro de sparksql. Reseña recopilada por y alojada en G2.com.

La interfaz de usuario no amigable es muy insatisfactoria, tiene que mejorarse. Reseña recopilada por y alojada en G2.com.

Spark sql is a spark module for structured data processing Reseña recopilada por y alojada en G2.com.

No file management system,expensive,window criteria Reseña recopilada por y alojada en G2.com.

Its support is to access different data sources like Hive, Avro, Parquet, ORC, JSON, and JDBC. Reseña recopilada por y alojada en G2.com.

It Doesn't support real-time processing. Reseña recopilada por y alojada en G2.com.

1. Podemos escribir la mayoría de los scripts SQL para leer los datos masivos.

2. Se admiten todo tipo de características de SQL.

3. La mejor característica que me gusta es usar SQL en el lenguaje Python y almacenar los datos extraídos en marcos de datos de Python.

4. Las vistas SQL son una forma muy cómoda de crear acceso a los datos de los lagos de datos.

5. Dado que Spark SQL utiliza los clústeres de Spark, es muy rápido ejecutar las consultas relacionadas con la extracción de datos.

6. Los cuadernos son una forma más fácil y cómoda de escribir el código. Reseña recopilada por y alojada en G2.com.

El único problema es crear tablas o vistas sobre los datos JSON del lago de datos. Y configurar el metastore externo en lugar de actualizar el metastore actual. Reseña recopilada por y alojada en G2.com.

Permite ejecutar consultas de Hadoop-Hive 10 veces más rápido que MR. Permite consultar marcos de datos en python, scala o java utilizando consultas en SQL. Reseña recopilada por y alojada en G2.com.

No hay nada que no me guste de Spark SQL. Es mejor para consultar grandes volúmenes de datos de manera rápida. Reseña recopilada por y alojada en G2.com.