Pros y Contras de Apache Sqoop

Apache es muy útil para extraer grandes conjuntos de datos en un tiempo mínimo. Puede integrarse e implementarse con muchas aplicaciones similares donde se involucra el uso frecuente de grandes datos. Reseña recopilada por y alojada en G2.com.

A veces la consulta toma más tiempo en la ejecución cuando hay muchos join o left outer join u otro join involucrados con un filtro adicional en la condición where. El fallo durante la importación parcial ocurrió en una consulta larga. Reseña recopilada por y alojada en G2.com.

La simplicidad con la que se puede utilizar la herramienta desde el principio con una configuración mínima en un entorno distribuido y la corta curva de aprendizaje. Reseña recopilada por y alojada en G2.com.

El registro parecía ser algo con lo que personalmente luché al identificar anomalías de datos cuando se trataba del movimiento de datos en mis casos de uso. Reseña recopilada por y alojada en G2.com.

Data transfer is in parallel,making it fast and cost effective. Reseña recopilada por y alojada en G2.com.

The failure during partial import and export need special handling. Reseña recopilada por y alojada en G2.com.

Las importaciones incrementales son más útiles en sqoop. Reseña recopilada por y alojada en G2.com.

a veces, cuando se utiliza la misma base de datos para otras aplicaciones empresariales y mis consultas implican múltiples uniones, el rendimiento se ve afectado Reseña recopilada por y alojada en G2.com.

Lo mejor es que ejecuta la transferencia de datos en paralelo. Permite transferir datos desde una variedad de bases de datos estructuradas. Tiene una gran comunidad de apoyo. Reseña recopilada por y alojada en G2.com.

Debajo del capó utiliza MapReduce, lo que lleva tiempo incluso para la transferencia de datos pequeños. Implementar la captura de datos de cambio y cargas incrementales es bastante complejo. No se puede pausar y reanudar. Reseña recopilada por y alojada en G2.com.

Lo mejor de Apache Sqoop es que proporciona una configuración fácil para obtener los datos en tiempo real desde el sistema fuente. Reseña recopilada por y alojada en G2.com.

Lo que no me gustó de Apache Sqoop es que una vez que la tubería se rompe, es difícil recuperar los mensajes perdidos. Reseña recopilada por y alojada en G2.com.

El uso es muy simple. Es muy fácil de usar. No necesitamos escribir muchas líneas de código para obtener los datos de la base de datos o escribir de nuevo en la base de datos. Reseña recopilada por y alojada en G2.com.

No hay nada que pueda ver por ahora. Si obtenemos soporte para bases de datos nosql, eso sería genial. Reseña recopilada por y alojada en G2.com.

La simplicidad y efectividad de la aplicación me conquista. Además, el diseño centrado en el usuario es impresionante. Estoy utilizando Sqoop para importar datos de almacenes de datos externos en el Sistema de Archivos Distribuidos de Hadoop o ecosistemas relacionados con Hadoop como Hive y HBase. El mejor beneficio es lo fácil que es de usar y lo rápido que es. Sqoop puede integrarse fácilmente con Hadoop y volcar datos estructurados de bases de datos relacionales en HDFS, complementando el poder de Hadoop. Esta es la razón por la cual la certificación en Big Data y Hadoop exige un conocimiento sólido de Apache Sqoop y Flume. Reseña recopilada por y alojada en G2.com.

No encontré realmente nada que no me gustara, pero si en el futuro lo hago, me encantaría compartirlo. Hay algunos problemas al usar sqoop que me molestaron inicialmente, pero son fáciles de manejar:

Conector de Sqoop:

Problema:

Uso de un conector incorrecto para la base de datos a la que se va a conectar al realizar una exportación o importación con sqoop.

Falta del controlador o uso del nombre correcto del controlador de la clase jdbc respectiva para el comando sqoop.

Falta del nombre del administrador de conexiones en algunos casos del comando sqoop.

Enfoque incorrecto al proporcionar la contraseña o el nombre de usuario de la base de datos a la que se va a conectar.

El formato de los datos almacenados en las tablas de HDFS/Hive puede crear problemas. Hay algunos formatos, como los archivos ORC, que no permiten la transferencia directa de datos usando sqoop.

Nombres no coincidentes o incorrectos de las columnas de las tablas de origen y destino donde se utiliza HCatalog en el comando sqoop pueden mostrar un trabajo de sqoop exitoso sin que los datos se transfieran. Reseña recopilada por y alojada en G2.com.

Replication of Relational DB onto HDFS for MR jobs Reseña recopilada por y alojada en G2.com.

The data had to be re-imported every time the data was changed Reseña recopilada por y alojada en G2.com.