Prós e Contras de Apache Sqoop

Apache é muito útil na extração de grandes conjuntos de dados com tempo mínimo. Ele pode ser integrado e implementado com muitas aplicações semelhantes onde grandes dados estão envolvidos com uso frequente. Análise coletada por e hospedada no G2.com.

Às vezes, a consulta leva mais tempo na execução quando muitos joins ou left outer joins ou outros joins estão envolvidos com filtro extra na condição where. A falha durante a importação parcial ocorreu em uma consulta longa. Análise coletada por e hospedada no G2.com.

A simplicidade com que a ferramenta pode ser usada desde o início com configuração mínima em um ambiente distribuído e a curva de aprendizado curta. Análise coletada por e hospedada no G2.com.

O registro parecia ser algo com o qual eu pessoalmente tive dificuldade em identificar anomalias de dados quando se tratava de movimentação de dados nos meus casos de uso. Análise coletada por e hospedada no G2.com.

Data transfer is in parallel,making it fast and cost effective. Análise coletada por e hospedada no G2.com.

The failure during partial import and export need special handling. Análise coletada por e hospedada no G2.com.

Importações incrementais são mais úteis no sqoop Análise coletada por e hospedada no G2.com.

às vezes, quando o mesmo banco de dados é usado para outras aplicações de negócios e minhas consultas envolvem múltiplas junções, o desempenho é impactado Análise coletada por e hospedada no G2.com.

A melhor coisa é que executa a transferência de dados em paralelo. Permite transferir dados de uma variedade de bancos de dados estruturados. Tem uma grande comunidade de suporte. Análise coletada por e hospedada no G2.com.

Sob o capô, ele usa MapReduce, o que leva tempo mesmo para transferências de dados pequenas. Implementar captura de dados de mudança e cargas incrementais é bastante complexo. Ele não pode ser pausado e retomado. Análise coletada por e hospedada no G2.com.

A melhor coisa sobre o Apache Sqoop é que ele oferece fácil configuração para obter os dados em tempo real do sistema de origem. Análise coletada por e hospedada no G2.com.

A coisa que eu não gostei sobre o Apache Sqoop é que, uma vez que o pipeline é quebrado, é difícil recuperar mensagens perdidas. Análise coletada por e hospedada no G2.com.

O uso é muito simples. É muito amigável. Não precisamos escrever muitas linhas de código para obter os dados do banco de dados ou escrever de volta para o banco de dados. Análise coletada por e hospedada no G2.com.

Não há nada que eu possa ver no momento. Se obtivermos suporte para bancos de dados nosql, isso seria ótimo. Análise coletada por e hospedada no G2.com.

A simplicidade e a eficácia do aplicativo conquistam meu coração. Além disso, o design centrado no usuário é incrível. Estou usando o Sqoop para importar dados de armazenamentos de dados externos para o Hadoop Distributed File System ou ecossistemas relacionados ao Hadoop, como Hive e HBase. O maior benefício é o quão fácil é de usar e quão rápido é. O Sqoop pode se integrar facilmente com o Hadoop e despejar dados estruturados de bancos de dados relacionais no HDFS, complementando o poder do Hadoop. É por isso que a certificação em Big Data e Hadoop exige um conhecimento sólido do Apache Sqoop e Flume. Análise coletada por e hospedada no G2.com.

Eu realmente não encontrei nada que eu não gostasse, mas se no futuro encontrar, adoraria compartilhar. Existem alguns problemas ao usar o Sqoop que me incomodaram inicialmente, mas são fáceis de lidar:

Conector do Sqoop:

Problema:

Uso de conector incorreto para o banco de dados a ser conectado ao fazer exportação ou importação com o Sqoop.

Driver ausente ou uso do nome correto do driver da respectiva classe JDBC para o comando Sqoop.

Nome do gerenciador de conexão ausente em alguns casos do comando Sqoop.

Abordagem incorreta ao fornecer senha ou nome de usuário do banco de dados a ser conectado.

O formato dos dados armazenados nas tabelas HDFS/Hive pode criar problemas. Existem alguns formatos, como arquivos ORC, que não permitem transferência direta de dados usando o Sqoop.

Nomes não correspondentes ou incorretos das colunas das tabelas de origem e destino onde o HCatalog é usado no comando Sqoop podem mostrar um trabalho de Sqoop bem-sucedido sem que os dados sejam transferidos. Análise coletada por e hospedada no G2.com.

Replication of Relational DB onto HDFS for MR jobs Análise coletada por e hospedada no G2.com.

The data had to be re-imported every time the data was changed Análise coletada por e hospedada no G2.com.