Prós e Contras de Apache Airflow

Apache Airflow lida bem com o gerenciamento de dependências, uma vantagem sobre as ferramentas típicas de monitoramento ETL. A Interface do Usuário do Airflow é excelente e oferece muitas tarefas, como monitoramento de execuções e registro de logs rapidamente. Análise coletada por e hospedada no G2.com.

Apache Airflow não é diretamente compatível com o sistema operacional Windows. Existem maneiras de superar essa limitação, mas pode ser desafiador para novos engenheiros de dados. Análise coletada por e hospedada no G2.com.

Uma ferramenta útil para criar uma utilidade DAG rápida e ágil para um GCP. Funciona bem para paralelizar trabalhos spark. Análise coletada por e hospedada no G2.com.

Seria melhor se a interface gráfica do DAG pudesse ser aprimorada com a funcionalidade de adicionar logs das tarefas. Além disso, o tratamento de erros e reinício a partir do ponto de falha como o azure adf. Análise coletada por e hospedada no G2.com.

DAGs permitem a execução de scripts no fluxo lógico de tarefas. Sua capacidade de mostrar logs e e-mails Análise coletada por e hospedada no G2.com.

Pouco problema na configuração para o ambiente de produção. Análise coletada por e hospedada no G2.com.

Usar o Apache Airflow reduz muitos esforços manuais que são necessários em pipelines de dados de projetos, e é a melhor ferramenta, pois vem com muitos recursos, como operadores personalizados e muitos mais. Análise coletada por e hospedada no G2.com.

Airflow deve funcionar no versionamento de dag para que possamos gerenciar suas versões de forma mais eficaz. Análise coletada por e hospedada no G2.com.

É relativamente suave em comparação com a facilidade de usar os recursos, o que impressionou devido ao fato de que outros não os estão fornecendo. Análise coletada por e hospedada no G2.com.

A otimização está faltando junto com a velocidade de processamento em comparação com outras plataformas semelhantes. Análise coletada por e hospedada no G2.com.

Gerencia a dependência de forma excelente. Desde o fluxo de dados até ramificações complexas, repetição de tarefas, execuções de recuperação, etc., tem tudo. Análise coletada por e hospedada no G2.com.

O processamento de dados não é muito intuitivo, mesmo após usá-lo por um tempo, e é tedioso de entender para alguém que é novo nisso. Análise coletada por e hospedada no G2.com.

A interface do usuário com várias visualizações e a opção de executar cada tarefa sem entrar no modo de depuração. Análise coletada por e hospedada no G2.com.

Não há opção para alterar o código na interface do usuário. Análise coletada por e hospedada no G2.com.

Web UI e transparência, tem sido a ferramenta mais preferida para automatizar trabalhos ou fluxos de trabalho. Análise coletada por e hospedada no G2.com.

Após a execução de cada trabalho, podemos enfrentar alguns erros e para verificar os logs não temos filtro de pesquisa por palavra-chave. Análise coletada por e hospedada no G2.com.

It is an open-source tool that provides users to schedule a task and automate the process. It provides the option to run jobs individually without using debug mode. It is easy to use and fun. Moreover, it is easy to understand. Análise coletada por e hospedada no G2.com.

UI glitches sometimes. Apart from that, modifying a deployed pipeline is complex. Therefore, usually, users need to create a new pipeline instead of making changes to the existing one. Análise coletada por e hospedada no G2.com.

Facilidade de criar DAGs, comunicação entre tarefas, tentativas, múltiplos conectores etc. Análise coletada por e hospedada no G2.com.

A configuração interna do Airflow pode ser tediosa, também não saber por que as tarefas estão no estado agendado. Análise coletada por e hospedada no G2.com.