Prós e Contras de Apache Airflow

Uso de expressão cron tab, importação de vários módulos, importação de operadores definidos pelo usuário. Análise coletada por e hospedada no G2.com.

declarando dag em um padrão fixo ou então o agendador não irá reconhecer seu dag e mostrará erro de importação Análise coletada por e hospedada no G2.com.

Airflow é muito escalável

Integração de Pipeline Dinâmico

Podemos conectar o Airflow com muitas aplicações e Data Warehouses como Databricks, MySQL e assim por diante Análise coletada por e hospedada no G2.com.

Lutas com a Interface do Usuário

Às vezes é agitado gerenciar o banco de dados de metadados do Airflow

Lutas de desempenho às vezes quando criamos inúmeras tarefas

Recursos integrados limitados Análise coletada por e hospedada no G2.com.

- Melhor software de código aberto para começar

- Ótimo material online para solucionar problemas e comunidade Análise coletada por e hospedada no G2.com.

- Precisa de um engenheiro de dados dedicado e devops

- A manutenção pode levar muito tempo

- Precisa de outra ferramenta para medição da qualidade dos dados Análise coletada por e hospedada no G2.com.

A melhor coisa sobre o Airflow é o quão versátil ele é como ferramenta. O Airflow pode ser usado para construir fluxos de trabalho em praticamente todos os bancos de dados e ferramentas, e a enorme quantidade de integrações que possui é brilhante e extremamente útil. Análise coletada por e hospedada no G2.com.

Aprender Airflow é uma tarefa seriamente complicada. E mesmo isso muitas vezes não é suficiente para se tornar realmente bom nisso. O sistema de agendamento é pouco intuitivo. A versionamento para os Dags e revertê-los, uma tarefa muito simples em um concorrente Prefect, não faz parte do Airflow. Análise coletada por e hospedada no G2.com.

Python is my favorite coding language, the DAGs in Airflow are written in Python. There are several built-in operators in Airflow to execute the Python function, call Databricks job and execute bash commands. I love to build the pipeline in Airflow Análise coletada por e hospedada no G2.com.

The Airflow orchestration tool is a bit complicated in developing compared to other pipeline tools. While other tools have drag-and-drop options, coding in Airflow takes more time. Análise coletada por e hospedada no G2.com.

It is easy configure

it is easy to handle script over UI

It shows error on UI where your script got error

Can run script easily Análise coletada por e hospedada no G2.com.

For multiple file triggering it is a bit difficult Análise coletada por e hospedada no G2.com.

- fácil agendamento

- estrutura em Python, então fácil de aprender

- pode ser dockerizado facilmente com alguns tutoriais

- fácil de aprender mesmo para iniciantes

- melhor do que outras ferramentas de agendamento Análise coletada por e hospedada no G2.com.

- a interface do usuário pode ser feita mais personalizável.

- a concorrência é baixa se você tiver um sistema pequeno.

- a interface do usuário pode ser intimidadora para algumas pessoas, como posições gerenciais.

- a segurança pode ser melhorada. Análise coletada por e hospedada no G2.com.

Eu realmente gosto da capacidade de visualizar rapidamente a falha e o status de cada etapa em um fluxo de trabalho. Eu gosto que ele tenha a capacidade de tentar novamente apenas o que falha e oferece muito controle. Análise coletada por e hospedada no G2.com.

Eu não gosto que haja uma boa quantidade de latência entre o início das tarefas com as configurações padrão. Eu talvez consiga reduzi-la, mas isso exigirá um esforço considerável. Análise coletada por e hospedada no G2.com.

Apache Airflow fornece uma interface de usuário muito boa e é muito fácil trabalhar com esta ferramenta. Também oferece vários recursos para a representação de pipelines. Ele fornece várias etapas para o DAG, como em execução, falha, etc. Existem cores diferentes para diferentes etapas nesta ferramenta. Análise coletada por e hospedada no G2.com.

Quando executamos qualquer DAG no Apache Airflow, o DAG falha quando não obtém o arquivo desejado da fonte, mas não cria logs adequados da etapa bem-sucedida. Precisamos verificar os logs no EC2 para saber se nossos dados foram carregados com sucesso ou não. Na maioria das vezes, o Apache Airflow mostra sucesso no DAG, mas na verdade, o trabalho falhou. Análise coletada por e hospedada no G2.com.

It is something many use and feel comfortable with. That huge ecosystem provides alot of benefits. Análise coletada por e hospedada no G2.com.

It is fundamentally a flawed design. They are making progress in overcoming some of the scaling issues, and it is improving Análise coletada por e hospedada no G2.com.