Prós e Contras de Apache Airflow

Apache proxy was most useful for me as I could connect different servers easily. Análise coletada por e hospedada no G2.com.

Nothing as such I have found out at this moment. Análise coletada por e hospedada no G2.com.

Apache Airflow é um software livre que executa componentes escritos em módulos Python. Os módulos Python escritos são chamados de DAGs. Os DAGs precisam ser configurados com conexões apropriadas para uma execução bem-sucedida. As conexões e variáveis são facilmente configuráveis. O aspecto da Interface do Usuário da ferramenta torna a visualização o aspecto mais atraente da ferramenta. A ativação dos respectivos DAGs, o status de execução, notificações de sucesso e falha em cores verde e vermelha, etc., são alguns dos melhores aspectos do Apache Airflow. A configuração de variáveis na forma de arquivos JSON é fácil e direta. As diferentes instâncias de execuções, juntamente com os status individuais dos DAGs historicamente, permitem que os usuários rastreiem os logs com sucesso. A capacidade de rastrear os logs para todas essas instâncias torna esta ferramenta louvável. A categorização baseada em funções da funcionalidade é flexível. Análise coletada por e hospedada no G2.com.

O Apache Airflow contém uma documentação intensiva que precisa ser lida e revisada para garantir que a configuração funcione conforme suas necessidades. É necessário conhecimento de Python como pré-requisito. Familiaridade com arquivo e formato Json é exigida até certo ponto. A ferramenta pode criar a impressão de ser um pouco complexa para muitos usuários que não têm nenhum conhecimento prévio em Python. A formatação de tarefas, hooks, etc., pode ser um pouco complexa. Não há muitos exemplos disponíveis em fóruns abertos e explorar a solução para uma funcionalidade de ponta a ponta pode ser um pouco desafiador para novos usuários. Análise coletada por e hospedada no G2.com.

Different types of Operators and Trigger rules. Análise coletada por e hospedada no G2.com.

Nothing as such but Web UI can be improved Análise coletada por e hospedada no G2.com.

Once you know the strengths of Ariflow create data pipelines is easier than ever before, the data lineage now is super clear since Airflow has a lot of visual integrations Análise coletada por e hospedada no G2.com.

UI has lots of bug still, some times the UI will show bad or elements will appear in weird places and it would become impossible to click what you need, It happens often enough that it bothers Análise coletada por e hospedada no G2.com.

You can orchestrate many DAGs at once at different schedules and can easily go back in time to reproduce/replicate runs. Análise coletada por e hospedada no G2.com.

The Airflow CLI is not as friendly as the Airflow UI. The documentation is sometimes not clear/misses details. Análise coletada por e hospedada no G2.com.

Airflow is easy to get started with and can scale and do more things as your tech stack evolves. Airflow comes with a lot of helpful features out-of-the-box, such as the DAG visualizations and task trees. Furthermore, Airflow is very flexible. You can use it for more than just data transformation. We started running batch ML models in Airflow before we onboarded a third-party tool. Análise coletada por e hospedada no G2.com.

There is nothing I dislike about Airflow. We started using it less because it requires more engineering support than other tools (that probably run on Airflow), but we will continue to use it because it is the most flexible tool for ETL. We wished that Airflow had a premium tier so that we could get more support. Análise coletada por e hospedada no G2.com.

Ele executará tarefas em ordem, cada tarefa terá os recursos necessários. Análise coletada por e hospedada no G2.com.

Não haverá versionamento para pipelines de dados. Falta de compartilhamento de dados entre tarefas. Análise coletada por e hospedada no G2.com.

The tree view of your ETLs is a great way to visualize how well the DAG is functioning, if it ran when it was supposed to, and the order and dependency of tasks. Análise coletada por e hospedada no G2.com.

Error messages are difficult to parse, and the navigation isn't intuitive. Análise coletada por e hospedada no G2.com.

Reruns and backfills are super easy, flow chart for jobs is very intuitive, and it's all done in python! Análise coletada por e hospedada no G2.com.

Clunky at times. Spinning up a new instance is difficult if you don't know terraform and can reuse the canned manifest/helm Análise coletada por e hospedada no G2.com.