Prós e Contras de Apache Airflow

Airflow é ótimo para minhas necessidades de python em certos projetos com meus colegas. Suporte incrível de provedores de armazenamento em nuvem. Configuração rápida e facilidade de uso me economizaram tempo para minhas alocações de dados. Análise coletada por e hospedada no G2.com.

A interface do navegador é muito instável e às vezes apresenta problemas durante meus projetos, pode fazer meu trabalho atrasar devido a essa falha. Análise coletada por e hospedada no G2.com.

Este programa é difícil de começar a usar, mas depois de aprender e usá-lo, posso dizer que é muito útil. É fácil rastrear informações como status de trabalho e rastrear falhas. A interface do usuário é fácil e simples de seguir. Análise coletada por e hospedada no G2.com.

Não há segurança real para este programa, então isso pode ser um problema. A curva de aprendizado também pode ser uma desvantagem porque leva um tempo para aprender e usar. Análise coletada por e hospedada no G2.com.

Easy to configure a new pipeline once you create a codebase. I currently use airflow to manage our extraction, transformation, enrichment and quality checks. Because most of our pipelines follow a similar format we can create a standard pipeline swapping out the extraction and transformation code individually. Análise coletada por e hospedada no G2.com.

Because of the flexibility the learning curve for developing an airflow pipeline is a bit long, using an existing pipeline is very easy however development requires knowledge of python, bash. Análise coletada por e hospedada no G2.com.

Perfect data Processing for all the product developments and easy to use once you get the hang of it. We rely on this program to keep track of our progress Análise coletada por e hospedada no G2.com.

Some of the features are hard to figure out and seem less important to have. Wish there was more functions for each tab Análise coletada por e hospedada no G2.com.

Apache Airflow is a great flexible tool that allows the data engineers/scientists to design data-intensive workflows efficiently. Airflow workflows are designed as DAGs (Directed Acyclic Graphs), each node of the graph can be anything (e.g. Python or bash script ...). Airflow manages the workflow DAGs and its scheduling and communication messages between the graph nodes efficiently. The best thing I like in Apache Airflow is that it is a simple Python tool that can design and execute very complicated workflows. In addition, Airflow has the ability to apply user-based strategies for the failed nodes in the graph. For example, the user can restart a task node if it is failed after x seconds, or send email to the administrator with the error message. Also, Apache Airflow has a user-friendly UI that allows the users to list the current running/stopped graphs and to display the logs of each task. Análise coletada por e hospedada no G2.com.

In rare cases, Apache Airflow UI displays a stale information about the current running DAGs. For example, sometimes it shows that a certain graph is running, however, one of its tasks is already failed. Also, sometimes it shows that a workflow it is already finished, but one of its tasks still running in the background. In these cases, the user has to restart the Airflow server and clear the stale logs. Análise coletada por e hospedada no G2.com.

A melhor parte do Airflow é que ele é de código aberto e também seu poder de rodar em um ambiente distribuído. Ele fornece operadores (conectores) prontos para integrar quase qualquer fonte de dados. Análise coletada por e hospedada no G2.com.

Compatibilidade de linguagem. O Airflow requer que se tenha conhecimento da linguagem Python. Além disso, sua interface de usuário não é poderosa e às vezes apresenta falhas. É necessário escrever código para orquestrar fluxos de trabalho, pois não oferece recurso de arrastar e soltar. Análise coletada por e hospedada no G2.com.

Airflow is a very easy to use tool that is very versatile and very well designed to meet user's needs. Setup is quick and easy, which makes it simple for engineers and scientists to implement and create workflows effortlessly. Análise coletada por e hospedada no G2.com.

Many different variables and configuration essential in the function of the tool. One must be familiar with Airflow languages to successfully use. Occasional glitches. Análise coletada por e hospedada no G2.com.

A interface é muito limpa e simples de usar. Bastante universal para usar. Análise coletada por e hospedada no G2.com.

O software trava quando várias abas estão em execução com grandes volumes de dados. Análise coletada por e hospedada no G2.com.

Fácil de adaptar programas de fluxo de trabalho para a situação apropriada. Análise coletada por e hospedada no G2.com.

Os possíveis problemas com a segurança de dados são uma preocupação. Análise coletada por e hospedada no G2.com.

Uma ótima ferramenta de gerenciamento de dados e fluxo de trabalho que é fácil de usar, muito flexível Análise coletada por e hospedada no G2.com.

Às vezes, há um atraso em exibir o status real (mostrando que uma tarefa está em execução enquanto já foi concluída) Análise coletada por e hospedada no G2.com.