Apache Airflow Avantages et Inconvénients

Airflow est excellent pour mes besoins en Python sur certains projets avec mes collègues. Un support incroyable des fournisseurs de stockage cloud. Une configuration rapide et une facilité d'utilisation m'ont fait gagner du temps pour mes allocations de données. Avis collecté par et hébergé sur G2.com.

L'interface utilisateur du navigateur est très boguée et présente parfois des problèmes pendant mes projets, ce qui peut retarder mon travail en raison de ce défaut. Avis collecté par et hébergé sur G2.com.

Ce programme est difficile à commencer à utiliser, mais après l'avoir appris et utilisé, je peux dire moi-même qu'il est très utile. Il est facile de suivre des informations comme les statuts des tâches et de suivre les échecs. L'interface utilisateur est facile et simple à suivre. Avis collecté par et hébergé sur G2.com.

Il n'y a pas de véritable sécurité pour ce programme, donc cela pourrait être un problème. La courbe d'apprentissage pourrait également être un inconvénient car cela prend un peu de temps pour apprendre et utiliser. Avis collecté par et hébergé sur G2.com.

Easy to configure a new pipeline once you create a codebase. I currently use airflow to manage our extraction, transformation, enrichment and quality checks. Because most of our pipelines follow a similar format we can create a standard pipeline swapping out the extraction and transformation code individually. Avis collecté par et hébergé sur G2.com.

Because of the flexibility the learning curve for developing an airflow pipeline is a bit long, using an existing pipeline is very easy however development requires knowledge of python, bash. Avis collecté par et hébergé sur G2.com.

Perfect data Processing for all the product developments and easy to use once you get the hang of it. We rely on this program to keep track of our progress Avis collecté par et hébergé sur G2.com.

Some of the features are hard to figure out and seem less important to have. Wish there was more functions for each tab Avis collecté par et hébergé sur G2.com.

Apache Airflow is a great flexible tool that allows the data engineers/scientists to design data-intensive workflows efficiently. Airflow workflows are designed as DAGs (Directed Acyclic Graphs), each node of the graph can be anything (e.g. Python or bash script ...). Airflow manages the workflow DAGs and its scheduling and communication messages between the graph nodes efficiently. The best thing I like in Apache Airflow is that it is a simple Python tool that can design and execute very complicated workflows. In addition, Airflow has the ability to apply user-based strategies for the failed nodes in the graph. For example, the user can restart a task node if it is failed after x seconds, or send email to the administrator with the error message. Also, Apache Airflow has a user-friendly UI that allows the users to list the current running/stopped graphs and to display the logs of each task. Avis collecté par et hébergé sur G2.com.

In rare cases, Apache Airflow UI displays a stale information about the current running DAGs. For example, sometimes it shows that a certain graph is running, however, one of its tasks is already failed. Also, sometimes it shows that a workflow it is already finished, but one of its tasks still running in the background. In these cases, the user has to restart the Airflow server and clear the stale logs. Avis collecté par et hébergé sur G2.com.

La meilleure partie d'Airflow est qu'il est open source et aussi sa capacité à fonctionner dans un environnement distribué. Il fournit des opérateurs (connecteurs) prêts à l'emploi pour se brancher à presque n'importe quelle source de données. Avis collecté par et hébergé sur G2.com.

Compatibilité linguistique. Airflow nécessite une connaissance du langage Python. De plus, son interface utilisateur n'est pas puissante et présente parfois des bugs. Il faut écrire du code pour orchestrer les flux de travail car il ne fournit pas de fonctionnalité de glisser-déposer. Avis collecté par et hébergé sur G2.com.

Airflow is a very easy to use tool that is very versatile and very well designed to meet user's needs. Setup is quick and easy, which makes it simple for engineers and scientists to implement and create workflows effortlessly. Avis collecté par et hébergé sur G2.com.

Many different variables and configuration essential in the function of the tool. One must be familiar with Airflow languages to successfully use. Occasional glitches. Avis collecté par et hébergé sur G2.com.

L'interface est très propre et simple à utiliser. Assez universelle à utiliser. Avis collecté par et hébergé sur G2.com.

Le logiciel plante lorsque plusieurs onglets fonctionnent avec de grands volumes de données. Avis collecté par et hébergé sur G2.com.

Facile à adapter les programmes de flux de travail à la situation appropriée. Avis collecté par et hébergé sur G2.com.

Les pièges potentiels liés à la sécurité des données sont une préoccupation. Avis collecté par et hébergé sur G2.com.

Un excellent outil de gestion des données et des flux de travail qui est facile à utiliser, très flexible. Avis collecté par et hébergé sur G2.com.

Parfois, il y a un retard dans l'affichage du statut réel (indiquant qu'une tâche est en cours alors qu'elle est déjà terminée) Avis collecté par et hébergé sur G2.com.