Apache Airflow Avantages et Inconvénients

Apache proxy was most useful for me as I could connect different servers easily. Avis collecté par et hébergé sur G2.com.

Nothing as such I have found out at this moment. Avis collecté par et hébergé sur G2.com.

Apache Airflow est un logiciel gratuit qui exécute des composants écrits dans des modules Python. Les modules Python écrits sont appelés DAGs. Les DAGs doivent être configurés avec des connexions appropriées pour une exécution réussie. Les connexions et les variables sont facilement configurables. L'aspect interface utilisateur de l'outil rend la visualisation l'aspect le plus attrayant de l'outil. Le déclenchement des DAGs respectifs, le statut d'exécution, la notification de succès et d'échec en couleurs verte et rouge, etc., sont quelques-uns des meilleurs aspects d'Apache Airflow. La configuration des variables sous forme de fichiers JSON est facile et directe. Les différentes instances d'exécutions ainsi que les statuts individuels des DAGs permettent historiquement aux utilisateurs de suivre les journaux avec succès. La capacité de retracer les journaux pour toutes ces instances rend cet outil remarquable. La catégorisation basée sur les fonctions de la fonctionnalité est flexible. Avis collecté par et hébergé sur G2.com.

Apache Airflow contient une documentation intensive qui doit être lue et examinée pour s'assurer que la configuration fonctionne selon vos besoins. La connaissance de Python comme prérequis est nécessaire. Une familiarité avec le fichier et le format Json est requise dans une certaine mesure. L'outil pourrait donner l'impression d'être un peu complexe pour de nombreux utilisateurs qui n'ont pas de connaissances en Python. Le formatage des tâches, des hooks, etc. pourrait être un peu complexe. Peu d'exemples sont disponibles sur les forums ouverts et explorer la solution pour une fonctionnalité de bout en bout pourrait être un peu difficile pour les nouveaux utilisateurs. Avis collecté par et hébergé sur G2.com.

Different types of Operators and Trigger rules. Avis collecté par et hébergé sur G2.com.

Nothing as such but Web UI can be improved Avis collecté par et hébergé sur G2.com.

Once you know the strengths of Ariflow create data pipelines is easier than ever before, the data lineage now is super clear since Airflow has a lot of visual integrations Avis collecté par et hébergé sur G2.com.

UI has lots of bug still, some times the UI will show bad or elements will appear in weird places and it would become impossible to click what you need, It happens often enough that it bothers Avis collecté par et hébergé sur G2.com.

You can orchestrate many DAGs at once at different schedules and can easily go back in time to reproduce/replicate runs. Avis collecté par et hébergé sur G2.com.

The Airflow CLI is not as friendly as the Airflow UI. The documentation is sometimes not clear/misses details. Avis collecté par et hébergé sur G2.com.

Airflow is easy to get started with and can scale and do more things as your tech stack evolves. Airflow comes with a lot of helpful features out-of-the-box, such as the DAG visualizations and task trees. Furthermore, Airflow is very flexible. You can use it for more than just data transformation. We started running batch ML models in Airflow before we onboarded a third-party tool. Avis collecté par et hébergé sur G2.com.

There is nothing I dislike about Airflow. We started using it less because it requires more engineering support than other tools (that probably run on Airflow), but we will continue to use it because it is the most flexible tool for ETL. We wished that Airflow had a premium tier so that we could get more support. Avis collecté par et hébergé sur G2.com.

Il exécutera les tâches dans l'ordre, chaque tâche disposera des ressources nécessaires. Avis collecté par et hébergé sur G2.com.

Il n'y aura pas de versionnage pour les pipelines de données. Absence de partage de données entre les tâches. Avis collecté par et hébergé sur G2.com.

The tree view of your ETLs is a great way to visualize how well the DAG is functioning, if it ran when it was supposed to, and the order and dependency of tasks. Avis collecté par et hébergé sur G2.com.

Error messages are difficult to parse, and the navigation isn't intuitive. Avis collecté par et hébergé sur G2.com.

Reruns and backfills are super easy, flow chart for jobs is very intuitive, and it's all done in python! Avis collecté par et hébergé sur G2.com.

Clunky at times. Spinning up a new instance is difficult if you don't know terraform and can reuse the canned manifest/helm Avis collecté par et hébergé sur G2.com.