Apache Airflow Avantages et Inconvénients

Utilisation d'expression cron tab, importation de divers modules, importation d'opérateurs définis par l'utilisateur. Avis collecté par et hébergé sur G2.com.

déclarer dag dans un modèle fixe sinon le planificateur ne prendra pas votre dag et affichera une erreur d'importation Avis collecté par et hébergé sur G2.com.

Airflow est très évolutif

Intégration de pipeline dynamique

Nous pouvons connecter Airflow avec de nombreuses applications et entrepôts de données comme Databricks, MySQL, etc. Avis collecté par et hébergé sur G2.com.

Lutte avec l'interface utilisateur

Il est parfois difficile de gérer la base de données de métadonnées d'Airflow

Lutte avec la performance parfois lorsque nous créons de nombreuses tâches

Fonctionnalités intégrées limitées Avis collecté par et hébergé sur G2.com.

- Meilleur logiciel open source pour commencer

- Excellent matériel en ligne pour résoudre les problèmes et communauté Avis collecté par et hébergé sur G2.com.

- Nécessite un ingénieur de données dédié et un devops

- La maintenance pourrait prendre beaucoup de temps

- Nécessite un autre outil pour la mesure de la qualité des données Avis collecté par et hébergé sur G2.com.

La meilleure chose à propos d'Airflow est sa polyvalence en tant qu'outil. Airflow peut être utilisé pour construire des flux de travail sur à peu près toutes les bases de données et outils, et la richesse de ses intégrations est brillante et tout simplement utile. Avis collecté par et hébergé sur G2.com.

Apprendre Airflow est une tâche sérieusement compliquée. Et même cela n'est souvent pas suffisant pour devenir vraiment bon dans ce domaine. Le système de planification est à peine intuitif. La gestion des versions pour les Dags et leur réversion, une tâche très simple chez un concurrent comme Prefect, ne fait pas du tout partie d'Airflow. Avis collecté par et hébergé sur G2.com.

Python is my favorite coding language, the DAGs in Airflow are written in Python. There are several built-in operators in Airflow to execute the Python function, call Databricks job and execute bash commands. I love to build the pipeline in Airflow Avis collecté par et hébergé sur G2.com.

The Airflow orchestration tool is a bit complicated in developing compared to other pipeline tools. While other tools have drag-and-drop options, coding in Airflow takes more time. Avis collecté par et hébergé sur G2.com.

It is easy configure

it is easy to handle script over UI

It shows error on UI where your script got error

Can run script easily Avis collecté par et hébergé sur G2.com.

For multiple file triggering it is a bit difficult Avis collecté par et hébergé sur G2.com.

- planification facile

- cadre Python, donc facile à apprendre

- peut être dockerisé facilement avec quelques tutoriels

- facile à apprendre même pour les débutants

- meilleur que d'autres outils de planification Avis collecté par et hébergé sur G2.com.

- l'interface utilisateur peut être rendue plus personnalisable.

- la concurrence est faible si vous avez un petit système.

- l'interface utilisateur peut être intimidante pour certaines personnes comme les postes de direction.

- la sécurité peut être améliorée. Avis collecté par et hébergé sur G2.com.

J'aime vraiment la possibilité de voir rapidement l'échec et le statut de chaque étape dans un flux de travail. J'aime qu'il ait la capacité de réessayer uniquement ce qui échoue et offre beaucoup de contrôle. Avis collecté par et hébergé sur G2.com.

Je n'aime pas qu'il y ait un bon nombre de latences entre le démarrage des tâches avec les paramètres par défaut. Je pourrais être capable de le réduire, mais cela nécessitera un effort considérable. Avis collecté par et hébergé sur G2.com.

Apache Airflow offre une très bonne interface utilisateur et il est très facile de travailler avec cet outil. Il offre également diverses fonctionnalités pour la représentation des pipelines. Il fournit plusieurs étapes pour le DAG comme en cours d'exécution, échoué, etc. Il y a différentes couleurs pour différentes étapes dans cet outil. Avis collecté par et hébergé sur G2.com.

Lorsque nous exécutons un DAG dans Apache Airflow, le DAG échoue lorsqu'il ne reçoit pas le fichier souhaité en amont, mais il ne crée pas de journaux appropriés de l'étape réussie. Nous devons vérifier les journaux dans les journaux EC2 pour savoir si nos données ont été chargées avec succès ou non. La plupart du temps, Apache Airflow indique un succès sur le DAG, mais en réalité, le travail a échoué. Avis collecté par et hébergé sur G2.com.

It is something many use and feel comfortable with. That huge ecosystem provides alot of benefits. Avis collecté par et hébergé sur G2.com.

It is fundamentally a flawed design. They are making progress in overcoming some of the scaling issues, and it is improving Avis collecté par et hébergé sur G2.com.