Apache Airflow Avantages et Inconvénients

J'aime les fonctionnalités d'Airflow telles que la surveillance des dags/scripts. Nous pouvons même suivre l'historique et les journaux des 365 derniers jours. L'opérateur TriggerDagrun est le meilleur pour la gestion des dépendances entre tous les dags. Avis collecté par et hébergé sur G2.com.

Je manque de la fonctionnalité de connexions à travers plusieurs sources dans Apache Airflow, ce qui peut nous aider à gérer le système ETL de bout en bout. Actuellement, cela prend du temps pour démarrer le dag/pod, ce serait bien s'ils pouvaient le rendre plus rapide. Avis collecté par et hébergé sur G2.com.

Facile à utiliser l'outil. Contient toutes sortes de processeurs qui prennent en charge toutes les exigences. Prend en charge l'isolation des projets à l'aide d'un groupe de processeurs. Aide également à envoyer ou recevoir des données du cluster distant. Avis collecté par et hébergé sur G2.com.

Si nous avons moins de mémoire dans le cluster, il ne prend pas en charge l'auto-scalabilité. Si un processeur tombe en panne, nous devons tout redémarrer à partir de zéro. Parfois, nous avons constaté la corruption du fichier de flux. Avis collecté par et hébergé sur G2.com.

C'est une plateforme open source pour planifier, surveiller et développer des pipelines de données et de calcul très facilement. Elle utilise Python pour créer des flux de travail et peut exécuter n'importe quoi dans le monde. Elle est facile à utiliser. La communauté open source est bonne. Bon ensemble d'opérateurs prêts à l'emploi. Codage facile avec Python. Et bonne interface utilisateur graphique. Avis collecté par et hébergé sur G2.com.

Bien qu'il s'agisse d'une très bonne plateforme pour gérer les flux de travail, elle présente encore quelques problèmes, comme l'absence de véritable moyen de surveiller la qualité de vos données. L'apprentissage d'Airflow nécessite un investissement en temps. Pas de guide sur les meilleures pratiques pour développer des DAGs. Pas de versionnement dans le planificateur d'Airflow. Le débogage est très chronophage. Avis collecté par et hébergé sur G2.com.

With a gradual learning curve, Airflow helped schedule our workflows and trigger airflow DAGs from other GCP products like cloud function, allowing for event-based workflows dependent on multiple GCP products and data sources from various teams. Avis collecté par et hébergé sur G2.com.

Apache airflow is just an orchestrator, and it's unreliable with jobs with higher run-time, like ML model training using Vertex Custom Job or some BigQuery SQL scripts that run for a long time. We have also faced situations where the BQ job ran successfully, but Airflow had lost connection. There are also connection issues with dataproc pyspark jobs. Avis collecté par et hébergé sur G2.com.

C'est un outil très utile pour l'orchestration des tâches dans les pipelines de traitement des données. Cela m'aide à bien dormir la nuit car je peux programmer mon travail avant l'heure nécessaire. Avis collecté par et hébergé sur G2.com.

Il nécessite un peu de complexité et de connaissances techniques pour une utilisation optimale. quelqu'un sans connaissance de la programmation ne peut pas utiliser cet outil en toute confiance. Avis collecté par et hébergé sur G2.com.

La facilité de gestion des pipelines de données et des flux de travail ML a aidé les développeurs à se concentrer sur d'autres aspects. Les DAGS sont assez simples à mettre en œuvre et efficaces.

Le planificateur est bien plus avancé par rapport à ses pairs. Avis collecté par et hébergé sur G2.com.

La gestion de la base de données des métadonnées sur le long terme semble être fastidieuse pour le développeur Airflow.

Airflow commence à montrer une lenteur dans les mises à jour des DAG lorsque les métadonnées sont peuplées à un certain point.

Dans Airflow 2, il n'y a pas d'option pour les requêtes ad hoc, ce qui pose problème lorsque nous devons vérifier la base de données des métadonnées. Avis collecté par et hébergé sur G2.com.

flexibility and ease in writing dags. multiple operator and executors to run the job. Avis collecté par et hébergé sur G2.com.

somtime shceduler with too many jobs takes too much CPU of DB. so it need to have bigger db most of the time for high scale. Avis collecté par et hébergé sur G2.com.

Airflow is way better orchestration tool than any other tool in the market.it is based on python so it is super easy to create dags and schedule it.there are plenty of inbuilt operators which performs Swift operation.creating cluster and replying dags in GCP is super easy Avis collecté par et hébergé sur G2.com.

But I still feels there are some capabilities still needs to be built like dataflow. Plus installation in your local system should be more easy and documentation should be there . Also dependency between dags should also be improved. Avis collecté par et hébergé sur G2.com.

La simplicité d'utilisation et la facilité qu'elle offre aux équipes. Avis collecté par et hébergé sur G2.com.

Le manque de communauté et de cas d'utilisation ou de meilleures pratiques. Avis collecté par et hébergé sur G2.com.

Airflow fournit toutes les fonctionnalités telles que les workflows de type DAG et les fonctionnalités d'exécution d'actions et de scripts. Il s'intègre également avec des environnements d'exécution comme Celery ou Kubernetes qui aident à exécuter plusieurs tâches en parallèle. Avis collecté par et hébergé sur G2.com.

Il faut du temps pour configurer l'environnement et pour le personnel de niveau débutant, il est difficile de le configurer. Je pense que si Airflow propose une intégration d'outils cloud et une configuration facile, cela aidera de nombreux utilisateurs. Avis collecté par et hébergé sur G2.com.