Apache Airflow Vor- und Nachteile

Ich mag die Airflow-Funktionen wie die Überwachung von Dags/Skripten. Wir können sogar die Historie und Protokolle der letzten 365 Tage verfolgen. Der TriggerDagrun-Operator ist am besten für das Abhängigkeitsmanagement über alle Dags hinweg. Bewertung gesammelt von und auf G2.com gehostet.

Ich vermisse die Verbindungsfunktion über mehrere Quellen in Apache Airflow, die uns helfen kann, ein End-to-End-ETL-System zu verwalten. Derzeit dauert es einige Zeit, um den DAG/Pod zu starten, es wäre großartig, wenn sie es schneller machen könnten. Bewertung gesammelt von und auf G2.com gehostet.

Einfach zu bedienendes Werkzeug. Enthält alle Arten von Prozessoren, die alle Anforderungen unterstützen. Unterstützt die Isolierung von Projekten mithilfe von Prozessorgruppen. Hilft auch beim Senden oder Empfangen von Daten aus dem entfernten Cluster. Bewertung gesammelt von und auf G2.com gehostet.

Wenn wir weniger Speicher im Cluster haben, unterstützt es kein automatisches Skalieren. Wenn ein Prozessor ausfällt, müssen wir alles von Grund auf neu starten. Manchmal haben wir eine Beschädigung der Flussdatei gesehen. Bewertung gesammelt von und auf G2.com gehostet.

Es ist eine Open-Source-Plattform zum Planen, Überwachen und Entwickeln von Daten- und Rechenpipelines auf sehr einfache Weise. Sie verwendet Python, um Workflows zu erstellen, und kann alles auf der Welt ausführen. Sie ist benutzerfreundlich. Die Open-Source-Community ist gut. Gute Auswahl an einsatzbereiten Operatoren. Einfaches Codieren mit Python. Und gute grafische Benutzeroberfläche. Bewertung gesammelt von und auf G2.com gehostet.

Obwohl es eine wirklich gute Plattform zur Verwaltung von Workflows ist, gibt es dennoch einige Probleme, wie zum Beispiel, dass es keine echte Möglichkeit gibt, die Qualität Ihrer Daten zu überwachen. Das Erlernen von Airflow erfordert eine Zeitinvestition. Kein Leitfaden zu Best Practices bei der Entwicklung von DAGs. Keine Versionierung im Airflow-Scheduler. Das Debuggen ist sehr zeitaufwendig. Bewertung gesammelt von und auf G2.com gehostet.

With a gradual learning curve, Airflow helped schedule our workflows and trigger airflow DAGs from other GCP products like cloud function, allowing for event-based workflows dependent on multiple GCP products and data sources from various teams. Bewertung gesammelt von und auf G2.com gehostet.

Apache airflow is just an orchestrator, and it's unreliable with jobs with higher run-time, like ML model training using Vertex Custom Job or some BigQuery SQL scripts that run for a long time. We have also faced situations where the BQ job ran successfully, but Airflow had lost connection. There are also connection issues with dataproc pyspark jobs. Bewertung gesammelt von und auf G2.com gehostet.

Es ist ein sehr großartiges Werkzeug für die Job-Orchestrierung in den Datenverarbeitungspipelines. Es hilft mir, gut zu schlafen, da ich meinen Job im Voraus planen kann, bevor er benötigt wird. Bewertung gesammelt von und auf G2.com gehostet.

Es erfordert ein gewisses Maß an Komplexität und technischen Hintergrund für die optimale Nutzung. Jemand ohne Programmierkenntnisse kann dieses Werkzeug nicht mit Zuversicht verwenden. Bewertung gesammelt von und auf G2.com gehostet.

Die Einfachheit der Verwaltung von Datenpipelines und ML-Workflows hat Entwicklern geholfen, sich auf andere Aspekte zu konzentrieren. Die DAGS sind ziemlich einfach zu implementieren und effizient.

Der Scheduler ist den Mitbewerbern weit voraus. Bewertung gesammelt von und auf G2.com gehostet.

Die Verwaltung der Metadaten-DB aus langfristiger Perspektive scheint für Airflow-Entwickler mühsam zu sein.

Airflow beginnt, bei der Aktualisierung von DAGs eine Langsamkeit zu zeigen, wenn die Metadaten in einem gewissen Umfang gefüllt sind.

In Airflow 2 gibt es keine Option für Ad-hoc-Abfragen, was ein Problem darstellt, wenn wir die Metadaten-DB überprüfen müssen. Bewertung gesammelt von und auf G2.com gehostet.

flexibility and ease in writing dags. multiple operator and executors to run the job. Bewertung gesammelt von und auf G2.com gehostet.

somtime shceduler with too many jobs takes too much CPU of DB. so it need to have bigger db most of the time for high scale. Bewertung gesammelt von und auf G2.com gehostet.

Airflow is way better orchestration tool than any other tool in the market.it is based on python so it is super easy to create dags and schedule it.there are plenty of inbuilt operators which performs Swift operation.creating cluster and replying dags in GCP is super easy Bewertung gesammelt von und auf G2.com gehostet.

But I still feels there are some capabilities still needs to be built like dataflow. Plus installation in your local system should be more easy and documentation should be there . Also dependency between dags should also be improved. Bewertung gesammelt von und auf G2.com gehostet.

Die Benutzerfreundlichkeit und wie sie den Teams die Nutzung erleichtert. Bewertung gesammelt von und auf G2.com gehostet.

Der Mangel an Gemeinschaft und Anwendungsfällen oder Best Practices. Bewertung gesammelt von und auf G2.com gehostet.

Airflow bietet alle Funktionen wie DAG-ähnliche Workflows und Funktionen zum Ausführen von Aktionen und Skripten. Es integriert sich auch mit Laufumgebungen wie Celery oder Kubernetes, die helfen, mehrere Jobs parallel auszuführen. Bewertung gesammelt von und auf G2.com gehostet.

Es braucht Zeit, die Umgebung einzurichten, und für Personal auf Einstiegsniveau ist es schwierig, dies einzurichten. Ich denke, wenn Airflow Cloud-Tool-Integration und eine einfache Einrichtung bietet, wird es vielen Benutzern helfen. Bewertung gesammelt von und auf G2.com gehostet.