Apache Airflow Vor- und Nachteile

Verwendung von Cron-Tab-Ausdrücken, Importieren verschiedener Module, Importieren benutzerdefinierter Operatoren. Bewertung gesammelt von und auf G2.com gehostet.

deklarieren Sie DAG in einem festen Muster, sonst wird der Scheduler Ihren DAG nicht aufnehmen und einen Importfehler anzeigen Bewertung gesammelt von und auf G2.com gehostet.

Airflow ist sehr skalierbar

Dynamische Pipeline-Integration

Wir können Airflow mit vielen Anwendungen und Data Warehouses wie Databricks, MySQL und so weiter verbinden Bewertung gesammelt von und auf G2.com gehostet.

Benutzeroberflächenprobleme

Es ist manchmal hektisch, die Metadatenbank von Airflow zu verwalten

Leistungsprobleme manchmal, wenn wir zahlreiche Aufgaben erstellen

Begrenzte eingebaute Funktionen Bewertung gesammelt von und auf G2.com gehostet.

- Beste Open-Source-Software, um anzufangen

- Großartiges Material online zur Fehlerbehebung und Gemeinschaft Bewertung gesammelt von und auf G2.com gehostet.

- Benötigt einen engagierten Dateningenieur und DevOps

- Wartung könnte viel Zeit in Anspruch nehmen

- Benötigt ein weiteres Werkzeug zur Messung der Datenqualität Bewertung gesammelt von und auf G2.com gehostet.

Das Beste an Airflow ist, wie vielseitig dieses Tool ist. Airflow kann verwendet werden, um Workflows auf nahezu jeder Datenbank und jedem Tool zu erstellen, und der schiere Reichtum an Integrationen ist brillant und rundum nützlich. Bewertung gesammelt von und auf G2.com gehostet.

Das Lernen von Airflow ist eine wirklich komplizierte Aufgabe. Und selbst das reicht oft nicht aus, um wirklich gut darin zu werden. Das Planungssystem ist kaum intuitiv. Die Versionierung der Dags und deren Rückgängigmachung, eine sehr einfache Aufgabe bei einem Konkurrenten wie Prefect, ist in Airflow überhaupt nicht vorhanden. Bewertung gesammelt von und auf G2.com gehostet.

Python is my favorite coding language, the DAGs in Airflow are written in Python. There are several built-in operators in Airflow to execute the Python function, call Databricks job and execute bash commands. I love to build the pipeline in Airflow Bewertung gesammelt von und auf G2.com gehostet.

The Airflow orchestration tool is a bit complicated in developing compared to other pipeline tools. While other tools have drag-and-drop options, coding in Airflow takes more time. Bewertung gesammelt von und auf G2.com gehostet.

It is easy configure

it is easy to handle script over UI

It shows error on UI where your script got error

Can run script easily Bewertung gesammelt von und auf G2.com gehostet.

For multiple file triggering it is a bit difficult Bewertung gesammelt von und auf G2.com gehostet.

- einfache Planung

- Python-Framework, daher leicht zu erlernen

- kann mit einigen Tutorials leicht dockerisiert werden

- auch für Anfänger leicht zu erlernen

- besser als andere Planungstools Bewertung gesammelt von und auf G2.com gehostet.

- Die Benutzeroberfläche kann anpassbarer gestaltet werden.

- Die Parallelität ist gering, wenn Sie ein kleines System haben.

- Die Benutzeroberfläche kann für einige Personen, wie z.B. Führungskräfte, einschüchternd sein.

- Die Sicherheit kann verbessert werden. Bewertung gesammelt von und auf G2.com gehostet.

Ich mag die Möglichkeit, den Fehler und den Status jedes Schritts in einem Workflow schnell zu sehen. Ich mag, dass es die Möglichkeit bietet, nur das zu wiederholen, was fehlschlägt, und viel Kontrolle gibt. Bewertung gesammelt von und auf G2.com gehostet.

Ich mag es nicht, dass es eine beträchtliche Verzögerung zwischen dem Start von Aufgaben mit den Standardeinstellungen gibt. Ich könnte in der Lage sein, sie zu reduzieren, aber es wird einen beträchtlichen Aufwand erfordern, dies zu tun. Bewertung gesammelt von und auf G2.com gehostet.

Apache Airflow bietet eine sehr gute Benutzeroberfläche und es ist sehr einfach, mit diesem Tool zu arbeiten. Es bietet auch verschiedene Funktionen für die Darstellung von Pipelines. Es bietet mehrere Phasen für den DAG wie laufend, fehlgeschlagen, etc. Es gibt verschiedene Farben für verschiedene Phasen in diesem Tool. Bewertung gesammelt von und auf G2.com gehostet.

Wenn wir einen DAG in Apache Airflow ausführen, schlägt der DAG fehl, wenn er die gewünschte Datei vom Upstream nicht erhält, aber er erstellt keine ordnungsgemäßen Protokolle der erfolgreichen Phase. Wir müssen die Protokolle in den EC2-Protokollen überprüfen, ob unsere Daten erfolgreich geladen wurden oder nicht. Meistens zeigt Apache Airflow Erfolg beim DAG an, aber tatsächlich ist der Job fehlgeschlagen. Bewertung gesammelt von und auf G2.com gehostet.

It is something many use and feel comfortable with. That huge ecosystem provides alot of benefits. Bewertung gesammelt von und auf G2.com gehostet.

It is fundamentally a flawed design. They are making progress in overcoming some of the scaling issues, and it is improving Bewertung gesammelt von und auf G2.com gehostet.