Pros y Contras de Apache Airflow

Apache proxy was most useful for me as I could connect different servers easily. Reseña recopilada por y alojada en G2.com.

Nothing as such I have found out at this moment. Reseña recopilada por y alojada en G2.com.

Apache Airflow es un software gratuito que ejecuta componentes escritos en módulos de Python. Los módulos de Python escritos se llaman DAGs. Los DAGs necesitan configurarse con conexiones apropiadas para una ejecución exitosa. Las conexiones y variables son fácilmente configurables. El aspecto de la interfaz de usuario de la herramienta hace que la visualización sea el aspecto más atractivo de la herramienta. El disparo de los respectivos DAGs, el estado de ejecución, la notificación de éxito y fracaso en colores verde y rojo, etc., son algunos de los mejores aspectos de Apache Airflow. La configuración de variables en forma de archivos json es fácil y directa. Las diferentes instancias de ejecuciones junto con los estados individuales de los DAGs históricamente permiten a los usuarios rastrear los registros con éxito. La capacidad de rastrear los registros de todas estas instancias hace que esta herramienta sea encomiable. La categorización basada en funciones de la funcionalidad es flexible. Reseña recopilada por y alojada en G2.com.

Apache Airflow contiene una documentación intensiva que necesita ser leída y revisada para asegurar que la configuración funcione según tus necesidades. Se necesita conocimiento de Python como requisito previo. Se requiere familiaridad con archivos y formato Json hasta cierto punto. La herramienta podría crear una impresión de ser un poco compleja para muchos usuarios que no tienen ningún conocimiento de Python. El formato de tareas, hooks, etc., podría ser un poco complejo. No hay muchos ejemplos disponibles en foros abiertos y explorar la solución para una funcionalidad de extremo a extremo podría ser un poco desafiante para los nuevos usuarios. Reseña recopilada por y alojada en G2.com.

Different types of Operators and Trigger rules. Reseña recopilada por y alojada en G2.com.

Nothing as such but Web UI can be improved Reseña recopilada por y alojada en G2.com.

Once you know the strengths of Ariflow create data pipelines is easier than ever before, the data lineage now is super clear since Airflow has a lot of visual integrations Reseña recopilada por y alojada en G2.com.

UI has lots of bug still, some times the UI will show bad or elements will appear in weird places and it would become impossible to click what you need, It happens often enough that it bothers Reseña recopilada por y alojada en G2.com.

You can orchestrate many DAGs at once at different schedules and can easily go back in time to reproduce/replicate runs. Reseña recopilada por y alojada en G2.com.

The Airflow CLI is not as friendly as the Airflow UI. The documentation is sometimes not clear/misses details. Reseña recopilada por y alojada en G2.com.

Airflow is easy to get started with and can scale and do more things as your tech stack evolves. Airflow comes with a lot of helpful features out-of-the-box, such as the DAG visualizations and task trees. Furthermore, Airflow is very flexible. You can use it for more than just data transformation. We started running batch ML models in Airflow before we onboarded a third-party tool. Reseña recopilada por y alojada en G2.com.

There is nothing I dislike about Airflow. We started using it less because it requires more engineering support than other tools (that probably run on Airflow), but we will continue to use it because it is the most flexible tool for ETL. We wished that Airflow had a premium tier so that we could get more support. Reseña recopilada por y alojada en G2.com.

Se ejecutarán tareas en orden, cada tarea tendrá los recursos necesarios. Reseña recopilada por y alojada en G2.com.

No habrá versionado para las canalizaciones de datos. Falta de intercambio de datos entre tareas. Reseña recopilada por y alojada en G2.com.

The tree view of your ETLs is a great way to visualize how well the DAG is functioning, if it ran when it was supposed to, and the order and dependency of tasks. Reseña recopilada por y alojada en G2.com.

Error messages are difficult to parse, and the navigation isn't intuitive. Reseña recopilada por y alojada en G2.com.

Reruns and backfills are super easy, flow chart for jobs is very intuitive, and it's all done in python! Reseña recopilada por y alojada en G2.com.

Clunky at times. Spinning up a new instance is difficult if you don't know terraform and can reuse the canned manifest/helm Reseña recopilada por y alojada en G2.com.