Pros y Contras de Apache Airflow

Airflow es excelente para mis necesidades de Python en ciertos proyectos con mis colegas. Increíble soporte de proveedores de almacenamiento en la nube. La configuración rápida y la facilidad de uso me han ahorrado tiempo para mis asignaciones de datos. Reseña recopilada por y alojada en G2.com.

La interfaz del navegador es muy defectuosa y a veces tiene problemas durante mis proyectos, lo que puede hacer que mi trabajo se retrase debido a este defecto. Reseña recopilada por y alojada en G2.com.

Este programa es difícil de comenzar a usar, pero después de aprender y usarlo, puedo decir que es muy útil. Es fácil rastrear información como el estado de los trabajos y seguir los fallos. La interfaz de usuario es fácil y sencilla de seguir. Reseña recopilada por y alojada en G2.com.

No hay seguridad real en este programa, por lo que eso podría ser un problema. La curva de aprendizaje también podría ser una desventaja porque lleva un poco de tiempo aprender y usar. Reseña recopilada por y alojada en G2.com.

Easy to configure a new pipeline once you create a codebase. I currently use airflow to manage our extraction, transformation, enrichment and quality checks. Because most of our pipelines follow a similar format we can create a standard pipeline swapping out the extraction and transformation code individually. Reseña recopilada por y alojada en G2.com.

Because of the flexibility the learning curve for developing an airflow pipeline is a bit long, using an existing pipeline is very easy however development requires knowledge of python, bash. Reseña recopilada por y alojada en G2.com.

Perfect data Processing for all the product developments and easy to use once you get the hang of it. We rely on this program to keep track of our progress Reseña recopilada por y alojada en G2.com.

Some of the features are hard to figure out and seem less important to have. Wish there was more functions for each tab Reseña recopilada por y alojada en G2.com.

Apache Airflow is a great flexible tool that allows the data engineers/scientists to design data-intensive workflows efficiently. Airflow workflows are designed as DAGs (Directed Acyclic Graphs), each node of the graph can be anything (e.g. Python or bash script ...). Airflow manages the workflow DAGs and its scheduling and communication messages between the graph nodes efficiently. The best thing I like in Apache Airflow is that it is a simple Python tool that can design and execute very complicated workflows. In addition, Airflow has the ability to apply user-based strategies for the failed nodes in the graph. For example, the user can restart a task node if it is failed after x seconds, or send email to the administrator with the error message. Also, Apache Airflow has a user-friendly UI that allows the users to list the current running/stopped graphs and to display the logs of each task. Reseña recopilada por y alojada en G2.com.

In rare cases, Apache Airflow UI displays a stale information about the current running DAGs. For example, sometimes it shows that a certain graph is running, however, one of its tasks is already failed. Also, sometimes it shows that a workflow it is already finished, but one of its tasks still running in the background. In these cases, the user has to restart the Airflow server and clear the stale logs. Reseña recopilada por y alojada en G2.com.

La mejor parte de Airflow es que es de código abierto y también su capacidad para ejecutarse en un entorno distribuido. Proporciona operadores (conectores) listos para usar para conectar casi cualquier fuente de datos. Reseña recopilada por y alojada en G2.com.

Compatibilidad de idiomas. Airflow requiere que uno tenga conocimiento del lenguaje Python. Además, su interfaz de usuario no es potente y a veces tiene fallos. Uno tiene que escribir código para orquestar flujos de trabajo ya que no proporciona la función de arrastrar y soltar. Reseña recopilada por y alojada en G2.com.

Airflow is a very easy to use tool that is very versatile and very well designed to meet user's needs. Setup is quick and easy, which makes it simple for engineers and scientists to implement and create workflows effortlessly. Reseña recopilada por y alojada en G2.com.

Many different variables and configuration essential in the function of the tool. One must be familiar with Airflow languages to successfully use. Occasional glitches. Reseña recopilada por y alojada en G2.com.

La interfaz es muy limpia y sencilla de usar. Bastante universal para usar. Reseña recopilada por y alojada en G2.com.

El software se bloquea cuando se ejecutan múltiples pestañas con grandes volúmenes de datos. Reseña recopilada por y alojada en G2.com.

Fácil de adaptar programas de flujo de trabajo para la situación adecuada. Reseña recopilada por y alojada en G2.com.

Los posibles inconvenientes con la seguridad de los datos son una preocupación. Reseña recopilada por y alojada en G2.com.

Una excelente herramienta de gestión de datos y flujos de trabajo que es fácil de usar, muy flexible. Reseña recopilada por y alojada en G2.com.

A veces hay un retraso en mostrar el estado real (mostrando que una tarea está en ejecución mientras ya está completada) Reseña recopilada por y alojada en G2.com.