Pros y Contras de Apache Airflow

Me gustan las características de flujo de aire, como el monitoreo de dags/scripts. Incluso podemos rastrear el historial y los registros de los últimos 365 días. El operador TriggerDagrun es el mejor para la gestión de dependencias en todos los dags. Reseña recopilada por y alojada en G2.com.

Estoy perdiendo la función de conexiones a través de múltiples fuentes en Apache Airflow, lo que puede ayudarnos a gestionar el sistema ETL de principio a fin. Actualmente está tardando un poco en iniciar dag/pod, sería genial si pudieran hacerlo más rápido. Reseña recopilada por y alojada en G2.com.

Fácil de usar la herramienta. Contiene todo tipo de procesadores que soportan todos los requisitos. Soporta la aislamiento de proyectos utilizando grupos de procesadores. También ayuda a enviar o recibir datos del clúster remoto. Reseña recopilada por y alojada en G2.com.

Si tenemos menos memoria en el clúster, no admite el autoescalado. Si un procesador falla, necesitamos reiniciar todo desde cero. A veces hemos visto la corrupción del archivo de flujo. Reseña recopilada por y alojada en G2.com.

Es una plataforma de código abierto para programar, monitorear y desarrollar flujos de datos y computación de manera muy sencilla. Utiliza Python para crear flujos de trabajo y puede ejecutar cualquier cosa en el mundo. Es fácil de usar. La comunidad de código abierto es buena. Buen conjunto de operadores listos para usar. Codificación fácil con Python. Y buena interfaz gráfica de usuario. Reseña recopilada por y alojada en G2.com.

Aunque es una plataforma realmente buena para gestionar flujos de trabajo, todavía tiene algunos problemas, como que no hay una forma verdadera de monitorear la calidad de tus datos. Aprender Airflow requiere una inversión de tiempo. No hay una guía sobre las mejores prácticas para desarrollar DAGs. No hay versionado en el programador de Airflow. La depuración consume mucho tiempo. Reseña recopilada por y alojada en G2.com.

With a gradual learning curve, Airflow helped schedule our workflows and trigger airflow DAGs from other GCP products like cloud function, allowing for event-based workflows dependent on multiple GCP products and data sources from various teams. Reseña recopilada por y alojada en G2.com.

Apache airflow is just an orchestrator, and it's unreliable with jobs with higher run-time, like ML model training using Vertex Custom Job or some BigQuery SQL scripts that run for a long time. We have also faced situations where the BQ job ran successfully, but Airflow had lost connection. There are also connection issues with dataproc pyspark jobs. Reseña recopilada por y alojada en G2.com.

Es una herramienta muy buena para la orquestación de trabajos en las canalizaciones de procesamiento de datos. Me ayuda a dormir bien por la noche ya que puedo programar mi trabajo antes del tiempo necesario. Reseña recopilada por y alojada en G2.com.

Requiere un poco de complejidad y conocimientos técnicos para un uso óptimo. Alguien sin conocimientos de programación no puede usar esta herramienta con confianza. Reseña recopilada por y alojada en G2.com.

La facilidad de gestionar las canalizaciones de datos y los flujos de trabajo de ML ha ayudado a los desarrolladores a centrarse en otros aspectos. Los DAGS son bastante sencillos de implementar y eficientes.

El programador está mucho más avanzado en comparación con sus pares. Reseña recopilada por y alojada en G2.com.

La gestión de la base de datos de metadatos a largo plazo parece ser tediosa para el desarrollador de Airflow.

Airflow comienza a mostrar lentitud en las actualizaciones de dag a medida que la base de datos de metadatos se llena hasta cierto punto.

En Airflow 2, no hay opción para consultas ad hoc, lo cual es un problema cuando necesitamos verificar la base de datos de metadatos. Reseña recopilada por y alojada en G2.com.

flexibility and ease in writing dags. multiple operator and executors to run the job. Reseña recopilada por y alojada en G2.com.

somtime shceduler with too many jobs takes too much CPU of DB. so it need to have bigger db most of the time for high scale. Reseña recopilada por y alojada en G2.com.

Airflow is way better orchestration tool than any other tool in the market.it is based on python so it is super easy to create dags and schedule it.there are plenty of inbuilt operators which performs Swift operation.creating cluster and replying dags in GCP is super easy Reseña recopilada por y alojada en G2.com.

But I still feels there are some capabilities still needs to be built like dataflow. Plus installation in your local system should be more easy and documentation should be there . Also dependency between dags should also be improved. Reseña recopilada por y alojada en G2.com.

La sencillez de uso y lo que facilita a los equipos su uso. Reseña recopilada por y alojada en G2.com.

La falta de comunidad y de casos de uso o mejores prácticas. Reseña recopilada por y alojada en G2.com.

Airflow proporciona todas las características como flujos de trabajo tipo DAG y características de ejecución de acciones y scripts. También se integra con entornos de ejecución como celery o kubernetes que ayudan a ejecutar múltiples trabajos en paralelo. Reseña recopilada por y alojada en G2.com.

Se necesita tiempo para configurar el entorno y para el personal de nivel de entrada es difícil configurarlo. Creo que si Airflow proporciona integración con herramientas en la nube y una configuración fácil, ayudará a muchos usuarios. Reseña recopilada por y alojada en G2.com.