Prós e Contras de Apache Airflow

Eu gosto dos recursos de fluxo de ar, como monitoramento de dags/scripts. Podemos até rastrear o histórico e os logs dos últimos 365 dias. O operador TriggerDagrun é o melhor para gerenciamento de dependências em todos os dags. Análise coletada por e hospedada no G2.com.

Estou sentindo falta do recurso de conexões em várias fontes no Apache Airflow, o que pode nos ajudar a gerenciar o sistema ETL de ponta a ponta. Atualmente, está levando algum tempo para iniciar o dag/pod, seria ótimo se pudessem torná-lo mais rápido. Análise coletada por e hospedada no G2.com.

Fácil de usar a ferramenta. Contém todos os tipos de processadores que suportam todos os requisitos. Suporta isolamento de projetos usando grupo de processadores. Também ajuda a enviar ou receber dados do cluster remoto. Análise coletada por e hospedada no G2.com.

Se tivermos menos memória no cluster, ele não suporta auto-escalonamento. Se um processador falhar, precisamos reiniciar tudo do zero. Às vezes, vimos a corrupção do arquivo de fluxo. Análise coletada por e hospedada no G2.com.

É uma plataforma de código aberto para agendar, monitorar e desenvolver pipelines de dados e computação de forma muito fácil. Ela usa Python para criar fluxos de trabalho e pode executar qualquer coisa no mundo. É fácil de usar. A comunidade de código aberto é boa. Bom conjunto de operadores prontos para uso. Codificação fácil com Python. E boa interface gráfica. Análise coletada por e hospedada no G2.com.

Embora seja uma plataforma muito boa para gerenciar fluxos de trabalho, ainda tem alguns problemas, como não haver uma maneira verdadeira de monitorar a qualidade dos seus dados. Aprender Airflow requer um investimento de tempo. Não há guia sobre as melhores práticas para desenvolver DAGs. Não há versionamento no agendador do Airflow. Depurar é muito demorado. Análise coletada por e hospedada no G2.com.

With a gradual learning curve, Airflow helped schedule our workflows and trigger airflow DAGs from other GCP products like cloud function, allowing for event-based workflows dependent on multiple GCP products and data sources from various teams. Análise coletada por e hospedada no G2.com.

Apache airflow is just an orchestrator, and it's unreliable with jobs with higher run-time, like ML model training using Vertex Custom Job or some BigQuery SQL scripts that run for a long time. We have also faced situations where the BQ job ran successfully, but Airflow had lost connection. There are also connection issues with dataproc pyspark jobs. Análise coletada por e hospedada no G2.com.

É uma ferramenta muito boa para orquestração de trabalhos em pipelines de processamento de dados. Isso me ajuda a dormir bem à noite, pois posso agendar meu trabalho antes do tempo necessário. Análise coletada por e hospedada no G2.com.

Requer um pouco de complexidade e conhecimento técnico para uso ideal. Alguém sem conhecimento de programação não pode usar esta ferramenta com confiança. Análise coletada por e hospedada no G2.com.

A facilidade de gerenciar pipelines de dados, fluxos de trabalho de ML ajudou os desenvolvedores a se concentrarem em outros aspectos. Os DAGS são bastante diretos de implementar e eficientes.

O agendador está muito mais à frente quando se trata de pares. Análise coletada por e hospedada no G2.com.

O gerenciamento do banco de dados de metadados a longo prazo parece ser tedioso para o desenvolvedor do Airflow. O Airflow começa a mostrar lentidão nas atualizações de DAGs à medida que o banco de dados de metadados é populado em grande medida.

No Airflow 2, não há opção para consultas ad hoc, o que é um problema quando precisamos verificar o banco de dados de metadados. Análise coletada por e hospedada no G2.com.

flexibility and ease in writing dags. multiple operator and executors to run the job. Análise coletada por e hospedada no G2.com.

somtime shceduler with too many jobs takes too much CPU of DB. so it need to have bigger db most of the time for high scale. Análise coletada por e hospedada no G2.com.

Airflow is way better orchestration tool than any other tool in the market.it is based on python so it is super easy to create dags and schedule it.there are plenty of inbuilt operators which performs Swift operation.creating cluster and replying dags in GCP is super easy Análise coletada por e hospedada no G2.com.

But I still feels there are some capabilities still needs to be built like dataflow. Plus installation in your local system should be more easy and documentation should be there . Also dependency between dags should also be improved. Análise coletada por e hospedada no G2.com.

A simplicidade de uso e o que facilita às equipes o seu uso. Análise coletada por e hospedada no G2.com.

A falta de comunidade e de casos de uso ou melhores práticas. Análise coletada por e hospedada no G2.com.

O Airflow fornece todos os recursos, como fluxos de trabalho semelhantes a DAGs e recursos de execução de ações e scripts. Ele também se integra a ambientes de execução como celery ou kubernetes, que ajudam a executar vários trabalhos em paralelo. Análise coletada por e hospedada no G2.com.

Leva tempo para configurar o ambiente e, para o pessoal de nível de entrada, é difícil configurá-lo. Acho que se o Airflow fornecer integração com ferramentas em nuvem e configuração fácil, isso ajudará muitos usuários. Análise coletada por e hospedada no G2.com.