Avaliações e Detalhes do Produto de Prefect

Prefect é uma das ferramentas de orquestração de baixo custo e melhores do mercado. Podemos integrar muitas plataformas com o Prefect. Trabalhos do Databricks e Snowflake podem ser executados através do Prefect. Análise coletada por e hospedada no G2.com.

conhecimento de Python para trabalhar no Prefect e precisa ter alguns recursos adicionais onde o Airflow está à frente Análise coletada por e hospedada no G2.com.

Prefect é uma das melhores ferramentas de orquestração. Usando o repositório git de origem, podemos personalizar a integração à nossa maneira. Fácil de usar, mesmo para iniciantes usando configuração local. Conhecimento em Python é suficiente. Análise coletada por e hospedada no G2.com.

Outro grande concorrente do Prefect possui ganchos e conectores pré-construídos, enquanto o Prefect está atrás porque precisamos desenvolver os conectores. Análise coletada por e hospedada no G2.com.

The UI is the best part. All of our production processes, prefect or not, send error messages to slack. Our team members rotate being on call, so if an error message persists in slack, whoever is on call has to investigate. With most of our processes, the on call person has to get out their laptop, track down logs, etc. If they are in the middle of something, such as dinner, friends, etc, they have to go back to their laptop to handle things. With prefect, I am easily able to go on my phone when a prefect error comes in, log into prefect, and take care of everything I need to right there. An ios app for prefect would make this even better than it already is. Análise coletada por e hospedada no G2.com.

Documentation is terrible. Not enough examples, especially with the more complicated things like work pools and blocks. Any examples that are there are way to simple to actually help you implement it on something real. The great design of the UI give you better clues as to how things work than the documentation does. Análise coletada por e hospedada no G2.com.

Fácil de entender a estrutura e os conceitos para a nova posição de DataOps, comparando com o Airflow

Apoio e ajuda através do canal Slack, normalmente obtém resposta dentro de uma hora Análise coletada por e hospedada no G2.com.

Nada até agora, estamos felizes com as Versões Gratuitas do Prefect. Análise coletada por e hospedada no G2.com.

A coisa que nossa equipe mais gostou sobre o prefect é como é fácil converter qualquer código python em um pipeline funcional e automatizado através dos decoradores do prefect. Conseguimos migrar nossos fluxos de trabalho de funções em nuvem para o prefect em apenas alguns dias. O arquivo yaml de implantações declarativas também é fácil de entender e quando usado em nossos pipelines de CI/CD. Análise coletada por e hospedada no G2.com.

Eu gostaria que o Prefect tivesse mais integrações, mas entendo que está crescendo e a equipe está trabalhando arduamente para expandir essa área. Uma coisa que eu gostaria é que o Prefect Cloud tivesse uma integração nativa com o Kafka e integrações com o DataHub. Análise coletada por e hospedada no G2.com.

Prefect is all about taking the idea of having scheduled Python scripts and easily and expertly tacking on all the things that make an engineer's life easier: UI-based scheduling, parameterization, flow visualization, detailed logging, exception handling, notifications, webhooks, containerization and easy deployments, concurrency. It's like a pure (and massive) value-add system with almost no need to make concessions in how you like to connect to data, transform data, or deliver data. As such I think it's especially powerful when you have a lot of non-standard ETL pipelines going in all directions (i.e. a mountain of tech debt) and you want to clean things up without being forced into restrictive design decisions.

Prefect is really flexible, not just in terms of how you deploy the execution agents, but also in terms of how you want to structure your code and what Prefect features you want to use heavily or lightly. There's no limitation on data sources or integrations: it just fits into whatever you're already doing with Python. It doesn't force you into any mold beyond just using Python, although the concepts of tasks, and the way Prefect handles concurrency, is super helpful if you want to make use of these things. It makes it easy to containerize Python scripts and make every aspect of a data flow deployment modular and flexible. And once you have your settings the way you like them, deploying changes or new flows is easy.

We run about 200 scheduled Prefect flows a day, sending and receiving data between over 50 different systems at our university. Prefect has been a lifesaver. Documentation, support, and the Prefect Slack space have all been super helpful. Análise coletada por e hospedada no G2.com.

I can't complain hardly at all about Prefect. Having said that, I'm an experienced engineer who likes a lot of control. If you're already writing scheduled Python scripts to move data, Prefect will be a great fit, I think. But it isn't designed to address questions like how to extract data from X system or load it into Y system or how to transform data. It's about simplifying all the scaffolding around the guts of your Python code so you can focus on doing what you need to do. Análise coletada por e hospedada no G2.com.

É pythonico e, portanto, fácil de implementar.

A versão 2.0 tem ótimos recursos, como deploy.

Isso nos permite desenvolver remotamente, colaborativamente, mas de maneira ordenada e simples.

Uma vez que você entende o essencial, ou seja, fluxos, tarefas, pool de trabalho, trabalhadores e implantação, tudo se torna muito simples.

Tem uma ótima comunidade, muito ativa. Em geral, os problemas que tive já têm vários comentários e soluções no Slack. Análise coletada por e hospedada no G2.com.

Tivemos que ler e testar por alguns dias para colocar o ambiente de desenvolvimento em funcionamento e conectar à nuvem.

Na documentação, faltam mais exemplos, como a conexão com o Gitlab (há apenas exemplos com o Github) e há algumas diferenças que resolvemos com a comunidade. Análise coletada por e hospedada no G2.com.

Acompanhei o Prefect desde a versão 1 e observei com satisfação que minhas sugestões no canal do Slack (muito responsivo) foram implementadas em produção. Muito pouco código inicial é necessário para registrar um fluxo, subfluxos e subtarefas, mas as opções são vastas. Eu faço trabalhos de ETL relativamente simples, mas me vejo eliminando muitas das verificações manuais, pois posso acionar fluxos com base em eventos em outros.

A API é bem documentada.

Repetições elegantes, nomeação de fluxos e opções para executores de tarefas.

Se você é como eu e achou o Airflow intimidador - esta é uma escolha realmente boa. Análise coletada por e hospedada no G2.com.

Está em rápido desenvolvimento, então preste atenção aos logs de lançamento. Como exemplo, eu costumava implantar usando objetos Python, mas agora a opção preferida é o arquivo prefect.yaml.

Parte do desenvolvimento nem sempre é refletida na documentação, mas eles estão se atualizando.

A visualização de Fluxo pode ser um pouco desordenada se você tiver alguns trabalhos que rodam por alguns minutos e outros por horas. Análise coletada por e hospedada no G2.com.

É bastante fácil anotar o código Python existente e convertê-lo em um fluxo Prefect sem mudar muito o código. A arquitetura híbrida que utiliza agentes ou trabalhadores permite ter muita flexibilidade sobre onde e como o código é executado. Isso também permite ter ambientes isolados para cada fluxo de uma maneira mais limpa do que algo como o Airflow. Análise coletada por e hospedada no G2.com.

Prefect 2 ainda é uma estrutura jovem e está em construção, então espere que tenha muitas atualizações constantes e possíveis mudanças que podem quebrar a compatibilidade. Sua comunidade não é tão grande quanto algo como "Airflow", então falta muitos conectores e alguns deles não são atualizados com frequência. Análise coletada por e hospedada no G2.com.

I recently had the opportunity to adopt a Prefect centric ETL orchestration pattern and I have to say, it has been a game-changer. It was perfect for our situation where we had multiple locations with different setups, but wanted a common logging and deployment pattern.

What impressed me the most was how user-friendly Prefect is. It's much more straightforward compared to complex solutions like Argo Events, and or relatively mature products like Airflow. If youre in the python space working on ETL, you should be using this product.

But what really got me excited was Prefect's recent introduction of their AI tool called Marvin. It's fantastic for small "AI functions" and it allows us to leverage chatGPT results as a structured object type. This has added a whole new level of efficiency to our ETL processes cleaning up free text fields into structured categories.

Overall, I can confidently say that Prefect has exceeded our expectations. It's been a breeze to use and has greatly improved our ETL workflow. I highly recommend it to anyone in need of a reliable ETL orchestrator. Análise coletada por e hospedada no G2.com.

There have been several breaking changes pushed over minor releases. Additionally they seem to have siliently stopped fixing bugs related to the "agents" in favor of the "workers" approach. The fact that there are known bugs with agents that will not be fixed in favor of the user adopting an entirely new pattern does get frustrating as a paying customer. Análise coletada por e hospedada no G2.com.