Avis et détails du produit Azure Data Factory

Azure Data Factory facilite grandement la création et la gestion des flux de travail d'intégration de données dans le cloud. Le concepteur de pipeline visuel est intuitif et vous permet de créer des flux de travail de données complexes sans écrire de grandes quantités de code. Il prend en charge une grande variété de sources et de destinations de données, ce qui rend l'intégration des systèmes à travers les bases de données, les comptes de stockage, les API et les plateformes SaaS très simple.

Un autre point fort est l'évolutivité et la fiabilité de la plateforme. Les pipelines de données peuvent gérer de grands volumes de données, et la planification ou le déclenchement des pipelines en fonction des événements est facile à configurer. L'intégration avec d'autres services Azure comme Azure Storage, Synapse et les outils de surveillance en fait également un composant solide d'une plateforme de données moderne. Avis collecté par et hébergé sur G2.com.

Le débogage et le dépannage des pipelines peuvent parfois être difficiles. Les messages d'erreur ne sont pas toujours très détaillés, ce qui peut ralentir le processus d'identification des problèmes. L'interface utilisateur est utile, mais les pipelines complexes peuvent devenir plus difficiles à gérer et à visualiser à mesure qu'ils se développent. De plus, la surveillance et le suivi des coûts pour les charges de travail importantes nécessitent une attention particulière, car les exécutions de pipelines et les activités de déplacement de données peuvent accumuler des coûts rapidement. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus dans Azure Data Factory (ADF), c'est qu'il trouve un juste milieu entre l'orchestration de niveau entreprise et la praticité au quotidien. Quelques points forts qui se démarquent vraiment :

Orchestration sans friction :

ADF est excellent pour coordonner de nombreux éléments mobiles : stockage Blob, ADLS Gen2, Azure SQL, Synapse, Databricks, Functions, APIs REST, sans vous obliger à tout assembler manuellement. Les pipelines, déclencheurs et dépendances semblent très naturels une fois que vous les avez utilisés un peu.

Séparation claire des préoccupations :

La façon dont ADF sépare le flux de contrôle (pipelines, activités, déclencheurs) du traitement des données (Spark, SQL, Functions) est un grand avantage. Il ne cherche pas à être le moteur de calcul ; il orchestre simplement les choses proprement et laisse le bon service faire le gros du travail.

Paramétrisation et réutilisabilité :

Les pipelines, ensembles de données et services liés sont hautement paramétrables. Cela facilite la construction de cadres d'ingestion basés sur la configuration (un seul pipeline, de nombreuses sources), ce qui évolue très bien dans des configurations d'entreprise réelles.

Intégration de premier ordre avec l'écosystème Azure :

L'intégration native avec Synapse, Key Vault, Event Grid, Functions et Managed Identity est un énorme avantage. Un accès sécurisé sans secrets qui circulent est quelque chose que vous appréciez vraiment en production.

Visibilité opérationnelle :

La surveillance, la logique de reprise, les chemins d'échec et les alertes sont intégrés. Quand quelque chose tombe en panne à 3 heures du matin, vous pouvez rapidement voir ce qui a échoué, pourquoi et avec quelle entrée, sans fouiller dans les journaux pendant des heures.

Faible barrière à l'entrée, plafond élevé :

Vous pouvez commencer avec des pipelines de copie simples très rapidement mais évoluer vers des modèles avancés : pipelines basés sur les métadonnées, branchement conditionnel, exécution dynamique et solutions hybrides avec Spark ou Functions. Avis collecté par et hébergé sur G2.com.

ADF est un excellent outil pour l'orchestration, mais il peut sembler maladroit pour le débogage, la logique complexe et le développement en grande équipe. Avis collecté par et hébergé sur G2.com.

Il est facile à utiliser et basé sur des composants, ce qui est bon pour nous permettre d'apprendre rapidement, ainsi que les multiples connecteurs. Avis collecté par et hébergé sur G2.com.

C'est bon à tous égards, mais en ce qui concerne le calcul ou d'autres aspects de stockage, cela entraînerait des coûts plus élevés par rapport à d'autres outils ETL. Avis collecté par et hébergé sur G2.com.

Ce qui est formidable avec ADF, c'est la facilité avec laquelle il permet de connecter toutes mes différentes sources de données, qu'elles soient sur site ou dans le cloud, sans avoir à écrire beaucoup de code. Je peux visuellement glisser-déposer pour construire des pipelines de données complexes, automatiser les tâches de données répétitives, et déplacer et transformer de manière transparente de grands volumes de données à mesure que mes projets se développent. Je peux également tout surveiller et gérer depuis un seul endroit, ce qui réduit considérablement le stress lié à l'intégration des données et simplifie la vie de tous les intervenants. Avis collecté par et hébergé sur G2.com.

Les choses que je déteste le plus à propos d'ADF concernent généralement sa complexité et ses limitations. Déboguer les pipelines est souvent délicat et peut être frustrant, surtout lorsque quelque chose échoue, il n'y a pas beaucoup d'outils pour un dépannage pas à pas. Si mon flux de travail est complexe, gérer et comprendre tout cela peut devenir accablant avec tant de pièces mobiles et d'écrans à suivre. De plus, son intégration avec des services non-Azure est assez limitée, donc je peux rencontrer des obstacles si j'ai besoin de connecter d'autres plateformes ou de travailler dans un environnement cloud Azure. Et bien qu'il gère bien les tâches simples, personnaliser les choses au-delà des connecteurs ou flux de données standard signifie souvent écrire du code supplémentaire ou trouver des solutions de contournement difficiles. Avis collecté par et hébergé sur G2.com.

J'ai adoré l'écosystème de l'ADF et j'aime aussi l'interface utilisateur et l'expérience utilisateur de l'ADF. Avis collecté par et hébergé sur G2.com.

Le débogage et le traçage des erreurs dans les pipelines sont souvent limités et fastidieux. Les performances peuvent être lentes ou difficiles à optimiser pour des volumes de données importants ou complexes. Avis collecté par et hébergé sur G2.com.

Une bonne chose à propos d'Azure Data Factory est sa facilité d'intégration avec une forte intégration avec une variété de sources de données. Construire des pipelines est le plus facile, même pour les flux de travail complexes, et surveiller le mouvement des données et les échecs est très pratique pour le travail quotidien. Avis collecté par et hébergé sur G2.com.

La seule chose qui semble difficile avec Azure Data Factory est que le débogage n'est parfois pas très convivial. Les erreurs/problèmes ne sont pas toujours clairs et les pipelines complexes deviennent trop difficiles à gérer. Le ratio de tarification dépend de l'optimisation du pipeline utilisé. Avis collecté par et hébergé sur G2.com.

Il permet une intégration de données évolutive entre les sources sur site et dans le cloud sans gestion intensive de l'infrastructure. Les flux de données de mappage rendent les transformations complexes efficaces et intuitives. J'apprécie également les fonctionnalités de surveillance et de contrôle, qui offrent une visibilité claire sur les exécutions de pipeline. Avis collecté par et hébergé sur G2.com.

Le débogage et les messages d'erreur ne sont pas toujours clairs, ce qui peut rendre le dépannage long. L'estimation des coûts peut également être difficile, car le modèle sans serveur repose sur l'exécution des activités et le déplacement des données. Avis collecté par et hébergé sur G2.com.

orchestration facile des pipelines ETL, forte intégration avec les services Azure, constructeur de pipelines visuel, mouvement de données évolutif, fonctionnalités de planification et de surveillance, idéal pour la migration de données vers le cloud Avis collecté par et hébergé sur G2.com.

le débogage des pipelines peut être difficile, la surveillance des journaux manque de détails, l'interface utilisateur peut sembler lente, les pipelines complexes deviennent difficiles à gérer, le support de contrôle de version est limité Avis collecté par et hébergé sur G2.com.

Azure Data Factory est très puissant en matière d'intégration de données à grande échelle à partir de sources de données telles que le stockage blob Azure et les bases de données SQL Azure. La capacité de créer et d'exécuter des pipelines à partir du SDK est également une fonctionnalité très utile à avoir pour l'implémentation. Avis collecté par et hébergé sur G2.com.

La configuration du réseau privé est un peu compliquée du point de vue de l'administration. Nous avons eu des problèmes au départ pour faire fonctionner Azure Data Factory de manière privée avec le reste de nos ressources natives Azure. Avis collecté par et hébergé sur G2.com.

Sa capacité à orchestrer et automatiser des flux de travail d'intégration de données complexes à grande échelle. Son interface visuelle à faible code facilite la création et la surveillance des pipelines, tandis que son intégration transparente avec une large gamme de sources de données—à la fois sur site et dans le cloud—permet un déplacement de données fiable de bout en bout. De plus, des fonctionnalités telles que la planification intégrée, la surveillance, la gestion des erreurs et l'intégration avec d'autres services Azure en font une solution robuste et évolutive pour les besoins d'ingénierie des données d'entreprise. Avis collecté par et hébergé sur G2.com.

Bien que Azure Data Factory soit un outil d'orchestration puissant, certaines limitations incluent des capacités de débogage limitées pour les pipelines complexes et le manque de fonctionnalités de transformation avancées par rapport aux moteurs de traitement de données dédiés comme Spark. Le contrôle de version et l'intégration CI/CD peuvent également sembler moins intuitifs, surtout pour les grandes équipes, et le dépannage des problèmes de performance ou d'exécution peut parfois nécessiter de passer entre plusieurs vues de surveillance. De plus, les coûts peuvent augmenter à mesure que les pipelines deviennent plus complexes et fréquents, nécessitant une optimisation et une gouvernance soigneuses. Avis collecté par et hébergé sur G2.com.