Databricks Data Intelligence Platform Avantages et Inconvénients

En tant qu'ingénieur de données travaillant avec Databricks depuis deux ans, je peux honnêtement dire que la plateforme a complètement transformé notre approche des projets d'ingénierie des données. Avant Databricks, mon équipe et moi faisions souvent face à des défis liés à la gestion de grands ensembles de données et à la garantie d'une collaboration fluide entre les ingénieurs de données et les data scientists. Il y avait des moments où les flux de travail semblaient disjoints, et le dépannage des problèmes à travers différents outils consommait beaucoup de notre temps.

Databricks a changé tout cela. La fonctionnalité de notebooks collaboratifs, en particulier, a été révolutionnaire. Je peux maintenant travailler de manière transparente avec les data scientists en temps réel, résoudre les problèmes et itérer sur les solutions beaucoup plus rapidement. Par exemple, lors d'un projet récent, nous avons pu affiner un modèle d'apprentissage automatique en quelques jours, grâce à la possibilité de partager facilement des notebooks et de lancer rapidement des expériences ensemble. Ce niveau de collaboration prenait des semaines avec les outils précédents.

La fonctionnalité d'auto-scalabilité a été un véritable sauveur. Je me souviens vivement des problèmes de performance lors du traitement de grands ensembles de données sur notre ancienne infrastructure. Maintenant, Databricks ajuste automatiquement les ressources en fonction de la charge de travail, donc nous n'avons jamais à nous soucier de la gestion de la puissance de calcul. Cela a considérablement réduit les temps de traitement. Par exemple, un travail de transformation de données qui prenait des heures se termine maintenant en une fraction du temps, nous permettant de livrer les projets plus rapidement.

Delta Lake a également été inestimable. Avant de commencer à l'utiliser, la cohérence et la qualité des données étaient des préoccupations constantes, surtout lorsqu'il s'agissait de sources de données grandes et variées. Maintenant, avec Delta Lake, nous pouvons être sûrs que nos données sont non seulement de haute qualité mais aussi facilement accessibles et interrogeables. Un exemple particulier a été lorsque nous avons dû reconstruire un pipeline de données complexe. Delta Lake nous a permis de travailler avec des mises à jour de données incrémentielles, rendant le processus beaucoup plus efficace et fiable.

En bref, Databricks a considérablement réduit le temps de développement et amélioré la qualité globale de nos livraisons. Cela m'a aidé à rationaliser des flux de travail complexes, à améliorer la collaboration entre les équipes, et surtout, à fournir des solutions basées sur les données plus rapidement et avec plus de confiance. Avis collecté par et hébergé sur G2.com.

Optimisation des coûts - Bien que j'apprécie les informations de facturation détaillées fournies, prédire les coûts pour de grands projets ou des environnements partagés peut encore sembler opaque. De nombreuses équipes ont du mal à contrôler les coûts incontrôlés des clusters inactifs ou des configurations sous-optimales. L'introduction d'une mise à l'échelle automatique plus intelligente et de recommandations adaptées à nos charges de travail serait inestimable. Par exemple, des alertes pour les "clusters inactifs" ou les "points chauds de coûts" dans notre environnement pourraient de manière proactive économiser des budgets et améliorer l'efficacité.

Gouvernance et sécurité simplifiées - Gérer l'accès à des niveaux fins peut être fastidieux. Par exemple, contrôler qui peut voir par rapport à qui peut exécuter un notebook ou un travail nécessite souvent des solutions de contournement. Les journaux d'audit sont excellents, mais les comprendre pour des informations exploitables ressemble parfois à résoudre un puzzle. Un contrôle d'accès basé sur les attributs (ABAC) amélioré et des contrôles plus intuitifs basés sur l'interface utilisateur pour la gestion des autorisations rationaliseraient grandement les opérations.

Expérience utilisateur - L'interface de notebook collaborative est l'une des caractéristiques remarquables de Databricks, mais il y a des domaines où elle pourrait être plus fluide. La collaboration est parfois entravée lorsque deux utilisateurs modifient le même notebook. Le contrôle de version semble basique par rapport aux systèmes basés sur Git. Le débogage dans les notebooks, en particulier pour les charges de travail non-Python, pourrait nécessiter une amélioration significative. Ajouter des commentaires en ligne, des outils de résolution de conflits et des fonctionnalités de débogage robustes porterait la plateforme au niveau supérieur. Un flux d'activité au niveau de l'espace de travail pour montrer ce qui se passe dans les projets partagés serait également extrêmement utile.

Automatisation des flux de travail - Inclure des insights pilotés par l'IA pour optimiser les flux de travail (par exemple, repérer les goulots d'étranglement ou les inefficacités). Faciliter l'intégration avec des outils d'automatisation de flux de travail externes. Avis collecté par et hébergé sur G2.com.

L'intelligence des données de Databricks est vraiment rapide et peut gérer de grandes quantités de données facilement. Vous pouvez exécuter des requêtes SQL complexes sur d'énormes ensembles de données en quelques secondes sans avoir à vous soucier de la gestion des serveurs ou de l'infrastructure, tout est pris en charge pour vous, comme la maintenance et les sauvegardes, donc vous n'avez pas à vous en préoccuper non plus. Il fonctionne également de manière fluide avec d'autres parties de Databricks, ce qui facilite la création de flux de travail logiciels et de pipelines de données pour analyser et gérer vos données. Avis collecté par et hébergé sur G2.com.

Databricks peut être difficile pour les débutants, s'ils ne connaissent pas Sql. il peut également devenir coûteux et compliqué pour de nombreux utilisateurs. Avis collecté par et hébergé sur G2.com.

La plateforme d'intelligence Databricks fournit une plateforme commune pour ETL, Reporting et IA. Elle aide l'utilisateur à surveiller toute la lignée des données avec l'aide de Unity Catalog, ce qui peut être utilisé pour créer un rapport d'audit au niveau du compte. De plus, Databricks Genie aide l'utilisateur à interroger directement les tables avec des mots simples en anglais. Avis collecté par et hébergé sur G2.com.

Dans l'ensemble, c'est bon pour les ingénieurs en données, les ingénieurs en apprentissage automatique et les analystes, mais il faut travailler sur la partie flux de travail qui peut être plus robuste et riche en fonctionnalités. Avis collecté par et hébergé sur G2.com.

J'aime vraiment Databricks Genie, il m'aide à identifier l'erreur et donne des suggestions pour la résoudre. Les suggestions de Genie sont utiles. Il aide à mettre en œuvre la logique ETL de manière efficace. Avis collecté par et hébergé sur G2.com.

La plupart des fonctionnalités que j'utilise sont utiles, mais certaines fonctionnalités SQL ne sont pas prises en charge, telles que la mise à jour de table en utilisant une jointure. Avis collecté par et hébergé sur G2.com.

- It has an excellent connection with the MLFlow system which guarantees that our clients have access to creation, management, monitoring and progress in Machine Learning.

- It offers professional processes to manage the clients infrastructure and manage all the clusters, all this can be done from the cloud and saves time in collecting data from the clusters.

- We can link several data sources perfectly and simultaneously, this helps collect all the data of our clients in a safe and automated manner, without going through complex data registration process, we can collect a large volume of data easily. Avis collecté par et hébergé sur G2.com.

Databricks never gave us any type of negative experience, at all times it was able to offer management, data storage and collection of large volumes of data. With Databricks, our MSP-type functions have improved and have never had any failures collecting all the data of our clients who access IT services. Avis collecté par et hébergé sur G2.com.

L'interface utilisateur est très facile à utiliser et simple de Databricks, et la navigation est également simple, ce qui vous aide à faire les choses rapidement. Avis collecté par et hébergé sur G2.com.

Le support client doit s'améliorer et ils doivent recruter des personnes dans leur équipe en provenance d'Asie pour surmonter le problème de langue régionale. Avis collecté par et hébergé sur G2.com.

J'aime la façon dont Databricks gère les données, tout en un seul endroit. Ce qu'il fait, c'est qu'il unit les ingénieurs de données et les scientifiques des données sur la même plateforme pour collaborer et résoudre les problèmes rapidement. La mise à l'échelle est devenue sans effort grâce à l'intégration avec des outils comme AWS, ainsi que le suivi des progrès dans les notes continue de nous garder tous sur la même longueur d'onde dans les notes. Cela a aidé à éliminer les problèmes de communication et cela a aidé à s'occuper des choses plus rapidement. Avis collecté par et hébergé sur G2.com.

Databricks a un inconvénient et c'est la courbe d'apprentissage, surtout pour les personnes qui veulent commencer avec une configuration plus complexe. Nous avons passé du temps à résoudre les problèmes de configuration, et ce n'est pas la plus facile pour débuter. Le modèle de tarification est également un peu flou, donc il n'est pas aussi facile de prévoir les coûts à mesure que votre utilisation augmente. Parfois, cela a conduit à des dépenses imprévues que nous aurions pu réduire si nous avions une meilleure visibilité des coûts. Avis collecté par et hébergé sur G2.com.

Databricks has the great ability to handle streaming data and integrate with Kafka. This is an essential feature for our organisation as we used Databricks to enhance our real time fraud detection system in the financial service sector. This has improved security and reduced fraud activities. The real time processing capabilities were also a crucial feature for our use case. Databricks also support multiple languages development, which is a key benefit for our organisation as we have both Python and Scala developers. Avis collecté par et hébergé sur G2.com.

During a critical phase of the project, we faced few challenges while optimising our Spark jobs. The user interface for cluster management could be improved, as we occasionally face delays when scaling clusters to handle large workloads. Avis collecté par et hébergé sur G2.com.

My team recently used Databricks to implement a machine learning model for fraud detection. We used the Delta Lake for data preprocessing and insured real time updates from our database. One of the most helpful features in Databricks is the Delta Lake functionality, which ensures data consistency. The platform supports both Python and SQL, which fills the cap between Data engineers and Analysts. This makes it easy for teams to collaborate. Customer support is another highlight as they respond quickly and provide clear guidance. Avis collecté par et hébergé sur G2.com.

While integrating Databricks with our existing Azure Data Lake, we faced issues syncing access permissions for multiple datasets. Additionally, their pricing models makes it better suited for large organisations, but for smaller teams scaling up can be expensive. Avis collecté par et hébergé sur G2.com.

One thing that strikes me about Databricks is the fact that the platform offers robust methodologies for working with big data while maintaining tremendously high efficiency. I also like how it can be set up to work with multiple jobs at once and is highly beneficial for working on different kinds of datasets in parallel. The integrated collaboration tools enable multiple authors to edit a given document simultaneously hence enhancing the flow of information in the team. Avis collecté par et hébergé sur G2.com.

The issue that Databricks could address is the insufficient tools for identifying and addressing problems. While the platform is useful, it’s sometimes not clear where errors lie, meaning that faults might not be as easy to identify. It can result in further time consumed in error analysis in large processes arrangements since these classifications are vague. At times it seems as though there is great strain to searc original solutions thereby slowing the process. Avis collecté par et hébergé sur G2.com.