Pros y Contras de Databricks Data Intelligence Platform

Como ingeniero de datos que ha estado trabajando con Databricks durante los últimos dos años, puedo decir honestamente que la plataforma ha transformado por completo la forma en que abordamos los proyectos de ingeniería de datos. Antes de Databricks, mi equipo y yo a menudo enfrentábamos desafíos con la gestión de grandes conjuntos de datos y asegurando una colaboración fluida entre ingenieros de datos y científicos de datos. Hubo momentos en que los flujos de trabajo se sentían desarticulados, y resolver problemas a través de diferentes herramientas consumía mucho de nuestro tiempo.

Databricks ha cambiado todo eso. La función de cuadernos colaborativos, en particular, ha sido un cambio radical. Ahora puedo trabajar sin problemas con los científicos de datos en tiempo real, resolviendo problemas e iterando soluciones mucho más rápido. Por ejemplo, durante un proyecto reciente, pudimos refinar un modelo de aprendizaje automático en cuestión de días, gracias a la capacidad de compartir cuadernos fácilmente y ejecutar experimentos rápidamente juntos. Este nivel de colaboración solía tomar semanas con herramientas anteriores.

La función de autoescalado ha sido un salvavidas. Recuerdo vívidamente luchar con problemas de rendimiento al procesar grandes conjuntos de datos en nuestra antigua infraestructura. Ahora, Databricks ajusta automáticamente los recursos según la carga de trabajo, por lo que nunca tenemos que preocuparnos por gestionar la potencia de cómputo. Esto ha reducido drásticamente los tiempos de procesamiento. Por ejemplo, un trabajo de transformación de datos que solía tomar horas ahora se completa en una fracción del tiempo, lo que nos permite entregar proyectos más rápido.

Delta Lake también ha sido invaluable. Antes de comenzar a usarlo, la consistencia y calidad de los datos eran preocupaciones constantes, especialmente al tratar con fuentes de datos grandes y variadas. Ahora, con Delta Lake, podemos confiar en que nuestros datos no solo son de alta calidad, sino también fácilmente accesibles y consultables. Un ejemplo particular fue cuando tuvimos que reconstruir una tubería de datos compleja. Delta Lake nos permitió trabajar con actualizaciones de datos incrementales, haciendo el proceso mucho más eficiente y confiable.

En resumen, Databricks ha reducido enormemente el tiempo de desarrollo y mejorado la calidad general de nuestras entregas. Me ha ayudado a simplificar flujos de trabajo complejos, mejorar la colaboración entre equipos y, lo más importante, entregar soluciones basadas en datos más rápido y con mayor confianza. Reseña recopilada por y alojada en G2.com.

Optimización de Costos - Aunque aprecio la información detallada de facturación proporcionada, predecir costos para proyectos grandes o entornos compartidos aún puede parecer opaco. Muchos equipos luchan por controlar los costos descontrolados de clústeres inactivos o configuraciones subóptimas. Introducir un escalado automático más inteligente y recomendaciones adaptadas a nuestras cargas de trabajo sería invaluable. Por ejemplo, alertas para "clústeres inactivos" o "puntos críticos de costo" en nuestro entorno podrían ahorrar presupuestos de manera proactiva y mejorar la eficiencia.

Gobernanza y Seguridad Simplificadas - Gestionar el acceso a niveles detallados puede ser engorroso. Por ejemplo, controlar quién puede ver versus quién puede ejecutar un cuaderno o trabajo a menudo requiere soluciones alternativas. Los registros de auditoría son excelentes, pero darles sentido para obtener información procesable a veces se siente como resolver un rompecabezas. Un control de acceso basado en atributos (ABAC) mejorado y controles más intuitivos basados en la interfaz de usuario para la gestión de permisos agilizarían enormemente las operaciones.

Experiencia del Usuario - La interfaz colaborativa de cuadernos es una de las características destacadas de Databricks, sin embargo, hay áreas donde podría ser más fluida. La colaboración a veces se ve obstaculizada cuando dos usuarios editan el mismo cuaderno. El control de versiones se siente básico en comparación con los sistemas basados en Git. La depuración dentro de los cuadernos, especialmente para cargas de trabajo no basadas en Python, podría mejorar significativamente. Agregar comentarios en línea, herramientas de resolución de conflictos y características de depuración robustas llevaría la plataforma al siguiente nivel. Un feed de actividad a nivel de espacio de trabajo para mostrar lo que está sucediendo en proyectos compartidos también sería inmensamente útil.

Automatización de Flujos de Trabajo - Incluir ideas impulsadas por IA para optimizar flujos de trabajo (por ejemplo, detectar cuellos de botella o ineficiencias). Habilitar una integración más fácil con herramientas externas de automatización de flujos de trabajo. Reseña recopilada por y alojada en G2.com.

La inteligencia de datos de Databricks es realmente rápida y puede manejar grandes cantidades de datos fácilmente, puedes ejecutar consultas SQL complejas en conjuntos de datos enormes en segundos sin necesidad de preocuparte por gestionar servidores o infraestructura, todo está cuidado por ti, como el mantenimiento y las copias de seguridad, así que tampoco tienes que pensar en eso. También funciona sin problemas con otras partes de Databricks, lo que facilita la construcción de flujos de trabajo de software y canalizaciones de datos para analizar y gestionar tus datos. Reseña recopilada por y alojada en G2.com.

Databricks puede ser difícil para los principiantes, si no saben Sql. también puede volverse caro y complicado para muchos usuarios. Reseña recopilada por y alojada en G2.com.

La Plataforma de Inteligencia de Databricks proporciona una plataforma común para ETL, informes e IA. Ayuda al usuario a monitorear toda la línea de datos con la ayuda de Unity Catalog y que se puede utilizar para crear informes de auditoría a nivel de cuenta. Además, Databricks Genie ayuda al usuario a consultar directamente las tablas con palabras simples en inglés. Reseña recopilada por y alojada en G2.com.

En general, es bueno para Ingenieros de Datos, Ingenieros de ML y Analistas, pero necesita trabajar en la parte del flujo de trabajo que puede ser más robusta y rica en características. Reseña recopilada por y alojada en G2.com.

Realmente me gusta Databricks Genie, me ayuda a identificar el error y da sugerencias para resolverlo. Además, si pido mejorar el código actual para un rendimiento más rápido, las sugerencias de Genie son útiles. Ayuda a implementar la lógica ETL de manera eficiente. Reseña recopilada por y alojada en G2.com.

La mayoría de las características que utilizo son útiles, pero algunas funcionalidades de SQL no son compatibles, como la actualización de una tabla usando join. Reseña recopilada por y alojada en G2.com.

- It has an excellent connection with the MLFlow system which guarantees that our clients have access to creation, management, monitoring and progress in Machine Learning.

- It offers professional processes to manage the clients infrastructure and manage all the clusters, all this can be done from the cloud and saves time in collecting data from the clusters.

- We can link several data sources perfectly and simultaneously, this helps collect all the data of our clients in a safe and automated manner, without going through complex data registration process, we can collect a large volume of data easily. Reseña recopilada por y alojada en G2.com.

Databricks never gave us any type of negative experience, at all times it was able to offer management, data storage and collection of large volumes of data. With Databricks, our MSP-type functions have improved and have never had any failures collecting all the data of our clients who access IT services. Reseña recopilada por y alojada en G2.com.

La interfaz de usuario de Databricks es muy fácil de usar y sencilla, y la navegación también es simple, lo que te ayuda a hacer las cosas rápidamente. Reseña recopilada por y alojada en G2.com.

El servicio de atención al cliente necesita mejorar y necesitan reclutar personas en su equipo de Asia para superar el problema del idioma regional. Reseña recopilada por y alojada en G2.com.

Me gusta la forma en que Databricks gestiona los datos, todo en un solo lugar. Lo que hace es unir a los ingenieros de datos y a los científicos de datos en la misma plataforma para colaborar y resolver problemas rápidamente. Escalar se volvió sin esfuerzo gracias a la integración con herramientas como AWS, así como mantenerse al día con el progreso en las notas continúa manteniéndonos a todos en la misma página en las notas. Ha ayudado a eliminar problemas de comunicación y ha ayudado a ocuparse de las cosas más rápido. Reseña recopilada por y alojada en G2.com.

Databricks tiene una desventaja y es la curva de aprendizaje, especialmente para las personas que quieren comenzar con una configuración más compleja. Pasamos algún tiempo resolviendo problemas con la configuración, y no es la más fácil para empezar. El modelo de precios también es un poco confuso, por lo que no es tan fácil predecir el costo a medida que su uso aumenta. A veces, eso ha llevado a algunos gastos imprevistos que podríamos haber reducido si hubiéramos tenido una mejor visibilidad de los costos. Reseña recopilada por y alojada en G2.com.

Databricks has the great ability to handle streaming data and integrate with Kafka. This is an essential feature for our organisation as we used Databricks to enhance our real time fraud detection system in the financial service sector. This has improved security and reduced fraud activities. The real time processing capabilities were also a crucial feature for our use case. Databricks also support multiple languages development, which is a key benefit for our organisation as we have both Python and Scala developers. Reseña recopilada por y alojada en G2.com.

During a critical phase of the project, we faced few challenges while optimising our Spark jobs. The user interface for cluster management could be improved, as we occasionally face delays when scaling clusters to handle large workloads. Reseña recopilada por y alojada en G2.com.

My team recently used Databricks to implement a machine learning model for fraud detection. We used the Delta Lake for data preprocessing and insured real time updates from our database. One of the most helpful features in Databricks is the Delta Lake functionality, which ensures data consistency. The platform supports both Python and SQL, which fills the cap between Data engineers and Analysts. This makes it easy for teams to collaborate. Customer support is another highlight as they respond quickly and provide clear guidance. Reseña recopilada por y alojada en G2.com.

While integrating Databricks with our existing Azure Data Lake, we faced issues syncing access permissions for multiple datasets. Additionally, their pricing models makes it better suited for large organisations, but for smaller teams scaling up can be expensive. Reseña recopilada por y alojada en G2.com.

One thing that strikes me about Databricks is the fact that the platform offers robust methodologies for working with big data while maintaining tremendously high efficiency. I also like how it can be set up to work with multiple jobs at once and is highly beneficial for working on different kinds of datasets in parallel. The integrated collaboration tools enable multiple authors to edit a given document simultaneously hence enhancing the flow of information in the team. Reseña recopilada por y alojada en G2.com.

The issue that Databricks could address is the insufficient tools for identifying and addressing problems. While the platform is useful, it’s sometimes not clear where errors lie, meaning that faults might not be as easy to identify. It can result in further time consumed in error analysis in large processes arrangements since these classifications are vague. At times it seems as though there is great strain to searc original solutions thereby slowing the process. Reseña recopilada por y alojada en G2.com.