¿Qué es lo que más te gusta de Databricks?
Como ingeniero de datos que ha estado trabajando con Databricks durante los últimos dos años, puedo decir honestamente que la plataforma ha transformado por completo la forma en que abordamos los proyectos de ingeniería de datos. Antes de Databricks, mi equipo y yo a menudo enfrentábamos desafíos con la gestión de grandes conjuntos de datos y asegurando una colaboración fluida entre ingenieros de datos y científicos de datos. Hubo momentos en que los flujos de trabajo se sentían desarticulados, y resolver problemas a través de diferentes herramientas consumía mucho de nuestro tiempo.
Databricks ha cambiado todo eso. La función de cuadernos colaborativos, en particular, ha sido un cambio radical. Ahora puedo trabajar sin problemas con los científicos de datos en tiempo real, resolviendo problemas e iterando soluciones mucho más rápido. Por ejemplo, durante un proyecto reciente, pudimos refinar un modelo de aprendizaje automático en cuestión de días, gracias a la capacidad de compartir cuadernos fácilmente y ejecutar experimentos rápidamente juntos. Este nivel de colaboración solía tomar semanas con herramientas anteriores.
La función de autoescalado ha sido un salvavidas. Recuerdo vívidamente luchar con problemas de rendimiento al procesar grandes conjuntos de datos en nuestra antigua infraestructura. Ahora, Databricks ajusta automáticamente los recursos según la carga de trabajo, por lo que nunca tenemos que preocuparnos por gestionar la potencia de cómputo. Esto ha reducido drásticamente los tiempos de procesamiento. Por ejemplo, un trabajo de transformación de datos que solía tomar horas ahora se completa en una fracción del tiempo, lo que nos permite entregar proyectos más rápido.
Delta Lake también ha sido invaluable. Antes de comenzar a usarlo, la consistencia y calidad de los datos eran preocupaciones constantes, especialmente al tratar con fuentes de datos grandes y variadas. Ahora, con Delta Lake, podemos confiar en que nuestros datos no solo son de alta calidad, sino también fácilmente accesibles y consultables. Un ejemplo particular fue cuando tuvimos que reconstruir una tubería de datos compleja. Delta Lake nos permitió trabajar con actualizaciones de datos incrementales, haciendo el proceso mucho más eficiente y confiable.
En resumen, Databricks ha reducido enormemente el tiempo de desarrollo y mejorado la calidad general de nuestras entregas. Me ha ayudado a simplificar flujos de trabajo complejos, mejorar la colaboración entre equipos y, lo más importante, entregar soluciones basadas en datos más rápido y con mayor confianza. Reseña recopilada por y alojada en G2.com.
¿Qué es lo que no te gusta de Databricks?
Optimización de Costos - Aunque aprecio la información detallada de facturación proporcionada, predecir costos para proyectos grandes o entornos compartidos aún puede parecer opaco. Muchos equipos luchan por controlar los costos descontrolados de clústeres inactivos o configuraciones subóptimas. Introducir un escalado automático más inteligente y recomendaciones adaptadas a nuestras cargas de trabajo sería invaluable. Por ejemplo, alertas para "clústeres inactivos" o "puntos críticos de costo" en nuestro entorno podrían ahorrar presupuestos de manera proactiva y mejorar la eficiencia.
Gobernanza y Seguridad Simplificadas - Gestionar el acceso a niveles detallados puede ser engorroso. Por ejemplo, controlar quién puede ver versus quién puede ejecutar un cuaderno o trabajo a menudo requiere soluciones alternativas. Los registros de auditoría son excelentes, pero darles sentido para obtener información procesable a veces se siente como resolver un rompecabezas. Un control de acceso basado en atributos (ABAC) mejorado y controles más intuitivos basados en la interfaz de usuario para la gestión de permisos agilizarían enormemente las operaciones.
Experiencia del Usuario - La interfaz colaborativa de cuadernos es una de las características destacadas de Databricks, sin embargo, hay áreas donde podría ser más fluida. La colaboración a veces se ve obstaculizada cuando dos usuarios editan el mismo cuaderno. El control de versiones se siente básico en comparación con los sistemas basados en Git. La depuración dentro de los cuadernos, especialmente para cargas de trabajo no basadas en Python, podría mejorar significativamente. Agregar comentarios en línea, herramientas de resolución de conflictos y características de depuración robustas llevaría la plataforma al siguiente nivel. Un feed de actividad a nivel de espacio de trabajo para mostrar lo que está sucediendo en proyectos compartidos también sería inmensamente útil.
Automatización de Flujos de Trabajo - Incluir ideas impulsadas por IA para optimizar flujos de trabajo (por ejemplo, detectar cuellos de botella o ineficiencias). Habilitar una integración más fácil con herramientas externas de automatización de flujos de trabajo. Reseña recopilada por y alojada en G2.com.
