Databricks tem sido incrível de trabalhar. Ele fornece coleta e gerenciamento de dados em tempo real através de ML de big data, tão útil eu diria. Ele combina diferentes dados de processos de dados em larga escala e os torna mais utilizáveis, o que é excelente para empresas médias e grandes. E a parte mais incrível que eu gosto é sua integração com Delta Lake e Spark.

Principalmente, 60-70% das atividades diárias envolvem o uso do Databricks DLT, Autoloader e Workflows do Databricks para construir pipelines unificados. Também utilizo para criar o modelo de MlOps MlFlow Model serving, tabelas de loja online do Feature Store para implantações de modelos, avaliação e uso do monitoramento de fluxo do Lakehouse. Também usei o gateway Mosiac AI. Em breve, estou ansioso para usar o Databricks serverless em pipelines de notebooks de engenharia, além do DLT. DB-SQL com Delta Photon Optimization e o clustering líquido resolvem o trabalho manual de otimizações de Optimize/Z-order. Também migrei recentemente o Metastore do Hive de várias linhas de negócios para aplicações de quants civis e de risco para o Unity Catalog.

Eu acho muito confiável e futurista pelo seu preço. Existem muitas funções que são muito importantes para a nossa empresa, como a ferramenta de transformação de dados e o uso de analistas de dados com consultas, o que o torna ainda mais útil. Eu também uso o lakeflow, que é bastante fácil de implementar com pouco código, e o suporte ao cliente nos ajudou com guias importantes para implementar na configuração inicial.