O que você mais gosta Databricks?
Como engenheiro de dados que tem trabalhado com Databricks nos últimos dois anos, posso dizer honestamente que a plataforma transformou completamente a maneira como abordamos projetos de engenharia de dados. Antes do Databricks, eu e minha equipe frequentemente enfrentávamos desafios com o gerenciamento de grandes conjuntos de dados e garantindo uma colaboração suave entre engenheiros de dados e cientistas de dados. Havia momentos em que os fluxos de trabalho pareciam desconexos, e solucionar problemas em diferentes ferramentas consumia muito do nosso tempo.
Databricks mudou tudo isso. O recurso de notebooks colaborativos, em particular, foi revolucionário. Agora posso trabalhar perfeitamente com cientistas de dados em tempo real, solucionando problemas e iterando em soluções muito mais rápido. Por exemplo, durante um projeto recente, conseguimos refinar um modelo de aprendizado de máquina em poucos dias, graças à capacidade de compartilhar notebooks facilmente e executar experimentos rapidamente juntos. Esse nível de colaboração costumava levar semanas com ferramentas anteriores.
O recurso de auto-escalonamento tem sido um salva-vidas. Lembro-me vividamente de lutar com problemas de desempenho ao processar grandes conjuntos de dados em nossa infraestrutura antiga. Agora, o Databricks ajusta automaticamente os recursos com base na carga de trabalho, então nunca precisamos nos preocupar em gerenciar poder de computação. Isso reduziu drasticamente os tempos de processamento. Por exemplo, um trabalho de transformação de dados que costumava levar horas agora termina em uma fração do tempo, permitindo-nos entregar projetos mais rapidamente.
O Delta Lake também tem sido inestimável. Antes de começarmos a usá-lo, a consistência e a qualidade dos dados eram preocupações constantes, especialmente ao lidar com fontes de dados grandes e variadas. Agora, com o Delta Lake, podemos confiar que nossos dados não são apenas de alta qualidade, mas também facilmente acessíveis e consultáveis. Um exemplo particular foi quando tivemos que reconstruir um pipeline de conjunto de dados complexo. O Delta Lake nos permitiu trabalhar com atualizações de dados incrementais, tornando o processo muito mais eficiente e confiável.
Em suma, o Databricks reduziu muito o tempo de desenvolvimento e melhorou a qualidade geral de nossas entregas. Ajudou-me a simplificar fluxos de trabalho complexos, melhorar a colaboração entre equipes e, mais importante, entregar soluções orientadas por dados mais rapidamente e com maior confiança. Análise coletada por e hospedada no G2.com.
O que você não gosta Databricks?
Otimização de Custos - Embora eu aprecie as informações detalhadas de faturamento fornecidas, prever custos para grandes projetos ou ambientes compartilhados ainda pode parecer opaco. Muitas equipes lutam para controlar custos descontrolados de clusters ociosos ou configurações subótimas. A introdução de escalonamento automático mais inteligente e recomendações adaptadas às nossas cargas de trabalho seria inestimável. Por exemplo, alertas para "clusters ociosos" ou "pontos críticos de custo" em nosso ambiente poderiam proativamente economizar orçamentos e melhorar a eficiência.
Governança e Segurança Simplificadas - Gerenciar o acesso em níveis detalhados pode ser complicado. Por exemplo, controlar quem pode visualizar versus quem pode executar um notebook ou trabalho muitas vezes requer soluções alternativas. Logs de auditoria são excelentes, mas dar sentido a eles para obter insights acionáveis às vezes parece resolver um quebra-cabeça. Controles de acesso baseados em atributos (ABAC) aprimorados e controles mais intuitivos baseados em interface de usuário para gerenciamento de permissões simplificariam muito as operações.
Experiência do Usuário - A interface colaborativa de notebooks é uma das características de destaque do Databricks, mas há áreas onde poderia ser mais suave. A colaboração às vezes é prejudicada quando dois usuários editam o mesmo notebook. O controle de versão parece básico em comparação com sistemas baseados em Git. Depurar dentro de notebooks, especialmente para cargas de trabalho não Python, poderia ter melhorias significativas. Adicionar comentários inline, ferramentas de resolução de conflitos e recursos robustos de depuração elevaria a plataforma para o próximo nível. Um feed de atividades em nível de espaço de trabalho para mostrar o que está acontecendo em projetos compartilhados também seria imensamente útil.
Automação de Fluxo de Trabalho - Incluir insights impulsionados por IA para otimizar fluxos de trabalho (por exemplo, identificar gargalos ou ineficiências). Permitir integração mais fácil com ferramentas externas de automação de fluxo de trabalho. Análise coletada por e hospedada no G2.com.
