A experiência de plataforma unificada é o que me mantém no Databricks. Ter notebooks, pipelines, armazéns SQL, ML e governança tudo em um só lugar sob o Unity Catalog significa que não estou constantemente juntando cinco ferramentas diferentes apenas para realizar o trabalho.

Os Lakeflow Pipelines (anteriormente DLT) tornam simples a construção de pipelines de arquitetura medallion, e o motor Photon oferece ganhos reais de desempenho em cargas de trabalho SQL sem exigir alterações no código. Adições recentes como o Genie Code e agentes em segundo plano também mostram que eles estão sérios sobre IA agentiva—não parece um copiloto acoplado, porque ele pode realmente entender o contexto dos seus dados através do Unity Catalog. A computação sem servidor tem sido outra grande melhoria na qualidade de vida também, já que não preciso mais esperar pela inicialização do cluster quando só quero executar consultas rápidas e ad hoc. Análise coletada por e hospedada no G2.com.

A gestão de custos pode ser complicada—os DBUs se acumulam rapidamente se você não for cuidadoso com o dimensionamento de clusters e a auto-escalabilidade de armazéns. O modelo de preços também nem sempre é transparente, especialmente quando você está misturando computação sem servidor e clássica.

O Unity Catalog é poderoso, mas a configuração inicial e a migração do HMS legado podem ser dolorosas, particularmente para grandes organizações com anos de objetos de metastore Hive existentes. A documentação é geralmente boa, mas às vezes fica atrás dos novos lançamentos de recursos. Além disso, a interface do usuário do workspace pode parecer lenta às vezes, especialmente quando você está trabalhando com um grande número de ativos. Análise coletada por e hospedada no G2.com.

Databricks é, sem dúvida, minha plataforma favorita para engenharia de dados porque reúne tudo em um só lugar: processamento Spark, Delta Lake e ferramentas de ML funcionam bem juntos sem as dores de cabeça habituais. Os clusters de auto-escalonamento economizam muito tempo em grandes trabalhos de ETL, como as integrações SAP que fiz, permitindo-me focar na lógica em vez de ficar monitorando recursos. O Unity Catalog também foi um divisor de águas para a governança em nossas configurações de lakehouse. Análise coletada por e hospedada no G2.com.

Os custos podem aumentar rapidamente se você não estiver monitorando o uso de perto, especialmente com recursos premium em grandes pipelines. Os notebooks são ótimos para prototipagem, mas ficam confusos em produção sem uma disciplina rigorosa. A configuração para coisas avançadas, como políticas personalizadas do Unity Catalog, às vezes parece excessivamente complexa para o que oferece. Análise coletada por e hospedada no G2.com.

A plataforma tudo-em-um elimina a dispersão de ferramentas. O Unity Catalog oferece governança, linhagem e capacidade de descoberta sem a necessidade de anexar um catálogo separado. A interface do notebook é limpa e facilita a iteração no PySpark. O Genie é o recurso de IA de destaque, transformando tabelas curadas em interfaces de linguagem natural para usuários de negócios, e o SDK permite configurá-lo programaticamente para que permaneça sustentável. O DLT lida bem com a orquestração de pipelines. O desempenho em cargas de trabalho Spark é sólido, especialmente com o Photon. As integrações com Airflow, S3 e o ecossistema mais amplo são diretas. Em termos de ROI, consolidar o que antes exigia várias ferramentas em uma única plataforma se paga pela redução da complexidade. Análise coletada por e hospedada no G2.com.

Prever preços pode ser difícil. Os custos de computação escalam rapidamente se você não for cuidadoso com o dimensionamento do cluster e a seleção de SKU, e nem sempre é óbvio qual nível de carga de trabalho você realmente precisa até ver a conta. O IDE do notebook, embora funcional, ainda fica atrás de um editor real para refatoração, navegação entre vários arquivos e fluxos de trabalho de revisão de código. Análise coletada por e hospedada no G2.com.

O código Genie e o Assistente inline foram as ferramentas mais úteis para mim no meu projeto. Eles me ajudaram a depurar uma base de código de 2 mil linhas e explicaram claramente por que eu não estava obtendo dados precisos. Também forneceu uma consulta para executar no meu sistema de origem (SQLMI). Ao executar o script de discrepância em paralelo na origem e no destino, consegui depurar todo o código muito mais rápido e melhorar minha produtividade. No geral, reduziu meu tempo de trabalho de cerca de 8 horas para cerca de 1 hora. Análise coletada por e hospedada no G2.com.

No Delta Sharing, não há permissão de SELECT a nível de catálogo, e às vezes acho que ter isso seria útil. Além disso, quando uso o código Genie dentro de uma VM, ele pode tornar o site não responsivo em alguns momentos. Estas são áreas que poderiam ser melhoradas. Análise coletada por e hospedada no G2.com.

O que mais gosto no Databricks é como suas funcionalidades têm consistentemente correspondido às necessidades em evolução das equipes de engenharia. Ao longo dos anos, vi a plataforma crescer de um sólido sistema de dados para um espaço de trabalho que realmente simplifica como construímos e gerenciamos soluções de dados e IA. O Unity Catalog tem sido uma das maiores melhorias para nós, ter um único lugar para gerenciar permissões e linhagem removeu muitos passos manuais que costumávamos lidar separadamente em diferentes sistemas. O Genie AI e BI também se tornaram parte do meu fluxo de trabalho regular; poder gerar SQL ou explorar conjuntos de dados através de conversas naturais ajuda as equipes a chegarem a respostas mais rapidamente, especialmente quando estamos sob pressão de tempo. A capacidade de Apps adicionou um valor inesperado ao nos permitir criar e compartilhar ferramentas internas simplificadas diretamente na plataforma, eliminando a necessidade de configurar infraestrutura extra. E com o Lakebase, conseguimos suportar mais casos de uso de estilo transacional sem perder a flexibilidade de um lago, o que tornou certas pipelines muito mais fáceis de manter. No conjunto, essas melhorias removeram muita fricção do trabalho diário e tornaram a plataforma algo que realmente gosto de usar à medida que continua a evoluir. Análise coletada por e hospedada no G2.com.

O que eu não gosto no Databricks é que algumas das experiências mais recentes de IA, especialmente o Genie para geração de código, podem parecer instáveis às vezes e podem perder o contexto durante sessões de desenvolvimento mais longas. Isso interrompe meu fluxo de trabalho quando o assistente não consegue reter a lógica anterior ou manter a continuidade em várias iterações.

Também notei uma lacuna nos conectores nativos para certos sistemas empresariais, como DFS, compartilhamentos SMB ou sistemas de origem baseados em Windows, e plataformas como DB2 no AS/400, dos quais muitos clientes ainda dependem. Embora o Databricks continue a expandir seu ecossistema, a falta de conectividade direta nessas áreas muitas vezes significa que precisamos de middleware extra ou pipelines personalizados para preencher a lacuna.

Nenhum desses pontos é um fator decisivo, mas são áreas onde a experiência geralmente suave da plataforma ainda pode parecer um pouco incompleta. Análise coletada por e hospedada no G2.com.

Como engenheiro de dados, eu uso o Databricks Genie para interagir com dados em linguagem natural, enquanto ainda dependo das mesmas tabelas governadas, métricas e modelos semânticos que minha equipe construiu. Em vez de pular direto para cadernos SQL para cada consulta exploratória, eu ou usuários de negócios podemos formular perguntas em linguagem simples e deixar o Genie traduzi-las em consultas estruturadas e cientes do catálogo. Isso mantém o autoatendimento rápido, mas também seguro e governado. Análise coletada por e hospedada no G2.com.

Estabilidade do laptop ao multitarefar

Meu laptop pode travar ou ficar visivelmente lento quando estou trabalhando com várias abas e painéis do Genie ao mesmo tempo, especialmente durante consultas mais pesadas ou visualizações mais exigentes. Isso prejudica a experiência geral do usuário e pode retardar o desenvolvimento iterativo e a análise.

Latência com modelos de dados complexos

Com esquemas muito amplos ou modelos semânticos mais complexos, o Genie às vezes seleciona junções subótimas ou um nível de granularidade excessivamente amplo/estreito. Como resultado, ainda preciso revisar o SQL gerado e otimizá-lo eu mesmo. Nesse sentido, ele continua sendo um assistente útil, em vez de um mecanismo de consulta totalmente autônomo. Análise coletada por e hospedada no G2.com.

Eu uso o Databricks para ETL, Relatórios e IA, e aprecio que ele funcione como uma solução unificada para todas as necessidades de dados e IA. Isso facilita o acompanhamento dos dados e a criação de insights, ajudando-nos a lidar com silos de dados. Eu gosto do Unity Catalog, pois nos ajuda a gerenciar e governar dados em um só lugar. Também gosto de usar o AgentBricks como um sistema multiagente para criar aplicações de IA a partir de PDFs e outros documentos. Acho o Genie valioso, pois permite que os usuários de negócios façam perguntas em linguagem natural e obtenham respostas exatas. A configuração inicial do Databricks foi muito fácil, tornando a transição suave. Análise coletada por e hospedada no G2.com.

Acho que o fluxo de trabalho poderia ser melhorado adicionando múltiplos gatilhos ao mesmo pipeline, pois atualmente, se quisermos agendar o mesmo pipeline várias vezes ao dia, temos que cloná-lo para cada horário. Análise coletada por e hospedada no G2.com.

Genie Code (Agente Assistente do Databricks) — Atualmente estou trabalhando na migração de cargas de trabalho existentes do ADF e SQLMI para o Databricks. Como parte disso, preciso converter procedimentos armazenados e fluxos de dados do ADF em notebooks do Databricks. Inicialmente, refatoramos todo o código manualmente, mas uma vez que o Modo Agente estava disponível em pré-visualização, tentamos usá-lo para converter os procedimentos armazenados e fluxos de dados em código PySpark do Databricks. Fiquei impressionado com a precisão: ele lidou com cerca de 90% da conversão de código sem erros, exceto por alguns ajustes de tratamento de casos e similares.

Além disso, o Lakeflow Connect me ajudou a conectar dados do SharePoint e SFTP ao Databricks mais facilmente. Análise coletada por e hospedada no G2.com.

Não é um grande problema, mas no meu projeto o cliente nos pediu para gerar descrições de tabelas e colunas usando IA no Unity Catalog. Para cada ambiente, essas descrições variam, e eu tenho cerca de 300 tabelas apenas na zona Bronze. Ter que clicar em cada tabela e gerar descrições de IA uma por uma é muito demorado, e os resultados não são consistentes entre os ambientes.

Seria muito mais eficiente se tivéssemos uma opção para gerar descrições no nível do esquema, e se houvesse um esquema de informações ou tabelas de sistema que armazenassem descrições de tabelas e colunas como metadados. Dessa forma, poderíamos facilmente replicá-las entre os ambientes. Em alguns casos, os clientes também têm documentação do sistema de origem que poderíamos aproveitar para gerar descrições de tabelas e colunas mais precisas. Análise coletada por e hospedada no G2.com.

O que eu mais gosto no Databricks é como ele finalmente entregou o que todo engenheiro de dados/profissional de dados desejava — uma verdadeira plataforma unificada de análises e IA.

Lembro-me de trabalhar com cinco ferramentas diferentes apenas para obter um único pipeline desde a ingestão até o relatório. O Databricks colapsou tudo isso em um único ambiente, e isso mudou tudo para mim.

O Delta Lake foi o primeiro avanço. Quando chegou por volta de 2020, as transações ACID e o "time-travel" eliminaram imediatamente a dor operacional que costumávamos considerar "normal". Se um trabalho corrompesse uma tabela, eu poderia reverter para uma versão anterior em segundos, em vez de passar horas restaurando backups. Essa confiabilidade por si só evitou múltiplas falhas a jusante.

Antes de o Delta existir, nossos pipelines dependiam fortemente de padrões de sobrescrita porque não havia uma maneira confiável de aplicar atualizações ou lidar com dados que chegavam atrasados de forma segura. As sobrescritas eram lentas, caras e arriscadas — especialmente para tabelas grandes. Uma única falha durante a sobrescrita poderia deixar a tabela em um estado inconsistente e meio escrito. O processamento demorava mais, os custos de computação aumentavam, e a recuperação muitas vezes significava reconstruir manualmente as partições do zero.

O ROI tornou-se óbvio assim que usamos o Databricks de ponta a ponta. Como uma plataforma lida com ingestão → transformação → ML → BI → governança, aposentamos categorias inteiras de ferramentas legadas e reduzimos drasticamente a sobrecarga operacional.

Então o Genie chegou — e transformou genuinamente meu trabalho do dia a dia.

Uma vez precisei de um módulo PySpark para verificações de qualidade de dados. O Genie gerou toda a lógica — verificações de nulos, validação de esquema, agregações — em segundos. Em vez de gastar 30 minutos escrevendo código padrão, passei 3 minutos refinando a lógica. Isso mudou meu foco de sintaxe para decisões.

Integrações são outra força. Conectar o Databricks ao S3, SQL Server e especialmente ao Power BI tem sido tranquilo. Publicar tabelas Delta diretamente em modelos de BI removeu a necessidade de extratos frágeis e acelerou as atualizações. O Unity Catalog tornou tudo ainda mais limpo com permissões e linhagens consistentes.

O desempenho é consistentemente forte quando importa — junções pesadas, funções de janela, pipelines de múltiplos estágios ou cargas de trabalho de streaming. A computação sem servidor começa instantaneamente, e as cargas de trabalho escalam de forma previsível mesmo sob pressão.

Finalmente, o onboarding me surpreendeu. Recursos como computação sem servidor, consultas em linguagem natural, sugestões de código geradas por IA e comentários automáticos tornam o Databricks intuitivo mesmo para engenheiros novos no Spark. Parece que a plataforma ajuda ativamente você a aprender.

Em resumo: o Databricks me permite trabalhar mais rápido, recuperar instantaneamente, integrar-se perfeitamente e escalar com confiança — tudo em um só lugar. É a rara plataforma que melhora tanto a velocidade quanto a confiabilidade ao mesmo tempo. Análise coletada por e hospedada no G2.com.

O que mais me desagrada no Databricks é a visibilidade e previsibilidade dos custos. Mesmo como um engenheiro experiente, pode ser difícil obter uma visão clara e em tempo real do custo de um fluxo de trabalho antes de executá-lo. Photon vs. runtime padrão, comportamento de escalonamento automático, operações pesadas de shuffle, DBUs — tudo isso pode se acumular rapidamente, e surpresas de custo acontecem a menos que você monitore e ajuste tudo ativamente. Uma simples configuração incorreta de pipeline pode dobrar silenciosamente seus gastos.

Outro desafio é o ritmo acelerado de novas funcionalidades e mudanças. O Databricks inova incrivelmente rápido, o que é ótimo, mas também significa que as funcionalidades podem ser lançadas antes que a documentação, as melhores práticas ou os padrões de governança estejam totalmente maduros. Às vezes, a funcionalidade se comporta de maneira diferente entre runtimes ou provedores de nuvem, e manter-se atualizado requer aprendizado contínuo e refatoração. Isso pode criar atrito na equipe e dívida técnica.

Em resumo: o Databricks é excepcional, mas o modelo de custos nem sempre é transparente, e o rápido lançamento de funcionalidades pode introduzir complexidade operacional que as equipes devem gerenciar ativamente. Análise coletada por e hospedada no G2.com.

1) Em nossa implementação, o Genie Space é usado ativamente para permitir o acesso baseado em NLQ em vários produtos de dados como Finanças, RH, Marketing, Vendas e Cadeia de Suprimentos (inventário, planejamento de demanda e reabastecimento), reduzindo a dependência das equipes de dados para consultas ad-hoc.

2) Projetamos Genie Spaces separados para cada BU/equipe/produto de dados, garantindo isolamento em nível de domínio enquanto ainda suportamos consultas interfuncionais quando necessário (por exemplo, junções Finanças + Vendas). Cada Genie Space é cuidadosamente configurado com tabelas de dados curadas, instruções em nível de negócios e contexto semântico, o que melhora significativamente a precisão da geração de SQL.

3) Fornecemos exemplos de poucos disparos, prompts guiados e perguntas de negócios de exemplo adaptadas a cada domínio, ajudando o Genie a entender a intenção real de negócios em vez de padrões de consulta genéricos.

4) No Modo Chat, os usuários de negócios fazem perguntas diretamente em linguagem natural, e o Genie as traduz em SQL e retorna os resultados, o que melhorou a adoção de análises de autoatendimento.

5) No Modo Agente, o Genie vai além da geração de SQL criando um plano de execução lógico, dividindo consultas complexas em várias etapas antes de consultar os dados subjacentes.

6) Construímos um Genie Space dedicado ao Detector de Anomalias, onde os usuários fazem perguntas sobre custo de cluster, problemas de desempenho e cargas de trabalho ineficientes. Este Genie focado em anomalias analisa trabalhos de longa duração, consultas ineficientes e padrões de utilização de cluster, usando dados históricos de carga de trabalho para identificar oportunidades de otimização.

7) Uma implementação chave é a análise em nível de notebook, onde o Genie destaca problemas de código, mostra antes e depois da otimização, categoriza problemas (desempenho, custo, ineficiência) e explica melhorias claramente.

8) O Genie também fornece recomendações quantificadas, incluindo economias de custo esperadas (por exemplo, redução de cluster ocioso, impacto de ajuste de consulta) e estratégias de otimização baseadas em carga de trabalho, tornando-o altamente acionável para equipes de engenharia.

9) Estendemos o Genie para o Genie Code integrado com o Databricks AI Assistant, permitindo uma experiência de desenvolvimento agêncica diretamente dentro de nossos fluxos de trabalho de engenharia de dados. Nossa equipe definiu habilidades personalizadas em Markdown (arquivos MD) como Coder, Tester, Mapper e Data Generator, que são anexadas ao Genie Code para modularizar capacidades. Essas habilidades são usadas para suportar atividades de SDLC de ponta a ponta, incluindo geração de código, criação de lógica de transformação, design de casos de teste e geração de dados sintéticos.

10) O Genie Code opera primeiro criando um plano de execução estruturado, delineando todas as etapas necessárias antes de iniciar qualquer atividade de desenvolvimento. Em seguida, divide o plano em uma lista de tarefas detalhada, executando cada etapa sequencialmente (por exemplo, criar notebook → escrever transformação → validar lógica → otimizar código).

11) Durante a execução, o Genie Code segue um modelo humano-no-loop, pedindo aprovações em cada etapa com opções como permitir uma vez, sempre permitir ou execução somente leitura. O comportamento do Genie Code é controlado através de diretrizes e instruções específicas do projeto, garantindo que ele esteja alinhado com nossos padrões de codificação, padrões de arquitetura e regras de governança.

12) Ele atua como um co-desenvolvedor dentro do espaço de trabalho, auxiliando engenheiros na escrita de código otimizado, validando lógica e garantindo que as melhores práticas sejam seguidas consistentemente. Estamos aproveitando-o para fluxos de trabalho de desenvolvimento proativos, onde o Genie não apenas executa tarefas, mas também sugere melhorias e oportunidades de otimização durante o próprio desenvolvimento. Esta abordagem permitiu um estilo de desenvolvimento "vibe coding", onde os engenheiros se concentram na intenção enquanto o Genie lida com a execução estruturada, resultando em entrega mais rápida, esforço manual reduzido e qualidade geral de código melhorada. Análise coletada por e hospedada no G2.com.

Limitação de contexto em Genie Spaces, também o número de tabelas que podem ser anexadas é 30, se me lembro bem.

O modo de raciocínio do Agente é bom, mas não totalmente autônomo.

Precisamos de melhorias na eficiência de desempenho e reduzir a latência. Análise coletada por e hospedada no G2.com.