Prós e Contras de Databricks Data Intelligence Platform

Como engenheiro de dados que tem trabalhado com Databricks nos últimos dois anos, posso dizer honestamente que a plataforma transformou completamente a maneira como abordamos projetos de engenharia de dados. Antes do Databricks, eu e minha equipe frequentemente enfrentávamos desafios com o gerenciamento de grandes conjuntos de dados e garantindo uma colaboração suave entre engenheiros de dados e cientistas de dados. Havia momentos em que os fluxos de trabalho pareciam desconexos, e solucionar problemas em diferentes ferramentas consumia muito do nosso tempo.

Databricks mudou tudo isso. O recurso de notebooks colaborativos, em particular, foi revolucionário. Agora posso trabalhar perfeitamente com cientistas de dados em tempo real, solucionando problemas e iterando em soluções muito mais rápido. Por exemplo, durante um projeto recente, conseguimos refinar um modelo de aprendizado de máquina em poucos dias, graças à capacidade de compartilhar notebooks facilmente e executar experimentos rapidamente juntos. Esse nível de colaboração costumava levar semanas com ferramentas anteriores.

O recurso de auto-escalonamento tem sido um salva-vidas. Lembro-me vividamente de lutar com problemas de desempenho ao processar grandes conjuntos de dados em nossa infraestrutura antiga. Agora, o Databricks ajusta automaticamente os recursos com base na carga de trabalho, então nunca precisamos nos preocupar em gerenciar poder de computação. Isso reduziu drasticamente os tempos de processamento. Por exemplo, um trabalho de transformação de dados que costumava levar horas agora termina em uma fração do tempo, permitindo-nos entregar projetos mais rapidamente.

O Delta Lake também tem sido inestimável. Antes de começarmos a usá-lo, a consistência e a qualidade dos dados eram preocupações constantes, especialmente ao lidar com fontes de dados grandes e variadas. Agora, com o Delta Lake, podemos confiar que nossos dados não são apenas de alta qualidade, mas também facilmente acessíveis e consultáveis. Um exemplo particular foi quando tivemos que reconstruir um pipeline de conjunto de dados complexo. O Delta Lake nos permitiu trabalhar com atualizações de dados incrementais, tornando o processo muito mais eficiente e confiável.

Em suma, o Databricks reduziu muito o tempo de desenvolvimento e melhorou a qualidade geral de nossas entregas. Ajudou-me a simplificar fluxos de trabalho complexos, melhorar a colaboração entre equipes e, mais importante, entregar soluções orientadas por dados mais rapidamente e com maior confiança. Análise coletada por e hospedada no G2.com.

Otimização de Custos - Embora eu aprecie as informações detalhadas de faturamento fornecidas, prever custos para grandes projetos ou ambientes compartilhados ainda pode parecer opaco. Muitas equipes lutam para controlar custos descontrolados de clusters ociosos ou configurações subótimas. A introdução de escalonamento automático mais inteligente e recomendações adaptadas às nossas cargas de trabalho seria inestimável. Por exemplo, alertas para "clusters ociosos" ou "pontos críticos de custo" em nosso ambiente poderiam proativamente economizar orçamentos e melhorar a eficiência.

Governança e Segurança Simplificadas - Gerenciar o acesso em níveis detalhados pode ser complicado. Por exemplo, controlar quem pode visualizar versus quem pode executar um notebook ou trabalho muitas vezes requer soluções alternativas. Logs de auditoria são excelentes, mas dar sentido a eles para obter insights acionáveis às vezes parece resolver um quebra-cabeça. Controles de acesso baseados em atributos (ABAC) aprimorados e controles mais intuitivos baseados em interface de usuário para gerenciamento de permissões simplificariam muito as operações.

Experiência do Usuário - A interface colaborativa de notebooks é uma das características de destaque do Databricks, mas há áreas onde poderia ser mais suave. A colaboração às vezes é prejudicada quando dois usuários editam o mesmo notebook. O controle de versão parece básico em comparação com sistemas baseados em Git. Depurar dentro de notebooks, especialmente para cargas de trabalho não Python, poderia ter melhorias significativas. Adicionar comentários inline, ferramentas de resolução de conflitos e recursos robustos de depuração elevaria a plataforma para o próximo nível. Um feed de atividades em nível de espaço de trabalho para mostrar o que está acontecendo em projetos compartilhados também seria imensamente útil.

Automação de Fluxo de Trabalho - Incluir insights impulsionados por IA para otimizar fluxos de trabalho (por exemplo, identificar gargalos ou ineficiências). Permitir integração mais fácil com ferramentas externas de automação de fluxo de trabalho. Análise coletada por e hospedada no G2.com.

A inteligência de dados do Databricks é realmente rápida e pode lidar facilmente com grandes quantidades de dados, você pode executar consultas SQL complexas em grandes conjuntos de dados em segundos sem precisar se preocupar com o gerenciamento de servidores ou infraestrutura, tudo é cuidado para você, como manutenção e backups, então você não precisa pensar nisso também. Também funciona perfeitamente com outras partes do Databricks, facilitando a construção de fluxos de trabalho de software e pipelines de dados para analisar e gerenciar seus dados. Análise coletada por e hospedada no G2.com.

Databricks pode ser difícil para iniciantes, se eles não souberem Sql. também pode se tornar caro e complicado para muitos usuários. Análise coletada por e hospedada no G2.com.

A plataforma de inteligência Databricks fornece uma plataforma comum para ETL, relatórios e IA. Ajuda o usuário a monitorar toda a linhagem de dados com a ajuda do Unity Catalog, que pode ser usado para criar relatórios de auditoria a nível de conta. Além disso, o Databricks Genie ajuda o usuário a consultar diretamente as tabelas com palavras simples em inglês. Análise coletada por e hospedada no G2.com.

No geral, é bom para Engenheiros de Dados, Engenheiros de ML e Analistas, mas precisa trabalhar na parte do fluxo de trabalho que pode ser mais robusta e rica em recursos. Análise coletada por e hospedada no G2.com.

Eu realmente gosto do Databricks Genie, ele me ajuda a identificar o erro e dá sugestões para resolvê-lo. Além disso, se eu pedir para melhorar o código atual para um desempenho mais rápido, as sugestões do Genie são úteis. Ele ajuda a implementar a lógica ETL de maneira eficiente. Análise coletada por e hospedada no G2.com.

A maioria dos recursos que eu uso são úteis, mas algumas funcionalidades de SQL não são suportadas, como atualizar tabela usando join. Análise coletada por e hospedada no G2.com.

- It has an excellent connection with the MLFlow system which guarantees that our clients have access to creation, management, monitoring and progress in Machine Learning.

- It offers professional processes to manage the clients infrastructure and manage all the clusters, all this can be done from the cloud and saves time in collecting data from the clusters.

- We can link several data sources perfectly and simultaneously, this helps collect all the data of our clients in a safe and automated manner, without going through complex data registration process, we can collect a large volume of data easily. Análise coletada por e hospedada no G2.com.

Databricks never gave us any type of negative experience, at all times it was able to offer management, data storage and collection of large volumes of data. With Databricks, our MSP-type functions have improved and have never had any failures collecting all the data of our clients who access IT services. Análise coletada por e hospedada no G2.com.

A interface do usuário é muito fácil de usar e simples do Databricks, e a navegação também é simples, o que ajuda a fazer as coisas rapidamente. Análise coletada por e hospedada no G2.com.

O suporte ao cliente precisa melhorar e eles precisam recrutar pessoas em sua equipe da Ásia para superar o problema de idioma regional. Análise coletada por e hospedada no G2.com.

Gosto da maneira como o Databricks faz a gestão de dados, tudo em um só lugar. O que ele faz é unir os engenheiros de dados e os cientistas de dados na mesma plataforma para colaborar e resolver problemas rapidamente. A escalabilidade tornou-se sem esforço graças à integração com ferramentas como AWS, assim como acompanhar o progresso nas anotações continua a nos manter todos na mesma página nas anotações. Isso ajudou a remover problemas de comunicação e ajudou a cuidar das coisas mais rapidamente. Análise coletada por e hospedada no G2.com.

Databricks tem uma desvantagem e essa é a curva de aprendizado, especialmente para pessoas que querem começar com uma configuração mais complexa. Passamos algum tempo solucionando problemas na configuração, e não é a mais fácil para começar. O modelo de precificação também é um pouco obscuro, então não é tão fácil prever o custo à medida que seu uso aumenta. Às vezes, isso levou a algumas despesas imprevistas que poderíamos ter cortado se tivéssemos uma melhor visibilidade dos custos. Análise coletada por e hospedada no G2.com.

Databricks has the great ability to handle streaming data and integrate with Kafka. This is an essential feature for our organisation as we used Databricks to enhance our real time fraud detection system in the financial service sector. This has improved security and reduced fraud activities. The real time processing capabilities were also a crucial feature for our use case. Databricks also support multiple languages development, which is a key benefit for our organisation as we have both Python and Scala developers. Análise coletada por e hospedada no G2.com.

During a critical phase of the project, we faced few challenges while optimising our Spark jobs. The user interface for cluster management could be improved, as we occasionally face delays when scaling clusters to handle large workloads. Análise coletada por e hospedada no G2.com.

My team recently used Databricks to implement a machine learning model for fraud detection. We used the Delta Lake for data preprocessing and insured real time updates from our database. One of the most helpful features in Databricks is the Delta Lake functionality, which ensures data consistency. The platform supports both Python and SQL, which fills the cap between Data engineers and Analysts. This makes it easy for teams to collaborate. Customer support is another highlight as they respond quickly and provide clear guidance. Análise coletada por e hospedada no G2.com.

While integrating Databricks with our existing Azure Data Lake, we faced issues syncing access permissions for multiple datasets. Additionally, their pricing models makes it better suited for large organisations, but for smaller teams scaling up can be expensive. Análise coletada por e hospedada no G2.com.

One thing that strikes me about Databricks is the fact that the platform offers robust methodologies for working with big data while maintaining tremendously high efficiency. I also like how it can be set up to work with multiple jobs at once and is highly beneficial for working on different kinds of datasets in parallel. The integrated collaboration tools enable multiple authors to edit a given document simultaneously hence enhancing the flow of information in the team. Análise coletada por e hospedada no G2.com.

The issue that Databricks could address is the insufficient tools for identifying and addressing problems. While the platform is useful, it’s sometimes not clear where errors lie, meaning that faults might not be as easy to identify. It can result in further time consumed in error analysis in large processes arrangements since these classifications are vague. At times it seems as though there is great strain to searc original solutions thereby slowing the process. Análise coletada por e hospedada no G2.com.