Avaliações e Detalhes do Produto de Spark

Eu usei o Spark para processamento de dados, a coisa que eu mais gosto é a velocidade, ele processa uma enorme quantidade de dados devido à computação em memória, que é muito melhor em comparação com o Hadoop MapReduce. Análise coletada por e hospedada no G2.com.

A coisa que eu não gosto no Spark é que o custo de infraestrutura é muito alto quando se trata de executar os dados em um ambiente de cluster. Análise coletada por e hospedada no G2.com.

A velocidade do Spark

A funcionalidade de integração do Spark com softwares personalizados, com outras ferramentas.

A facilidade de uso e adaptabilidade do usuário. Análise coletada por e hospedada no G2.com.

Nenhum sistema de arquivos para gerenciar.

Funções/algoritmos limitados. Análise coletada por e hospedada no G2.com.

Eu amo a velocidade do processamento de dados. Também o imenso ecossistema de integração com APIs e a enorme quantidade de otimização na memória que podemos alcançar através disso. É muito fácil de usar e implementar com abordagens versáteis de processamento de dados que podemos alcançar através disso e também o suporte ao cliente com a ajuda da comunidade é ótimo! Análise coletada por e hospedada no G2.com.

Requer uma curva de aprendizado acentuada, pois pessoas não técnicas ou iniciantes podem achá-lo muito complexo. Quando a complexidade dos dados é enorme, é difícil depurar e encontrar erros nos grandes volumes de dados processados. Não é adequado para o processamento de pequenos dados. Análise coletada por e hospedada no G2.com.

Integração com linguagens de script poderosas (Python, Scala e Java). Consumo de arquivos de datastore Apache disponíveis para desenvolver modelos de ML e implantação rápida em produção. Integração com Knime proporcionou desenvolvimento sem código de pipelines ETL, e a fusão com datastores Apache nos permitiu educar rapidamente o talento tradicional (baseado em SQL e Excel) para construir insights de dados robustos. A integração da plataforma Knime com Spark não exigiu poder computacional adicional, pois realizou todo o processamento na infraestrutura Spark. Análise coletada por e hospedada no G2.com.

Fora da caixa, o Spark tem menos algoritmos para modelos de ML, mas podemos estender com outras linguagens de programação, o que envolve esforço adicional ao implementar com o Knime. Análise coletada por e hospedada no G2.com.

1. Eu realmente gosto do conceito de RDD no Spark, pois são imutáveis.

2. O Spark fornece muitos UDFs do sistema (prontos para uso) para trabalhar.

3. Podemos facilmente depurar um problema do Spark verificando a linhagem na interface do usuário do Spark. Análise coletada por e hospedada no G2.com.

1. Às vezes, erros de falta de memória no Spark tornam-se muito frequentes, e um comando SIGKILL é invocado sem qualquer rastreamento de pilha adequado pelo Spark. Dessa forma, torna-se muito difícil depurar um trabalho do Spark. Análise coletada por e hospedada no G2.com.

Spark torna possível o processamento de conjuntos de dados muito grandes e também lida com esses conjuntos de dados de maneira bastante rápida.

Spark parece ser um software que avança rapidamente.

Spark é um dos softwares em tendência nos últimos tempos.

É um ótimo mecanismo de computação para resolver lógicas complexas. Análise coletada por e hospedada no G2.com.

Spark parece ser um pouco lento em dados amplos.

Spark carece um pouco em apoiar seus usuários.

Spark precisa de alguma capacidade avançada para entender e estruturar a modelagem de big data. Análise coletada por e hospedada no G2.com.

-Incorpora com linguagens de script poderosas.

-O processamento de dados é significativamente mais rápido do que o sistema convencional de Big Data do Hadoop devido aos seus cálculos em memória e várias outras otimizações. Análise coletada por e hospedada no G2.com.

Pode haver erros de Falta de Memória como resultado de cálculos na Memória. O tempo de execução da consulta é um pouco alto, no entanto, é esperado, mas pode ser otimizado até certos níveis. Análise coletada por e hospedada no G2.com.

In memory processing is mostly liked thing. Also directly we can use dataframes which makes it very developer friendly. Also streaming part I liked very much... Análise coletada por e hospedada no G2.com.

There is nothing as such in my opinion which can be disliked. Análise coletada por e hospedada no G2.com.

Spark's in-memory computations makes it suparfast over traditional Map-Reduce jobs.

Also spark has capacity to not just read from hdfs but also from any storage. Spark streaming is best for streaming applications.

Dataframes are also the best part of spark. Análise coletada por e hospedada no G2.com.

There is nothing as such to dislike about spark. Análise coletada por e hospedada no G2.com.

Em memória, níveis de computação e armazenamento

GRAPHX e sparkmlib para executar trabalhos de ML em ambiente distribuído

Suporte para múltiplas linguagens Análise coletada por e hospedada no G2.com.

Problemas de desempenho para UDFs não Scala

Não é possível auto-otimizar a assimetria Análise coletada por e hospedada no G2.com.