Prós e Contras de Google Cloud Dataproc

Estou trabalhando na Mahindra como engenheiro de nuvem, todos os casos de uso que temos na nossa empresa eu trabalharei, como implantar aplicações em instâncias de computação, GKE e passar o serviço para o Cloud Run também. E na parte de análise de dados: usamos o Cloud Composer, BigQuery, DataProc Cluster... como armazenamento usamos o Cloud Spanner, GCS, SQL... no lado da interface e serviço, o Google Cloud está ok. Análise coletada por e hospedada no G2.com.

A interface do Google Cloud para IAM relacionada não é boa, a velocidade também não é boa do lado da rede. A equipe do Google precisa trabalhar na documentação também. A equipe do Google também precisa trabalhar na disponibilidade de instâncias em todas as regiões. Análise coletada por e hospedada no G2.com.

1. A exclusão de clusters ociosos ajuda a economizar custos quando o cluster não está em uso.

2. O dimensionamento automático lida com a carga de pico de forma eficiente.

3. A equipe de suporte do GCP é útil em quaisquer problemas críticos.

4. O suporte à API Java é excelente. A criação de clusters, Data-ETL e exclusão de clusters podem ser realizadas em um único pipeline. Análise coletada por e hospedada no G2.com.

1. A criação de clusters leva alguns minutos, o que não é muito conveniente.

2. Às vezes, o dimensionamento automático não é acionado a tempo e os pipelines falham com o erro de falha do agente do dataproc. Análise coletada por e hospedada no G2.com.

Melhores e mais baratos serviços fornecidos pelo Google Cloud e com melhor escalabilidade e alguns serviços totalmente geridos com a melhor interface de usuário. Análise coletada por e hospedada no G2.com.

Há alguns serviços que precisam de clareza, como algumas configurações que são bloqueadas pelo próprio Google. Análise coletada por e hospedada no G2.com.

That has a lot of services and I especially like the logging. Análise coletada por e hospedada no G2.com.

The documentation can be chaotic and daunting. I sometimes loose myself there. Análise coletada por e hospedada no G2.com.

Uma ótima ferramenta que talvez não seja tão popular quanto o AWS EMR, mas que supera as expectativas. Uma implementação elegante. Análise coletada por e hospedada no G2.com.

Usar o paradigma de Armazenamento e Processamento do GCP pode causar problemas para usuários acostumados com Hadoop on-premise. Análise coletada por e hospedada no G2.com.

Google Cloud DataProc é mais adequado para o seguinte:

Análise de dados de código aberto, gerenciada e escalável

Clusters sem servidor ou gerenciados por você mesmo

Possui boas integrações com outros serviços do GCP

Cluster transitório seguro/custo-efetivo com cobrança por segundo

Ecossistema Hadoop no ambiente gerenciado do GCP

Fácil de migrar as cargas de trabalho Hadoop existentes no local junto com os armazéns Hive. Análise coletada por e hospedada no G2.com.

As desvantagens são as seguintes:

A redução de escala tem problemas de desempenho e outros devido a um período de resfriamento da tarefa pendente.

A opção sem servidor deve ser melhorada com escalonamento baseado em SLA.

Ainda para opções de streaming, opte pelo Dataflow.

Ainda utiliza o Compute Engine, não o GKE (Google Kubernetes Engine).

Armazenar dados persistentes do GCS (HCFS - sistema de arquivos compatível com Hadoop) a partir do Dataproc tem alguma lentidão devido à separação de computação/armazenamento - é nossa opção escolher qual armazenamento para qual processamento.

Possui armazenamento HDFS alocado com cada cluster de nós do Dataproc, mas não é bom para armazenamento local de grandes volumes de dados. Análise coletada por e hospedada no G2.com.

Dev-Ops expertise friendly, É muito fácil de usar.

Ele oferece quase 99,9% de tempo de atividade e velocidade de conexão.

Muita documentação disponível em seu site.

Um usuário normal de site sempre procura soluções baratas.

O Google oferece um serviço de nuvem gratuito de 300 dólares por 1 ano, o que é muito atraente para pequenos usuários de sites.

Estes são muito escaláveis. Análise coletada por e hospedada no G2.com.

Entrada tardia no marketing de Cloud.

Menos recursos e serviços.

Alguns recursos ainda estão na versão Beta.

Menos data centers em todo o mundo. Análise coletada por e hospedada no G2.com.

Que é sem servidor - sem infraestrutura para gerenciar. Grande vitória. Pontos extras por ter Spark (mais APIs), Hive e Hadoop pré-instalados nos clusters. A opcionalidade de lançar clusters de instâncias gerenciadas é bastante agradável de se ter também. Análise coletada por e hospedada no G2.com.

É uma decisão difícil - ou a falta de capacidades de administração e monitoramento empresarial, ou a incapacidade de expandir de forma flexível além do preço fixo de capacidade fixa. Análise coletada por e hospedada no G2.com.

I like the ease of use for building clusters quickly and efficiently. At the same time I can resize them at any moment in time. I have plenty of nodes so that I don't have to be concerned about pipelines outgrowing my clusters. I like how the price is based on actual use, and that they gave me a $300 credit towards my project. Análise coletada por e hospedada no G2.com.

Sometimes it can be not user friendly and clusters can take time to re start. Otherwise I have no other complaints. Análise coletada por e hospedada no G2.com.

The best way to manage Spark and Hadoop service that has been offered on the Google Cloud Platform. Análise coletada por e hospedada no G2.com.

it doesn’t work with custom sources. For the standard computer, it is still the most expensive component Análise coletada por e hospedada no G2.com.