Prós e Contras de Test IO

Test.io has allowed us to rollout new site features with confidence, knowing that they've been seen by an international audience using dozens of different devices, platforms, etc. We no longer have to maintain a test bank of desktop and mobile devices ourselves. Análise coletada por e hospedada no G2.com.

Occasionally, we will get duplicate reports of the same issue by multiple testers. However, the benefits of this service FAR outweigh this minor inconvenience. Análise coletada por e hospedada no G2.com.

É uma maneira fácil de obter visibilidade em todas as plataformas e dispositivos. Muitas vezes, encontramos bugs em áreas do aplicativo que nós mesmos testamos. Análise coletada por e hospedada no G2.com.

É difícil se comunicar diretamente com os testadores para obter mais informações sobre como reproduzir um problema, mas os líderes de equipe são muito responsivos. Análise coletada por e hospedada no G2.com.

That it can be scheduled in advance and at the needed time. It helps with planning needs and roadmap.

Different types of tests.

An additional fresh view of the product from the non-team members. Análise coletada por e hospedada no G2.com.

Sometimes I need to run some urgent tests but cannot because my test draft should be first reviewed and I can be sending it not at a very convenient time for the Test.io.

I am talking mostly regarding very late evening or night tests. Would be nice to have some type of express tests maybe, which can be launched quicker and at any time. Análise coletada por e hospedada no G2.com.

Capacidade de agendar testes. Eu também gosto da interface do usuário e da capacidade de criar histórias. Análise coletada por e hospedada no G2.com.

Sem desvantagens no momento. Nossa equipe se sente mais confiante para implantar mudanças após a conclusão dos testes pelo test io. Análise coletada por e hospedada no G2.com.

Fácil de usar e treinar outros na equipe Análise coletada por e hospedada no G2.com.

Falta de largura de banda para usar a ferramenta completamente. Análise coletada por e hospedada no G2.com.

A equipe de crowd-sourcing forneceu algumas percepções interessantes sobre o desempenho da nossa plataforma em muitos dispositivos e navegadores. Também revelou alguns problemas que passaram despercebidos pela nossa equipe de QA em navegadores menos usados. Eu geralmente gostei de como os bugs foram deduplicados e curados para que muito do ruído fosse eliminado. Eles fornecem uma plataforma fácil de usar e excelente treinamento e atendimento ao cliente. Eles estavam dispostos a trabalhar conosco para que pudéssemos utilizá-los sem ter que sobrecarregar nossos recursos já limitados e em nosso ambiente de teste. Análise coletada por e hospedada no G2.com.

Apesar de um excelente trabalho de curadoria e algumas boas capturas de bugs, a maioria das submissões eram opiniões e não bugs ou problemas de usabilidade. A outra questão é que, após um envolvimento anterior bem-sucedido, tentamos reengajar para testes de usabilidade, mas os preços deles subiram muito. Análise coletada por e hospedada no G2.com.

1. Fantastic customer service

2. Speed of testing

3. Exploratory testing Análise coletada por e hospedada no G2.com.

1. Managed testing services pricing did not drive enough value for our organization

2. Contractual agreement that can't be altered, even if needs change

3. Lowest cost option was only for exploratory testing & we needed regression testing

4. Pricing bucket for managed testing services, did not fit needs Análise coletada por e hospedada no G2.com.

- experiência do usuário da interface do usuário em geral

- variedade de dispositivos de teste utilizados

- criatividade dos testadores do test.io

- testadores entenderam meu produto sem precisar explicar muito

- qualidade dos relatórios de bugs

- exportar relatórios de bugs via API para os sistemas de tickets mais populares, incluindo capturas de tela e vídeos

- tempos de resposta rápidos dos gerentes de contas principais Análise coletada por e hospedada no G2.com.

- alguns relatórios de bugs são muito exigentes

- o gerenciamento de bugs conhecidos é complicado Análise coletada por e hospedada no G2.com.

A equipe do TestIO é muito cooperativa e fez um ótimo trabalho ao configurar o PoC para nós. Os testadores prestam atenção aos detalhes e encontram alguns dos bugs que não eram fáceis de encontrar. Os testadores anexam instruções detalhadas em seus relatórios de bugs, incluindo dispositivos, etapas para reproduzir, gravação de vídeo dos problemas encontrados. Test.io é fácil de configurar e com integração fácil com o JIRA, a maioria dos gerentes de produto e engenheiros nunca precisa realmente fazer login na plataforma test.io para verificar o problema. Análise coletada por e hospedada no G2.com.

Os testadores vêm de uma formação não técnica, o que é tanto bom quanto ruim. Às vezes é ruim porque eles não têm configuração para invocar APIs REST simples e, assim, alguns dos fluxos dos clientes permanecem não testados. Da lista de funcionalidades que fornecemos, eles conseguiram testar apenas 50% das funcionalidades na maioria das vezes porque não conseguiram prosseguir. Análise coletada por e hospedada no G2.com.

Gosto de ter muitos testadores executando o teste ao mesmo tempo em diferentes dispositivos e navegadores. Análise coletada por e hospedada no G2.com.

Parar de executar casos de teste quando você agenda um teste Análise coletada por e hospedada no G2.com.