Avaliações e Detalhes do Produto de WhyLabs

The core functionality is explicitly important when you are having AI/ML solutions running on production. Instead of spending time on manual checks (that can be prone to error) you can set up monitors to inform you if something is going wrong. It is flexible enough to build your cusotm metric and monitors which allows for versatile usage.

What is highly important to me is the contact with WhyLabs team. Their support is superb which results in fact that even if something is difficult to implement, I know I have people who will help me get the best out of the platform. Análise coletada por e hospedada no G2.com.

Building custom monitors and metrics is a chellanging experience. I struggle sometimes with code issues so better FAQ or documentation could be helpfull to avoid them. Análise coletada por e hospedada no G2.com.

* The customer support is very helpful and proactive

* Tool allows for easy ingestion of big number of features and setting up initial monitoring on them

* We can use it to monitor both: input quality and model performance

* The alerts can be raised to specific group of users via specific channels (email/slack), which is helpful Análise coletada por e hospedada no G2.com.

* It can be challenging to setup the monitoring in the correct way when it comes to sensitivty - it requires a lot of trial and error

* Some actions are not possible via UI and require specific API calls

* Documentation can be hard to navigate Análise coletada por e hospedada no G2.com.

Ótimo para colaborar; muito responsivo; realmente aprecio seus OHs para ajudar com problemas que surgem; muitas soluções inovadoras para diferentes tipos de modelos de ML que realmente nos ajudaram, dada a ampla variedade de modelos de ML que executamos na empresa. Análise coletada por e hospedada no G2.com.

Nada de importante a mencionar! Resolvemos tudo e a equipe foi muito prestativa. Análise coletada por e hospedada no G2.com.

O principal aspecto que se destacou para nós foi a facilidade de integração. Foi bastante simples, quase igual ao código de exemplo para colocar o LangKit em nosso pipeline de LLM e carregá-lo no WhyLabs. A documentação de introdução foi clara e concisa. Mesmo para empresas com recursos limitados como a nossa, o WhyLabs AI Observatory prova ser uma solução acessível e facilmente adaptável. Análise coletada por e hospedada no G2.com.

As ferramentas de visualização de dados são altamente capazes, embora haja uma curva de aprendizado para dominá-las. No entanto, a equipe de sucesso e suporte ao cliente é responsiva, prestativa e tem consistentemente superado as expectativas para garantir que utilizemos a plataforma em todo o seu potencial. Análise coletada por e hospedada no G2.com.

WhyLabs is the second observability platform I have ever used, and I can say the core features I like about the platform is that it is easy to set up and implement the features, the checks and metrics were already pre-loaded so I did not need to do much in configuring the application, and monitoring was not difficult to get started with. It also integrates well with the serving and data libraries we used for the production tutorial setup. Análise coletada por e hospedada no G2.com.

Nothing so far, I only experienced a stability issues once (sometime in 2022), but support was able to help me quickly fix it. Análise coletada por e hospedada no G2.com.

Usei o WhyLabs por algumas semanas e fiquei extremamente satisfeito com ele! Vou avaliar algumas dimensões da ferramenta que resumem minha experiência com ela.

Ingestão de Dados Fácil:

A API de ingestão é simples de usar e suporta múltiplos conectores, como BigQuery, Databricks e Spark, facilitando a importação de dados. O uso de Data Profiling pelo Whylabs garante um processamento de dados rápido e seguro, eliminando a necessidade de carregar conjuntos de dados inteiros, tornando todo o processo muito seguro, já que seus dados não saem dos seus servidores.

Recursos de Dados Confiáveis:

O Whylabs entrega todas as métricas padrão de recursos com precisão. Rastrear deriva de dados e modelos é muito simples usando Monitores. Além disso, a plataforma suporta a criação de métricas personalizadas durante ou após a ingestão. Agrupar por variáveis (segmentos) funciona bem, mas deve ser definido durante a ingestão. Então, você pode analisar os recursos do conjunto de dados e rastrear o desempenho do modelo por segmento.

Monitores Flexíveis:

O sistema de monitoramento no Whylabs é altamente adaptável e fácil de usar, cobrindo múltiplas variáveis com facilidade. Monitores são fáceis de configurar via UI ou importação JSON, com notificações resumidas para cada monitor, mantendo os usuários informados sem sobrecarregá-los. Além disso, os monitores são serializáveis em JSON, o que é muito útil, pois você pode rastreá-los com controle de versão.

Usabilidade Amigável:

O Whylabs tem uma interface limpa e intuitiva, simplificando a navegação para os usuários. Embora alguns recursos avançados possam exigir conhecimento de programação, a maioria das tarefas pode ser realizada dentro da UI. Graças ao data profiling, o Whylabs oferece um desempenho rápido sem comprometer a precisão.

Documentação Sólida:

A documentação fornecida pelo Whylabs é abrangente e fácil de entender, permitindo que os usuários aproveitem ao máximo a plataforma.

Preços:

É simplesmente mais barato que a concorrência, enquanto possui recursos de primeira linha.

Suporte ao Cliente:

Eles são sempre muito prestativos, respondendo a todas as nossas perguntas e realizando várias chamadas nos mostrando diferentes casos de uso diretamente na plataforma.

No geral, o Whylabs oferece uma solução direta, eficiente e acessível para monitorar modelos de Machine Learning, com fácil ingestão de dados, análise de recursos confiável e opções de monitoramento flexíveis. Análise coletada por e hospedada no G2.com.

Há algumas desvantagens:

- Os painéis estão em beta e, embora funcionais, carecem de refinamento em termos de interface do usuário. Eles estão trabalhando ativamente nisso, então provavelmente alguns meses após esta revisão isso já pode estar corrigido.

- Definir agrupamentos por variáveis deve ser feito no momento da ingestão, limitando a flexibilidade para análise pós-ingestão.

Dito isso, eles são muito abertos a feedbacks e podem mudar ou adicionar funcionalidades com base nas suas necessidades. No nosso caso, os painéis eram importantes e eles estão trabalhando neles. Análise coletada por e hospedada no G2.com.

Minha experiência com a Plataforma WhyLabs foi esclarecedora, oferecendo insights intuitivos sobre o comportamento de modelos de IA e aprimorando meu entendimento sobre a observabilidade de IA. A melhor parte da interface é sua interface amigável e o conjunto abrangente de análises que fornecem insights valiosos sobre o comportamento de modelos de IA e que também possibilitam um painel para monitoramento de dados, características do modelo. Também facilita o monitoramento em tempo real, aprimorando, em última análise, a eficiência dos processos de desenvolvimento de IA. Além disso, oferece a flexibilidade de personalizar as características do modelo conforme a necessidade do projeto. Análise coletada por e hospedada no G2.com.

Poucas opções avançadas de personalização para análises não estão disponíveis no momento, mas conforme informado, estarão disponíveis em breve como uma atualização na plataforma. Assim, isso resolve a desvantagem no futuro. Análise coletada por e hospedada no G2.com.

WhyLabs is so useful for debugging, maintaining, and developing production ML systems. It's portable, highly configurable, and provides unified visibility across a broad range of systems/services in a production ML ecosystem. It dramatically improves ML devops and is incredibly easy to get started. It integrates very easily with all the systems I've used, implementation is a breeze, and there's very low friction to get started. I've caught tons of issues using it. Análise coletada por e hospedada no G2.com.

I don't really have any complaints about it, it does its thing incredibly well for my use cases. Análise coletada por e hospedada no G2.com.

The UI is very user friendly and the support team is extremely responsive and helpful. Análise coletada por e hospedada no G2.com.

Some features such as deleting a profile or changing the data type of a feature can only be done through the API. Análise coletada por e hospedada no G2.com.

I like the privacy preserving solutions for scaling AI models. I like that WhyLabs offer responsive support and detailed documentation. Análise coletada por e hospedada no G2.com.

I dislike that the platform might be overly technical for users who are not well-versed in AI or data science Análise coletada por e hospedada no G2.com.