WhyLabs Avantages et Inconvénients

The core functionality is explicitly important when you are having AI/ML solutions running on production. Instead of spending time on manual checks (that can be prone to error) you can set up monitors to inform you if something is going wrong. It is flexible enough to build your cusotm metric and monitors which allows for versatile usage.

What is highly important to me is the contact with WhyLabs team. Their support is superb which results in fact that even if something is difficult to implement, I know I have people who will help me get the best out of the platform. Avis collecté par et hébergé sur G2.com.

Building custom monitors and metrics is a chellanging experience. I struggle sometimes with code issues so better FAQ or documentation could be helpfull to avoid them. Avis collecté par et hébergé sur G2.com.

L'une des caractéristiques remarquables de WhyLabs est ses capacités robustes d'observabilité des données. Il offre une surveillance continue des pipelines de données et des modèles ML, permettant aux équipes d'identifier rapidement des problèmes tels que la dérive des données, la dégradation des modèles et le décalage entre l'entraînement et la mise en production. L'intégration préservant la confidentialité de la plateforme garantit que les données peuvent être analysées sans être déplacées ou dupliquées, ce qui est essentiel pour maintenir la sécurité et la confidentialité dans des secteurs sensibles comme la santé et la finance. Avis collecté par et hébergé sur G2.com.

Un inconvénient potentiel de WhyLabs est le nombre relativement limité d'avis et de retours d'utilisateurs en raison de sa nouveauté sur le marché, ce qui rend plus difficile pour les utilisateurs potentiels d'évaluer ses performances réelles à grande échelle. Ce manque d'avis détaillés peut soulever des préoccupations concernant sa maturité et son infrastructure de support. De plus, étant donné qu'il s'agit d'une plateforme plus récente, certaines fonctionnalités avancées pourraient encore être en développement, et il pourrait y avoir des courbes d'apprentissage abruptes pour les équipes peu familières avec les outils d'observabilité en apprentissage automatique. Avis collecté par et hébergé sur G2.com.

* The customer support is very helpful and proactive

* Tool allows for easy ingestion of big number of features and setting up initial monitoring on them

* We can use it to monitor both: input quality and model performance

* The alerts can be raised to specific group of users via specific channels (email/slack), which is helpful Avis collecté par et hébergé sur G2.com.

* It can be challenging to setup the monitoring in the correct way when it comes to sensitivty - it requires a lot of trial and error

* Some actions are not possible via UI and require specific API calls

* Documentation can be hard to navigate Avis collecté par et hébergé sur G2.com.

Génial de collaborer avec; très réactif; apprécie vraiment leurs OHs pour aider avec les problèmes qui surgissent; de nombreuses solutions innovantes pour différents types de modèles ML qui nous ont vraiment aidés étant donné la grande variété de modèles ML que nous utilisons dans l'entreprise. Avis collecté par et hébergé sur G2.com.

Rien de majeur à mentionner ! Nous avons tout résolu et l'équipe a été très serviable. Avis collecté par et hébergé sur G2.com.

L'aspect principal qui s'est démarqué pour nous était la facilité d'intégration. C'était assez simple, presque comme le code d'exemple pour intégrer LangKit dans notre pipeline LLM et le télécharger sur WhyLabs. Les documents de démarrage étaient clairs et concis. Même pour les entreprises avec des ressources limitées comme la nôtre, WhyLabs AI Observatory s'avère être une solution accessible et facilement adaptable. Avis collecté par et hébergé sur G2.com.

Les outils de visualisation de données sont très performants, bien qu'il y ait une courbe d'apprentissage à maîtriser. Cependant, leur équipe de réussite client et de support est réactive, serviable et a constamment dépassé les attentes pour s'assurer que nous utilisons la plateforme à son plein potentiel. Avis collecté par et hébergé sur G2.com.

WhyLabs is the second observability platform I have ever used, and I can say the core features I like about the platform is that it is easy to set up and implement the features, the checks and metrics were already pre-loaded so I did not need to do much in configuring the application, and monitoring was not difficult to get started with. It also integrates well with the serving and data libraries we used for the production tutorial setup. Avis collecté par et hébergé sur G2.com.

Nothing so far, I only experienced a stability issues once (sometime in 2022), but support was able to help me quickly fix it. Avis collecté par et hébergé sur G2.com.

J'ai utilisé WhyLabs pendant quelques semaines et j'en ai été extrêmement satisfait ! Je vais évaluer certaines dimensions de l'outil qui résument mon expérience avec lui.

Ingestion de Données Facile :

L'API d'ingestion est simple à utiliser et prend en charge plusieurs connecteurs tels que BigQuery, Databricks et Spark, facilitant l'importation de données. L'utilisation du Profilage de Données par Whylabs assure un traitement rapide et sécurisé des données, éliminant le besoin de télécharger des ensembles de données entiers, et rendant tout le processus très sécurisé, puisque vos données ne quittent pas vos serveurs.

Fonctionnalités de Données Fiables :

Whylabs fournit toutes les métriques de fonctionnalités standard avec précision. Le suivi des dérives de données et de modèles est très simple à l'aide des Moniteurs. De plus, la plateforme prend en charge la création de métriques personnalisées pendant ou après l'ingestion. Le regroupement par variables (segments) fonctionne bien mais doit être défini lors de l'ingestion. Ensuite, vous pouvez analyser les caractéristiques des ensembles de données et suivre la performance des modèles par segment.

Moniteurs Flexibles :

Le système de surveillance dans Whylabs est hautement adaptable et convivial, couvrant plusieurs variables avec facilité. Les moniteurs sont faciles à configurer via l'interface utilisateur ou l'importation JSON, avec des notifications résumées pour chaque moniteur, tenant les utilisateurs informés sans les submerger. De plus, les moniteurs sont sérialisables en JSON, ce qui est très utile car vous pouvez les suivre avec le contrôle de version.

Utilisabilité Conviviale :

Whylabs a une interface utilisateur propre et intuitive, simplifiant la navigation pour les utilisateurs. Bien que certaines fonctionnalités avancées puissent nécessiter des connaissances en programmation, la plupart des tâches peuvent être accomplies au sein de l'interface utilisateur. Grâce au profilage des données, Whylabs offre des performances rapides sans compromettre la précision.

Documentation Solide :

La documentation fournie par Whylabs est complète et facile à comprendre, permettant aux utilisateurs de tirer le meilleur parti de la plateforme.

Tarification :

C'est tout simplement moins cher que ses concurrents tout en ayant des fonctionnalités de premier ordre.

Support Client :

Ils sont toujours très utiles, répondant à toutes nos questions et organisant plusieurs appels nous montrant différents cas d'utilisation directement sur la plateforme.

Dans l'ensemble, Whylabs offre une solution simple, efficace et abordable pour la surveillance des modèles d'apprentissage automatique, avec une ingestion de données facile, une analyse de fonctionnalités fiable et des options de surveillance flexibles. Avis collecté par et hébergé sur G2.com.

Il y a quelques inconvénients :

- Les tableaux de bord sont en version bêta, et bien qu'ils soient fonctionnels, ils manquent de finition en termes d'interface utilisateur. Ils travaillent activement sur ce point, donc probablement quelques mois après cet examen, cela pourrait déjà être corrigé.

- La définition des groupements par variables doit être effectuée au moment de l'ingestion, ce qui limite la flexibilité pour l'analyse post-ingestion.

Cela dit, ils sont très ouverts aux commentaires et ils peuvent changer ou ajouter des fonctionnalités en fonction de vos besoins. Dans notre cas, les tableaux de bord étaient importants et ils travaillent dessus. Avis collecté par et hébergé sur G2.com.

Mon expérience avec la plateforme WhyLabs a été enrichissante, offrant des aperçus intuitifs du comportement des modèles d'IA et améliorant ma compréhension de l'observabilité de l'IA. La meilleure partie de l'interface est son interface conviviale et sa suite complète d'analyses qui fournissent des aperçus précieux du comportement des modèles d'IA et qui permettraient également un tableau de bord pour la surveillance des données, les caractéristiques des modèles. Elle facilite également la surveillance en temps réel, améliorant finalement l'efficacité des processus de développement de l'IA. Elle offre également la possibilité de personnaliser les caractéristiques du modèle selon les exigences du projet. Avis collecté par et hébergé sur G2.com.

Peu d'options de personnalisation avancées pour l'analyse ne sont pas disponibles pour le moment, mais comme informé, elles seraient bientôt disponibles sous forme de mise à jour sur la plateforme. Cela résout donc l'inconvénient à l'avenir. Avis collecté par et hébergé sur G2.com.

WhyLabs is so useful for debugging, maintaining, and developing production ML systems. It's portable, highly configurable, and provides unified visibility across a broad range of systems/services in a production ML ecosystem. It dramatically improves ML devops and is incredibly easy to get started. It integrates very easily with all the systems I've used, implementation is a breeze, and there's very low friction to get started. I've caught tons of issues using it. Avis collecté par et hébergé sur G2.com.

I don't really have any complaints about it, it does its thing incredibly well for my use cases. Avis collecté par et hébergé sur G2.com.

The UI is very user friendly and the support team is extremely responsive and helpful. Avis collecté par et hébergé sur G2.com.

Some features such as deleting a profile or changing the data type of a feature can only be done through the API. Avis collecté par et hébergé sur G2.com.