Statsig Avantages et Inconvénients

Statsig a largement dépassé mes attentes ! Notre entreprise n'avait jamais eu de tests auparavant, et lorsque nous examinions les plateformes, il était difficile de savoir ce dont nous avions besoin. Mais l'équipe de StatSig était très disposée à travailler avec nous sur le prix du contrat et à nous aider lors de la configuration et de la mise en œuvre. Ils sont très réactifs à toutes les questions que nous avons, qu'il s'agisse d'une question technique de mise en œuvre ou d'une question sur la façon d'expliquer quelque chose de délicat à un intervenant. L'outil lui-même a été excellent - il est simple à utiliser, ce qui a vraiment aidé à l'adoption au sein de l'équipe et à commencer à construire davantage une culture de test dans notre entreprise. Leur équipe est également très réactive aux demandes de fonctionnalités et intègre réellement les retours dans leur feuille de route - beaucoup d'entreprises disent qu'elles feront cela pendant le processus de vente mais ne tiennent jamais leurs promesses. Je recommanderais StatSig à toute entreprise débutant avec l'expérimentation et les tests ! Avis collecté par et hébergé sur G2.com.

Le seul inconvénient auquel je peux penser est que c'est juste une plateforme d'expérimentation, donc je dois l'utiliser séparément de nos autres outils d'analyse de produits. Mais cela n'a pas été un véritable point de douleur ! Avis collecté par et hébergé sur G2.com.

+ Cela fonctionne et est fiable.

+ C'est bien documenté.

+ Beaucoup d'adaptateurs (React/Vanilla JS, HTML, etc...)

+ La fonctionnalité d'expériences est super agréable.

+ L'intégration est super facile. Avis collecté par et hébergé sur G2.com.

- La documentation SDK est incorrecte (elle indique "env" au lieu de StatSig env) - a causé un bug de notre côté.

- Impossible d'ajouter une description aux portes de fonctionnalités - lorsqu'une entreprise grandit et travaille sur plusieurs choses, les développeurs pourraient ne pas savoir sur quoi travaillent les autres.

- Impossible de supprimer en masse les portes de fonctionnalités - Vous devez entrer dans les portes une par une et les supprimer.

- Le SDK ne prend pas en charge l'initialisation paresseuse ou le rafraîchissement. Avis collecté par et hébergé sur G2.com.

It is packed full of advanced features and they keep adding new features while being very competitively priced.

It's easy to use and implement. I'm a big fan of their experiment results visualisations, everyone in our organisation can understand experiment results.

You get useful answers from customer support and not some generic scripts that I usually see from big vendors. Avis collecté par et hébergé sur G2.com.

You have no dedicated support for the pro-tier subscription but there are skilful Statsig people on Slack that you can ask questions and a useful support bot.

When asking more complex questions it might take a couple of days before you get a reply. When you factor in multiple questions back and forth with support + time differences between EU and US it may take a few weeks to get to the bottom of questions. Avis collecté par et hébergé sur G2.com.

As a data scientist, Statsig makes it incredibly easy to handle everything from metric breakdowns to performance tracking and experiment setup. I'm truly impressed by how it allows me to analyze all experiments in one place, with just the click of a button.

What's even more helpful is that Statsig doesn't just support setting up and analyzing experiments—it also lets you import and analyze experiments run outside the platform. This feature is a game-changer, making it seamless to get insights from experiments, no matter where they were conducted. Avis collecté par et hébergé sur G2.com.

The UI could be improved. For first-time users, it can be a bit challenging to understand why certain actions aren't working as expected. For example, some buttons are greyed out on certain screens, and it's not always clear how to proceed. It feels a bit like a trial-and-error process. Avis collecté par et hébergé sur G2.com.

I've used other experimentation platforms before from Meta's "Deltoid" platform to one I built myself in python... Statsig far surpasses the other platforms out there in terms of both ease of use and flexibility. It has been a game changer for experimentation across my company. The whole process is now seamless, from adding new metric sources & metrics, setting up scorecards for new experiments, and diving into more detailed analysis with things like days-since-first-exposure view & metric results split by user dimensions. Avis collecté par et hébergé sur G2.com.

There are a lot of options to pick from for metric types, experiment settings, etc. This provides a TON of flexibility in how you analyze experiments, which is great. But the number of choices can be a bit daunting when you are newly onboarding! So definitely ask questions to the Statsig support team, and they will promptly give you advice to help you with any choice you are making. Avis collecté par et hébergé sur G2.com.

Easy to set up experiments

Easy to view results (does not require manual data pull)

Great data visualizations - confidence intervals are so often misunderstood, having them visualized is wonderful. Avis collecté par et hébergé sur G2.com.

Cannot use Layers or Feature Gates with "Autotune" feature - makes it unusable for our team as we use these for safe roll outs.

Alerting on metrics - would like more options. E.g. metrics fluctuate a ton at the start of an experiment when traffic is low, so I don't want to be notified about that. I want to set alerting on experiments so that "if X core metric drops Y percent with confidence, send an email to this alias" Avis collecté par et hébergé sur G2.com.

As a product manager, I used statsig to track the performance of my website. It was really easy create various charts and funnel data with minimum steps. Without much technical knowledge I was able to track various events and get some insight into how our producr is performimng. Avis collecté par et hébergé sur G2.com.

With some guidance, I was able to set up charts quickly, But someone who hasn't worked with lots of data before, it's somewhat tricky. Avis collecté par et hébergé sur G2.com.

The flexibility it allows for custom rollouts. Layers have been a great feature used for more complex ml model rollout solutions.

In addition simple binary feature flags are a great way of getting things off the ground Avis collecté par et hébergé sur G2.com.

Have noticed some weird behaviours when the connection using a statsig client fails Avis collecté par et hébergé sur G2.com.

Statsig provides a platform for the entire lifecycle of an experiment. The clear distinction between different concepts like events and metrics enables teams to learn and adopt the industry-leading ways of running experiments. It has allowed my team to start experimenting within a month. Avis collecté par et hébergé sur G2.com.

The Statsig UI can be hard to navigate in the beginning. It takes a while to understand how to find individual features but they are getting better at surfacing them. Avis collecté par et hébergé sur G2.com.

StatSig has built the implemented the functionality that I enforces good Feature Flagging and Experimentation features that are often hard to get right. The ability to create experimentation layers, parameter stores, automatic metric calculations for lift are incredibly important and designed well. Unlike other feature flagging platforms that couples together Feature Flagging with Experimentation, StatSig does a great job of separating the two concepts. Their customer support through their public Slack is incredible, they're super responsive and provide very helpful answers to get us on board. Avis collecté par et hébergé sur G2.com.

There are Parameter Store and Dynamic Config, there should really only be one. Avis collecté par et hébergé sur G2.com.