Avis et détails du produit de neptune.ai

I’ve found Neptune pretty easy to integrate. Although I don’t use it in the traditional way, I rely on it to track experiment evaluations and monitor the performance of our LLM-based applications. The tool is flexible and adapts to most of all types of tracking needs. Recently, I've had the need to map API call statuses, including error codes, and the process was seamless and fast.

Another super positive aspect is the incredible customer support. We have regular meetings, and the team is always willing to listen to our requests and translate them into practical solutions. They consistently share valuable resources and try to meet our needs. Avis collecté par et hébergé sur G2.com.

the only downside for me is the lack of customizability in the front-end. I’d love to have the ability to build tailor-made dashboards that better suit my specific data and provide a more intuitive visualization experience for team members with less technical expertise Avis collecté par et hébergé sur G2.com.

J'ai trouvé que Neptune est une plateforme flexible et facile à utiliser pour suivre tout dans notre processus de développement ML. L'API est simple à configurer et nécessite un code minimal pour suivre les expériences. J'ai adoré le tableau des exécutions, il permet de regrouper et de filtrer facilement les expériences pour des comparaisons rapides.

Leur équipe de support a été excellente pour répondre à toutes les questions et nous montrer les nouvelles fonctionnalités au fur et à mesure de leur sortie. Avis collecté par et hébergé sur G2.com.

Les visualisations du tableau de bord redimensionnent automatiquement lorsque vous ajustez la taille de la fenêtre, ce qui signifie que vous devez redimensionner et réorganiser les visualisations à cette taille. Aimerais s'il y avait un moyen de fixer la taille des tableaux de bord pour que cela ne se produise pas. Avis collecté par et hébergé sur G2.com.

- Fonctionnalité de filtrage sur les exécutions au sein d'un projet

- Tableaux de bord personnalisés et schémas de table enregistrables

- Déploiement sur site fonctionnant de manière fiable (GCP)

- Contenu enregistré est organisé sous des domaines au sein des exécutions Avis collecté par et hébergé sur G2.com.

- Regrouper les exécutions au sein d'un projet est difficile, cela rend l'utilisation pour les grandes équipes difficile

- Les graphiques ont déjà un bel aspect mais manquent de flexibilité

- Nous pouvons toujours avoir des critères de filtrage plus avancés :) Avis collecté par et hébergé sur G2.com.

Neptune Ai, permet de stocker pratiquement toutes les données nécessaires, basé sur sa manière de stocker les données et les métadonnées, il permet une traçabilité complète de manière simple.

Il dispose d'une interface utilisateur facile à utiliser, qui expose, de manière simple et utile, pratiquement toutes les informations nécessaires, permettant quelques personnalisations intéressantes, comme pouvoir ajouter/supprimer des visualisations personnalisées uniquement avec les données/colonnes nécessaires.

Il dispose également d'un SDK Python qui est assez facile à utiliser, permettant de s'adapter au cas d'utilisation de manière assez flexible, car Neptune fournit un conteneur de données et de métadonnées accessible, donc l'intégration avec d'autres outils est assez faisable.

Du côté du support, ils sont généralement assez rapides à répondre et fournissent beaucoup d'aide. Un autre point très intéressant est que la documentation est assez étendue et contient beaucoup d'exemples. Avis collecté par et hébergé sur G2.com.

La grande flexibilité que Neptune AI offre en tant que conteneur de données et de métadonnées est à la fois un avantage et un inconvénient, car elle nécessite un bon niveau de gouvernance pour ne pas enregistrer trop d'informations, ou les organiser de la bonne manière, pour être vraiment utile. Ce n'est pas un « problème » de l'outil lui-même, mais c'est quelque chose à prendre en compte lors de son utilisation dans un cas d'utilisation d'une certaine complexité. Avis collecté par et hébergé sur G2.com.

La facilité d'utilisation est super, juste quelques lignes de code, et vous êtes prêt à suivre et enregistrer les métriques que vous souhaitez. La documentation et le support client sont super efficaces, et vous pouvez télécharger des tonnes de métriques. Après quelques problèmes de connexion (résolus facilement), nous avons pu intégrer à partir de différents pipelines sur azureML studio. Avis collecté par et hébergé sur G2.com.

Nous avons rencontré quelques problèmes de stabilité de connexion et de délais d'attente lors du téléchargement des métriques, mais tout a été résolu facilement après une communication rapide avec le support client.

De plus, une attention légèrement plus grande sur l'évaluation des LLM serait appréciée, surtout en ces jours centrés sur les LLM. Avis collecté par et hébergé sur G2.com.

Neptune fonctionne simplement pour le suivi des expériences : il a une interface utilisateur agréable et non surchargée qui est assez rapide (surtout dans la nouvelle version), vous pouvez suivre les métriques et comparer différentes exécutions. L'équipe fournit également un excellent support et est ouverte à l'implémentation de nouvelles fonctionnalités sur demande. Nous l'utilisons pour suivre tous nos pré-entraînements, post-entraînements et évaluations. Avis collecté par et hébergé sur G2.com.

Lorsque vous souhaitez comparer uniquement les métriques finales de plusieurs exécutions sous forme de tableau, c'est quelque chose que Neptune peut faire, mais l'expérience peut être améliorée.

De plus, certaines fonctionnalités importantes pour nous manquent encore, comme la possibilité d'enregistrer les étapes d'une exécution de manière non monotone à partir de différents processus. Avis collecté par et hébergé sur G2.com.

Neptune helps track experiment data with a simple interface. The dashboard shows key metrics, graphs, and lets you compare different model runs side by side. Our team uses it to manage thousands of machine learning experiments, from initial training through fine-tuning and final evaluation. The system handles large amounts of data well and loads results quickly. You can organize experiments into projects, tag important runs, and easily search through past results. It also lets you log both training metrics and evaluation scores in one place. Avis collecté par et hébergé sur G2.com.

Overall, there's not much to dislike. Two helpful additions would be synced legends across multiple plots when hovering over a specific x-axis point, and the ability to automatically group related metrics together for better organization. Avis collecté par et hébergé sur G2.com.

Le fait que je puisse suivre facilement mes expériences :

- Elles sont toutes au même endroit

- Je peux comparer entre les essais

- Je peux enregistrer presque tout ce que je veux, même lors de l'optimisation avec optuna, je peux voir toutes les belles métadonnées et visualisations. Avis collecté par et hébergé sur G2.com.

Quelques petites choses :

- Le fait que chaque fois que je visite la page de mes projets, les couleurs pour chaque exécution sont différentes. Il y a une option pour changer la couleur mais je ne veux pas avoir à changer la couleur de chaque exécution, surtout lorsque j'affine un modèle ce qui entraîne des centaines d'exécutions.

- Les journaux stderr et stdout sont illisibles, surtout lorsque j'utilise des barres de progression.

- Les visualisations optuna en mode plein écran sont assez petites, surtout les contours. Je m'attendrais à ce qu'en entrant en mode plein écran, elles s'ajustent en fonction de la taille et de la résolution de mon écran. Avis collecté par et hébergé sur G2.com.

Nous utilisons Neptune depuis 4 mois pour le suivi de nos expériences en apprentissage automatique, avec une utilisation hebdomadaire ou souvent quotidienne. Parmi les outils similaires, Neptune a été le plus facile à démarrer et n'a pas nécessité de faire fonctionner un serveur local ou de configurer notre propre hébergement. Cela signifie que nous pouvons enregistrer sans problème des expériences sur plusieurs machines locales et sur le cloud. Et pour notre échelle d'utilisation actuelle, c'est complètement gratuit !

Nous avons constaté qu'il s'intègre bien avec sklearn (Python) et offre quelques moyens pratiques de gérer les expériences d'optimisation (par exemple, recherche en grille), qui constituent la majeure partie de notre travail actuel.

L'interface utilisateur et la documentation ont été très intuitives à utiliser. Et lorsque nous avons rencontré des problèmes, fourni des rapports de bugs ou donné des retours, l'équipe de Neptune a été très réactive. Avoir une discussion informelle en temps réel pour les contacter nous a fait sentir bien soutenus à tout moment. Avis collecté par et hébergé sur G2.com.

Comme d'autres l'ont noté, la flexibilité dans le schéma de vos données suivies est excellente d'une part mais crée quelques problèmes. Par exemple, des versions textuelles et numériques du même champ peuvent exister. Et il n'y a actuellement pas de versionnage du schéma (par exemple, pour suivre quand la logique derrière la création d'un champ est modifiée). Cela pourrait être géré en utilisant un champ supplémentaire pour la version du schéma, mais il serait utile d'avoir une certaine vérification que la version de schéma attendue est soumise.

Des options pour un versionnage et une typage plus stricts du schéma seraient une suggestion pour l'avenir :)

J'aimerais aussi voir des options pour des figures/graphes plus complexes, mais je suis conscient que cela est en cours ! Avis collecté par et hébergé sur G2.com.

C'est vraiment facile à utiliser et un outil incroyable pour suivre ce que vous avez fait, quand vous l'avez fait, et quels étaient les résultats. Pour nous, c'est une partie essentielle de notre processus de recherche à travers une multitude de produits d'IA. L'équipe de Neptune est également très réactive et serviable, prenant réellement en compte les suggestions de fonctionnalités et résolvant rapidement tous les bugs ou problèmes que nous avons rencontrés. Avis collecté par et hébergé sur G2.com.

Je n'ai pas de véritables inconvénients à mentionner. Avis collecté par et hébergé sur G2.com.