neptune.ai Bewertungen & Produktdetails

I’ve found Neptune pretty easy to integrate. Although I don’t use it in the traditional way, I rely on it to track experiment evaluations and monitor the performance of our LLM-based applications. The tool is flexible and adapts to most of all types of tracking needs. Recently, I've had the need to map API call statuses, including error codes, and the process was seamless and fast.

Another super positive aspect is the incredible customer support. We have regular meetings, and the team is always willing to listen to our requests and translate them into practical solutions. They consistently share valuable resources and try to meet our needs. Bewertung gesammelt von und auf G2.com gehostet.

the only downside for me is the lack of customizability in the front-end. I’d love to have the ability to build tailor-made dashboards that better suit my specific data and provide a more intuitive visualization experience for team members with less technical expertise Bewertung gesammelt von und auf G2.com gehostet.

Ich habe festgestellt, dass Neptune eine flexible, einfach zu bedienende Plattform ist, um alles in unserem ML-Entwicklungsprozess zu verfolgen. Die API ist einfach einzurichten und erfordert minimalen Code, um Experimente zu verfolgen. Ich liebe die Runs-Tabelle, sie macht es einfach, Experimente zu gruppieren und zu filtern, um schnelle Vergleiche anzustellen.

Ihr Support-Team war großartig darin, auf alle Fragen zu antworten und uns neue Funktionen zu zeigen, sobald sie veröffentlicht werden. Bewertung gesammelt von und auf G2.com gehostet.

Dashboard-Visualisierungen passen sich automatisch an, wenn Sie die Fenstergröße anpassen, was bedeutet, dass Sie die Visualisierungen in dieser Größe anpassen und neu anordnen müssen. Würde es lieben, wenn es eine Möglichkeit gäbe, die Größe der Dashboards zu fixieren, damit dies nicht passiert. Bewertung gesammelt von und auf G2.com gehostet.

- Filterfunktionalität für Läufe innerhalb eines Projekts

- Benutzerdefinierte Dashboards und speicherbare Tabellenschemata

- Zuverlässig funktionierende On-Premise-Bereitstellung (GCP)

- Protokollierte Inhalte sind unter Domains innerhalb von Läufen organisiert Bewertung gesammelt von und auf G2.com gehostet.

- Das Gruppieren von Läufen innerhalb eines Projekts ist schwierig, was die Nutzung für große Teams herausfordernd macht

- Plots sehen bereits großartig aus, aber es fehlt an Flexibilität

- Wir können immer fortschrittlichere Filterkriterien haben :) Bewertung gesammelt von und auf G2.com gehostet.

Neptune Ai ermöglicht es, praktisch alle notwendigen Daten zu speichern, basierend auf seiner Art der Datenspeicherung und Metadaten, bietet es eine vollständige Rückverfolgbarkeit auf einfache Weise.

Es verfügt über eine benutzerfreundliche Benutzeroberfläche, die auf einfache und nützliche Weise praktisch alle notwendigen Informationen bereitstellt und einige interessante Anpassungen ermöglicht, wie z.B. das Hinzufügen/Entfernen benutzerdefinierter Visualisierungen nur mit den notwendigen Daten/Spalten.

Es verfügt auch über ein Python SDK, das sehr einfach zu verwenden ist und eine flexible Anpassung an den Anwendungsfall ermöglicht, da Neptune einen zugänglichen Daten- und Metadaten-Container bereitstellt, sodass die Integration mit anderen Tools durchaus machbar ist.

Auf der Support-Seite sind sie in der Regel sehr schnell in der Reaktion und bieten viel Hilfe. Ein weiterer sehr interessanter Punkt ist, dass die Dokumentation ziemlich umfangreich ist und viele Beispiele enthält. Bewertung gesammelt von und auf G2.com gehostet.

Die große Flexibilität, die Neptune AI als Container für Daten und Metadaten bietet, ist sowohl ein Vorteil als auch ein Nachteil, da sie ein gutes Maß an Governance erfordert, um nicht zu viele Informationen aufzuzeichnen oder sie auf die richtige Weise zu organisieren, um wirklich nützlich zu sein. Dies ist kein „Problem“ des Tools selbst, aber es ist etwas, das bei der Verwendung in einem Anwendungsfall mit gewisser Komplexität berücksichtigt werden muss. Bewertung gesammelt von und auf G2.com gehostet.

Die Benutzerfreundlichkeit ist hervorragend, nur ein paar Zeilen Code, und Sie sind bereit, die gewünschten Metriken zu verfolgen und zu protokollieren. Die Dokumentation und der Kundensupport sind äußerst effizient, und Sie können eine Menge Metriken hochladen. Nach ein paar Verbindungsproblemen (leicht gelöst) konnten wir aus verschiedenen Pipelines im AzureML Studio integrieren. Bewertung gesammelt von und auf G2.com gehostet.

Wir haben einige Probleme mit der Verbindungsstabilität und Zeitüberschreitungen beim Hochladen von Metriken erlebt, aber alles wurde leicht gelöst nach einer schnellen Kommunikation mit dem Kundensupport. Auch ein etwas stärkerer Fokus auf die Bewertung von LLMs wäre wünschenswert, besonders in diesen LLM-zentrierten Tagen. Bewertung gesammelt von und auf G2.com gehostet.

Neptun funktioniert einfach für die Verfolgung von Experimenten: Es hat eine schöne und nicht überladene Benutzeroberfläche, die ziemlich schnell ist (besonders in der neuen Version), man kann Metriken verfolgen und verschiedene Läufe vergleichen. Das Team bietet auch großartigen Support und ist offen für die Implementierung neuer Funktionen auf Anfrage. Wir verwenden es für die Verfolgung all unserer Vortrainings, Nachtrainings und Bewertungen. Bewertung gesammelt von und auf G2.com gehostet.

Wenn Sie nur die endgültigen Metriken mehrerer Läufe als Tabelle vergleichen möchten, kann Neptune das tun, aber die Erfahrung kann verbessert werden.

Auch einige für uns wichtige Funktionen fehlen noch, wie zum Beispiel die Möglichkeit, Schritte eines Laufs nicht-monoton von verschiedenen Prozessen zu protokollieren. Bewertung gesammelt von und auf G2.com gehostet.

Neptune helps track experiment data with a simple interface. The dashboard shows key metrics, graphs, and lets you compare different model runs side by side. Our team uses it to manage thousands of machine learning experiments, from initial training through fine-tuning and final evaluation. The system handles large amounts of data well and loads results quickly. You can organize experiments into projects, tag important runs, and easily search through past results. It also lets you log both training metrics and evaluation scores in one place. Bewertung gesammelt von und auf G2.com gehostet.

Overall, there's not much to dislike. Two helpful additions would be synced legends across multiple plots when hovering over a specific x-axis point, and the ability to automatically group related metrics together for better organization. Bewertung gesammelt von und auf G2.com gehostet.

Die Tatsache, dass ich meine Experimente leicht verfolgen kann:

- Sie sind alle an einem Ort

- Ich kann zwischen den Durchläufen vergleichen

- Ich kann fast alles protokollieren, was ich möchte, selbst beim Tuning mit Optuna kann ich alle schönen Metadaten und Visualisierungen sehen. Bewertung gesammelt von und auf G2.com gehostet.

Einige kleinere Dinge:

- Die Tatsache, dass jedes Mal, wenn ich die Seite meiner Projekte besuche, die Farben für jeden Lauf unterschiedlich sind. Es gibt eine Option, die Farbe zu ändern, aber ich möchte nicht die Farbe jedes Laufs ändern müssen, besonders wenn ich ein Modell abstimme, was zu Hunderten von Läufen führt.

- Die stderr- und stdout-Protokolle sind unlesbar, besonders wenn ich Fortschrittsbalken verwende.

- Die Optuna-Visualisierungen im Vollbildmodus sind ziemlich klein, besonders die Konturen. Ich würde erwarten, dass sie sich beim Eintritt in den Vollbildmodus an meine Bildschirmgröße und Auflösung anpassen. Bewertung gesammelt von und auf G2.com gehostet.

Wir verwenden Neptune seit den letzten 4 Monaten für unser ML-Experiment-Tracking, mit wöchentlicher oder oft täglicher Nutzung. Von ähnlichen Tools war Neptune am einfachsten zu starten und erforderte keinen lokalen Server oder das Einrichten eines eigenen Hostings. Dies bedeutete, dass wir nahtlos Experimente über mehrere lokale Maschinen und Cloud-Computing hinweg protokollieren können. Und für unseren aktuellen Nutzungsumfang ist dies völlig kostenlos!

Wir haben festgestellt, dass es sich gut mit sklearn (Python) integriert und ein paar bequeme Möglichkeiten bietet, Optimierungsexperimente (z. B. Grid Search) zu verwalten, die den Großteil unserer aktuellen Arbeit ausmachen.

Die Benutzeroberfläche und die Dokumentation waren sehr intuitiv zu bedienen. Und wenn wir auf Probleme gestoßen sind, Fehlerberichte bereitgestellt oder Feedback gegeben haben, war das Team von Neptune sehr reaktionsschnell. Ein informeller Echtzeit-Chat, um sie zu kontaktieren, hat uns jederzeit gut unterstützt fühlen lassen. Bewertung gesammelt von und auf G2.com gehostet.

Wie andere bereits festgestellt haben, ist Flexibilität im Schema Ihrer verfolgten Daten einerseits großartig, schafft jedoch einige Probleme. Zum Beispiel können Text- und numerische Versionen desselben Feldes existieren. Und es gibt derzeit keine Versionierung des Schemas (zum Beispiel, um zu verfolgen, wann die Logik hinter der Erstellung eines Feldes geändert wird). Dies könnte durch ein zusätzliches Feld für die Schema-Version verwaltet werden, aber es wäre nützlich, eine Überprüfung zu haben, dass die erwartete Schema-Version eingereicht wird.

Optionen für eine strengere Schema-Versionierung und Typisierung wären ein Vorschlag für die Zukunft :)

Ich würde auch gerne Optionen für komplexere Figuren/Diagramme sehen, bin mir jedoch bewusst, dass dies in Arbeit ist! Bewertung gesammelt von und auf G2.com gehostet.

Es ist einfach wirklich leicht zu benutzen und ein erstaunliches Werkzeug, um nachzuverfolgen, was man getan hat, wann man es getan hat und was die Ergebnisse waren. Für uns ist es ein wesentlicher Bestandteil unseres Forschungsprozesses über eine Vielzahl von KI-Produkten. Das Neptune-Team ist auch sehr reaktionsschnell und hilfsbereit, berücksichtigt tatsächlich Funktionsvorschläge und löst schnell alle Fehler oder Probleme, denen wir begegnet sind. Bewertung gesammelt von und auf G2.com gehostet.

Ich habe keine wirklichen Nachteile, über die ich sprechen könnte. Bewertung gesammelt von und auf G2.com gehostet.