Weights & Biases Vor- und Nachteile

Ich habe vor 5 Jahren in der High School zum ersten Mal von w&b erfahren und es für einige Projekte genutzt. Jetzt benutze ich es jeden Tag und habe mehrere Kollegen innerhalb und außerhalb des Labors überzeugt, w&b zu verwenden. Bewertung gesammelt von und auf G2.com gehostet.

Ich wünschte, es gäbe eine Möglichkeit, die Grafiken lokal/offline anzusehen, oder zumindest die Grafiken mit Latenz anzeigen zu können. Bewertung gesammelt von und auf G2.com gehostet.

I like how it seemlessly integrates into the workflow and reports all relevant information. Bewertung gesammelt von und auf G2.com gehostet.

I did not like how it remains logged in even without the login command, and how it starts a different log for the same 'run name'. Bewertung gesammelt von und auf G2.com gehostet.

It is very quick to get started with logging models and performance to wandb, implementation and integration are readily intuitive and straightforward.

There are some useful available features such as model sweeping and other filtering/grouping mechanisms with runs logged in a given project.

Whenever I need to keep track of ML model performance, I use wandb. Bewertung gesammelt von und auf G2.com gehostet.

The number of concurrent runs is somehow too limited if one launches jobs to a cluster.

It is most of the time hard to find the relevant information you are seeking for in the documentation, hence help comes from issues dealt online by users on different platforms (github, stackoverflow, etc.) Bewertung gesammelt von und auf G2.com gehostet.

Extrem einfach zu bedienen (sowohl im Browser als auch über API) + Sweep-Launcher, der es ermöglicht, Experimente auf verschiedene Maschinen zu verteilen. Bewertung gesammelt von und auf G2.com gehostet.

Es gibt keine einfache Pipeline für die Kreuzvalidierung, es sei denn, man experimentiert ein wenig... In jedem Fall wird es nie so reibungslos wie die anderen Standardfunktionen. Es ist für das Szenario konzipiert, in dem man feste Trainings-, Validierungs- und Testdatensätze hat. Bewertung gesammelt von und auf G2.com gehostet.

Managing runs that are lauched across different machines Bewertung gesammelt von und auf G2.com gehostet.

All new accounts have to be a team not personal Bewertung gesammelt von und auf G2.com gehostet.

Grafiken, Experimentprotokolle, leicht innerhalb des Teams zu teilen Bewertung gesammelt von und auf G2.com gehostet.

zu teuer. Die Latenz ist manchmal auch schlecht. Bewertung gesammelt von und auf G2.com gehostet.

i use it as my single point of knowledge for all my experiments results, including model weights, configs, false analysis etc Bewertung gesammelt von und auf G2.com gehostet.

many specific use cases, which are not that specific imo, i had to implement myself, Bewertung gesammelt von und auf G2.com gehostet.

W&B ist so benutzerfreundlich und nützlich für jeden ML-Praktiker, aber wenn Sie ein ernsthafter sind, müssen Sie dieses Tool in die Hand nehmen. Nicht nur, dass Sie die Leistung Ihrer verschiedenen Architekturänderungen und Hyperparameter überwachen können, sondern Sie können auch einige der Probleme mit Ihrem Training debuggen. Zum Beispiel, einmal verstand ich nicht, warum mein Training so langsam war, und nur durch einen Blick auf das System-Dashboard erkannte ich, dass CUDA aus irgendeinem Grund ausgefallen war und ich auf der CPU trainierte. Das System-Dashboard ist auch sehr hilfreich, um die richtige Batch-Größe zu finden, um die letzten MBs Ihres VRAMs zu nutzen, wenn Sie verstehen, was ich meine ;) . Alle verschiedenen Plot-Optionen und Modell-/Hyperparameter-Vergleichsmöglichkeiten geben Ihnen viel Freiheit und Macht, um effizient maschinelle Lernmodelle zu trainieren. Ich schätze auch die Tatsache, dass das Produkt ständig weiterentwickelt wird und sich im Einklang mit der AI-Szene anpasst. Ihre Blogbeiträge sind auch eine Fundgrube an ML-Wissen, die zeigt, dass einige erstklassige ernsthafte ML-Leute an dem Produkt arbeiten. Alles in allem, es macht Spaß und ist nützlich! Bewertung gesammelt von und auf G2.com gehostet.

Die Benutzeroberfläche hat eine sehr kleine Verzögerung bei der Aktualisierung des Fortschritts Ihres Trainings, was Sie möglicherweise ärgerlich finden, wenn Sie eine ungeduldige Person sind. Außerdem hätte ich es toll gefunden, wenn sie andere Funktionen hinzufügen könnten, wie die geschätzte Zeit bis zum Abschluss des Trainings oder sogar die Zeitskalen der Trainingsschritte in den Diagrammen anzeigen (vielleicht gibt es eine Möglichkeit, es zu aktivieren, aber habe es nicht gefunden). Bewertung gesammelt von und auf G2.com gehostet.

Verwendete Weight & Biases für eine Aufgabe der natürlichen Sprachverarbeitung, bei der ich vortrainierte Modelle wie Bert und RoBerta für Klassifikationsmodelle trainieren muss. Durch die Verwendung von Weight & Biases muss ich die Gewichte, Verlust- und Genauigkeitsdiagramme nicht verwalten. Alles, was ich tun muss, ist mich anzumelden und zu initialisieren. Sie können sich mit Ihrem GitHub-Konto anmelden. Bewertung gesammelt von und auf G2.com gehostet.

Ehrlich gesagt nichts, nur ich denke, dass der Verwirrungsteil durch das Betrachten verschiedener Analysediagramme wertvolle Informationen erhält. Die standardmäßig erwähnten Namen sind auch etwas lang und verwirrend. Bewertung gesammelt von und auf G2.com gehostet.

Sehr saubere und leicht verständliche Benutzeroberfläche. Einfache Integration mit Tensorflow, es ist schön, die Metriken pro Epoche zu sehen. Bewertung gesammelt von und auf G2.com gehostet.

Es wäre schön, wenn es eine Modellbereitstellungsfunktionalität gäbe. Auch wäre es schön, eine Service-Benutzeroption oder einen Team-API-Schlüssel zu haben. Da unsere Läufe mit AWS Sagemaker-Pipelines ausgelöst werden, mussten wir den Benutzer-API-Schlüssel eines unserer Teammitglieder hartcodieren, was nicht die beste Lösung ist, da er nicht immer die Person ist, die den Lauf auslöst, und es dennoch mit ihm verknüpft ist. Bewertung gesammelt von und auf G2.com gehostet.