Reseñas y detalles del producto de neptune.ai

I’ve found Neptune pretty easy to integrate. Although I don’t use it in the traditional way, I rely on it to track experiment evaluations and monitor the performance of our LLM-based applications. The tool is flexible and adapts to most of all types of tracking needs. Recently, I've had the need to map API call statuses, including error codes, and the process was seamless and fast.

Another super positive aspect is the incredible customer support. We have regular meetings, and the team is always willing to listen to our requests and translate them into practical solutions. They consistently share valuable resources and try to meet our needs. Reseña recopilada por y alojada en G2.com.

the only downside for me is the lack of customizability in the front-end. I’d love to have the ability to build tailor-made dashboards that better suit my specific data and provide a more intuitive visualization experience for team members with less technical expertise Reseña recopilada por y alojada en G2.com.

He encontrado que Neptune es una plataforma flexible y fácil de usar para rastrear todo en nuestro proceso de desarrollo de ML. La API es simple de configurar y requiere un código mínimo para rastrear experimentos. Me ha encantado la tabla de ejecuciones, facilita agrupar y filtrar experimentos para comparaciones rápidas.

Su equipo de soporte ha sido excelente respondiendo a cualquier pregunta y mostrándonos nuevas características a medida que se lanzan. Reseña recopilada por y alojada en G2.com.

Las visualizaciones del panel se redimensionan automáticamente cuando ajustas el tamaño de la ventana, lo que significa que necesitas redimensionar y reordenar las visualizaciones en ese tamaño. Me encantaría que hubiera una manera de fijar el tamaño de los paneles para que esto no sucediera. Reseña recopilada por y alojada en G2.com.

- Funcionalidad de filtro en ejecuciones dentro de un proyecto

- Tableros personalizados y esquemas de tablas guardables

- Despliegue en las instalaciones que funciona de manera confiable (GCP)

- Contenido registrado está organizado bajo dominios dentro de ejecuciones Reseña recopilada por y alojada en G2.com.

- Agrupar ejecuciones dentro de un proyecto es difícil, esto hace que el uso para equipos grandes sea un desafío

- Los gráficos ya se ven muy bien pero carecen de algo de flexibilidad

- Siempre podemos tener criterios de filtro más avanzados :) Reseña recopilada por y alojada en G2.com.

Neptune Ai, permite almacenar prácticamente cualquier dato necesario, basado en su forma de almacenar datos y metadatos, permite una trazabilidad completa de manera sencilla.

Tiene una interfaz de usuario fácil de usar, que expone, de manera simple y útil, prácticamente toda la información necesaria, permitiendo algunas personalizaciones interesantes, como poder añadir/eliminar visualizaciones personalizadas solo con los datos/columnas necesarios.

También tiene un SDK de Python que es bastante fácil de usar, permitiendo adaptarse al caso de uso de una manera bastante flexible, ya que Neptune proporciona un contenedor accesible de datos y metadatos, por lo que la integración con otras herramientas es bastante factible.

En el lado del soporte, suelen ser bastante rápidos en responder y proporcionan mucha ayuda. Otro punto muy interesante es que la documentación es bastante extensa y tiene muchos ejemplos. Reseña recopilada por y alojada en G2.com.

La gran flexibilidad que proporciona Neptune AI como contenedor de datos y metadatos es tanto una ventaja como una desventaja, ya que requiere un buen nivel de gobernanza para no registrar demasiada información, o para organizarla de la manera correcta, para que sea realmente útil. Esto no es un 'problema' de la herramienta en sí, pero es algo a tener en cuenta al usarla en un caso de uso de cierta complejidad. Reseña recopilada por y alojada en G2.com.

La facilidad de uso es excelente, solo un par de líneas de código, y estás listo para rastrear y registrar las métricas que deseas. La documentación y el soporte al cliente son muy eficientes, y puedes cargar toneladas de métricas. Después de un par de problemas de conexión (resueltos fácilmente) pudimos integrar desde diferentes flujos de trabajo en azureML studio. Reseña recopilada por y alojada en G2.com.

Experimentamos algunos problemas con la estabilidad de la conexión y los tiempos de espera al cargar métricas, pero todo se resolvió fácilmente después de una rápida comunicación con el servicio de atención al cliente. También se agradecería un enfoque ligeramente mayor en la evaluación de LLM, especialmente en estos días centrados en LLMs. Reseña recopilada por y alojada en G2.com.

Neptune simplemente funciona para el seguimiento de experimentos: tiene una interfaz de usuario agradable y no sobrecargada que es bastante rápida (especialmente en la nueva versión), puedes rastrear métricas y comparar diferentes ejecuciones. El equipo también proporciona un gran soporte y está abierto a implementar nuevas funciones a pedido. Lo usamos para rastrear todo nuestro preentrenamiento, post-entrenamiento y evaluaciones. Reseña recopilada por y alojada en G2.com.

Cuando deseas comparar solo las métricas finales de múltiples ejecuciones como una tabla, eso es algo que Neptune puede hacer, pero la experiencia puede mejorarse.

Además, algunas características importantes para nosotros aún faltan, como poder registrar pasos de una ejecución de manera no monótona desde diferentes procesos. Reseña recopilada por y alojada en G2.com.

Neptune helps track experiment data with a simple interface. The dashboard shows key metrics, graphs, and lets you compare different model runs side by side. Our team uses it to manage thousands of machine learning experiments, from initial training through fine-tuning and final evaluation. The system handles large amounts of data well and loads results quickly. You can organize experiments into projects, tag important runs, and easily search through past results. It also lets you log both training metrics and evaluation scores in one place. Reseña recopilada por y alojada en G2.com.

Overall, there's not much to dislike. Two helpful additions would be synced legends across multiple plots when hovering over a specific x-axis point, and the ability to automatically group related metrics together for better organization. Reseña recopilada por y alojada en G2.com.

El hecho de que puedo llevar un seguimiento de mis experimentos fácilmente:

- Están todos en un solo lugar

- Puedo comparar entre ejecuciones

- Puedo registrar casi todo lo que quiero, incluso al ajustar con Optuna, puedo ver todos los bonitos metadatos y visualizaciones. Reseña recopilada por y alojada en G2.com.

Algunas cosas menores:

- El hecho de que cada vez que visito la página de mis proyectos, los colores para cada ejecución son diferentes. Hay una opción para cambiar el color, pero no quiero tener que cambiar el color de cada ejecución, especialmente cuando estoy ajustando un modelo que resulta en cientos de ejecuciones.

- Los registros de stderr y stdout son ilegibles, especialmente cuando estoy usando barras de progreso.

- Las visualizaciones de optuna en modo de pantalla completa son bastante pequeñas, especialmente los contornos. Esperaría que al entrar en modo de pantalla completa se ajustaran según el tamaño y la resolución de mi pantalla. Reseña recopilada por y alojada en G2.com.

Hemos estado usando Neptune durante los últimos 4 meses para el seguimiento de nuestros experimentos de ML, con uso semanal o a menudo diario. De herramientas similares, Neptune fue la más fácil de comenzar a usar y no requirió ejecutar un servidor local ni configurar nuestro propio alojamiento. Esto ha significado que podemos registrar experimentos sin problemas en múltiples máquinas locales y en la nube por igual. ¡Y para nuestra escala de uso actual, esto es completamente gratis!

Hemos encontrado que se integra bien con sklearn (Python) y ofrece un par de formas convenientes de gestionar experimentos de optimización (por ejemplo, búsqueda en cuadrícula), que constituyen la mayor parte de nuestro trabajo actual.

La interfaz de usuario y la documentación han sido muy intuitivas para trabajar. Y cuando hemos tenido problemas, proporcionado informes de errores o dado retroalimentación, el equipo de Neptune ha sido muy receptivo. Tener un chat informal en tiempo real para contactarlos nos ha hecho sentir bien apoyados en todo momento. Reseña recopilada por y alojada en G2.com.

Como han señalado otros, la flexibilidad en el esquema de tus datos rastreados es excelente por un lado, pero crea un par de problemas. Por ejemplo, pueden existir versiones de texto y numéricas del mismo campo. Y actualmente no hay versionado del esquema (por ejemplo, para rastrear cuándo se cambia la lógica detrás de la creación de un campo). Esto podría gestionarse utilizando un campo adicional para la versión del esquema, pero sería útil tener alguna verificación de que se está enviando la versión esperada del esquema.

Opciones para un versionado y tipificación más estrictos del esquema serían una sugerencia para el futuro :)

También me gustaría ver opciones para figuras/gráficos más complejos, pero soy consciente de que esto está en progreso. Reseña recopilada por y alojada en G2.com.

Es muy fácil de usar y una herramienta increíble para llevar un registro de lo que hiciste, cuándo lo hiciste y cuáles fueron los resultados. Para nosotros es una parte esencial de nuestro proceso de investigación en una multitud de productos de IA. El equipo de Neptune también es muy receptivo y servicial, realmente toma en consideración las sugerencias de características y resuelve rápidamente cualquier error o problema que hemos enfrentado. Reseña recopilada por y alojada en G2.com.

No tengo ninguna desventaja real de la que hablar. Reseña recopilada por y alojada en G2.com.