Avaliações e Detalhes do Produto de neptune.ai

I’ve found Neptune pretty easy to integrate. Although I don’t use it in the traditional way, I rely on it to track experiment evaluations and monitor the performance of our LLM-based applications. The tool is flexible and adapts to most of all types of tracking needs. Recently, I've had the need to map API call statuses, including error codes, and the process was seamless and fast.

Another super positive aspect is the incredible customer support. We have regular meetings, and the team is always willing to listen to our requests and translate them into practical solutions. They consistently share valuable resources and try to meet our needs. Análise coletada por e hospedada no G2.com.

the only downside for me is the lack of customizability in the front-end. I’d love to have the ability to build tailor-made dashboards that better suit my specific data and provide a more intuitive visualization experience for team members with less technical expertise Análise coletada por e hospedada no G2.com.

Encontrei o Neptune como uma plataforma flexível e fácil de usar para rastrear tudo no nosso processo de desenvolvimento de ML. A API é simples de configurar e requer código mínimo para rastrear experimentos. Tenho adorado a tabela de execuções, que facilita agrupar e filtrar experimentos para comparações rápidas.

A equipe de suporte tem sido ótima em responder a quaisquer perguntas e nos mostrar novos recursos à medida que são lançados. Análise coletada por e hospedada no G2.com.

As visualizações do painel redimensionam-se automaticamente quando você ajusta o tamanho da janela, o que significa que você precisa redimensionar e reorganizar as visualizações nesse tamanho. Adoraria se houvesse uma maneira de fixar o tamanho dos painéis para que isso não acontecesse. Análise coletada por e hospedada no G2.com.

- Funcionalidade de filtro em execuções dentro de um projeto

- Dashboards personalizados e esquemas de tabela que podem ser salvos

- Implantação local confiável (GCP)

- Conteúdo registrado é organizado sob domínios dentro de execuções Análise coletada por e hospedada no G2.com.

- Agrupar execuções dentro de um projeto é difícil, isso torna o uso para grandes equipes desafiador

- Os gráficos já parecem ótimos, mas faltam alguma flexibilidade

- Podemos sempre ter critérios de filtro mais avançados :) Análise coletada por e hospedada no G2.com.

Neptune Ai, permite armazenar praticamente qualquer dado necessário, com base em sua forma de armazenar dados e metadados, permite rastreabilidade completa de maneira simples.

Possui uma interface de usuário fácil de usar, que expõe, de maneira simples e útil, praticamente todas as informações necessárias, permitindo algumas personalizações interessantes, como poder adicionar/remover visualizações personalizadas apenas com os dados/colunas necessários.

Também possui um SDK Python que é bastante fácil de usar, permitindo adaptar-se ao caso de uso de maneira bastante flexível, já que o Neptune fornece um contêiner de dados e metadados acessível, então a integração com outras ferramentas é bastante viável.

No lado do suporte, eles geralmente respondem rapidamente e fornecem muita ajuda. Outro ponto muito interessante é que a documentação é bastante extensa e possui muitos exemplos. Análise coletada por e hospedada no G2.com.

A grande flexibilidade que o Neptune AI oferece como um contêiner de dados e metadados é tanto uma vantagem quanto uma desvantagem, pois requer um bom nível de governança para não registrar informações em excesso ou organizá-las da maneira correta, para ser realmente útil. Isso não é um 'problema' da ferramenta em si, mas é algo a ser levado em consideração ao usá-la em um caso de uso de alguma complexidade. Análise coletada por e hospedada no G2.com.

A facilidade de uso é excelente, apenas algumas linhas de código, e você está pronto para rastrear e registrar as métricas que deseja. A documentação e o suporte ao cliente são super eficientes, e você pode carregar toneladas de métricas. Depois de alguns problemas de conexão (resolvidos facilmente), conseguimos integrar de diferentes pipelines no azureML studio. Análise coletada por e hospedada no G2.com.

Experimentamos alguns problemas com a estabilidade da conexão e timeouts ao carregar métricas, mas tudo foi resolvido facilmente após uma comunicação rápida com o suporte ao cliente. Além disso, um foco um pouco maior na avaliação de LLM seria apreciado, especialmente nestes dias centrados em LLMs. Análise coletada por e hospedada no G2.com.

Netuno funciona bem para rastrear experimentos: tem uma interface agradável e não sobrecarregada que é bastante rápida (especialmente na nova versão), você pode rastrear métricas e comparar diferentes execuções. A equipe também oferece ótimo suporte e está aberta a implementar novos recursos mediante solicitação. Usamos para rastrear todo o nosso pré-treinamento, pós-treinamento e avaliações. Análise coletada por e hospedada no G2.com.

Quando você deseja comparar apenas métricas finais de várias execuções como uma tabela, isso é algo que o Neptune pode fazer, mas a experiência pode ser melhorada.

Além disso, alguns recursos importantes para nós ainda estão faltando, como a capacidade de registrar etapas de uma execução de forma não monótona a partir de diferentes processos. Análise coletada por e hospedada no G2.com.

Neptune helps track experiment data with a simple interface. The dashboard shows key metrics, graphs, and lets you compare different model runs side by side. Our team uses it to manage thousands of machine learning experiments, from initial training through fine-tuning and final evaluation. The system handles large amounts of data well and loads results quickly. You can organize experiments into projects, tag important runs, and easily search through past results. It also lets you log both training metrics and evaluation scores in one place. Análise coletada por e hospedada no G2.com.

Overall, there's not much to dislike. Two helpful additions would be synced legends across multiple plots when hovering over a specific x-axis point, and the ability to automatically group related metrics together for better organization. Análise coletada por e hospedada no G2.com.

O fato de eu poder acompanhar facilmente meus experimentos:

- Eles estão todos em um só lugar

- Posso comparar entre execuções

- Posso registrar quase tudo o que quero, mesmo ao ajustar com optuna, posso ver todos os metadados e visualizações agradáveis. Análise coletada por e hospedada no G2.com.

Algumas pequenas coisas:

- O fato de que toda vez que visito a página dos meus projetos, as cores para cada execução são diferentes. Existe uma opção para mudar a cor, mas eu não quero ter que mudar a cor de cada execução, especialmente quando estou ajustando um modelo que resulta em centenas de execuções.

- Os logs stderr e stdout são ilegíveis, especialmente quando estou usando barras de progresso.

- As visualizações do Optuna no modo de tela cheia são bastante pequenas, especialmente os contornos. Eu esperaria que, ao entrar no modo de tela cheia, elas se ajustassem de acordo com o tamanho e a resolução da minha tela. Análise coletada por e hospedada no G2.com.

Temos usado o Neptune nos últimos 4 meses para o rastreamento de experimentos de ML, com uso semanal ou frequentemente diário. De ferramentas similares, o Neptune foi o mais fácil de começar a usar e não exigiu a execução de um servidor local ou a configuração de nossa própria hospedagem. Isso significou que podemos registrar experimentos de forma contínua em várias máquinas locais e na nuvem. E para nossa escala atual de uso, isso é completamente gratuito!

Descobrimos que ele se integra bem com o sklearn (Python) e oferece algumas maneiras convenientes de gerenciar experimentos de otimização (por exemplo, busca em grade), que compõem a maior parte do nosso trabalho atual.

A interface do usuário e a documentação têm sido muito intuitivas de trabalhar. E quando encontramos problemas, fornecemos relatórios de bugs ou demos feedback, a equipe do Neptune tem sido muito responsiva. Ter um chat informal em tempo real para contatá-los nos fez sentir bem apoiados o tempo todo. Análise coletada por e hospedada no G2.com.

Como outros já observaram, a flexibilidade no esquema dos seus dados rastreados é ótima por um lado, mas cria alguns problemas. Por exemplo, versões de texto e numéricas do mesmo campo podem existir. E atualmente não há versionamento do esquema (por exemplo, para rastrear quando a lógica por trás da criação de um campo é alterada). Isso poderia ser gerenciado usando um campo adicional para a versão do esquema, mas seria útil ter alguma verificação de que a versão esperada do esquema está sendo submetida.

Opções para versionamento e tipagem mais rigorosos do esquema seriam uma sugestão para o futuro :)

Eu também gostaria de ver opções para figuras/plots mais complexos, mas estou ciente de que isso está em andamento! Análise coletada por e hospedada no G2.com.

É realmente muito fácil de usar e uma ferramenta incrível para acompanhar o que você fez, quando fez e quais foram os resultados. Para nós, é uma parte essencial do nosso processo de pesquisa em uma variedade de produtos de IA. A equipe do Neptune também é super responsiva e prestativa, realmente levando em consideração sugestões de recursos e resolvendo rapidamente quaisquer bugs ou problemas que enfrentamos. Análise coletada por e hospedada no G2.com.

Eu não tenho nenhuma desvantagem real para mencionar. Análise coletada por e hospedada no G2.com.