Tantivy

8 avaliações

É mais próximo do Apache Lucene do que do Elasticsearch ou Apache Solr no sentido de que não é um servidor de mecanismo de busca pronto para uso, mas sim um crate que pode ser usado para construir tal mecanismo de busca. Empresas como Element, Humanfirst e Nuclia usaram o Tantivy para liberar o poder em suas consultas de busca. Existem muitas maneiras de usar o Tantivy. Tantivy pode ser executado no navegador com um arquivo WASM. Para os amantes de Ruby, Tantiny oferece bindings próximos de Ruby para Tantivy. Por último, você pode instalar bindings de Python no repositório Tantivy-Py. As características do Tantivy incluem, mas não se limitam a: - Busca de texto completo - Tokenizador configurável (stemming disponível para 17 idiomas latinos com suporte de terceiros para chinês (tantivy-jieba e cang-jie), japonês (lindera, Vaporetto e tantivy-tokenizer-tiny-segmenter) e coreano (lindera + lindera-ko-dic-builder) - Rápido (confira o 🐎 ? benchmark ? 🐎) - Tempo de inicialização pequeno (<10ms), perfeito para ferramentas de linha de comando - Pontuação BM25 (a mesma que Lucene) - Linguagem de consulta natural (por exemplo, (michael AND jackson) OR "king of pop") - Busca de consultas por frase (por exemplo, "michael jackson") - Indexação incremental - Indexação multithread (indexar a Wikipedia em inglês leva < 3 minutos no meu desktop) - Diretório Mmap - Compressão de inteiros SIMD quando a plataforma/CPU inclui o conjunto de instruções SSE2 - Campos rápidos de valor único e multivalorado u64, i64 e f64 (equivalente aos valores de documento no Lucene) - Campos rápidos &[u8] - Campos de texto, i64, u64, f64, datas e facetas hierárquicas - Armazenamento de documentos comprimido com LZ4 - Consultas de intervalo - Busca facetada - Indexação configurável (indexação de frequência de termos e posição opcional) - Campo JSON - Coletor de agregação: intervalos de buckets, média e métricas de estatísticas - LogMergePolicy com exclusões - API de aquecimento de pesquisador - Logotipo brega com um cavalo (obviamente uma característica incrível) Funcionalidades não incluídas: Busca distribuída está fora do escopo do Tantivy, mas se você está procurando por esse recurso, confira o Quickwit. É nosso mecanismo de busca, construído sobre o Tantivy.

Quickwit

0 avaliações

Quickwit é a plataforma de gerenciamento e análise de logs de próxima geração para gerenciar petabytes de logs. Desacoplamos computação e armazenamento para permitir que as empresas escalem de forma independente e de acordo com suas necessidades. É uma alternativa altamente confiável e econômica ao Elasticsearch. Construído por e para equipes para ingerir, indexar com uma interface de usuário embutida e analisar logs com Quickwit. Logs ingeridos podem ser investigados em um armazenamento de objetos com consultas em sub-segundos. Os recursos incluem, mas não se limitam a: - Dados de índice persistidos em armazenamento de objetos - Ingestão de documentos JSON com ou sem um esquema rígido - API de agregação compatível com Elasticsearch - Funciona com uma fração dos recursos: escrito em Rust, alimentado pelo poderoso tantivy - Funciona imediatamente com padrões sensatos - Otimizado para multi-tenancy. Adicione e escale inquilinos sem custos adicionais - Pesquisa distribuída - Nativo da nuvem: pronto para Kubernetes - Adicione e remova nós em segundos - Computação e armazenamento desacoplados - Durma tranquilo: todos os seus dados indexados estão armazenados com segurança em armazenamento de objetos (AWS S3...) - Ingestão de documentos com semântica de exatamente uma vez - Ingestão nativa do Kafka - API de fluxo de pesquisa que desbloqueia notavelmente a pesquisa de texto completo no ClickHouse AWS S3, PostgreSQL, Kubernetes, Kafka, Amazon Kinesis, Ceph e Minio são algumas das ferramentas que se integram com Quickwit.