I have used fluentd with s3 and fluentd with graylod this is excellent toll. Fluentd agentd pushes logs to s3 and after used athena service to query over on those logs.

J'ai aimé sa fiabilité, facile à utiliser, le modèle de plugin le rend très extensible et personnalisable. Bonne performance avec une faible consommation de CPU et de mémoire.

Fluentd fournit de nombreux plugins pour collecter des données à partir de différentes sources et les stocker dans différents récepteurs. Vous pouvez collecter des données à partir de fichiers journaux, de bases de données et même de flux Kafka. Vous pouvez traiter le contenu des journaux avec Fluentd et stocker avec un schéma au format JSON dans des fichiers ou même NoSQL. Fluentd fait partie de la Cloud Native Computing Foundation (CNCF). Vous pouvez utiliser Fluentd pour collecter les journaux de Kubernetes et Docker et les stocker dans différents stockages cloud. La communauté est active. Vous pouvez trouver de l'aide sur l'espace de travail Slack de Fluentd. Si vous êtes intéressé par la collecte de données à partir de dispositifs IoT, vous pouvez essayer fluent-bit.