What technology are your crawlers built with?

Tous nos crawlers sont construits en utilisant Scrapy, le framework de web scraping open source créé par nos fondateurs. De plus, nous utilisons de nombreux autres frameworks open source que nous avons développés pour garantir que vous n'êtes pas enfermé dans l'utilisation de technologies propriétaires. Nous utilisons Crawlera comme solution de proxy et Splash comme navigateur sans tête si nécessaire.