Scrape retail web pages with Scrapy and GraphQL
O objetivo desse projeto é mostrar habilidades com o básico de scrapy, uma poderosa ferramenta para scrapers de alta performance. Os dados coletados nos site são referentes aos produtos vendidos (preço, EAN, URL do produto).
Primeiramente é importante destacar a forma com que isso foi feito. Alguns sites possuem API's públicas para consultas GraphQL. É o caso dos sites em questão. Outro ponto importante é que o Scrapy possui uma robusta arquitetura para conseguir muitas consultas rápidas e assíncronas. Dessa forma, conseguir extrair informações sobre todos os preços do site se torna muito mais rápida e prática por nãoprecisar de um webdriver.