Skip to content

Este repositório contém um script para varrer um site específico em busca de vagas de emprego. O script coleta e organiza informações sobre oportunidades disponíveis neste site, facilitando a busca por emprego para os candidatos interessados. Os usuários podem personalizar a busca de acordo com suas preferências e qualificações específicas.

License

Notifications You must be signed in to change notification settings

ArkaNiightt/scraper_vagas_bot

Repository files navigation

Varredor_vagas

      >>=============================================================================================<<
      || __     __                      _____          _           _ _              ____        _    ||
      || \ \   / __ _  __ _  __ _ ___  |_   __ __ __ _| |__   __ _| | |__   ___    | __ )  ___ | |_  ||
      ||  \ \ / / _` |/ _` |/ _` / __|   | || '__/ _` | '_ \ / _` | | '_ \ / _ \   |  _ \ / _ \| __| ||
      ||   \ V | (_| | (_| | (_| \__ \   | || | | (_| | |_) | (_| | | | | | (_) |  | |_) | (_) | |_  ||
      ||    \_/ \__,_|\__, |\__,_|_______|_||_|  \__,_|_.__/ \__,_|_|_| |_|\_______|____/ \___/ \__| ||
      ||              |___/         |_____|                                   |_____|                ||
      >>=============================================================================================<<
    

🧾Descrição

  • Este repositório contém um script para varrer um site específico em busca de vagas de emprego. O script coleta e organiza informações sobre oportunidades disponíveis neste site, facilitando a busca por emprego para os candidatos interessados. Os usuários podem personalizar a busca de acordo com suas preferências e qualificações específicas.

📖 Bibliotecas usadas

  • Selenium
    pip install selenium
    
  • Fake-UserAgent
    pip install scrapy-fake-useragent
    
  • Scrapy
    pip install scrapy
    
  • ScrapeOps Scrapy SDK
    pip install scrapeops_scrapy_proxy_sdk
    

⚙️ Configurações

#1 🔑 ScrapeOps API Key:

  • Navegue ate o site scrapeops, crie uma conta gratuitamente e utilize:
    Your Account API Key: 39b****-****-****-****-******216
  • Coloque sua Key no arquivo settings.py e
    SCRAPEOPS_API_KEY = "YOUR_API_KEY"

#2 ⌨️ Configuraçao dos arquivos:

  • settings.py
    ROBOTSTXT_OBEY = False
    DOWNLOAD_DELAY = 3
    DOWNLOADER_MIDDLEWARES = {
        "scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None,
        "scrapy.downloadermiddlewares.retry.RetryMiddleware": None,
        "scrapy_fake_useragent.middleware.RandomUserAgentMiddleware": 400,
        "scrapy_fake_useragent.middleware.RetryUserAgentMiddleware": 401,
    }
    FAKEUSERAGENT_PROVIDERS = [
        "scrapy_fake_useragent.providers.FakeUserAgentProvider",  # This is the first provider we'll try
        "scrapy_fake_useragent.providers.FakerProvider",  # If FakeUserAgentProvider fails, we'll use faker to generate a user-agent string for us
        "scrapy_fake_useragent.providers.FixedUserAgentProvider",  # Fall back to USER_AGENT value
    ]
    
    USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0"
    SCRAPEOPS_API_KEY = "YOUR_API_KEY"
    SCRAPEOPS_PROXY_ENABLED = True
    
    DOWNLOADER_MIDDLEWARES = {
        "scrapeops_scrapy_proxy_sdk.scrapeops_scrapy_proxy_sdk.ScrapeOpsScrapyProxySdk": 725,
    }
  • varredor_vagas.py escolha a vaga que deseja buscar
     page = pesquisar_input_vaga("python") # <--- Substitua a string"python" se deseja buscar por outra vaga

#3 🚀 Iniciando o bot varredor:

  • Com o terminal no diretorio do projeto, digite

     scrapy crawl vagabot -O vagas.csv (ou json, xml)
    
  • Depois que o bot varrer todas as paginas, criará um arquivo:

    Code
  • Baixar

    git clone https://github.com/ArkaNiightt/scraper_vagas_bot.git
    

About

Este repositório contém um script para varrer um site específico em busca de vagas de emprego. O script coleta e organiza informações sobre oportunidades disponíveis neste site, facilitando a busca por emprego para os candidatos interessados. Os usuários podem personalizar a busca de acordo com suas preferências e qualificações específicas.

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages