Skip to content

Uma aplicação distribuída que realiza web scraping de links.

Notifications You must be signed in to change notification settings

luisclicio/distributed-links-saver

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Distributed Links Saver App

Este projeto é uma aplicação distribuída que realiza web scraping de links enviados pelos usuários, salvando os metadados e uma imagem prévia da página.

Arquitetura e Tecnologias

Arquitetura

  1. Front-end Web App (React)
  2. Gateway (Nginx)
  3. Front-end Web Server (Nginx)
  4. Images Web Server (Nginx)
  5. Images Persistence Storage (Volume)
  6. Load Balancer (Nginx)
  7. REST API (Node.js)
  8. Message Broker (RabbitMQ)
  9. Web Scraper Worker (Node.js)
  10. Database (MongoDB)
  11. Internet

Como executar o projeto

Pré-requisitos

Etapas para execução

  1. Clone o repositório:
git clone <repo-url>
  1. Entre na pasta do projeto:
cd distributed-links-saver
  1. Execute os serviços:
docker compose up --build
  1. Acesse a aplicação em http://localhost.

About

Uma aplicação distribuída que realiza web scraping de links.

Resources

Stars

Watchers

Forks