Uma engine de pesquisa feita do zero com postgres
O sistema realizou o scrapping de 800 mil páginas do Google e coletou 61 milhões de links de backreference para o ranqueamento das páginas.
Um script SQL é utilizado para iterar 20 vezes por todos os links, aumentando a pontuação dos links mais frequentemente referenciados. Essas 20 iterações são realizadas porque, se um link é chamado a partir de uma fonte de maior qualidade (com melhor ranqueamento), ele recebe pontos extras. Embora 20 passes possam parecer um exagero para garantir maior precisão, é uma medida que achei interessante para o projeto.
Na coluna de todas as páginas, durante o crawling, todo o conteúdo da página foi capturado e salvo em uma tabela. Em seguida, foi feito o embedding desse conteúdo usando o modelo all-mpnet-base-v2 para possibilitar uma pesquisa mais inteligente. Assim, para cada prompt de pesquisa, o backend invoca o mesmo modelo via @xenova/transformers e realiza a busca utilizando o pgvector.
- Backend: TypeScript (NestJS)
- Frontend: Vite, TypeScript
- Banco de Dados: PostgreSQL (PL/pgSQL)
- Containerização: Docker
- Scrapper: Python
NestJs realmente chamou minha atenção por ser algo extra do que eu estou acostumado, lidando com servidores TCP diretamente. Decidi experimentar com uma experiência mais opnionada, e desbravar o outro lado da força.
Com o Nest, já estava muito fora da minha zona de conforto, tive que voltar pelo menos um pouco.
Minha primeira vez fazendo algo do tipo, mas sabia que Python seria minha melhor alternativa. Iniciei seguindo uma matéria do Medium explicando o básico de Crawlers, e continuei dai. Tive que experimentar e me confortar com asyncio, que era uma coisa que nunca tinha usado fortemente antes.
Já tinha experiência com PgVector, logo, fui no fácil. Não via necessidade de buscar algo especializado, quando eu já ia precisar de qualquer forma usar um banco de dados convencional. Pode até ser menos eficiência, mas por ser um projeto, imagino que essa perda tenha sido obfuscada por um serviço a menos.
Prefiro que não, esse foi um projeto de uma madrugada com objetivo de aprendizado, o código pode melhor muito ainda, e não foi feito com a mentalidade de ser mantido.