Home

Проект сбора данных с сайта при помощи фреймворка scrapy

Требует установки python 2, scrapy, sqlalchemy, sqlite3

Руководство по установке scrapy: https://scrapy.readthedocs.io/en/latest/intro/install.html

Руководство по установке sqlalchemy: http://www.sqlalchemy.org/download.html

Чтобы запустить проект:

• Установите все необходимое

• Скачайте проект на локальную машину

• Зайдите в каталог gtudata (там находится файл scrapy.cfg) и запустите команды из консоли:

    - scrapy crawl speclist
    - scrapy crawl abiturlist
  

Результат будет записан в базу данных sqlite: data_scraped

Подробное описание проекта здесь: https://habrahabr.ru/post/308660/