Ищет и скачивает кейсы с сайта Каннских львов.
Контент на сайте Каннских львов подгружается динамически при помощи JavaScript. Поэтому скрипт эмулирует браузер при помощи библиотеки Selenium.
Алгоритм скрипта:
- По заданным вручную категориям скрипт формирует ссылки для перехода на страницу.
- На странице категории скрипт собирает информацию о всех кейсах: название, уровень награды и ссылку.
- Из этого массива данных он выбирает кейсы, которые имеют заданный пользователем уровень награды. То есть можно скачать только золото, только серебро или золото + серебро.
- Некоторые кейсы выиграли несколько раз в одной категории. Скрипт скачивает кейс только если он выиграл разные награды: золото и сербро, но если кейс получил два серебра в одной категории — он его не скачивает.
- После этого скрипт переходит на страницу каждого кейса, ищет содержимое: видео, борд или звук и получает ссылку на файл.
- Скрипт скачивает файл, если его еще нет на сервере. Мало ли.
- В итоге записывается файл со статистикой по дублирующимся и отсутствующим кейсам.
Мазл тов!