парсинг сайтов.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Парсинг сайтов и основы HTML\n",
    "\n",
    "1) Сервер и клиент\n",
    "\n",
    "2) HTTP\n",
    "\n",
    "3) HTML и CSS\n",
    "\n",
    "4) Requests & responses\n",
    "\n",
    "5) Библиотека requests и простейшие запросы\n",
    "\n",
    "6) beautiful soup и парсинг сайтов\n",
    "\n",
    "7) selenium для более сложных кейсов"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Модули которые пригодятся нам в работе:\n",
    "\n",
    "requests (идет в комплекте)\n",
    "\n",
    "beautifulsoup4 (pip install beautifulsoup4)\n",
    "\n",
    "selenium (pip install selenium)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Введение в контекст сетевой архитектуры\n",
    "\n",
    "Сервером в данном случае мы считаем абстрактную машину в сети, способную получить HTTP-запрос, обработать его и вернуть корректный ответ. \n",
    "\n",
    "Клиентом тоже может быть все, что угодно, что способно сформировать и отправить HTTP-запрос.\n",
    "\n",
    "«Клиент — сервер» (англ. client–server) — вычислительная или сетевая архитектура, в которой задания или сетевая нагрузка распределены между поставщиками услуг, называемыми серверами, и заказчиками услуг, называемыми клиентами. \n",
    "\n",
    "Фактически клиент и сервер — это программное обеспечение. \n",
    "\n",
    "Обычно эти программы расположены на разных вычислительных машинах и взаимодействуют между собой через вычислительную сеть посредством сетевых протоколов, но они могут быть расположены также и на одной машине. \n",
    "\n",
    "![Foo](https://raw.githubusercontent.com/alnagaev/reni_land/master/http1-request-response.png)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Протокол HTTP\n",
    "\n",
    "Протокол передачи гипертекста (Hypertext Transfer Protocol - HTTP) - это прикладной протокол для передачи гипертекстовых документов, таких как HTML. \n",
    "\n",
    "Он создан для связи между веб-браузерами и веб-серверами, хотя в принципе HTTP может использоваться и для других целей. \n",
    "\n",
    "Протокол следует классической клиент-серверной модели, когда клиент открывает соединение для создания запроса, а затем ждет ответа. \n",
    "\n",
    "HTTP - это протокол без сохранения состояния, то есть сервер не сохраняет никаких данных (состояние) между двумя парами \"запрос-ответ\"."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "Сердцевиной веб-общения является запрос, который отправляется через Единый указатель ресурсов (URL).\n",
    "\n",
    "Структура URL очень проста и состоит из следующих компонентов\n",
    "\n",
    "![f](https://sitechecker.pro/wp-content/uploads/2017/12/url-structure.jpg)\n",
    "\n",
    "`https://` это протокол. Он отображает, какой протокол браузер должен использовать. Обычно это HTTP-протокол или его безопасная версия - HTTPS. \n",
    "\n",
    "`sitechecker.pro/` это доменное имя. Оно означает, какой веб-сервер должен быть запрошен. В качестве альтернативы может быть использован и IP-адрес, но это делается редко, поскольку запоминать IP сложнее, и это не популярно в интернете.\n",
    "Подробнее про IP и домены https://ru.wikipedia.org/wiki/DNS\n",
    "\n",
    "\n",
    "`/path/to/myfile.html` это адрес ресурса на веб-сервере. В прошлом, адрес отображал местоположение реального файла в реальной директории на веб-сервере. В наши дни это чаще всего абстракция, позволяющая обрабатывать адреса и отображать тот или иной контент из баз данных.\n",
    "\n",
    "`?name=article&topic=seo` это дополнительные параметры, которые браузер сообщает веб-серверу. Эти параметры - список пар ключ/значение, которые разделены символом &. Веб-сервер может использовать эти параметры для исполнения дополнительных команд перед тем как отдать ресурс. \n",
    "\n",
    "`#top` это якорь на другую часть того же самого ресурса. Якорь представляет собой вид \"закладки\" внутри ресурса, которая переадресовывает браузер на \"заложенную\" часть ресурса. В HTML-документе, например, браузер может переместиться в точку, где установлен якорь\n",
    "http://tehnopost.info/html/10-yakor-ankor-na-veb-stranice.html#ssilka_na_drugom_domene\n",
    "\n",
    "Стартовые строки для запроса и ответа имеют различный формат — нам интересна только стартовая строка запроса, которая выглядит так:\n",
    "\n",
    "METHOD URI HTTP/VERSION,\n",
    "\n",
    "где METHOD — это как раз метод HTTP-запроса, URI — идентификатор ресурса, VERSION — версия протокола (на данный момент актуальна версия 1.1).\n",
    "\n",
    "Заголовки — это набор пар имя-значение, разделенных двоеточием. В заголовках передается различная служебная информация: кодировка сообщения, название и версия браузера, адрес, с которого пришел клиент (Referrer) и так далее.\n",
    "\n",
    "Тело сообщения — это, собственно, передаваемые данные. В ответе передаваемыми данными, как правило, является html-страница, которую запросил браузер, а в запросе, например, в теле сообщения передается содержимое файлов, загружаемых на сервер. Но как правило, тело сообщения в запросе вообще отсутствует."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Методы запросов\n",
    "\n",
    "HTTP методы\n",
    "\n",
    "Для того, чтобы указать серверу на то, какое действие мы хотим произвести с ресурсом, используется тип HTTP-запроса, который также называется HTTP метод. Существует несколько HTTP методов, которые описывают действия с ресурсами. Наиболее часто используемыми являются GET и POST. \n",
    "\n",
    "### GET — получение ресурса\n",
    "\n",
    "Метод GET запрашивает информацию из указанного источника и не влияет на его содержимое. Запрос доступен для кеширования данных и добавления в закладки. Длина запроса ограничена (макс. длина URL - 2048).\n",
    "\n",
    "Примечание: Строка запроса (имя/значение) отправляется в URL \n",
    "\n",
    "``/login-check.php?argument1=value1&argument2=value2``\n",
    "\n",
    "### POST — создание ресурса\n",
    "\n",
    "Метод POST используется для отправки данных, что может оказывать влияние на содержимое ресурса. В отличие от метода GET запросы POST не могут быть кешированы, они не остаются в истории браузера и их нельзя добавить в закладки. Запросы POST не ограничиваются в объеме.\n",
    "\n",
    "Примечание: Отправляемые данные содержатся в теле запроса. \n",
    "\n",
    "https://developer.mozilla.org/ru/docs/Web/HTTP/Methods"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Пример запроса/ответа\n",
    "\n",
    "Запрос:\n",
    "\n",
    "`\n",
    "GET /tutorials/other/top-20-mysql-best-practices/ HTTP/1.1\n",
    "Host: net.tutsplus.com\n",
    "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 (.NET CLR 3.5.30729)\n",
    "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\n",
    "Accept-Language: en-us,en;q=0.5\n",
    "Accept-Encoding: gzip,deflate\n",
    "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\n",
    "Keep-Alive: 300\n",
    "Connection: keep-alive\n",
    "Cookie: PHPSESSID=r2t5uvjq435r4q7ib3vtdjq120\n",
    "Pragma: no-cache\n",
    "Cache-Control: no-cache\n",
    "`\n",
    "\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "Ответ:\n",
    "<code>\n",
    "    HTTP/1.x 200 OK\n",
    "    Transfer-Encoding: chunked\n",
    "    Date: Sat, 28 Nov 2009 04:36:25 GMT\n",
    "    Server: LiteSpeed\n",
    "    Connection: close\n",
    "    X-Powered-By: W3 Total Cache/0.8\n",
    "    Pragma: public\n",
    "    Expires: Sat, 28 Nov 2009 05:36:25 GMT\n",
    "    Etag: \"pub1259380237;gz\"\n",
    "    Cache-Control: max-age=3600, public\n",
    "    Content-Type: text/html; charset=UTF-8\n",
    "    Last-Modified: Sat, 28 Nov 2009 03:50:37 GMT\n",
    "    X-Pingback: https://net.tutsplus.com/xmlrpc.php\n",
    "    Content-Encoding: gzip\n",
    "    Vary: Accept-Encoding, Cookie, User-Agent\n",
    "\n",
    "    <!DOCTYPE html PUBLIC \"-//W3C//DTD XHTML 1.0 Strict//EN\" \"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd\">\n",
    "    <html xmlns=\"http://www.w3.org/1999/xhtml\">\n",
    "    <head>\n",
    "    <meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n",
    "    <title>Top 20+ MySQL Best Practices - Nettuts+</title>\n",
    "<code>\n",
    "    \n",
    "Подробнее: https://code.tutsplus.com/ru/tutorials/http-headers-for-dummies--net-8039"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вот мы получили HTML от сервера. А что это? Это файл, устроенный по определенному принципу.\n",
    "\n",
    "HTML (от англ. HyperText Markup Language — «язык гипертекстовой разметки») — стандартизированный язык разметки документов во Всемирной паутине.\n",
    "\n",
    "Большинство веб-страниц содержат описание разметки на языке HTML (или XHTML).\n",
    "\n",
    "Язык HTML интерпретируется браузерами; полученный в результате интерпретации форматированный текст отображается на экране монитора компьютера или мобильного устройства.\n",
    "\n",
    "Дальнейшая информация взята отсюда: https://html5book.ru/osnovy-html/\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "HTML-документ состоит из дерева HTML-элементов и текста. \n",
    "\n",
    "Каждый элемент обозначается в исходном документе начальным (открывающим) и конечным (закрывающим) тегом (за редким исключением). \n",
    "\n",
    "**Начальный** тег показывает, где начинается элемент, конечный — где заканчивается. \n",
    "\n",
    "**Закрывающий** тег образуется путем добавления слэша / перед именем тега: <имя тега>…</имя тега>. \n",
    "\n",
    "Между начальным и закрывающим тегами находится содержимое тега — контент.\n",
    "\n",
    "Одиночные теги не могут хранить в себе содержимого напрямую, оно прописывается как значение атрибута, например, тег \n",
    "`<input type=\"button\" value=\"Кнопка\">` создаст кнопку с текстом Кнопка внутри. <input type=\"button\" value=\"Кнопка\">\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теги могут вкладываться друг в друга, например:\n",
    "\n",
    "`<p><i>Текст</i></p>` <p><i>Текст</i></p>\n",
    "\n",
    "При вложении следует соблюдать порядок их закрытия (принцип «матрёшки»), например, следующая запись будет неверной (но все равно рабочей): \n",
    "\n",
    "`<p><i>Текст</p></i>` <p><i>Текст</p></i>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Каждому элементу можно присвоить несколько значений class и только одно значение id. \n",
    "\n",
    "Множественные значения class записываются через пробел `<div class=\"nav top\">`\n",
    "    \n",
    "Значения class и id должны состоять только из букв, цифр, дефисов и нижних подчеркиваний и должны начинаться только с букв или цифр."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Браузер просматривает (интерпретирует) HTML-документ \n",
    "\n",
    "выстраивая его структуру **DOM** и отображая ее в соответствии с инструкциями включенными в этот файл (таблицы стилей, скрипты)\n",
    "\n",
    "Если разметка правильная, то в окне браузера будет отображена HTML-страница содержащая HTML-элементы — заголовки, таблицы, изображения и т.д"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "DOCTYPE отвечает за корректное отображение веб-страницы браузером. \n",
    "DOCTYPE определяет не только версию HTML (например, html), но и соответствующий DTD-файл в Интернете.\n",
    "\n",
    "Элементы, находящиеся внутри тега `<html>`, \n",
    "образуют дерево документа, так называемую объектную модель документа,\n",
    "DOM (document object model). При этом элемент `<html>` является корневым элементом.\n",
    "\n",
    "\n",
    "![](https://html5book.ru/wp-content/uploads/2014/10/DOM.png)\n",
    "\n",
    "Чтобы разобраться во взаимодействии элементов веб-страницы, необходимо рассмотреть так называемые «родственные отношения» между элементами. Отношения между множественными вложенными элементами подразделяются на родительские, дочерние и сестринские.\n",
    "\n",
    "**Предок** — элемент, который заключает в себе другие элементы. На рисунке 1 предком для всех элементов является `<html>`. В то же время элемент `<body>` является предком для всех содержащихся в нем тегов: `<h1>`, `<p>`, `<span>`, `<nav>` и т.д.\n",
    "\n",
    "**Потомок** — элемент, расположенный внутри одного или более типов элементов. Например, `<body>` является потомком `<html>`, а элемент `<p>` является потомком одновременно для `<body>` и `<html>`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Основы CSS**\n",
    "\n",
    "CSS (Cascading Style Sheets) — язык таблиц стилей, который позволяет прикреплять стиль (например, шрифты и цвет) к структурированным документам (например, документам HTML и приложениям XML). \n",
    "\n",
    "Обычно CSS-стили используются для создания и изменения стиля элементов веб-страниц и пользовательских интерфейсов, написанных на языках HTML и XHTML, но также могут быть применены к любому виду XML-документа, в том числе XML, SVG и XUL.\n",
    "\n",
    "Отделяя стиль представления документов от содержимого документов, CSS упрощает создание веб-страниц и обслуживание сайтов.\n",
    "\n",
    "Объявление стиля состоит из двух частей: селектора и объявления. В HTML имена элементов нечувствительны к регистру, поэтому «h1» работает так же, как и «H1». \n",
    "\n",
    "Объявление состоит из двух частей: имя свойства (например, color) и значение свойства (grey). \n",
    "\n",
    "Селектор сообщает браузеру, какой именно элемент форматировать, а в блоке объявления (код в фигурных скобках) перечисляются форматирующие команды — свойства и их значения.\n",
    "\n",
    "![](https://html5book.ru/wp-content/uploads/2014/12/css_osnovy.png)\n",
    "\n",
    "`<h1 class=\"headline\">Инструкция пользования персональным компьютером</h1>`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`<h1 class=\"headline\" id = \"one\">Инструкция пользования персональным компьютером</h1>`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "h1{}\n",
    "\n",
    ".headline{}\n",
    "\n",
    "#one{}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Теперь к делу, начинаем парсить\n",
    "(парсинг - это когда мы собираем открытую информацию с веб-сайтов программными методами)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "import requests #Основная библиотека для отправки http запросов. \n",
    "r = requests.get('https://ru.wikipedia.org/wiki/%D0%A1%D0%BF%D0%B8%D1%81%D0%BE%D0%BA_%D0%BA%D0%BE%D0%B4%D0%BE%D0%B2_%D1%81%D0%BE%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D1%8F_HTTP')\n",
    "r.text\n",
    "\n",
    "#https://developer.mozilla.org/ru/docs/Web/HTTP/Status\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "r = requests.get(f'http://openngopublicapi.h5.crftr.net/v1/org/?page=1&regionCode=63')\n",
    "r.json()\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Json - переводится как java script object notation.\n",
    "\n",
    "Это удобный способ организации данных, часто используемый в вебе. Ближайший аналог - питоновский словарь\n",
    "\n",
    "Подробнее https://www.json.org/json-ru.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'args': {},\n",
       " 'data': '',\n",
       " 'files': {},\n",
       " 'form': {'key': 'value'},\n",
       " 'headers': {'Accept': '*/*',\n",
       "  'Accept-Encoding': 'gzip, deflate',\n",
       "  'Content-Length': '9',\n",
       "  'Content-Type': 'application/x-www-form-urlencoded',\n",
       "  'Host': 'httpbin.org',\n",
       "  'User-Agent': 'python-requests/2.22.0',\n",
       "  'X-Amzn-Trace-Id': 'Root=1-5edc09c3-5169cd540d8b0d98da405810'},\n",
       " 'json': None,\n",
       " 'origin': '95.27.44.232',\n",
       " 'url': 'https://httpbin.org/post'}"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "r = requests.post('https://httpbin.org/post', data = {'key':'value'})\n",
    "r.json()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'message': 'Not Found',\n",
       " 'documentation_url': 'https://developer.github.com/v3'}"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "url = 'https://api.github.com/some/endpoint'\n",
    "payload = {'some': 'data'}\n",
    "\n",
    "r = requests.post(url, json=payload)\n",
    "r.json()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "Установка beautifulsoup4 - библиотеки для разбора html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "!pip install beautifulsoup4"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1928255626\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед Велосипеды в Москве\">Велосипед Велосипеды</a>"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#avito\n",
    "from bs4 import BeautifulSoup\n",
    "\n",
    "r = requests.get('https://www.avito.ru/moskva/velosipedy?geoCoords=55.764802392342986%2C37.6385320596512&pmax=10000&pmin=5000&radius=1&q=%D0%B2%D0%B5%D0%BB%D0%BE%D1%81%D0%B8%D0%BF%D0%B5%D0%B4')\n",
    "soup = BeautifulSoup(r.text)\n",
    "board = soup.select_one('.snippet-link')\n",
    "board\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1928255626'"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'https://www.avito.ru' + board['href']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "boards = soup.select('.snippet-link')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1928255626\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед Велосипеды в Москве\">Велосипед Велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosipedy_1938823020\" itemprop=\"url\" target=\"_blank\" title=\"Велосипеды в Москве\">Велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1928678730\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед Велосипеды в Москве\">Велосипед Велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1940028684\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_1943930151\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед в Москве\">Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_spitsah_velosipedy_novye_1919355311\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на спицах велосипеды новые в Москве\">Велосипед на спицах велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919600962\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_1943874446\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках в Москве\">Велосипед на литых дисках</a>,\n",
       " <a class=\"snippet-link\" href=\"/i179472473?gdlkerfdnwq=102&amp;shopId=376742&amp;page_from=from_items_list&amp;iid=1943874446\" target=\"_blank\">Велосипеды EcoSport</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_1947774635\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед в Москве\">Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_1943889391\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках в Москве\">Велосипед на литых дисках</a>,\n",
       " <a class=\"snippet-link\" href=\"/i179472473?gdlkerfdnwq=102&amp;shopId=376742&amp;page_from=from_items_list&amp;iid=1943889391\" target=\"_blank\">Велосипеды EcoSport</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1928228710\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед Велосипеды в Москве\">Велосипед Велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_1922725482\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед в Москве\">Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_fetbayk_fetbayki_velosipedy_novye_1919015944\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед фэтбайк фэтбайки велосипеды новые в Москве\">Велосипед фэтбайк фэтбайки велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1940195521\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1943168747\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1940460135\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1940445764\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919712401\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919548856\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919745857\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_gornyy_1947013766\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед горный в Москве\">Велосипед горный</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919910049\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919747783\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919773060\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1918960519\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1940027735\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1940299601\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1918941127\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919051296\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919619810\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919906091\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_1947708968\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед в Москве\">Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_gornyy_1943652731\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед горный в Москве\">Велосипед горный</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_spitsah_velosipedy_novye_1919218178\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на спицах велосипеды новые в Москве\">Велосипед на спицах велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1940911148\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_spitsah_velosipedy_novye_1919881774\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на спицах велосипеды новые в Москве\">Велосипед на спицах велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1940774815\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919052298\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919346787\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919598669\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_1946986687\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед в Москве\">Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_1947639591\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед в Москве\">Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosiped_1921923440\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед Велосипед в Москве\">Велосипед Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_1941243654\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед в Москве\">Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919271549\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosiped_1921091076\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед Велосипед в Москве\">Велосипед Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosiped_1920958871\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед Велосипед в Москве\">Велосипед Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919460366\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед на литых дисках велосипеды новые в Москве\">Велосипед на литых дисках велосипеды новые</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_1941316376\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед в Москве\">Велосипед</a>,\n",
       " <a class=\"snippet-link\" href=\"/moskva/velosipedy/velosiped_velosipedy_1929556343\" itemprop=\"url\" target=\"_blank\" title=\"Велосипед велосипеды в Москве\">Велосипед велосипеды</a>]"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "boards"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1928255626',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosipedy_1938823020',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1928678730',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940028684',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_1943930151',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_spitsah_velosipedy_novye_1919355311',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919600962',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_1943874446',\n",
       " 'https://www.avito.ru/i179472473?gdlkerfdnwq=102&shopId=376742&page_from=from_items_list&iid=1943874446',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_1947774635',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_1943889391',\n",
       " 'https://www.avito.ru/i179472473?gdlkerfdnwq=102&shopId=376742&page_from=from_items_list&iid=1943889391',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1928228710',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_1922725482',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_fetbayk_fetbayki_velosipedy_novye_1919015944',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940195521',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1943168747',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940460135',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940445764',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919712401',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919548856',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919745857',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_gornyy_1947013766',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919910049',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919747783',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919773060',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1918960519',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940027735',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940299601',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1918941127',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919051296',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919619810',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919906091',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_1947708968',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_gornyy_1943652731',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_spitsah_velosipedy_novye_1919218178',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940911148',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_spitsah_velosipedy_novye_1919881774',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940774815',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919052298',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919346787',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919598669',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_1946986687',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_1947639591',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosiped_1921923440',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_1941243654',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919271549',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosiped_1921091076',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosiped_1920958871',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919460366',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_1941316376',\n",
       " 'https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1929556343']"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "hrefs = [x['href'] for x in boards]\n",
    "links = ['https://www.avito.ru' + x for x in hrefs]\n",
    "links"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Велосипед Велосипеды в Москве',\n",
       " 'Велосипеды в Москве',\n",
       " 'Велосипед Велосипеды в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед в Москве',\n",
       " 'Велосипед на спицах велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках в Москве',\n",
       " None,\n",
       " 'Велосипед в Москве',\n",
       " 'Велосипед на литых дисках в Москве',\n",
       " None,\n",
       " 'Велосипед Велосипеды в Москве',\n",
       " 'Велосипед в Москве',\n",
       " 'Велосипед фэтбайк фэтбайки велосипеды новые в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед горный в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед в Москве',\n",
       " 'Велосипед горный в Москве',\n",
       " 'Велосипед на спицах велосипеды новые в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед на спицах велосипеды новые в Москве',\n",
       " 'Велосипед велосипеды в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед в Москве',\n",
       " 'Велосипед в Москве',\n",
       " 'Велосипед Велосипед в Москве',\n",
       " 'Велосипед в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед Велосипед в Москве',\n",
       " 'Велосипед Велосипед в Москве',\n",
       " 'Велосипед на литых дисках велосипеды новые в Москве',\n",
       " 'Велосипед в Москве',\n",
       " 'Велосипед велосипеды в Москве']"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cont = [x.get('title') for x in boards] #когда мы парсим, мы используем \"осторожные методы\" работы с данными\n",
    "cont"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['88.99.149.206',\n",
       " '178.150.107.232',\n",
       " '167.99.203.220',\n",
       " '188.166.22.22',\n",
       " '50.62.31.62',\n",
       " '41.84.156.46',\n",
       " '98.143.147.146',\n",
       " '157.245.231.94',\n",
       " '119.8.43.40',\n",
       " '103.241.227.100',\n",
       " '98.143.147.147',\n",
       " '91.238.248.206',\n",
       " '111.230.138.177',\n",
       " '95.216.33.245',\n",
       " '45.147.199.142',\n",
       " '109.194.175.135',\n",
       " '45.11.27.114']"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from bs4 import BeautifulSoup\n",
    "r = requests.get('https://sockslist.net/list/proxy-socks-5-list/')\n",
    "soup = BeautifulSoup(r.text)\n",
    "ips_list = list(map(lambda x: x.text, soup.select('.t_ip')))\n",
    "ips_list"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А дальше изучайте этот вопрос вот тут:\n",
    "\n",
    "\n",
    "https://requests.readthedocs.io/en/master/user/advanced/#proxies\n",
    "    \n",
    "https://qna.habr.com/q/649336"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Находим цену!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'5000'"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "price_list = []\n",
    "r = requests.get('https://www.avito.ru/sankt-peterburg/sport_i_otdyh/snoubord_komplekty_vseh_razmerov_1824502191')\n",
    "soup = BeautifulSoup(r.text)\n",
    "price = soup.select('.js-item-price')[0]['content']\n",
    "price"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[9998, 7000, 9998, 9690, 9900, 9500, 9500, 9900, 0, 8800]"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from random import randint\n",
    "from time import sleep\n",
    "\n",
    "price_list = []\n",
    "for link in links[:10]:\n",
    "    r = requests.get(link)\n",
    "    soup = BeautifulSoup(r.text)\n",
    "    try:\n",
    "        price = soup.select('.js-item-price')[0]['content']\n",
    "    except IndexError:\n",
    "        price = 0\n",
    "    price_list.append(int(price))\n",
    "    sleep(randint(1,3))\n",
    "\n",
    "price_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "randint(1,3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "dct = {'Product' : cont[:10], 'link': links[:10], 'price' : price_list}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Product</th>\n",
       "      <th>link</th>\n",
       "      <th>price</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Велосипед Велосипеды в Москве</td>\n",
       "      <td>https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1928255626</td>\n",
       "      <td>9998</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Велосипеды в Москве</td>\n",
       "      <td>https://www.avito.ru/moskva/velosipedy/velosipedy_1938823020</td>\n",
       "      <td>7000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Велосипед Велосипеды в Москве</td>\n",
       "      <td>https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1928678730</td>\n",
       "      <td>9998</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Велосипед велосипеды в Москве</td>\n",
       "      <td>https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940028684</td>\n",
       "      <td>9690</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Велосипед в Москве</td>\n",
       "      <td>https://www.avito.ru/moskva/velosipedy/velosiped_1943930151</td>\n",
       "      <td>9900</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>Велосипед на спицах велосипеды новые в Москве</td>\n",
       "      <td>https://www.avito.ru/moskva/velosipedy/velosiped_na_spitsah_velosipedy_novye_1919355311</td>\n",
       "      <td>9500</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>Велосипед на литых дисках велосипеды новые в Москве</td>\n",
       "      <td>https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919600962</td>\n",
       "      <td>9500</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>Велосипед на литых дисках в Москве</td>\n",
       "      <td>https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_1943874446</td>\n",
       "      <td>9900</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>None</td>\n",
       "      <td>https://www.avito.ru/i179472473?gdlkerfdnwq=102&amp;shopId=376742&amp;page_from=from_items_list&amp;iid=1943874446</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>Велосипед в Москве</td>\n",
       "      <td>https://www.avito.ru/moskva/velosipedy/velosiped_1947774635</td>\n",
       "      <td>8800</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               Product  \\\n",
       "0                        Велосипед Велосипеды в Москве   \n",
       "1                                  Велосипеды в Москве   \n",
       "2                        Велосипед Велосипеды в Москве   \n",
       "3                        Велосипед велосипеды в Москве   \n",
       "4                                   Велосипед в Москве   \n",
       "5        Велосипед на спицах велосипеды новые в Москве   \n",
       "6  Велосипед на литых дисках велосипеды новые в Москве   \n",
       "7                   Велосипед на литых дисках в Москве   \n",
       "8                                                 None   \n",
       "9                                   Велосипед в Москве   \n",
       "\n",
       "                                                                                                     link  \\\n",
       "0                                  https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1928255626   \n",
       "1                                            https://www.avito.ru/moskva/velosipedy/velosipedy_1938823020   \n",
       "2                                  https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1928678730   \n",
       "3                                  https://www.avito.ru/moskva/velosipedy/velosiped_velosipedy_1940028684   \n",
       "4                                             https://www.avito.ru/moskva/velosipedy/velosiped_1943930151   \n",
       "5                 https://www.avito.ru/moskva/velosipedy/velosiped_na_spitsah_velosipedy_novye_1919355311   \n",
       "6            https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_velosipedy_novye_1919600962   \n",
       "7                             https://www.avito.ru/moskva/velosipedy/velosiped_na_lityh_diskah_1943874446   \n",
       "8  https://www.avito.ru/i179472473?gdlkerfdnwq=102&shopId=376742&page_from=from_items_list&iid=1943874446   \n",
       "9                                             https://www.avito.ru/moskva/velosipedy/velosiped_1947774635   \n",
       "\n",
       "   price  \n",
       "0   9998  \n",
       "1   7000  \n",
       "2   9998  \n",
       "3   9690  \n",
       "4   9900  \n",
       "5   9500  \n",
       "6   9500  \n",
       "7   9900  \n",
       "8      0  \n",
       "9   8800  "
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd  \n",
    "pd.set_option('max_colwidth', 800)\n",
    "df = pd.DataFrame(dct) \n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Подробнее про селекторы или локаторы\n",
    "\n",
    "XPath (XML path) - это язык для нодов (nodes) в XML документе.\n",
    "Так как многие браузеры поддерживают XHTML, то мы можем использовать XPath для нахождения элементов на web страницах.\n",
    "\n",
    "Важным различием между CSS и XPath локаторами является то, что, используя XPath, мы можем производить перемещение как в глубину DOM иерархии, так и возвращаться назад. \n",
    "Что же касается CSS, то тут мы можем двигаться только в глубину. Это значит, что с XPath можем найти родительский элемент, по дочернему.\n",
    "\n",
    "https://comaqa.gitbook.io/selenium-webdriver-lectures/selenium-webdriver.-slozhnye-voprosy./lokatory.-css-xpath-jquery.\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Парcинг сайтов с помощью **selenium**\n",
    "https://selenium-python.readthedocs.io/installation.html\n",
    "\n",
    "https://selenium-python.com/install-geckodriver\n",
    "\n",
    "Когда нужен? \n",
    "\n",
    "1) Когда нужна авторизация\n",
    "\n",
    "2) Когда нам нужно пройти AJAX сценарий\n",
    "\n",
    "AJAX, Ajax (ˈeɪdʒæks, от англ. Asynchronous Javascript and XML — «асинхронный JavaScript и XML») — подход к построению интерактивных пользовательских интерфейсов веб-приложений, заключающийся в «фоновом» обмене данными браузера с веб-сервером. В результате, при обновлении данных веб-страница не перезагружается полностью, и веб-приложения становятся быстрее и удобнее. По-русски иногда произносится транслитом как «аякс». У аббревиатуры AJAX нет устоявшегося аналога на кириллице. \n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium import webdriver\n",
    "from selenium.webdriver.common.keys import Keys\n",
    "from bs4 import BeautifulSoup\n",
    "\n",
    "\n",
    "driver = webdriver.Firefox()\n",
    "driver.get(\"http://zpp.rospotrebnadzor.ru/Forum/Appeals\")\n",
    "source = driver.page_source\n",
    "soup = BeautifulSoup(source)\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "button = driver.find_element_by_xpath(\"//a[@onclick='PagerNextClick()']\") \n",
    "button.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-19-bbc86016f68b>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[1;32m      3\u001b[0m     \u001b[0mbutton\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mdriver\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mfind_element_by_xpath\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"//a[@onclick='PagerNextClick()']\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m     \u001b[0mbutton\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mclick\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 5\u001b[0;31m     \u001b[0msleep\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "from time import sleep\n",
    "while True:\n",
    "    button = driver.find_element_by_xpath(\"//a[@onclick='PagerNextClick()']\") \n",
    "    button.click()\n",
    "    sleep(1)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}