Аналіз доступності шкіл у Подільському районі м. Києва.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Аналіз ситуації з доступністю шкіл Подільського району м. Києва"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Імпорт необхідних модулів:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 238,
   "metadata": {},
   "outputs": [],
   "source": [
    "# -*- coding: utf-8 -*-\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import geopandas as gpd\n",
    "from shapely.geometry import Point\n",
    "from geopy.geocoders import GoogleV3\n",
    "from ipywidgets import IntProgress\n",
    "from IPython.display import display\n",
    "import requests\n",
    "import re"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h2>1. Підготовка датасету до роботи</h2>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Парсимо html-таблицю з прив'язками будинків до шкіл:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 239,
   "metadata": {},
   "outputs": [],
   "source": [
    "table = pd.read_html('./html/Sheet2.html')[0].drop(columns=['D','Unnamed: 0']).dropna()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Правимо помилки в назвах вулиць:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 240,
   "metadata": {},
   "outputs": [],
   "source": [
    "errors = {\n",
    "    'вул. Пиритсько-Микільська' : 'вул. Притисько-Микільська',\n",
    "    'вул. Н. Юрківська' : 'вул. Нижньоюрківська',\n",
    "    'пров.' : 'провулок'\n",
    "    }\n",
    "table.B.replace(to_replace=errors, inplace=True, regex=True)\n",
    "table.B[table.C[table.C == '17/18/а'].index] = 'вул. Борисоглібська'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Правимо помилки в номерах будинків:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 241,
   "metadata": {},
   "outputs": [],
   "source": [
    "errors = {\n",
    "    '1315':'13','ОСбб':'','асек.1':'а секція 1',\n",
    "    'асек.2':'а',' ЖБК':'','бб':'б','34аб':'34б',\n",
    "    '/а':'а'\n",
    "    }\n",
    "table.C.replace(to_replace=errors, inplace=True, regex=True)\n",
    "table = table[~table.C.str.contains('»|!')]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Зберігаємо готовий до роботи датасет у файл <b>clean_original_dataset.csv</b>:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 242,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>A</th>\n",
       "      <th>B</th>\n",
       "      <th>C</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ЗЗСО №2</td>\n",
       "      <td>вул. Кирилівська</td>\n",
       "      <td>117</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ЗЗСО №2</td>\n",
       "      <td>вул. Кирилівська</td>\n",
       "      <td>119/1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>ЗЗСО №2</td>\n",
       "      <td>вул. Кирилівська</td>\n",
       "      <td>121/2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ЗЗСО №2</td>\n",
       "      <td>вул. Кирилівська</td>\n",
       "      <td>123</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ЗЗСО №2</td>\n",
       "      <td>вул. Кирилівська</td>\n",
       "      <td>127</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         A                 B      C\n",
       "0  ЗЗСО №2  вул. Кирилівська    117\n",
       "1  ЗЗСО №2  вул. Кирилівська  119/1\n",
       "2  ЗЗСО №2  вул. Кирилівська  121/2\n",
       "3  ЗЗСО №2  вул. Кирилівська    123\n",
       "4  ЗЗСО №2  вул. Кирилівська    127"
      ]
     },
     "execution_count": 242,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "table.to_csv('./csv/clean_original_dataset.csv')\n",
    "table.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h2>2. Отримання адрес загальноосвітніх шкіл Подільського району</h2>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Читаємо підготовлений датасет:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 243,
   "metadata": {},
   "outputs": [],
   "source": [
    "table = pd.read_csv('./csv/clean_original_dataset.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Парсимо адреси шкіл Подільського району м. Києва з офіційного державного сайту:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 244,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Скорочена</th>\n",
       "      <th>Адреса</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>В(З)СШ №27</td>\n",
       "      <td>Україна, м.Київ, Подільський район, пров. Цимл...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>В(з)ш№2</td>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Гречк...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Гімназія № 257 \"Синьоозерна\"</td>\n",
       "      <td>Україна, м.Київ, Подільський район, просп. Г. ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Гімназія №19 \"Межигірська\"</td>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Межиг...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Гімназія №34 \"Либідь\" ім. Віктора Максименка</td>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Межов...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                      Скорочена  \\\n",
       "0                                    В(З)СШ №27   \n",
       "1                                       В(з)ш№2   \n",
       "2                  Гімназія № 257 \"Синьоозерна\"   \n",
       "3                    Гімназія №19 \"Межигірська\"   \n",
       "4  Гімназія №34 \"Либідь\" ім. Віктора Максименка   \n",
       "\n",
       "                                              Адреса  \n",
       "0  Україна, м.Київ, Подільський район, пров. Цимл...  \n",
       "1  Україна, м.Київ, Подільський район, вул. Гречк...  \n",
       "2  Україна, м.Київ, Подільський район, просп. Г. ...  \n",
       "3  Україна, м.Київ, Подільський район, вул. Межиг...  \n",
       "4  Україна, м.Київ, Подільський район, вул. Межов...  "
      ]
     },
     "execution_count": 244,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "r = requests.get('https://kv.isuo.org/authorities/schools-list/id/771')\n",
    "school_adress = pd.read_html(r.content, header=0)[0][['Скорочена', 'Адреса']]\n",
    "school_adress.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Видаляємо \"особливі\" (інтернати, реабілітаційні, військові, приватні) школи із дата-фрейму:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 245,
   "metadata": {},
   "outputs": [],
   "source": [
    "special_schools = ['В\\(З\\)СШ', 'В\\(з\\)ш',\n",
    "                   'зсш\\-і', 'КЗНЗ', 'НВК',\n",
    "                   'ШДС', 'ТОВ', 'інтернат']\n",
    "school_adress = school_adress[~school_adress['Скорочена'].str.contains('|'.join(special_schools))]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Правимо помилки у адресах шкіл:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 246,
   "metadata": {},
   "outputs": [],
   "source": [
    "errors = {\n",
    "    '-і':'і','-А':' А',\n",
    "    '8038500000':'м.Київ, Подільський район'\n",
    "}\n",
    "school_adress[\"Адреса\"].replace(to_replace=errors, inplace=True, regex=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Генеруємо словник із пар назв шкіл та адрес шкіл:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 247,
   "metadata": {},
   "outputs": [],
   "source": [
    "def school_name_adress(School_names, School_adresses):\n",
    "    for name_names in School_names:\n",
    "        try:\n",
    "            number_names = re.findall(r'\\d+', name_names)[0]\n",
    "            for name_adresses in School_adresses.values:\n",
    "                try:\n",
    "                    number_adresses = re.findall(r'\\d+', name_adresses[0])[0]\n",
    "                    if number_adresses == number_names:\n",
    "                        yield name_names, name_adresses[1]\n",
    "                except:\n",
    "                    pass\n",
    "        except:\n",
    "            print('''Назви шкіл Подільського району, що приймають учнів за місцем \n",
    "            реєстрації повинні містити їх номер''')\n",
    "            break\n",
    "\n",
    "school_name_adress = dict(school_name_adress(table['A'].unique(), school_adress))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Створюємо дата-фрейм із адресами будинків та їх шкіл за місцем реєстрації, зберігаємо у файл <b>adresses.csv</b>:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 249,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Адреса будинку</th>\n",
       "      <th>Адреса школи</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Кирил...</td>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Копил...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Кирил...</td>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Копил...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Кирил...</td>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Копил...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Кирил...</td>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Копил...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Кирил...</td>\n",
       "      <td>Україна, м.Київ, Подільський район, вул. Копил...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                      Адреса будинку  \\\n",
       "0  Україна, м.Київ, Подільський район, вул. Кирил...   \n",
       "1  Україна, м.Київ, Подільський район, вул. Кирил...   \n",
       "2  Україна, м.Київ, Подільський район, вул. Кирил...   \n",
       "3  Україна, м.Київ, Подільський район, вул. Кирил...   \n",
       "4  Україна, м.Київ, Подільський район, вул. Кирил...   \n",
       "\n",
       "                                        Адреса школи  \n",
       "0  Україна, м.Київ, Подільський район, вул. Копил...  \n",
       "1  Україна, м.Київ, Подільський район, вул. Копил...  \n",
       "2  Україна, м.Київ, Подільський район, вул. Копил...  \n",
       "3  Україна, м.Київ, Подільський район, вул. Копил...  \n",
       "4  Україна, м.Київ, Подільський район, вул. Копил...  "
      ]
     },
     "execution_count": 249,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data = pd.DataFrame(\n",
    "       {'Адреса будинку': ['Україна, м.Київ, Подільський район, {}, {}'.format(\n",
    "                           table['B'].values[i], table['C'].values[i]) \\\n",
    "                           for i in range(0, len(table['B'].values))], \n",
    "        'Адреса школи': [school_name_adress[i] for i in table['A'].values]})\n",
    "data.to_csv('./csv/adresses.csv')\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h2>3. Геокодинг адрес за допомогою Google Maps API</h2>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вписуємо свій <b>Google API-ключ</b>:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 250,
   "metadata": {},
   "outputs": [],
   "source": [
    "key=\"AIzaSyCb3-WPT8owwRNSLhzwBXII9FMjPGzVlv0\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3>3.1 Геокодинг адрес будинків</h3>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Читаємо дата-сет з адресами будинків:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 251,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = pd.read_csv('./csv/adresses.csv')['Адреса будинку']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Заради захисту від втрати даних, краще відразу записувати їх у файл, аніж спершу додавати до pandas.DataFrame.\n",
    "Тому спочатку створюємо функцію, що почергово питає у Google координати будинків та додає їх у ітератор файлу:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 233,
   "metadata": {},
   "outputs": [],
   "source": [
    "def writeCoordinates(series, file, progress):\n",
    "    geolocator = GoogleV3(api_key=key, timeout=20)\n",
    "    for adress in series.values:\n",
    "        point = geolocator.geocode(adress)\n",
    "        lat = np.round(point.latitude, decimals=7)\n",
    "        lng = np.round(point.longitude, decimals=7)\n",
    "        file.write('{},{},{}\\n'.format(progress, lat, lng))\n",
    "        progress += 1\n",
    "        progress_bar.value = progress"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Тепер створюємо ітератор файлу, що приймає значення із функції.\n",
    "Якщо станеться помилка - в файл буде записано вже одержані координати, що дозволить легко поновитись з місця зупинки."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 237,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8b2cd2dc34f343ae974b77d62ea6d2ce",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "IntProgress(value=0, max=960)"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "progress_bar = IntProgress(min=0, max=len(data.values))\n",
    "display(progress_bar)\n",
    "with open('./csv/houses_coords.csv', 'w') as houses_coords:\n",
    "    houses_coords.write(',Широта будинку,Довгота будинку\\n')\n",
    "    progress = 0\n",
    "    writeCoordinates(data, houses_coords, progress)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3>3.2 Геокодинг адрес шкіл</h3>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Читаємо дата-сет з адресами шкіл:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 252,
   "metadata": {},
   "outputs": [],
   "source": [
    "schools_adresses = pd.read_csv('adresses.csv')['Адреса школи']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Генеруємо словник із пар <b>унікальних</b> адрес шкіл та їх координат:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 253,
   "metadata": {},
   "outputs": [],
   "source": [
    "def getCoordinates(series):\n",
    "    geolocator = GoogleV3(api_key=key, timeout=20)\n",
    "    progress = 0\n",
    "    for adress in series:\n",
    "        point = geolocator.geocode(adress)\n",
    "        lat = np.round(point.latitude, decimals=7)\n",
    "        lng = np.round(point.longitude, decimals=7)\n",
    "        progress += 1\n",
    "        yield '{},{}'.format(lat, lng)\n",
    "unique_adresses = schools_adresses.unique()\n",
    "adress_coord = dict(zip(unique_adresses, list(getCoordinates(unique_adresses))))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Зберігаємо координати шкіл у файл <b>schools_coords.csv</b>:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 254,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f5b47782d6aa42f3a7da94db7713243b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "IntProgress(value=0, max=960)"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "progress_bar = IntProgress(min=0, max=len(schools_adresses.values))\n",
    "display(progress_bar)\n",
    "with open('./csv/schools_coords.csv', 'w') as schools_coords:\n",
    "    schools_coords.write(',Широта школи,Довгота школи\\n')\n",
    "    progress = 0\n",
    "    for adress in schools_adresses.values:\n",
    "        row = '{},{}\\n'.format(progress, adress_coord[adress])\n",
    "        schools_coords.write(row)\n",
    "        progress += 1\n",
    "        progress_bar.value = progress"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h2>4. Розрахунок відстаней від будинків до шкіл</h2>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Читаємо дата-сет з координатами будинків і шкіл:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 255,
   "metadata": {},
   "outputs": [],
   "source": [
    "schools_coords = pd.read_csv('./csv/schools_coords.csv')\n",
    "houses_coords = pd.read_csv('./csv/houses_coords.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Визначаємо <b>формулу гаверсинуса</b>, рівняння, яке є окремим випадком закону гаверсинусів відносно сторін та кутів сферичних трикутників і дозволяє обчислити відстань між точками на сфері за їх довготою та широтою:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 256,
   "metadata": {},
   "outputs": [],
   "source": [
    "def haversine(lon1, lat1, lon2, lat2):\n",
    "    lon1, lat1, lon2, lat2 = map(np.radians, [lon1, lat1, lon2, lat2])\n",
    "\n",
    "    dlon = lon2 - lon1\n",
    "    dlat = lat2 - lat1\n",
    "\n",
    "    a = np.sin(dlat/2.0)**2 + np.cos(lat1) * np.cos(lat2) * np.sin(dlon/2.0)**2\n",
    "\n",
    "    c = 2 * np.arcsin(np.sqrt(a))\n",
    "    km = 6367 * c\n",
    "    return km"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Створюємо дата-фрейм із відстанями від будинків до шкіл:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 257,
   "metadata": {},
   "outputs": [],
   "source": [
    "distances = pd.DataFrame(haversine(houses_coords['Широта будинку'], \n",
    "                         houses_coords['Довгота будинку'], \n",
    "                         schools_coords['Широта школи'], \n",
    "                         schools_coords['Довгота школи']), \n",
    "                         columns=('Відстань до школи, км',))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Доповнюємо дата-фрейм із відстанями колонкою з відображенням доступності школи для мешканців будинку.\n",
    "Якщо відстань від будинку до школи менша за <b>800м</b> - значення дорівнює <b>True</b>, якщо більша - <b>False</b>:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 258,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Відстань до школи, км</th>\n",
       "      <th>Менше за 0.8км</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0.348025</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0.198128</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0.120255</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>0.054680</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0.404490</td>\n",
       "      <td>True</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Відстань до школи, км  Менше за 0.8км\n",
       "0               0.348025            True\n",
       "1               0.198128            True\n",
       "2               0.120255            True\n",
       "3               0.054680            True\n",
       "4               0.404490            True"
      ]
     },
     "execution_count": 258,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "distances['Менше за 0.8км'] = distances.iloc[:,0].apply(lambda x: True if x <= 0.8 else False)\n",
    "distances.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h2>5. Створення шейп-файлу для подальшого використання у QGis </h2>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Зберігаємо фінальний гео-дата-фрейм із точками будинків, відстаннями до школи та оцінкою доступності для школярів у csv-файл <b>distances.csv</b> та у шейп-файл <b>distances_to_schools.shp</b>:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 259,
   "metadata": {},
   "outputs": [],
   "source": [
    "distances = gpd.GeoDataFrame(distances, \n",
    "            geometry=gpd.points_from_xy(houses_coords['Довгота будинку'], \n",
    "                                        houses_coords['Широта будинку']))\n",
    "distances.to_csv('./csv/distances.csv')\n",
    "distances.to_file('./shp/distances_to_schools.shp', encoding=\"UTF-8\", driver='GeoJSON')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h2>6. Розрахунок розподілу відстаней від будинку до школи </h2>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 260,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Більше ніж 1000м</th>\n",
       "      <th>Більше ніж 800м</th>\n",
       "      <th>Більше ніж 500м</th>\n",
       "      <th>Менше ніж 500м</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>15.625%</td>\n",
       "      <td>24.271%</td>\n",
       "      <td>45.625%</td>\n",
       "      <td>54.0%</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  Більше ніж 1000м Більше ніж 800м Більше ніж 500м Менше ніж 500м\n",
       "0          15.625%         24.271%         45.625%          54.0%"
      ]
     },
     "execution_count": 260,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "distances_col = distances.loc[:,\"Відстань до школи, км\"]\n",
    "length = len(distances_col.values)\n",
    "def get_percentage(series, value, length):\n",
    "    return '{}%'.format(np.round((series > value).sum()/length*100, decimals=3))\n",
    "\n",
    "distances_distribution = {\n",
    "    'Більше ніж 1000м':get_percentage(distances_col, 1.0, length),\n",
    "    'Більше ніж 800м':get_percentage(distances_col, 0.8, length),\n",
    "    'Більше ніж 500м':get_percentage(distances_col, 0.5, length),\n",
    "    'Менше ніж 500м':('{}%'.format(np.round((distances_col < 0.5).sum()/length*100), decimals=3),),\n",
    "}\n",
    "\n",
    "distances_distribution = pd.DataFrame(distances_distribution, columns=distances_distribution.keys())\n",
    "\n",
    "distances_distribution.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h2>7. Розрахунок медіанного значення відстані від будинку до школи </h2>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 261,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Медіанне значення відстані: 454.5443619094219 м\n"
     ]
    }
   ],
   "source": [
    "median = distances.loc[:,\"Відстань до школи, км\"].median() #у км\n",
    "print('Медіанне значення відстані: {} м'.format(median*1000))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}