ml_intro.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"border:solid green 2px; padding: 20px\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "Привет :) Меня зовут Макеева Таня, и я буду делать ревью твоей работы. Предлагаю общаться на \"ты\", надеюсь, ты не против :)\n",
    "\n",
    "Мои комментарии ты сможешь найти по заголовку \"комментарий ревьюера\", а ещё они отмечены тремя цветами:   \n",
    " \n",
    "<div class=\"alert alert-danger\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "Красным цветом выделены более критические моменты, которые обязательно нужно исправить.\n",
    "    \n",
    "</div>\n",
    "\n",
    "<div class=\"alert alert-warning\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "Жёлтым цветом выделены некоторые недочёты, которые тоже стоит улучшить. Если они совсем незначительные и их немного, работа может быть принята.\n",
    "    \n",
    "</div>\n",
    "\n",
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "И зелёным цветом выделены советы на будущее, а также места, которые получились у тебя лучше всего.\n",
    "    \n",
    "</div>\n",
    "\n",
    "\n",
    "Давай вести диалог через комментарии. Задавай вопросы, если такие будут, а также пиши об изменениях в ответ на мои комментарии. Пожалуйста, оставляй свои сообщения заметным цветом, отличным от моих, чтобы я ничего не упустила. \n",
    "\n",
    "<div class=\"alert alert-info\">\n",
    "<h2> Комментарий студента </h2>\n",
    "    \n",
    "Например, ты можешь оставлять свои сообщения так.\n",
    "    \n",
    "</div>\n",
    "\n",
    "И не удаляй комментарии, чтобы вся история общения была перед глазами :)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-info\">\n",
    "Привет) Спасибо за ревью\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера v2</h2>\n",
    "    \n",
    "Рада была проверить твою работу :)\n",
    "    \n",
    "Мои комментарии по второй версии будут с отметкой v2\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Рекомендация тарифов"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Описание проекта"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Оператор мобильной связи «Мегалайн» выяснил: многие клиенты пользуются архивными тарифами. Они хотят построить систему, способную проанализировать поведение клиентов и предложить пользователям новый тариф: «Смарт» или «Ультра».\n",
    "\n",
    "В вашем распоряжении данные о поведении клиентов, которые уже перешли на эти тарифы (из проекта курса «Статистический анализ данных»). Нужно построить модель для задачи классификации, которая выберет подходящий тариф. Предобработка данных не понадобится — вы её уже сделали.\n",
    "\n",
    "Постройте модель с максимально большим значением *accuracy*. Чтобы сдать проект успешно, нужно довести долю правильных ответов по крайней мере до 0.75. Проверьте *accuracy* на тестовой выборке самостоятельно."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Содержание\n",
    "* [1. Откройте и изучите файл](#open_file)\n",
    "* [2. Разбейте данные на выборки](#split_data)\n",
    "* [3. Исследуйте модели](#analyse_models)\n",
    "  * [Дерево решений](#analyse_models.decision_tree)\n",
    "  * [Случайный лес](#analyse_models.random_forest)\n",
    "  * [Логистическая регрессия](#analyse_models.logistic_regression)\n",
    "* [4. Проверьте модель на тестовой выборке](#test_models)\n",
    "* [5. Проверьте модели на адекватность](#models_adequacy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd \n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "from sklearn.model_selection import train_test_split\n",
    "\n",
    "from sklearn.tree import DecisionTreeClassifier\n",
    "from sklearn.ensemble import RandomForestClassifier\n",
    "from sklearn.linear_model import LogisticRegression\n",
    "\n",
    "from sklearn.metrics import accuracy_score\n",
    "\n",
    "from collections import namedtuple \n",
    "\n",
    "RANDOM_STATE = 12345\n",
    "\n",
    "def analyze_df(df):\n",
    "    rows_count, columns_count = df.shape\n",
    "    print('Количество стобцов:', columns_count)\n",
    "    print('Количество строк:', rows_count)\n",
    "    display(df.head(10))\n",
    "    display(df.describe())\n",
    "    df.info()\n",
    "\n",
    "def rows_ratio_for_dfs(first_df, second_df):\n",
    "    return first_df.shape[0] / second_df.shape[0]\n",
    "\n",
    "PredictionData = namedtuple('PredictionData', ('features_train', 'target_train', 'features_valid', 'target_valid'))\n",
    "\n",
    "class ScorePredictorFactory(object):\n",
    "    class ScorePredictor(object):\n",
    "        def __init__(self, prediction_data, model_class):\n",
    "            self._prediction_data = prediction_data\n",
    "            self._model_class = model_class\n",
    "            self._score = 0\n",
    "            self._params = {}\n",
    "\n",
    "        def predict_score(self, **params):\n",
    "            model = self._model_class(random_state=RANDOM_STATE, **params)\n",
    "            model.fit(self._prediction_data.features_train, self._prediction_data.target_train)\n",
    "            predictions_valid = model.predict(self._prediction_data.features_valid)\n",
    "            score = accuracy_score(self._prediction_data.target_valid, predictions_valid)  \n",
    "            \n",
    "            if score > self._score: \n",
    "                self._score = score\n",
    "                self._params = params\n",
    "            \n",
    "            return score\n",
    "        \n",
    "        @property\n",
    "        def score(self):\n",
    "            return self._score\n",
    "    \n",
    "        @property\n",
    "        def params(self):\n",
    "            return self._params\n",
    "    \n",
    "        def __str__(self):\n",
    "            return 'Лучшее значение кол-ва правильных ответов: {:.2%} при параметрах {}'.format(self.score, self.params)\n",
    "    \n",
    "    def __init__(self, features_train, target_train, features_valid, target_valid):\n",
    "        self._prediction_data = PredictionData(features_train, target_train, features_valid, target_valid)\n",
    "        \n",
    "    def new_predictor(self, model_class):\n",
    "        return self.ScorePredictor(self._prediction_data, model_class)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "Отличное оформление кода! Я так понимаю, до практикума у тебя был опыт в программировании? :)\n",
    "   \n",
    "Как доп информация: ты сипользуешь accuracy_score() для расчёта точности модели, а ещё можно получить эту же метрику через model.score().\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"open_file\"></a>\n",
    "## 1. Откройте и изучите файл"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Описание данных**:\n",
    "- *сalls* — количество звонков\n",
    "- *minutes* — суммарная длительность звонков в минутах\n",
    "- *messages* — количество sms-сообщений\n",
    "- *mb_used* — израсходованный интернет-трафик в Мб\n",
    "- *is_ultra* — каким тарифом пользовался в течение месяца («Ультра» — 1, «Смарт» — 0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество стобцов: 5\n",
      "Количество строк: 3214\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>calls</th>\n",
       "      <th>minutes</th>\n",
       "      <th>messages</th>\n",
       "      <th>mb_used</th>\n",
       "      <th>is_ultra</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>40.0</td>\n",
       "      <td>311.90</td>\n",
       "      <td>83.0</td>\n",
       "      <td>19915.42</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>85.0</td>\n",
       "      <td>516.75</td>\n",
       "      <td>56.0</td>\n",
       "      <td>22696.96</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>77.0</td>\n",
       "      <td>467.66</td>\n",
       "      <td>86.0</td>\n",
       "      <td>21060.45</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>106.0</td>\n",
       "      <td>745.53</td>\n",
       "      <td>81.0</td>\n",
       "      <td>8437.39</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>66.0</td>\n",
       "      <td>418.74</td>\n",
       "      <td>1.0</td>\n",
       "      <td>14502.75</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>5</td>\n",
       "      <td>58.0</td>\n",
       "      <td>344.56</td>\n",
       "      <td>21.0</td>\n",
       "      <td>15823.37</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>6</td>\n",
       "      <td>57.0</td>\n",
       "      <td>431.64</td>\n",
       "      <td>20.0</td>\n",
       "      <td>3738.90</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>7</td>\n",
       "      <td>15.0</td>\n",
       "      <td>132.40</td>\n",
       "      <td>6.0</td>\n",
       "      <td>21911.60</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>8</td>\n",
       "      <td>7.0</td>\n",
       "      <td>43.39</td>\n",
       "      <td>3.0</td>\n",
       "      <td>2538.67</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>9</td>\n",
       "      <td>90.0</td>\n",
       "      <td>665.41</td>\n",
       "      <td>38.0</td>\n",
       "      <td>17358.61</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   calls  minutes  messages   mb_used  is_ultra\n",
       "0   40.0   311.90      83.0  19915.42         0\n",
       "1   85.0   516.75      56.0  22696.96         0\n",
       "2   77.0   467.66      86.0  21060.45         0\n",
       "3  106.0   745.53      81.0   8437.39         1\n",
       "4   66.0   418.74       1.0  14502.75         0\n",
       "5   58.0   344.56      21.0  15823.37         0\n",
       "6   57.0   431.64      20.0   3738.90         1\n",
       "7   15.0   132.40       6.0  21911.60         0\n",
       "8    7.0    43.39       3.0   2538.67         1\n",
       "9   90.0   665.41      38.0  17358.61         0"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>calls</th>\n",
       "      <th>minutes</th>\n",
       "      <th>messages</th>\n",
       "      <th>mb_used</th>\n",
       "      <th>is_ultra</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>count</td>\n",
       "      <td>3214.000000</td>\n",
       "      <td>3214.000000</td>\n",
       "      <td>3214.000000</td>\n",
       "      <td>3214.000000</td>\n",
       "      <td>3214.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>mean</td>\n",
       "      <td>63.038892</td>\n",
       "      <td>438.208787</td>\n",
       "      <td>38.281269</td>\n",
       "      <td>17207.673836</td>\n",
       "      <td>0.306472</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>std</td>\n",
       "      <td>33.236368</td>\n",
       "      <td>234.569872</td>\n",
       "      <td>36.148326</td>\n",
       "      <td>7570.968246</td>\n",
       "      <td>0.461100</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>min</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>25%</td>\n",
       "      <td>40.000000</td>\n",
       "      <td>274.575000</td>\n",
       "      <td>9.000000</td>\n",
       "      <td>12491.902500</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>50%</td>\n",
       "      <td>62.000000</td>\n",
       "      <td>430.600000</td>\n",
       "      <td>30.000000</td>\n",
       "      <td>16943.235000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>75%</td>\n",
       "      <td>82.000000</td>\n",
       "      <td>571.927500</td>\n",
       "      <td>57.000000</td>\n",
       "      <td>21424.700000</td>\n",
       "      <td>1.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>max</td>\n",
       "      <td>244.000000</td>\n",
       "      <td>1632.060000</td>\n",
       "      <td>224.000000</td>\n",
       "      <td>49745.730000</td>\n",
       "      <td>1.000000</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "             calls      minutes     messages       mb_used     is_ultra\n",
       "count  3214.000000  3214.000000  3214.000000   3214.000000  3214.000000\n",
       "mean     63.038892   438.208787    38.281269  17207.673836     0.306472\n",
       "std      33.236368   234.569872    36.148326   7570.968246     0.461100\n",
       "min       0.000000     0.000000     0.000000      0.000000     0.000000\n",
       "25%      40.000000   274.575000     9.000000  12491.902500     0.000000\n",
       "50%      62.000000   430.600000    30.000000  16943.235000     0.000000\n",
       "75%      82.000000   571.927500    57.000000  21424.700000     1.000000\n",
       "max     244.000000  1632.060000   224.000000  49745.730000     1.000000"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 3214 entries, 0 to 3213\n",
      "Data columns (total 5 columns):\n",
      "calls       3214 non-null float64\n",
      "minutes     3214 non-null float64\n",
      "messages    3214 non-null float64\n",
      "mb_used     3214 non-null float64\n",
      "is_ultra    3214 non-null int64\n",
      "dtypes: float64(4), int64(1)\n",
      "memory usage: 125.7 KB\n"
     ]
    }
   ],
   "source": [
    "users_df = pd.read_csv('/datasets/users_behavior.csv')\n",
    "analyze_df(users_df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Выводы**:\n",
    "* Пропусков в данных нет \n",
    "* Строки названы верно \n",
    "* Тип `calls` можно поменять на `int` потому что этот столбец означает количество звонков\n",
    "* Тип `is_ultra` можно поменять на `bool`\n",
    "* Целевой признак - `is_ultra`, этот признак является категоральным "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 3214 entries, 0 to 3213\n",
      "Data columns (total 5 columns):\n",
      "calls       3214 non-null int64\n",
      "minutes     3214 non-null float64\n",
      "messages    3214 non-null float64\n",
      "mb_used     3214 non-null float64\n",
      "is_ultra    3214 non-null bool\n",
      "dtypes: bool(1), float64(3), int64(1)\n",
      "memory usage: 103.7 KB\n"
     ]
    }
   ],
   "source": [
    "users_df['calls'] = users_df['calls'].astype('int')\n",
    "users_df['is_ultra'] = users_df['is_ultra'].astype('bool')\n",
    "users_df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-warning\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "Давай уточним. calls - это не количество звонков, а суммарное количество минут. С этим учётом твой выбор изменения типа данных остаётся прежним? Приведи аргументы в ползу своего решения :)\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-info\">\n",
    "Если посмотреть на <b>описание данных</b>, то там написано, что <i>сalls</i> — количество звонков, а <i>minutes</i> — суммарная длительность звонков в минутах. Это правда, что к <i>int</i> можно приводить только количество звонков, потому что нецелого количества звонков не бывает. Но в нашем датасете для этого параметра вроде используется <i>calls</i> .\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера v2</h2>\n",
    "    \n",
    "Прошу прощения, перепутала столбцы. Ты всё сделал верно!\n",
    "    \n",
    "[Грустный ревьюер медленно катится под стол от неуместного комментария]\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"split_data\"></a>\n",
    "## 2. Разбейте данные на выборки"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Спрятанной тестовой выборки нет. Значит, данные нужно разбить на три части: обучающую, валидационную и тестовую. Размеры тестового и валидационного наборов обычно равны. Исходные данные разбивают в соотношении 3:1:1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "users_train_df, users_valid_df = train_test_split(users_df, test_size=0.4, random_state=RANDOM_STATE)\n",
    "users_valid_df, users_test_df = train_test_split(users_valid_df, test_size=0.5, random_state=RANDOM_STATE)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Проверим, что разбили данные в правильном соотношении"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "59.99%\n",
      "20.01%\n",
      "20.01%\n"
     ]
    }
   ],
   "source": [
    "print('{:.2%}'.format(rows_ratio_for_dfs(users_train_df, users_df)))\n",
    "print('{:.2%}'.format(rows_ratio_for_dfs(users_valid_df, users_df)))\n",
    "print('{:.2%}'.format(rows_ratio_for_dfs(users_test_df, users_df)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "Выборки сформированы верно. Классно, что использовал функцию train_test_split для этого. Отлично :)\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"analyse_models\"></a>\n",
    "## 3. Исследуйте модели"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Выделим фичи и целевой показатель `is_ultra` для обучающей и валидационной выборки"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "features_train = users_train_df.drop(['is_ultra'], axis=1)\n",
    "target_train = users_train_df['is_ultra']\n",
    "\n",
    "features_valid = users_valid_df.drop(['is_ultra'], axis=1)\n",
    "target_valid = users_valid_df['is_ultra']\n",
    "\n",
    "users_score_predictor_factory = ScorePredictorFactory(features_train, target_train, features_valid, target_valid)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"analyse_models.decision_tree\"></a>\n",
    "### Дерево решений "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Будем перебирать гиперпараметр `max_depth`, который обозначает глубину решающего дерева "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAm0AAAE+CAYAAADf+Sd6AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjAsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+17YcXAAAgAElEQVR4nOzdd3xV9f3H8dc3N4sQSIAkjCSEkYQAYSPbgRMXoHUA4qiDasX607aO1oGj2mW1LWqdtRaUolVERREVKytC2ISVMELCDiMkhOzv749c2oiMBHLvyb33/Xw87sOcc8+5788JkHw84/s11lpEREREpHELcroAERERETk1NW0iIiIiPkBNm4iIiIgPUNMmIiIi4gPUtImIiIj4ADVtIiIiIj4g2OkCGkp0dLRNTk72eu7hw4dp2rSp32c6lRsomU7lBkqmU7k6Vv/LdCo3UDKdynUic+nSpQXW2th67WSt9YtXamqqdcLcuXMDItOp3EDJdCo3UDKdytWx+l+mU7mBkulUrhOZQKatZ6+jy6MiIiIiPkBNm4iIiIgPUNMmIiIi4gPUtImIiIj4ADVtIiIiIj5ATZuIiIiID1DTJiIiIuID1LSJiIiI+AA1bSIiIiI+QE2bj9lzqJQ9JdVOlyEiIiJe5jdzj/qz6mrLwk37mJKRy5x1u6muthRGbub2sztijHG6PBEREfECNW2N2MGSct5fms/U77axpeAwLSJCuG1YR5ZuyOU3s9axflcRv7kqnfAQl9OlioiIiIepaWtkrLWszC9kSkYuH6/cQVllNX3bR3PPdb24rEdbwkNcfN1kF6uq4nnhy2w2FxTzyvh+xDUPd7p0ERER8SA1bY1ESXklM1fsYMp3uazZfoiIUBc/6pfA+IFJdGvX/HvbBhnD/12YSpfWzbh/+kpGTl7Aqzf1o2dCtEPVi4iIiKepaXNYzp4ipmRs49/L8ikqraRL62Y8Nao7o/vE0yw85KT7XtqjLUmtmnLH25lc+7dF/OHaXozs1c5LlYuIiIg3qWlzQHllNbOzdjElI5fvtuwn1BXEpT3aMH5QEv2TWtTr4YJu7Zrz0cSh/HTKMn727nI27DrEzy/qQlCQHlA4HSXllWw6WEW/0opTNs0iIiLepKbNi/IPlPDu4m38a0k+BcVlJLZswoMj0riufwKtIsNO+3NjIsOYcvtAHvtoDS/O3cSGXUU8f31vNR319EXWLp74eC3bD5byVMYXdIptSq+EaHomRNEzIYpubaNoEqqHPkRExBlq2jysutryn+y9TM3I5ev1ewA4Py2OGwYlcW5KbIOdEQsNDuLZq3vQtW1znvxkLT96eSGv3dSfpFZNG+Tz/Vn+gRImzVzLl+t2k9o6kgk9w4hsncSq/EIW5BTw4fLtALiCDClxkfRKiKZHQhS9EqLp0qYZocEa7lBERDxPTZuH7CsuY3pmPu8sziVv/xFiIkO567zOjB3QnoQWER7JNMZw85AOJMdF8tOpyxj14gJeGteXIckxHsnzdRVV1bwxfwt//jIbgIcvTePWYR1ZMO9bzjsv5b/b7T5Uysq8g6zKL2TV9kJmr93FvzLzAAh1BdG1bTN6JETR031WLiWuGS5dnhYRkQampq0BWWvJzD3AlIxcPlu9i/KqagZ2bMkDl6RxSfc2XjsjMzQ5hpkTh3L7PzK58c3FPH5lN24clKSBeGtZsnU/j3y4hg27i7ioW2sev7LbCZvp1s3Dubh7Gy7u3gao+XPOP3CElfkHWZ1fyMr8g8xYvoMpGdsAaBLiIj2+OT3io+mVGEWP+Cg6tGqq+wxFROSMqGlrAEWlFcxYvp0pGdvYsLuIZmHBjBvYnhsGtieldTNHakpq1ZQPfjqE/5u2gsc+ymL9riImXdk94C/l7T9czm8/W8f0zHzio5vw2k39uahb63p9hjGGxJYRJLaM4IqeNU/rVldbNhccZvX2g6zMK2T19kLeWZzLmwtqphxrFh5Mj/j/nY3rmRBFfHQTNdIiIlJnatrOwKa9xfwjq4y7v/6Kw+VVpMc357dX92Bk73ZEhDr/rW0WHsKrN/XnuS828NI3m8jZU8zLN/Q9o4cefFV1teX9pfk8+9k6ikor+cm5nbj3gpQG+3MKCjIkx0WSHBfJVX0SAKisqmbj7uKaRi6/kNX5hbwxfzMVVRaAVk1Day6rxkfRKzGaSvd6f1ZWWcX2Ys2dKyJyOpzvLHxURVU11/5tEUVHKhnVJ4Hxg5LolRDV6M6cuIIMD4xIo0ubZjzw/ipGTl7A6zf3p2vb5qfe2U9s2FXEIzNWs2TrAfonteA3V/WgSxvPnwENdgXRrV1zurVrzvVn1awrrahiw64iVuW775HLL+TbjXupthARDGNK1nLDoPZ0jo30eH3etG1fCVMX5/JeZj77D5dzJGozt5/dyemyRER8ipq207Qi7yD7D5dzd+8wfnltL6fLOaVRvePp0KopE/6ZyY9eXsifruvFiPS2TpflUSXllfz5q2zemLeFyPBgfv+jnlzTL8HRe8vCQ1z0SoymV+L/Zq8oKa9kWe5B/vJpJm8v2sqbC7YwNLkV4wcmcWG31oS4fPOSdlW15ev1e5iSkcu32XsJMoYLu8axa08BT3+6jhBXEDcP6eB0mSIiPkNN22mal11AkIFurXxn3K5eidF8PHEYE/65lDunLOO+C1O55/xkv7xBfs7a3UyamcX2g0e4rn8CD13alZZNQ50u67giQoMZlhJDZe9wuvUbxPQleby7OI+7pi4jrlkYYwa0Z+yARNpGNXG61DrZU1TKvxbn8e7ibewoLKV18zB+dn4KYwe0p01UOF9+PZd/5Tfj8ZlZhLiCGDewvdMli4j4BDVtp2l+9l56JkTTNKTC6VLqJa55ONMmDOJXH6zm+S83smH3If54ba9GcQ9eQ9h+8AiTZmYxZ23NmGvv3TmYszq0dLqsOotrFs7E81O467xk5q7fw5Tvcvnr19m8ODeHC9LiGD8oiWHJMY2u0bbWsmjzPqZmbGN21i4qqy3DkmN47MpuXND1+2cLg4MMk8f14c5/LuVXH64mxGW4tn+ig9WLiPgG//hN7WWFRypYkXeQu4cnAzudLqfewkNcPHddL7q2bc6zn61ja0EJr93cn/ho3ziTczwVVdW8OX8LL7jHXHvo0jRuG9bRZy8tuoIMF3ZrzYXdWpO3v4Sp321jemYeX6zdTYdWEYwb2J5r+yXSwuGzh4VHKvj30nymfpfLpr2HiWoSws1DOnDDwPZ0Osl9eWHBLl4e34873s7kgX+vIsQVxOg+8V6sXETE93i0aTPGjAD+DLiA1621vz3m/eeB4e7FCCDOWhvtfu/3wOVAEDAHuNda2yger1u0aR/VFoYlx3Bkm+81bVAzbMUd53QiuXUkP3tnOSP/Op+/3djPp85KHZW5dT+/do+5dmHX1kwaeeIx13xRYssIHro0jfsuSuHzNTVz1j4zaz1//GIjV/Royw2DkujbPtqrD8Gszi9kSkYuH63cTmlFNb0So/nDNT25slc7wkPqdstAeIiLV2/sz61vLeH+6SsIcQVxeU//vs9SRORMeKxpM8a4gBeBi4B8YIkxZqa1du3Rbay199Xa/h6gj/vrIcBQoKf77fnAucA3nqq3Pubn7KVpqIs+7VuwcJvT1ZyZ4V3i+PDuodzxdibjXsvg6dHpXH+Wb9xjdOBwOb/9bD3/ysyjXVQ4r97Y778D4PqjsGAXo3rHM6p3POt3HWJqxjY+XL6dD5Zvp2vb5owf1J7RveNpGuaZf9ZHyqv4eNUOpmbksjK/kCYhLkb3jmf8oCTS46NO6zObhLp4/eb+3PL3xfxs2nKCXYZL/PjPUETkTHjyTNsAIMdauxnAGDMNGAWsPcH2Y4HH3V9bIBwIBQwQAuz2YK31Mi+7gEGdWvnNQLXJcZHM+OlQJr67jAf/vZp1O4t45PKuBDfSS4vWWt5bms+zs9ZxqLSSn5zTiZ9dkOKxZqUxSmvTnKdGp/PgpWl8tKJmYOdff7iGZ2et56o+NY1UQw1rsmlvMVMztvH+0jwOlVaSHBfJpCu7cVXfBKKahJzx5zcNC+bNW87ixjcWM/GdZbxyYz/OT6vfgMciIoHAk7/l4oG8Wsv5wMDjbWiMSQI6Al8DWGsXGWPmUnPDmAEmW2vXebDWOsvbX0LuvhJu8bOhCqIiQvj7LWfx28/W8/r8LeTsKWbyuD5ERzSuJy437i7ikQ/XsHjrfvonteDpq9JJaxM4Y84dKzIsmBsGJjFuQHuWbTvI1Ixc/pWZxz8zcjmrQwvGD0piRHobwoLr95RzRVU1c9buZkpGLgs37SPEfQZs/KAkBnZs2eCXYpuFh/CPWwcw/vXvuPOfy3j95v6ckxrboBkiIr7OeOo2MWPMNcAIa+3t7uUbgYHW2onH2fZBIMFae497OZmae+Gud28yB3jAWjvvmP0mABMAYmNj+02fPt0jx1LbN3kVvJVVzjPDmtAuMoji4mIiI707EKqnM+flV/CPrHJaNjHc2zec+Mggr+Qez9HMskrLR5sqmL21gvBguK5LKGfHBxPkgfu4nDjOhswtKrfM217B3G2V7D1iaRYKZ8eHMDwxmNiI7589PTZzf2k13+RV8m1+JQfLLK3CDeclBnNOQghRYQ3zvT7ZcRaXW363pJRdh6u5r194gw6p44//VhtTbqBkOpUbKJlO5TqROXz48KXW2v712sla65EXMBiYXWv5YeDhE2y7HBhSa/mXwKO1lh+jpmk7YV5qaqr1hrumZNpBz3xpq6urrbXWzp071yu5tXkjM3PrPtvvqTm2+2Of2y/X7vJa7rHmzp1r52TtskOe/comPfiJ/cX0FXZfcZnHM53Q0LlVVdX2mw177O3/WGI7PvSJ7fDQJ/aWN7+zX67dZSur/vf393jb3XzMdg3pVMdZUFRqL/rTNzbtkc/sd5v3eS3XE/zl75Iync8NlEyncp3IBDJtPXsrT14eXQKkGGM6AtuBMcC4YzcyxqQBLYBFtVZvA+4wxjxLzeXRc4EXPFhrnVRVWxbk7OPibq0b3XRVDa1fUktmThzKhH9mcvvbmfzi4i40PVTFmu2FXquhrLKavywrZdmeTFLiIpn+k8EM6Oh7T7c6JSjIcG5qLOemxrLj4BGmLd7Gu0vyuO0fmcRHN2HcwPbkbi3n8SXfkLuvhJZNQ5lwTmduGNiexJbOPX3bKjKMqbcP4vpXF/Hjvy/m7dsG0i+phWP1iIg0Fh5r2qy1lcaYicBsaob8eNNam2WMeZKa7nKme9MxwDR313nU+8D5wGpqHkr43Fr7sadqravV2wspPFLBsJQYp0vxinbRTXjvJ0P4xfsr+cPsDTUrF833ag2hQfDgiJox1/zlwQ8ntItuwv0Xd+GeC1L+e6/a0T/TszpEcv9Fqad175unxDYL4907BnH9K4u45c3FTL1jID0Tok+9o4iIH/Po43bW2lnArGPWPXbM8qTj7FcF/MSTtZ2O+dl7gZrx2QJFk1AXk8f2YfzAJDKWLic9vYdX84u2ZXH1eZ29munPQlxBXNajLZf1aMvWgsMszPiOcVcMcbqs42rdPJx37hjEda8s4sY3FvPOHQPp3u70hhYREfEHgTNGQgP4NruA7u2a0yoyzOlSvMoYw+DOrSjLC+a8bt4diuGbPY3ioWG/1CGmKVsjG/fZy3bRTf57xm38698xbcLgBhvKRETE1zTun9iNyOGySpZvOxAwl0ZFGovElhG8c8cgQoODuOH1DHL2FDtdkoiII9S01dF3W/ZRUWU5J0VjR4l4W4eYpky9fRBgGPdaBlsKDjtdkoiI16lpq6NvNxYQFhykp9hEHJIcF8k7dwykstoy7rUM8vaXOF2SiIhXqWmro/k5BQzo2LLOk2GLSMNLbd2MKbcNpKS8ijGvZrD94BGnSxIR8Ro1bXWws/AIOXuKdWlUpBHo1q45U24byKHSCsa9lsGuwlKnSxIR8Qo1bXUwP7sAQA8hiDQSPRKi+MetAygoKmPcaxnsKVLjJiL+T01bHczLLiAmMow0DTUg0mj0bd+Ct24dwM7CUm547Tv2FZc5XZKIiEepaTuF6mrLgpwCzk6J8fupq0R8zVkdWvLGLf3Ztr+EG17/jgOHy50uSUTEY9S0ncK6XYfYd7g8oGZBEPElQzrH8NpN/dlccJgb3/yOwiMVTpckIuIRatpOYZ7uZxNp9M5JjeWV8f3YsKuIm95cTFGpGjcR8T9q2k5hfnYBqa0jad083OlSROQkhqfF8eK4vmRtL+SWvy/hcFml0yWJiDQoNW0nUVpRxeKt+zlbQ32I+ISLu7fhz2P6sHzbAW59awlHyqucLklEpMGoaTuJxVv2U15ZrUujIj7k8p5tef763izeup873s6ktEKNm4j4BzVtJzE/p4BQVxADO7Z0uhQRqYdRveP5/Y96Mj+ngDunLKWsUo2biPi+YKcLaMzmZRfQL6kFEaH6Non4mmv7J1JRZfnVh6u5e+pyxiRap0sSETkjOtN2AnuLyli385AujYr4sHED2/PkqO58uW43723QGG4i4tvUtJ3AgpyaoT7OVtMm4tNuGtyBcQPb80VuJVk7Cp0uR0TktKlpO4F52QW0iAihe7sop0sRkTP04CVpRIbCozPWUF2ty6Qi4pvUtB2HtZb5OXsZkhyDK0hTV4n4uqiIEK7vEsqybQd5b2me0+WIiJwWNW3Hkb2nmN2HyjhbU1eJ+I2h7YIZ0KElz362nv2ao1REfJCatuPQ1FUi/scYw1Oj0ykqreT3n693uhwRkXpT03Yc87P30immKQktIpwuRUQaUJc2zbhtWEemLcljae4Bp8sREakXNW3HKKusImPzfp1lE/FT916QQpvm4TwyYw2VVdVOlyMiUmdq2o6xLPcgRyqqNN+oiJ9qGhbM41d2Y93OQ7y9KNfpckRE6kxN2zHm5+zFFWQY1ElTV4n4qxHpbTg3NZY/zdnI7kOlTpcjIlInatqOMS+7gD6J0TQLD3G6FBHxEGMMT4zsTnlVNU9/us7pckRE6kRNWy0HDpezenuh7mcTCQAdYpry0/M68/HKHf+dAUVEpDFT01bLwk37sBbdzyYSIO48tzNJrSJ49KM1lFVWOV2OiMhJqWmrZX7OXpqFB9MrQVNXiQSC8BAXT4zszua9h3l93hanyxEROSmPNm3GmBHGmA3GmBxjzEPHef95Y8wK92ujMeage/3wWutXGGNKjTGjPVmrtZZvNxYwuFMrgl3qZUUCxXld4rg0vQ1/+SqbvP0lTpcjInJCHutOjDEu4EXgUqAbMNYY0632Ntba+6y1va21vYG/Ah+418+ttf58oAT4wlO1AmzdV8L2g0c4O1WXRkUCzaNXdMMVZHji4yynSxEROSFPnlIaAORYazdba8uBacCok2w/Fnj3OOuvAT6z1nr0f4HnZ+8F0HyjIgGoXXQT/u/CFL5ct4c5a3c7XY6IyHF5smmLB/JqLee71/2AMSYJ6Ah8fZy3x3D8Zq5BfZtdQEKLJiS10tRVIoHox0M7kto6kkkzsygpr3S6HBGRHzDWWs98sDHXACOstbe7l28EBlprJx5n2weBBGvtPcesbwusAtpZayuOs98EYAJAbGxsv+nTp59WrVXVlolflzCwTTC3pIfVa9/i4mIiIyNPK/d0OZHpVG6gZDqVGyiZdc3dsL+KZxeXckWnEK5JDfVKpicEyp+rvr/+l+lUrhOZw4cPX2qt7V+vnay1HnkBg4HZtZYfBh4+wbbLgSHHWX8v8Gpd8lJTU+3pyty6zyY9+In9dNWOeu87d+7c0849XU5kOpUbKJlO5QZKZn1y7//XCpv8q09t9u5DXstsaIHy56rvr/9lOpXrRCaQaevZW3ny8ugSIMUY09EYE0rNZc6Zx25kjEkDWgCLjvMZJ7rPrUF9u7EAY2BI51aejhKRRu7hy9JoEuLi0RlZR//nUUSkUfBY02atrQQmArOBdcB0a22WMeZJY8zIWpuOAabZY346GmM6AInAfzxV41HzcwromRBNdMSZXw4REd8WExnGAyPSWLR5HzNX7nC6HBGR/wr25Idba2cBs45Z99gxy5NOsO9WTvDgQkM6VFrBiryD3HVuZ09HiYiPGDugPe9l5vHUJ+sYnhZHc81FLCKNQMCPIpuxaR9V1VbzjYrIf7mCDE+P7sG+w2X86YuNTpcjIgKoaWNedgERoS76tm/hdCki0oj0SIjixkFJvL1oK2u2FzpdjoiImrb5OQUM6tSK0OCA/1aIyDF+fnEXWjYN5dcz1lBdrYcSRMRZAd2p5O0vYUvBYYZpFgQROY6oJiH8+vKurMw7yLQleafeQUTEgwK6aZufUwDA2bqfTUROYHTveAZ2bMnvPl/PvuIyp8sRkQAW2E1bdgFtmoeTHOf9EZ9FxDcYY3h6dDqHyyr53efrnS5HRAJYwDZtVdWWBZsKGJYSgzHG6XJEpBFLad2M28/uxPTMfDK37ne6HBEJUAHbtK3ZXsjBkgpdGhWROvnZBcm0iwrnkRlrqKyqdrocEQlAAdu0Hb2fbageQhCROogIDeaxK7uzflcRby3c6nQ5IhKAArZpm5e9l25tmxMTGeZ0KSLiIy7p3prhXWJ5fs5GdhWWOl2OiASYgGzaDpdVsjT3gC6Niki9GGN4YmQ6ldWWpz5d63Q5IhJgArJpW7xlPxVVlrNTYp0uRUR8TPtWEdw9PJlPV+3k2417nS5HRAJIQDZt87ILCAsOon8HTV0lIvU34ZxOdIxpymMfraG0osrpckQkQARk0zY/Zy8DOrYkPMTldCki4oPCQ1w8MbI7W/eV8Oq3m50uR0QCRMA1bbsKS9m4u1j3s4nIGTknNZbLe7Zl8twccvcddrocEQkAAde0HR3qY1iy7mcTkTPz6OXdCAkyTJqZhbWaUF5EPCvwmrbsvcREhpLWppnTpYiIj2sTFc59F6Uyd8NeZmftdrocEfFzAdW0VVdb5ucUMDQ5hqAgTV0lImfuliEdSGvTjCc/zuJwWaXT5YiIHwuopm39riIKiss11IeINJhgVxBPj05nR2Epf/k62+lyRMSPBVTTNj+nZkylYZq6SkQaUP8OLbmufwJvzNvCxt1FTpcjIn4qoJq2edkFpMRF0iYq3OlSRMTPPHRpVyLDg3lkxho9lCAiHhEwTVtpRRWLt+zXpVER8YiWTUN5cEQai7fs58Pl250uR0T8UMA0bZlbD1BWWa3x2UTEY67vn0jvxGiembWOwiMVTpcjIn4mYJq2eTl7CXEZBnZq6XQpIuKngoIMT49OZ//hcp77YoPT5YiInwmcpm1jAf2SWhARGux0KSLix9Ljo7hpcAf+mZHL1kLNSyoiDScgOpiC4jLW7jzELy/p4nQpIhIA7r84lU9W7eSZxaW8uOZLr2ZHhLoY1b6K87yaKiLeEBBN24L/Tl2l+9lExPOah4fw+s39eWHmd7Rt29qr2SvzDvKX5SWExmZz9/BkjNFA4iL+IiCatnnZBURHhJAeH+V0KSISIHonRnNL9zDOO6+HV3NLK6r48ctz+OMXG1m/q4g/XNOLJqEur9YgIp7h9/e0WWuZn13A0M4xuDR1lYj4ufAQFxN6hPHwpWl8unon176ykB0Hjzhdlog0AL9v2jbtLWbXoVKGaagPEQkQxhh+cm5n3rz5LHILShg5eQFLc/c7XZaInCGPNm3GmBHGmA3GmBxjzEPHef95Y8wK92ujMeZgrffaG2O+MMasM8asNcZ0OJ0avt2o+9lEJDANT4vjw7uHEBnmYuyr3zE9M8/pkkTkDHisaTPGuIAXgUuBbsBYY0y32ttYa++z1va21vYG/gp8UOvtt4E/WGu7AgOAPadTx/ycAjrGNCWxZcTp7C4i4tOS45ox4+6hDOjYkgfeX8VTn6ylsqra6bJE5DR48kzbACDHWrvZWlsOTANGnWT7scC7AO7mLthaOwfAWltsrS2pbwHlldVkbN6ns2wiEtCiI0J568dn8eOhHXhj/hZ+/NYSCks0Y4OIr/Fk0xYP1D4Xn+9e9wPGmCSgI/C1e1UqcNAY84ExZrkx5g/uM3f1smzbAUrKq3Q/m4gEvGBXEI9f2Z3f/agHGZv3MfqlBeTsKXa6LBGpB2Ot9cwHG3MNMMJae7t7+UZgoLV24nG2fRBIsNbeU2vfN4A+wDbgX8Asa+0bx+w3AZgAEBsb22/69Onf+9x/byzn0y0VTD4/gogQzzw5WlxcTGRkpEc+uzFlOpUbKJlO5QZKplO5jfVYsw9U8dflpVRUw129wugZe+ajP+n7q0xfznUic/jw4Uuttf3rtZO11iMvYDAwu9byw8DDJ9h2OTCk1vIg4D+1lm8EXjxZXmpqqj3WyMnz7dUvLfjB+oY0d+5cj35+Y8l0KjdQMp3KDZRMp3Ib87HmHyixl77wre3w0Cf2lf/k2Orqao9nNrTG/P1Vpm/lOpEJZNp69laevDy6BEgxxnQ0xoQCY4CZx25kjEkDWgCLjtk32hgT614+H1hbn/CDJeWszj+o+9lERI4jProJ7981mMvS2/LMrPX8fPpKSis0V6pIY+axps1aWwlMBGYD64Dp1tosY8yTxpiRtTYdA0xzd51H960CfgF8ZYxZDRjgtfrkL9y0j2oL56SqaRMROZ6I0GAmj+vD/Rel8sHy7Yx5NYM9h0qdLuuUVucX8uD7q3hhaSlllWo0JXB4dBora+0sYNYx6x47ZnnSCfadA/Q83ex52QU0CwumV0L06X6EiIjfM8bwswtSSG3djPunr+DKyfN59cb+9EpsXD87j5RX8fGqHUzNyGVlfiHhIUGUVlTz2rebmXh+itPliXiFX86IYK1lXvZeBnVuRbDLLw9RRKRBjUhvw7/vGkJwUBDXvbKIj1Zsd7okoGZWmyc/XsvAZ77kgfdXcbi8iidGdmfxry/krDYu/vp1Dnn76z0ilIhP8ssJ43P3lZB/4Ag/OaeT06WIiPiMrm2bM3PiUO6auox7p61g/a4ifnFxF6/P21xRVc2ctbuZkpHLwk37CHEZLunehvGDkhjYsSXG1NQzLi2UtQvLeXxmFm/c3P+/60X8lV82bfNy3FNXpcSeYksREamtVWQYU24byKSPs3j5m01s3AsqgXYAACAASURBVFXEC2N60yw8xOPZOwuP8O5325i2JI89RWXERzfhl5d04br+icQ2C/vB9i3Cg7jvolSe/nQdc9bu5uLubTxeo4iT/LJpm5+9l/joJnRopamrRETqKzQ4iGeu6kHXts2ZNDOLq15ayOs39adDTNMGz6qutszLKWBKRi5frduNBc5LjeXZQUmc1yXulGf5bh7SgfeX5vPEx2sZlhJDRKhf/loTAfywaausqmZhzj6u6NVWp8pFRM7AjYOS6BzblJ9OXcaoFxfw0g19GdpAwyjtP1zOe5l5vLN4G7n7SmjVNJSfnNuZcQPa12uu6BBXEE+NTufavy1i8tc5PDAirUHqE2mM/K5pW5lfSFFZJcOSdWlURORMDekcw8y7h3H720u46c3FPHp5V24e0uG0/qfYWsuybQeZmpHLJ6t3Ul5ZzYAOLbn/olRGpLchLLjesxUCcFaHllzbL4HX5m3m6r7xJMc1O63PEWns/K5pm59dgDEwpHMrp0sREfEL7VtF8MFPh/J/01Yw6eO1rN9VxJOj0gkNrtvT+YfLKpmxYjtTMraxbuchIsOCub5/IuMHJdGlTcM0WA9dmsYXa3fz6Iws3rljoK60iF/yv6YtZy894qNo0TTU6VJERPxGZFgwr97Yjz/N2cjkuTls2lvMy+P7ERP5wwcEjtqwq4gpGbl8uHw7xWWVdG3bnN9clc6o3vFEhjXsr59WkWE8OCKNX324mpkrdzCqd3yDfr5IY+BXTVtRaQXLth3kznM11IeISEMLCjL84pIupLZpxi/fW8moyQt49aZ+dG8X9d9tyiqr+HzNLqZk5LJk6wFCg4O4okdbbhiURN/20R49AzbmrET+lZnHU5+sY3haHM298MSriDfVuWkzxgwDUqy1f3fPCRpprd3iudLqL2Pzfqqqre5nExHxoJG92tGxVVPueDuTa15exJ+u60VxSTW//Ww972Xmse9wOUmtIvjVZWlc0y+Rll668hEUZHh6VDqjXpzPn77YyKSR3b2SK+ItdWrajDGPA/2BLsDfgRBgCjDUc6XV3/zsvTQJcdE3qXFNvyIi4m96JEQx856h/OSfS7lr6jIMYMwmLujamvGDkjg7OYYgLw/Ke7SuGwcl8fairVzTL4H0+KhT7iPiK+o6x9NVwEjgMIC1dgfQ6B7PmZddwKBOLU/7CSQREam7uGbhTJswiHsvSGFk5xDmP3g+r93Un3NTYx1p2I66/+IutGwaxq9nrKG62jpWh0hDq2vTVm6ttYAFMMY0/AiLZ6iyGjYXHNYsCCIiXhQW7OK+i1K5KiWUdtFNnC4HgKgmITxyeVdW5h1k2pI8p8sRaTB1bdqmG2NeAaKNMXcAXwKvea6s+jtSVfN/U2enNMzAjyIi4rtG9W7HoE4t+d3n69lXXOZ0OSINok5Nm7X2j8D7wL+pua/tMWvtXz1ZWH2VVkDr5mGkxEU6XYqIiDjMGMPTo9M5XFbJbz9b73Q5Ig3ilA8iGGNcwJfW2uHAHM+XdHqOVNU8NaoBFUVEBCA5rhl3nNOJl7/ZxHVnJXJWh5ZOlyRyRk55ps1aWwVUG2Ma9SM41VaXRkVE5PvuOT+Z+OgmPPLhGiqqqp0uR+SM1PWetmJgtTHmDWPMX46+PFlYfYW5aLCJjEVExD9EhAbz+JXd2LC7iH8s3Op0OSJnpK6D637gfjVabZsGEdvsxNOpiIhIYLqoW2suSIvj+TkbubxnW9pGNY6nXEXqq64PIvwDeBdY6n69414nIiLSqBljmDSyO5XVlqc/Wed0OSKnrU5NmzHmPCAbeBF4CdhojDnHg3WJiIg0mMSWEdxzfjKfrt7JfzbudbockdNS13vangMuttaea609B7gEeN5zZYmIiDSsO87pRKeYpjz+0RpKK6qcLkek3uratIVYazccXbDWbqRm/lERERGfEBbs4slR6WzdV8Ir/9nsdDki9VbXpi3TGPO6MeY89+s1INOThYmIiDS0YSkxXNGzLS9+k0PuvsNOlyNSL3Vt2u4C1gI/c7/WuteJiIj4lEev6EaoK4jHPsqiZlptEd9Q16YtGPiztfZqa+3VwF8Al+fKEhER8YzWzcO576JU/rNxL7Ozdjldjkid1bVp+wqoPbBNE2omjRcREfE5Nw9OIq1NM574eC2HyyqdLkekTuratIVba4uPLri/jvBMSSIiIp4V7AriN1els7OwlL98le10OSJ1Utem7bAxpu/RBWNMf+CIZ0oSERHxvH5JLbm+fyJvzN/Cxt1FTpcjckp1bdruBd4zxswzxswDpgETPVeWiIiI5z14aRqR4cE8MmONHkqQRq+uTVtHoA81T4zOATYAp/zbbYwZYYzZYIzJMcY8dJz3nzfGrHC/NhpjDtZ6r6rWezPrWKeIiEidtWwaykMj0li8ZT8fLt/udDkiJ1XXpu1Ra+0hIBoYTs1UVi+fbAdjjIuaaa8uBboBY40x3WpvY629z1rb21rbG/gr35+U/sjR96y1I+tYp4iISL1c1z+RPu2jeWbWOgpLKpwuR+SE6tq0HZ3v43LgNWvtp0DoKfYZAORYazdba8upuaQ66iTbj6VmUnoRERGvCQoyPD06nf2Hy/njFxtOvYOIQ+ratG03xrwCXA/MMsaE1WHfeCCv1nK+e90PGGOSqLkE+3Wt1eHGmExjTIYxZnQd6xQREam37u2iuHlIB6Z8l8uq/IOn3kHEAaYuN14aYyKAEcBqa222MaYt0MNa+8VJ9rkGGGGtvd29fCMw0Fr7gwcYjDEPAgnW2ntqrYu31m43xnSippm7wFq76Zj9JgATAGJjY/tNnz791EfcwIqLi4mMjPT7TKdyAyXTqdxAyXQqV8fqW5lHKi0PzztCizDDo4PDCTLGK7l1ESiZTuU6kTl8+PCl1tr+9drJWuuRFzAYmF1r+WHg4RNsuxwYcpLPegu45mR5qamp1glz584NiEyncgMl06ncQMl0KlfH6nuZH63YbpMe/MS+vWirV3NPJVAyncp1IhPItPXsrep6efR0LAFSjDEdjTGhwBjgB0+BGmPSgBbAolrrWrgvwWKMiQGGUjPfqYiIiMdc2bMtQ5Nb8fvP17O3qMzpckS+x2NNm7W2kpqx3GYD64Dp1tosY8yTxpjaT4OOAaa5u86jugKZxpiVwFzgt9ZaNW0iIuJRxhieHJVOaUUVz362zulyRL4n2JMfbq2dBcw6Zt1jxyxPOs5+C4EenqxNRETkeDrHRjLhnE68OHcT1/VPZFCnVk6XJAJ48EybiIiIr5o4PIX46CY8OmMNFVXVTpcjAqhpExER+YEmoS6eGNmd7D3FvDl/i9PliABq2kRERI7rwm6tubBra174MpsdB484XY6ImjYREZETefzKblgsT36sZ+HEeWraRERETiCxZQT3nJ/C51m7mLt+j9PlSIBT0yYiInISd5zdic6xTXl8ZhalFVWn3kHEQ9S0iYiInERocBBPjUpn2/4SXvpm06l3EPEQNW0iIiKnMCQ5hlG92/G3bzax67CGABFnqGkTERGpg19f1pWw4CCmrC3n+5P4iHiHmjYREZE6iGsezs8vTmXNvipmrd7ldDkSgNS0iYiI1NH4QUkkNQ/iyU+yKC6rdLocCTBq2kREROoo2BXETd1C2VNUxgtzNjpdjgQYNW0iIiL10DnaxZiz2vP3hVtZv+uQ0+VIAFHTJiIiUk8PXNKFqCYhPPLhGqqr9VCCeIeaNhERkXpq0TSUh0akkZl7gH8vy3e6HAkQatpEREROwzX9EuiX1IJnP1vPwZJyp8uRAKCmTURE5DQEBRmeHp1O4ZEKfj97g9PlSABQ0yYiInKaurZtzi1DOvDu4m0s33bA6XLEz6lpExEROQP/d2EKcc3CeGTGGqr0UIJ4kJo2ERGRM9AsPIRHr+hG1o5DTMnIdboc8WNq2kRERM7Q5T3acnZKDH+cvYE9RaVOlyN+Sk2biIjIGTLG8MTI7pRVVvPMp+ucLkf8lJo2ERGRBtApNpI7z+3EjBU7WLipwOlyxA+paRMREWkgPx2eTGLLJjw6Yw3lldVOlyN+Rk2biIhIAwkPcfHkyHQ27T3M6/M3O12O+Bk1bSIiIg1oeFocl3RvzV++yib/QInT5YgfUdMmIiLSwB67sjsGwxMfr3W6FPEjatpEREQaWHx0E+69MIU5a3fz5drdTpcjfkJNm4iIiAfcOrQjKXGRTPo4iyPlVU6XI37Ao02bMWaEMWaDMSbHGPPQcd5/3hizwv3aaIw5eMz7zY0x+caYyZ6sU0REpKGFBgfx1Oh08g8c4cW5OU6XI37AY02bMcYFvAhcCnQDxhpjutXexlp7n7W2t7W2N/BX4INjPuYp4FtP1SgiIuJJgzq14uo+8bz67WY27S12uhzxcZ480zYAyLHWbrbWlgPTgFEn2X4s8O7RBWNMP6A18IUHaxQREfGohy/rSlhIEI9/lIW1mlBeTp8nm7Z4IK/Wcr573Q8YY5KAjsDX7uUg4DngFx6sT0RExONim4Xxy0u6MD+ngE9W7XS6HPFhxlNdvzHmGmCEtfZ29/KNwEBr7cTjbPsgkGCtvce9PBGIsNb+3hhzC9D/BPtNACYAxMbG9ps+fbpHjuVkiouLiYyM9PtMp3IDJdOp3EDJdCpXx+p/maebW20tTywqpbDM8uzZTWgSbDyeeaZ86fvri5nDhw9faq3tX6+drLUeeQGDgdm1lh8GHj7BtsuBIbWWpwLbgK1AAXAI+O3J8lJTU60T5s6dGxCZTuUGSqZTuYGS6VSujtX/Ms8kd/m2A7bDQ5/YJ2ZmeS3zTPja99fXMoFMW8/eypOXR5cAKcaYjsaYUGAMMPPYjYwxaUALYNHRddbaG6y17a21Hai5RPq2tfYHT5+KiIj4it6J0Ywb0J63Fm4ha0eh0+WID/JY02atrQQmArOBdcB0a22WMeZJY8zIWpuOAaa5u04RERG/9cAlabSICOXRGWuortavPamfYE9+uLV2FjDrmHWPHbM86RSf8RbwVgOXJiIi4nVRESE8fFlXfvHeSt5bmsf1Z7V3uiTxIZoRQURExIt+1DeeAR1a8uxn69l/uNzpcsSHqGkTERHxImMMT41Op6i0kt9/vt7pcsSHqGkTERHxsi5tmnHbsI5MW5LH0twDTpcjPkJNm4iIiAPuvSCFNs3DeWTGGiqrqp0uR3yAmjYREREHNA0L5vEru7Fu5yHeXpTrdDniA9S0iYiIOGREehvOTY3lT3M2svtQqdPlSCOnpk1ERMQhxhieGNmd8qpqnv50ndPlSCOnpk1ERMRBHWKa8tPzOvPxyh0syClwuhxpxNS0iYiIOOzOczuT1CqCRz9aQ1llldPlSCOlpk1ERMRh4SEunhjZnc17D/P6vC1OlyONlJo2ERGRRuC8LnFcmt6Gv3yVTd7+EqfLkUZITZuIiEgj8egV3XAFGZ74OMuxGvYWlfH1+t0s3FGpS7WNjEcnjBcREZG6axfdhP+7MIVnZq1nztrdXNSttUfzCksqWLX9IKvyC1mVf5DV+YXsKPzf0CNf7pjH06PTGZIc49E6pG7UtImIiDQiPx7akfeX5jNpZhZDk1sREdowv6qLyyrJ2l5Y06Btr2nScvf97zJsx5im9O/Qkp4JUfRMiGbhkmV8sNUy7vXvGN27Hb++vBuxzcIapBY5PWraREREGpEQVxBPj+7Bda8sYvLXOTwwIq3en1FaUcXanYdYnV/ISvcZtJy9xVhb8358dBN6JkRx/VmJ9EqIJr1dFFERId/7jJLcYO686mxempvDy//ZxFfr9/DAiDTGDWiPK8g0xKFKPalpExERaWQGdGzJj/om8Nq8zVzdN/6k21ZUVbNhVxGr8gtZvf0gK/MK2bi7iMrqmg4tJjKMXglRXN6zLb0SoumREEVMZN3OmIWHuLj/4i6M6hPPozPW8OiMNby/NJ/fjE4nPT7qjI9T6kdNm4iISCP08GVpzFm7i0dnZDEhpaYBq6q2bNpb/N970FblF7J25yHKK2smnI9qEkLPhCh+ktaJHvHR9EqMok3zcIw5szNjnWMjmXr7QD5asYOnP13LyMnzuXlIB+6/KJVm4SGn/gBpEGraREREGqGYyDAeGJHGIzPWUFXi4uUNi1izo5CS8ponOiNCXaTHR3Hz4CR6JETTKyGK9i0jzrhBOxFjDKP7xDO8Sxx/+GI9by3cyqzVO3nsiu5c1qONx3Llf9S0iYiINFJjB7Tnw+XbWZZ3gPT4aq7tl0DPhGh6JkTRKTbSkXvLoiJCeHp0D67pl8ivPljN3e8s49zUWJ4c1Z2kVk29Xk8gUdMmIiLSSLmCDNN/Mpi533zDhecPdbqc7+mdGM3MiUN5e1Euz32xgYuf/5aJw5OZcG4nwoJdTpfnlzS4roiISCPmCjIEN9KnNYNdQdw6rCNf/fw8LuzamufmbOTSP89joSa+9wg1bSIiInJG2kSF8+INfXnrx2dRWVUzttt9/1rB3qIyp0vzK2raREREpEGc1yWOL+47h3vOT+aTVTu44LlvmJKRS7V7+BE5M2raREREpMGEh7j4+cVd+Ozec+jeLopHZqzhqpcXsmZ7odOl+Tw1bSIiItLgkuMieeeOgbxwfW+2Hyhh5OT5PPnxWorLKp0uzWepaRMRERGPODq221f3n8fYAe35+8ItXPDcN8xavRNrdcm0vtS0iYiIiEdFRYTwm6t68MFdQ2jVNIyfTl3GLX9fQu6+w06X5lPUtImIiIhX9GnfgpkTh/LoFd3I3Lqfi5//lr9+lU1ZZZXTpfkENW0iIiLiNcGuIG5zj+12Qde4/43ttklju52KmjYRERHxujZR4bx0Qz/+/uOzqKiqZtxr7rHdSqqdLq3R8mjTZowZYYzZYIzJMcY8dJz3nzfGrHC/NhpjDrrXJxljlrnXZxlj7vRknSIiIuKM4V3imHPfuUwcXjO22wPfHuHWt5bw9frdVGl8t+/x2NyjxhgX8CJwEZAPLDHGzLTWrj26jbX2vlrb3wP0cS/uBAZba8uMMZHAGve+OzxVr4iIiDgjPMTFLy7pwtiB7fnte/NYlF/IrW9lktCiCWMHtOf6sxKJiQxzukzHefJM2wAgx1q72VpbDkwDRp1k+7HAuwDW2nJr7dG5L8I8XKeIiIg0AvHRTfhRSigLHzqfyeP6kNCiCX+YvYHBz37FPe8uZ/GW/QE9VIjHzrQB8UBereV8YODxNjTGJAEdga9rrUsEPgWSgV/qLJuIiEhgCA0O4oqe7biiZzty9hQxJWMb/16Wz8crd5DaOpLxg5K4qk88zcJDnC7Vq4ynOlZjzDXACGvt7e7lG4GB1tqJx9n2QSDBWnvPcd5rB8wArrTW7j7mvQnABIDY2Nh+06dPb/gDOYXi4mIiIyP9PtOp3EDJdCo3UDKdytWx+l+mU7mBknmy3LJKS8auSuZuq2TroWrCXDC4bTDD2weT1NzlkUxPGj58+FJrbf967WSt9cgLGAzMrrX8MPDwCbZdDgw5yWe9CVxzsrzU1FTrhLlz5wZEplO5gZLpVG6gZDqVq2P1v0yncgMls665K7YdsL+YvsKm/nqWTXrwEzv6xfn2/cw8e6S80mOZDQ3ItPXsrTx5r9gSIMUY09EYEwqMAWYeu5ExJg1oASyqtS7BGNPE/XULYBiwwYO1ioiIiI/olRjNH67txeJfXcijV3SjsKSCn7+3kkHPfsVvPl3L1gL/nGnBY/e0WWsrjTETgdmAC3jTWptljHmSmu7yaAM3Bpjm7jqP6go8Z4yxgAH+aK1d7alaRURExPdERYRw27CO3Dq0A4s27WPKd7m8uWArr83bwtkpMdwwMIkLu8YR7PKP5xk9+SAC1tpZwKxj1j12zPKk4+w3B+jpydpERETEPxhjGJIcw5DkGHYfKmXa4jzeXbyNO6cspU3zcMYMSGTsgPa0bh7udKlnxKNNm4iIiIg3tW4ezr0XpnD38M58tX4PUzJyeeHLbP76dQ4Xd2vN+EFJDOncCmOM06XWm5o2ERER8TvBriAu6d6GS7q3YWvBYd5ZvI33MvP4bM0uOsU0ZdzA9lzbL5GoCN8ZNkRNm4iIiPi1DjFN+dVlXbn/olRmrd7JlIxcnv50HX+YvYEre7WjV7hvzHeqpk1EREQCQniIi6v7JnB13wTW7jjElO9ymbF8OzMqqghrm8d1/ROdLvGk/ONxChEREZF66NauOc9c1YMFD55Pl5ZBPPD+Kp76ZC2VVY33rJvOtImIiEjAatE0lPv7hTOvOI435m9h4+4iJo/t2yjvddOZNhEREQloriDDpJHd+e3VPcjYvI+rXlrApr3FTpf1A2raRERERIAxA9rzzh2DKDxSwegXFzB3wx6nS/oeNW0iIiIibmd1aMlHE4eS0CKC295awmvfbub7kzY5R02biIiISC0JLSL4912DuaR7G34zax0/f28lpRVVTpelpk1ERETkWBGhwbw4ri/3XZjKB8u2M+bVDPYcKnW0JjVtIiIiIscRFGS498IU/ja+Lxt2FXHl5Pmsyj/oXD2OJYuIiIj4gBHpbfn3XUMIDgri2r8t4qMV2x2pQ02biIiIyCl0a9ecmROH0isxmnunreD3n6+nutq7DyioaRMRERGpg1aRYUy5bSBjB7TnpW82MeGfmRSVVngtX02biIiISB2FBgfxzFXpPDmqO3M37OXqlxaSu++wV7LVtImIiIjUgzGGmwZ34J+3DmBvcRkjJy9gQU6Bx3PVtImIiIichiHJMXx091DimoVx05uL+cfCrR4diFdNm4iIiMhpSmrVlA9+OoThXWJ5fGYWv/pwNeWV1R7JUtMmIiIicgaahYfw6o39uXt4Z95dnMf4179jX3FZg+eoaRMRERE5Q0FBhl9eksafx/RmZf5BRk5ewNodhxo2o0E/TURERCSAjeodz3t3Dqaq2vKjlxfy2eqdDfbZatpEREREGlDPhGhmThxKlzbNuGvqMl74cmODDMSrpk1ERESkgcU1D2fahEFc3TeeF77M5u53llFSXnlGn6mmTURERMQDwkNcPHdtLx65vCuzs3bxo5cXkX+g5LQ/T02biIiIiIcYY7j97E68ectZ5B8oYdTkBSzZuv+0PktNm4iIiIiHndcljhl3DyWqSQjjXss4rc9Q0yYiIiLiBZ1jI/nwp0MZ3DnmtPZX0yYiIiLiJVERIbx5c//T2ldNm4iIiIgXBbtOr/3yaNNmjBlhjNlgjMkxxjx0nPefN8ascL82GmMOutf3NsYsMsZkGWNWGWOu92SdIiIiIo1dsKc+2BjjAl4ELgLygSXGmJnW2rVHt7HW3ldr+3uAPu7FEuAma222MaYdsNQYM9tae9BT9YqIiIg0Zp480zYAyLHWbrbWlgPTgFEn2X4s8C6AtXajtTbb/fUOYA8Q68FaRURERBo1TzZt8UBereV897ofMMYkAR2Br4/z3gAgFNjkgRpFREREfIKx9sznwjruBxtzDTDCWnu7e/lGYKC1duJxtn0QSLDW3nPM+rbAN8DN1tofDGpijJkATACIjY3tN3369AY/jlMpLi4mMjLS7zOdyg2UTKdyAyXTqVwdq/9lOpUbKJlO5TqROXz48KXW2vo9Rmqt9cgLGAzMrrX8MPDwCbZdDgw5Zl1zYBlwTV3yUlNTrRPmzp0bEJlO5QZKplO5gZLpVK6O1f8yncoNlEyncp3IBDJtPXsrT14eXQKkGGM6GmNCgTHAzGM3MsakAS2ARbXWhQIfAm9ba9/3YI0iIiIiPsFjTZu1thKYCMwG1gHTrbVZxpgnjTEja206Bpjm7jqPug44B7il1pAgvT1Vq4iIiEhj57EhPwCstbOAWcese+yY5UnH2W8KMMWTtYmIiIj4Es2IICIiIuIDPPb0qLcZY4qADQ5ExwAFAZDpVG6gZDqVGyiZTuXqWP0v06ncQMl0KteJzC7W2mb12cGjl0e9bIOt76OzDcAYk+ntXCcyncoNlEyncgMl06lcHav/ZTqVGyiZTuU6lVnffXR5VERERMQHqGkTERER8QH+1LS9GkC5Olb/y3QqN1AyncrVsfpfplO5gZLpVK5PZPrNgwgiIiIi/syfzrSJiIiI+C2fb9qMMW8aY/YYY9Z4MTPRGDPXGLPWGJNljLnXS7nhxpjFxpiV7twnvJHrznYZY5YbYz7xYuZWY8xq94wY9X7K5jQzo40x7xtj1htj1hljBns4r0utWT9WGGMOGWP+z5OZtbLvc/89WmOMedcYE+6FzHvdeVmePM7j/VwwxrQ0xswxxmS7/9vCC5nXuo+12hjT4E+mnSDzD+6/v6uMMR8aY6K9lPuUO3OFMeYLY0w7T2fWeu/nxhhrjInxdKYxZpIxZnutf7OXNWTmiXLd6+9x/9lmGWN+7+lMY8y/ah3nVmPMiobMPElub2NMxtGf/caYAV7I7GWMWeT+nfOxMaZ5A2cet2+o98+l+k5W2the1Ex31RdY48XMtkBf99fNgI1ANy/kGiDS/XUI8B0wyEvHfD/wDvCJF7/PW4EYb+W5M/8B3O7+OhSI9mK2C9gFJHkhKx7YAjRxL08HbvFwZjqwBoigZrihL4FkD2X94OcC8HvgIffXDwG/80JmV6AL8A3Q30vHeTEQ7P76dw19nCfJbV7r658Bf/N0pnt9IjXTJeY29M+LExznJOAXDf09rUPucPe/mTD3cpw3vr+13n8OeMxLx/oFcKn768uAb7yQuQQ41/31rcBTDZx53L6hvj+XfP5Mm7X2W2C/lzN3WmuXub8uomZu1Xgv5FprbbF7McT98vhNicaYBOBy4HVPZznJGBP1/+3de4xcZR3G8e8DhaQU0tBGEAQsAhXiJYUqIdJW06IBQqhFjEpJrJCoCAZI1IRLIGhUomDVxACRcgmtikJBjFFbKxZBLdJCaQtNkYBQLi0avBQMYPv4x/uOGdfdbbfMOevA80kmc3Zuz8zZ2ff8B5qlowAAB1RJREFUzvuesy/lj3kBgO2Xbf+1xbcwC3jU9p9ayhsDjJU0hlJIPd1w3hHACtsvusxNvBw4pYmgIdqF2ZSinHr9waYzbT9su7F/+j1E5pK6fgF+DxzQUu7fu34cR4/bpmHa+vnAF3qdt53MRg2RexZwue2X6mM2t5AJgCRR5gT/fi8zh8k10OnpGk+P26YhMicDd9XlpcCHepw5VN0wonap74u20SZpEnAkpderjbxdaxf1ZmCp7TZyv0lpFLe1kNXNwBJJKyV9soW8g4HngOvrUPC1ksa1kNvxURpoFAdj+yngCuAJ4Bngb7aXNBy7FpguaaKkPSh70Ac2nNltX9vP1OVngX1bzB4tZwA/aytM0pclPQnMBS7Z3uN7kDcbeMr26qazBjinDgVf1+th9mFMpvz9rJC0XNK7W8oFmA5ssv1IS3nnAV+v36UrgAtayFxHKaAAPkyDbdOAumFE7VKKtldB0p7ArcB5A/YyG2N7q+0plL3noyW9vck8SScBm22vbDJnCNNsHwWcAJwtaUbDeWMoXeZX2T4SeIHSXd04SbsDJwM/ailvb0oDdTCwPzBO0ulNZtp+mDJctwT4OfAAsLXJzGHei2mhl3o0SboI+BewqK1M2xfZPrBmntNkVi38L6SF4nCAq4BDgCmUHZ4rW8odA0wAjgE+D/yw9oC14WO0tENZnQWcX79L51NHPxp2BvAZSSspw5cvNxEyXN2wI+1SiradJGk3yopfZHtx2/l12O5O4PiGo44FTpb0OPADYKakhQ1nAv/pDeoMA9wG9PRg1EFsBDZ29V7eQini2nACsMr2ppbyjgMes/2c7VeAxcB7mg61vcD2VNszgOcpx3W0ZZOk/QDqdU+Hl/6fSJoHnATMrRuCti2ix8NLgziEstOxurZPBwCrJL2xyVDbm+rO8zbguzTfLnVsBBbXw2TupYx89PTEi8HUwydOAW5uOqvLxyltEpQd2cbXse31tj9geyqlQH201xlD1A0japdStO2EunezAHjY9jdazH1D50wwSWOB9wPrm8y0fYHtA2xPogzf/cp2oz0yAJLGSdqrs0w5uLrRM4RtPws8Kemt9aZZwENNZnZpe0/2CeAYSXvU7/MsyjEWjZK0T70+iLIh+F7TmV3uoGwMqNc/bjG7NZKOpxzOcLLtF1vMPazrx9k03zatsb2P7Um1fdpIOdD72SZzOxvYag4Nt0tdbqecjICkyZQTpdqY4Pw4YL3tjS1kdTwNvLcuzwQaH5btapt2AS4Gru7x6w9VN4ysXerl2RGjcaFs6J4BXqH80Z7ZQuY0Shfmg5QhngeAE1vIfSdwf81dSwNn8mwn/320dPYo8BZgdb2sAy5qKXcKcF9dx7cDe7eQOQ74CzC+5d/nZZQN61rgJupZaQ1n/oZSCK8GZjWY8z/tAjARWEbZAPwSmNBC5py6/BKwCfhFC5l/BJ7sapt6ehbnMLm31u/Sg8BPgDc1nTng/sfp/dmjg33Om4A19XPeAezX0vrdHVhY1/EqYGYb6xe4Afh0rz/jdj7rNGBlbSdWAFNbyDyX0vO/AbicOvlADzMHrRtG2i5lRoSIiIiIPpDh0YiIiIg+kKItIiIiog+kaIuIiIjoAynaIiIiIvpAiraIiIiIPpCiLSIiIqIPpGiLiBgBSY9L2qn/RC9pnqT9e/FaEfH6k6ItIqI98yhzvUZEjFiKtojoS5ImSVov6QZJGyQtknScpHskPSLp6Hr5naT7Jf22M0WZpPMlXVeX3yFpbZ2AfLCciZKWSFon6VpAXfedLuleSQ9IukbSrvX2LZLm1+csq1PQnQq8C1hUHz+2vsxnJa2StEbS4U2us4jobynaIqKfHQpcCRxeL6dRpov5HHAhZZqu6baPBC4BvlKf9y3gUElzgOuBT3noeTovBe62/TbgNuAgAElHAB8BjrU9BdgKzK3PGQfcV5+zHLjU9i2UKdLm2p5i+5/1sX+2fRRwVX3fERGDGjPabyAi4lV4zPYaAEnrgGW2LWkNMAkYD9xYJzM3sBuA7W2S5lHmAbzG9j3DZMygTG6P7Z9Ker7ePguYCvyhzAXNWGBzvW8bcHNdXggsHub1O/et7ORERAwmRVtE9LOXupa3df28jdK+fQm40/YcSZOAX3c9/jBgCzt/jJmAG21fsAOPHW6S58573kra5IgYRoZHI+K1bDzwVF2e17lR0njg25RetIn1eLOh3EUZdkXSCcDe9fZlwKmS9qn3TZD05nrfLkDnNU8D7q7L/wD2ehWfJyJex1K0RcRr2deAr0q6n//uxZoPfMf2BuBM4PJO8TWIy4AZdfj1FOAJANsPARcDSyQ9CCwF9qvPeQE4WtJaYCbwxXr7DcDVA05EiIjYIbKH67WPiIiRkrTF9p6j/T4i4rUlPW0RERERfSA9bRERgKRPAOcOuPke22ePxvuJiBgoRVtEREREH8jwaEREREQfSNEWERER0QdStEVERET0gRRtEREREX0gRVtEREREH/g3o2SfTa9TIygAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 720x360 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Лучшее значение кол-ва правильных ответов: 78.54% при параметрах {'max_depth': 3}\n"
     ]
    }
   ],
   "source": [
    "decision_tree_predictor = users_score_predictor_factory.new_predictor(DecisionTreeClassifier)\n",
    "decision_tree_data = []\n",
    "\n",
    "for max_depth in range(1, 21, 1):\n",
    "    score = decision_tree_predictor.predict_score(max_depth=max_depth)\n",
    "    decision_tree_data.append((max_depth, score))\n",
    "\n",
    "pd.DataFrame(decision_tree_data).plot(x=0, y=1, grid=True, legend=False, xticks=range(1, 21), figsize=(10, 5)).set(xlabel='max_depth', ylabel = 'score')\n",
    "plt.show()\n",
    "print(decision_tree_predictor)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Вывод**: Наилучшее значение количества правильных ответов наблюдаем при значении `max_depth` = 3, после `max_depth` = 9 наблюдается переобучение."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-warning\">\n",
    "<h2> Комментарий ревьюера v2</h2>\n",
    "    \n",
    "Стоит добавить заголовок к графику и уточнить, на какой выборке считались метрики. Я так понимаю, что только на валидационной.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера v2</h2>\n",
    "    \n",
    "Вывод по графику верный, но что бы быть в нём на 100% уверенным стоит дополнительно добавить сюда график метрики по обучающй выборке. Чтобы увидеть, что на обучающей всё просто супер, а здесь уже хуже.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"analyse_models.random_forest\"></a>\n",
    "### Случайный лес "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Будем перебирать гиперпараметры `max_depth` и `n_estimators`, который обозначает количество деревьев для случайного леса"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>max_depth</th>\n",
       "      <th>estim</th>\n",
       "      <th>score</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>10</td>\n",
       "      <td>0.755832</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>20</td>\n",
       "      <td>0.766719</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>30</td>\n",
       "      <td>0.766719</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>40</td>\n",
       "      <td>0.776050</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>1</td>\n",
       "      <td>50</td>\n",
       "      <td>0.758942</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>5</td>\n",
       "      <td>2</td>\n",
       "      <td>10</td>\n",
       "      <td>0.777605</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>6</td>\n",
       "      <td>2</td>\n",
       "      <td>20</td>\n",
       "      <td>0.783826</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>7</td>\n",
       "      <td>2</td>\n",
       "      <td>30</td>\n",
       "      <td>0.783826</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>8</td>\n",
       "      <td>2</td>\n",
       "      <td>40</td>\n",
       "      <td>0.785381</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>9</td>\n",
       "      <td>2</td>\n",
       "      <td>50</td>\n",
       "      <td>0.783826</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>10</td>\n",
       "      <td>3</td>\n",
       "      <td>10</td>\n",
       "      <td>0.785381</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>11</td>\n",
       "      <td>3</td>\n",
       "      <td>20</td>\n",
       "      <td>0.786936</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>12</td>\n",
       "      <td>3</td>\n",
       "      <td>30</td>\n",
       "      <td>0.786936</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>13</td>\n",
       "      <td>3</td>\n",
       "      <td>40</td>\n",
       "      <td>0.786936</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>14</td>\n",
       "      <td>3</td>\n",
       "      <td>50</td>\n",
       "      <td>0.786936</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>15</td>\n",
       "      <td>4</td>\n",
       "      <td>10</td>\n",
       "      <td>0.790047</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>16</td>\n",
       "      <td>4</td>\n",
       "      <td>20</td>\n",
       "      <td>0.788491</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>17</td>\n",
       "      <td>4</td>\n",
       "      <td>30</td>\n",
       "      <td>0.786936</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>18</td>\n",
       "      <td>4</td>\n",
       "      <td>40</td>\n",
       "      <td>0.790047</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>19</td>\n",
       "      <td>4</td>\n",
       "      <td>50</td>\n",
       "      <td>0.786936</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>20</td>\n",
       "      <td>5</td>\n",
       "      <td>10</td>\n",
       "      <td>0.793157</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>21</td>\n",
       "      <td>5</td>\n",
       "      <td>20</td>\n",
       "      <td>0.790047</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>22</td>\n",
       "      <td>5</td>\n",
       "      <td>30</td>\n",
       "      <td>0.793157</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>23</td>\n",
       "      <td>5</td>\n",
       "      <td>40</td>\n",
       "      <td>0.794712</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>24</td>\n",
       "      <td>5</td>\n",
       "      <td>50</td>\n",
       "      <td>0.793157</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>25</td>\n",
       "      <td>6</td>\n",
       "      <td>10</td>\n",
       "      <td>0.800933</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>26</td>\n",
       "      <td>6</td>\n",
       "      <td>20</td>\n",
       "      <td>0.799378</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>27</td>\n",
       "      <td>6</td>\n",
       "      <td>30</td>\n",
       "      <td>0.800933</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>28</td>\n",
       "      <td>6</td>\n",
       "      <td>40</td>\n",
       "      <td>0.802488</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>29</td>\n",
       "      <td>6</td>\n",
       "      <td>50</td>\n",
       "      <td>0.799378</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>30</td>\n",
       "      <td>7</td>\n",
       "      <td>10</td>\n",
       "      <td>0.794712</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>31</td>\n",
       "      <td>7</td>\n",
       "      <td>20</td>\n",
       "      <td>0.800933</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>32</td>\n",
       "      <td>7</td>\n",
       "      <td>30</td>\n",
       "      <td>0.802488</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>33</td>\n",
       "      <td>7</td>\n",
       "      <td>40</td>\n",
       "      <td>0.802488</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>34</td>\n",
       "      <td>7</td>\n",
       "      <td>50</td>\n",
       "      <td>0.802488</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>35</td>\n",
       "      <td>8</td>\n",
       "      <td>10</td>\n",
       "      <td>0.796267</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>36</td>\n",
       "      <td>8</td>\n",
       "      <td>20</td>\n",
       "      <td>0.797823</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>37</td>\n",
       "      <td>8</td>\n",
       "      <td>30</td>\n",
       "      <td>0.799378</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>38</td>\n",
       "      <td>8</td>\n",
       "      <td>40</td>\n",
       "      <td>0.808709</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>39</td>\n",
       "      <td>8</td>\n",
       "      <td>50</td>\n",
       "      <td>0.807154</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>40</td>\n",
       "      <td>9</td>\n",
       "      <td>10</td>\n",
       "      <td>0.785381</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>41</td>\n",
       "      <td>9</td>\n",
       "      <td>20</td>\n",
       "      <td>0.790047</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>42</td>\n",
       "      <td>9</td>\n",
       "      <td>30</td>\n",
       "      <td>0.793157</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>43</td>\n",
       "      <td>9</td>\n",
       "      <td>40</td>\n",
       "      <td>0.794712</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>44</td>\n",
       "      <td>9</td>\n",
       "      <td>50</td>\n",
       "      <td>0.797823</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>45</td>\n",
       "      <td>10</td>\n",
       "      <td>10</td>\n",
       "      <td>0.791602</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>46</td>\n",
       "      <td>10</td>\n",
       "      <td>20</td>\n",
       "      <td>0.791602</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>47</td>\n",
       "      <td>10</td>\n",
       "      <td>30</td>\n",
       "      <td>0.794712</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>48</td>\n",
       "      <td>10</td>\n",
       "      <td>40</td>\n",
       "      <td>0.796267</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>49</td>\n",
       "      <td>10</td>\n",
       "      <td>50</td>\n",
       "      <td>0.793157</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    max_depth  estim     score\n",
       "0           1     10  0.755832\n",
       "1           1     20  0.766719\n",
       "2           1     30  0.766719\n",
       "3           1     40  0.776050\n",
       "4           1     50  0.758942\n",
       "5           2     10  0.777605\n",
       "6           2     20  0.783826\n",
       "7           2     30  0.783826\n",
       "8           2     40  0.785381\n",
       "9           2     50  0.783826\n",
       "10          3     10  0.785381\n",
       "11          3     20  0.786936\n",
       "12          3     30  0.786936\n",
       "13          3     40  0.786936\n",
       "14          3     50  0.786936\n",
       "15          4     10  0.790047\n",
       "16          4     20  0.788491\n",
       "17          4     30  0.786936\n",
       "18          4     40  0.790047\n",
       "19          4     50  0.786936\n",
       "20          5     10  0.793157\n",
       "21          5     20  0.790047\n",
       "22          5     30  0.793157\n",
       "23          5     40  0.794712\n",
       "24          5     50  0.793157\n",
       "25          6     10  0.800933\n",
       "26          6     20  0.799378\n",
       "27          6     30  0.800933\n",
       "28          6     40  0.802488\n",
       "29          6     50  0.799378\n",
       "30          7     10  0.794712\n",
       "31          7     20  0.800933\n",
       "32          7     30  0.802488\n",
       "33          7     40  0.802488\n",
       "34          7     50  0.802488\n",
       "35          8     10  0.796267\n",
       "36          8     20  0.797823\n",
       "37          8     30  0.799378\n",
       "38          8     40  0.808709\n",
       "39          8     50  0.807154\n",
       "40          9     10  0.785381\n",
       "41          9     20  0.790047\n",
       "42          9     30  0.793157\n",
       "43          9     40  0.794712\n",
       "44          9     50  0.797823\n",
       "45         10     10  0.791602\n",
       "46         10     20  0.791602\n",
       "47         10     30  0.794712\n",
       "48         10     40  0.796267\n",
       "49         10     50  0.793157"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Лучшее значение кол-ва правильных ответов: 80.87% при параметрах {'n_estimators': 40, 'max_depth': 8}\n"
     ]
    }
   ],
   "source": [
    "random_forest_predictor = users_score_predictor_factory.new_predictor(RandomForestClassifier)\n",
    "random_forest_data = []\n",
    "\n",
    "for max_depth in range(1, 11, 1):\n",
    "    for estim in range(10, 51, 10):\n",
    "        score = random_forest_predictor.predict_score(n_estimators=estim, max_depth=max_depth)\n",
    "        random_forest_data.append((max_depth, estim, score))\n",
    "\n",
    "display(pd.DataFrame(random_forest_data, columns=('max_depth', 'estim', 'score'))) \n",
    "print(random_forest_predictor)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Вывод**: модель случайного леса показывает лучшую точность, чем дерево решений. Видно, что при `max_depth` = 1 модель еще надостаточно обучается и кол-во правильных ответов сильно ниже, чем при других значениях гиперпараметров.  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера v2</h2>\n",
    "    \n",
    "В данном случае в рамках рассматриваемого диапазона каких-то доп выводах о переобучении не сделать. Оно наверняка будет наблюдаться при ещё большей глубине. \n",
    "    \n",
    "На будущее я бы предложила иначе визуализировать подобные результаты сразу по двум параметрам. По сути, ты можешь составить двумерную матрицу. По первой размерности - перебор параметра max_depth, по второй - n_estimators, а внутри матрицы - значения метрики. Для этого случая у тебя бы была матрица 5x5. Тогда можно использовать для визуализации метод pcolormesh из пакета matplotlib, где ты получишь изображение с количеством квадратов по размеру матрицы, а значения метрики будут различаться цветом. А для того, чтобы понимать какой цвет, что означает можно использовать colorbar().\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"analyse_models.logistic_regression\"></a>\n",
    "### Логистическая регрессия"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Будем перебирать гиперпараметр `solver`, который обозначает алгоритм, используемый для решения задачи оптимизации "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "solver newton-cg : 75.58%\n",
      "solver lbfgs : 71.07%\n",
      "solver liblinear : 75.89%\n",
      "Лучшее значение кол-ва правильных ответов: 75.89% при параметрах {'solver': 'liblinear'}\n"
     ]
    }
   ],
   "source": [
    "logistic_regression_predictor = users_score_predictor_factory.new_predictor(LogisticRegression)\n",
    "logistic_regression_data = []\n",
    "\n",
    "for solver in ('newton-cg', 'lbfgs', 'liblinear'):\n",
    "    score = logistic_regression_predictor.predict_score(solver=solver)\n",
    "    print('solver {} : {:.2%}'.format(solver, score))\n",
    "    \n",
    "print(logistic_regression_predictor)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Вывод**: модель логистической регрессии показывает худшую точность, чем дерево решений или случайный лес "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "У тебя всё сделано очень логично. Ты правильно подготовил данные дл обучения, рассмотрел три метода, сделал перебор гиперпараметров для каждого. Очень классно, молодец!\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-warning\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "Единственное, что я бы предложила здесь добавить - это отображение (может гарфическое, может какое-то табличное, может вывод) качества модели при переборе гиперпараметров (важно посмотреть и на обучающую, и на валидационную выборки). \"Зачем это?\" - вполне логично спросишь ты, ведь у нас выбрано лучшее решение, мы победили :) Но поведение метрики на обучающей выборке покажет нам насколько модели склонны переобучаться на нашем датасете. Ты сразу заметишь этот момент. Предлагаю добавить этот анализ в работу и сделать дополнительные выводы.\n",
    "    \n",
    "Вообще лучше прослеживать, как меняются метрики во время твоих тестов, а не слепо выбирать модель с лучшими показателями. Ты можешь увидеть аномальное поведение в процессе обучения, и это подтокнёт тебя к дополнительным рассуждениям, усовершенствованиям модели и т.п.\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-info\">\n",
    "Согласен, добавил\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера v2</h2>\n",
    "    \n",
    "Отлично, что ты добавил метрики на валидационной выборке, и жаль, что не добавил также на обучающей. Это было бы очень показательно продемонстрировать то, какое высокое качество получилось на обучающей, а на других данных уже нет.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"test_models\"></a>\n",
    "## 4. Проверьте модель на тестовой выборке"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Выделим фичи и целевой показатель `is_ultra` для тестовой выборки "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "features_test = users_test_df.drop(['is_ultra'], axis=1)\n",
    "target_test = users_test_df['is_ultra']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В результате проверки, мы выяснили, что алгоритм случайного леса с гиперпараметрами `n_estimators = 40` и `max_depth = 8` дает лучшее значение кол-ва правильных ответов. Проверим эту модель на тестовых данных"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.7993779160186625"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model = RandomForestClassifier(n_estimators=40, max_depth=8, random_state=RANDOM_STATE)\n",
    "model.fit(features_train.append(features_valid), target_train.append(target_valid))\n",
    "\n",
    "predictions_test = model.predict(features_test)\n",
    "accuracy_score(target_test, predictions_test)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "На тестовой выборке модель показывает точность выше, чем в условии задачи (0.75)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-warning\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "Валидационная выборка была использована для выбора наилучшей модели. Теперь для тестирования мы можем включить ещё в обучающую и обучить модель на общей выборке train + valid. Чем больше данных, тем лучше :)\n",
    "    \n",
    "P.S. Может произойти такое, что после обучения на бОльшем наборе данных ты получишь метрику качесва похуже. Давай тогда пораассуждаем, почему такое могло быть с позиции переобучения. Если метрика ухудшится, то текущие расчёты в тестировании предлагаю оставить вместе с новыми.\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-info\">\n",
    "Поправил, качество улучшилось\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера v2</h2>\n",
    "    \n",
    "Отлично :)\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"models_adequacy\"></a>\n",
    "## 5. Проверьте модели на адекватность"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Посмотрим, какое распределение в тестовой выборке между пользователями тарифов \"Ультра\" и \"Смарт\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.3157076205287714"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "users_test_df[users_test_df['is_ultra'] == True].shape[0] / users_test_df.shape[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вычислим точность модели в случае рандомного распределения "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$0.68 * (\\textrm{доля угаданных владельцев \"Смарт\"}) + 0.32 * (\\textrm{доля угаданнх владельцев \"Ультра\"}) = 0.68 * 0.5 + 0.32 * 0.5 = 0.5$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Значение правильных ответов модели больше чем 0.5, из чего можно сделать вывод, что модель прошла sanity check"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера </h2>\n",
    "    \n",
    "Супер! Отлично, то ты сделал эту проверку, выше всех похвал :)\n",
    "    \n",
    "А если сравнить модель с константной (или с константными 0/1), что можешь сказать? Понимаешь, как сделать такую проверку?\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера - резюме</h2>\n",
    "    \n",
    "У тебя получилась довольно хорошая работа. Ты чётко выполнил задание, сделал перебор достаточного количества гиперпараметров сразу для трёх моделей. Отлично, молодец! Бонусное задание тоже сдалось под твоим напором, просто супер. Работа отлично оформлена, структурирована, в ней легко ориентироваться. Продолжай в том же духе :)\n",
    "\n",
    "У меня есть три комментария, которые стоит учесть. Это не грубые ошибки, а уточнения / дополнения, но с ними работа станет лучше.\n",
    "\n",
    "Уверена, ты справишься с ними, и буду ждать твою работу на повторное ревью :)\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-success\">\n",
    "<h2> Комментарий ревьюера v2 - резюме</h2>\n",
    "    \n",
    "Теперь все замечания учтены, и работа завершена. Успехов в следующих проектах :)\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Чек-лист готовности проекта"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Поставьте 'x' в выполненных пунктах. Далее нажмите Shift+Enter."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- [x] Jupyter Notebook открыт\n",
    "- [x] Весь код исполняется без ошибок\n",
    "- [x] Ячейки с кодом расположены в порядке исполнения\n",
    "- [x] Выполнено задание 1: данные загружены и изучены\n",
    "- [x] Выполнено задание 2: данные разбиты на три выборки\n",
    "- [x] Выполнено задание 3: проведено исследование моделей\n",
    "    - [x] Рассмотрено больше одной модели\n",
    "    - [x] Рассмотрено хотя бы 3 значения гипепараметров для какой-нибудь модели\n",
    "    - [x] Написаны выводы по результатам исследования\n",
    "- [x] Выполнено задание 3: Проведено тестирование\n",
    "- [x] Удалось достичь accuracy не меньше 0.75\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}