Python
- Условные конструкции
- Регулярные выражения
- Поиск групп в ВК. Подсчёт лайков, репостов и их фильтрация. List и dict comprehension
- Функции. Args and Kwargs. Lambda-функции, итераторы, map, filter.
- Чтение файлов. Кодировки. Конструкция .strip().split(','). Контекстный менеджер. Чтение списков и словарей из файла. Модуль pickle и запись объекта сразу в файл, как поток байтов.
- Исключения и ошибки. Как сделать, чтобы цикл с расчётом не падал каждый раз. Замечания про try-except. Даты.
- Классы. Демо-счетчик Яндекс.Метрики.
- Лабораторная работа
Pandas
- Библиотека Numpy. Метрики схожести текстов (расстояние Хемминга - число различающихся символов у строк одинакового размера). Расстояние Левенштейна. Библиотека векторного представления слов Word2vec.
- Где собирать логи. Ставим Docker desktop. Устанавливаем образ Clickhouse. Запись данных Pandahouse
- Pandas. Логические условия. Забор данных с сайта BeautifulSoup. Отдельный столбец (тип Series). Сортировка. Inplace.
- Автоматизация авторизации с помощью библиотеки Selenium.
- Создание столбцов на ходу. Группировки и оконные функции. Группировки с пустыми значениями.
- Сводные таблицы. Объединение датафреймов по разным столбцам. Объединение нескольких датафреймов. Задача про LEFT JOIN. CROSS JOIN. Задачка с собеседований. Подвохи: дубликаты, ошибочное объединение. Запись датафрейма в базу данных. Чтение из базы. Построчная обработка.
- Парсинг сайта. Алгоритм экспоненциальной задержки.