This repository contains materials for the Computer Vision course.
Tip #1:
Loading the entire repository can take a considerable amount of time. A single folder can be downloaded via DownGit.
Tip #2:
Sometimes GitHub failes to render a notebook. In that case use nbviewer — it works like a charm!
Tip #3:
In those cases when nbviewer fails to find a notebook whereas GitHub finds it just fine, try to add ?flush_cache=false
at the end of the nbviewer link.
Legend: — slides, — code, — video.
Week | What | Where | When |
---|---|---|---|
1 | Определение CV, история развития, основные задачи, представление изображений (оптика, кодирование), аугментация (яркость, контраст, гамма-коррекция, оттенок, насыщенность, зашумление, размытие, аффинные преобразования). | 04.03.2021 | |
2 | Повторение: свёртка, свёрточный слой, pooling, BatchNormalization. Архитектуры: LeNet-5, ImageNet, AlexNet, VGG, Inception, ResNet, ResNeXt, SENet, EfficientNet, NFNet. Transfer learning. | 11.03.2021 | |
3 | Детектирование объектов: постановка задачи, сложности, метрики качества; классические методы: HOG, Haar Cascades, SIFT; нейросетевые методы: RCNN, Fast RCNN, Faster RCNN, MTCNN. | 18.03.2021 | |
4 | Детектирование объектов: методы Single Shot (SSD, YOLO, RetinaNet, EfficientDet), Focal Loss, Feature Pyramid Network. | 25.03.2021 | |
5 | Сегментация объектов: постановка задачи, Semantic Segmentation, Instance Segmentation (Mask R-CNN), Panoptic Segmentation; архитектуры: FCN, SegNet, U-Net, FPN; функции потерь: BCELoss, Focal Loss, IoU, Jaccard Index и Jaccard Loss, Dice Loss; BatchNorm и проблемы с памятью. | 01.04.2021 | |
6 | Пайплайн OCR, детектирование текста, распознавание, CRNN, CTC loss, метрики качества (CER, WER). | 08.04.2021 | |
7 | Metric Learning: definition and types (Minkowski distance, Mahalanobis distance, cosine similarity); similarity-based (siamese networks, triplet loss), softmax-based (center loss, angular softmax: CosFace, ArcFace); AKNN, HNSW, FAISS; landmarks recognition. | 15.04.2021 | |
8 | Object tracking: Kalman filters, SORT, DeepSORT, metrics (FAF, MT, ML, FP, FN, ID sw, Frag, MOTA, MOTP), datasets and benchmarks (MOT17, KITTI, UA-DETRAC, ImageNet-Vid, YTVIS, TAO). | 22.04.2021 | |
9 | Генеративно-состязательные сети, часть 1: задачи, история развития, архитектуры, функции потерь, проблемы сходимости и их решения, Mode Collapse, Wasserstein GAN (Earth Mover's Distance, непрерывность по Липшицу). | 29.04.2021 | |
10 | Глубокое нейронные сети для обработки видео: трекинг (FlowNet, Multi-Domain Net, GOTURN), распознавание действий на видео (2D CNN + RNN, 3D CNN), автоматическое описание видео, детектирование хайлайтов в видео (Video2GIF). | 13.05.2021 | |
11 | Meta learning & Semi-supervised learning: Meta-learning (learning to learn); Few-shot learning (Omniglot dataset; Black-box, Metric-based, Optimization based); Semi-supervised learning (SimCLR). | 20.05.2021 | |
12 | Генеративно-состязательные сети, часть 2: 1D-GANs, метрики (Inception score, Frechet Inception Distance), Progressive Growing of GANs, BigGAN (Hinge Loss Function, Self-attention), StyleGAN, StyleGAN2. | 27.05.2021 | |
13 | Нейросети на мобильных устройствах: свёртка, MobileNet v1/v2 (1x1 Convs, Depthwise-Separable Convolution), квантизация нейронных сетей (статическая, динамическая, QAT), деплой нейронных сетей (PyTorch JIT, Torchscript, JIT compiler, ONNX и ONNX Runtime). | 03.06.2021 |