Практика по курсу "Оптимизация моделей компьютерного зрения"
Подготовка окружения и обучение простого классификатора на учебном датасете, например, cifar10.
Сравнить скорость сходимости для разных алгоритмов оптимизации. Результат обучения в виде графиков loss/epoch отобразить на ОДНОМ изображении и разместить в своем файле Readme. Снабдить пояснениями и выводами.
| ФИО | Алгоритмы для сравнения |
|---|---|
| Асеев Дмитрий Андреевич | SGD, AdaGrad |
| Вилкул Анна Андреевна | SGD, Adamax |
| Добровольский Роман Олегович | SGD, Rprop |
| Макаров Иван Сергеевич | SGD, AdamW |
| Рябинкин Валерий Николаевич | SGD, SparseAdam |
| Черевко Кирилл Николаевич | SGD, Adam |
| Юрин Дмитрий Сергеевич | SGD, RMSprop |
Оптимизация гиперпараметров с помощью optune.
За основу берем скрипт
Заменяем линейную сеть на сверточную Conv2D - Flatten - {Linear - ReLU - Dropout} * n_layers
Датасет Cifar10.
Поиск осуществляем по двум гиперпараметрам согласно таблицы.
| ФИО | Гиперпараметры |
|---|---|
| Асеев Дмитрий Андреевич | ("n_layers", 1, 5) ; ("lr", 1e-5, 1e-1, log=True) |
| Вилкул Анна Андреевна | Conv2D("kernel_size", 3, 7) ; ("lr", 1e-5, 1e-1, log=True) |
| Добровольский Роман Олегович | ("dropout", 0.2, 0.5) ; ("optimizer", ["Adam", "RMSprop", "SGD"]) |
| Макаров Иван Сергеевич | ("n_units", 4, 128) ; ("n_layers", 1, 5) |
| Рябинкин Валерий Николаевич | Conv2D("kernel_size", 3, 7) ; ("optimizer", ["Adam", "RMSprop", "SGD"]) |
| Черевко Кирилл Николаевич | Conv2D("kernel_size", 3, 7) ; ("n_layers", 1, 5) |
| Юрин Дмитрий Сергеевич | ("dropout", 0.2, 0.5) ; ("lr", 1e-5, 1e-1, log=True) |
Оптимизация модели с помощью библиотеки onnx.
Введение в оптимизацию моделей pytorch -> onnx
Рабочий скрипт здесь
Необходимо конвертировать модель в onnx и сравнить производительность (скорость и точность) с model.pth.
Результаты из консоли и выводы написать в README.MD своего проекта.
console output example
Оптимизация модели для выпускного проекта (ВКР).
Обсуждается индивидуально.
Результат практических занятий - в файле.
2 теоретических вопроса в письменном виде (30 + 30 баллов).