Задачи на YouTrack
Основная задача:
Создание клиент-серверного приложения с интуитивно понятным интерфейсом, преобразующего видеоматериал, содержащий некоторый объект, в облако точек, на основе которого строится трёхмерная модель данного объекта с дальнейшей возможностью покрытия полученной модели различными текстурами и субстанциями по выбору пользователя.
Предполагается разбить конечную задачу на более мелкие подзадачи:
- Разработка клиентского приложения
- Распознавание на модели границ текстур. В будущем планируется создание простейшего графического редактора для ручной прорисовки границ, однако на данный момент распознавание будет осуществляться в автоматическом режиме.
- Создание библиотеки текстур
- Функция подмены текстур, позволяющая пользователю заменять область на модели некоторой текстурой из библиотеки
- Разработка серверного приложения
- Раскадровка видео
- Создание облака точек на основе ряда картинок
- Построение модели по облаку точек
Что на данный момент готово:
- Нод, позволяющий смешивать до 31 различного материала в одной текстуре, созданный средствами Substance Designer. Необходим для работы с подменой текстур.
- Код, постеризующий изображение (имеется два варианта, требует доработки). Написан с использованием OpenCV. Необходим для автоатического распознавания границ текстур. В данный момент разрабатывается новая версия.
- Часть интерфейса клиентского приложения, требующая доработки. Есть возможность выбора одной текстуры для объекта. Написано с использованием Unity3D.
- Раскадровка видео и сохранение в виде серии фотографий.
- Режим просмотра объекта в сцене: прокрутка в разные стороно, зум. (Unity3D)
С чем нам предстоит работать:
OpenMVG
OpenSubdiv
OpenVDB
OpenCV
PCL
Unity3D
Substance Designer
Substance Painter