Генарация видео по текстовому запросу в рамках участия в проекте Autumn Code 2022.
Демо веб-приложения доступно по ссылке.
Было создано веб-приложение для генерации релевантного видео по запросу на естественном языке. Целью работы является увеличения уровня счастья пользователя от просмотра таргетированных развлекательных видео. Другим важным сценарией использования является увеличение конверсии рекламных предложений с помощью генерации персональных превью роликов, генерация нарезок из длительных роликов для создания трейлеров.
Основная задача - обучить модель распознавать широкий спектр визуальных концепций в фрагментах видео и связывать их с именованиями на естественном языке.
Для обучения был использован маркированный набор Youtube видео.
Потенциально неограниченная целевая аудитория
cut_frames_and_calculate_embs.ipynb
– ipython notebook for data preparation;indexer.ipynb
— ipython notebook for video indexing
- CLIP - neural network for calculating text-video relevance
- pandas — software library in Python for data processing and analysis.
- numpy — software library in Python that adds support for large multidimensional arrays and matrices.
- nmslib - software library for similarity searching
Set of videos downloaded from Youtube