rutube-video-captioning

Проект решает задачу автогенерации описания к видео на сервисе RuTube

Архитектура решения

ссылка

Пример

Реальное

в этом выпуске шоу “ стендап гороскоп ” карина салихова расскажет про то , что ждет в 2022 году представителей одного из самых упрямых знаков зодиака – тельцов .

Предсказанное

в новом выпуске шоу « стендап гороскоп » расскажет про расскажет про представителей знака , что ждет представителей знака в 2022 году .

Использованные технологии

• Google Colab
• PyTorch
• Figma
• CNN / RNN
• Seq2seq

Описания файлов

• Модель для генерации описания по текстовой расшифровке
• Модель для генерации описания по кадрам из видео
• Модель для суммаризации текста из двух двух моделей для получения окончательного описания