RIFE 实时补帧

[hooke007]

速览

RIFE是什么？
https://github.com/megvii-research/ECCV2022-RIFE

当前使用版本为 官方v4.0 4.6 4.8 模型。

对比

为什么用rife（下图右），因为更平滑以及。。。

没有svpflow/mvtools（下图左）那般具有天马行空的想象力

rife v4+ 大多数场景都有远胜mvtools的效果同时出瑕率更低，但是在大动态画面中文字的处理上依然存在明显问题；

mpv中的使用

在mpv中可通过vs滤镜实现rife补帧。

非使用整合包的其他mpv用户，下载 vsLite/vsMega 适配你的本地mpv可轻松完成部署；

如需自行从零开始部署的其他mpv用户，则参考 示例《在mpv中使用mvtools补帧》 或 《在mpv中使用vapoursynth滤镜》 与 维基中的“所需依赖”

mpv-lazy-20220515 之后的标准包版本已集成RIFE（仅NCNN版。TensorRT版需要下载增强包 vsMega ）

在我使用的rife脚本中预设了多个选项可供快速调节。我强烈建议你使用前最好去修改适配你的机器。

性能要求预估

	NCNN版	TRT版
720p24fps-x2	GTX1070ti	RTX2060
1080p24fps-x2	RTX3070	RTX2060
2160p24fps-x2	RTX4090	RTX4080

Note
即使你的硬件离目标差一两档，脚本中依然有质量交换速度的选项提供。

NCNN 版

通用方案，不挑显卡品牌。

MPV_lazy/portable_config/vs/MEMC_RIFE_STD.vpy

Lines 14 to 33 in d3ee1b0

	H_Pre = 1440
	Model = 9
	Fps_Num = 2
	Fps_Den = 1
	Sc_Mode = 1
	Skip = True
	Stat_Th = 60.0
	Gpu = 0
	Gpu_T = 2
	Lk_Fmt = False
	## 整数，预降低处理源高度（填你的显示器高度）
	## <9|21|24> 使用的模型
	## 整数，Fps_Num/Fps_Den 的值即帧率倍数
	## 整数
	## <0|1|2> 场景切换检测的模式，0为禁用
	## <True|False> 是否跳过静止帧的补偿计算
	## 浮点，静止帧的判定阈值
	## 使用的显卡序号，0为排序一号
	## <1|2|3> 显卡线程数
	## <True|False> 是否锁定像素格式为yuv420p8

⚠ 如果你的目标性能不足，注意进一步调低用户选项 H_Pre 的值。

TensorRT 版

20系及以后N卡的专属方案（最低要求RTX2060）
再往前的旧N卡没有张量核心(tersor core)，我不确定gtx1080ti的半精度推理性能是否足够

MPV_lazy/portable_config/vs/MEMC_RIFE_NV.vpy

Lines 14 to 37 in d3ee1b0

	H_Pre = 1440
	Lt_D2k = False
	Model = 40
	Sc_Mode = 1
	Fps_Num = 2
	T_Tta = False
	Ext_Proc = True
	Gpu = 0
	Gpu_T = 2
	St_Eng = False
	Ws_Size = 0
	Lk_Fmt = False
	## 整数，预降低处理源高度（填你的显示器高度）
	## <True|False> 是否对超过DCI2K分辨率的源进行补帧
	## <40|46|48> 使用的模型
	## <0|1|2> 场景切换检测的模式，0为禁用
	## <2|3|4> 补帧倍率
	## <True|False> 是否使用ensemble版模型
	## <True|False> 是否使用外部的填充裁切处理（禁用将强制锁定为静态引擎）
	## 使用的显卡序号，0为排序一号
	## <1|2|3> 显卡线程数
	## <True|False> 是否使用静态引擎（需要对不同分辨率的源各进行预处理）；动态引擎自适应不同分辨率（QVGA→DCI4K）
	## 整数，约束显存（MiB），静态引擎的最小值为128（动态引擎自动双倍），设为低于此数的值即最大化利用
	## <True|False> 锁定像素格式为yuv420p8

⚠ 如果你的目标性能不足，注意进一步调低用户选项 H_Pre 的值。

优点是相对于 ncnn ，近似参数下具有大于150%的巨大效率提升，缺点是静态引擎需要对不同的分辨率首次运行前，都要预生成一次引擎文件，此步骤视分辨率、模型、显卡性能而定，每次耗时1~10分钟不等。（动态引擎只需要一次，但需要更多的显存）

性能需求参考：
相比 ncnn ，我的 2070super laptop 可以无预降分辨率（最多882p）顺利完成1080p24fps的倍帧，且跳转时间轴的延迟更低。
其它跑分数据 #255 (comment)

[hzwer]

v4 模型还不能算实时模型吗 😭。

[hooke007]

我的瞎玩行为居然被开发者本人注意到了.......
怎么说呢，对大多数人的硬件来说还是太沉重了。（虽然vs不算一个高效的框架）如果模型能进一步精简，在当前的条件下，3060laptop这级别的显卡能无预降分辨率来实时播放1080p那就更好了

[oblessnoob]

我的瞎玩行为居然被开发者本人注意到了....... 怎么说呢，对大多数人的硬件来说还是太沉重了。（虽然vs不算一个高效的框架）如果模型能进一步精简，在当前的条件下，3060laptop这级别的显卡能无预降分辨率来实时播放1080p那就更好了

我之前用第一版支持tensor core的ncnn版在3060laptop上测试4.0处理1080p的帧序列，输入序列的速度差不多是29fps出头，如果把96eu也加进来的话能到31fps，正好卡在了这条线上，如果输入是24fps的动画我感觉应该就没啥问题了

[hooke007]

嘛，，，直接用nihui的ncnn那版肯定比现在更快。这里vs卡了一下，mpv的vs滤镜卡了第二下（即使vs中不做任何处理input完直接output也有明显的效率折损）。当然这不是rife的问题，不过当前pc用于实时播放也几乎只有这条途径了

[M1saka10010]

我的瞎玩行为居然被开发者本人注意到了....... 怎么说呢，对大多数人的硬件来说还是太沉重了。（虽然vs不算一个高效的框架）如果模型能进一步精简，在当前的条件下，3060laptop这级别的显卡能无预降分辨率来实时播放1080p那就更好了

3070laptop可以无预降1080（吃到80-90%

[natural-harmonia-gropius]

MPV_lazy/portable_config/vs/rife-2x.vpy

Line 43 in 5015125

output = cut2.resize.Bilinear(format=vs.YUV444P16, matrix_s="709")

我这边测下来 format 还原而不是 444p16 性能更好，带的动 1080p30 了
range 也可以合并到一起

format = clip.format.id
range = clip.get_frame(0).props._ColorRange
clip = clip.resize.Bicubic(format=vs.RGBS, matrix_in=1, range_in=range)
clip = clip.resize.Bicubic(format=format, matrix=1, range=1-range)

用这个帖子里米奇的脚本测下来失真也更低
注意 Y Plane 下面第二行要传参进去

expr = 'x y - '.format(neutral=1 << (input_YUV.format.bits_per_sample - 1))
Diff = core.std.Expr([input_YUV, clip_YUV], [expr])

mpv 的 vapoursynth=file:buffered-frames:concurrent-frames
buffered-frames 设为 1 即可，对于补帧来说只需要用到两帧
concurrent-frames 默认等于逻辑处理器数量，我测下来等于 1.5 倍逻辑处理器数量时一些默认会掉帧复杂场景能处理的过来了（Haswell 4核无超线程 svp to 60，Whiskey Lake 6核开超线程 svp to 120，Vermeer 12核开超线程 rife x2 + svp 120）。不过不是很理解为什么，这里应该只是解码消耗，特别是24个逻辑处理器也有这种现象，很怪异

[hooke007]

你那的r7测下来有没有这个问题
https://github.com/HomeOfVapourSynthEvolution/VapourSynth-RIFE-ncnn-Vulkan/issues/35

[natural-harmonia-gropius]

会崩

[natural-harmonia-gropius]

你试过vseditor跑vfr的视频吗，mpv传到vs里总是vfr的数据

[hooke007]

vse跑vfr也不崩

[natural-harmonia-gropius]

vsh::muldivRational(&d->factorNum, &d->factorDen, d->vi.fpsDen, d->vi.fpsNum);
我感觉是这行报的错，clip.fps_den 照文档说的应该是0

[letterk]

这个对性能要求太高了
打开只有3fps

[1VeniVediVeci1]

3070笔记本用了trt可以进行1080p实时倍频了，非常舒适，不过感觉原来的代码有点问题，个人是修改了2倍频版本的vs脚本才用起来的。

[ww2283]

感谢！我看到生成引擎文件的时候提示了一句话， 大意是参考TensorRT官方配置预配置好的话可以调用更大的库。一闪就过去了，没来得及记下来。总之目前用起来TensorRT版确实非常流畅。

有相关提示吗？我这边生成好像没有

就是当时跳出来的那个cmd窗口有一行warning，很快就过去了。确实也不影响使用，这个版本我已经非常满足了，等下个版本再折腾一下。

[ww2283]

并不奇怪啊（大多数视频都是24(23.976)FPS），目的是流畅，实际达到40+FPS的时候肉眼感官已经很好了，没有必要追求补帧到60（显示器的实际刷新也基本不是整数60）。 display-resample会完善最终阶段的输出采样匹配刷新率。 ncnn做2.x倍和3倍几乎是一样的性能开销（我猜内部始终是做到3倍然后抽帧或者采样处理）

hmmm，有道理

[1VeniVediVeci1]

感谢！我看到生成引擎文件的时候提示了一句话， 大意是参考TensorRT官方配置预配置好的话可以调用更大的库。一闪就过去了，没来得及记下来。总之目前用起来TensorRT版确实非常流畅。

有相关提示吗？我这边生成好像没有

就是当时跳出来的那个cmd窗口有一行warning，很快就过去了。确实也不影响使用，这个版本我已经非常满足了，等下个版本再折腾一下。

那个warning应该是cuda11.7以后新增的一个添加环境变量的warning，可以减少内存占用，不影响推理速度

[ww2283]

感谢！我看到生成引擎文件的时候提示了一句话， 大意是参考TensorRT官方配置预配置好的话可以调用更大的库。一闪就过去了，没来得及记下来。总之目前用起来TensorRT版确实非常流畅。

有相关提示吗？我这边生成好像没有

就是当时跳出来的那个cmd窗口有一行warning，很快就过去了。确实也不影响使用，这个版本我已经非常满足了，等下个版本再折腾一下。

那个warning应该是cuda11.7以后新增的一个添加环境变量的warning，可以减少内存占用，不影响推理速度

哦好的，多谢！那就省事了～目前内存大大的富裕，不折腾了

[lgthappy]

3070笔记本用了trt可以进行1080p实时倍频了，非常舒适，不过感觉原来的代码有点问题，个人是修改了2倍频版本的vs脚本才用起来的。

我也刚刚看到，你的代码方便发出来吗？转换及补帧的代码，我很想学习，但不太会

[ghost]

[hooke007]

以前就可以，只有极个别原生滤镜会自动触发autoconvert帮你做（像素格式）转换。跑软解或者copy就不需要autoconvert。

[catshitz]

2023年了，SVP4Pro的RIFE-Tensor带4K还是有点吃力（看来不上4090不行）😅

[hooke007]

一样是来自上游的方案，没有区别（2160p24fpsx2 4080就足够了

[microka]

大佬，请问如果是4K原盘24fps补帧到48fps，4080足够吗？有没哪些场景是4080仍吃力需要上4090才能满足的？（手持Intel UHD750核显还没入独显

[hooke007]

码率无关。但是4.6之后性能消耗已开始大幅上升

[microka]

所以是能上4090会更好吗？😂

[letterk]

我这里怎么rife的瑕疵率高于mvtools
画面经常抽搐畸变
伪影rife确实比较好

[hooke007]

忘了记录了，密集的网格线条是重灾区

[letterk]

还有某些字幕直接在视频里的, 比如这个b站上的电影, 字幕都在抖
是对线条支持不好吗

[oblessnoob]

硬字幕这种在运动物体上面叠一层字的情况属于细小物体运动问题，目前绝大多数光流算法和补帧算法都不能很好地解决这个问题

[hooke007]

去看faq，看看你的垂直同步是不是没开

[rufengsuixing]

开了还是120帧，没啥用，还是会卡顿，试了一下svp里的mpv,渲染只有48帧，不知道配置上有啥区别

[hooke007]

主题无关，看置顶贴。禁用video-sync

[yueisme]

我在使用 2023EX 版本的MEMC_RIFE_STD.vpy，GPU 1080ti 流畅播放1080p及以上视频大概需要改成H_Pre = 900以内

HDR映射SDR时，画面整体亮度高的镜头（比如天空）有闪烁的现象

[hooke007]

无关rife
vs滤镜不参与tonemap
另 1080可以用trt

[yueisme]

2024v0 vsMega版本的MEMC_RIFE_NV.vpy启动报错

错误日志

[02/25/2024-21:09:47] [I] [TRT] Global timing cache in use. Profiling results in this builder pass will be stored.
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000000201ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020401ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020601ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020801ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020a01ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020c01ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000000020279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002040279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002060279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002080279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020a0279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020c0279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000000020628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002040628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002060628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002080628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020a0628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020c0628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[10]: Could not find any implementation for node ConvTranspose_42.
[02/25/2024-21:09:53] [E] Error[10]: [optimizer.cpp::nvinfer1::builder::cgraph::LeafCNode::computeCosts::4048] Error Code 10: Internal Error (Could not find any implementation for node ConvTranspose_42.)
[02/25/2024-21:09:53] [E] Engine could not be created from network
[02/25/2024-21:09:53] [E] Building engine failed
[02/25/2024-21:09:53] [E] Failed to create engine from model or file.
[02/25/2024-21:09:53] [E] Engine set up failed
&&&& FAILED TensorRT.trtexec [TensorRT v9200] # C:/Users/yue/Downloads/mpv-lazy-20240102-vsMega/mpv-lazy/vapoursynth64/plugins\vsmlrt-cuda\trtexec --onnx=C:/Users/yue/Downloads/mpv-lazy-20240102-vsMega/mpv-lazy/vapoursynth64/plugins\models\rife\rife_v4.6.onnx --timingCacheFile=C:/Users/yue/Downloads/mpv-lazy-20240102-vsMega/mpv-lazy/vapoursynth64/plugins\models\rife\4490c10d.engine.cache --device=0 --saveEngine=C:/Users/yue/Downloads/mpv-lazy-20240102-vsMega/mpv-lazy/vapoursynth64/plugins\models\rife\4490c10d.engine --minShapes=input:1x11x256x320 --optShapes=input:1x11x1088x1920 --maxShapes=input:1x11x2176x4096 --fp16 --tacticSources=-CUBLAS,-CUBLAS_LT,-CUDNN,+EDGE_MASK_CONVOLUTIONS,+JIT_CONVOLUTIONS --useCudaGraph --noDataTransfers --noTF32 --inputIOFormats=fp16:chw --outputIOFormats=fp16:chw --layerPrecisions=*:fp16 --layerOutputTypes=*:fp16 --precisionConstraints=obey --builderOptimizationLevel=3

2023EX vsMega版本能正常开启，但是性能差到无法使用🥲

[yueisme]

vs滤镜不参与tonemap

对比过开关RIFE，确实是有低强度的闪烁，应该是模型的瑕疵？

[hooke007]

亮度数据一种由mpv实时测量，另一种由上一帧复制，无论如何与rife无关。
帧率和画面都改变了，但mpv没有对应的正确处理，不是rife的问题。

这个问题建议调节hdr相关的选项。

[hooke007]

启动报错

可能和fp16有关，最后一个兼容的10系的版本应该是2023V1

[raytracesoak]

2024V1 MEMC_RIFE_NV.vpy全默认外修改配置为（H_Pre = 2160, Lt_D2k = True）我的4090好像跑2160p24fps-x2只有8到26帧 。
请问这正常吗？

[hooke007]

当然不正常，主楼写了4080的数据了

[raytracesoak]

多测试了几个片源发现只有一个10bit hdr高码率hevc的跑不动，看占用似乎是cpu瓶颈了。