关于预训练的单目深度的疑问。

[fighterzzzh]

你好，请问伪深度是通过omnidata进行单目估计直接生成的吗？没有尝试depthanything之类的深度生成方式吗？

[yinbow]

您好，感谢您的关注！
本论文是在23年10月投稿的，当时Depth Anything尚未发表。在论文的附录Fig.8中我们也使用了不同的Depth Estimator来看效果。我们后续也有尝试使用Depth Anything生成的Depth来进行预训练，相较Omnidata来说，使用Depth Anything‘s Depth进行预训练时会在预训练分类精度上有明显提升，但是在下游任务上，提升并不显著，在DFormer-L NYUDepthV2上仅有~0.2%的提升, 我们认为一个相对准确的Depth就可以让模型在预训练过程中学到较好的RGBD处理模式。

[fighterzzzh]

您好，感谢您的关注！ 本论文是在23年10月投稿的，当时Depth Anything尚未发表。在论文的附录Fig.8中我们也使用了不同的Depth Estimator来看效果。我们后续也有尝试使用Depth Anything生成的Depth来进行预训练，相较Omnidata来说，使用Depth Anything‘s Depth进行预训练时会在预训练分类精度上有明显提升，但是在下游任务上，提升并不显著，在DFormer-L NYUDepthV2上仅有~0.2%的提升, 我们认为一个相对准确的Depth就可以让模型在预训练过程中学到较好的RGBD处理模式。

谢谢您的耐心回答，关于这个项目预训使用的深度图有个疑问一下，训练采用的深度图是距离还是相对深度，如果是相对深度，是0-255范围，0表示近处，255表示远处吗？

[yinbow]

是相对深度，现在的深度估计模型基本都是预测的相对深度。0到255是从近到远，你说的是准确的。