Skip to content

Latest commit

 

History

History
52 lines (28 loc) · 2.22 KB

NeRF.md

File metadata and controls

52 lines (28 loc) · 2.22 KB

NeRF

NeRF ってどうなんだろう。

VFX 的な使用方法

https://www.youtube.com/watch?v=YX5AoaWrowY

テンション上がる動画。とりあえずこれを観てモチベ上げる。

要点

  • Radiance Field ということで反射などの複雑な表現も再現できるのが旨味であり、それが活かせないなら使う意味はあまり無い(かもしれない)。
  • Photogrammetry と比べてメリットはあるのか? という気持ちが常にある。↑が唯一確かなアドバンテージである。それが活かせないなら Photogrammetry で良いのでは? となる。
  • ストレージやメモリの消費量は激しい。リソース節約の手段として活きる場面はあまり無さそう。
  • ツール類はまだあまり整備されていない。当初と比べればボチボチ出てきている方だが……

Unity で NeRF したら面白いか?

真面目なメリットはあまり無い気がする。上で挙げたようなアドバンテージを活かすにはボリュームレンダリング方式を用いる必要があり、その限りにおいて高 FPS を出すことはかなり難しくなるし、シェーダーやエフェクトで VFX 的に活かすこともかなり難しくなるように思われる。

ただ技術的にはエキサイティングなので、深い理由は無いけど動かせたら面白いじゃん!というのはある。

ボリュームレンダリングのアルゴリズムを改造してパーティクルを生成したら面白いかも。

ツール

Luma AI

https://lumalabs.ai

なんか良さげだが情報が非公開過ぎる。自前で応用するのは難しそう。

Nerfstudio

https://github.com/nerfstudio-project/nerfstudio

オープンソースのツールセット。とりあえずこれを使うのが良さそう。

リンク集

https://github.com/awesome-NeRF/awesome-NeRF

とりあえずいつもの awesome のやつ。

高速推論

いくつか候補があるが、とりあえず良さそうだったのは SNeRG。

https://phog.github.io/snerg

WebGL で軽量なデモが実装されているので、ストレートな移植で試すことができそう。