フォロー

時間があれば、まとめるかもしれませんが、ざっくりメモ 

@skawa

■メソッドはこれ
github.com/compphoto/BoostingM

1. Pythonの機械学習の環境を作る
私の場合、Pythonは触ったことが無かったので、以下の導入手順を手探りで実施
stereo.jpn.org/jpn/stphmkr/goo

更に「Environments」の直下にあるpytorch環境も導入
導入の仕方も、ググってどうにか入れる

2. GitHub上の資源をまとめて落として展開

3. merge net model の学習済みの重みデータをダウンロード
latest_net_G.pth(310MB)
して、所定のパスへ

4. MiDaS-v2の学習済みの重みデータをダウンロード
model.pt(412MB)

5. pythonの実行環境で、run.pyを実行。オプションのdepthNetは0で。
これでMR_MiDaSの方のデプスマップが生成されます。
(続く)

ざっくりメモ 続き 

@skawa
6. LeResの学習済みの重みデータをダウンロード
res101.pth(518MB)
所定のパスへ

7. pythonの実行環境で、run.pyを実行。オプションのdepthNetは2で。
これでMR_LeResの方のデプスマップが生成されます。

8. ステレオフォトメーカーで元画像と生成したデプスマップを読み込み、Looking Glass Portrait用のRGBDデータを保存
MR_LeResで生成されたデータは、深度情報が反転しているので、ステレオフォトメーカーの「デプスマップ」⇒「デプスマップ反転」しておく。
(一般的には、こちらの方が標準的らしい?)

@skawa あと、「To use SGRnet as base: Install dependencies as following:」以降の手順は、まだ理解できていないのですが、生成したデプスマップを評価しているような気がします。
よって、ひとまず「その2」までの手順で良いんじゃないかなぁ

@skawa やり方に迷ったのが、PyTorchのインストールのところで、私は以下のサイトを参考にしてインストールしました。

PyTorch のインストール (Windows 上)
kkaneko.jp/tools/win/pytorch.h

@skawa 更に更に
CUDAのツールキットの辺りは、良く分かってないです。(分かっていないのは、ここだけに限りませんが。。。)

とりあえず、今の私の環境下では、明示的にCUDAツールキットを導入しなくても、動作はしてくれました。
(もしかしたらGPUを使わずに、CPUで演算しているかも。。。)

@skawa デプスマップ生成時はCUDAの使用率も上がっているので、ちゃんとGPUも使われてはいる模様

ログインして会話に参加
グルドン

Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。