３次元形状推定装置、３次元形状推定方法及び３次元形状推定プログラム
【課題】３次元形状の推定を行うことができる３次元形状推定装置を提供する。
【解決手段】空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、対象物体の３次元形状を推定する３次元形状推定装置であって、多視点マルチカメラによって撮像した背景画像及び前景画像を入力する手段と、対象物体を含む３次元空間全体をボクセルに分割する手段と、ボクセルを背景画像及び前景画像に投影し、対象物体に含まれる第１の尤度を計算する手段と、ボクセルのそれぞれについて、隣接するボクセルとの間に対象物体の境界面が存在する第２の尤度を計算する手段と、第１の尤度及び第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する手段と、構築されたグラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する手段と、ボクセル集合を対象物体の３次元形状情報として出力する手段とを備えた。
【解決手段】空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、対象物体の３次元形状を推定する３次元形状推定装置であって、多視点マルチカメラによって撮像した背景画像及び前景画像を入力する手段と、対象物体を含む３次元空間全体をボクセルに分割する手段と、ボクセルを背景画像及び前景画像に投影し、対象物体に含まれる第１の尤度を計算する手段と、ボクセルのそれぞれについて、隣接するボクセルとの間に対象物体の境界面が存在する第２の尤度を計算する手段と、第１の尤度及び第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する手段と、構築されたグラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する手段と、ボクセル集合を対象物体の３次元形状情報として出力する手段とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元形状推定装置、３次元形状推定方法及び３次元形状推定プログラムに関する。
【背景技術】
【０００２】
従来から、複数の視点でそれぞれ撮影された対象物体の画像に基づき、それぞれの視点に対応した対象物体のシルエットを事前に撮影した背景画像との比較により求め、ＳｆＳ（Shape-from-Silhouette）法に適用することで、３次元形状を求める手法が知られている（例えば、非特許文献１、２参照）。ＳＦＳ法は、それぞれの画像に撮影された対象物体のシルエットを抽出し、シルエットとカメラの射影中心が形成する錐体の内側に対象物体が含まれるといった性質を利用して三次元形状を復元する手法である。
【０００３】
ここで、図４を参照して、従来手法の処理動作を説明する。図４は、従来手法の処理動作を示すフローチャートである。まず、予め複数の視点において、対象物体のない背景画像を撮影し、保存しておく。次に対象物体の存在する前景画像を撮影して保存する。そして、多視点マルチカメラの背景画像を入力する（ステップＳ１）とともに、前景画像を入力する（ステップＳ２）。
【０００４】
次に、それぞれの視点に対し、例えば、背景差分法などにより、対象シルエットを計算することにより、複数の視点に対応した対象物体のシルエットを求める（ステップＳ３）。そして、すべての視点の対象物体のシルエットに対してＳｆＳ法を適用し、３次元形状の計算を行い（ステップＳ４）、得られた３次元形状の情報を出力する（ステップＳ５）。一般的には、計算される３次元形状はボクセル表現となり、対象を表す３次元空間中のボクセル集合として出力されることになる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】A. Laurentini:“The visual hull concept for silhouette- based imageunderstanding ”, PAMI, 16, 2, pp. 150 162 (1994).
【非特許文献２】W. N. Martin and J. K. Aggarwal: “ Volumetric description of objects from multiple views ”, PAMI, 5(2), pp. 150158 (1983).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術による３次元形状算出手法では、入力画像から正確なシルエットが求められることが計算上の前提条件であるが、実環境の複雑背景において、この条件は容易に満たされるものではない。すなわち、従来手法は最終結果である３次元形状は対象物体のシルエットの精度に強く影響されるため、実用的ではないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、３次元形状を算出する際の前提条件を緩和し、正確なシルエットを求めることなく、３次元形状の推定を行うことができる３次元形状推定装置、３次元形状推定方法及び３次元形状推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定装置であって、前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力手段と、前記対象物体を含む３次元空間全体をボクセルに分割する分割手段と、前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算手段と、前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算手段と、前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築手段と、前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算手段と、前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力手段とを備えたことを特徴とする。
【０００９】
本発明は、空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定方法であって、前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、前記対象物体を含む３次元空間全体をボクセルに分割する分割ステップと、前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算ステップと、前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算ステップと、前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算ステップと、前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力ステップとを有することを特徴とする。
【００１０】
本発明は、空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定装置上のコンピュータに３次元形状推定処理を行わせる３次元形状推定プログラムであって、前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、前記対象物体を含む３次元空間全体をボクセルに分割する分割ステップと、前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算ステップと、前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算ステップと、前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算ステップと、前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力ステップとを行わせることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ＳｆＳ法のように個々の視点画像だけで対象シルエットを決めるのではなく、３次元空間中のボクセルをグラフ構造に定義し、グラフカットの手法を用いて、複数視点画像を大局的に評価することにより最適な３次元形状を求めることができると同時に、複雑背景下でも対象領域の抽出が可能になるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】グラフの構成を示す説明図である。
【図４】従来技術による処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の一実施形態による３次元形状推定装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１１〜１４は、２次元形状の推定対象である３次元物体を複数視点位置から撮像するために、４台のカメラで構成するマルチカメラである。図１においては、４台のマルチカメラを図示したが、画像を撮像するカメラは、必要に応じて５台以上であってもよい。符号２１は、マルチカメラ１１〜１４により撮像した前景画像を記憶する前景画像記憶部である。符号２２は、マルチカメラ１１〜１４により撮像した背景画像を記憶する背景画像記憶部である。
【００１４】
符号３１は、前景画像記憶部２１に記憶されている前景画像を入力する前景画像入力部である。符号３２は、背景画像記憶部２２に記憶されている背景画像を入力する背景画像入力部である。符号４は、入力した前景画像と、入力した背景画像とから３次元物体の３次元形状を求める画像処理部である。符号４１は、求める３次元物体の形状情報を記憶する形状記憶部である。符号５は、画像処理部４において求めた３次元形状の情報を出力する３次元形状出力部である。
【００１５】
次に、図２を参照して、図１に示す３次元形状推定装置の処理動作を説明する。図２は、図１に示す３次元形状推定装置の処理動作を示すフローチャートである。まず、前景画像入力部３１は、前景画像記憶部２１に記憶されている前景画像を入力する（ステップＳ１１）。また、背景画像入力部３２は、背景画像記憶部２２に記憶されている背景画像を入力する（ステップＳ１２）。
【００１６】
次に、画像処理部４は、対象３次元物体を含む３次元空間全体をボクセルに分割し（ステップＳ１３）、分割したボクセルの情報を形状記憶部４１に記憶する。このとき、画像処理部４は、対象３次元物体が存在しうる３次元空間Ｖを格子状にサンプリングする。サンプリングした点をｐ（ｘ，ｙ，ｚ）∈Ｖとし、ｐはボクセルを表す。
【００１７】
次に、画像処理部４は、各ボクセルを入力画像（前景画像及び背景画像）に投影し、対象３次元物体に含まれる尤度を計算する（ステップＳ１４）。ボクセルｐを入力画像上に投影した点をｐｃで表し、ｐｃの前景及び背景画像上の輝度値、あるいはカラーの場合、色表現に応じて、各チャンネルの値によって対象３次元物体に含まれる尤度Ｅｄ（ｐ）を（１）式によって計算する。
【数１】
【００１８】
ただし、Ｎ（Ｃ）はカメラの台数、Ｆｃ（Ｐｃ）、Ｂｃ（ｐｃ）はそれぞれｐの投影先での前景と背景の画素値である。
【００１９】
次に、画像処理部４は、各ボクセルについて、隣接するボクセルとの間に対象３次元物体の境界面が存在する尤度を計算する（ステップＳ１５）。画像処理部４は、ボクセルｐに隣接する点ｑについて、ｐからｑに向かう方向に対象３次元物体と非対象の境界が存在する尤度Ｅｃ（ｐ，ｑ）を（２）式によって計算する。定義の一例として、ｐとｑをそれぞれ前景及び背景画像に投影し、それぞれの投影先の画素値に関する評価値が異なるような値とすればよい。
【数２】
【００２０】
ただし、Ｃｐ，ｑはカメラの視線方向と点→ｐ（→はｐの頭に付く）から→ｑ（→はｑの頭に付く）への方向がほぼ垂直となるようなカメラの集合、すなわち、カメラの視線方向を→ｄｃ（→はｄの頭に付く）で表し、｜（→Ｐ−→ｑ）・→ｄｃ｜＜τを満たすカメラの集合である。Ｄｃ（ｐｃ）とＤｃ（ｑｃ）は、（３）、（４）式によって定義する。
Ｄｃ（ｐｃ）＝｜Ｆｃ（ｐｃ）−Ｂｃ（ｐｃ）｜ ・・・（３）
Ｄｃ（ｑｃ）＝｜Ｆｃ（ｑｃ）−Ｂｃ（ｑｃ）｜ ・・・（４）
【００２１】
次に、画像処理部４は、２種類の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する（ステップＳ１６）。画像処理部４は、図３に示すグラフを構築し、それぞれの枝に重み係数として、上記尤度を適用する。ただし、Ｔは尤度Ｅｄ（ｐ）からの変動を許容するための閾値である。
【００２２】
次に、画像処理部４は、最小グラフカットを計算することで、対象３次元物体となるボクセル集合を計算する（ステップＳ１７）。画像処理部４は、構築したグラフに対してグラフカットのアルゴリズムに適用し、ノードｓからノードｔへの最小カットを求めることにより、すべての格子点が対象３次元物体と非対象３次元物体とに分割でき、結果的に対象３次元物体の３次元形状が求められることになる。
【００２３】
画像処理部４は、求めた３次元形状の情報を形状記憶部４１から読み出して、３次元形状出力部５に対して出力する。なお、グラフ構築やグラフカットの処理は、文献「石川博、”グラフカット”，情報処理学会ＣＶＩＭ研究会２００７−ＣＶＩＭ−１５８，２００７．３．２０」、文献「N.D.F. Campbell, G. Vogiatzis, C. Hernandez and R. Cipolla.Automatic 3D Object Segmentation in Multiple Views using Volumetric Graph-Cuts. Image and Vision Computing, 28(1):14-25, 2010.」等に記載されており、公知であるため、詳細な処理動作の説明を省略する。
【００２４】
次に、３次元形状出力部５は、３次元物体として分割されたボクセル集合を３次元形状の情報として出力する（ステップＳ１８）。ここで出力されるボクセルは、画像上の対象領域が抽出できたことに相当する。
【００２５】
以上説明したように、３次元空間中のボクセルをグラフ構造に定義し、グラフカットの手法を用いて、複数視点画像を大局的に評価するようにしたため、最適な３次元形状を求めることができると同時に、複雑背景下でも対象領域の抽出が可能になり、実用的な３次元形状推定が実現可能となる。
【００２６】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより３次元形状推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００２７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００２８】
実環境における３次元形状の推定技術は、カメラを視覚センサとして用いるロボットビジョン、マシンビジョン分野のみならず、マンマシンインターフェースやエンターテイメントなどの分野にも広く応用可能である。
【符号の説明】
【００２９】
１１〜１４・・・マルチカメラ、２１・・・前景画像記憶部、２２・・・背景画像記憶部、３１・・・前景画像入力部、３２・・・背景画像入力部、４・・・画像処理部、４１・・・形状記憶部、５・・・３次元画像出力部
【技術分野】
【０００１】
本発明は、３次元形状推定装置、３次元形状推定方法及び３次元形状推定プログラムに関する。
【背景技術】
【０００２】
従来から、複数の視点でそれぞれ撮影された対象物体の画像に基づき、それぞれの視点に対応した対象物体のシルエットを事前に撮影した背景画像との比較により求め、ＳｆＳ（Shape-from-Silhouette）法に適用することで、３次元形状を求める手法が知られている（例えば、非特許文献１、２参照）。ＳＦＳ法は、それぞれの画像に撮影された対象物体のシルエットを抽出し、シルエットとカメラの射影中心が形成する錐体の内側に対象物体が含まれるといった性質を利用して三次元形状を復元する手法である。
【０００３】
ここで、図４を参照して、従来手法の処理動作を説明する。図４は、従来手法の処理動作を示すフローチャートである。まず、予め複数の視点において、対象物体のない背景画像を撮影し、保存しておく。次に対象物体の存在する前景画像を撮影して保存する。そして、多視点マルチカメラの背景画像を入力する（ステップＳ１）とともに、前景画像を入力する（ステップＳ２）。
【０００４】
次に、それぞれの視点に対し、例えば、背景差分法などにより、対象シルエットを計算することにより、複数の視点に対応した対象物体のシルエットを求める（ステップＳ３）。そして、すべての視点の対象物体のシルエットに対してＳｆＳ法を適用し、３次元形状の計算を行い（ステップＳ４）、得られた３次元形状の情報を出力する（ステップＳ５）。一般的には、計算される３次元形状はボクセル表現となり、対象を表す３次元空間中のボクセル集合として出力されることになる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】A. Laurentini:“The visual hull concept for silhouette- based imageunderstanding ”, PAMI, 16, 2, pp. 150 162 (1994).
【非特許文献２】W. N. Martin and J. K. Aggarwal: “ Volumetric description of objects from multiple views ”, PAMI, 5(2), pp. 150158 (1983).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術による３次元形状算出手法では、入力画像から正確なシルエットが求められることが計算上の前提条件であるが、実環境の複雑背景において、この条件は容易に満たされるものではない。すなわち、従来手法は最終結果である３次元形状は対象物体のシルエットの精度に強く影響されるため、実用的ではないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、３次元形状を算出する際の前提条件を緩和し、正確なシルエットを求めることなく、３次元形状の推定を行うことができる３次元形状推定装置、３次元形状推定方法及び３次元形状推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定装置であって、前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力手段と、前記対象物体を含む３次元空間全体をボクセルに分割する分割手段と、前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算手段と、前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算手段と、前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築手段と、前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算手段と、前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力手段とを備えたことを特徴とする。
【０００９】
本発明は、空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定方法であって、前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、前記対象物体を含む３次元空間全体をボクセルに分割する分割ステップと、前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算ステップと、前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算ステップと、前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算ステップと、前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力ステップとを有することを特徴とする。
【００１０】
本発明は、空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定装置上のコンピュータに３次元形状推定処理を行わせる３次元形状推定プログラムであって、前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、前記対象物体を含む３次元空間全体をボクセルに分割する分割ステップと、前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算ステップと、前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算ステップと、前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算ステップと、前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力ステップとを行わせることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ＳｆＳ法のように個々の視点画像だけで対象シルエットを決めるのではなく、３次元空間中のボクセルをグラフ構造に定義し、グラフカットの手法を用いて、複数視点画像を大局的に評価することにより最適な３次元形状を求めることができると同時に、複雑背景下でも対象領域の抽出が可能になるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】グラフの構成を示す説明図である。
【図４】従来技術による処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の一実施形態による３次元形状推定装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１１〜１４は、２次元形状の推定対象である３次元物体を複数視点位置から撮像するために、４台のカメラで構成するマルチカメラである。図１においては、４台のマルチカメラを図示したが、画像を撮像するカメラは、必要に応じて５台以上であってもよい。符号２１は、マルチカメラ１１〜１４により撮像した前景画像を記憶する前景画像記憶部である。符号２２は、マルチカメラ１１〜１４により撮像した背景画像を記憶する背景画像記憶部である。
【００１４】
符号３１は、前景画像記憶部２１に記憶されている前景画像を入力する前景画像入力部である。符号３２は、背景画像記憶部２２に記憶されている背景画像を入力する背景画像入力部である。符号４は、入力した前景画像と、入力した背景画像とから３次元物体の３次元形状を求める画像処理部である。符号４１は、求める３次元物体の形状情報を記憶する形状記憶部である。符号５は、画像処理部４において求めた３次元形状の情報を出力する３次元形状出力部である。
【００１５】
次に、図２を参照して、図１に示す３次元形状推定装置の処理動作を説明する。図２は、図１に示す３次元形状推定装置の処理動作を示すフローチャートである。まず、前景画像入力部３１は、前景画像記憶部２１に記憶されている前景画像を入力する（ステップＳ１１）。また、背景画像入力部３２は、背景画像記憶部２２に記憶されている背景画像を入力する（ステップＳ１２）。
【００１６】
次に、画像処理部４は、対象３次元物体を含む３次元空間全体をボクセルに分割し（ステップＳ１３）、分割したボクセルの情報を形状記憶部４１に記憶する。このとき、画像処理部４は、対象３次元物体が存在しうる３次元空間Ｖを格子状にサンプリングする。サンプリングした点をｐ（ｘ，ｙ，ｚ）∈Ｖとし、ｐはボクセルを表す。
【００１７】
次に、画像処理部４は、各ボクセルを入力画像（前景画像及び背景画像）に投影し、対象３次元物体に含まれる尤度を計算する（ステップＳ１４）。ボクセルｐを入力画像上に投影した点をｐｃで表し、ｐｃの前景及び背景画像上の輝度値、あるいはカラーの場合、色表現に応じて、各チャンネルの値によって対象３次元物体に含まれる尤度Ｅｄ（ｐ）を（１）式によって計算する。
【数１】
【００１８】
ただし、Ｎ（Ｃ）はカメラの台数、Ｆｃ（Ｐｃ）、Ｂｃ（ｐｃ）はそれぞれｐの投影先での前景と背景の画素値である。
【００１９】
次に、画像処理部４は、各ボクセルについて、隣接するボクセルとの間に対象３次元物体の境界面が存在する尤度を計算する（ステップＳ１５）。画像処理部４は、ボクセルｐに隣接する点ｑについて、ｐからｑに向かう方向に対象３次元物体と非対象の境界が存在する尤度Ｅｃ（ｐ，ｑ）を（２）式によって計算する。定義の一例として、ｐとｑをそれぞれ前景及び背景画像に投影し、それぞれの投影先の画素値に関する評価値が異なるような値とすればよい。
【数２】
【００２０】
ただし、Ｃｐ，ｑはカメラの視線方向と点→ｐ（→はｐの頭に付く）から→ｑ（→はｑの頭に付く）への方向がほぼ垂直となるようなカメラの集合、すなわち、カメラの視線方向を→ｄｃ（→はｄの頭に付く）で表し、｜（→Ｐ−→ｑ）・→ｄｃ｜＜τを満たすカメラの集合である。Ｄｃ（ｐｃ）とＤｃ（ｑｃ）は、（３）、（４）式によって定義する。
Ｄｃ（ｐｃ）＝｜Ｆｃ（ｐｃ）−Ｂｃ（ｐｃ）｜ ・・・（３）
Ｄｃ（ｑｃ）＝｜Ｆｃ（ｑｃ）−Ｂｃ（ｑｃ）｜ ・・・（４）
【００２１】
次に、画像処理部４は、２種類の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する（ステップＳ１６）。画像処理部４は、図３に示すグラフを構築し、それぞれの枝に重み係数として、上記尤度を適用する。ただし、Ｔは尤度Ｅｄ（ｐ）からの変動を許容するための閾値である。
【００２２】
次に、画像処理部４は、最小グラフカットを計算することで、対象３次元物体となるボクセル集合を計算する（ステップＳ１７）。画像処理部４は、構築したグラフに対してグラフカットのアルゴリズムに適用し、ノードｓからノードｔへの最小カットを求めることにより、すべての格子点が対象３次元物体と非対象３次元物体とに分割でき、結果的に対象３次元物体の３次元形状が求められることになる。
【００２３】
画像処理部４は、求めた３次元形状の情報を形状記憶部４１から読み出して、３次元形状出力部５に対して出力する。なお、グラフ構築やグラフカットの処理は、文献「石川博、”グラフカット”，情報処理学会ＣＶＩＭ研究会２００７−ＣＶＩＭ−１５８，２００７．３．２０」、文献「N.D.F. Campbell, G. Vogiatzis, C. Hernandez and R. Cipolla.Automatic 3D Object Segmentation in Multiple Views using Volumetric Graph-Cuts. Image and Vision Computing, 28(1):14-25, 2010.」等に記載されており、公知であるため、詳細な処理動作の説明を省略する。
【００２４】
次に、３次元形状出力部５は、３次元物体として分割されたボクセル集合を３次元形状の情報として出力する（ステップＳ１８）。ここで出力されるボクセルは、画像上の対象領域が抽出できたことに相当する。
【００２５】
以上説明したように、３次元空間中のボクセルをグラフ構造に定義し、グラフカットの手法を用いて、複数視点画像を大局的に評価するようにしたため、最適な３次元形状を求めることができると同時に、複雑背景下でも対象領域の抽出が可能になり、実用的な３次元形状推定が実現可能となる。
【００２６】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより３次元形状推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００２７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００２８】
実環境における３次元形状の推定技術は、カメラを視覚センサとして用いるロボットビジョン、マシンビジョン分野のみならず、マンマシンインターフェースやエンターテイメントなどの分野にも広く応用可能である。
【符号の説明】
【００２９】
１１〜１４・・・マルチカメラ、２１・・・前景画像記憶部、２２・・・背景画像記憶部、３１・・・前景画像入力部、３２・・・背景画像入力部、４・・・画像処理部、４１・・・形状記憶部、５・・・３次元画像出力部
【特許請求の範囲】
【請求項１】
空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定装置であって、
前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力手段と、
前記対象物体を含む３次元空間全体をボクセルに分割する分割手段と、
前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算手段と、
前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算手段と、
前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築手段と、
前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算手段と、
前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力手段と
を備えたことを特徴とする３次元形状推定装置。
【請求項２】
空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定方法であって、
前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、
前記対象物体を含む３次元空間全体をボクセルに分割する分割ステップと、
前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算ステップと、
前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算ステップと、
前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、
前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算ステップと、
前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力ステップと
を有することを特徴とする３次元形状推定方法。
【請求項３】
空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定装置上のコンピュータに３次元形状推定処理を行わせる３次元形状推定プログラムであって、
前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、
前記対象物体を含む３次元空間全体をボクセルに分割する分割ステップと、
前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算ステップと、
前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算ステップと、
前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、
前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算ステップと、
前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力ステップと
を行わせることを特徴とする３次元形状推定プログラム。
【請求項１】
空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定装置であって、
前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力手段と、
前記対象物体を含む３次元空間全体をボクセルに分割する分割手段と、
前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算手段と、
前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算手段と、
前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築手段と、
前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算手段と、
前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力手段と
を備えたことを特徴とする３次元形状推定装置。
【請求項２】
空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定方法であって、
前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、
前記対象物体を含む３次元空間全体をボクセルに分割する分割ステップと、
前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算ステップと、
前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算ステップと、
前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、
前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算ステップと、
前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力ステップと
を有することを特徴とする３次元形状推定方法。
【請求項３】
空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の３次元形状を推定する３次元形状推定装置上のコンピュータに３次元形状推定処理を行わせる３次元形状推定プログラムであって、
前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、
前記対象物体を含む３次元空間全体をボクセルに分割する分割ステップと、
前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第１の尤度を計算する第１の計算ステップと、
前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第２の尤度を計算する第２の計算ステップと、
前記第１の尤度及び前記第２の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、
前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第３の計算ステップと、
前記ボクセル集合を前記対象物体の３次元形状情報として出力する形状出力ステップと
を行わせることを特徴とする３次元形状推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−２５４５８（Ｐ２０１３−２５４５８Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５７８７０（Ｐ２０１１−１５７８７０）
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４１３２２７２）国立大学法人京都大学 (1,269)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４１３２２７２）国立大学法人京都大学 (1,269)
【Ｆターム（参考）】
[ Back to top ]