画像処理装置、画像処理方法、及び、撮像システム
【課題】精度よく二次元の画像情報から三次元形状を復元して出力することができる画像処理装置を提供する。
【解決手段】二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部２２の情報を参照して、奥行き情報推定部２３が奥行き情報を推定し、他視点画像情報生成部２５が推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな奥行き情報を推定するように制御部２７が奥行き情報推定部２３を制御することで、二次元の画像情報から三次元形状を復元して出力部２６から出力する。
【解決手段】二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部２２の情報を参照して、奥行き情報推定部２３が奥行き情報を推定し、他視点画像情報生成部２５が推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな奥行き情報を推定するように制御部２７が奥行き情報推定部２３を制御することで、二次元の画像情報から三次元形状を復元して出力部２６から出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により撮像された画像情報から、被写体の奥行き方向の距離を示す奥行き情報を推定することにより被写体の三次元形状情報を生成する画像処理装置、画像処理方法、及び、この画像処理装置が組み込まれた撮像システムに関する。
【背景技術】
【０００２】
撮像装置により撮像された画像情報から、被写体の三次元形状を復元する手法は、従来から提案されている。
【０００３】
例えば、非特許文献１には、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とを予め学習しておき、この学習結果を利用して、単一の二次元画像情報から物体の奥行き情報を推定して、物体の三次元形状を復元する手法が記載されている。
【０００４】
【非特許文献１】長井 隆行、池原 雅章、榑松 明、ＨＭＭを用いた単一画像からの物体形状復元、情報通信学会論文誌ＶＯＬ．Ｊ８６−Ｄ−ＩＩ Ｎｏ．９ ＳＥＰＴＥＭＢＥＲ，２００３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１に記載された手法では、学習結果を利用して、単一の二次元画像情報から三次元形状を精度よく復元することができるが更なる精度向上が望まれる。
【０００６】
本発明は、このような実情に鑑みて提案されたものであり、より精度よく二次元の画像情報から三次元形状を復元して出力することができる画像処理装置、画像処理方法、及び、この画像処理装置が組み込まれた撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するための手段として、本発明に係る画像処理装置は、同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部と、二次元空間上の画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて記憶部に記憶された三次元形状を示す情報を参照して、被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、基準画像情報とともに入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、基準画像情報を変化させた他視点画像情報を、奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部に入力された画像情報との誤差が小さくなる新たな奥行き情報を、奥行き情報推定部により推定させる制御部と、基準画像情報と、新たな奥行き情報とを対応付けた被写体の三次元形状を示す情報を出力する出力部とを備える。
【０００８】
また、本発明に係る画像処理方法は、同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部の三次元形状を示す情報を参照して、被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定ステップと、奥行き情報推定ステップにより推定された奥行き情報に基づいて、基準画像情報とともに入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、基準画像情報を変化させた他視点画像情報を生成する他視点画像情報生成ステップとを有し、他視点画像情報生成ステップにより生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部に入力される画像情報との誤差が小さくなる新たな奥行き情報を、奥行き情報推定ステップにより推定して、基準画像情報と、新たな奥行き情報とを対応付けた被写体の三次元形状を示す情報を出力する。
【０００９】
また、本発明に係る撮像システムは、互いに異なる視点に配置された複数の撮像装置を用いて、同一の被写体に対して複数の画像情報を撮像する撮像部と、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、撮像部により撮像された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、記憶部に記憶された三次元形状を示す情報を参照して、被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、基準画像情報とともに撮像部により撮像される他の画像情報が撮像された視点と同じ視点になるように、基準画像情報を変化させた他視点画像情報を、奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像部により撮像された画像情報との誤差が小さくなる新たな奥行き情報を、奥行き情報推定部により推定させる制御部と、基準画像情報と、新たな奥行き情報とを対応付けた被写体の三次元形状を示す情報を出力する出力部とを備える。
【発明の効果】
【００１０】
本発明は、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部の情報を参照して推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな情報を推定するので、より精度よく二次元の画像情報から三次元形状を復元して出力することができる。
【発明を実施するための最良の形態】
【００１１】
本発明が適用された画像処理装置は、撮像装置により撮像された画像情報から、被写体の奥行き情報を推定することにより被写体の三次元形状情報を生成する装置であり、例えば、図１に示すような撮像システム１に組み込まれる。
【００１２】
この撮像システム１は、被写体２を撮像する撮像部１ａと、撮像部１ａにより撮像された画像情報から被写体２の三次元形状情報を得て出力して例えば記録媒体３に記録する画像処理部１ｂとを備える。
【００１３】
撮像部１ａは、互いに異なる視点に配置されたビデオカメラ１０、１１、１２を有し、各ビデオカメラ１０、１１、１２を用いて同一の被写体２を撮像することにより、複数の画像情報を生成する。ここで、撮像部１ａが備えるビデオカメラ、すなわち撮像装置の数は、３つに限定されず同一の被写体に対して異なる視点の画像情報が複数得られればよいが、以下では、ビデオカメラの数が３つとして説明する。
【００１４】
撮像部１ａでは、ビデオカメラ１０から得られる画像情報を基準画像情報Ｉ０とし、他のビデオカメラ１１、１２から得られる画像情報をそれぞれ画像情報Ｉ１、Ｉ２として、３つの画像情報Ｉ０、Ｉ１、Ｉ２を画像処理部１ｂに供給する。
【００１５】
画像処理部１ｂは、撮像部１ａから複数の画像情報が入力される入力部２１と、予め種々の物体の三次元形状に関する情報が記憶された記憶部２２と、記憶部２２の情報を参照して基準画像情報Ｉ０から被写体の奥行き情報を推定する奥行き情報推定部２３とを備える。また、画像処理部１ｂは、入力部２１により入力された各画像情報が得られた視点の位置を示す視点位置情報を推定する視点位置情報推定部２４と、基準画像情報から視点を変化させた他視点画像情報を生成する他視点画像情報生成部２５とを備える。また、画像処理部１ｂは、基準画像情報とこの画像情報から推定された奥行き情報とを対応付けた被写体２の三次元形状を示す三次元形状情報を出力する出力部２６と、各処理部の動作全体を制御する制御部２７とを備える。
【００１６】
入力部２１は、撮像部１ａにより同一の被写体２に対して互いに異なる視点で撮像された複数の画像情報Ｉ０、Ｉ１、Ｉ２が入力される。そして、入力部２１は、画像情報Ｉ０を基準画像として、奥行き情報推定部２３及び出力部２６にそれぞれ供給する。また、入力部２１は、入力された全ての画像情報Ｉ０、Ｉ１、Ｉ２を視点位置情報推定部２４に供給する。
【００１７】
記憶部２２は、物体の三次元形状に関する情報として、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とを予め学習しておき、この学習により得られる情報が記憶される。具体的に、学習データとして、予め物体をカテゴリに分類し、その画像の特徴である見た目とその画像に示される物体の三次元形状の情報を与える。そして、記憶部２２には、これらのデータ対を例えばマルチバンドの二次元隠れマルコフモデルで学習させることによって得られる、各物体カテゴリそれぞれに対応した特徴と形状の対応関係が記憶される。すなわち、記憶部２２には、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶されていればよく、上述した学習データに限定されない。なお、二次元隠れマルコフモデルで学習された学習データを記憶部２２が記憶しているものとする。
【００１８】
奥行き情報推定部２３は、記憶部２２に記憶された情報を参照して、入力部２１から供給される基準画像情報Ｉ０で示される画像の特徴に基づいて、具体的には後述するようにして、被写体２の奥行き情報を推定する。そして、奥行き情報推定部２３は、推定した奥行き情報を、他視点画像情報生成部２５及び出力部２６にそれぞれ供給する。
【００１９】
出力部２６は、基準画像情報Ｉ０と、奥行き情報推定部２３により推定された奥行き情報とを対応付けた被写体２の三次元形状を示す情報を、例えば図１に示す記録媒体３に出力して記録する。
【００２０】
制御部２７は、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなるような奥行き情報を新たに推定するように奥行き情報推定部２３を制御する。
【００２１】
以上のような構成からなる撮像システム１では、図２に示すような処理フローに従って動作することで、被写体２の三次元形状を示す情報を精度よく取得することができる。
【００２２】
ステップＳＴ１において、入力部２１には、撮像部１ａにより同一の被写体２に対して互いに異なる視点で撮像された複数の画像情報Ｉ０、Ｉ１、Ｉ２が入力されると、ステップＳＴ２及びステップＳＴ５に進む。ここで、画像情報Ｉ０、Ｉ１、Ｉ２は、図３に示すように、人間や家具などの３次元物体を被写体２として、基準となる座標系ｘ−ｙ−ｚに対して、それぞれ視点（ｘ０、ｙ０、ｚ０）、（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）で撮像された画像情報である。
【００２３】
ステップＳＴ２において、視点位置情報推定部２４は、図４に示すように、画像情報Ｉ１、Ｉ２それぞれに対して、基準画像情報Ｉ０上の点対応を知るため、図中の○で示す特徴点を各画像で抽出してステップＳＴ３に進む。具体的に、視点位置情報推定部２４は、例えばＳＩＦＴ（Scale Invariant Feature Transform）と呼ばれる手法を用いて特徴を抽出するが、基本的にはコーナー点などどのようなものを用いて特徴を抽出するようにしてもよい。
【００２４】
ステップＳＴ３において、視点位置情報推定部２４は、ステップＳＴ２により抽出した特徴点に基づいて、図５に示すように、画像情報Ｉ１、Ｉ２それぞれに対して、基準画像情報Ｉ０上の点対応を求めて、ステップＳＴ４に進む。具体的には、ＳＩＦＴを用いて抽出した特徴に対して、画像情報Ｉ０−Ｉ１、Ｉ０−Ｉ２間でマッチング処理を行うことにより、画像情報Ｉ１、Ｉ２それぞれに対する基準画像情報Ｉ０上の点対応を求める。なお、図５中のｍｋｉは、画像情報Ｉｋにおけるｉ番目の特徴点の２次元上の画像座標点を示している。
【００２５】
ステップＳＴ４において、視点位置情報推定部２４は、ステップＳＴ３により求めた点対応を用いることで各ビデオカメラ１０、１１、１２の位置関係、すなわち、各画像情報間での視点位置を示す情報を推定する。
【００２６】
具体的に、画像情報Ｉ０−Ｉ１間における対応点を、ｍ０ｉ＝［ｕ０ｉ ｖ０ｉ １］Ｔ、ｍ１ｉ＝［ｕ１ｉ ｖ１ｉ １］Ｔのように斉次座標で表現すると、下記の（１）式の関係が成立する。
【００２７】
【数１】
【００２８】
ここで、Ｆは、３×３の行列である基礎行列とする。ｕ０ｉ、ｖ０ｉ、ｕ１ｉ、ｖ１ｉは既知であるから、（１）式は基礎行列の各要素を変数ｆとした下記の（２）式に示すような線形方程式で表現することができる。
【００２９】
【数２】
【００３０】
したがって、基礎行列Ｆは、画像情報間において８点以上の対応点があれば、下記の（３）式に示すような連立方程式から決定することができる。
【００３１】
【数３】
【００３２】
このように画像情報間において８点以上の対応点があれば（３）式の関係が成立するので、下記の（４）式に示すような最小自乗法により基礎行列Ｆを求めることができる。
【００３３】
【数４】
【００３４】
このようにして求めた基礎行列Ｆは、ビデオカメラの平行移動、回転と下記の（５）式のような関係がある。
【００３５】
【数５】
【００３６】
ただし、Ａはカメラの内部パラメータであり、本実施形態においては、既知であるものとする。また、Ｔは、下記の（６）式で示される行列である。
【００３７】
【数６】
【００３８】
なお、ｔは、画像情報Ｉ０−Ｉ１間での平行移動を示すベクトルである。さらに、（５）式中の行列Ｅ（以下、基本行列Ｅという。）は、下記の（７）式に示すような関係が成立する。
【００３９】
【数７】
【００４０】
したがって、ＥＥＴの最小固有値に対応する固有ベクトルとして、平行移動ベクトルｔの方向を指す下記の（８）式に示す単位ベクトルを求めることができる。
【００４１】
【数８】
【００４２】
ここで、単位ベクトルにスケールを合わせると、下記の（９）式から回転行列Ｒが求められる。
【００４３】
【数９】
【００４４】
以上のようにして、視点位置情報推定部２４は、各画像情報間の平行移動ベクトル及び回転行列を求めることで、各画像情報における相対的な視点位置を示す情報を得ることができる。視点位置情報推定部２４は、ビデオカメラ１０、１１、１２の位置、すなわち、各画像情報Ｉ０、Ｉ１、Ｉ２の視点位置を示す情報を他視点画像情報生成部２５に通知して、ステップＳＴ８に進む。なお、ステップＳＴ８の説明に先立ち、ステップＳＴ５について説明する。
【００４５】
ステップＳＴ５において、奥行き情報推定部２３は、基準画像情報に対して、予め知識により獲得した情報を用いた３次元復元を行うため、まずは、どの知識を適用すべきか判断する。すなわち、奥行き情報推定部２３は、画像中の特徴を抽出し、物体の認識を行う。ここで、奥行き情報推定部２３は、どのような手法を用いてもよいが、３次元復元で用いるＨＭＭ（Hidden Markov Model、隠れマルコフモデル）をそのまま用いることで、物体の認識を行うことができる。したがって、奥行き情報推定部２３は、離散コサイン(ＤＣＴ)変換を用いて、基準画像情報Ｉ０で示される画像の特徴を抽出する。具体的には、奥行き情報推定部２３は、基準画像情報Ｉ０で示される画像に対して、図６に示すように、ブロック毎にＤＣＴを施して、下記の（１０）式から特徴量Ｏ０を算出して、ステップＳＴ６に進む。
【００４６】
【数１０】
【００４７】
ここで、Ｉは画像の輝度情報であり、Ｗは画像を特徴量に変換する変換行列である。なお、特徴量の算出手法としては、ＤＣＴに限定されず、ブロック単位の画像の特徴を表現する指標であれば如何なる値を用いるようにしてもよい。
【００４８】
ステップＳＴ６において、奥行き情報推定部２３は、ＨＭＭを用いた物体認識を行う。具体的に、奥行き情報推定部２３は、事前に学習して記憶部２２に記憶されている各物体の画像モデルを読み出して、読み出した画像モデルに基準画像情報の各ブロックの画像を入力してその尤度を計算する。そして、奥行き情報推定部２３は、記憶部２２に記憶されている最終的に全ての画像モデルの中で、最も高い尤度を出力した画像モデルに対応する三次元モデルが、その画像中の被写体に存在する物体であると判断してステップＳＴ７に進む。
【００４９】
ステップＳＴ７において、奥行き情報推定部２３は、基準画像情報Ｉ０に対して、最も確率の高い三次元モデルをマッピングする。ここで、記憶部２２には、図７（Ａ）に示すように、ある特定の物体の特徴である見え方、たとえば正面から見た顔に対して、どのような３次元情報が対応するかが事前にＨＭＭでモデル化されて記憶されている。奥行き情報推定部２３は、図７（Ｂ）に示すように、記憶部２２に記憶されている情報を参照して、基準画像情報Ｉ０に対してその輝度情報が学習した輝度情報とどのように対応するかを輝度情報のＨＭＭをビタビアルゴリズムなどによるデコード処理によって奥行き情報のＨＭＭを求める（ステップＳＴ２１）。そして、奥行き情報推定部２３は、その対応関係、すなわち、状態遷移の情報から三次元形状を示す情報を参照する（ステップＳＴ２２）ことで、基準画像情報Ｉ０で示される被写体２の奥行き方向の距離を示す奥行き情報を推定して、ステップＳＴ８に進む。
【００５０】
具体的に、奥行き情報推定部２３は、最も確率の高い奥行き情報をマッピングするために、下記の（１１）式に示す確率の対数を最大とする奥行き情報ｐを求めればよい。
【００５１】
【数１１】
【００５２】
ここで、Ｐは確率を表している。ただし、Ｏｄは、Ｏｄ＝Ｗｐで表される奥行き情報の特徴量である。ｑは、輝度ＨＭＭのデコード処理によって得られる状態遷移情報である。Ｗは、奥行き情報ｐを特徴量に変換する行列である。μは、状態遷移情報により計算される平均値ベクトルである。Σは、状態遷移情報により計算される共分散行列である。
【００５３】
上記の（１１）式は２次形式であるので、下記の（１２）式に示すように、奥行き情報ｐで偏微分してゼロとおくことで奥行き情報ｐを求めることができる。
【００５４】
【数１２】
【００５５】
ステップＳＴ８において、具体的に図８に示す処理フローにしたがって、制御部２７は、他視点画像情報生成部２５により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部２１に入力される画像情報との誤差が小さくなるような新たな奥行き情報を、奥行き情報推定部２３により推定させる。このような処理を行うのは、ステップＳＴ７において基準画像情報のみを用いて奥行き情報を推定しただけでは、正しい推定である保証がないからである。
【００５６】
まず、下記の（１３）式に示すように、奥行き情報ｐを確率的に定式化する。
【００５７】
【数１３】
【００５８】
上式において第１項が複数視点によって得られる幾何学的情報、第２項が陰影などの情報、第３項がＨＭＭの結合学習によって得られる知識情報である。なお、上式ではＩを用いて奥行き情報ｐを表現しているが、これを特徴量に変換したＯを用いて表現してもよい。
【００５９】
誤差が例えばｉ．ｉ．ｄ．ガウス分布に従うとすると、第１項の条件付確率は、下記の（１４）式のように表現することができる。
【００６０】
【数１４】
【００６１】
ここで、Ｊ（Ｉ０，ｐ）は、基準画像情報Ｉ０と奥行き情報ｐから他視点の画像情報を生成する関数である。また、σ２は、誤差の分散値である。
【００６２】
他視点画像情報生成部２５は、関数Ｊを用いた演算を行うことで、画像情報Ｉ１と同じ視点となるように基準画像情報Ｉ０を変化させた下記の（１５）式に示す画像情報が得られる（ステップＳＴ８１）。
【００６３】
【数１５】
【００６４】
ここで、他視点画像情報を生成するのにビデオカメラの位置を知っている必要があるが、他視点画像情報生成部２５は、ビデオカメラ１０、１１、１２の位置を予め把握していなくても、ステップＳＴ４により取得することができる。なお、画像情報のメタデータとして視点位置に関する情報が含まれている場合には、ステップＳＴ２〜ＳＴ４の処理を行うことなく、メタデータを利用して、他視点画像情報を生成するようにしてもよい。
【００６５】
そして、下記の（１６）式に示す関数（対数尤度関数）を最小化することで、誤差が所定の閾値よりも小さく、精度が高い奥行き情報を得ることができる。
【００６６】
【数１６】
【００６７】
このようにして、制御部２７は、他視点画像情報生成部２５により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部２１に入力される画像情報との誤差を計算し（ステップＳＴ８２）、この誤差が所定の閾値よりも小さくなるまで、繰り返し奥行き情報推定部２３に新たな奥行き情報ｐを推定させて、例えば（１６）式の条件が満たされる（ステップＳＴ８４）と、出力部２６により被写体２の三次元形状を示す情報を出力するように制御する。
【００６８】
上記の（１６）式の最小化関数では、下記の（１７）式に示す陰影の情報を考慮していない。
【００６９】
【数１７】
【００７０】
そこで、この情報も次のように取り入れた下記の（１８）式に示す最小化関数を満たすような奥行き情報を得ることで、更に精度よく被写体２の三次元形状を示す情報を得ることができる。すなわち、奥行き情報推定部２３は、推定した奥行き情報ｐと基準画像情報Ｉ０とに基づいて、被写体の陰影を示す陰影情報Ｓ（ｐ）を推定する。そして、制御部２７は、陰影情報Ｓ（ｐ）と基準画像情報Ｉ０との誤差が小さくなるような下記の（１８）式に示す最小化関数を満たす新たな奥行き情報ｐを、奥行き情報推定部２３により推定させる（ステップＳＴ８３）。
【００７１】
【数１８】
【００７２】
ここで、σｓ２は、陰影情報に関する誤差の分散値である。
【００７３】
上述した（１７）式、（１８）式に示す最小化関数いずれも非線形関数である。そこでこれらの最小化には非線形最適化の手法を直接適用するか、下記の（１９）式の値をテーラー展開を用いて線形化することによって、線形方程式へと変換し、これを繰り返し解くことで最終的な奥行き情報ｐを得ることができる。
【００７４】
【数１９】
【００７５】
ただし、いずれの場合も、奥行き情報ｐに対する初期値が必要となるが、これはステップＳＴ７によって得られる解をそのまま用いることができる。このようにして、制御部２７は、他視点画像情報生成部２５により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部２１に入力される画像情報との誤差が小さくなるような新たな奥行き情報を、奥行き情報推定部２３により推定させる。そして、制御部２７は、誤差が低減された新たな奥行き情報を基準画像情報Ｉ０と対応付けて被写体２の三次元形状を示す情報として出力部２６により出力する。
【００７６】
例えば、図９（Ａ）に示すような、５つの異なる視点から観測した画像から三次元形状を復元して、復元した三次元形状の情報に基づいて視点を変えた画像を生成した結果は、図９（Ｂ）のようになる。図９（Ｂ）は、左図が、実際に撮像された画像情報、中央図が５枚の画像を用いて本実施形態に係る撮像システム１により得られた三次元形状の情報を用いて生成した他視点画像情報、右図が、上述した最適化処理を行わないで１枚の画像情報のみから推定した奥行き情報を用いて生成した他視点画像情報を示している。
【００７７】
また、図１０（Ａ）に示すような、２つの異なる視点から観測した画像から復元した三次元形状は、図１０（Ｂ）のようになる。図１０（Ｂ）は、左図が、本実施形態に係る撮像システム１により得られた三次元形状の情報であり、中央図が、既存のグラフィカルモデル手法により得られた三次元形状の情報であり、左図が、既存のグラフカット手法により得られた三次元形状の情報である。
【００７８】
以上の図９、図１０に示す２つの実施例から明らかなように、撮像システム１に組み込まれた画像処理部１ｂは、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部２２の情報を参照して推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな奥行き情報を推定するので、より精度よく二次元の画像情報から三次元形状を復元して出力することができる。これにより、コンピュータグラフィックスやバーチャルリアリティなど、三次元モデリングの必要な応用において、人手による手間を少なくすることが可能となる。
【００７９】
なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００８０】
【図１】本発明が適用された撮像システムの全体構成を示す図である。
【図２】撮像システム全体の処理フローを示す図である。
【図３】他視点の画像情報に係る入力処理について説明するための図である。
【図４】複数の画像情報から特徴点抽出を行う処理について説明するための図である。
【図５】複数の画像情報から抽出された特徴点の追跡を行う処理について説明するための図である。
【図６】基準画像情報から特徴点抽出を行う処理について説明するための図である。
【図７】基準画像情報から三次元形状を復元する処理について説明するための図である。
【図８】奥行き情報の最適化処理について説明するための図である。
【図９】５つの異なる視点から観測した画像から三次元形状を復元する復元例を示した図である。
【図１０】２つの異なる視点から観測した画像から三次元形状を復元する復元例を示した図である。
【符号の説明】
【００８１】
１ 撮像システム、２ 被写体、１ａ 撮像部、１ｂ 画像処理部、２１ 入力部、２２ 記憶部、２３ 奥行き情報情報推定部、２４ 視点位置情報推定部、２５ 他視点画像情報生成部、２６ 出力部、２７ 制御部、３ 記録媒体、１０、１１、１２ ビデオカメラ
【技術分野】
【０００１】
本発明は、撮像装置により撮像された画像情報から、被写体の奥行き方向の距離を示す奥行き情報を推定することにより被写体の三次元形状情報を生成する画像処理装置、画像処理方法、及び、この画像処理装置が組み込まれた撮像システムに関する。
【背景技術】
【０００２】
撮像装置により撮像された画像情報から、被写体の三次元形状を復元する手法は、従来から提案されている。
【０００３】
例えば、非特許文献１には、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とを予め学習しておき、この学習結果を利用して、単一の二次元画像情報から物体の奥行き情報を推定して、物体の三次元形状を復元する手法が記載されている。
【０００４】
【非特許文献１】長井 隆行、池原 雅章、榑松 明、ＨＭＭを用いた単一画像からの物体形状復元、情報通信学会論文誌ＶＯＬ．Ｊ８６−Ｄ−ＩＩ Ｎｏ．９ ＳＥＰＴＥＭＢＥＲ，２００３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１に記載された手法では、学習結果を利用して、単一の二次元画像情報から三次元形状を精度よく復元することができるが更なる精度向上が望まれる。
【０００６】
本発明は、このような実情に鑑みて提案されたものであり、より精度よく二次元の画像情報から三次元形状を復元して出力することができる画像処理装置、画像処理方法、及び、この画像処理装置が組み込まれた撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するための手段として、本発明に係る画像処理装置は、同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部と、二次元空間上の画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて記憶部に記憶された三次元形状を示す情報を参照して、被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、基準画像情報とともに入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、基準画像情報を変化させた他視点画像情報を、奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部に入力された画像情報との誤差が小さくなる新たな奥行き情報を、奥行き情報推定部により推定させる制御部と、基準画像情報と、新たな奥行き情報とを対応付けた被写体の三次元形状を示す情報を出力する出力部とを備える。
【０００８】
また、本発明に係る画像処理方法は、同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部の三次元形状を示す情報を参照して、被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定ステップと、奥行き情報推定ステップにより推定された奥行き情報に基づいて、基準画像情報とともに入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、基準画像情報を変化させた他視点画像情報を生成する他視点画像情報生成ステップとを有し、他視点画像情報生成ステップにより生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部に入力される画像情報との誤差が小さくなる新たな奥行き情報を、奥行き情報推定ステップにより推定して、基準画像情報と、新たな奥行き情報とを対応付けた被写体の三次元形状を示す情報を出力する。
【０００９】
また、本発明に係る撮像システムは、互いに異なる視点に配置された複数の撮像装置を用いて、同一の被写体に対して複数の画像情報を撮像する撮像部と、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、撮像部により撮像された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、記憶部に記憶された三次元形状を示す情報を参照して、被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、基準画像情報とともに撮像部により撮像される他の画像情報が撮像された視点と同じ視点になるように、基準画像情報を変化させた他視点画像情報を、奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像部により撮像された画像情報との誤差が小さくなる新たな奥行き情報を、奥行き情報推定部により推定させる制御部と、基準画像情報と、新たな奥行き情報とを対応付けた被写体の三次元形状を示す情報を出力する出力部とを備える。
【発明の効果】
【００１０】
本発明は、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部の情報を参照して推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな情報を推定するので、より精度よく二次元の画像情報から三次元形状を復元して出力することができる。
【発明を実施するための最良の形態】
【００１１】
本発明が適用された画像処理装置は、撮像装置により撮像された画像情報から、被写体の奥行き情報を推定することにより被写体の三次元形状情報を生成する装置であり、例えば、図１に示すような撮像システム１に組み込まれる。
【００１２】
この撮像システム１は、被写体２を撮像する撮像部１ａと、撮像部１ａにより撮像された画像情報から被写体２の三次元形状情報を得て出力して例えば記録媒体３に記録する画像処理部１ｂとを備える。
【００１３】
撮像部１ａは、互いに異なる視点に配置されたビデオカメラ１０、１１、１２を有し、各ビデオカメラ１０、１１、１２を用いて同一の被写体２を撮像することにより、複数の画像情報を生成する。ここで、撮像部１ａが備えるビデオカメラ、すなわち撮像装置の数は、３つに限定されず同一の被写体に対して異なる視点の画像情報が複数得られればよいが、以下では、ビデオカメラの数が３つとして説明する。
【００１４】
撮像部１ａでは、ビデオカメラ１０から得られる画像情報を基準画像情報Ｉ０とし、他のビデオカメラ１１、１２から得られる画像情報をそれぞれ画像情報Ｉ１、Ｉ２として、３つの画像情報Ｉ０、Ｉ１、Ｉ２を画像処理部１ｂに供給する。
【００１５】
画像処理部１ｂは、撮像部１ａから複数の画像情報が入力される入力部２１と、予め種々の物体の三次元形状に関する情報が記憶された記憶部２２と、記憶部２２の情報を参照して基準画像情報Ｉ０から被写体の奥行き情報を推定する奥行き情報推定部２３とを備える。また、画像処理部１ｂは、入力部２１により入力された各画像情報が得られた視点の位置を示す視点位置情報を推定する視点位置情報推定部２４と、基準画像情報から視点を変化させた他視点画像情報を生成する他視点画像情報生成部２５とを備える。また、画像処理部１ｂは、基準画像情報とこの画像情報から推定された奥行き情報とを対応付けた被写体２の三次元形状を示す三次元形状情報を出力する出力部２６と、各処理部の動作全体を制御する制御部２７とを備える。
【００１６】
入力部２１は、撮像部１ａにより同一の被写体２に対して互いに異なる視点で撮像された複数の画像情報Ｉ０、Ｉ１、Ｉ２が入力される。そして、入力部２１は、画像情報Ｉ０を基準画像として、奥行き情報推定部２３及び出力部２６にそれぞれ供給する。また、入力部２１は、入力された全ての画像情報Ｉ０、Ｉ１、Ｉ２を視点位置情報推定部２４に供給する。
【００１７】
記憶部２２は、物体の三次元形状に関する情報として、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とを予め学習しておき、この学習により得られる情報が記憶される。具体的に、学習データとして、予め物体をカテゴリに分類し、その画像の特徴である見た目とその画像に示される物体の三次元形状の情報を与える。そして、記憶部２２には、これらのデータ対を例えばマルチバンドの二次元隠れマルコフモデルで学習させることによって得られる、各物体カテゴリそれぞれに対応した特徴と形状の対応関係が記憶される。すなわち、記憶部２２には、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶されていればよく、上述した学習データに限定されない。なお、二次元隠れマルコフモデルで学習された学習データを記憶部２２が記憶しているものとする。
【００１８】
奥行き情報推定部２３は、記憶部２２に記憶された情報を参照して、入力部２１から供給される基準画像情報Ｉ０で示される画像の特徴に基づいて、具体的には後述するようにして、被写体２の奥行き情報を推定する。そして、奥行き情報推定部２３は、推定した奥行き情報を、他視点画像情報生成部２５及び出力部２６にそれぞれ供給する。
【００１９】
出力部２６は、基準画像情報Ｉ０と、奥行き情報推定部２３により推定された奥行き情報とを対応付けた被写体２の三次元形状を示す情報を、例えば図１に示す記録媒体３に出力して記録する。
【００２０】
制御部２７は、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなるような奥行き情報を新たに推定するように奥行き情報推定部２３を制御する。
【００２１】
以上のような構成からなる撮像システム１では、図２に示すような処理フローに従って動作することで、被写体２の三次元形状を示す情報を精度よく取得することができる。
【００２２】
ステップＳＴ１において、入力部２１には、撮像部１ａにより同一の被写体２に対して互いに異なる視点で撮像された複数の画像情報Ｉ０、Ｉ１、Ｉ２が入力されると、ステップＳＴ２及びステップＳＴ５に進む。ここで、画像情報Ｉ０、Ｉ１、Ｉ２は、図３に示すように、人間や家具などの３次元物体を被写体２として、基準となる座標系ｘ−ｙ−ｚに対して、それぞれ視点（ｘ０、ｙ０、ｚ０）、（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）で撮像された画像情報である。
【００２３】
ステップＳＴ２において、視点位置情報推定部２４は、図４に示すように、画像情報Ｉ１、Ｉ２それぞれに対して、基準画像情報Ｉ０上の点対応を知るため、図中の○で示す特徴点を各画像で抽出してステップＳＴ３に進む。具体的に、視点位置情報推定部２４は、例えばＳＩＦＴ（Scale Invariant Feature Transform）と呼ばれる手法を用いて特徴を抽出するが、基本的にはコーナー点などどのようなものを用いて特徴を抽出するようにしてもよい。
【００２４】
ステップＳＴ３において、視点位置情報推定部２４は、ステップＳＴ２により抽出した特徴点に基づいて、図５に示すように、画像情報Ｉ１、Ｉ２それぞれに対して、基準画像情報Ｉ０上の点対応を求めて、ステップＳＴ４に進む。具体的には、ＳＩＦＴを用いて抽出した特徴に対して、画像情報Ｉ０−Ｉ１、Ｉ０−Ｉ２間でマッチング処理を行うことにより、画像情報Ｉ１、Ｉ２それぞれに対する基準画像情報Ｉ０上の点対応を求める。なお、図５中のｍｋｉは、画像情報Ｉｋにおけるｉ番目の特徴点の２次元上の画像座標点を示している。
【００２５】
ステップＳＴ４において、視点位置情報推定部２４は、ステップＳＴ３により求めた点対応を用いることで各ビデオカメラ１０、１１、１２の位置関係、すなわち、各画像情報間での視点位置を示す情報を推定する。
【００２６】
具体的に、画像情報Ｉ０−Ｉ１間における対応点を、ｍ０ｉ＝［ｕ０ｉ ｖ０ｉ １］Ｔ、ｍ１ｉ＝［ｕ１ｉ ｖ１ｉ １］Ｔのように斉次座標で表現すると、下記の（１）式の関係が成立する。
【００２７】
【数１】
【００２８】
ここで、Ｆは、３×３の行列である基礎行列とする。ｕ０ｉ、ｖ０ｉ、ｕ１ｉ、ｖ１ｉは既知であるから、（１）式は基礎行列の各要素を変数ｆとした下記の（２）式に示すような線形方程式で表現することができる。
【００２９】
【数２】
【００３０】
したがって、基礎行列Ｆは、画像情報間において８点以上の対応点があれば、下記の（３）式に示すような連立方程式から決定することができる。
【００３１】
【数３】
【００３２】
このように画像情報間において８点以上の対応点があれば（３）式の関係が成立するので、下記の（４）式に示すような最小自乗法により基礎行列Ｆを求めることができる。
【００３３】
【数４】
【００３４】
このようにして求めた基礎行列Ｆは、ビデオカメラの平行移動、回転と下記の（５）式のような関係がある。
【００３５】
【数５】
【００３６】
ただし、Ａはカメラの内部パラメータであり、本実施形態においては、既知であるものとする。また、Ｔは、下記の（６）式で示される行列である。
【００３７】
【数６】
【００３８】
なお、ｔは、画像情報Ｉ０−Ｉ１間での平行移動を示すベクトルである。さらに、（５）式中の行列Ｅ（以下、基本行列Ｅという。）は、下記の（７）式に示すような関係が成立する。
【００３９】
【数７】
【００４０】
したがって、ＥＥＴの最小固有値に対応する固有ベクトルとして、平行移動ベクトルｔの方向を指す下記の（８）式に示す単位ベクトルを求めることができる。
【００４１】
【数８】
【００４２】
ここで、単位ベクトルにスケールを合わせると、下記の（９）式から回転行列Ｒが求められる。
【００４３】
【数９】
【００４４】
以上のようにして、視点位置情報推定部２４は、各画像情報間の平行移動ベクトル及び回転行列を求めることで、各画像情報における相対的な視点位置を示す情報を得ることができる。視点位置情報推定部２４は、ビデオカメラ１０、１１、１２の位置、すなわち、各画像情報Ｉ０、Ｉ１、Ｉ２の視点位置を示す情報を他視点画像情報生成部２５に通知して、ステップＳＴ８に進む。なお、ステップＳＴ８の説明に先立ち、ステップＳＴ５について説明する。
【００４５】
ステップＳＴ５において、奥行き情報推定部２３は、基準画像情報に対して、予め知識により獲得した情報を用いた３次元復元を行うため、まずは、どの知識を適用すべきか判断する。すなわち、奥行き情報推定部２３は、画像中の特徴を抽出し、物体の認識を行う。ここで、奥行き情報推定部２３は、どのような手法を用いてもよいが、３次元復元で用いるＨＭＭ（Hidden Markov Model、隠れマルコフモデル）をそのまま用いることで、物体の認識を行うことができる。したがって、奥行き情報推定部２３は、離散コサイン(ＤＣＴ)変換を用いて、基準画像情報Ｉ０で示される画像の特徴を抽出する。具体的には、奥行き情報推定部２３は、基準画像情報Ｉ０で示される画像に対して、図６に示すように、ブロック毎にＤＣＴを施して、下記の（１０）式から特徴量Ｏ０を算出して、ステップＳＴ６に進む。
【００４６】
【数１０】
【００４７】
ここで、Ｉは画像の輝度情報であり、Ｗは画像を特徴量に変換する変換行列である。なお、特徴量の算出手法としては、ＤＣＴに限定されず、ブロック単位の画像の特徴を表現する指標であれば如何なる値を用いるようにしてもよい。
【００４８】
ステップＳＴ６において、奥行き情報推定部２３は、ＨＭＭを用いた物体認識を行う。具体的に、奥行き情報推定部２３は、事前に学習して記憶部２２に記憶されている各物体の画像モデルを読み出して、読み出した画像モデルに基準画像情報の各ブロックの画像を入力してその尤度を計算する。そして、奥行き情報推定部２３は、記憶部２２に記憶されている最終的に全ての画像モデルの中で、最も高い尤度を出力した画像モデルに対応する三次元モデルが、その画像中の被写体に存在する物体であると判断してステップＳＴ７に進む。
【００４９】
ステップＳＴ７において、奥行き情報推定部２３は、基準画像情報Ｉ０に対して、最も確率の高い三次元モデルをマッピングする。ここで、記憶部２２には、図７（Ａ）に示すように、ある特定の物体の特徴である見え方、たとえば正面から見た顔に対して、どのような３次元情報が対応するかが事前にＨＭＭでモデル化されて記憶されている。奥行き情報推定部２３は、図７（Ｂ）に示すように、記憶部２２に記憶されている情報を参照して、基準画像情報Ｉ０に対してその輝度情報が学習した輝度情報とどのように対応するかを輝度情報のＨＭＭをビタビアルゴリズムなどによるデコード処理によって奥行き情報のＨＭＭを求める（ステップＳＴ２１）。そして、奥行き情報推定部２３は、その対応関係、すなわち、状態遷移の情報から三次元形状を示す情報を参照する（ステップＳＴ２２）ことで、基準画像情報Ｉ０で示される被写体２の奥行き方向の距離を示す奥行き情報を推定して、ステップＳＴ８に進む。
【００５０】
具体的に、奥行き情報推定部２３は、最も確率の高い奥行き情報をマッピングするために、下記の（１１）式に示す確率の対数を最大とする奥行き情報ｐを求めればよい。
【００５１】
【数１１】
【００５２】
ここで、Ｐは確率を表している。ただし、Ｏｄは、Ｏｄ＝Ｗｐで表される奥行き情報の特徴量である。ｑは、輝度ＨＭＭのデコード処理によって得られる状態遷移情報である。Ｗは、奥行き情報ｐを特徴量に変換する行列である。μは、状態遷移情報により計算される平均値ベクトルである。Σは、状態遷移情報により計算される共分散行列である。
【００５３】
上記の（１１）式は２次形式であるので、下記の（１２）式に示すように、奥行き情報ｐで偏微分してゼロとおくことで奥行き情報ｐを求めることができる。
【００５４】
【数１２】
【００５５】
ステップＳＴ８において、具体的に図８に示す処理フローにしたがって、制御部２７は、他視点画像情報生成部２５により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部２１に入力される画像情報との誤差が小さくなるような新たな奥行き情報を、奥行き情報推定部２３により推定させる。このような処理を行うのは、ステップＳＴ７において基準画像情報のみを用いて奥行き情報を推定しただけでは、正しい推定である保証がないからである。
【００５６】
まず、下記の（１３）式に示すように、奥行き情報ｐを確率的に定式化する。
【００５７】
【数１３】
【００５８】
上式において第１項が複数視点によって得られる幾何学的情報、第２項が陰影などの情報、第３項がＨＭＭの結合学習によって得られる知識情報である。なお、上式ではＩを用いて奥行き情報ｐを表現しているが、これを特徴量に変換したＯを用いて表現してもよい。
【００５９】
誤差が例えばｉ．ｉ．ｄ．ガウス分布に従うとすると、第１項の条件付確率は、下記の（１４）式のように表現することができる。
【００６０】
【数１４】
【００６１】
ここで、Ｊ（Ｉ０，ｐ）は、基準画像情報Ｉ０と奥行き情報ｐから他視点の画像情報を生成する関数である。また、σ２は、誤差の分散値である。
【００６２】
他視点画像情報生成部２５は、関数Ｊを用いた演算を行うことで、画像情報Ｉ１と同じ視点となるように基準画像情報Ｉ０を変化させた下記の（１５）式に示す画像情報が得られる（ステップＳＴ８１）。
【００６３】
【数１５】
【００６４】
ここで、他視点画像情報を生成するのにビデオカメラの位置を知っている必要があるが、他視点画像情報生成部２５は、ビデオカメラ１０、１１、１２の位置を予め把握していなくても、ステップＳＴ４により取得することができる。なお、画像情報のメタデータとして視点位置に関する情報が含まれている場合には、ステップＳＴ２〜ＳＴ４の処理を行うことなく、メタデータを利用して、他視点画像情報を生成するようにしてもよい。
【００６５】
そして、下記の（１６）式に示す関数（対数尤度関数）を最小化することで、誤差が所定の閾値よりも小さく、精度が高い奥行き情報を得ることができる。
【００６６】
【数１６】
【００６７】
このようにして、制御部２７は、他視点画像情報生成部２５により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部２１に入力される画像情報との誤差を計算し（ステップＳＴ８２）、この誤差が所定の閾値よりも小さくなるまで、繰り返し奥行き情報推定部２３に新たな奥行き情報ｐを推定させて、例えば（１６）式の条件が満たされる（ステップＳＴ８４）と、出力部２６により被写体２の三次元形状を示す情報を出力するように制御する。
【００６８】
上記の（１６）式の最小化関数では、下記の（１７）式に示す陰影の情報を考慮していない。
【００６９】
【数１７】
【００７０】
そこで、この情報も次のように取り入れた下記の（１８）式に示す最小化関数を満たすような奥行き情報を得ることで、更に精度よく被写体２の三次元形状を示す情報を得ることができる。すなわち、奥行き情報推定部２３は、推定した奥行き情報ｐと基準画像情報Ｉ０とに基づいて、被写体の陰影を示す陰影情報Ｓ（ｐ）を推定する。そして、制御部２７は、陰影情報Ｓ（ｐ）と基準画像情報Ｉ０との誤差が小さくなるような下記の（１８）式に示す最小化関数を満たす新たな奥行き情報ｐを、奥行き情報推定部２３により推定させる（ステップＳＴ８３）。
【００７１】
【数１８】
【００７２】
ここで、σｓ２は、陰影情報に関する誤差の分散値である。
【００７３】
上述した（１７）式、（１８）式に示す最小化関数いずれも非線形関数である。そこでこれらの最小化には非線形最適化の手法を直接適用するか、下記の（１９）式の値をテーラー展開を用いて線形化することによって、線形方程式へと変換し、これを繰り返し解くことで最終的な奥行き情報ｐを得ることができる。
【００７４】
【数１９】
【００７５】
ただし、いずれの場合も、奥行き情報ｐに対する初期値が必要となるが、これはステップＳＴ７によって得られる解をそのまま用いることができる。このようにして、制御部２７は、他視点画像情報生成部２５により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部２１に入力される画像情報との誤差が小さくなるような新たな奥行き情報を、奥行き情報推定部２３により推定させる。そして、制御部２７は、誤差が低減された新たな奥行き情報を基準画像情報Ｉ０と対応付けて被写体２の三次元形状を示す情報として出力部２６により出力する。
【００７６】
例えば、図９（Ａ）に示すような、５つの異なる視点から観測した画像から三次元形状を復元して、復元した三次元形状の情報に基づいて視点を変えた画像を生成した結果は、図９（Ｂ）のようになる。図９（Ｂ）は、左図が、実際に撮像された画像情報、中央図が５枚の画像を用いて本実施形態に係る撮像システム１により得られた三次元形状の情報を用いて生成した他視点画像情報、右図が、上述した最適化処理を行わないで１枚の画像情報のみから推定した奥行き情報を用いて生成した他視点画像情報を示している。
【００７７】
また、図１０（Ａ）に示すような、２つの異なる視点から観測した画像から復元した三次元形状は、図１０（Ｂ）のようになる。図１０（Ｂ）は、左図が、本実施形態に係る撮像システム１により得られた三次元形状の情報であり、中央図が、既存のグラフィカルモデル手法により得られた三次元形状の情報であり、左図が、既存のグラフカット手法により得られた三次元形状の情報である。
【００７８】
以上の図９、図１０に示す２つの実施例から明らかなように、撮像システム１に組み込まれた画像処理部１ｂは、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部２２の情報を参照して推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな奥行き情報を推定するので、より精度よく二次元の画像情報から三次元形状を復元して出力することができる。これにより、コンピュータグラフィックスやバーチャルリアリティなど、三次元モデリングの必要な応用において、人手による手間を少なくすることが可能となる。
【００７９】
なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００８０】
【図１】本発明が適用された撮像システムの全体構成を示す図である。
【図２】撮像システム全体の処理フローを示す図である。
【図３】他視点の画像情報に係る入力処理について説明するための図である。
【図４】複数の画像情報から特徴点抽出を行う処理について説明するための図である。
【図５】複数の画像情報から抽出された特徴点の追跡を行う処理について説明するための図である。
【図６】基準画像情報から特徴点抽出を行う処理について説明するための図である。
【図７】基準画像情報から三次元形状を復元する処理について説明するための図である。
【図８】奥行き情報の最適化処理について説明するための図である。
【図９】５つの異なる視点から観測した画像から三次元形状を復元する復元例を示した図である。
【図１０】２つの異なる視点から観測した画像から三次元形状を復元する復元例を示した図である。
【符号の説明】
【００８１】
１ 撮像システム、２ 被写体、１ａ 撮像部、１ｂ 画像処理部、２１ 入力部、２２ 記憶部、２３ 奥行き情報情報推定部、２４ 視点位置情報推定部、２５ 他視点画像情報生成部、２６ 出力部、２７ 制御部、３ 記録媒体、１０、１１、１２ ビデオカメラ
【特許請求の範囲】
【請求項１】
同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部と、
二次元空間上の画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、
上記入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて上記記憶部に記憶された三次元形状を示す情報を参照して、上記被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、
上記基準画像情報とともに上記入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、上記基準画像情報を変化させた他視点画像情報を、上記奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、
上記他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された上記入力部に入力された画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定部により推定させる制御部と、
上記基準画像情報と、上記新たな奥行き情報とを対応付けた上記被写体の三次元形状を示す情報を出力する出力部とを備える画像処理装置。
【請求項２】
上記制御部は、上記他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された上記入力部に入力される画像情報との誤差が、所定の閾値よりも小さくなるまで、繰り返し上記奥行き情報推定部に新たな奥行き情報を推定させてから、上記出力部により上記被写体の三次元形状を示す情報を出力するように制御する請求項１記載の画像処理装置。
【請求項３】
上記入力部により入力された各画像情報から特徴点を抽出して、当該特徴点に基づいて画像情報が撮像された視点の位置を示す視点位置情報を推定する視点位置情報推定部を更に備え、
上記制御部は、上記奥行き情報推定部により推定された奥行き情報、及び、上記視点位置情報推定部により推定された視点位置情報に基づいて、上記他視点画像情報生成部に、上記入力部により基準画像情報とともに入力される他の画像情報が撮像された視点に変化させた他視点画像情報を生成させるように制御する請求項２記載の画像処理装置。
【請求項４】
上記奥行き情報推定部は、推定した奥行き情報と上記基準画像情報とに基づいて、上記被写体の陰影を示す陰影情報を推定し、
上記制御部は、上記陰影情報と上記基準画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定部により推定させる請求項３記載の画像処理装置。
【請求項５】
同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部の三次元形状を示す情報を参照して、上記被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定ステップと、
上記奥行き情報推定ステップにより推定された奥行き情報に基づいて、上記基準画像情報とともに上記入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、上記基準画像情報を変化させた他視点画像情報を生成する他視点画像情報生成ステップとを有し、
上記他視点画像情報生成ステップにより生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された上記入力部に入力される画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定ステップにより推定して、上記基準画像情報と、上記新たな奥行き情報とを対応付けた上記被写体の三次元形状を示す情報を出力する画像処理方法。
【請求項６】
互いに異なる視点に配置された複数の撮像装置を用いて、同一の被写体に対して複数の画像情報を撮像する撮像部と、
二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、
上記撮像部により撮像された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、上記記憶部に記憶された三次元形状を示す情報を参照して、上記被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、
上記基準画像情報とともに上記撮像部により撮像される他の画像情報が撮像された視点と同じ視点になるように、上記基準画像情報を変化させた他視点画像情報を、上記奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、
上記他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で上記撮像部により撮像された画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定部により推定させる制御部と、
上記基準画像情報と、上記新たな奥行き情報とを対応付けた上記被写体の三次元形状を示す情報を出力する出力部とを備える撮像システム。
【請求項１】
同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部と、
二次元空間上の画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、
上記入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて上記記憶部に記憶された三次元形状を示す情報を参照して、上記被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、
上記基準画像情報とともに上記入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、上記基準画像情報を変化させた他視点画像情報を、上記奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、
上記他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された上記入力部に入力された画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定部により推定させる制御部と、
上記基準画像情報と、上記新たな奥行き情報とを対応付けた上記被写体の三次元形状を示す情報を出力する出力部とを備える画像処理装置。
【請求項２】
上記制御部は、上記他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された上記入力部に入力される画像情報との誤差が、所定の閾値よりも小さくなるまで、繰り返し上記奥行き情報推定部に新たな奥行き情報を推定させてから、上記出力部により上記被写体の三次元形状を示す情報を出力するように制御する請求項１記載の画像処理装置。
【請求項３】
上記入力部により入力された各画像情報から特徴点を抽出して、当該特徴点に基づいて画像情報が撮像された視点の位置を示す視点位置情報を推定する視点位置情報推定部を更に備え、
上記制御部は、上記奥行き情報推定部により推定された奥行き情報、及び、上記視点位置情報推定部により推定された視点位置情報に基づいて、上記他視点画像情報生成部に、上記入力部により基準画像情報とともに入力される他の画像情報が撮像された視点に変化させた他視点画像情報を生成させるように制御する請求項２記載の画像処理装置。
【請求項４】
上記奥行き情報推定部は、推定した奥行き情報と上記基準画像情報とに基づいて、上記被写体の陰影を示す陰影情報を推定し、
上記制御部は、上記陰影情報と上記基準画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定部により推定させる請求項３記載の画像処理装置。
【請求項５】
同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部の三次元形状を示す情報を参照して、上記被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定ステップと、
上記奥行き情報推定ステップにより推定された奥行き情報に基づいて、上記基準画像情報とともに上記入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、上記基準画像情報を変化させた他視点画像情報を生成する他視点画像情報生成ステップとを有し、
上記他視点画像情報生成ステップにより生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された上記入力部に入力される画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定ステップにより推定して、上記基準画像情報と、上記新たな奥行き情報とを対応付けた上記被写体の三次元形状を示す情報を出力する画像処理方法。
【請求項６】
互いに異なる視点に配置された複数の撮像装置を用いて、同一の被写体に対して複数の画像情報を撮像する撮像部と、
二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、
上記撮像部により撮像された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、上記記憶部に記憶された三次元形状を示す情報を参照して、上記被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、
上記基準画像情報とともに上記撮像部により撮像される他の画像情報が撮像された視点と同じ視点になるように、上記基準画像情報を変化させた他視点画像情報を、上記奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、
上記他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で上記撮像部により撮像された画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定部により推定させる制御部と、
上記基準画像情報と、上記新たな奥行き情報とを対応付けた上記被写体の三次元形状を示す情報を出力する出力部とを備える撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−７２７００（Ｐ２０１０−７２７００Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３６４８５（Ｐ２００８−２３６４８５）
【出願日】平成２０年９月１６日（２００８．９．１６）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
【出願人】（５０８２７８９２９）株式会社米澤家具センター (1)
【出願人】（５０００８２５０６）株式会社キャンパスクリエイト (2)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１６日（２００８．９．１６）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
【出願人】（５０８２７８９２９）株式会社米澤家具センター (1)
【出願人】（５０００８２５０６）株式会社キャンパスクリエイト (2)
【Ｆターム（参考）】
[ Back to top ]