情報処理装置及び方法、並びにプログラム
【課題】精度良い3Dモデルを効率良く得ることを可能にする。
【解決手段】撮像制御部２１は、投影装置１３が動作していない状態と投影装置１３が対象物体に所定のドットパターンを投影している状態とで、撮像装置１２に対象物体を撮像させて、テクスチャ画像のデータ、第１ドット画像のデータと第２ドット画像のデータの複数の組からなる複数の3Dモデル画像セット候補を取得する。3Dモデル画像セット選抜部２５は、複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する。
【解決手段】撮像制御部２１は、投影装置１３が動作していない状態と投影装置１３が対象物体に所定のドットパターンを投影している状態とで、撮像装置１２に対象物体を撮像させて、テクスチャ画像のデータ、第１ドット画像のデータと第２ドット画像のデータの複数の組からなる複数の3Dモデル画像セット候補を取得する。3Dモデル画像セット選抜部２５は、複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、３次元モデリングにおいて、精度良い３次元モデル（以下、「3D（Dimensional）モデル」と呼ぶ）を効率良く得ることが可能になる技術に関する。
【背景技術】
【０００２】
近年、３次元モデリングと呼ばれる技術が利用されるようになってきた。３次元モデリングとは、実世界に存在する人間、動物、美術品等を対象物体として、対象物体の立体像を得る場合において、カメラが対象物体を撮像し、その結果得られる撮像画像に基づいて、対象物体の３次元座標を取得する技術をいう。
【０００３】
３次元モデリングを実現可能な従来の手法として、平行に並べて配置した２台のカメラ（以下、「ステレオカメラ」と呼ぶ）を用いた手法、即ち、いわゆる平行ステレオ画像方式が広く知られている（非特許文献１参照）。
平行ステレオ画像方式では、ステレオカメラの配置間隔と、ステレオカメラが対象物体を撮像した結果得られる各々の撮像画像内の特定部位の見え方の差（視差）とに基づいて、対象物体とカメラとの間の距離（奥行き）が求められる。そして、この距離に基づいて、対象物体の3Dモデルが構築される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「ディジタル画像処理」、ＣＧ−ＡＲＴＳ協会
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような平行ステレオ画像方式を採用しても、精度良い3Dモデルを効率良く得ることは非常に困難である。以下、困難な理由について説明する。
【０００６】
即ち、平行ステレオ画像方式を採用して3Dモデルを得るためには、対象物体をカメラが撮像することで得られる撮像画像であって、当該対象物体の3Dモデルにテクスチャとして貼り付けられる対象の撮像画像が必要となる。以下、このような画像を「テクスチャ画像」と呼ぶ。
さらに、精度良い3Dモデルを得るためには、撮影画像として、テクスチャ画像の他、ドットパターンを投影した対象物体をカメラが撮像することで得られる画像（以下、「ドット投影画像」と呼ぶ）も必要になる。
ここで、「ドットパターン」とは、２次元平面状に離散的に分布する複数のドット（点）により形成されるパターン（模様）をいう。
このようなドットパターンが形成された平面板（膜含む）、具体的には、ドットの部分で光を遮蔽し、他の部分で光を通過させる平面板を用いて、当該平面板の一方の面の前方に対象物体が存在する状態で、当該平面板の他方の面から光を照射することによって、ドットパターンが対象物体に投影される。このようなドットパターンが投影された対象物体の像を含む画像が、ドット投影画像である。
さらにまた、3Dモデルの精度をより向上させるためには、カメラが露出を複数回変化させて対象物体を撮像した結果得られる複数のドット投影画像が必要になる。なお、以下、露出をＮ回（Ｎは、２以上の整数値）変化させた場合に、Ｋ回目（Ｋは、１乃至Ｎのうちの何れかの整数値）に撮像されたドット投影画像を、以下、「第Ｋドット画像」と呼ぶ。
【０００７】
具体的には例えば、２回露出を変化させて得られる２枚のドット投影画像を3Dモデリングに用いる場合には、テクスチャ画像、第１ドット画像、及び、第２ドット画像の３枚の撮像画像が必要になる。
この場合、精度良い3Dモデルを得るためには、３枚の撮像画像間で対象物体の像の位置が一致していることが要求される。
しかしながら、これら３枚の撮像画像は時間的に離間して各々撮像されたものであるため、その間に対象物体が動いてしまうと、当該要求に応えることができない。即ち、３枚の撮像画像間では、対象物体の像は一致せずに位置ズレが生じてしまう。このような３枚の撮像画像間の位置ズレがたとえ微小であっても、3Dモデルの精度に悪影響を及ぼすことになる。
ところが、微小な位置ズレの要因となる実世界での対象物体の微妙な動きは、人間が撮像中に視認することは非常に困難であり、さらに、対象物体の微妙な動きの結果生ずる微小な位置ズレも、人間が撮影画像を見比べた程度で視認することは非常に困難である。
従って、3Dモデルの精度に悪影響を及ぼす位置ズレは、3Dモデルが実際に作成された後に発見される場合が多い。この場合には、新たな３枚の撮像画像の撮り直しが必要になるため、精度良い3Dモデルを得る観点からすると非常に効率が悪い。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、３次元モデリングにおいて、精度良い3Dモデルを効率良く得ることが可能になる。
【課題を解決するための手段】
【０００９】
本発明の一態様によると、
露光の変更を含む第１撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御手段であって、
前記投影装置が動作していない状態で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第１の露出で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第２の露出で前記第１撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御手段と、
前記撮像制御手段の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第１ドット画像撮像制御処理で出力された前記第１ドット画像及び第２ドット画像撮像制御処理で出力された前記第２ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第１ドット画像との間の前記対象物体の像の第１の移動量、及び、前記テクスチャ画像と前記第２ドット画像との間の前記対象物体の像の第２の移動量を検出する移動量検出手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出手段により検出された前記第１の移動量及び前記第２の移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する選抜手段と、
を備える情報処理装置を提供する。
【００１０】
本発明の別の態様によると、上述した本発明の一態様に係る情報処理装置に対応するプログラムを提供する。
【発明の効果】
【００１１】
本発明によれば、３次元モデリングにおいて、精度良い3Dモデルを効率良く得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【図２】本発明の第１実施形態に係る情報処理システムの投影装置が投影するドットパターンの画像の一例を示す図である。
【図３】本発明の第１実施形態に係る情報処理システムが実行する3Dモデル画像セット取得処理の流れの一例を示すフローチャートである。
【図４】本発明の第１実施形態に係る情報処理システムが取得する3Dモデル画像セット候補の一例を示す図である。
【図５】本発明の第１実施形態に係る情報処理システムに適用可能な3Dモデル画像セットの選抜の手法の一例を模式的に説明する図である。
【図６】本発明の第２実施形態に係る情報処理システムに適用可能な3Dモデル画像セットの選抜の手法の一例であって、図５とは別の例を模式的に説明する図である。
【図７】本発明の第３実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【図８】本発明の第３実施形態に係る情報処理システムが実行する3Dモデル画像セット取得処理の流れの一例を示すフローチャートである。
【図９】本発明の第４実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【図１０】本発明の情報処理装置の実施形態に係る制御装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施の形態を図面に基づいて説明する。
【００１４】
［第１実施形態］
図１は、本発明の第１実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【００１５】
図１に示す情報処理システムは、制御装置１１と、撮像装置１２と、投影装置１３と、を備えている。
【００１６】
制御装置１１は、情報処理システム全体を制御して、3Dモデル画像セット取得処理を実行する。
ここで、3Dモデル画像セット取得処理とは、平行ステレオ画像方式による対象物体の3Dモデルを構築する場合に利用される複数の撮像画像のデータの集合体（以下、「3Dモデル画像セット」と呼ぶ）を取得するまでの一連の処理をいう。
撮像装置１２は、ステレオカメラの構成を取っており、制御装置１１の制御の下、対象物体（図示せず）を撮像し、その結果得られる撮像画像のデータを制御装置１１に供給する。
投影装置１３は、制御装置１１の制御の下、対象物体にドットパターンを投影する。
図２は、投影装置１３が対象物体に対して投影するドットパターンの画像の一例を示している。
【００１７】
制御装置１１は、撮像制御部２１と、撮像画像取得部２２と、撮像画像記憶部２３と、移動量検出部２４と、3Dモデル画像セット選抜部２５と、3Dモデル画像セット記憶部２６と、を備えている。
【００１８】
撮像制御部２１は、撮像画像取得部２２を介して、撮像装置１２の撮像動作を制御する。例えば、撮像制御部２１は、露出を選択し、所定のタイミングで、選択した露出で撮像装置１２が対象物体を撮像するように制御する。
また、撮像制御部２１は、露光の変更を含む撮像装置１２の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置１３の動作を制御する。
【００１９】
具体的には本実施形態では、撮像制御部２１は、投影装置１３が動作していない状態で撮像装置１２に対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理を実行する。撮像制御部２１がこのテクスチャ画像撮像制御処理を実行して、適当な露出で撮像装置１２が対象物体を撮像するように制御した場合、テクスチャ画像のデータが撮像装置１２から出力される。
【００２０】
また、撮像制御部２１は、投影装置１３が対象物体に所定のドットパターンを投影している状態で第１の露出で撮像装置１２に対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理を実行する。撮像制御部２１がこの第１ドット画像撮像制御処理を実行して、投影装置１３に対象物体を撮像させて、第１の露出で撮像装置１２が対象物体を撮像するように制御した場合、第１ドット画像のデータが撮像装置１２から出力される。
【００２１】
また、撮像制御部２１は、投影装置１３が対象物体に所定のドットパターンを投影している状態で第２の露出で撮像装置１２に対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理を実行する。撮像制御部がこの第２ドット画像撮像制御処理を実行して、投影装置１３の動作を許可して、第２の露出で撮像装置１２が対象物体を撮像するように制御した場合、第２ドット画像のデータが撮像装置１２から出力される。
【００２２】
撮像画像取得部２２は、撮像制御部２１の制御の下、撮像装置１２から出力された撮像画像のデータを取得し、撮像画像記憶部２３に記憶させる。
具体的には本実施形態では、撮像制御部２１は、上述のテクスチャ画像撮像制御処理と、第１ドット画像撮像制御処理と、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す。撮像画像取得部２２は、撮像装置１２から順次出力されてくる、テクスチャ画像、第１ドット画像、及び第２ドット画像の３枚の撮像画像の各データをまとめて、3Dモデル画像セットとして撮像画像記憶部２３に記憶させる。
なお、テクスチャ画像、第１ドット画像、及び第２ドット画像の順番で撮像装置１２から各データが出力される必要は特に無く、撮像装置１２から出力される各データの順番は任意で良い。
【００２３】
撮像画像記憶部２３は、撮像画像取得部２２によって3Dモデル画像セットが取得される毎に、当該3Dモデル画像セットを順次記憶していく。即ち、撮像画像記憶部２３は、複数の3Dモデル画像セットを記憶する。
ここで、3Dモデル画像セットは、３枚の撮像画像間で対象物体の像の位置ズレが生じた各データの集合体である。ただし、この位置ズレの度合は、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット毎に異なっている。この場合、位置ズレの度合が大きい3Dモデル画像セットを用いて3Dモデルを構築すると、当該3Dモデルの精度が悪化してしまう。
このため、詳細については後述するが、本実施形態では、撮像画像記憶部２３に記憶された複数の3Dモデル画像セットの中から、位置ズレの度合が最も小さいものが、3Dモデルの構築に実際に用いられる3Dモデル画像セットとして選抜される。
そこで、選抜後の3Dモデル画像セット、即ち3Dモデルの構築に実際に用いられる3Dモデル画像セットと明確に区別すべく、撮像画像記憶部２３に記憶されている段階の複数の3Dモデル画像セットの各々を、以下、「3Dモデル画像候補」と呼ぶ。即ち、撮像画像記憶部２３は、複数の3Dモデル画像セット候補を記憶する。
【００２４】
移動量検出部２４は、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット候補の中から、処理の対象として注目すべき3Dモデル画像セット候補（以下、「注目セット」と呼ぶ）を設定する。
移動量検出部２４は、注目セットについて、テクスチャ画像における対象物体の像の位置を基準位置として、第１ドット画像における対象物体の像の位置と基準位置との偏差を、移動量ｍ１として検出する。
同様に、移動量検出部２４は、注目セットについて、第２ドット画像における対象物体の像の位置と基準位置との偏差を、移動量ｍ２として検出する。
そして、移動量検出部２４は、注目セットについて検出した移動量１及び移動量２の総和（移動量ｍ１＋移動量ｍ２）を、注目セットについての総移動量として検出する。
移動量検出部２４は、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット候補の各々を注目セットに順次設定して、上述した一連の処理を繰り返す。その結果、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット候補毎に、総移動量がそれぞれ検出される。
なお、総移動量の検出手法は、特に限定されない。本実施形態で採用されている手法については、後述する図３のステップＳ３乃至Ｓ７の処理の説明として後述する。
【００２５】
3Dモデル画像セット選抜部２５は、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット候補のうち、移動量検出部２４によって検出された総移動量（移動量ｍ１＋移動量ｍ２）が最も小さい3Dモデル画像セット候補を、3Dモデル画像セットとして選抜する。
即ち、3Dモデル画像セット選抜部２５は、所定の3Dモデル画像セット候補についての総移動量は、当該3Dモデル画像セット候補における位置ズレの度合を示す指標として用いる。そして、3Dモデル画像セット選抜部２５は、総移動量が最も小さい3Dモデル画像セット候補を、位置ズレの度合が最も低い3Dモデル画像セット候補、即ち位置ズレがほぼ生じていない3Dモデル画像セット候補として認識する。そこで、3Dモデル画像セット選抜部２５は、当該3Dモデル画像セット候補を、3Dモデル画像セットとして選抜する。
【００２６】
3Dモデル画像セット記憶部２６は、3Dモデル画像セット選抜部２５によって選抜された3Dモデル画像セットを記憶する。
【００２７】
以上、第１実施形態に係る情報処理システムの機能的構成について説明した。
ただし、上述した機能的構成、特に制御装置１１の機能的構成は例示にしか過ぎない。即ち、3Dモデル画像セット処理を実行可能であれば、情報処理システム、特に制御装置１１は、任意の機能的構成を取ることができる。
【００２８】
次に、図３を参照して、第１実施形態に係る情報処理システムが実行する3Dモデル画像セット取得処理について説明する。
【００２９】
図３は、3Dモデル画像セット取得処理の流れの一例を示すフローチャートである。
3Dモデル画像セット取得処理は、例えば、制御装置１１の電源が投入されて、ユーザが操作部（図１には図示せず。後述する図１０の入力部１１６参照）を操作して処理の開始指示をしたことを契機として開始する。
【００３０】
ステップＳ１において、図１の制御装置１１の撮像画像取得部２２は、撮像制御部２１の制御の下、撮像装置１２によって撮像された3Dモデル画像セット候補を取得して、撮像画像記憶部２３に記憶させる。
【００３１】
ステップＳ２において、撮像画像取得部２２は、設定セット数分の3Dモデル画像セット候補を撮像画像記憶部２３に記憶させたか否かを判定する。
設定セット数は、特に限定されず、制御装置１１に予め設定された固定数であってもよいし、ユーザにより任意に設定可能な可変数であってもよい。
設定セット数分の3Dモデル画像セット候補が撮像画像記憶部２３に記憶されていない場合、ステップＳ２においてNOであると判定されて、処理はステップＳ１に戻される。即ち、ステップＳ１，Ｓ２（NO）のループ処理が繰り返されて、その都度、撮像装置１２によって撮像された3Dモデル画像セット候補が撮像画像記憶部２３に順次記憶されていく。
そして、設定セット数分の3Dモデル画像セット候補が撮像画像記憶部２３に記憶されると、次のステップＳ２においてYESであると判定されて、処理はステップＳ３に進む。
【００３２】
ステップＳ３において、移動量検出部２４は、設定セット数分の3Dモデル画像セット候補の１つを、注目セットに設定する。
【００３３】
例えばステップＳ３の処理で、図４に示す3Dモデル画像セット候補が注目セットに設定されたものとする。
図４は、3Dモデル画像セット候補の一例を示している。
図４に示す3Dモデル画像セット候補５１は、人物（上半身）を対象物体として撮像装置１２によって撮像された３枚の撮像画像、即ち、テクスチャ画像３１、第１ドット画像３２、及び第２ドット画像３３のデータから構成されている。
【００３４】
図３に戻り、ステップＳ４において、移動量検出部２４は、注目セットの各撮像画像のデータに基づいて、１種類以上の特徴点を各撮像画像の各々から抽出する。
なお、特徴点の抽出手法は、特に限定されず、例えばSIFT（Scale-Invariant Feature Transform）やSURF（Speeded Up Robust Features)等、任意の手法を採用することができる。
【００３５】
ステップＳ５において、移動量検出部２４は、注目セットの各撮像画像のデータに基づいて、注目セットの各撮像画像の特徴点について、マッチング処理を実行する。
【００３６】
具体的には本実施形態では、ステップＳ５の処理として次のような処理が実行される。
即ち、移動量検出部２４は、テクスチャ画像から抽出された特徴点を基準点とし、第１ドット画像内の、基準点の配置位置と対応する位置の周囲を探索範囲として、探索範囲内でテンプレートマッチングすることによって、基準点と同一種類の特徴点を探索する。
同様に、移動量検出部２４は、第２ドット画像内の、基準点の配置位置と対応する位置の周囲を探索範囲として、探索範囲内でテンプレートマッチングすることによって、基準点と同一種類の特徴点を探索する。
【００３７】
例えば図４の例を用いると、ステップＳ５の処理として次のような処理が実行される。
即ち、移動量検出部２４は、テクスチャ画像３１から目を示す特徴点４１を抽出して基準点として、基準点と同一種類の特徴点４２を第１ドット画像３２から探索し、基準点と同一種類の特徴点４３を第２ドット画像３３から探索する。即ち、テクスチャ画像３１、第１ドット画像３２、及び、第２ドット画像３３の各データから、目を示す同一種類の特徴点４１乃至４３の組が検出される。
【００３８】
なお、図４の例では、特徴点の種類は目を示す１種類のみとされているが、図４は例示である。即ち、移動量検出部２４は、複数種類の特徴点の組を検出することができる。
【００３９】
ここで、第１ドット画像及び第２ドット画像にはドットパターンが投影されている。
しかしながら、ユーザ（人間）が視認できる程度に大きな位置ズレが生じている３枚の撮像画像のデータからなる3Dモデル画像セット候補については、3Dモデル画像セット処理の処理対象から除外することが容易にできる。即ち、そのような3Dモデル画像セット候補が得られた場合には、当該3Dモデル画像セット候補を廃棄して、直ちに撮像装置１２が撮り直せばよい。
その結果、3Dモデル画像セット処理の処理対象となっている3Dモデル画像セット候補については、２枚の画像間での対象物体の像の大きな位置ズレは生じない。即ち、位置ズレの度合は数ドット程度になる。これに伴い、移動量検出部２４は、探索範囲を狭めてテンプレートのサイズを小さくすること、即ち、テンプレートのサイズをドット間隔に比べて充分小さくすることが可能になる。
これにより、投影されたドットパターンはテンプレートの中に入り込まなくなり、移動量検出部２４は、テクスチャ画像の特徴点（基準点）と同一種類の特徴点を第１ドット画像及び第２ドット画像の各々から容易に探索することが可能になる。
【００４０】
ステップＳ６において、移動量検出部２４は、ステップＳ４及びＳ５の処理で検出された同一種類の特徴点の組を用いて、上述した各撮像画像間の移動量ｍ１及び移動量ｍ２を検出し、その総和（移動量ｍ１＋移動量ｍ２）を、注目セットについての総移動量として検出する。
【００４１】
例えば図４の例を用いると、ステップＳ６の処理として次のような処理が実行される。
即ち、移動量検出部２４は、テクスチャ画像３１内の特徴点４１の位置を基準位置として、第１ドット画像３２内の特徴点４２の位置と、基準位置との偏差を、移動量ｍ１として検出する。
同様に、移動量検出部２４は、第２ドット画像３３内の特徴点４３の位置と、基準位置との偏差を、移動量ｍ２として検出する。
そして、移動量検出部２４は、移動量ｍ１及び移動量ｍ２の総和（移動量ｍ１＋移動量ｍ２）を、注目セットについての総移動量として検出する。
【００４２】
なお、上述したように図４は例示であり、テクスチャ画像３１、第１ドット画像３２、及び、第２ドット画像３３の各々から、複数種類の特徴点の組、例えば左目を示す特徴点の組、右目を示す特徴点の組、口を示す特徴点の組等が検出される場合がある。このような場合には、移動量検出部２４は、種類毎の移動量ｍ１及び移動量ｍ２の総和（移動量ｍ１＋移動量ｍ２）を、全種類について総加算したものを、注目セットについての総移動量として検出すればよい。
【００４３】
ステップＳ７において、移動量検出部２４は、設定セット数分の総移動量を検出したか否かを判定する。
設定セット数分の3Dモデル画像セット候補の中に、未だ注目セットに設定されていないものが存在する場合には、ステップＳ７においてNOであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。
即ち、ステップＳ３乃至Ｓ７のループ処理が繰り返されることによって、設定セット数分の3Dモデル画像セット候補の各々が注目セットに順次設定され、各々の総移動量が順次検出される。
設定セット数分の3Dモデル画像セット候補の全てについての総移動量が検出されると、ステップＳ７においてYESであると判定されて、処理はステップＳ８に進む。
【００４４】
ステップＳ８において、3Dモデル画像セット選抜部２５は、設定セット数分の3Dモデル画像セット候補の全てについて、総移動量を比較する。
ステップＳ９において、3Dモデル画像セット選抜部２５は、図５に示すように、3Dモデル画像セット候補のうち総移動量が一番小さい候補を、3Dモデル画像セットとして選抜し、3Dモデル画像セット記憶部２６に記憶させる。
【００４５】
図５は、3Dモデル画像セットの選抜の手法の一例を模式的に説明する図である。
図５の例では、設定数は「３」とされており、３組の3Dモデル画像セット候補５１−１乃至５１−３が撮像画像記憶部２３に記憶されている。
ステップＳ３の処理で3Dモデル画像セット候補５１−Ｋ（Ｋは、１乃至３のうちの何れかの整数値）が注目セットに設定されると、3Dモデル画像セット候補５１−Ｋを処理対象とするステップＳ４乃至Ｓ６の処理が実行される。その結果、テクスチャ画像３１−Ｋと第１ドット画像３２―Ｋとの間の移動量ｍ１が検出され、テクスチャ画像３１−Ｋと第２ドット画像３３―Ｋとの間の移動量ｍ２が検出され、その総和（移動量ｍ１＋移動量ｍ２）が、3Dモデル画像セット候補５１−Ｋについての総移動量として検出される。
このような一連の処理が３回繰り返され、即ち、ステップＳ３乃至Ｓ７のループ処理が３回繰り返されると、3Dモデル画像セット候補５１−１乃至５１−３の各々についての総移動量（移動量ｍ１＋移動量ｍ２）が検出される。
そして、ステップＳ８，Ｓ９の処理が実行され、3Dモデル画像セット候補５１−１乃至５１−３のうち総移動量が一番小さいものが、3Dモデル画像セットとして選抜され、3Dモデル画像セット記憶部２６に記憶される。
【００４６】
このようにして、ステップＳ９の処理で3Dモデル画像セットが選抜されると、3Dモデル画像セット取得処理が終了となる。
【００４７】
以上説明した3Dモデル画像セット取得処理が実行されることで、３枚の撮像画像間での対象物体の像の位置ズレが最も小さい（位置ズレがほぼない）と判断される3Dモデル画像セット候補が、3Dモデル画像セットとして選抜される。このようにして選抜された3Dモデル画像セットを用いることで、従来よりも精度良い3Dモデルの構築が可能になる。
【００４８】
さらに、位置ズレの要因は、実世界で対象物体が動くためである。従って、テクスチャ画像、第１ドット画像、及び、第２ドット画像の各々を専用に撮像する３組のステレオカメラ（本実施形態では３組の撮像装置１２）を用意して、３組のステレオカメラが同時に撮像動作をすることで、確かに、位置ズレがない3Dモデル画像セットを得ることは可能になる。
しかしながら、ステレオカメラは、ノイズの少ない高品質の撮像画像のデータを出力することが要求される。このような要求を満たすステレオカメラを３組も用意するコストは非常に高く、システム全体の高コスト化に繋がる。さらに、３組のステレオカメラセットを設置することは、非常に大がかりなシステムになることを意味する。
これに対して、本実施形態の情報処理システムでは、上述の如く、１組のステレオカメラ、即ち１組の撮像装置１２を用意するだけで足りる。即ち、従来よりも精度良い3Dモデルの構築ができる情報処理システムを、低コストかつ簡素な構成で実現することが可能になる。
【００４９】
さらにまた、［発明が解決しようとする課題］の欄で上述したように、従来、位置ズレが発生していることは、3Dモデルが実際に作成された後に発見されることが多かった。このため、3Dモデルが作成された後に位置ズレが発見された場合には、新たな３枚の撮像画像の撮り直しが必要になり、精度良い3Dモデルの構築の観点では非常に効率が悪かった。
これに対して、本実施形態の情報処理システムの制御装置１１は、ユーザの操作を介在させることなく自律的な判断で、即ち自動的に、３枚の撮影画像のデータの組（3Dモデル画像セット候補）の中で最適な組を3Dモデル画像セットとして選抜することができる。これにより、精度良い3Dモデルを、安定して、かつ効率良く構築することが可能になる。
【００５０】
以上、本発明の第１実施形態に係る情報処理システムについて説明した。
次に、本発明の第２実施形態に係る情報処理システムについて説明する。
【００５１】
［第２実施形態］
第２実施形態に係る情報処理システムの機能的構成は、第１実施形態に係る情報処理システムの機能的構成と同様である。即ち、図１はそのまま、本発明の第２実施の形態に係る情報処理システムの機能的構成を示している。よって、本発明の第２実施の形態に係る情報処理システムの機能的構成の説明は省略する。
【００５２】
第２実施形態と第１実施形態との差異点は、3Dモデル画像セットの選抜の手法として異なる手法を採用している点である。即ち、第１実施形態では、3Dモデル画像セットの選抜の手法として、図５に示す手法が採用されていた。これに対して、第２実施形態では、3Dモデル画像セットの選抜の手法として、図６に示す手法が採用されている。
【００５３】
図６は、第２実施形態の3Dモデル画像セットの選抜の手法の一例、即ち第１実施形態の図５の例とは別の例を模式的に説明する図である。
第２実施形態の3Dモデル画像セット取得処理は、フローチャートとしては図示しないが、図６に示す3Dモデル画像セットの選抜の手法を用いて次のように実行される。
即ち、図３のステップＳ１及びＳ２と同様のループ処理が繰り返し実行されて、設定セット数分の3Dモデル画像セット候補が撮像画像記憶部２３に記憶される。図６の例では、図５の例と同様に、設定数は「３」とされており、３つの3Dモデル画像セット候補５１−１乃至５１−３が撮像画像記憶部２３に記憶される。
次に、移動量検出部２４は、３つの3Dモデル画像セット候補５１−１乃至５１−３の全セット分について、図６の実線の矢印で示す全組み合わせの移動量ｍ１及び移動量ｍ２を総あたりで検出する。
そして、3Dモデル画像セット選抜部２５は、総移動量（移動量ｍ１＋移動量ｍ２）が一番小さくなる、テクスチャ画像３１−Ｐ、第１ドット画像３２―Ｑ、及び第２ドット画像３３―Ｒの各データの組み合わせを探索する。3Dモデル画像セット選抜部２５は、探索した当該組み合わせを、3Dモデル画像セットとして選抜して3Dモデル画像セット記憶部２６に記憶させる。ここで、Ｐ，Ｑ，Ｒは、相互に独立した整数値であって、図６の場合には１乃至３の何れかの整数値である。
よって、例えば、3Dモデル画像セット候補５１−１のテクスチャ画像３１−１、3Dモデル画像セット候補５１−２の第１ドット画像３２―２、及び、3Dモデル画像セット候補５１−３の第２ドット画像３２―３の各データの組み合わせが、3Dモデル画像セットとして選抜される場合もあり得る。
【００５４】
以上、本発明の第２実施形態に係る情報処理システムについて説明した。
次に、本発明の第３実施形態に係る情報処理システムについて説明する。
【００５５】
［第３実施形態］
図７は、本発明の第３実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【００５６】
図７に示すように、第３実施形態に係る情報処理システムは、第１実施形態や第２実施形態と同様に、制御装置１１と、撮像装置１２と、投影装置１３と、を備えている。
ここで、第１ドット画像と第２ドット画像との明るさが極端に違う場合、例えば一方のドット投影撮像画像が白とびしている場合を想定してみる。このような場合に、第１実施形態や第２実施形態と同様に、制御装置１１と、撮像装置１２と、投影装置１３とのみから情報処理システムが構成されているときには、テクスチャ画像と同一種類の特徴点を、第１ドット画像及び第２ドット画像の各々から探索することは非常に困難になる。
そこで、このような場合であっても、テクスチャ画像と同一種類の特徴点を第１ドット画像及び第２ドット画像の両方から容易に探索すべく、第３実施形態に係る情報処理システムには、画像ズレ検出用撮像装置６１がさらに設けられている。
【００５７】
画像ズレ検出用撮像装置６１は、制御装置１１の制御の下、位置ズレの検出を目的として、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置１１に供給する。
具体的には、画像ズレ検出用撮像装置６１は、撮像装置１２によるテクスチャ画像の撮像とほぼ同時に、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置１１に出力する。このような撮像画像のデータを、以下、「画像ズレ検出用第１画像のデータ」と呼ぶ。
また、画像ズレ検出用撮像装置６１は、撮像装置１２による第１ドット画像の撮像とほぼ同時に、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置１１に出力する。このような撮像画像のデータを、以下、「画像ズレ検出用第２画像のデータ」と呼ぶ。
また、画像ズレ検出用撮像装置６１は、撮像装置１２による第２ドット画像の撮像とほぼ同時に、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置１１に出力する。このような撮像画像のデータを、以下、「画像ズレ検出用第３画像のデータ」と呼ぶ。
【００５８】
この場合、撮像画像取得部２２（図１）は、画像ズレ検出用撮像装置６１から順次出力されてくる、画像ズレ検出用第１画像、画像ズレ検出用第２画像、及び画像ズレ検出用第３画像の３枚の撮像画像のデータからなるセット（以下、「特徴点検出用セット」と呼ぶ）を、3Dモデル画像セット候補と対応付けて撮像画像記憶部２３（図１）に記憶させる。
【００５９】
図８は、このような第３実施形態に係る情報処理システムが実行する3Dモデル画像セット取得処理の流れの一例を示すフローチャートである。
図８の例の3Dモデル画像セット取得処理も、図３の例と同様に、例えば、制御装置１１の電源が投入されて、ユーザが操作部（図７には図示せず。後述する図１０の入力部１１６参照）を操作して処理の開始指示をしたことを契機として開始する。
【００６０】
ステップＳ２１において、撮像制御部２１（図１）は、画像ズレ検出用撮像装置６１の露出の変更に関する設定を行う。
即ち、投影装置１３によってドットパターンが投影された場合と投影されない場合とでは、画像ズレ検出用撮像装置６１の画角内の明るさが変化する。この場合、画像ズレ検出用撮像装置６１の露出が一定であると不具合が生ずるときがある。
例えば、投影装置１３によってドットパターンが投影されていない場合には適正な露出であっても、投影装置１３によってドットパターンが投影された場合にも同一の露出で、画像ズレ検出用撮像装置６１が対象物体を撮像すると、その結果得られる撮像画像においては、対象物体の像が白とびを起こすという不具合が生ずる。
このため、画角内の明るさの変化を考慮して、画像ズレ検出用撮像装置６１の露出を、白飛びを発生させない程度に変化させる必要、即ち露出が過多とならないように制御する必要がある。そこで、撮像制御部２１は、ステップＳ２１の処理として、投影装置１３によってドットパターンが投影された場合と投影されない場合との光の強さに応じて、即ち、投影装置１３の動作の有無に応じて、画像ズレ検出用撮像装置６１の露出を、白飛びを発生させない程度に設定する。
【００６１】
ステップＳ２２において、撮像画像取得部２２は、撮像制御部２１の制御の下、撮像装置１２により撮像された3Dモデル画像セット候補と、画像ズレ検出用撮像装置６１により撮像された特徴点検出用セットと、を対応付けて撮像画像記憶部２３に記憶させる。
なお、この場合には、画像ズレ検出用撮像装置６１は、例えばブラケット撮像機能等を用いて、ドットパターンが投影された場合と投影されない場合との各々において、ステップ２１の処理の設定結果に従って露出を変化させて、対象物体を撮像する。
【００６２】
ステップＳ２３において、撮像画像取得部２２は、設定セット数分の3Dモデル画像セット候補及び特徴点検出用セットを撮像画像記憶部２３に記憶させたか否かを判定する。
設定セット数は、図３の例と同様に、特に限定されず、制御装置１１に予め設定された固定数であってもよいし、ユーザにより任意に設定可能な可変数であってもよい。
設定セット数分の3Dモデル画像セット候補及び特徴点検出用セットが撮像画像記憶部２３に記憶されていない場合、ステップＳ２１においてNOであると判定されて、処理はステップＳ２１に戻される。即ち、ステップＳ２１乃至Ｓ２３のループ処理が繰り返されて、その都度、撮像装置１２によって撮像された3Dモデル画像セット候補と、画像ズレ検出用撮像装置６１によって撮像された特徴点検出用セットと、が対応付けられて撮像画像記憶部２３に順次記憶されていく。
そして、設定セット数分の3Dモデル画像セット候補及び画像ズレ検出用撮像装置６１が撮像画像記憶部２３に記憶されると、次のステップＳ２３においてYESであると判定されて、処理はステップＳ２４に進む。
【００６３】
その後の図８のステップＳ２４乃至Ｓ３０の処理の流れは、図３のステップＳ３乃至Ｓ９の処理の流れと基本的に同様である。
ただし、注目セットについての総移動量を検出する処理、即ち図８のステップＳ２４乃至Ｓ２８のループ処理と、図３のステップＳ３乃至Ｓ７のループ処理とでは、処理対象が異なる。即ち、図８のステップＳ２４の処理で、特徴点検出用セットの１つが注目セットに設定されるのに対して、図３のステップＳ３の3Dモデル画像セット候補の１つが注目セットに設定される点が差異点である。
この差異点のため、図８の3Dモデル画像セット取得処理では、移動量ｍ１及び移動量ｍ２の検出対象が、図３の3Dモデル画像セット取得処理とは異なることになる。即ち、図８の3Dモデル画像セット取得処理では、画像ズレ検出用第１画像と画像ズレ検出用第２画像との間で移動量ｍ１が検出され、画像ズレ検出用第１画像と画像ズレ検出用第３画像との間で移動量ｍ２が検出される。そして、これらの移動量ｍ１及び移動量ｍ２の総和（移動量ｍ１＋移動量ｍ２）が、総移動量として検出される。
それ以外の図８の3Dモデル画像セット取得処理は、図３の3Dモデル画像セット取得処理の対応する処理と同様であるため、ここではその説明は省略する。
【００６４】
このように、第３実施形態では、第１ドット画像と第２ドット画像との明るさが極端に違う場合、例えば一方のドット投影撮像画像が白とびしている場合であっても、画像ズレ検出用第１画像と同一種類の特徴点を画像ズレ検出用第２画像及び画像ズレ検出用第３画像の両方から容易に探索することが可能になる。
【００６５】
以上、本発明の第３実施形態に係る情報処理システムについて説明した。
次に、本発明の第４実施形態に係る情報処理システムについて説明する。
【００６６】
［第４実施形態］
図９は、本発明の第４実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【００６７】
図９に示すように、第４実施形態に係る情報処理システムは、第３実施形態と同様に、制御装置１１と、撮像装置１２と、投影装置１３と、画像ズレ検出用撮像装置６１と、を備えている。
ここで、図８のステップＳ２６のマッチング処理で用いる照合用のテンプレート（当該テンプレートの説明は、図３のステップＳ５参照）の大きさに比べて、撮像画像に投影されたドットパターンの密度が高い場合を想定してみる。このような場合には、ドットパターンが邪魔をして撮像画像間の特徴点の照合（検索）が非常に困難になるときがある。
そこで、このような場合であっても、投影ドットパターンの影響を無くして撮像画像間の特徴点の照合（検索）を容易かつ確実に行うべく、図９にかっこ書で示しているように、画像ズレ検出用撮像装置６１は、近赤外カメラにより構成されている。より具体的には、画像ズレ検出用撮像装置６１は、Siフォトダイオードを用いた一般的なカメラに対して、近赤外線だけを通すフィルタを装着することによって、近赤外カメラとして具現化することができる。
この場合、対象物体に赤外線を照射すべく、赤外線照射装置７１も情報処理システムに設けられている。
さらに、投影装置１３は、図９にかっこ書きで示すように、赤外カットフィルタを付けており、当該赤外カットフィルタを介してドットパターンを対象物体に投影する。
【００６８】
このような構成を取ることにより、ドットパターンは、画像ズレ検出用撮像装置６１から出力された撮像画像には写らない。即ち、画像ズレ検出用第１画像、画像ズレ検出用第２画像、及び画像ズレ検出用第３画像には、ドットパターンは写らない。
これにより、ドットパターンの影響を全く受けずに、図８のステップＳ２６のマッチング処理が実行できるので、撮像画像間の特徴点の照合（検索）を容易かつ確実に行うことが可能になる。
さらに、第３実施形態のように、投影装置１３によってドットパターンが投影された場合と投影されない場合とで、画像ズレ検出用撮像装置６１の露出を変化させる必要が無くなる。即ち、図８のステップＳ２１の処理を省略することができる。
【００６９】
なお、第４実施形態に係る情報処理システムの3Dモデル画像セット処理のうち、上述した処理以外については、図８に示す第３実施形態に係る情報処理システムの3Dモデル画像セット処理と基本的に同様であるため、その説明は省略する。
【００７０】
以上、本発明に係る情報処理システムの実施形態として、第１乃至第４実施形態について説明した。しかしながら、本発明は上述の第１乃至第４実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７１】
例えば、上述の第１乃至第４実施形態では、テクスチャ画像、第１ドット画像、及び、第２ドット画像の３枚の撮像画像のデータからなる3Dモデル画像セットが取得された。しかしながら、3Dモデル画像セットの構成要素は、特にこれに限定されず、撮像装置によるＮ回（Ｎは２以上の整数値）の撮像の各々により得られたＮ枚の撮像画像のデータの組であればよい。
【００７２】
即ち、本発明が適用される情報処理装置は、対象物体の3Dモデルの構築に必要な3Dモデル画像セットを取得するために、次のような機能を有していれば足りる。
即ち、
露光の変更を含む第１撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御機能であって、
前記投影装置が動作していない状態で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第１の露出で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第２の露出で前記第１撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御機能と、
前記撮像制御機能の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第１ドット画像撮像制御処理で出力された前記第１ドット画像及び第２ドット画像撮像制御処理で出力された前記第２ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第１ドット画像との間の前記対象物体の像の第１の移動量、及び、前記テクスチャ画像と前記第２ドット画像との間の前記対象物体の像の第２の移動量を検出する移動量検出機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出機能により検出された前記第１の移動量及び前記第２の移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する選抜機能と、
を有する電子機器一般に対して、本発明は広く適用することができ、
例えば、本発明は、パーソナルコンピュータ等に幅広く適用可能である。
【００７３】
このような機能を有する情報処理装置を採用することで、３次元モデリングにおいて、精度良い3Dモデルを効率良く得ることが可能になる。
【００７４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００７５】
図１０は、上述した一連の処理をソフトウェアにより実行させる場合の制御装置１１のハードウェア構成を示すブロック図である。
【００７６】
制御装置１１は、CPU（Central Processing Unit）１１１と、ROM（Read Only Memory）１１２と、RAM（Random Access Memory）１１３と、バス１１４と、入出力インターフェース１１５と、入力部１１６と、出力部１１７と、記憶部１１８と、通信部１１９と、ドライブ１２０と、を備えている。
【００７７】
CPU１１１は、ROM１１２に記録されているプログラムに従って各種の処理を実行する。又は、CPU１１１は、記憶部１１８からRAM１１３にロードされたプログラムに従って各種の処理を実行する。
RAM１１３にはまた、CPU１１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００７８】
例えば、上述した図１の機能的構成のうち、撮像制御部２１、撮像画像取得部２２、移動量検出部２４、及び、3Dモデル画像セット選抜部２５は、CPU１１１というハードウェアと、ROM１１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成することができる。
また例えば、撮像画像記憶部２３及び3Dモデル画像セット記憶部２６は、RAM３０３若しくは記憶部３０７の一領域として構成することができる。
【００７９】
CPU１１１、ROM１１２、及びRAM１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インターフェース１１５も接続されている。入出力インターフェース１１５には、入力部１１６、出力部１１７、記憶部１１８、通信部１１９、及びドライブ１２０が接続されている。
【００８０】
入力部１１６は、キーボード、マウス、各種キー等により構成される。出力部１１７は、表示部や音声出力部等により構成される。記憶部１１８は、ハードディスク等により構成される。通信部１１９は、他の装置との間で行う通信、例えば、撮像装置１２、投影装置１３、画像ズレ検出用撮像装置６１、及び赤外線照射装置７１との間の通信を制御する。
【００８１】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１３１が適宜装着される。ドライブ１２０によって読み出されたコンピュータプログラムは、必要に応じて記憶部１１８等にインストールされる。
【００８２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８３】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア１３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１３１アは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM１１２や記憶部１１８に含まれるハードディスク等で構成される。
【００８４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００８５】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【符号の説明】
【００８６】
１１・・・制御装置、１２・・・撮像装置、１３・・・投影装置、２１・・・撮像制御部、２２・・・撮像画像取得部、２３・・・撮像画像記憶部、２４・・・移動量検出部、２５・・・3Dモデル画像セット選抜部、２６・・・3Dモデル画像セット記憶部、６１・・・画像位置ズレ検出用撮像装置、７１・・・赤外線照射装置、１１１・・・CPU、１１２・・・ROM、１１３・・・RAM、１１６・・・入力部、１１７・・・出力部、１１８・・・記憶部、１１９・・・通信部、１２０・・・ドライブ、１３１・・・リムーバブルメディア
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、３次元モデリングにおいて、精度良い３次元モデル（以下、「3D（Dimensional）モデル」と呼ぶ）を効率良く得ることが可能になる技術に関する。
【背景技術】
【０００２】
近年、３次元モデリングと呼ばれる技術が利用されるようになってきた。３次元モデリングとは、実世界に存在する人間、動物、美術品等を対象物体として、対象物体の立体像を得る場合において、カメラが対象物体を撮像し、その結果得られる撮像画像に基づいて、対象物体の３次元座標を取得する技術をいう。
【０００３】
３次元モデリングを実現可能な従来の手法として、平行に並べて配置した２台のカメラ（以下、「ステレオカメラ」と呼ぶ）を用いた手法、即ち、いわゆる平行ステレオ画像方式が広く知られている（非特許文献１参照）。
平行ステレオ画像方式では、ステレオカメラの配置間隔と、ステレオカメラが対象物体を撮像した結果得られる各々の撮像画像内の特定部位の見え方の差（視差）とに基づいて、対象物体とカメラとの間の距離（奥行き）が求められる。そして、この距離に基づいて、対象物体の3Dモデルが構築される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「ディジタル画像処理」、ＣＧ−ＡＲＴＳ協会
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような平行ステレオ画像方式を採用しても、精度良い3Dモデルを効率良く得ることは非常に困難である。以下、困難な理由について説明する。
【０００６】
即ち、平行ステレオ画像方式を採用して3Dモデルを得るためには、対象物体をカメラが撮像することで得られる撮像画像であって、当該対象物体の3Dモデルにテクスチャとして貼り付けられる対象の撮像画像が必要となる。以下、このような画像を「テクスチャ画像」と呼ぶ。
さらに、精度良い3Dモデルを得るためには、撮影画像として、テクスチャ画像の他、ドットパターンを投影した対象物体をカメラが撮像することで得られる画像（以下、「ドット投影画像」と呼ぶ）も必要になる。
ここで、「ドットパターン」とは、２次元平面状に離散的に分布する複数のドット（点）により形成されるパターン（模様）をいう。
このようなドットパターンが形成された平面板（膜含む）、具体的には、ドットの部分で光を遮蔽し、他の部分で光を通過させる平面板を用いて、当該平面板の一方の面の前方に対象物体が存在する状態で、当該平面板の他方の面から光を照射することによって、ドットパターンが対象物体に投影される。このようなドットパターンが投影された対象物体の像を含む画像が、ドット投影画像である。
さらにまた、3Dモデルの精度をより向上させるためには、カメラが露出を複数回変化させて対象物体を撮像した結果得られる複数のドット投影画像が必要になる。なお、以下、露出をＮ回（Ｎは、２以上の整数値）変化させた場合に、Ｋ回目（Ｋは、１乃至Ｎのうちの何れかの整数値）に撮像されたドット投影画像を、以下、「第Ｋドット画像」と呼ぶ。
【０００７】
具体的には例えば、２回露出を変化させて得られる２枚のドット投影画像を3Dモデリングに用いる場合には、テクスチャ画像、第１ドット画像、及び、第２ドット画像の３枚の撮像画像が必要になる。
この場合、精度良い3Dモデルを得るためには、３枚の撮像画像間で対象物体の像の位置が一致していることが要求される。
しかしながら、これら３枚の撮像画像は時間的に離間して各々撮像されたものであるため、その間に対象物体が動いてしまうと、当該要求に応えることができない。即ち、３枚の撮像画像間では、対象物体の像は一致せずに位置ズレが生じてしまう。このような３枚の撮像画像間の位置ズレがたとえ微小であっても、3Dモデルの精度に悪影響を及ぼすことになる。
ところが、微小な位置ズレの要因となる実世界での対象物体の微妙な動きは、人間が撮像中に視認することは非常に困難であり、さらに、対象物体の微妙な動きの結果生ずる微小な位置ズレも、人間が撮影画像を見比べた程度で視認することは非常に困難である。
従って、3Dモデルの精度に悪影響を及ぼす位置ズレは、3Dモデルが実際に作成された後に発見される場合が多い。この場合には、新たな３枚の撮像画像の撮り直しが必要になるため、精度良い3Dモデルを得る観点からすると非常に効率が悪い。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、３次元モデリングにおいて、精度良い3Dモデルを効率良く得ることが可能になる。
【課題を解決するための手段】
【０００９】
本発明の一態様によると、
露光の変更を含む第１撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御手段であって、
前記投影装置が動作していない状態で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第１の露出で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第２の露出で前記第１撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御手段と、
前記撮像制御手段の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第１ドット画像撮像制御処理で出力された前記第１ドット画像及び第２ドット画像撮像制御処理で出力された前記第２ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第１ドット画像との間の前記対象物体の像の第１の移動量、及び、前記テクスチャ画像と前記第２ドット画像との間の前記対象物体の像の第２の移動量を検出する移動量検出手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出手段により検出された前記第１の移動量及び前記第２の移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する選抜手段と、
を備える情報処理装置を提供する。
【００１０】
本発明の別の態様によると、上述した本発明の一態様に係る情報処理装置に対応するプログラムを提供する。
【発明の効果】
【００１１】
本発明によれば、３次元モデリングにおいて、精度良い3Dモデルを効率良く得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【図２】本発明の第１実施形態に係る情報処理システムの投影装置が投影するドットパターンの画像の一例を示す図である。
【図３】本発明の第１実施形態に係る情報処理システムが実行する3Dモデル画像セット取得処理の流れの一例を示すフローチャートである。
【図４】本発明の第１実施形態に係る情報処理システムが取得する3Dモデル画像セット候補の一例を示す図である。
【図５】本発明の第１実施形態に係る情報処理システムに適用可能な3Dモデル画像セットの選抜の手法の一例を模式的に説明する図である。
【図６】本発明の第２実施形態に係る情報処理システムに適用可能な3Dモデル画像セットの選抜の手法の一例であって、図５とは別の例を模式的に説明する図である。
【図７】本発明の第３実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【図８】本発明の第３実施形態に係る情報処理システムが実行する3Dモデル画像セット取得処理の流れの一例を示すフローチャートである。
【図９】本発明の第４実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【図１０】本発明の情報処理装置の実施形態に係る制御装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施の形態を図面に基づいて説明する。
【００１４】
［第１実施形態］
図１は、本発明の第１実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【００１５】
図１に示す情報処理システムは、制御装置１１と、撮像装置１２と、投影装置１３と、を備えている。
【００１６】
制御装置１１は、情報処理システム全体を制御して、3Dモデル画像セット取得処理を実行する。
ここで、3Dモデル画像セット取得処理とは、平行ステレオ画像方式による対象物体の3Dモデルを構築する場合に利用される複数の撮像画像のデータの集合体（以下、「3Dモデル画像セット」と呼ぶ）を取得するまでの一連の処理をいう。
撮像装置１２は、ステレオカメラの構成を取っており、制御装置１１の制御の下、対象物体（図示せず）を撮像し、その結果得られる撮像画像のデータを制御装置１１に供給する。
投影装置１３は、制御装置１１の制御の下、対象物体にドットパターンを投影する。
図２は、投影装置１３が対象物体に対して投影するドットパターンの画像の一例を示している。
【００１７】
制御装置１１は、撮像制御部２１と、撮像画像取得部２２と、撮像画像記憶部２３と、移動量検出部２４と、3Dモデル画像セット選抜部２５と、3Dモデル画像セット記憶部２６と、を備えている。
【００１８】
撮像制御部２１は、撮像画像取得部２２を介して、撮像装置１２の撮像動作を制御する。例えば、撮像制御部２１は、露出を選択し、所定のタイミングで、選択した露出で撮像装置１２が対象物体を撮像するように制御する。
また、撮像制御部２１は、露光の変更を含む撮像装置１２の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置１３の動作を制御する。
【００１９】
具体的には本実施形態では、撮像制御部２１は、投影装置１３が動作していない状態で撮像装置１２に対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理を実行する。撮像制御部２１がこのテクスチャ画像撮像制御処理を実行して、適当な露出で撮像装置１２が対象物体を撮像するように制御した場合、テクスチャ画像のデータが撮像装置１２から出力される。
【００２０】
また、撮像制御部２１は、投影装置１３が対象物体に所定のドットパターンを投影している状態で第１の露出で撮像装置１２に対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理を実行する。撮像制御部２１がこの第１ドット画像撮像制御処理を実行して、投影装置１３に対象物体を撮像させて、第１の露出で撮像装置１２が対象物体を撮像するように制御した場合、第１ドット画像のデータが撮像装置１２から出力される。
【００２１】
また、撮像制御部２１は、投影装置１３が対象物体に所定のドットパターンを投影している状態で第２の露出で撮像装置１２に対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理を実行する。撮像制御部がこの第２ドット画像撮像制御処理を実行して、投影装置１３の動作を許可して、第２の露出で撮像装置１２が対象物体を撮像するように制御した場合、第２ドット画像のデータが撮像装置１２から出力される。
【００２２】
撮像画像取得部２２は、撮像制御部２１の制御の下、撮像装置１２から出力された撮像画像のデータを取得し、撮像画像記憶部２３に記憶させる。
具体的には本実施形態では、撮像制御部２１は、上述のテクスチャ画像撮像制御処理と、第１ドット画像撮像制御処理と、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す。撮像画像取得部２２は、撮像装置１２から順次出力されてくる、テクスチャ画像、第１ドット画像、及び第２ドット画像の３枚の撮像画像の各データをまとめて、3Dモデル画像セットとして撮像画像記憶部２３に記憶させる。
なお、テクスチャ画像、第１ドット画像、及び第２ドット画像の順番で撮像装置１２から各データが出力される必要は特に無く、撮像装置１２から出力される各データの順番は任意で良い。
【００２３】
撮像画像記憶部２３は、撮像画像取得部２２によって3Dモデル画像セットが取得される毎に、当該3Dモデル画像セットを順次記憶していく。即ち、撮像画像記憶部２３は、複数の3Dモデル画像セットを記憶する。
ここで、3Dモデル画像セットは、３枚の撮像画像間で対象物体の像の位置ズレが生じた各データの集合体である。ただし、この位置ズレの度合は、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット毎に異なっている。この場合、位置ズレの度合が大きい3Dモデル画像セットを用いて3Dモデルを構築すると、当該3Dモデルの精度が悪化してしまう。
このため、詳細については後述するが、本実施形態では、撮像画像記憶部２３に記憶された複数の3Dモデル画像セットの中から、位置ズレの度合が最も小さいものが、3Dモデルの構築に実際に用いられる3Dモデル画像セットとして選抜される。
そこで、選抜後の3Dモデル画像セット、即ち3Dモデルの構築に実際に用いられる3Dモデル画像セットと明確に区別すべく、撮像画像記憶部２３に記憶されている段階の複数の3Dモデル画像セットの各々を、以下、「3Dモデル画像候補」と呼ぶ。即ち、撮像画像記憶部２３は、複数の3Dモデル画像セット候補を記憶する。
【００２４】
移動量検出部２４は、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット候補の中から、処理の対象として注目すべき3Dモデル画像セット候補（以下、「注目セット」と呼ぶ）を設定する。
移動量検出部２４は、注目セットについて、テクスチャ画像における対象物体の像の位置を基準位置として、第１ドット画像における対象物体の像の位置と基準位置との偏差を、移動量ｍ１として検出する。
同様に、移動量検出部２４は、注目セットについて、第２ドット画像における対象物体の像の位置と基準位置との偏差を、移動量ｍ２として検出する。
そして、移動量検出部２４は、注目セットについて検出した移動量１及び移動量２の総和（移動量ｍ１＋移動量ｍ２）を、注目セットについての総移動量として検出する。
移動量検出部２４は、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット候補の各々を注目セットに順次設定して、上述した一連の処理を繰り返す。その結果、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット候補毎に、総移動量がそれぞれ検出される。
なお、総移動量の検出手法は、特に限定されない。本実施形態で採用されている手法については、後述する図３のステップＳ３乃至Ｓ７の処理の説明として後述する。
【００２５】
3Dモデル画像セット選抜部２５は、撮像画像記憶部２３に記憶された複数の3Dモデル画像セット候補のうち、移動量検出部２４によって検出された総移動量（移動量ｍ１＋移動量ｍ２）が最も小さい3Dモデル画像セット候補を、3Dモデル画像セットとして選抜する。
即ち、3Dモデル画像セット選抜部２５は、所定の3Dモデル画像セット候補についての総移動量は、当該3Dモデル画像セット候補における位置ズレの度合を示す指標として用いる。そして、3Dモデル画像セット選抜部２５は、総移動量が最も小さい3Dモデル画像セット候補を、位置ズレの度合が最も低い3Dモデル画像セット候補、即ち位置ズレがほぼ生じていない3Dモデル画像セット候補として認識する。そこで、3Dモデル画像セット選抜部２５は、当該3Dモデル画像セット候補を、3Dモデル画像セットとして選抜する。
【００２６】
3Dモデル画像セット記憶部２６は、3Dモデル画像セット選抜部２５によって選抜された3Dモデル画像セットを記憶する。
【００２７】
以上、第１実施形態に係る情報処理システムの機能的構成について説明した。
ただし、上述した機能的構成、特に制御装置１１の機能的構成は例示にしか過ぎない。即ち、3Dモデル画像セット処理を実行可能であれば、情報処理システム、特に制御装置１１は、任意の機能的構成を取ることができる。
【００２８】
次に、図３を参照して、第１実施形態に係る情報処理システムが実行する3Dモデル画像セット取得処理について説明する。
【００２９】
図３は、3Dモデル画像セット取得処理の流れの一例を示すフローチャートである。
3Dモデル画像セット取得処理は、例えば、制御装置１１の電源が投入されて、ユーザが操作部（図１には図示せず。後述する図１０の入力部１１６参照）を操作して処理の開始指示をしたことを契機として開始する。
【００３０】
ステップＳ１において、図１の制御装置１１の撮像画像取得部２２は、撮像制御部２１の制御の下、撮像装置１２によって撮像された3Dモデル画像セット候補を取得して、撮像画像記憶部２３に記憶させる。
【００３１】
ステップＳ２において、撮像画像取得部２２は、設定セット数分の3Dモデル画像セット候補を撮像画像記憶部２３に記憶させたか否かを判定する。
設定セット数は、特に限定されず、制御装置１１に予め設定された固定数であってもよいし、ユーザにより任意に設定可能な可変数であってもよい。
設定セット数分の3Dモデル画像セット候補が撮像画像記憶部２３に記憶されていない場合、ステップＳ２においてNOであると判定されて、処理はステップＳ１に戻される。即ち、ステップＳ１，Ｓ２（NO）のループ処理が繰り返されて、その都度、撮像装置１２によって撮像された3Dモデル画像セット候補が撮像画像記憶部２３に順次記憶されていく。
そして、設定セット数分の3Dモデル画像セット候補が撮像画像記憶部２３に記憶されると、次のステップＳ２においてYESであると判定されて、処理はステップＳ３に進む。
【００３２】
ステップＳ３において、移動量検出部２４は、設定セット数分の3Dモデル画像セット候補の１つを、注目セットに設定する。
【００３３】
例えばステップＳ３の処理で、図４に示す3Dモデル画像セット候補が注目セットに設定されたものとする。
図４は、3Dモデル画像セット候補の一例を示している。
図４に示す3Dモデル画像セット候補５１は、人物（上半身）を対象物体として撮像装置１２によって撮像された３枚の撮像画像、即ち、テクスチャ画像３１、第１ドット画像３２、及び第２ドット画像３３のデータから構成されている。
【００３４】
図３に戻り、ステップＳ４において、移動量検出部２４は、注目セットの各撮像画像のデータに基づいて、１種類以上の特徴点を各撮像画像の各々から抽出する。
なお、特徴点の抽出手法は、特に限定されず、例えばSIFT（Scale-Invariant Feature Transform）やSURF（Speeded Up Robust Features)等、任意の手法を採用することができる。
【００３５】
ステップＳ５において、移動量検出部２４は、注目セットの各撮像画像のデータに基づいて、注目セットの各撮像画像の特徴点について、マッチング処理を実行する。
【００３６】
具体的には本実施形態では、ステップＳ５の処理として次のような処理が実行される。
即ち、移動量検出部２４は、テクスチャ画像から抽出された特徴点を基準点とし、第１ドット画像内の、基準点の配置位置と対応する位置の周囲を探索範囲として、探索範囲内でテンプレートマッチングすることによって、基準点と同一種類の特徴点を探索する。
同様に、移動量検出部２４は、第２ドット画像内の、基準点の配置位置と対応する位置の周囲を探索範囲として、探索範囲内でテンプレートマッチングすることによって、基準点と同一種類の特徴点を探索する。
【００３７】
例えば図４の例を用いると、ステップＳ５の処理として次のような処理が実行される。
即ち、移動量検出部２４は、テクスチャ画像３１から目を示す特徴点４１を抽出して基準点として、基準点と同一種類の特徴点４２を第１ドット画像３２から探索し、基準点と同一種類の特徴点４３を第２ドット画像３３から探索する。即ち、テクスチャ画像３１、第１ドット画像３２、及び、第２ドット画像３３の各データから、目を示す同一種類の特徴点４１乃至４３の組が検出される。
【００３８】
なお、図４の例では、特徴点の種類は目を示す１種類のみとされているが、図４は例示である。即ち、移動量検出部２４は、複数種類の特徴点の組を検出することができる。
【００３９】
ここで、第１ドット画像及び第２ドット画像にはドットパターンが投影されている。
しかしながら、ユーザ（人間）が視認できる程度に大きな位置ズレが生じている３枚の撮像画像のデータからなる3Dモデル画像セット候補については、3Dモデル画像セット処理の処理対象から除外することが容易にできる。即ち、そのような3Dモデル画像セット候補が得られた場合には、当該3Dモデル画像セット候補を廃棄して、直ちに撮像装置１２が撮り直せばよい。
その結果、3Dモデル画像セット処理の処理対象となっている3Dモデル画像セット候補については、２枚の画像間での対象物体の像の大きな位置ズレは生じない。即ち、位置ズレの度合は数ドット程度になる。これに伴い、移動量検出部２４は、探索範囲を狭めてテンプレートのサイズを小さくすること、即ち、テンプレートのサイズをドット間隔に比べて充分小さくすることが可能になる。
これにより、投影されたドットパターンはテンプレートの中に入り込まなくなり、移動量検出部２４は、テクスチャ画像の特徴点（基準点）と同一種類の特徴点を第１ドット画像及び第２ドット画像の各々から容易に探索することが可能になる。
【００４０】
ステップＳ６において、移動量検出部２４は、ステップＳ４及びＳ５の処理で検出された同一種類の特徴点の組を用いて、上述した各撮像画像間の移動量ｍ１及び移動量ｍ２を検出し、その総和（移動量ｍ１＋移動量ｍ２）を、注目セットについての総移動量として検出する。
【００４１】
例えば図４の例を用いると、ステップＳ６の処理として次のような処理が実行される。
即ち、移動量検出部２４は、テクスチャ画像３１内の特徴点４１の位置を基準位置として、第１ドット画像３２内の特徴点４２の位置と、基準位置との偏差を、移動量ｍ１として検出する。
同様に、移動量検出部２４は、第２ドット画像３３内の特徴点４３の位置と、基準位置との偏差を、移動量ｍ２として検出する。
そして、移動量検出部２４は、移動量ｍ１及び移動量ｍ２の総和（移動量ｍ１＋移動量ｍ２）を、注目セットについての総移動量として検出する。
【００４２】
なお、上述したように図４は例示であり、テクスチャ画像３１、第１ドット画像３２、及び、第２ドット画像３３の各々から、複数種類の特徴点の組、例えば左目を示す特徴点の組、右目を示す特徴点の組、口を示す特徴点の組等が検出される場合がある。このような場合には、移動量検出部２４は、種類毎の移動量ｍ１及び移動量ｍ２の総和（移動量ｍ１＋移動量ｍ２）を、全種類について総加算したものを、注目セットについての総移動量として検出すればよい。
【００４３】
ステップＳ７において、移動量検出部２４は、設定セット数分の総移動量を検出したか否かを判定する。
設定セット数分の3Dモデル画像セット候補の中に、未だ注目セットに設定されていないものが存在する場合には、ステップＳ７においてNOであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。
即ち、ステップＳ３乃至Ｓ７のループ処理が繰り返されることによって、設定セット数分の3Dモデル画像セット候補の各々が注目セットに順次設定され、各々の総移動量が順次検出される。
設定セット数分の3Dモデル画像セット候補の全てについての総移動量が検出されると、ステップＳ７においてYESであると判定されて、処理はステップＳ８に進む。
【００４４】
ステップＳ８において、3Dモデル画像セット選抜部２５は、設定セット数分の3Dモデル画像セット候補の全てについて、総移動量を比較する。
ステップＳ９において、3Dモデル画像セット選抜部２５は、図５に示すように、3Dモデル画像セット候補のうち総移動量が一番小さい候補を、3Dモデル画像セットとして選抜し、3Dモデル画像セット記憶部２６に記憶させる。
【００４５】
図５は、3Dモデル画像セットの選抜の手法の一例を模式的に説明する図である。
図５の例では、設定数は「３」とされており、３組の3Dモデル画像セット候補５１−１乃至５１−３が撮像画像記憶部２３に記憶されている。
ステップＳ３の処理で3Dモデル画像セット候補５１−Ｋ（Ｋは、１乃至３のうちの何れかの整数値）が注目セットに設定されると、3Dモデル画像セット候補５１−Ｋを処理対象とするステップＳ４乃至Ｓ６の処理が実行される。その結果、テクスチャ画像３１−Ｋと第１ドット画像３２―Ｋとの間の移動量ｍ１が検出され、テクスチャ画像３１−Ｋと第２ドット画像３３―Ｋとの間の移動量ｍ２が検出され、その総和（移動量ｍ１＋移動量ｍ２）が、3Dモデル画像セット候補５１−Ｋについての総移動量として検出される。
このような一連の処理が３回繰り返され、即ち、ステップＳ３乃至Ｓ７のループ処理が３回繰り返されると、3Dモデル画像セット候補５１−１乃至５１−３の各々についての総移動量（移動量ｍ１＋移動量ｍ２）が検出される。
そして、ステップＳ８，Ｓ９の処理が実行され、3Dモデル画像セット候補５１−１乃至５１−３のうち総移動量が一番小さいものが、3Dモデル画像セットとして選抜され、3Dモデル画像セット記憶部２６に記憶される。
【００４６】
このようにして、ステップＳ９の処理で3Dモデル画像セットが選抜されると、3Dモデル画像セット取得処理が終了となる。
【００４７】
以上説明した3Dモデル画像セット取得処理が実行されることで、３枚の撮像画像間での対象物体の像の位置ズレが最も小さい（位置ズレがほぼない）と判断される3Dモデル画像セット候補が、3Dモデル画像セットとして選抜される。このようにして選抜された3Dモデル画像セットを用いることで、従来よりも精度良い3Dモデルの構築が可能になる。
【００４８】
さらに、位置ズレの要因は、実世界で対象物体が動くためである。従って、テクスチャ画像、第１ドット画像、及び、第２ドット画像の各々を専用に撮像する３組のステレオカメラ（本実施形態では３組の撮像装置１２）を用意して、３組のステレオカメラが同時に撮像動作をすることで、確かに、位置ズレがない3Dモデル画像セットを得ることは可能になる。
しかしながら、ステレオカメラは、ノイズの少ない高品質の撮像画像のデータを出力することが要求される。このような要求を満たすステレオカメラを３組も用意するコストは非常に高く、システム全体の高コスト化に繋がる。さらに、３組のステレオカメラセットを設置することは、非常に大がかりなシステムになることを意味する。
これに対して、本実施形態の情報処理システムでは、上述の如く、１組のステレオカメラ、即ち１組の撮像装置１２を用意するだけで足りる。即ち、従来よりも精度良い3Dモデルの構築ができる情報処理システムを、低コストかつ簡素な構成で実現することが可能になる。
【００４９】
さらにまた、［発明が解決しようとする課題］の欄で上述したように、従来、位置ズレが発生していることは、3Dモデルが実際に作成された後に発見されることが多かった。このため、3Dモデルが作成された後に位置ズレが発見された場合には、新たな３枚の撮像画像の撮り直しが必要になり、精度良い3Dモデルの構築の観点では非常に効率が悪かった。
これに対して、本実施形態の情報処理システムの制御装置１１は、ユーザの操作を介在させることなく自律的な判断で、即ち自動的に、３枚の撮影画像のデータの組（3Dモデル画像セット候補）の中で最適な組を3Dモデル画像セットとして選抜することができる。これにより、精度良い3Dモデルを、安定して、かつ効率良く構築することが可能になる。
【００５０】
以上、本発明の第１実施形態に係る情報処理システムについて説明した。
次に、本発明の第２実施形態に係る情報処理システムについて説明する。
【００５１】
［第２実施形態］
第２実施形態に係る情報処理システムの機能的構成は、第１実施形態に係る情報処理システムの機能的構成と同様である。即ち、図１はそのまま、本発明の第２実施の形態に係る情報処理システムの機能的構成を示している。よって、本発明の第２実施の形態に係る情報処理システムの機能的構成の説明は省略する。
【００５２】
第２実施形態と第１実施形態との差異点は、3Dモデル画像セットの選抜の手法として異なる手法を採用している点である。即ち、第１実施形態では、3Dモデル画像セットの選抜の手法として、図５に示す手法が採用されていた。これに対して、第２実施形態では、3Dモデル画像セットの選抜の手法として、図６に示す手法が採用されている。
【００５３】
図６は、第２実施形態の3Dモデル画像セットの選抜の手法の一例、即ち第１実施形態の図５の例とは別の例を模式的に説明する図である。
第２実施形態の3Dモデル画像セット取得処理は、フローチャートとしては図示しないが、図６に示す3Dモデル画像セットの選抜の手法を用いて次のように実行される。
即ち、図３のステップＳ１及びＳ２と同様のループ処理が繰り返し実行されて、設定セット数分の3Dモデル画像セット候補が撮像画像記憶部２３に記憶される。図６の例では、図５の例と同様に、設定数は「３」とされており、３つの3Dモデル画像セット候補５１−１乃至５１−３が撮像画像記憶部２３に記憶される。
次に、移動量検出部２４は、３つの3Dモデル画像セット候補５１−１乃至５１−３の全セット分について、図６の実線の矢印で示す全組み合わせの移動量ｍ１及び移動量ｍ２を総あたりで検出する。
そして、3Dモデル画像セット選抜部２５は、総移動量（移動量ｍ１＋移動量ｍ２）が一番小さくなる、テクスチャ画像３１−Ｐ、第１ドット画像３２―Ｑ、及び第２ドット画像３３―Ｒの各データの組み合わせを探索する。3Dモデル画像セット選抜部２５は、探索した当該組み合わせを、3Dモデル画像セットとして選抜して3Dモデル画像セット記憶部２６に記憶させる。ここで、Ｐ，Ｑ，Ｒは、相互に独立した整数値であって、図６の場合には１乃至３の何れかの整数値である。
よって、例えば、3Dモデル画像セット候補５１−１のテクスチャ画像３１−１、3Dモデル画像セット候補５１−２の第１ドット画像３２―２、及び、3Dモデル画像セット候補５１−３の第２ドット画像３２―３の各データの組み合わせが、3Dモデル画像セットとして選抜される場合もあり得る。
【００５４】
以上、本発明の第２実施形態に係る情報処理システムについて説明した。
次に、本発明の第３実施形態に係る情報処理システムについて説明する。
【００５５】
［第３実施形態］
図７は、本発明の第３実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【００５６】
図７に示すように、第３実施形態に係る情報処理システムは、第１実施形態や第２実施形態と同様に、制御装置１１と、撮像装置１２と、投影装置１３と、を備えている。
ここで、第１ドット画像と第２ドット画像との明るさが極端に違う場合、例えば一方のドット投影撮像画像が白とびしている場合を想定してみる。このような場合に、第１実施形態や第２実施形態と同様に、制御装置１１と、撮像装置１２と、投影装置１３とのみから情報処理システムが構成されているときには、テクスチャ画像と同一種類の特徴点を、第１ドット画像及び第２ドット画像の各々から探索することは非常に困難になる。
そこで、このような場合であっても、テクスチャ画像と同一種類の特徴点を第１ドット画像及び第２ドット画像の両方から容易に探索すべく、第３実施形態に係る情報処理システムには、画像ズレ検出用撮像装置６１がさらに設けられている。
【００５７】
画像ズレ検出用撮像装置６１は、制御装置１１の制御の下、位置ズレの検出を目的として、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置１１に供給する。
具体的には、画像ズレ検出用撮像装置６１は、撮像装置１２によるテクスチャ画像の撮像とほぼ同時に、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置１１に出力する。このような撮像画像のデータを、以下、「画像ズレ検出用第１画像のデータ」と呼ぶ。
また、画像ズレ検出用撮像装置６１は、撮像装置１２による第１ドット画像の撮像とほぼ同時に、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置１１に出力する。このような撮像画像のデータを、以下、「画像ズレ検出用第２画像のデータ」と呼ぶ。
また、画像ズレ検出用撮像装置６１は、撮像装置１２による第２ドット画像の撮像とほぼ同時に、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置１１に出力する。このような撮像画像のデータを、以下、「画像ズレ検出用第３画像のデータ」と呼ぶ。
【００５８】
この場合、撮像画像取得部２２（図１）は、画像ズレ検出用撮像装置６１から順次出力されてくる、画像ズレ検出用第１画像、画像ズレ検出用第２画像、及び画像ズレ検出用第３画像の３枚の撮像画像のデータからなるセット（以下、「特徴点検出用セット」と呼ぶ）を、3Dモデル画像セット候補と対応付けて撮像画像記憶部２３（図１）に記憶させる。
【００５９】
図８は、このような第３実施形態に係る情報処理システムが実行する3Dモデル画像セット取得処理の流れの一例を示すフローチャートである。
図８の例の3Dモデル画像セット取得処理も、図３の例と同様に、例えば、制御装置１１の電源が投入されて、ユーザが操作部（図７には図示せず。後述する図１０の入力部１１６参照）を操作して処理の開始指示をしたことを契機として開始する。
【００６０】
ステップＳ２１において、撮像制御部２１（図１）は、画像ズレ検出用撮像装置６１の露出の変更に関する設定を行う。
即ち、投影装置１３によってドットパターンが投影された場合と投影されない場合とでは、画像ズレ検出用撮像装置６１の画角内の明るさが変化する。この場合、画像ズレ検出用撮像装置６１の露出が一定であると不具合が生ずるときがある。
例えば、投影装置１３によってドットパターンが投影されていない場合には適正な露出であっても、投影装置１３によってドットパターンが投影された場合にも同一の露出で、画像ズレ検出用撮像装置６１が対象物体を撮像すると、その結果得られる撮像画像においては、対象物体の像が白とびを起こすという不具合が生ずる。
このため、画角内の明るさの変化を考慮して、画像ズレ検出用撮像装置６１の露出を、白飛びを発生させない程度に変化させる必要、即ち露出が過多とならないように制御する必要がある。そこで、撮像制御部２１は、ステップＳ２１の処理として、投影装置１３によってドットパターンが投影された場合と投影されない場合との光の強さに応じて、即ち、投影装置１３の動作の有無に応じて、画像ズレ検出用撮像装置６１の露出を、白飛びを発生させない程度に設定する。
【００６１】
ステップＳ２２において、撮像画像取得部２２は、撮像制御部２１の制御の下、撮像装置１２により撮像された3Dモデル画像セット候補と、画像ズレ検出用撮像装置６１により撮像された特徴点検出用セットと、を対応付けて撮像画像記憶部２３に記憶させる。
なお、この場合には、画像ズレ検出用撮像装置６１は、例えばブラケット撮像機能等を用いて、ドットパターンが投影された場合と投影されない場合との各々において、ステップ２１の処理の設定結果に従って露出を変化させて、対象物体を撮像する。
【００６２】
ステップＳ２３において、撮像画像取得部２２は、設定セット数分の3Dモデル画像セット候補及び特徴点検出用セットを撮像画像記憶部２３に記憶させたか否かを判定する。
設定セット数は、図３の例と同様に、特に限定されず、制御装置１１に予め設定された固定数であってもよいし、ユーザにより任意に設定可能な可変数であってもよい。
設定セット数分の3Dモデル画像セット候補及び特徴点検出用セットが撮像画像記憶部２３に記憶されていない場合、ステップＳ２１においてNOであると判定されて、処理はステップＳ２１に戻される。即ち、ステップＳ２１乃至Ｓ２３のループ処理が繰り返されて、その都度、撮像装置１２によって撮像された3Dモデル画像セット候補と、画像ズレ検出用撮像装置６１によって撮像された特徴点検出用セットと、が対応付けられて撮像画像記憶部２３に順次記憶されていく。
そして、設定セット数分の3Dモデル画像セット候補及び画像ズレ検出用撮像装置６１が撮像画像記憶部２３に記憶されると、次のステップＳ２３においてYESであると判定されて、処理はステップＳ２４に進む。
【００６３】
その後の図８のステップＳ２４乃至Ｓ３０の処理の流れは、図３のステップＳ３乃至Ｓ９の処理の流れと基本的に同様である。
ただし、注目セットについての総移動量を検出する処理、即ち図８のステップＳ２４乃至Ｓ２８のループ処理と、図３のステップＳ３乃至Ｓ７のループ処理とでは、処理対象が異なる。即ち、図８のステップＳ２４の処理で、特徴点検出用セットの１つが注目セットに設定されるのに対して、図３のステップＳ３の3Dモデル画像セット候補の１つが注目セットに設定される点が差異点である。
この差異点のため、図８の3Dモデル画像セット取得処理では、移動量ｍ１及び移動量ｍ２の検出対象が、図３の3Dモデル画像セット取得処理とは異なることになる。即ち、図８の3Dモデル画像セット取得処理では、画像ズレ検出用第１画像と画像ズレ検出用第２画像との間で移動量ｍ１が検出され、画像ズレ検出用第１画像と画像ズレ検出用第３画像との間で移動量ｍ２が検出される。そして、これらの移動量ｍ１及び移動量ｍ２の総和（移動量ｍ１＋移動量ｍ２）が、総移動量として検出される。
それ以外の図８の3Dモデル画像セット取得処理は、図３の3Dモデル画像セット取得処理の対応する処理と同様であるため、ここではその説明は省略する。
【００６４】
このように、第３実施形態では、第１ドット画像と第２ドット画像との明るさが極端に違う場合、例えば一方のドット投影撮像画像が白とびしている場合であっても、画像ズレ検出用第１画像と同一種類の特徴点を画像ズレ検出用第２画像及び画像ズレ検出用第３画像の両方から容易に探索することが可能になる。
【００６５】
以上、本発明の第３実施形態に係る情報処理システムについて説明した。
次に、本発明の第４実施形態に係る情報処理システムについて説明する。
【００６６】
［第４実施形態］
図９は、本発明の第４実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
【００６７】
図９に示すように、第４実施形態に係る情報処理システムは、第３実施形態と同様に、制御装置１１と、撮像装置１２と、投影装置１３と、画像ズレ検出用撮像装置６１と、を備えている。
ここで、図８のステップＳ２６のマッチング処理で用いる照合用のテンプレート（当該テンプレートの説明は、図３のステップＳ５参照）の大きさに比べて、撮像画像に投影されたドットパターンの密度が高い場合を想定してみる。このような場合には、ドットパターンが邪魔をして撮像画像間の特徴点の照合（検索）が非常に困難になるときがある。
そこで、このような場合であっても、投影ドットパターンの影響を無くして撮像画像間の特徴点の照合（検索）を容易かつ確実に行うべく、図９にかっこ書で示しているように、画像ズレ検出用撮像装置６１は、近赤外カメラにより構成されている。より具体的には、画像ズレ検出用撮像装置６１は、Siフォトダイオードを用いた一般的なカメラに対して、近赤外線だけを通すフィルタを装着することによって、近赤外カメラとして具現化することができる。
この場合、対象物体に赤外線を照射すべく、赤外線照射装置７１も情報処理システムに設けられている。
さらに、投影装置１３は、図９にかっこ書きで示すように、赤外カットフィルタを付けており、当該赤外カットフィルタを介してドットパターンを対象物体に投影する。
【００６８】
このような構成を取ることにより、ドットパターンは、画像ズレ検出用撮像装置６１から出力された撮像画像には写らない。即ち、画像ズレ検出用第１画像、画像ズレ検出用第２画像、及び画像ズレ検出用第３画像には、ドットパターンは写らない。
これにより、ドットパターンの影響を全く受けずに、図８のステップＳ２６のマッチング処理が実行できるので、撮像画像間の特徴点の照合（検索）を容易かつ確実に行うことが可能になる。
さらに、第３実施形態のように、投影装置１３によってドットパターンが投影された場合と投影されない場合とで、画像ズレ検出用撮像装置６１の露出を変化させる必要が無くなる。即ち、図８のステップＳ２１の処理を省略することができる。
【００６９】
なお、第４実施形態に係る情報処理システムの3Dモデル画像セット処理のうち、上述した処理以外については、図８に示す第３実施形態に係る情報処理システムの3Dモデル画像セット処理と基本的に同様であるため、その説明は省略する。
【００７０】
以上、本発明に係る情報処理システムの実施形態として、第１乃至第４実施形態について説明した。しかしながら、本発明は上述の第１乃至第４実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７１】
例えば、上述の第１乃至第４実施形態では、テクスチャ画像、第１ドット画像、及び、第２ドット画像の３枚の撮像画像のデータからなる3Dモデル画像セットが取得された。しかしながら、3Dモデル画像セットの構成要素は、特にこれに限定されず、撮像装置によるＮ回（Ｎは２以上の整数値）の撮像の各々により得られたＮ枚の撮像画像のデータの組であればよい。
【００７２】
即ち、本発明が適用される情報処理装置は、対象物体の3Dモデルの構築に必要な3Dモデル画像セットを取得するために、次のような機能を有していれば足りる。
即ち、
露光の変更を含む第１撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御機能であって、
前記投影装置が動作していない状態で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第１の露出で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第２の露出で前記第１撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御機能と、
前記撮像制御機能の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第１ドット画像撮像制御処理で出力された前記第１ドット画像及び第２ドット画像撮像制御処理で出力された前記第２ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第１ドット画像との間の前記対象物体の像の第１の移動量、及び、前記テクスチャ画像と前記第２ドット画像との間の前記対象物体の像の第２の移動量を検出する移動量検出機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出機能により検出された前記第１の移動量及び前記第２の移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する選抜機能と、
を有する電子機器一般に対して、本発明は広く適用することができ、
例えば、本発明は、パーソナルコンピュータ等に幅広く適用可能である。
【００７３】
このような機能を有する情報処理装置を採用することで、３次元モデリングにおいて、精度良い3Dモデルを効率良く得ることが可能になる。
【００７４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００７５】
図１０は、上述した一連の処理をソフトウェアにより実行させる場合の制御装置１１のハードウェア構成を示すブロック図である。
【００７６】
制御装置１１は、CPU（Central Processing Unit）１１１と、ROM（Read Only Memory）１１２と、RAM（Random Access Memory）１１３と、バス１１４と、入出力インターフェース１１５と、入力部１１６と、出力部１１７と、記憶部１１８と、通信部１１９と、ドライブ１２０と、を備えている。
【００７７】
CPU１１１は、ROM１１２に記録されているプログラムに従って各種の処理を実行する。又は、CPU１１１は、記憶部１１８からRAM１１３にロードされたプログラムに従って各種の処理を実行する。
RAM１１３にはまた、CPU１１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００７８】
例えば、上述した図１の機能的構成のうち、撮像制御部２１、撮像画像取得部２２、移動量検出部２４、及び、3Dモデル画像セット選抜部２５は、CPU１１１というハードウェアと、ROM１１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成することができる。
また例えば、撮像画像記憶部２３及び3Dモデル画像セット記憶部２６は、RAM３０３若しくは記憶部３０７の一領域として構成することができる。
【００７９】
CPU１１１、ROM１１２、及びRAM１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インターフェース１１５も接続されている。入出力インターフェース１１５には、入力部１１６、出力部１１７、記憶部１１８、通信部１１９、及びドライブ１２０が接続されている。
【００８０】
入力部１１６は、キーボード、マウス、各種キー等により構成される。出力部１１７は、表示部や音声出力部等により構成される。記憶部１１８は、ハードディスク等により構成される。通信部１１９は、他の装置との間で行う通信、例えば、撮像装置１２、投影装置１３、画像ズレ検出用撮像装置６１、及び赤外線照射装置７１との間の通信を制御する。
【００８１】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１３１が適宜装着される。ドライブ１２０によって読み出されたコンピュータプログラムは、必要に応じて記憶部１１８等にインストールされる。
【００８２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８３】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア１３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１３１アは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM１１２や記憶部１１８に含まれるハードディスク等で構成される。
【００８４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００８５】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【符号の説明】
【００８６】
１１・・・制御装置、１２・・・撮像装置、１３・・・投影装置、２１・・・撮像制御部、２２・・・撮像画像取得部、２３・・・撮像画像記憶部、２４・・・移動量検出部、２５・・・3Dモデル画像セット選抜部、２６・・・3Dモデル画像セット記憶部、６１・・・画像位置ズレ検出用撮像装置、７１・・・赤外線照射装置、１１１・・・CPU、１１２・・・ROM、１１３・・・RAM、１１６・・・入力部、１１７・・・出力部、１１８・・・記憶部、１１９・・・通信部、１２０・・・ドライブ、１３１・・・リムーバブルメディア
【特許請求の範囲】
【請求項１】
露光の変更を含む第１撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御手段であって、
前記投影装置が動作していない状態で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第１の露出で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第２の露出で前記第１撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御手段と、
前記撮像制御手段の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第１ドット画像撮像制御処理で出力された前記第１ドット画像及び第２ドット画像撮像制御処理で出力された前記第２ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第１ドット画像との間の前記対象物体の像の第１の移動量、及び、前記テクスチャ画像と前記第２ドット画像との間の前記対象物体の像の第２の移動量を検出する移動量検出手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出手段により検出された前記第１の移動量及び前記第２の移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する選抜手段と、
を備える情報処理装置。
【請求項２】
前記移動量検出手段は、前記3Dモデル画像セット候補毎に前記第１の移動量及び前記第２の移動量を検出し、
前記選抜手段は、前記取得手段により取得された前記複数の3Dモデル画像セット候補のうち、前記第１の移動量及び前記第２の移動量の総和が最も小さくなる3Dモデル画像セット候補を、前記3Dモデル画像セットとして選抜する、
請求項１に記載の情報処理装置。
【請求項３】
前記撮像制御手段は、さらに、第２撮像装置の動作を制御して、
前記第１撮像装置による前記前記テクスチャ画像又は前記第１ドット画像若しくは前記第２ドット画像の撮像が行われる度に、前記投影装置の動作の有無に応じて、前記対象物体の像に白飛びを発生させない露光を設定して前記第２撮像装置に前記対象物体を撮像させ、
前記取得手段は、前記第１撮像装置による前記3Dモデル画像セット候補に加えてさらに、前記3Dモデル画像セット候補に含まれる前記テクスチャ画像並びに前記第１ドット画像及び前記第２ドット画像の各データが前記第１撮像装置から出力される毎に前記第２撮像装置から各々出力された撮像画像のデータの組を、検出用セットとして取得し、
前記移動量検出手段は、前記取得手段により取得された前記複数の3Dモデル画像セット候補の代わりに、前記取得手段により取得された複数の前記検出用セットを用いて、前記第１の移動量及び前記第２の移動量を検出し、
前記選抜手段は、前記移動量検出手段の検出結果に基づいて、前記取得手段により取得された前記複数の3Dモデル画像セット候補の中から、前記3Dモデル画像セットを選抜する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記投影装置は、赤外カットフィルタを有しており、
前記撮像制御手段は、さらに、赤外線照射装置を制御して前記対象物体に赤外線を照射している状態で、近赤外カメラとして構成される第２撮像装置を制御して、
前記第１撮像装置による前記前記テクスチャ画像又は前記第１ドット画像若しくは前記第２ドット画像の撮像が行われる度に、前記第２撮像装置に前記対象物体を撮像させ、
前記取得手段は、前記第１撮像装置による前記3Dモデル画像セット候補に加えてさらに、前記3Dモデル画像セット候補に含まれる前記テクスチャ画像並びに前記第１ドット画像及び前記第２ドット画像の各データが前記第１撮像装置から出力される毎に前記第２撮像装置から各々出力された撮像画像のデータの組を、検出用セットとして取得し、
前記移動量検出手段は、前記取得手段により取得された前記複数の3Dモデル画像セット候補の代わりに、前記取得手段により取得された複数の前記検出用セットを用いて、前記第１の移動量及び前記第２の移動量を検出し、
前記選抜手段は、前記移動量検出手段の検出結果に基づいて、前記取得手段により取得された前記複数の3Dモデル画像セット候補の中から、前記3Dモデル画像セットを選抜する、
請求項１又は２に記載の情報処理装置。
【請求項５】
前記移動量検出手段は、
前記第１撮像装置又は前記第２撮像装置による３回分の撮像画像の各々から１種類以上の特徴点をさらに検出し、
前記特徴点の種類毎に、前記第１撮像装置の前記テクスチャ画像又は前記テクスチャ画像に対応する前記第２撮像装置の撮像画像から検出された前記特徴点と、前記第１撮像装置の前記第１ドット画像又は前記第１ドット画像に対応する前記第２撮像装置の撮像画像から検出された同一種類の前記特徴点との位置の偏差を、前記第１の移動量として検出し、前記第１撮像装置の前記テクスチャ画像又は前記テクスチャ画像に対応する前記第２撮像装置の撮像画像から検出された前記特徴点と、前記第１撮像装置の前記第２ドット画像又は前記第２ドット画像に対応する前記第２撮像装置の撮像画像から検出された同一種類の前記特徴点との位置の偏差を、前記第２の移動量として検出する、
請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
対象物体の3Dモデルの構築に必要な3Dモデル画像セットを取得する情報処理装置を制御するコンピュータに、
露光の変更を含む第１撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御機能であって、
前記投影装置が動作していない状態で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第１の露出で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第２の露出で前記第１撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御機能と、
前記撮像制御機能の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第１ドット画像撮像制御処理で出力された前記第１ドット画像及び第２ドット画像撮像制御処理で出力された前記第２ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第１ドット画像との間の前記対象物体の像の第１の移動量、及び、前記テクスチャ画像と前記第２ドット画像との間の前記対象物体の像の第２の移動量を検出する移動量検出機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出機能により検出された前記第１の移動量及び前記第２の移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する選抜機能
を実現させるプログラム。
【請求項１】
露光の変更を含む第１撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御手段であって、
前記投影装置が動作していない状態で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第１の露出で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第２の露出で前記第１撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御手段と、
前記撮像制御手段の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第１ドット画像撮像制御処理で出力された前記第１ドット画像及び第２ドット画像撮像制御処理で出力された前記第２ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第１ドット画像との間の前記対象物体の像の第１の移動量、及び、前記テクスチャ画像と前記第２ドット画像との間の前記対象物体の像の第２の移動量を検出する移動量検出手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出手段により検出された前記第１の移動量及び前記第２の移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する選抜手段と、
を備える情報処理装置。
【請求項２】
前記移動量検出手段は、前記3Dモデル画像セット候補毎に前記第１の移動量及び前記第２の移動量を検出し、
前記選抜手段は、前記取得手段により取得された前記複数の3Dモデル画像セット候補のうち、前記第１の移動量及び前記第２の移動量の総和が最も小さくなる3Dモデル画像セット候補を、前記3Dモデル画像セットとして選抜する、
請求項１に記載の情報処理装置。
【請求項３】
前記撮像制御手段は、さらに、第２撮像装置の動作を制御して、
前記第１撮像装置による前記前記テクスチャ画像又は前記第１ドット画像若しくは前記第２ドット画像の撮像が行われる度に、前記投影装置の動作の有無に応じて、前記対象物体の像に白飛びを発生させない露光を設定して前記第２撮像装置に前記対象物体を撮像させ、
前記取得手段は、前記第１撮像装置による前記3Dモデル画像セット候補に加えてさらに、前記3Dモデル画像セット候補に含まれる前記テクスチャ画像並びに前記第１ドット画像及び前記第２ドット画像の各データが前記第１撮像装置から出力される毎に前記第２撮像装置から各々出力された撮像画像のデータの組を、検出用セットとして取得し、
前記移動量検出手段は、前記取得手段により取得された前記複数の3Dモデル画像セット候補の代わりに、前記取得手段により取得された複数の前記検出用セットを用いて、前記第１の移動量及び前記第２の移動量を検出し、
前記選抜手段は、前記移動量検出手段の検出結果に基づいて、前記取得手段により取得された前記複数の3Dモデル画像セット候補の中から、前記3Dモデル画像セットを選抜する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記投影装置は、赤外カットフィルタを有しており、
前記撮像制御手段は、さらに、赤外線照射装置を制御して前記対象物体に赤外線を照射している状態で、近赤外カメラとして構成される第２撮像装置を制御して、
前記第１撮像装置による前記前記テクスチャ画像又は前記第１ドット画像若しくは前記第２ドット画像の撮像が行われる度に、前記第２撮像装置に前記対象物体を撮像させ、
前記取得手段は、前記第１撮像装置による前記3Dモデル画像セット候補に加えてさらに、前記3Dモデル画像セット候補に含まれる前記テクスチャ画像並びに前記第１ドット画像及び前記第２ドット画像の各データが前記第１撮像装置から出力される毎に前記第２撮像装置から各々出力された撮像画像のデータの組を、検出用セットとして取得し、
前記移動量検出手段は、前記取得手段により取得された前記複数の3Dモデル画像セット候補の代わりに、前記取得手段により取得された複数の前記検出用セットを用いて、前記第１の移動量及び前記第２の移動量を検出し、
前記選抜手段は、前記移動量検出手段の検出結果に基づいて、前記取得手段により取得された前記複数の3Dモデル画像セット候補の中から、前記3Dモデル画像セットを選抜する、
請求項１又は２に記載の情報処理装置。
【請求項５】
前記移動量検出手段は、
前記第１撮像装置又は前記第２撮像装置による３回分の撮像画像の各々から１種類以上の特徴点をさらに検出し、
前記特徴点の種類毎に、前記第１撮像装置の前記テクスチャ画像又は前記テクスチャ画像に対応する前記第２撮像装置の撮像画像から検出された前記特徴点と、前記第１撮像装置の前記第１ドット画像又は前記第１ドット画像に対応する前記第２撮像装置の撮像画像から検出された同一種類の前記特徴点との位置の偏差を、前記第１の移動量として検出し、前記第１撮像装置の前記テクスチャ画像又は前記テクスチャ画像に対応する前記第２撮像装置の撮像画像から検出された前記特徴点と、前記第１撮像装置の前記第２ドット画像又は前記第２ドット画像に対応する前記第２撮像装置の撮像画像から検出された同一種類の前記特徴点との位置の偏差を、前記第２の移動量として検出する、
請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
対象物体の3Dモデルの構築に必要な3Dモデル画像セットを取得する情報処理装置を制御するコンピュータに、
露光の変更を含む第１撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御機能であって、
前記投影装置が動作していない状態で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第１の露出で前記第１撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第１ドット画像のデータとして出力させる、第１ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第２の露出で前記第１撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第２ドット画像のデータとして出力させる、第２ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御機能と、
前記撮像制御機能の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第１ドット画像撮像制御処理で出力された前記第１ドット画像及び第２ドット画像撮像制御処理で出力された前記第２ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第１ドット画像との間の前記対象物体の像の第１の移動量、及び、前記テクスチャ画像と前記第２ドット画像との間の前記対象物体の像の第２の移動量を検出する移動量検出機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出機能により検出された前記第１の移動量及び前記第２の移動量の総和が最も小さくなるテクスチャ画像並びに第１ドット画像及び第２ドット画像の組を、3Dモデル画像セットとして選抜する選抜機能
を実現させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２３２１５０（Ｐ２０１１−２３２１５０Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０２１２０（Ｐ２０１０−１０２１２０）
【出願日】平成２２年４月２７日（２０１０．４．２７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２７日（２０１０．４．２７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]