３次元モデリング装置、幾何学パターン、３次元モデリングデータの生成方法、３次元モデリングプログラム、記録媒体
【課題】 対象物を簡易に３次元モデリングすることのできる３次元モデリング装置を提供する。
【解決手段】 対象物がチェックパターンボード（幾何学パターン）とともに撮影された画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション部１０（キャリブレーション手段）と、チェックパターンボードのみが撮影された基準画像より得られる基準チェックパターンデータおよび上記キャリブレーションデータ並びに上記画像データを用いて上記対象物のシルエットデータを算出するシルエット抽出部１１（シルエット抽出手段）と、上記シルエットデータおよびキャリブレーションデータに基づいてボクセルデータ（３次元データ）を生成するボクセルデータ生成部１２（３次元データ生成手段）とを備える。
【解決手段】 対象物がチェックパターンボード（幾何学パターン）とともに撮影された画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション部１０（キャリブレーション手段）と、チェックパターンボードのみが撮影された基準画像より得られる基準チェックパターンデータおよび上記キャリブレーションデータ並びに上記画像データを用いて上記対象物のシルエットデータを算出するシルエット抽出部１１（シルエット抽出手段）と、上記シルエットデータおよびキャリブレーションデータに基づいてボクセルデータ（３次元データ）を生成するボクセルデータ生成部１２（３次元データ生成手段）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の画像から該対象物の３次元データを生成する３次元モデリング装置、またこれに関連する、幾何学パターン、３次元モデリングデータ生成方法、３次元モデリングプログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来から、現実世界に存在する物体の３次元形状をデータ化する手法が提案されている。例えば、多視点画像間の対応点を求めて三角測量によって距離を計測する手法やレーザーなどのパターン光を照射してそれを手がかりとして距離を計測する手法である。
【０００３】
しかし、これらの手法は、対応点の探索において多くの誤りが発生する、あるいは、大がかりな装置を必要とするために機器が設置された特定の場所でしか入力が行えないといった問題があった。
【０００４】
そこで、シルエット画像を用いて物体の形状を推定するという方法が提案されている。この方法は視体積交差法と呼ばれ、「Wu他,“３次元ビデオ映像の能動的実時間撮影と対話的編集・表示”,信学技法PRMU2001-187,Feb.2001」で開示されている。これを利用した従来技術が、特許文献１〜５に記載されている。
【０００５】
特許文献１記載の従来技術では以下の工程によって３次元モデリングを行う。まず、物体の３次元形状データから仮想空間に表した物体のコンピュータグラフィックス画像を、仮想空間において複数のカメラ位置でキャプチャすることによって、複数のイメージを生成する。ついで、キャプチャしたときの上記カメラ位置におけるカメラデータを生成する。ついで、上記イメージデータおよびカメラデータに基づいて物体の形状と、テクスチャとを個別に処理することによって物体の復元データを生成する。
【０００６】
また、特許文献２記載の従来技術は、立体形状である被写体をその周囲に配置した複数のカメラで撮影した複数のカメラ画像に基づいて、前記被写体の３次元形状データを生成する３次元モデリング装置であり、以下の工程によって３次元モデリングを行う。まず、複数のカメラ画像から、前記被写体に外接するその被写体の概形形状を計測する概形形状計測する。ついで、この概形形状計測手段によって計測された前記概形形状の近傍を探索範囲として、前記複数のカメラの中で、順次基準となる基準カメラを切り換えて撮影した基準カメラ画像と、前記基準カメラに隣接する隣接カメラで撮影した隣接カメラ画像とに基づいて、前記基準カメラ画像内の被写体画像に対応する対応点を、前記隣接カメラ画像から探索する。ついで、この対応点探索手段によって探索された前記被写体の対応点の前記基準カメラと前記隣接カメラとの間隔に基づいて、前記基準カメラから前記対応点への距離を算出する。ついで、この距離情報算出手段によって算出された前記複数のカメラから前記被写体の対応点への距離に基づいて、前記被写体の３次元形状データを生成する。
【０００７】
また、特許文献３記載の従来技術は以下の工程によって３次元モデリングを行う。まず、前記３次元物体に対し、パターン光を照射する。ついで、前記３次元物体の画像を入力する。ついで、前記入力された画像から概略形状を計算する。ついで、前記入力された画像から詳細形状を計算する。ついで、前記計算された概略形状及び詳細形状に基づいて、前記３次元物体の３次元形状データを生成する。
【０００８】
また、特許文献４記載の従来技術は以下の工程によって３次元モデリングを行う。まず、
物体についての視点の異なる複数の画像からシルエット法を用いてボリュームデータに変換することによって第１のボリュームデータを生成する。ついで、前記物体について３次元計測によって得られた３次元データをボリュームデータに変換することによって第２のボリュームデータを生成する。ついで、前記第１のボリュームデータと第２のボリュームデータとを統合して１つのボリュームデータとする。
【０００９】
また、特許文献５記載の従来技術は同一被写体を多数の視点方向から撮影した複数枚の撮影画像及びそれらの視点情報を入力とし、その被写体の概略形状を復元し、さらにその形状表面に視点に応じた撮影画像の色情報を付加する３次元画像情報生成方法（より具体的には、同一被写体を多数の視点方向から撮影した複数枚の撮影画像及びそれらの視点情報を入力とし、その被写体の概略形状を復元し、さらにその形状表面に視点に応じた撮影画像の色情報を付加する３次元画像情報生成方法）であり、以下の工程によって３次元画像情報を生成する。まず、上記撮影画像のうちの被写体の全形が撮影されている画像複数枚をシルエット画像として選択し、そのシルエット情報を用いて、被写体の概略形状を微少領域の集合として復元する。ついで、前記復元された概略形状に撮影画像の色情報を付加するための六角形画像の大きさ及び形状と六角形画像を構成する六角形画素と撮影画像との対応付けを決定する。ついで、前記対応付けを決定する段階で求めた六角形画像を形状表面上の全微少領域に割当て、その微少領域毎に、撮影画像の視点と微少領域を結ぶ射影線と撮影画像との交点上の色を、対応する六角形画素に割当てる。ついで、前記割当てる段階において色が割当てられなかった六角形画素について、隣接六角形画素の色を用いて色を決定する段階と、前記六角形画素で構成される全ての六角形画像を二次元配列の画像データに変換し、それら画像データを１枚ないしは複数枚の画像データにマージする。
【特許文献１】特開２００３−１４１５６５号公報（公開日：平成１５年５月１６日）
【特許文献２】特開２００３−２７１９２８号公報（公開日：平成１５年９月２６日）
【特許文献３】特開２００１−２４３４６８号公報（公開日：平成１３年９月７日）
【特許文献４】特開２００２−３６６９３４号公報（公開日：平成１４年１２月２０日）
【特許文献５】特開２００３−９９８００号公報（公開日：平成１５年４月４日）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１記載の従来技術では、既にコンピュータグラフィックによって表示された仮想空間の物体を対象としており、現実世界の物体をモデリングするには、これをコンピュータグラフィックに入力するシステムが必要となる。また、特許文献２記載の従来技術では、立体形状である被写体をその周囲に配置した複数のカメラで撮影しなければならないため、撮影時に大掛かりなカメラシステムが必要となる。また、特許文献３記載の従来技術では、パターン光を照射する装置が必要となる。また、特許文献４記載の従来技術では、第２のボリュームデータを生成する際、物体について３次元計測によって得られた３次元データをボリュームデータに変換するため、物体についての３次元計測が必要となる。また、特許文献５記載の従来技術では、被写体の全形が撮影されている画像が複数必要であるなど、同一被写体を多数の視点方向から撮影しなければならない。
【００１１】
このように、上記従来技術では、大掛かりな撮影装置や複雑な撮影あるいは大量のデータ処理が要求され、簡易に３次元データを生成することができなかった。
【００１２】
本発明の３次元モデリング装置は、上記課題を解決するためになされたものであり、その目的は、対象物を簡易に３次元モデリングすることのできる３次元モデリング装置を提供する点にある。
【課題を解決するための手段】
【００１３】
本発明の３次元モデリング装置は、上記課題を解決するために、対象物が幾何学パターンとともに撮影された各画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション手段と、幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータ並びに上記画像データおよびこれに対応する上記キャリブレーションデータを用いて上記対象物のシルエットデータを算出するシルエット抽出手段と、複数の画像それぞれに対応する、シルエットデータおよびキャリブレーションデータを用いて３次元データを生成する３次元データ生成手段とを備えることを特徴としている。
【００１４】
上記構成においては、キャリブレーション手段は、対象物が幾何学パターンとともに撮影された画像より得られる画像データから、キャリブレーションデータ（例えば、画像の座標系とカメラの座標系とを対応付ける射影行列やカメラパラメータ）を算出する。
【００１５】
また、シルエット抽出手段は、幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータおよび上記キャリブレーションデータ並びに上記画像データを用いて上記対象物のシルエットデータを算出する。
【００１６】
また、３次元データ生成手段は、上記シルエットデータおよびキャリブレーションデータに基づいて３次元データを生成する。
【００１７】
このように、本発明の３次元モデリング装置は、対象物を幾何学パターンとともに撮影した画像および幾何学パターンのみが撮影された基準画像（あるいは、基準幾何学パターンデータ自体）だけから対象物の３次元モデリングを行うものである。
【００１８】
したがって、従来のように専用の撮影機材や処理装置を必要とすることなく、手軽に（簡易に）様々な対象物を３次元データ化することができる。これにより、本発明の３次元モデリング装置を娯楽、流通（例えば、ＷＥＢショップの商品画像）、医療（例えば、生体の３次元データ化）等に用いれば、大変有用で便利である。
【００１９】
本発明の３次元モデリング装置においては、上記幾何学パターンが平面の幾何学パターンであり、キャリブレーション手段は、平面キャリブレーションを行うことによってキャリブレーションデータを算出することが好ましい。
【００２０】
上記構成によれば、幾何学パターンが平面であることから、例えば、携帯可能な幾何学パターンボードのようなものを上記幾何学パターンとして利用できる。また、キャリブレーション手段は平面キャリブレーションを行えば良いことから、処理すべきデータ量も削減される。この結果、より一層手軽に（簡易に）様々な対象物を３次元データ化することができる。
【００２１】
また、本発明の３次元モデリング装置においては、上記幾何学パターンはチェックパターンであることが好ましい。幾何学パターンをチェックパターンにした場合、キャリブレーションやシルエット抽出が容易である。
【００２２】
また、本発明の３次元モデリング装置においては、上記３次元データ生成手段がボクセルデータを生成するボクセルデータ生成手段であり、３次元データの生成を容易にすることが好ましい。
【００２３】
また、本発明の３次元モデリング装置においては、キャリブレーション手段が処理対象とする上記各画像に対して、上記対象物を取り囲むような複数の点を入力できる入力部を備えることが好ましい。当該構成によれば、キャリブレーション処理を効率的に行うことができる。
【００２４】
また、本発明の３次元モデリング装置においては、上記キャリブレーションデータに、上記各画像および幾何学パターンを対応づける射影行列データと、撮影視点データ（例えば、カメラパラメータ）とが含まれており、上記シルエット抽出手段は、上記射影行列データによる基準幾何学パターンデータの変換データと対応する上記画像データとの差分処理によってシルエットデータを算出することが好ましい。当該構成によれば、シルエット抽出処理を効率的に行うことができる。
【００２５】
また、本発明の３次元モデリング装置においては、上記キャリブレーションデータに、上記各画像および幾何学パターンを対応づける射影行列データと、撮影視点データ（例えば、カメラパラメータ）とが含まれており、上記ボクセルデータ生成手段は、上記射影行列データによるボクセル空間の射影データと上記シルエットデータとの交差判定処理によってボクセルデータを生成する好ましい。当該構成によれば、ボクセルデータ生成処理を効率的に行うことができる。
【００２６】
また、本発明の３次元モデリング装置においては、上記ボクセルデータから、内部のボクセルに関するデータを削除するボクセルデータ修正手段を備えることが好ましい。当該構成によれば、不要なボクセルデータを削減することで、データ処理効率を向上させることができる。
【００２７】
本発明の３次元モデリング装置においては、上記ボクセルデータから表面情報であるポリゴンデータを生成するポリゴンデータ生成手段を備えることが好ましい。当該構成によれば、対象物の表面情報（データ）のみを処理することで、データ処理効率を向上させることができる。
【００２８】
また、本発明の３次元モデリング装置においては、上記画像データおよびキャリブレーションデータ並びにポリゴンデータを用いて、該ポリゴンデータに対応づける色データを生成する色データ生成手段を備えることが好ましい。当該構成によれば、対象物をカラーで表現することができ、対象物の表現力を向上させることができる。なお、この場合、上記色データ生成手段は、上記撮影視点データおよびポリゴンデータを用いて上記画像から色生成に適した画像を選択し、この選択した画像の画像データと、上記ポリゴンデータに上記射影行列データを用いて射影処理したデータとの対応付けによって色データを生成することが好ましい。こうすれば、色データ生成処理を効率的に行うことができる。
【００２９】
また、本発明の幾何学パターンは、上記３次元モデリング装置の入力画像の撮影用として用いることができることを特徴としている。
【００３０】
また、本発明の３次元モデリングデータの生成方法は、対象物が平面状の幾何学パターンとともに撮影された各画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション工程と、幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータおよび上記画像データ並びにこれに対応するキャリブレーションデータを用いて上記対象物のシルエットデータを算出するシルエット抽出工程と、複数の画像それぞれに対応する、シルエットデータおよびキャリブレーションデータを用いてボクセルデータを生成するボクセルデータ生成工程とを含むことを特徴としている。
【００３１】
また、本発明の３次元モデリングプログラムは、上記３次元モデリング装置の各手段をコンピュータに実現させることを特徴としている。
【００３２】
また、本発明の記録媒体は、上記３次元モデリングプログラムがコンピュータに読み取り可能に格納されていることを特徴としている。
【発明の効果】
【００３３】
以上のように、本発明の３次元モデリング装置は、対象物を幾何学パターンとともに撮影した画像および幾何学パターンのみが撮影された基準画像（あるいは、基準幾何学パターンデータ自体）だけから対象物の３次元モデリングを行うものである。したがって、従来のように専用の撮影機材や処理装置を必要とすることなく、手軽に（簡易に）様々な対象物を３次元データ化することができる。これにより、本発明の３次元モデリング装置を娯楽、流通（例えば、ＷＥＢショップの商品画像）、医療（例えば、生体の３次元データ化）等に用いれば、大変有用で便利である。
【発明を実施するための最良の形態】
【００３４】
本発明の実施の一形態を、図１〜図７を用いて説明すれば、以下のとおりである。
【００３５】
ここで図１は、本実施の形態に係る３次元モデリング装置１の構成を示すブロック図である。
【００３６】
図１に示されるように、本発明の３次元モデリング装置１は、制御部２と、記憶部３と、ユーザインターフェース２３（入力部）と、表示部９とを備える。
【００３７】
制御部２は、データ入力部６と、キャリブレーション部１０（キャリブレーション手段）と、シルエット抽出部１１（シルエット抽出手段）と、ボクセルデータ生成部１２（３次元データ生成手段、ボクセルデータ生成手段）と、ボクセルデータ修正部１３（ボクセルデータ修正手段）と、ポリゴンデータ生成部１５（ポリゴンデータ生成手段）と、色データ生成部１６（色データ生成手段）と、色データ付加部１７と、表示制御部２１とを備える。
【００３８】
制御部２は、入力された対象物の画像データから該対象物のボクセルデータを生成し、これをポリゴンデータに変換し、かつ色データを付加して表示部９に表示させる。なお、制御部２の各部の機能は、例えば、記憶部３等のメモリに格納された所定のプログラムを、図示しないマイクロプロセッサなどが実行することにより実現される（後述）。
【００３９】
データ入力部６には、ユーザが撮影した画像（チェックパターンボードとともに撮影された対象物の画像およびチェックパターンボードのみの画像）が画像データとして、入力される。ここで、チェックパターンボードのみの画像から得られる画像データを基準チェックパターンデータとする。データ入力部６はこれらの画像データを記憶部３に記憶させる。
【００４０】
キャリブレーション部１０では、入力された画像データに基づいて、キャリブレーションデータ、すなわち、上記画像およびチェックパターンボードを対応づける射影行列データとカメラパラメータ（撮影視点データ）とを算出する。
【００４１】
シルエット抽出部１１は、入力された基準チェックパターンデータを、キャリブレーション部１０で得られる射影行列データによって変換し、この変換されたデータと、対応する上記画像データとを用いて差分処理を行い、シルエットデータを算出する。
【００４２】
ボクセルデータ生成部１２は、まず、キャリブレーション部１０で得られる射影行列データを用いてボクセル空間の射影データを求める。そして、ボクセルデータ生成部１２は、このボクセル空間の射影データと、シルエット抽出部１１で得られるシルエットデータとを用いて交差判定処理を行い、ボクセルデータを生成する。
【００４３】
ボクセルデータ修正部１３は、ボクセルデータ生成部１２で得られるボクセルデータから、内部のボクセルに関するデータを削除する。具体的には、ボクセルの周囲６方向に隣接するボクセルの存在をチェックし、６方向すべてに他のボクセルが存在する場合は、そのボクセルを物体内部に位置するものとして削除する。
【００４４】
ポリゴンデータ生成部１５は、ボクセルデータ生成部１２からのボクセルデータおよびボクセルデータ修正部１３で得られるデータに基づいて、ボクセルデータから表面情報であるポリゴンデータを生成する。
【００４５】
色データ生成部１６は、ポリゴンデータ生成部１５で得られるポリゴンデータと、キャリブレーション部１０で得られるカメラパラメータとに基づいて、色データを生成する。
【００４６】
色データ付加部１７では、色データ生成部１６で生成された色データと、ポリゴンデータ生成部１５で生成されたポリゴンデータとを対応付け、ポリゴンデータへの色データの付加を行う。また、表示制御部２１は、色データ付加部１７で得られる最終的なデータを表示部９に表示させる。
【００４７】
記憶部３は、データ入力部６から入力された画像データを記憶し、あるいは制御部２の各部と連携して各部からのデータを一時保管する。また、制御部２の各部は、この記憶部３から随時必要なデータを読み出す。
【００４８】
ユーザインターフェース２３からは、キャリブレーション部１０でキャリブレーションデータを生成する際、対象物を取り囲むようなチェックパターンボード２２上の点（例えば、４点）がユーザにより入力される。
【００４９】
なお、制御部２の各部の機能は、処理原稿検索プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ、ＤＳＰ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００５０】
この場合、記録媒体から読み出されたプログラムコード自体が上述した機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００５１】
具体的には、制御部２が、記憶部３等のメモリに格納された所定のプログラムを、図示しないマイクロプロセッサなどが実行することにより実現される。
【００５２】
上記プログラムコードを供給するための記録媒体は、システムあるいは装置と分離可能に構成することができる。また、上記記録媒体は、プログラムコードを供給可能であるように固定的に担持する媒体であってもよい。そして、上記記録媒体は、記録したプログラムコードをコンピュータが直接読み取ることができるようにシステムあるいは装置に装着されるものであっても、外部記憶装置としてシステムあるいは装置に接続されたプログラム読み取り装置を介して読み取ることができるように装着されるものであってもよい。
【００５３】
例えば、上記記録媒体としては、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００５４】
また、上記プログラムコードは、コンピュータが記録媒体から読み出して直接実行できるように記録されていてもよいし、記録媒体から主記憶のプログラム記憶領域へ転送された後コンピュータが主記憶から読み出して実行できるように記録されていてもよい。
【００５５】
さらに、３次元モデリング装置１を通信ネットワークと接続可能に構成し、上記プログラムコードが通信ネットワークを介して供給されてもよい。そして、通信ネットワークとしては、特に限定されず、具体的には、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、具体的には、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。
【００５６】
なお、プログラムコードを記録媒体から読み出して主記憶に格納するためのプログラム、および、通信ネットワークからプログラムコードをダウンロードするためのプログラムは、コンピュータによって実行可能にあらかじめシステムあるいは装置に格納されているものとする。
【００５７】
上記した制御部２の機能は、コンピュータが読み出した上記プログラムコードを実行することによって実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行うことによっても実現される。
【００５８】
さらに、上述した機能は、上記記録媒体から読み出された上記プログラムコードが、コンピュータに装着された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても実現される。
【００５９】
次に、図２のフローチャートに沿って、上記した本３次元モデリング装置１で行う処理工程を詳細に説明する。ここで、図３（ａ）・（ｂ）は、チェックパターンボードとともに撮影された対象物（バナナ）の画像であり、図３（ｃ）は、チェックパターンボードのみが撮影された基準画像である。
【００６０】
まず、画像入力工程（図２のＳ１・Ｓ２）を行う。この工程では、ユーザがチェックパターンボード２２上に対象物を置き、該対象物をチェックパターンボード２２とともに任意の視点から撮影する（Ｓ１、図３（ａ）（ｂ）参照）。このとき、チェックパターンボード２２の外周が撮影されているものとする。カメラは、デジタルカメラ等を１台用意すれば良い。また、撮影視点は任意であり、どの位置、その角度から撮影したかを記録する必要もない。また、物体の背後にチェックパターンボード２２を置いて撮影することも可能である。
【００６１】
撮影によって得られた画像データは３次元モデリング装置１のデータ入力部６に入力される。ここでは、物体を取り除いたチェックパターンボード２２だけの基準画像を１枚撮影し（Ｓ２、図３（ｃ）参照）、この基準画像より得られる基準チェックパターンデータもデータ入力部６に入力しておく。なお、撮影時の視点の数は、１２視点以上である（対象物の周囲３６０°を３０°ごとに１２視点にて撮影する）ことが望ましい。また、チェックパターンボード２２は、例えば、所定のチェックパターンをプリンター等で紙に印刷し、これを適当な平面状の物へ貼り付けたものであっても構わない。
【００６２】
ついで、キャリブレーション部１０にてキャリブレーション工程を行う（Ｓ３）。この工程では、カメラパラメータ（撮影視点データ）と、入力された画像の座標系とチェックパターンボード２２の座標系とを対応付ける射影行列データとを算出する。なお、この工程では、図４に示されるように、ユーザが、ユーザインターフェース１０を介して、画像内のチェックパターンボード２２の４頂点（Ｐ１〜Ｐ４）を指定する。もっとも、チェックパターンボード２２に、この４点が指定できるようなマーク（色を変える等）を付けておくことも可能である。上この４頂点（Ｐ１〜Ｐ４）は対象物（バナナ）を取り囲むように指定される。以下にキャリブレーション工程の具体的処理を示す。
【００６３】
本実施の形態では、キャリブレーションの手法について、Ｚｈａｎｇの方法を用いた。この方法の詳細については、例えば、「Z.Zhang,“A Flexible New Technique for Camera Calibration”,Technical Report MSR-TR-98-71,Microsoft Research,1998」に開示されている。
【００６４】
このＺｈａｎｇの方法では、参照物体として３次元的広がりを持つ立体でなく、二次元平面上での位置が既知である参照点を描いた平面パターン（例えば、チェックパターンボード２２）を用いる。参照平面もしくはカメラを複数の異なる位置に動かして平面パターンを撮影し、参照平面と画像平面との間のホモグラフィを計算してカメラパラメータを算出する。この際、参照平面もしくはカメラを自由に動かすことができ、その運動を知る必要はない。これにより、建物の規則的な窓や、プリンターで紙に出力した規則的なパターンをキャリブレーションのために用いることができ、様々な状況でのキャリブレーションを実現することができる。その原理を以下に説明する。
【００６５】
まず、３次元点Ｍ＝〔Ｘ，Ｙ，Ｚ〕Ｔとその射影である画像上の点ｍ＝〔Ｕ，Ｖ〕Ｔ
との間には射影式
【００６６】
【数１】
【００６７】
が存在する。
ここで、行列Ａは内部パラメータ行列であり、次のように書くことができる。
【００６８】
【数２】
【００６９】
なお、αｕ、αｖは画像の大きさと焦点距離との積からなるスケール係数である。また、（ｕ０，ｖ０）は画像中心、λは画像の座標軸の歪みを表すパラメータである。
【００７０】
３次元空間中の座標において、Ｚ＝０である参照平面を考え、回転行列Ｒのｉ番目の列ベクトルをｒｉ（ｉ＝１，２，３）とすると、式（１）は、
【００７１】
【数３】
【００７２】
となる。
【００７３】
これより、参照平面上の点と、画像平面上の点とは、
【００７４】
【数４】
【００７５】
となるホモグラフィＨ（射影行列）によって関係付けられることとなり、
【００７６】
【数５】
【００７７】
と表すことができる。
【００７８】
このホモグラフィＨは、３次元平面上と画像平面上との対応点が４点以上あれば算出可能である。
ここで、Ｈ＝〔ｈ１，ｈ２，ｈ３〕とすると、
【００７９】
【数６】
【００８０】
となる。
【００８１】
ホモグラフィＨは８自由度を持っており、そのうち外部パラメータが自由度となるため、内部パラメータに関する制約は２つしか持つことができない。
ここでは、回転行列Ｒの性質、および、ｒ１とｒ２とが直行する単位ベクトルであることから、以下の２式が成り立つ。
【００８２】
【数７】
【００８３】
【数８】
【００８４】
これにより、１枚の画像からは上記の２つのカメラ内部変数に関する拘束式が得られることになる。すなわち、５つのカメラ内部変数を求める場合は、少なくとも３枚の画像が必要となる。
【００８５】
ここで、Ａ−ｒＡ−１は対象性を持ち、
【００８６】
【数９】
【００８７】
とするＢの要素を並べたベクトルを、
【００８８】
【数１０】
【００８９】
と定義する。
【００９０】
ホモグラフィＨのｉ番目の列ベクトルを、
ｈｉ＝〔ｈ１１ ｈ１２ ｈ１３〕Ｔ，（ｉ＝１，２，３）とすると、
は、
【００９１】
【数１１】
【００９２】
と表現できる。
【００９３】
これにより、式（６）と（７）とは以下のように書くことができる。
【００９４】
【数１２】
【００９５】
もし、ｎ枚の画像が得られていれば、ｎ個の上記の式を積み重ねることで、
Ｖｂ＝０ ・・・式（１２）を得る。
ここで、Ｖは２ｎ×６の行列である。
【００９６】
これより、ｂは、ＶＴＶの最小固有値に対応する固有ベクトルとして求められる。
この際、ｎ≧３であれば、
直接ｂに関する解を得ることができるが、ｎ＝２の場合は内部パラメータ中のｓ＝０とすることで、次式
【００９７】
【数１３】
【００９８】
を式（１２）に加えることで解を得る。
【００９９】
また、ｎ＝１であれば、２つの内部パラメータしか求めることができないため、例えば、αｕとαｖのみを未知とし、残りの内部パラメータを既知とすることで解を得ることができる。
【０１００】
ｂを求めることでＢが求まれば、
【０１０１】
【数１４】
【０１０２】
から、カメラの内部パラメータは以下のように計算される。
【０１０３】
【数１５】
【０１０４】
また、これより、Ａが求まれば、外部パラメータに関しても式（５）より、
【０１０５】
【数１６】
【０１０６】
として求めることができる。
【０１０７】
以上のように、すべての内部パラメータが未知の場合においては、異なる視点から内部パラメータを固定した状態で撮影した３枚以上の画像を用いることでキャリブレーションを行うことができる。この際、一般的に画像枚数が多いほどパラメータ推定精度は高くなる。また、キャリブレーションに用いる画像間における回転が小さい場合に誤差が大きくなることも示されている。
【０１０８】
このキャリブレーション工程に続いて、シルエット抽出部１１にてシルエット抽出工程を行う（図２のＳ４）。シルエット抽出工程では、物体領域（シルエット）を抽出する（シルエットデータを算出する）。具体的処理は以下のとおりである。
【０１０９】
まず、各入力画像をグレースケール（２５６階調）に変換する。ついで、多視点画像撮影工程で入力された基準チェックパターンデータをキャリブレーション工程で得られたホモグラフィ行列Ｈによって変形させたデータを生成する。ついで、このデータと、多視点画像撮影工程で入力された画像データとの差分処理を行う。これにより、シルエットデータが算出され、図５に示されるようなシルエット画像（中央部の白い部分）を得ることができる。
【０１１０】
このシルエット抽出工程に続いて、ボクセルデータ生成部１２にて３次元形状復元工程を行う（Ｓ５、ボクセルデータ生成工程）。この３次元形状復元工程では、シルエット抽出工程により得られたシルエット画像を仮想のボクセル空間に射影し、視体積交差法によって形状情報を復元する。なお、ボクセル空間とは、均等な立方体素の集合であり、立方体素のそれぞれをボクセルと呼ぶ。
【０１１１】
視体積交差法では、まず、キャリブレーション工程で得られた射影行列を用いてボクセルをシルエット画像に射影する。この原理図を図６に示す。ここでは、ボクセルがシルエット画像の物体領域に射影したときは、当該ボクセルをそのまま残し、背景領域に射影したときには、当該ボクセルの削除パラメータを１つ増加させる。これらの処理を全ボクセルについて行う。さらに、これらの処理を各シルエット画像に対して行う。そして、最終的に削除パラメータが一定値より大きくなったボクセルを削除する。以上の処理をより具体的に説明すれば以下のとおりである。ここで、ｎ枚の入力画像のうちｊ番目の画像から求めた射影行列をＰｊ、シルエット画像をＳｊとする。
【０１１２】
まず、図６の矢印で示すように、１つの立方体をシルエット画像Ｓｊに射影する（図６参照）。射影には、キャリブレーション工程で得られた射影行列Ｐｊを用いる。射影した領域は、たかだか６つの頂点で囲まれた多角形となる。
【０１１３】
ついで、立方体を射影したシルエットと、対象物のシルエットとの交差状態を判定する交差判定処理を行う。立方体のシルエットが物体のシルエットに完全に含まれているならば“ＢＬＡＣＫ”、全く含まれていないならば“ＷＨＩＴＥ”、一部が含まれているならば“ＧＲＡＹ”とする。
【０１１４】
すべての立方体が“ＢＬＡＣＫ”または“ＷＨＩＴＥ”になるか、あるいは、任意のレベルに達したときに処理を終了する。このアルゴリズムをまとめると図７のようになる。
【０１１５】
このシルエット抽出工程に続いて、ボクセルデータ修正部１３にてボクセル削除工程を行う（Ｓ６）。このボクセル削除工程では、表示のために必要のない物体内部に位置するボクセルを削除し、物体の表面に位置するボクセルのみを残す。具体的手順は以下のとおりである。
【０１１６】
まず、ボクセルの周囲六方向に隣接するボクセルの存在をチェックする。６方向すべてに他のボクセルが存在する場合は、そのボクセルを物体内部に位置するとして削除する。それ以外のボクセルについては、表面に位置するボクセルであり、隣接する６方向のうち、ボクセルが存在しなかった方向に対して表面を示すフラグ（表面フラグ）を立てる。
【０１１７】
このボクセル削除工程に続いて、ポリゴンデータ生成部１５にてポリゴンデータへの変換工程を行う（Ｓ７）。
【０１１８】
ボクセルデータからポリゴンデータへの変換では、上記のボクセルの削除の過程で、ボクセルを構成する６面（ポリゴン）のうち、表面に位置するポリゴンが判っているので、そのポリゴンの各頂点の３次元座標をボクセルの中心座標と１辺の大きさから算出する。
【０１１９】
このポリゴンデータへの変換工程に続いて、色データ生成部１６にて色データ生成工程を行う（Ｓ８）。
【０１２０】
ここではまず、複数の画像の中から、Ｖｏｘｅｌの色を決定するための最適な画像を選択する。具体的には、Ｖｏｘｅｌの６つの面のうち、外部にある面に対してそれぞれ法線ｎを求め、その法線と撮影時のカメラの光軸ｌが、
【０１２１】
【数１７】
【０１２２】
を満たすような画像を選択する。
【０１２３】
そして、キャリブレーションで求めた射影行列によってＶｏｘｅｌをそれぞれの画像へ射影し、対応する領域から色データを決定する。
【０１２４】
この色データ生成工程に続いて、色データ付加部１７にて色データ付加工程を行う（Ｓ９）。
【０１２５】
色データ付加工程では、色データ生成工程で得られた色データとポリゴンデータとを対応付け、ポリゴンデータに色データを付加する。なお、各ポリゴンの大きさは、ボクセルの面と同じであるため、復元の時の指定によって十分細かくすることも、慨形が判る程度の粗さにすることも可能である。
【０１２６】
最後に、表示制御部２１によって、色データ付加工程によって得られたデータを表示部に表示する（Ｓ１０）。ポリゴンデータは、拡張点の３次元座標と法線ベクトルおよび色データとして記述されている。その表示には専用のビューワを用いることも可能である。もっとも、ポリゴンデータを簡単なデータ変換プログラムによってＶＲＭＬやＤＸＦといった一般的なデータフォーマットに変換し、表示することも可能である。
【０１２７】
このように、３次元モデリング装置１は、対象物（図３（ａ）ではバナナ）をチェックパターンボードとともに撮影した画像およびチェックパターンボードのみが撮影された基準画像（あるいは、基準チェックパターンデータ自体）だけから対象物の３次元モデリングを行うものである。
【０１２８】
したがって、従来のように専用の撮影機材や処理装置を必要とすることなく、手軽に（簡易に）様々な対象物を３次元データ（ボクセルデータ）化することができる。これにより、本３次元モデリング装置１を娯楽、流通（例えば、ＷＥＢショップの商品画像）、医療（例えば、生体の３次元データ化）等に用いれば、大変有用で便利である。
【０１２９】
また、３次元モデリング装置１においては、携帯可能なチェックパターンボード２２を幾何学パターンとして利用し、また、キャリブレーション部１０は平面キャリブレーションを行っている。この結果、より一層手軽に（簡易に）様々な対象物を３次元データ化することができる。
【０１３０】
また、３次元モデリング装置１は、幾何学パターンにチェックパターンを用いているため、キャリブレーションやシルエット抽出が容易である。
【０１３１】
また、３次元モデリング装置１は、３次元データとしてボクセルデータを用いているため、３次元データの生成が容易である。
【０１３２】
また、３次元モデリング装置１は、キャリブレーション部が処理対象とする上記画像に対して対象物を取り囲むような複数の点を入力できるユーザインターフェース２３を備えているため、キャリブレーション処理を効率的に行うことができる。
【０１３３】
また、３次元モデリング装置１においては、シルエット抽出部１１が、射影行列データによる基準幾何学パターンデータの変換データと、対応する上記画像データとの差分処理によってシルエットデータを算出するため、シルエット抽出処理を効率的に行うことができる。
【０１３４】
また、３次元モデリング装置１においては、ボクセルデータ生成部１２は、上記射影行列データによるボクセル空間の射影データと上記シルエットデータとの交差判定処理によってボクセルデータを生成するため、ボクセルデータ生成処理を効率的に行うことができる。
【０１３５】
また、３次元モデリング装置１は、ボクセルデータ修正部１３を備え、不要なボクセルデータを削減することができるため、データ処理を効率的に行うことができる。
【０１３６】
また、３次元モデリング装置１は、ポリゴンデータ生成部１５を備え、対象物の表面情報（データ）のみを処理できるため、データ処理を効率的に行うことができる。
【０１３７】
また、３次元モデリング装置１は、上記画像データおよびキャリブレーションデータ並びにポリゴンデータを用いて、該ポリゴンデータに対応づける色データを生成する色データ生成手段を備え、対象物をカラーで表現することができるため、対象物の表現力が高い。また、色データ生成部１６は、カメラパラメータおよびポリゴンデータを用いて上記画像から色生成に適した画像を選択し、この選択した画像の画像データと、上記ポリゴンデータに上記射影行列データを用いて射影処理したデータとの対応付けによって色データを生成するため、色データ生成処理を効率的に行うことができる。
【０１３８】
なお、本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施の形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１３９】
本発明の３次元モデリング装置は、デジタルカメラや携帯電話のカメラ等から得られる画像から簡単に３次元モデリングを行うことができる。よって、娯楽、流通（例えば、ＷＥＢショップでの商品の見本）、医療（生体のモデリング）、建築（構造物のモデリング）、アパレルあるいは事件、事故等の鑑識など様々な分野での利用が考えられる。
【図面の簡単な説明】
【０１４０】
【図１】本実施の形態における３次元モデリング装置の構成を示すブロック図である。
【図２】上記３次元モデリング装置における処理工程を示すフローチャートである。
【図３】（ａ）・（ｂ）は、チェックパターンボードとともに撮影された対象物（バナナ）の画像であり、図３（ｃ）は、チェックパターンボードのみが撮影された基準画像である。
【図４】キャリブレーション工程で、ユーザインターフェースから画像に入力される各点を示す図である。
【図５】シルエット抽出部にて得られるシルエット画像を示す図である。
【図６】ボクセルデータ生成部におけるボクセル射影の原理を示す図である。
【図７】ボクセルデータ生成部における交差判定処理のアルゴリズムを示す図である。
【符号の説明】
【０１４１】
１ ３次元モデリング装置
２ 制御部
３ 記憶部
６ データ入力部
１０ キャリブレーション部（キャリブレーション手段）
１１ シルエット抽出部（シルエット抽出手段）
１２ ボクセルデータ生成部（３次元データ生成手段、ボクセルデータ生成手段）
１３ ボクセルデータ修正部（ボクセルデータ修正手段）
１５ ポリゴンデータ生成部（ポリゴンデータ生成手段）
１６ 色データ生成部（色データ生成手段）
１７ 色データ付加部（色データ付加手段）
２１ 表示制御部
２２ チェックパターンボード（幾何学パターン）
２３ ユーザインターフェース（入力部）
【技術分野】
【０００１】
本発明は、対象物の画像から該対象物の３次元データを生成する３次元モデリング装置、またこれに関連する、幾何学パターン、３次元モデリングデータ生成方法、３次元モデリングプログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来から、現実世界に存在する物体の３次元形状をデータ化する手法が提案されている。例えば、多視点画像間の対応点を求めて三角測量によって距離を計測する手法やレーザーなどのパターン光を照射してそれを手がかりとして距離を計測する手法である。
【０００３】
しかし、これらの手法は、対応点の探索において多くの誤りが発生する、あるいは、大がかりな装置を必要とするために機器が設置された特定の場所でしか入力が行えないといった問題があった。
【０００４】
そこで、シルエット画像を用いて物体の形状を推定するという方法が提案されている。この方法は視体積交差法と呼ばれ、「Wu他,“３次元ビデオ映像の能動的実時間撮影と対話的編集・表示”,信学技法PRMU2001-187,Feb.2001」で開示されている。これを利用した従来技術が、特許文献１〜５に記載されている。
【０００５】
特許文献１記載の従来技術では以下の工程によって３次元モデリングを行う。まず、物体の３次元形状データから仮想空間に表した物体のコンピュータグラフィックス画像を、仮想空間において複数のカメラ位置でキャプチャすることによって、複数のイメージを生成する。ついで、キャプチャしたときの上記カメラ位置におけるカメラデータを生成する。ついで、上記イメージデータおよびカメラデータに基づいて物体の形状と、テクスチャとを個別に処理することによって物体の復元データを生成する。
【０００６】
また、特許文献２記載の従来技術は、立体形状である被写体をその周囲に配置した複数のカメラで撮影した複数のカメラ画像に基づいて、前記被写体の３次元形状データを生成する３次元モデリング装置であり、以下の工程によって３次元モデリングを行う。まず、複数のカメラ画像から、前記被写体に外接するその被写体の概形形状を計測する概形形状計測する。ついで、この概形形状計測手段によって計測された前記概形形状の近傍を探索範囲として、前記複数のカメラの中で、順次基準となる基準カメラを切り換えて撮影した基準カメラ画像と、前記基準カメラに隣接する隣接カメラで撮影した隣接カメラ画像とに基づいて、前記基準カメラ画像内の被写体画像に対応する対応点を、前記隣接カメラ画像から探索する。ついで、この対応点探索手段によって探索された前記被写体の対応点の前記基準カメラと前記隣接カメラとの間隔に基づいて、前記基準カメラから前記対応点への距離を算出する。ついで、この距離情報算出手段によって算出された前記複数のカメラから前記被写体の対応点への距離に基づいて、前記被写体の３次元形状データを生成する。
【０００７】
また、特許文献３記載の従来技術は以下の工程によって３次元モデリングを行う。まず、前記３次元物体に対し、パターン光を照射する。ついで、前記３次元物体の画像を入力する。ついで、前記入力された画像から概略形状を計算する。ついで、前記入力された画像から詳細形状を計算する。ついで、前記計算された概略形状及び詳細形状に基づいて、前記３次元物体の３次元形状データを生成する。
【０００８】
また、特許文献４記載の従来技術は以下の工程によって３次元モデリングを行う。まず、
物体についての視点の異なる複数の画像からシルエット法を用いてボリュームデータに変換することによって第１のボリュームデータを生成する。ついで、前記物体について３次元計測によって得られた３次元データをボリュームデータに変換することによって第２のボリュームデータを生成する。ついで、前記第１のボリュームデータと第２のボリュームデータとを統合して１つのボリュームデータとする。
【０００９】
また、特許文献５記載の従来技術は同一被写体を多数の視点方向から撮影した複数枚の撮影画像及びそれらの視点情報を入力とし、その被写体の概略形状を復元し、さらにその形状表面に視点に応じた撮影画像の色情報を付加する３次元画像情報生成方法（より具体的には、同一被写体を多数の視点方向から撮影した複数枚の撮影画像及びそれらの視点情報を入力とし、その被写体の概略形状を復元し、さらにその形状表面に視点に応じた撮影画像の色情報を付加する３次元画像情報生成方法）であり、以下の工程によって３次元画像情報を生成する。まず、上記撮影画像のうちの被写体の全形が撮影されている画像複数枚をシルエット画像として選択し、そのシルエット情報を用いて、被写体の概略形状を微少領域の集合として復元する。ついで、前記復元された概略形状に撮影画像の色情報を付加するための六角形画像の大きさ及び形状と六角形画像を構成する六角形画素と撮影画像との対応付けを決定する。ついで、前記対応付けを決定する段階で求めた六角形画像を形状表面上の全微少領域に割当て、その微少領域毎に、撮影画像の視点と微少領域を結ぶ射影線と撮影画像との交点上の色を、対応する六角形画素に割当てる。ついで、前記割当てる段階において色が割当てられなかった六角形画素について、隣接六角形画素の色を用いて色を決定する段階と、前記六角形画素で構成される全ての六角形画像を二次元配列の画像データに変換し、それら画像データを１枚ないしは複数枚の画像データにマージする。
【特許文献１】特開２００３−１４１５６５号公報（公開日：平成１５年５月１６日）
【特許文献２】特開２００３−２７１９２８号公報（公開日：平成１５年９月２６日）
【特許文献３】特開２００１−２４３４６８号公報（公開日：平成１３年９月７日）
【特許文献４】特開２００２−３６６９３４号公報（公開日：平成１４年１２月２０日）
【特許文献５】特開２００３−９９８００号公報（公開日：平成１５年４月４日）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１記載の従来技術では、既にコンピュータグラフィックによって表示された仮想空間の物体を対象としており、現実世界の物体をモデリングするには、これをコンピュータグラフィックに入力するシステムが必要となる。また、特許文献２記載の従来技術では、立体形状である被写体をその周囲に配置した複数のカメラで撮影しなければならないため、撮影時に大掛かりなカメラシステムが必要となる。また、特許文献３記載の従来技術では、パターン光を照射する装置が必要となる。また、特許文献４記載の従来技術では、第２のボリュームデータを生成する際、物体について３次元計測によって得られた３次元データをボリュームデータに変換するため、物体についての３次元計測が必要となる。また、特許文献５記載の従来技術では、被写体の全形が撮影されている画像が複数必要であるなど、同一被写体を多数の視点方向から撮影しなければならない。
【００１１】
このように、上記従来技術では、大掛かりな撮影装置や複雑な撮影あるいは大量のデータ処理が要求され、簡易に３次元データを生成することができなかった。
【００１２】
本発明の３次元モデリング装置は、上記課題を解決するためになされたものであり、その目的は、対象物を簡易に３次元モデリングすることのできる３次元モデリング装置を提供する点にある。
【課題を解決するための手段】
【００１３】
本発明の３次元モデリング装置は、上記課題を解決するために、対象物が幾何学パターンとともに撮影された各画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション手段と、幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータ並びに上記画像データおよびこれに対応する上記キャリブレーションデータを用いて上記対象物のシルエットデータを算出するシルエット抽出手段と、複数の画像それぞれに対応する、シルエットデータおよびキャリブレーションデータを用いて３次元データを生成する３次元データ生成手段とを備えることを特徴としている。
【００１４】
上記構成においては、キャリブレーション手段は、対象物が幾何学パターンとともに撮影された画像より得られる画像データから、キャリブレーションデータ（例えば、画像の座標系とカメラの座標系とを対応付ける射影行列やカメラパラメータ）を算出する。
【００１５】
また、シルエット抽出手段は、幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータおよび上記キャリブレーションデータ並びに上記画像データを用いて上記対象物のシルエットデータを算出する。
【００１６】
また、３次元データ生成手段は、上記シルエットデータおよびキャリブレーションデータに基づいて３次元データを生成する。
【００１７】
このように、本発明の３次元モデリング装置は、対象物を幾何学パターンとともに撮影した画像および幾何学パターンのみが撮影された基準画像（あるいは、基準幾何学パターンデータ自体）だけから対象物の３次元モデリングを行うものである。
【００１８】
したがって、従来のように専用の撮影機材や処理装置を必要とすることなく、手軽に（簡易に）様々な対象物を３次元データ化することができる。これにより、本発明の３次元モデリング装置を娯楽、流通（例えば、ＷＥＢショップの商品画像）、医療（例えば、生体の３次元データ化）等に用いれば、大変有用で便利である。
【００１９】
本発明の３次元モデリング装置においては、上記幾何学パターンが平面の幾何学パターンであり、キャリブレーション手段は、平面キャリブレーションを行うことによってキャリブレーションデータを算出することが好ましい。
【００２０】
上記構成によれば、幾何学パターンが平面であることから、例えば、携帯可能な幾何学パターンボードのようなものを上記幾何学パターンとして利用できる。また、キャリブレーション手段は平面キャリブレーションを行えば良いことから、処理すべきデータ量も削減される。この結果、より一層手軽に（簡易に）様々な対象物を３次元データ化することができる。
【００２１】
また、本発明の３次元モデリング装置においては、上記幾何学パターンはチェックパターンであることが好ましい。幾何学パターンをチェックパターンにした場合、キャリブレーションやシルエット抽出が容易である。
【００２２】
また、本発明の３次元モデリング装置においては、上記３次元データ生成手段がボクセルデータを生成するボクセルデータ生成手段であり、３次元データの生成を容易にすることが好ましい。
【００２３】
また、本発明の３次元モデリング装置においては、キャリブレーション手段が処理対象とする上記各画像に対して、上記対象物を取り囲むような複数の点を入力できる入力部を備えることが好ましい。当該構成によれば、キャリブレーション処理を効率的に行うことができる。
【００２４】
また、本発明の３次元モデリング装置においては、上記キャリブレーションデータに、上記各画像および幾何学パターンを対応づける射影行列データと、撮影視点データ（例えば、カメラパラメータ）とが含まれており、上記シルエット抽出手段は、上記射影行列データによる基準幾何学パターンデータの変換データと対応する上記画像データとの差分処理によってシルエットデータを算出することが好ましい。当該構成によれば、シルエット抽出処理を効率的に行うことができる。
【００２５】
また、本発明の３次元モデリング装置においては、上記キャリブレーションデータに、上記各画像および幾何学パターンを対応づける射影行列データと、撮影視点データ（例えば、カメラパラメータ）とが含まれており、上記ボクセルデータ生成手段は、上記射影行列データによるボクセル空間の射影データと上記シルエットデータとの交差判定処理によってボクセルデータを生成する好ましい。当該構成によれば、ボクセルデータ生成処理を効率的に行うことができる。
【００２６】
また、本発明の３次元モデリング装置においては、上記ボクセルデータから、内部のボクセルに関するデータを削除するボクセルデータ修正手段を備えることが好ましい。当該構成によれば、不要なボクセルデータを削減することで、データ処理効率を向上させることができる。
【００２７】
本発明の３次元モデリング装置においては、上記ボクセルデータから表面情報であるポリゴンデータを生成するポリゴンデータ生成手段を備えることが好ましい。当該構成によれば、対象物の表面情報（データ）のみを処理することで、データ処理効率を向上させることができる。
【００２８】
また、本発明の３次元モデリング装置においては、上記画像データおよびキャリブレーションデータ並びにポリゴンデータを用いて、該ポリゴンデータに対応づける色データを生成する色データ生成手段を備えることが好ましい。当該構成によれば、対象物をカラーで表現することができ、対象物の表現力を向上させることができる。なお、この場合、上記色データ生成手段は、上記撮影視点データおよびポリゴンデータを用いて上記画像から色生成に適した画像を選択し、この選択した画像の画像データと、上記ポリゴンデータに上記射影行列データを用いて射影処理したデータとの対応付けによって色データを生成することが好ましい。こうすれば、色データ生成処理を効率的に行うことができる。
【００２９】
また、本発明の幾何学パターンは、上記３次元モデリング装置の入力画像の撮影用として用いることができることを特徴としている。
【００３０】
また、本発明の３次元モデリングデータの生成方法は、対象物が平面状の幾何学パターンとともに撮影された各画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション工程と、幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータおよび上記画像データ並びにこれに対応するキャリブレーションデータを用いて上記対象物のシルエットデータを算出するシルエット抽出工程と、複数の画像それぞれに対応する、シルエットデータおよびキャリブレーションデータを用いてボクセルデータを生成するボクセルデータ生成工程とを含むことを特徴としている。
【００３１】
また、本発明の３次元モデリングプログラムは、上記３次元モデリング装置の各手段をコンピュータに実現させることを特徴としている。
【００３２】
また、本発明の記録媒体は、上記３次元モデリングプログラムがコンピュータに読み取り可能に格納されていることを特徴としている。
【発明の効果】
【００３３】
以上のように、本発明の３次元モデリング装置は、対象物を幾何学パターンとともに撮影した画像および幾何学パターンのみが撮影された基準画像（あるいは、基準幾何学パターンデータ自体）だけから対象物の３次元モデリングを行うものである。したがって、従来のように専用の撮影機材や処理装置を必要とすることなく、手軽に（簡易に）様々な対象物を３次元データ化することができる。これにより、本発明の３次元モデリング装置を娯楽、流通（例えば、ＷＥＢショップの商品画像）、医療（例えば、生体の３次元データ化）等に用いれば、大変有用で便利である。
【発明を実施するための最良の形態】
【００３４】
本発明の実施の一形態を、図１〜図７を用いて説明すれば、以下のとおりである。
【００３５】
ここで図１は、本実施の形態に係る３次元モデリング装置１の構成を示すブロック図である。
【００３６】
図１に示されるように、本発明の３次元モデリング装置１は、制御部２と、記憶部３と、ユーザインターフェース２３（入力部）と、表示部９とを備える。
【００３７】
制御部２は、データ入力部６と、キャリブレーション部１０（キャリブレーション手段）と、シルエット抽出部１１（シルエット抽出手段）と、ボクセルデータ生成部１２（３次元データ生成手段、ボクセルデータ生成手段）と、ボクセルデータ修正部１３（ボクセルデータ修正手段）と、ポリゴンデータ生成部１５（ポリゴンデータ生成手段）と、色データ生成部１６（色データ生成手段）と、色データ付加部１７と、表示制御部２１とを備える。
【００３８】
制御部２は、入力された対象物の画像データから該対象物のボクセルデータを生成し、これをポリゴンデータに変換し、かつ色データを付加して表示部９に表示させる。なお、制御部２の各部の機能は、例えば、記憶部３等のメモリに格納された所定のプログラムを、図示しないマイクロプロセッサなどが実行することにより実現される（後述）。
【００３９】
データ入力部６には、ユーザが撮影した画像（チェックパターンボードとともに撮影された対象物の画像およびチェックパターンボードのみの画像）が画像データとして、入力される。ここで、チェックパターンボードのみの画像から得られる画像データを基準チェックパターンデータとする。データ入力部６はこれらの画像データを記憶部３に記憶させる。
【００４０】
キャリブレーション部１０では、入力された画像データに基づいて、キャリブレーションデータ、すなわち、上記画像およびチェックパターンボードを対応づける射影行列データとカメラパラメータ（撮影視点データ）とを算出する。
【００４１】
シルエット抽出部１１は、入力された基準チェックパターンデータを、キャリブレーション部１０で得られる射影行列データによって変換し、この変換されたデータと、対応する上記画像データとを用いて差分処理を行い、シルエットデータを算出する。
【００４２】
ボクセルデータ生成部１２は、まず、キャリブレーション部１０で得られる射影行列データを用いてボクセル空間の射影データを求める。そして、ボクセルデータ生成部１２は、このボクセル空間の射影データと、シルエット抽出部１１で得られるシルエットデータとを用いて交差判定処理を行い、ボクセルデータを生成する。
【００４３】
ボクセルデータ修正部１３は、ボクセルデータ生成部１２で得られるボクセルデータから、内部のボクセルに関するデータを削除する。具体的には、ボクセルの周囲６方向に隣接するボクセルの存在をチェックし、６方向すべてに他のボクセルが存在する場合は、そのボクセルを物体内部に位置するものとして削除する。
【００４４】
ポリゴンデータ生成部１５は、ボクセルデータ生成部１２からのボクセルデータおよびボクセルデータ修正部１３で得られるデータに基づいて、ボクセルデータから表面情報であるポリゴンデータを生成する。
【００４５】
色データ生成部１６は、ポリゴンデータ生成部１５で得られるポリゴンデータと、キャリブレーション部１０で得られるカメラパラメータとに基づいて、色データを生成する。
【００４６】
色データ付加部１７では、色データ生成部１６で生成された色データと、ポリゴンデータ生成部１５で生成されたポリゴンデータとを対応付け、ポリゴンデータへの色データの付加を行う。また、表示制御部２１は、色データ付加部１７で得られる最終的なデータを表示部９に表示させる。
【００４７】
記憶部３は、データ入力部６から入力された画像データを記憶し、あるいは制御部２の各部と連携して各部からのデータを一時保管する。また、制御部２の各部は、この記憶部３から随時必要なデータを読み出す。
【００４８】
ユーザインターフェース２３からは、キャリブレーション部１０でキャリブレーションデータを生成する際、対象物を取り囲むようなチェックパターンボード２２上の点（例えば、４点）がユーザにより入力される。
【００４９】
なお、制御部２の各部の機能は、処理原稿検索プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ、ＤＳＰ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００５０】
この場合、記録媒体から読み出されたプログラムコード自体が上述した機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００５１】
具体的には、制御部２が、記憶部３等のメモリに格納された所定のプログラムを、図示しないマイクロプロセッサなどが実行することにより実現される。
【００５２】
上記プログラムコードを供給するための記録媒体は、システムあるいは装置と分離可能に構成することができる。また、上記記録媒体は、プログラムコードを供給可能であるように固定的に担持する媒体であってもよい。そして、上記記録媒体は、記録したプログラムコードをコンピュータが直接読み取ることができるようにシステムあるいは装置に装着されるものであっても、外部記憶装置としてシステムあるいは装置に接続されたプログラム読み取り装置を介して読み取ることができるように装着されるものであってもよい。
【００５３】
例えば、上記記録媒体としては、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００５４】
また、上記プログラムコードは、コンピュータが記録媒体から読み出して直接実行できるように記録されていてもよいし、記録媒体から主記憶のプログラム記憶領域へ転送された後コンピュータが主記憶から読み出して実行できるように記録されていてもよい。
【００５５】
さらに、３次元モデリング装置１を通信ネットワークと接続可能に構成し、上記プログラムコードが通信ネットワークを介して供給されてもよい。そして、通信ネットワークとしては、特に限定されず、具体的には、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、具体的には、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。
【００５６】
なお、プログラムコードを記録媒体から読み出して主記憶に格納するためのプログラム、および、通信ネットワークからプログラムコードをダウンロードするためのプログラムは、コンピュータによって実行可能にあらかじめシステムあるいは装置に格納されているものとする。
【００５７】
上記した制御部２の機能は、コンピュータが読み出した上記プログラムコードを実行することによって実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行うことによっても実現される。
【００５８】
さらに、上述した機能は、上記記録媒体から読み出された上記プログラムコードが、コンピュータに装着された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても実現される。
【００５９】
次に、図２のフローチャートに沿って、上記した本３次元モデリング装置１で行う処理工程を詳細に説明する。ここで、図３（ａ）・（ｂ）は、チェックパターンボードとともに撮影された対象物（バナナ）の画像であり、図３（ｃ）は、チェックパターンボードのみが撮影された基準画像である。
【００６０】
まず、画像入力工程（図２のＳ１・Ｓ２）を行う。この工程では、ユーザがチェックパターンボード２２上に対象物を置き、該対象物をチェックパターンボード２２とともに任意の視点から撮影する（Ｓ１、図３（ａ）（ｂ）参照）。このとき、チェックパターンボード２２の外周が撮影されているものとする。カメラは、デジタルカメラ等を１台用意すれば良い。また、撮影視点は任意であり、どの位置、その角度から撮影したかを記録する必要もない。また、物体の背後にチェックパターンボード２２を置いて撮影することも可能である。
【００６１】
撮影によって得られた画像データは３次元モデリング装置１のデータ入力部６に入力される。ここでは、物体を取り除いたチェックパターンボード２２だけの基準画像を１枚撮影し（Ｓ２、図３（ｃ）参照）、この基準画像より得られる基準チェックパターンデータもデータ入力部６に入力しておく。なお、撮影時の視点の数は、１２視点以上である（対象物の周囲３６０°を３０°ごとに１２視点にて撮影する）ことが望ましい。また、チェックパターンボード２２は、例えば、所定のチェックパターンをプリンター等で紙に印刷し、これを適当な平面状の物へ貼り付けたものであっても構わない。
【００６２】
ついで、キャリブレーション部１０にてキャリブレーション工程を行う（Ｓ３）。この工程では、カメラパラメータ（撮影視点データ）と、入力された画像の座標系とチェックパターンボード２２の座標系とを対応付ける射影行列データとを算出する。なお、この工程では、図４に示されるように、ユーザが、ユーザインターフェース１０を介して、画像内のチェックパターンボード２２の４頂点（Ｐ１〜Ｐ４）を指定する。もっとも、チェックパターンボード２２に、この４点が指定できるようなマーク（色を変える等）を付けておくことも可能である。上この４頂点（Ｐ１〜Ｐ４）は対象物（バナナ）を取り囲むように指定される。以下にキャリブレーション工程の具体的処理を示す。
【００６３】
本実施の形態では、キャリブレーションの手法について、Ｚｈａｎｇの方法を用いた。この方法の詳細については、例えば、「Z.Zhang,“A Flexible New Technique for Camera Calibration”,Technical Report MSR-TR-98-71,Microsoft Research,1998」に開示されている。
【００６４】
このＺｈａｎｇの方法では、参照物体として３次元的広がりを持つ立体でなく、二次元平面上での位置が既知である参照点を描いた平面パターン（例えば、チェックパターンボード２２）を用いる。参照平面もしくはカメラを複数の異なる位置に動かして平面パターンを撮影し、参照平面と画像平面との間のホモグラフィを計算してカメラパラメータを算出する。この際、参照平面もしくはカメラを自由に動かすことができ、その運動を知る必要はない。これにより、建物の規則的な窓や、プリンターで紙に出力した規則的なパターンをキャリブレーションのために用いることができ、様々な状況でのキャリブレーションを実現することができる。その原理を以下に説明する。
【００６５】
まず、３次元点Ｍ＝〔Ｘ，Ｙ，Ｚ〕Ｔとその射影である画像上の点ｍ＝〔Ｕ，Ｖ〕Ｔ
との間には射影式
【００６６】
【数１】
【００６７】
が存在する。
ここで、行列Ａは内部パラメータ行列であり、次のように書くことができる。
【００６８】
【数２】
【００６９】
なお、αｕ、αｖは画像の大きさと焦点距離との積からなるスケール係数である。また、（ｕ０，ｖ０）は画像中心、λは画像の座標軸の歪みを表すパラメータである。
【００７０】
３次元空間中の座標において、Ｚ＝０である参照平面を考え、回転行列Ｒのｉ番目の列ベクトルをｒｉ（ｉ＝１，２，３）とすると、式（１）は、
【００７１】
【数３】
【００７２】
となる。
【００７３】
これより、参照平面上の点と、画像平面上の点とは、
【００７４】
【数４】
【００７５】
となるホモグラフィＨ（射影行列）によって関係付けられることとなり、
【００７６】
【数５】
【００７７】
と表すことができる。
【００７８】
このホモグラフィＨは、３次元平面上と画像平面上との対応点が４点以上あれば算出可能である。
ここで、Ｈ＝〔ｈ１，ｈ２，ｈ３〕とすると、
【００７９】
【数６】
【００８０】
となる。
【００８１】
ホモグラフィＨは８自由度を持っており、そのうち外部パラメータが自由度となるため、内部パラメータに関する制約は２つしか持つことができない。
ここでは、回転行列Ｒの性質、および、ｒ１とｒ２とが直行する単位ベクトルであることから、以下の２式が成り立つ。
【００８２】
【数７】
【００８３】
【数８】
【００８４】
これにより、１枚の画像からは上記の２つのカメラ内部変数に関する拘束式が得られることになる。すなわち、５つのカメラ内部変数を求める場合は、少なくとも３枚の画像が必要となる。
【００８５】
ここで、Ａ−ｒＡ−１は対象性を持ち、
【００８６】
【数９】
【００８７】
とするＢの要素を並べたベクトルを、
【００８８】
【数１０】
【００８９】
と定義する。
【００９０】
ホモグラフィＨのｉ番目の列ベクトルを、
ｈｉ＝〔ｈ１１ ｈ１２ ｈ１３〕Ｔ，（ｉ＝１，２，３）とすると、
は、
【００９１】
【数１１】
【００９２】
と表現できる。
【００９３】
これにより、式（６）と（７）とは以下のように書くことができる。
【００９４】
【数１２】
【００９５】
もし、ｎ枚の画像が得られていれば、ｎ個の上記の式を積み重ねることで、
Ｖｂ＝０ ・・・式（１２）を得る。
ここで、Ｖは２ｎ×６の行列である。
【００９６】
これより、ｂは、ＶＴＶの最小固有値に対応する固有ベクトルとして求められる。
この際、ｎ≧３であれば、
直接ｂに関する解を得ることができるが、ｎ＝２の場合は内部パラメータ中のｓ＝０とすることで、次式
【００９７】
【数１３】
【００９８】
を式（１２）に加えることで解を得る。
【００９９】
また、ｎ＝１であれば、２つの内部パラメータしか求めることができないため、例えば、αｕとαｖのみを未知とし、残りの内部パラメータを既知とすることで解を得ることができる。
【０１００】
ｂを求めることでＢが求まれば、
【０１０１】
【数１４】
【０１０２】
から、カメラの内部パラメータは以下のように計算される。
【０１０３】
【数１５】
【０１０４】
また、これより、Ａが求まれば、外部パラメータに関しても式（５）より、
【０１０５】
【数１６】
【０１０６】
として求めることができる。
【０１０７】
以上のように、すべての内部パラメータが未知の場合においては、異なる視点から内部パラメータを固定した状態で撮影した３枚以上の画像を用いることでキャリブレーションを行うことができる。この際、一般的に画像枚数が多いほどパラメータ推定精度は高くなる。また、キャリブレーションに用いる画像間における回転が小さい場合に誤差が大きくなることも示されている。
【０１０８】
このキャリブレーション工程に続いて、シルエット抽出部１１にてシルエット抽出工程を行う（図２のＳ４）。シルエット抽出工程では、物体領域（シルエット）を抽出する（シルエットデータを算出する）。具体的処理は以下のとおりである。
【０１０９】
まず、各入力画像をグレースケール（２５６階調）に変換する。ついで、多視点画像撮影工程で入力された基準チェックパターンデータをキャリブレーション工程で得られたホモグラフィ行列Ｈによって変形させたデータを生成する。ついで、このデータと、多視点画像撮影工程で入力された画像データとの差分処理を行う。これにより、シルエットデータが算出され、図５に示されるようなシルエット画像（中央部の白い部分）を得ることができる。
【０１１０】
このシルエット抽出工程に続いて、ボクセルデータ生成部１２にて３次元形状復元工程を行う（Ｓ５、ボクセルデータ生成工程）。この３次元形状復元工程では、シルエット抽出工程により得られたシルエット画像を仮想のボクセル空間に射影し、視体積交差法によって形状情報を復元する。なお、ボクセル空間とは、均等な立方体素の集合であり、立方体素のそれぞれをボクセルと呼ぶ。
【０１１１】
視体積交差法では、まず、キャリブレーション工程で得られた射影行列を用いてボクセルをシルエット画像に射影する。この原理図を図６に示す。ここでは、ボクセルがシルエット画像の物体領域に射影したときは、当該ボクセルをそのまま残し、背景領域に射影したときには、当該ボクセルの削除パラメータを１つ増加させる。これらの処理を全ボクセルについて行う。さらに、これらの処理を各シルエット画像に対して行う。そして、最終的に削除パラメータが一定値より大きくなったボクセルを削除する。以上の処理をより具体的に説明すれば以下のとおりである。ここで、ｎ枚の入力画像のうちｊ番目の画像から求めた射影行列をＰｊ、シルエット画像をＳｊとする。
【０１１２】
まず、図６の矢印で示すように、１つの立方体をシルエット画像Ｓｊに射影する（図６参照）。射影には、キャリブレーション工程で得られた射影行列Ｐｊを用いる。射影した領域は、たかだか６つの頂点で囲まれた多角形となる。
【０１１３】
ついで、立方体を射影したシルエットと、対象物のシルエットとの交差状態を判定する交差判定処理を行う。立方体のシルエットが物体のシルエットに完全に含まれているならば“ＢＬＡＣＫ”、全く含まれていないならば“ＷＨＩＴＥ”、一部が含まれているならば“ＧＲＡＹ”とする。
【０１１４】
すべての立方体が“ＢＬＡＣＫ”または“ＷＨＩＴＥ”になるか、あるいは、任意のレベルに達したときに処理を終了する。このアルゴリズムをまとめると図７のようになる。
【０１１５】
このシルエット抽出工程に続いて、ボクセルデータ修正部１３にてボクセル削除工程を行う（Ｓ６）。このボクセル削除工程では、表示のために必要のない物体内部に位置するボクセルを削除し、物体の表面に位置するボクセルのみを残す。具体的手順は以下のとおりである。
【０１１６】
まず、ボクセルの周囲六方向に隣接するボクセルの存在をチェックする。６方向すべてに他のボクセルが存在する場合は、そのボクセルを物体内部に位置するとして削除する。それ以外のボクセルについては、表面に位置するボクセルであり、隣接する６方向のうち、ボクセルが存在しなかった方向に対して表面を示すフラグ（表面フラグ）を立てる。
【０１１７】
このボクセル削除工程に続いて、ポリゴンデータ生成部１５にてポリゴンデータへの変換工程を行う（Ｓ７）。
【０１１８】
ボクセルデータからポリゴンデータへの変換では、上記のボクセルの削除の過程で、ボクセルを構成する６面（ポリゴン）のうち、表面に位置するポリゴンが判っているので、そのポリゴンの各頂点の３次元座標をボクセルの中心座標と１辺の大きさから算出する。
【０１１９】
このポリゴンデータへの変換工程に続いて、色データ生成部１６にて色データ生成工程を行う（Ｓ８）。
【０１２０】
ここではまず、複数の画像の中から、Ｖｏｘｅｌの色を決定するための最適な画像を選択する。具体的には、Ｖｏｘｅｌの６つの面のうち、外部にある面に対してそれぞれ法線ｎを求め、その法線と撮影時のカメラの光軸ｌが、
【０１２１】
【数１７】
【０１２２】
を満たすような画像を選択する。
【０１２３】
そして、キャリブレーションで求めた射影行列によってＶｏｘｅｌをそれぞれの画像へ射影し、対応する領域から色データを決定する。
【０１２４】
この色データ生成工程に続いて、色データ付加部１７にて色データ付加工程を行う（Ｓ９）。
【０１２５】
色データ付加工程では、色データ生成工程で得られた色データとポリゴンデータとを対応付け、ポリゴンデータに色データを付加する。なお、各ポリゴンの大きさは、ボクセルの面と同じであるため、復元の時の指定によって十分細かくすることも、慨形が判る程度の粗さにすることも可能である。
【０１２６】
最後に、表示制御部２１によって、色データ付加工程によって得られたデータを表示部に表示する（Ｓ１０）。ポリゴンデータは、拡張点の３次元座標と法線ベクトルおよび色データとして記述されている。その表示には専用のビューワを用いることも可能である。もっとも、ポリゴンデータを簡単なデータ変換プログラムによってＶＲＭＬやＤＸＦといった一般的なデータフォーマットに変換し、表示することも可能である。
【０１２７】
このように、３次元モデリング装置１は、対象物（図３（ａ）ではバナナ）をチェックパターンボードとともに撮影した画像およびチェックパターンボードのみが撮影された基準画像（あるいは、基準チェックパターンデータ自体）だけから対象物の３次元モデリングを行うものである。
【０１２８】
したがって、従来のように専用の撮影機材や処理装置を必要とすることなく、手軽に（簡易に）様々な対象物を３次元データ（ボクセルデータ）化することができる。これにより、本３次元モデリング装置１を娯楽、流通（例えば、ＷＥＢショップの商品画像）、医療（例えば、生体の３次元データ化）等に用いれば、大変有用で便利である。
【０１２９】
また、３次元モデリング装置１においては、携帯可能なチェックパターンボード２２を幾何学パターンとして利用し、また、キャリブレーション部１０は平面キャリブレーションを行っている。この結果、より一層手軽に（簡易に）様々な対象物を３次元データ化することができる。
【０１３０】
また、３次元モデリング装置１は、幾何学パターンにチェックパターンを用いているため、キャリブレーションやシルエット抽出が容易である。
【０１３１】
また、３次元モデリング装置１は、３次元データとしてボクセルデータを用いているため、３次元データの生成が容易である。
【０１３２】
また、３次元モデリング装置１は、キャリブレーション部が処理対象とする上記画像に対して対象物を取り囲むような複数の点を入力できるユーザインターフェース２３を備えているため、キャリブレーション処理を効率的に行うことができる。
【０１３３】
また、３次元モデリング装置１においては、シルエット抽出部１１が、射影行列データによる基準幾何学パターンデータの変換データと、対応する上記画像データとの差分処理によってシルエットデータを算出するため、シルエット抽出処理を効率的に行うことができる。
【０１３４】
また、３次元モデリング装置１においては、ボクセルデータ生成部１２は、上記射影行列データによるボクセル空間の射影データと上記シルエットデータとの交差判定処理によってボクセルデータを生成するため、ボクセルデータ生成処理を効率的に行うことができる。
【０１３５】
また、３次元モデリング装置１は、ボクセルデータ修正部１３を備え、不要なボクセルデータを削減することができるため、データ処理を効率的に行うことができる。
【０１３６】
また、３次元モデリング装置１は、ポリゴンデータ生成部１５を備え、対象物の表面情報（データ）のみを処理できるため、データ処理を効率的に行うことができる。
【０１３７】
また、３次元モデリング装置１は、上記画像データおよびキャリブレーションデータ並びにポリゴンデータを用いて、該ポリゴンデータに対応づける色データを生成する色データ生成手段を備え、対象物をカラーで表現することができるため、対象物の表現力が高い。また、色データ生成部１６は、カメラパラメータおよびポリゴンデータを用いて上記画像から色生成に適した画像を選択し、この選択した画像の画像データと、上記ポリゴンデータに上記射影行列データを用いて射影処理したデータとの対応付けによって色データを生成するため、色データ生成処理を効率的に行うことができる。
【０１３８】
なお、本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施の形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１３９】
本発明の３次元モデリング装置は、デジタルカメラや携帯電話のカメラ等から得られる画像から簡単に３次元モデリングを行うことができる。よって、娯楽、流通（例えば、ＷＥＢショップでの商品の見本）、医療（生体のモデリング）、建築（構造物のモデリング）、アパレルあるいは事件、事故等の鑑識など様々な分野での利用が考えられる。
【図面の簡単な説明】
【０１４０】
【図１】本実施の形態における３次元モデリング装置の構成を示すブロック図である。
【図２】上記３次元モデリング装置における処理工程を示すフローチャートである。
【図３】（ａ）・（ｂ）は、チェックパターンボードとともに撮影された対象物（バナナ）の画像であり、図３（ｃ）は、チェックパターンボードのみが撮影された基準画像である。
【図４】キャリブレーション工程で、ユーザインターフェースから画像に入力される各点を示す図である。
【図５】シルエット抽出部にて得られるシルエット画像を示す図である。
【図６】ボクセルデータ生成部におけるボクセル射影の原理を示す図である。
【図７】ボクセルデータ生成部における交差判定処理のアルゴリズムを示す図である。
【符号の説明】
【０１４１】
１ ３次元モデリング装置
２ 制御部
３ 記憶部
６ データ入力部
１０ キャリブレーション部（キャリブレーション手段）
１１ シルエット抽出部（シルエット抽出手段）
１２ ボクセルデータ生成部（３次元データ生成手段、ボクセルデータ生成手段）
１３ ボクセルデータ修正部（ボクセルデータ修正手段）
１５ ポリゴンデータ生成部（ポリゴンデータ生成手段）
１６ 色データ生成部（色データ生成手段）
１７ 色データ付加部（色データ付加手段）
２１ 表示制御部
２２ チェックパターンボード（幾何学パターン）
２３ ユーザインターフェース（入力部）
【特許請求の範囲】
【請求項１】
対象物が幾何学パターンとともに撮影された各画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション手段と、
幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータ並びに上記画像データおよびこれに対応する上記キャリブレーションデータを用いて上記対象物のシルエットデータを算出するシルエット抽出手段と、
複数の画像それぞれに対応する、シルエットデータおよびキャリブレーションデータを用いて３次元データを生成する３次元データ生成手段とを備えることを特徴とする３次元モデリング装置。
【請求項２】
上記幾何学パターンは平面の幾何学パターンであり、上記キャリブレーション手段は、平面キャリブレーションを行うことによってキャリブレーションデータを算出することを特徴とする請求項１記載の３次元モデリング装置。
【請求項３】
上記幾何学パターンはチェックパターンであることを特徴とする請求項２記載の３次元モデリング装置。
【請求項４】
上記３次元データ生成手段はボクセルデータを生成するボクセルデータ生成手段であることを特徴とする請求項２記載の３次元モデリング装置。
【請求項５】
キャリブレーション手段が処理対象とする上記各画像に対して、上記対象物を取り囲むような複数の点を入力できる入力部を備えることを特徴とする請求項４記載の３次元モデリング装置。
【請求項６】
上記キャリブレーションデータには、上記各画像および幾何学パターンを対応づける射影行列データと、撮影視点データとが含まれており、
上記シルエット抽出手段は、上記射影行列データによる基準幾何学パターンデータの変換データと対応する上記画像データとの差分処理によってシルエットデータを算出することを特徴とする請求項４記載の３次元モデリング装置。
【請求項７】
上記キャリブレーションデータには、上記各画像および幾何学パターンを対応づける射影行列データと、撮影視点データとが含まれており、
上記ボクセルデータ生成手段は、上記射影行列データによるボクセル空間の射影データと上記シルエットデータとの交差判定処理によってボクセルデータを生成することを特徴とする請求項４記載の３次元モデリング装置。
【請求項８】
上記ボクセルデータから、内部のボクセルに関するデータを削除するボクセルデータ修正手段を備えることを特徴とする請求項７記載の３次元モデリング装置。
【請求項９】
上記ボクセルデータから表面情報であるポリゴンデータを生成するポリゴンデータ生成手段を備えることを特徴とする請求項７記載の３次元モデリング装置。
【請求項１０】
上記画像データおよびキャリブレーションデータ並びにポリゴンデータを用いて、該ポリゴンデータに対応づける色データを生成する色データ生成手段を備えることを特徴とする請求項７記載の３次元モデリング装置。
【請求項１１】
上記色データ生成手段は、上記撮影視点データおよびポリゴンデータを用いて上記画像から色生成に適した画像を選択し、この選択した画像の画像データと、上記ポリゴンデータに上記射影行列データを用いて射影処理したデータとの対応付けによって色データを生成することを特徴とする請求項１０記載の３次元モデリング装置。
【請求項１２】
請求項１〜３のいずれか１項に記載の３次元モデリング装置の入力画像を撮影する際に用いられる幾何学パターン。
【請求項１３】
対象物が平面状の幾何学パターンとともに撮影された各画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション工程と、
幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータ並びに上記画像データおよびこれに対応する上記キャリブレーションデータを用いて上記対象物のシルエットデータを算出するシルエット抽出工程と、
複数の画像それぞれに対応する、シルエットデータおよびキャリブレーションデータに基づいてボクセルデータを生成するボクセルデータ生成工程とを含むことを特徴とする３次元モデリングデータの生成方法。
【請求項１４】
請求項１〜１１記載の各手段をコンピュータに実現させることを特徴とする３次元モデリングプログラム。
【請求項１５】
請求項１４記載の３次元モデリングプログラムがコンピュータに読み取り可能に格納されていることを特徴とする記録媒体。
【請求項１】
対象物が幾何学パターンとともに撮影された各画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション手段と、
幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータ並びに上記画像データおよびこれに対応する上記キャリブレーションデータを用いて上記対象物のシルエットデータを算出するシルエット抽出手段と、
複数の画像それぞれに対応する、シルエットデータおよびキャリブレーションデータを用いて３次元データを生成する３次元データ生成手段とを備えることを特徴とする３次元モデリング装置。
【請求項２】
上記幾何学パターンは平面の幾何学パターンであり、上記キャリブレーション手段は、平面キャリブレーションを行うことによってキャリブレーションデータを算出することを特徴とする請求項１記載の３次元モデリング装置。
【請求項３】
上記幾何学パターンはチェックパターンであることを特徴とする請求項２記載の３次元モデリング装置。
【請求項４】
上記３次元データ生成手段はボクセルデータを生成するボクセルデータ生成手段であることを特徴とする請求項２記載の３次元モデリング装置。
【請求項５】
キャリブレーション手段が処理対象とする上記各画像に対して、上記対象物を取り囲むような複数の点を入力できる入力部を備えることを特徴とする請求項４記載の３次元モデリング装置。
【請求項６】
上記キャリブレーションデータには、上記各画像および幾何学パターンを対応づける射影行列データと、撮影視点データとが含まれており、
上記シルエット抽出手段は、上記射影行列データによる基準幾何学パターンデータの変換データと対応する上記画像データとの差分処理によってシルエットデータを算出することを特徴とする請求項４記載の３次元モデリング装置。
【請求項７】
上記キャリブレーションデータには、上記各画像および幾何学パターンを対応づける射影行列データと、撮影視点データとが含まれており、
上記ボクセルデータ生成手段は、上記射影行列データによるボクセル空間の射影データと上記シルエットデータとの交差判定処理によってボクセルデータを生成することを特徴とする請求項４記載の３次元モデリング装置。
【請求項８】
上記ボクセルデータから、内部のボクセルに関するデータを削除するボクセルデータ修正手段を備えることを特徴とする請求項７記載の３次元モデリング装置。
【請求項９】
上記ボクセルデータから表面情報であるポリゴンデータを生成するポリゴンデータ生成手段を備えることを特徴とする請求項７記載の３次元モデリング装置。
【請求項１０】
上記画像データおよびキャリブレーションデータ並びにポリゴンデータを用いて、該ポリゴンデータに対応づける色データを生成する色データ生成手段を備えることを特徴とする請求項７記載の３次元モデリング装置。
【請求項１１】
上記色データ生成手段は、上記撮影視点データおよびポリゴンデータを用いて上記画像から色生成に適した画像を選択し、この選択した画像の画像データと、上記ポリゴンデータに上記射影行列データを用いて射影処理したデータとの対応付けによって色データを生成することを特徴とする請求項１０記載の３次元モデリング装置。
【請求項１２】
請求項１〜３のいずれか１項に記載の３次元モデリング装置の入力画像を撮影する際に用いられる幾何学パターン。
【請求項１３】
対象物が平面状の幾何学パターンとともに撮影された各画像より得られる画像データからキャリブレーションデータを算出するキャリブレーション工程と、
幾何学パターンのみが撮影された基準画像より得られる基準幾何学パターンデータ並びに上記画像データおよびこれに対応する上記キャリブレーションデータを用いて上記対象物のシルエットデータを算出するシルエット抽出工程と、
複数の画像それぞれに対応する、シルエットデータおよびキャリブレーションデータに基づいてボクセルデータを生成するボクセルデータ生成工程とを含むことを特徴とする３次元モデリングデータの生成方法。
【請求項１４】
請求項１〜１１記載の各手段をコンピュータに実現させることを特徴とする３次元モデリングプログラム。
【請求項１５】
請求項１４記載の３次元モデリングプログラムがコンピュータに読み取り可能に格納されていることを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−５９１６５（Ｐ２００６−５９１６５Ａ）
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願番号】特願２００４−２４１０３３（Ｐ２００４−２４１０３３）
【出願日】平成１６年８月２０日（２００４．８．２０）
【出願人】（５９７０６５３２９）学校法人 龍谷大学 (120)
【Ｆターム（参考）】
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願日】平成１６年８月２０日（２００４．８．２０）
【出願人】（５９７０６５３２９）学校法人 龍谷大学 (120)
【Ｆターム（参考）】
[ Back to top ]