ファイル生成装置および方法、３次元形状再生装置および方法並びにプログラム
【課題】３次元データのファイルから簡易に所望とする距離範囲の３次元形状を再生できるようにする。
【解決手段】３次元データ生成部３１が、撮像部２１Ａ，２１Ｂが被写体を撮像することにより取得した画像データから、被写体の３次元形状を表す複数の距離データからなる３次元データを生成する。データ変換部２４Ａが、距離データを距離順に並べ替えて変換済み３次元データを生成する。ファイル生成部２４が、変換済み３次元データを所定距離間隔により分割した場合の境界における距離データを特定し、特定された距離データのファイル内における格納場所を表す格納場所情報および変換済み３次元データが格納された３次元データファイルを生成する。
【解決手段】３次元データ生成部３１が、撮像部２１Ａ，２１Ｂが被写体を撮像することにより取得した画像データから、被写体の３次元形状を表す複数の距離データからなる３次元データを生成する。データ変換部２４Ａが、距離データを距離順に並べ替えて変換済み３次元データを生成する。ファイル生成部２４が、変換済み３次元データを所定距離間隔により分割した場合の境界における距離データを特定し、特定された距離データのファイル内における格納場所を表す格納場所情報および変換済み３次元データが格納された３次元データファイルを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の３次元形状を表す３次元データから３次元データファイルを生成するファイル生成装置および方法、生成された３次元データファイルから３次元形状を再生するための３次元形状再生装置および方法、並びにファイル生成方法および３次元形状再生方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
異なる位置に設けられた２台以上のカメラを用いて被写体を撮像し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の３次元形状を表す３次元画像を生成する手法が提案されている。
【０００３】
このように生成された３次元画像のデータ（３次元データ）は、再利用のために保存する際に、基準画像および参照画像の画像データ（２次元画像データ）とは別個に保存されていたが、３次元データおよび２次元画像データを別個に保存すると、同一の目的のために生成された２つのデータを別個に管理する必要が生じる。このため、３次元データを２次元画像データに含めて１つのデータファイルとして出力する手法が提案されている（特許文献１，２参照）。
【特許文献１】特開２００５−７７２５３号公報
【特許文献２】ＷＯ２００３／９２３０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１，２に記載された手法は、３次元データを２次元画像データに含めて１つのデータファイルを生成しているのみである。このため、例えばある特定の距離範囲の３次元形状のみを再生したい場合には、データファイルからすべての３次元データを読み出して距離範囲を判断する必要があり、その結果、３次元形状および２次元画像の再生に長時間を要することとなる。
【０００５】
本発明は上記事情に鑑みなされたものであり、３次元データのファイルから簡易に所望とする距離範囲の３次元形状を再生できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明によるファイル生成装置は、被写体の３次元形状を表す複数の距離データからなる３次元データを取得する３次元データ取得手段と、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成するデータ変換手段と、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定し、該特定した距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成する生成手段とを備えたことを特徴とするものである。
【０００７】
「距離順に並べ替える」とは、距離が小さい順に並べ替えるものであっても、距離が大きい順に並べ替えるものであってもよい。
【０００８】
「格納場所情報」は、例えば３次元データファイルのヘッダに記述することにより、３次元データファイルに格納することができる。
【０００９】
なお、本発明によるファイル生成装置においては、前記生成手段を、前記複数の距離データにより表される複数の距離における最近距離と最遠距離との間においてのみ、前記変換済み３次元データを前記所定距離間隔により分割する手段としてもよい。
【００１０】
また、本発明によるファイル生成装置においては、前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得する２次元画像データ取得手段をさらに備えるものとし、
前記生成手段を、前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成する手段としてもよい。
【００１１】
「２次元画像データと３次元データとを関連づけて３次元データファイルを生成する」とは、２次元画像データと３次元データとが一体不可分となるように３次元データファイルを生成することを意味する。具体的には、２次元画像データおよび３次元データを結合して３次元データファイルに格納することのみならず、３次元データのみが格納された３次元データファイルと、２次元画像データのみが格納された２次元データファイルとを、ファイル名が同一で拡張子のみが異なる別ファイルとして生成すること等をも含むものである。
【００１２】
なお、この場合、前記３次元データ取得手段を、前記２次元画像データから前記３次元データを生成することにより取得する手段としてもよい。
【００１３】
また、この場合、前記生成手段を、前記２次元画像データにより表される画像の画素位置の情報を、その画素位置における前記距離データに付与して前記３次元データファイルを生成する手段としてもよい。
【００１４】
また、この場合において、前記生成手段を、前記２次元画像データにより表される画像の画素位置に対応する距離データが取得できない場合に、該画素位置と対応する距離データを削除する手段としてもよい。
【００１５】
また、この場合において、前記データ変換手段を、距離が同一の距離データが複数ある場合、対応する前記２次元画像データにより表される画像の画素位置の順序に基づいて、前記距離データを並べ替える手段としてもよい。
【００１６】
本発明による３次元形状再生装置は、本発明によるファイル生成装置により生成された３次元データファイルを取得するファイル取得手段と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける指定手段と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生する再生手段とを備えたことを特徴とするものである。
【００１７】
なお、本発明による３次元形状再生装置において、２次元画像データを取得した場合には、前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生するようにしてもよい。
【００１８】
本発明によるファイル生成方法は、被写体の３次元形状を表す複数の距離データからなる３次元データを取得し、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成し、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定し、
該特定された距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成することを特徴とするものである。
【００１９】
なお、本発明によるファイル生成方法においては、前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得し、
前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成するようにしてもよい。
【００２０】
本発明による３次元形状再生方法は、本発明によるファイル生成方法により生成された３次元データファイルを取得し、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付け、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生することを特徴とするものである。
【００２１】
なお、本発明による３次元形状再生方法において、２次元画像データを取得した場合には、前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生するようにしてもよい。
【００２２】
なお、本発明によるファイル生成方法および３次元形状再生方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２３】
本発明によるファイル生成装置および方法によれば、距離順に並べ替えられた距離データからなる変換済み３次元データを所定距離間隔により分割した場合の境界における距離データが特定され、特定された距離データのファイル内における格納場所を表す格納場所情報および変換済み３次元データが格納された３次元データファイルが生成される。このため、３次元データファイルに格納された格納場所情報を参照すれば、所定距離間隔の境界にある距離データを特定することができる。したがって、所望とする距離範囲にある距離データのみからなる３次元データを３次元データファイルから容易に取得することができ、その結果、所望とする距離範囲にある３次元形状の画像の再生を容易に行うことができる。
【００２４】
また、複数の距離データにより表される複数の距離における最近距離と最遠距離との間においてのみ、変換済み３次元データを所定距離間隔により分割することにより、存在する距離データの範囲においてのみ３次元データファイルを生成することができるため、３次元データファイルのデータ量を低減することができる。
【００２５】
また、３次元データが、被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、２次元画像データと３次元データとを関連づけて３次元データファイルを生成することにより、同一の目的のために生成された２次元画像データおよび３次元データの管理が容易となる。
【００２６】
この場合、２次元画像データから３次元データを生成して取得することにより、３次元データを生成する装置を別個に設ける必要がなくなる。
【００２７】
また、２次元画像データにより表される画像の画素位置の情報を、その画素位置における距離データに付与して３次元データファイルを生成することにより、再生時における２次元画像と３次元形状との対応づけを容易に行うことができる。
【００２８】
この場合において、２次元画像データにより表される画像の画素位置に対応する距離データが取得できない場合、その画素位置と対応する距離データを削除することにより、３次元データファイルのデータ量を低減することができる。
【００２９】
また、距離が同一の距離データが複数ある場合、対応する２次元画像データにより表される画像の画素位置の順序に基づいて距離データを並べ替えることにより、距離が同一の距離データを並べ替える際の混乱を防止できる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるファイル生成装置および３次元形状再生装置を適用したステレオカメラ１の内部構成を示す概略ブロック図である。図１に示すように第１の実施形態によるステレオカメラ１は、２つの撮像部２１Ａ，２１Ｂ、撮像制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。
【００３１】
図２は撮像部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮像部２１Ａ，２１Ｂは、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、ＣＣＤ１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。
【００３２】
レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。なお、本実施形態においては焦点位置は固定されているものとする。
【００３３】
絞り１１Ａ，１１Ｂは、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。なお、本実施形態においては絞り値データは固定されているものとする。
【００３４】
シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。なお、本実施形態においてはシャッタスピードは固定されているものとする。
【００３５】
ＣＣＤ１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３６】
ＡＦＥ１４Ａ，１４Ｂは、ＣＣＤ１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３７】
Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１Ａ，２１ＢのＣＣＤ１３Ａ，１３Ｂにおいて取得され、デジタル信号に変換されることにより得られる画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。なお、撮像部２１Ａにより取得される画像データにより表される２次元画像を基準画像Ｇ１、撮像部２１Ｂにより取得される画像データにより表される２次元画像を参照画像Ｇ２とする。また、以降の説明において、基準画像および参照画像の画像データに対してもＧ１，Ｇ２の参照符号を用いるものとする。
【００３８】
撮像制御部２２は、レリーズボタン押下後に撮像の制御を行う。
【００３９】
なお、本実施形態においては、焦点位置、絞り値データおよびシャッタスピードは固定されているが、ＡＦ処理およびＡＥ処理を行って、撮影の都度、焦点位置、絞り値データおよびシャッタスピードを設定するようにしてもよい。
【００４０】
画像処理部２３は、撮像部２１Ａ，２１Ｂが取得した画像データＧ１，Ｇ２に対して、画像データの感度分布のばらつきおよび光学系の歪みを補正する補正処理を施すとともに、２つの画像を並行化するための並行化処理を施す。さらに、並行化処理後の画像に対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の基準画像および参照画像およびこれらの画像データについても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。
【００４１】
ファイル生成部２４は、画像処理部２３によって処理が施された基準画像の画像データＧ１と、後述するように生成された被写体の３次元形状を表す３次元データＶ１とから３次元データファイルＦ０を生成する。この３次元データファイルＦ０においては、画像データＧ１および３次元データＶ１に対して必要な圧縮処理が施され、さらにＥｘｉｆフォーマット等に基づいて、撮影日時および後述する３次元データＶ１のアドレス等の付帯情報が記述されたヘッダが付与される。ここで、ファイル生成部２４は、後述するように生成された距離データを距離が小さい順に並べ替えて変換済みの３次元データＶ１を生成するデータ変換部２４Ａを備える。なお、ファイル生成部２４が行う詳細な処理については後述する。
【００４２】
フレームメモリ２５は、撮像部２１Ａ，２１Ｂが取得した基準画像Ｇ１および参照画像Ｇ２を表す画像データおよび３次元データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００４３】
メディア制御部２６は、記録メディア２９にアクセスして３次元データファイルＦ０の書き込みと読み込みの制御を行う。
【００４４】
内部メモリ２７は、ステレオカメラ１において設定される各種定数、およびＣＰＵ３６が実行するプログラム等を記憶する。
【００４５】
表示制御部２８は、フレームメモリ２５に格納された画像データをモニタ２０に表示させたり、記録メディア２９に記録されている３次元データファイルＦ０に含まれる３次元データＶ１により表される被写体の３次元形状の画像である３次元画像をモニタ２０に表示させたりするためのものである。
【００４６】
また、ステレオカメラ１は、ステレオマッチング部３０および３次元データ生成部３１を備える。
【００４７】
ステレオマッチング部３０は、図３に示すように、基準画像Ｇ１上のある画素Ｐａに写像される実空間上の点は、点Ｐ１，Ｐ２，Ｐ３というように点Ｏ１からの視線上に複数存在するため、実空間上の点Ｐ１ ，Ｐ２ ，Ｐ３ 等の写像である直線（エピポーラ線）上に、画素Ｐａに対応する参照画像Ｒ上の画素Ｐａ′が存在するという事実に基づいて、基準画像Ｇ１と参照画像Ｇ２との対応点を参照画像Ｇ２上において探索する。なお、図３において点Ｏ１は基準カメラとなる撮像部２１Ａの視点、点Ｏ２は参照カメラとなる撮像部２１Ｂの視点である。ここで、視点とは撮像部２１Ａ，２１Ｂの光学系の焦点である。また、対応点の探索は、画像処理が施された基準画像Ｇ１および参照画像Ｇ２を用いてもよいが、画像処理前の並行化処理のみが施された基準画像Ｇ１および参照画像Ｇ２を用いることが好ましい。以降では、対応点の探索は画像処理前の基準画像Ｇ１および参照画像Ｇ２を用いるものとして説明する。
【００４８】
具体的には、ステレオマッチング部３０は、対応点の探索を行う際に、あらかじめ定められた相関ウィンドウＷをエピポーラ線に沿って移動し、各移動位置において基準画像Ｇ１および参照画像Ｇ２の相関ウィンドウＷ内の画素についての相関を算出し、参照画像Ｇ２上の相関が最大となる位置における相関ウィンドウＷの中心画素を、基準画像Ｇ１上の画素Ｐａに対応する対応点とする。なお、相関を評価するための相関評価値としては、対応する画素値の差分絶対値和および差分２乗和の逆数等を用いることができる。この場合、相関評価値が小さいほど、相関が大きいものとなる。
【００４９】
図４は並行化処理後の基準画像および参照画像の位置関係を説明するための図である。図４に示すように、撮像部２１Ａ，２１Ｂにおける基準画像Ｇ１および参照画像Ｇ２が得られる面となる画像面は、撮像部２１Ａ，２１Ｂの光軸との交点を原点とする。また、画像面上における撮像部２１Ａ，２１Ｂの座標系をそれぞれ（ｕ，ｖ）、（ｕ′，ｖ′）とする。ここで、並行化処理により撮像部２１Ａ，２１Ｂの光軸は平行となるため、画像面におけるｕ軸およびｕ′軸は同一直線上において同一方向を向くこととなる。また、並行化処理により、参照画像Ｇ２上におけるエピポーラ線は、ｕ′軸に平行なものとなるため、基準画像Ｇ１上におけるｕ軸も、参照画像Ｇ２のエピポーラ線の方向と一致することとなる。
【００５０】
ここで、撮像部２１Ａ，２１Ｂの焦点距離をｆ、基線長をｂとする。なお、焦点距離ｆおよび基線長ｂはキャリブレーションパラメータとしてあらかじめ算出されて内部メモリ２７に記憶されている。このとき、３次元空間上における被写体の位置を表す距離データ（Ｘ，Ｙ，Ｚ）は、撮像部２１Ａの座標系を基準とすると、下記の式（１）〜（３）により表される。
【００５１】
Ｘ＝ｂ・ｕ／（ｕ−ｕ′） （１）
Ｙ＝ｂ・ｖ／（ｕ−ｕ′） （２）
Ｚ＝ｂ・ｆ／（ｕ−ｕ′） （３）
ここでｕ−ｕ′は、撮像部２１Ａ，２１Ｂの画像面上における投影点の横方向のずれ量（視差）である。
【００５２】
このようにして距離データ（Ｘ，Ｙ，Ｚ）を３次元空間において複数算出することにより、その３次元空間に含まれる被写体の３次元形状を表すことができ、複数の距離データの集合が３次元データＶ０となる。ここで、距離データＸ，Ｙはその画素の位置を表す位置情報であり、距離データＺは距離を表す情報である。なお、距離データは基準画像Ｇ１および参照画像Ｇ２の共通する範囲においてのみ算出される。また、図５に示すように、３次元データＶ０の座標系は、撮像部２１Ａの座標系と一致することから、基準画像Ｇ１の各画素位置の座標（ｘ，ｙ）と距離データ（Ｘ，Ｙ，Ｚ）とを対応づけることができるなお、図５においてＹ軸は紙面に垂直方向に存在する。なお、基準画像Ｇ１は左上隅の画素を原点とし、水平方向をｘ方向、垂直方向をｙ方向とする座標系を有する。
【００５３】
３次元データ生成部３１は、ステレオマッチング部３０が求めた対応点を用いて、上記式（１）〜（３）により、撮像部２１Ａ，２１Ｂから被写体までの距離を表す距離データ（Ｘ，Ｙ，Ｚ）を３次元空間上において複数算出し、算出した複数の距離データ（Ｘ，Ｙ，Ｚ）からなる３次元データＶ０を生成する。
【００５４】
なお、図６に示すように、被写体Ｈの形状によっては、撮像部２１Ａからは臨むことができるが撮像部２１Ｂからは臨むことができない隠れ点Ｐ０が存在する場合がある。このような隠れ点Ｐ０については、距離データ（Ｘ，Ｙ，Ｚ）を算出することができないため、隠れ点Ｐ０については距離データが存在するのか否かが分からない。また、基準画像Ｇ１において参照画像Ｇ２と共通しない範囲においても距離データ（Ｘ，Ｙ，Ｚ）は算出することができない。このため、本実施形態においては、距離データ（Ｘ，Ｙ，Ｚ）が算出できない３次元空間上の点においては、距離データ（Ｘ，Ｙ，Ｚ）の値としてＦＦの値（Ｘ，Ｙ，Ｚを１６進数で表す場合）を与えて（（Ｘ，Ｙ，Ｚ）＝（ＦＦ，ＦＦ，ＦＦ））、距離データが算出されなかったことが分かるようにしておくものとする。
【００５５】
ＣＰＵ３６は、入出力部３７からの信号に応じてステレオカメラ１の各部を制御する。
【００５６】
入出力部３７は、各種インターフェース並びに撮影者が操作可能なスイッチ、レリーズボタンおよび操作ボタン等を備えてなるものである。
【００５７】
データバス３８は、ステレオカメラ１を構成する各部およびＣＰＵ３６に接続されており、ステレオカメラ１における各種データおよび各種情報のやり取りを行う。
【００５８】
次いで、第１の実施形態において行われる処理について説明する。図７は第１の実施形態において行われる処理を示すフローチャートである。なお、ここではレリーズボタンが全押しされて撮影の指示が行われた以降の処理について説明する。
【００５９】
レリーズボタン４が全押しされることによりＣＰＵ３６が処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３６からの指示により被写体を撮像し、さらに撮像部２１Ａ，２１Ｂが取得した画像データに対して、画像処理部２３が、補正処理、並行化処理および画像処理を施して基準画像および参照画像の画像データＧ１，Ｇ２を取得し（ステップＳＴ１）、ステレオマッチング部３０が対応点を探索し、３次元データ生成部３１が、探索した対応点に基づいて３次元データＶ０を生成する（ステップＳＴ２）。
【００６０】
次いで、ファイル生成部２４が、３次元データＶ０に含まれる各距離データ（Ｘ，Ｙ，Ｚ）に、対応する基準画像Ｇ１の画素位置の座標（ｘ，ｙ）を付与する（ステップＳＴ３）。これにより、３次元データＶ０に含まれる距離データと基準画像Ｇ１の各画素の画素位置とが対応づけられて、距離データが（ｘ，ｙ，Ｘ，Ｙ，Ｚ）のデータを有するものとなる。
【００６１】
次いで、ＣＰＵ３６からの指示により、表示制御部２８が情報入力画面をモニタ２０に表示し、３次元データファイルＦ０生成に際しての距離の基準となる基準平面の位置、処理モードおよび距離範囲の指定を、入出力部３７からの入力により受け付ける（情報入力受け付け：ステップＳＴ４）。図８は情報入力画面を示す図である。図８に示すように情報入力画面５０には、基準平面の位置、処理モードおよび距離範囲を入力するための第１から第４の入力ボックス５１〜５４が表示されている。
【００６２】
基準平面は、図５に示す座標系におけるＺ軸に直交する、後述するように距離データを距離順に並べ替える際の基準となる平面である。なお、基準平面の位置としては、ステレオカメラ１からの距離を入力する。なお、図８においては、基準平面の位置として０ｍｍが入力された状態を示している。
【００６３】
また、ステレオカメラ１においては、３次元データファイルＦ０を生成する処理モードとして複数のモードが設定可能とされており、撮影者は例えばモードの番号を入力して処理モードを指定する。処理モードの内容については後述する。なお、図８においては処理モードとして「１」が入力された状態を示している。
【００６４】
また、距離範囲は、３次元データファイルＦ０に格納する３次元データＶ０の距離範囲であり、撮影者は３次元データファイルＦ０に含めることを所望する３次元データＶ０の距離範囲の最小値および最大値を入力することにより、距離範囲を指定する。なお、図８においては距離範囲として０ｍｍ〜１０００ｍｍが入力された状態を示している。
【００６５】
ここで、第１から第３の入力ボックス５１〜５４には上下の矢印ボタンが付与されており、撮影者は入出力部３７の操作ボタンを用いて矢印ボタンを上下に押下することにより、入力ボックス５１〜５４に入力する値を変更することができる。
【００６６】
次いで、データ変換部２４Ａが、基準画像Ｇ１の座標が付与された距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）について、基準平面からの距離が同じ（すなわちデータＺの値が同じ）距離データが存在するか否かを判定する（ステップＳＴ５）。ステップＳＴ５が否定されると、上述したように入力された距離範囲に存在する距離データを、距離が基準平面に近い順に並べ替えて、変換済みの３次元データＶ１を取得する（ステップＳＴ６）。
【００６７】
ステップＳＴ５が肯定されると、基準平面からの距離が同じ距離データを抽出し（ステップＳＴ７）、抽出した距離データに付与されている基準画像Ｇ１の座標に基づいて、評価値Ｅ０を算出する（ステップＳＴ８）。ここで評価値Ｅ０は、基準画像Ｇ１の左上隅の座標を原点とした場合における、原点からその座標までの画素数を用いる。具体的には、評価値Ｅ０は基準画像Ｇ１の座標（ｘ，ｙ）を用いて、Ｅ０＝（基準画像Ｇ１の水平方向の画素数）×ｙ＋ｘにより算出する。そして、データ変換部２４Ａは、基準平面からの距離が同じ距離データについては、評価値Ｅ０が小さい順に並べ替えることにより、変換済みの３次元データＶ１を取得する（ステップＳＴ９）。
【００６８】
ステップＳＴ６，ＳＴ９に続いて、ファイル生成部２４が、画像データＧ１と３次元データＶ１とを１つのファイルとなるように結合する（ステップＳＴ１０）。この際、Ｘ，Ｙ，ＺがＦＦの値を有する距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）は削除される。そして、ファイル生成部２４は、撮影者が入力した距離範囲を所定の分割数により分割し、分割した場合の距離の境界における距離データを特定する（ステップＳＴ１１）。なお、本実施形態においては、分割数を８とする。また、境界における距離データは、分割した距離範囲における最遠の距離を表す距離データとするが、最近の距離を表す距離データであってもよい。
【００６９】
そして、ファイル生成部２４は、分割したそれぞれの距離範囲（以下、分割距離範囲とする）における最後の距離データのアドレスおよび必要な情報をヘッダに記述し（ステップＳＴ１２）、３次元データファイルＦ０を生成する（ステップＳＴ１３）。そして、メディア制御部２６が３次元データファイルＦ０を記録メディア２９に記録し（ステップＳＴ１４）、処理を終了する。
【００７０】
ここで、必要な情報としては、基準画像Ｇ１の水平方向および垂直方向の画素数、基準画像の画像データＧ１の開始アドレス、３次元データＶ１の開始アドレス、３次元データＶ１の終了アドレス、基準平面の位置、撮影者が入力した距離範囲、３次元データＶ１の最近距離とその距離データのアドレス、３次元データＶ１の最遠距離とその距離データのアドレス、および分割距離範囲の間隔の他、ファイル名および撮影日時等の情報が含まれる。
【００７１】
また、本実施形態においては、基準平面はＺ＝０（すなわちＸＹ平面）であり、距離範囲は０ｍｍ〜１０００ｍｍ、分割数は８となっている。このため、図９に示すように、０ｍｍ〜１０００ｍｍの距離範囲が１２５ｍｍ間隔で８つの範囲Ｈ１〜Ｈ８に分割される。なお各範囲Ｈ１〜Ｈ８は、それぞれ０ｍｍ以上１２５ｍｍ未満、１２５ｍｍ以上２５０ｍｍ未満、２５０ｍｍ以上３７５ｍｍ未満、３７５ｍｍ以上５００ｍｍ未満、５００ｍｍ以上６２５ｍｍ未満、６２５ｍｍ以上７５０ｍｍ未満、７５０ｍｍ以上８７５ｍｍ未満、８７５ｍｍ以上１０００ｍｍ以下となる。
【００７２】
図１０は３次元データファイルＦ０のファイル構造を示す図である。図１０に示すように３次元データファイルＦ０には、ヘッダ６０、画像データＧ１および３次元データＶ１が格納されている。３次元データＶ１は距離データが８つの範囲Ｈ１〜Ｈ８に分けられて３次元データファイルＦ０に格納されており、各範囲Ｈ１〜Ｈ８の最遠の距離を表す距離データのアドレスｈ１〜ｈ８がヘッダ６０に記述される。
【００７３】
図１１は第１の実施形態におけるヘッダの記述内容を示す図である。図１１に示すようにヘッダには、ファイル名として3D001.VVV、撮影日時として2007.12.24、処理モードとして１が記述される。また、基準画像Ｇ１の水平方向および垂直方向の画素数１２８０×１０２４、基準画像の画像データＧ１の開始アドレスａ１、３次元データＶ１の開始アドレスａ２、３次元データＶ１の終了アドレスａ３、基準平面の位置Ｚ＝０、入力した距離範囲０ｍｍ〜１０００ｍｍ、３次元データＶ１の最近距離０ｍｍとその距離データのアドレスａ４、３次元データＶ１の最遠距離１０００ｍｍとその距離データのアドレスａ５、および分割距離範囲の間隔１２５ｍｍ、範囲Ｈ１〜Ｈ８の最後の距離データのアドレスｈ１〜ｈ８が記述される。
【００７４】
図１２は３次元データファイルＦ０における画像データＧ１および３次元データＶ１の格納の状態を示す図である。図１２に示すように、画像データＧ１は基準画像Ｇ１の各画素のＲＧＢ各色の画素値が、原点（すなわち（ｘ，ｙ）＝（０，０））から順に並べられている。なお、連続して並ぶＲＧＢ３つの画素値が、基準画像Ｇ１の１画素のＲＧＢ各色の画素値に相当する。
【００７５】
また、３次元データＶ１は、基準平面に近い順に距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）が並べられている。ここで、（Ｘ，Ｙ，Ｚ）＝（ＦＦ，ＦＦ，ＦＦ）となる場合、距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）は３次元データＶ１が画像データＧ１と結合される際に削除される。例えば図１２の部分Ａの距離データが削除されると、部分Ａのデータがなくなることから、その分後のデータがつめて並べられる。
【００７６】
次いで、３次元データファイルＦ０の再生時の処理について説明する。図１３は３次元データファイルＦ０の再生時に行われる処理を示すフローチャートである。撮影者による３次元データファイルＦ０の再生の指示がなされることによりＣＰＵ３６が処理を開始し、記録メディア２９に記録された３次元データファイルＦ０を読み出して、３次元データファイルＦ０のヘッダから再生可能な距離範囲および分割距離範囲の間隔を読み出し（ステップＳＴ２１）、表示制御部２８が、再生範囲の選択画面をモニタ２０に表示する（ステップＳＴ２２）。
【００７７】
図１４は再生範囲の選択画面を示す図である。図１４に示すように再生範囲の選択画面７０は、再生可能な距離範囲および分割距離範囲の間隔を説明するテキスト７１と、再生する距離範囲を指定する距離範囲指定ボックス７２，７３とが表示されている。なお、距離範囲指定ボックス７２は再生の開始距離を、距離範囲指定ボックス７３は再生の終了距離をそれぞれ入力するものとなっている。ここで、距離範囲指定ボックス７２，７３には上下の矢印ボタンが付与されており、撮影者は入出力部３７の操作ボタンを用いて矢印ボタンを上下に押下することにより、距離範囲指定ボックス７２，７３に再生の開始距離および再生の終了距離を入力することができる。ここで、距離範囲指定ボックス７２，７３に表示される距離は３次元データファイルＦ０のヘッダに記述された距離範囲および分割距離範囲の間隔に応じて選択可能とされている。本実施形態においては、０ｍｍ〜１０００ｍｍの範囲において１２５ｍｍ間隔で距離を入力することができる。
【００７８】
そして、ＣＰＵ３６は、再生範囲が選択されると（ステップＳＴ２３：肯定）、３次元データファイルＦ０のヘッダに記述された範囲Ｈ１〜Ｈ８のアドレスｈ１〜ｈ８を参照して、撮影者が選択した再生範囲の距離データからなる３次元データＶ２を３次元データファイルＦ０から取得する（ステップＳＴ２４）。さらに、取得した３次元データＶ２に含まれる距離データに付与された基準画像Ｇ１の座標に基づいて、対応する基準画像の画素値（ＲＧＢ）を取得する（ステップＳＴ２５）。そして、取得した３次元データＶ２および画素値に基づいて、表示制御部２８が、撮影者が選択した再生範囲における被写体の３次元形状および２次元画像の確認画面をモニタ２０に再生する（ステップＳＴ２６）。
【００７９】
図１５は３次元形状および２次元画像の確認画面を示す図である。図１５に示すように、確認画面７４には撮影者が選択した再生範囲における３次元形状の画像である３次元画像７５および２次元画像７６が表示される。なお、画像７５，７６において、選択された再生範囲以外の部分を斜線で示す。また、３次元画像７５は距離に応じて色が異なるものであるが、ここでは白塗りで示している。また、モニタ２０には削除ボタン７７および終了ボタン７８が表示されている。
【００８０】
ＣＰＵ３６は、撮影者により削除ボタン７７が選択されたか否かを判定し（ステップＳＴ２７）、ステップＳＴ２７が肯定されると、削除確認画面を表示する（ステップＳＴ２８）。図１６は削除確認画面を示す図である。図１６に示すように削除確認画面８０には、現在再生されている部分以外のデータの削除の可否を撮影者に問い合わせるためのテキスト８１、ＹＥＳボタン８２およびＮＯボタン８３が表示されている。ＣＰＵ３６は、ＹＥＳボタン８２が選択されたか否かを判定し（ステップＳＴ２９）、ステップＳＴ２９が肯定されると、現在表示中の３次元形状を表す３次元データＶ２に含まれる距離データ以外の距離データを３次元データファイルＦ０から削除するとともに、ヘッダを編集する（ステップＳＴ３０）。そして、メディア制御部２６が、距離データが削除されかつヘッダが編集された処理済みの３次元データファイルＦ０を記録メディア２９に記録し（ステップＳＴ３１）、処理を終了する。
【００８１】
なお、ステップＳＴ２７が否定されると、終了ボタン７８が選択されたか否かを判定し（ステップＳＴ３２）、ステップＳＴ３２が肯定されると処理を終了する。ステップＳＴ３２が否定されると、ステップＳＴ２６に戻る。また、ステップＳＴ２９が否定されるとステップＳＴ２６に戻る。
【００８２】
なお、ヘッダの編集は、削除した距離データに関するアドレスｈ１〜ｈ８および範囲Ｈ１〜Ｈ８を削除するとともに、３次元データＶ１の開始アドレス、終了アドレス、入力した距離範囲、３次元データＶ１の最近距離とその距離データのアドレス、および３次元データの最遠距離とその距離データのアドレスを再生範囲の３次元データＶ２に対応するものに変更することにより行えばよい。
【００８３】
このように、本実施形態においては、距離順に並べ替えられた距離データからなる変換済みの３次元データＶ１を所定距離間隔により分割した場合の境界における距離データを特定し、特定した距離データのアドレスをヘッダに記述して３次元データＶ１が格納された３次元データファイルＦ０を生成するようにしたものである。このため、３次元データファイルＦ０のヘッダのアドレスを参照すれば、所定距離間隔の境界にある距離データを特定することができる。したがって、所望とする距離範囲にある距離データのみからなる３次元データＶ１を３次元データファイルＦ０から容易に取得することができ、その結果、所望とする距離範囲にある３次元形状の画像の再生を容易に行うことができる。
【００８４】
また、３次元データＶ１を、被写体を撮影することにより取得した基準画像および参照画像の画像データＧ１，Ｇ２から生成し、基準画像の画像データＧ１と３次元データＶ１とを関連づけて３次元データファイルＦ０を生成しているため、同一の目的のために生成された画像データＧ１および３次元データＶ０の管理が容易となる。
【００８５】
また、基準画像および参照画像の画像データＧ１，Ｇ２から３次元データＶ１を生成しているため、３次元データＶ１を生成する装置を別個に設ける必要がなくなる。
【００８６】
また、画像データＧ１により表される画像の画素位置の座標を、その画素位置における距離データに付与して３次元データファイルＦ０を生成しているため、再生時における基準画像Ｇ１と３次元形状との対応づけを容易に行うことができる。
【００８７】
また、基準画像Ｇ１の画素位置に対応する距離データが取得できない場合、その距離データを削除することにより、３次元データファイルＦ０のデータ量を低減することができる。
【００８８】
また、距離が同一の距離データが複数ある場合、対応する基準画像Ｇ１の画素位置の順序に基づいて距離データを並べ替えて変換済みの３次元データＶ１を生成することにより、距離が同一の距離データを並べ替える際の混乱を防止できる。
【００８９】
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態によるステレオカメラは、第１の実施形態と行われる処理のみが異なり、構成は同一であるため、ここでは構成についての詳細な説明は省略する。第２の実施形態においては、３次元データＶ０から被写体が存在する距離範囲を求め、その距離範囲の距離データのみを用いて３次元データファイルＦ０を生成するようにした点が第１の実施形態と異なる。
【００９０】
次いで、第２の実施形態において行われる処理について説明する。図１７は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態におけるステップＳＴ４１〜ステップＳＴ４３の処理は、第１の実施形態におけるステップＳＴ１〜ステップＳＴ３と同一であるため、ここでは詳細な説明は省略する。
【００９１】
ステップＳＴ４３に続いて、ＣＰＵ３６は３次元データファイルＦ０生成に際しての距離の基準となる基準平面の位置および処理モードの指定を、入出力部３７からの入力により受け付ける（情報入力受け付け：ステップＳＴ４４）。第１の実施形態においては処理モードとして「１」を入力していたが、第２の実施形態においては、第１の実施形態と異なる処理を行うものであることから、処理モードとして「２」を入力するものとする。また、第２の実施形態においては、３次元データＶ０から被写体が存在する距離範囲を求め、その距離範囲の距離データのみを用いて３次元データファイルＦ０を生成するものであるため、距離範囲の入力は受け付けない。
【００９２】
次いで、データ変換部２４Ａが、第１の実施形態のステップＳＴ５と同様に、基準画像Ｇ１の座標が付与された距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）について、基準平面からの距離が同じ距離データが存在するか否かを判定し（ステップＳＴ４５）、ステップＳＴ４５が否定されると、距離データを距離が基準平面に近い順に並べ替えて、変換済みの３次元データＶ１を取得する（ステップＳＴ４６）。さらに、３次元データＶ１に含まれる距離データにより表される距離の最近距離および最遠距離を取得する（ステップＳＴ４７）。
【００９３】
ステップＳＴ４５が肯定されると、第１の実施形態におけるステップＳＴ７〜ステップＳＴ９と同様にステップＳＴ４８〜ステップＳＴ５０の処理を行い、変換済みの３次元データＶ１を取得する。さらに、ステップＳＴ４７に進み、３次元データＶ１に含まれる距離データにより表される距離の最近距離および最遠距離を取得する。
【００９４】
図１８は第２の実施形態において取得される最近距離および最遠距離を説明するための図である。図１８に示すように被写体Ｈをステレオカメラ１により撮影した場合、被写体Ｈは距離Ｄ１と距離Ｄ２との間にのみ存在するため、距離データは距離Ｄ１と距離Ｄ２との間においてのみ算出される。したがって、最近距離はＤ１、最遠距離はＤ２となる。
【００９５】
続いて、ファイル生成部２４が、画像データＧ１と３次元データＶ１とを１つのファイルとなるように結合する（ステップＳＴ５１）。この際、Ｘ，Ｙ，ＺがＦＦの値を有する距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）は削除される。そして、ファイル生成部２４は、上述した最近距離Ｄ１および最遠距離Ｄ２の間の距離範囲を所定の分割数により分割し、分割した場合の境界における距離データを特定する（ステップＳＴ５２）。なお、本実施形態においては、分割数を８とする。また、境界における距離データは、分割した距離範囲における最後の距離データとする。
【００９６】
そして、ファイル生成部２４は、分割距離範囲における最後の距離データのアドレスおよび必要な情報をヘッダに記述し（ステップＳＴ５３）、３次元データファイルＦ０を生成する（ステップＳＴ５４）。そして、メディア制御部２６が３次元データファイルＦ０を記録メディア２９に記録し（ステップＳＴ５５）、処理を終了する。
【００９７】
ここで、図１８に示すように最近距離Ｄ１および最遠距離Ｄ２を取得した場合、距離範囲Ｄ１Ｄ２が８等分されることとなる。具体的には、最近距離Ｄ１＝９００ｍｍ、最遠距離Ｄ２＝１０００ｍｍとすると、分割数は８であることから、９００ｍｍ〜１０００ｍｍの距離範囲が１２．５ｍｍ間隔で８つの範囲Ｈ１１〜Ｈ１８に分割される。なお各範囲Ｈ１１〜Ｈ１８は、それぞれ９００ｍｍ以上９１２．５ｍｍ未満、９１２．５ｍｍ以上９２５ｍｍ未満、９２５ｍｍ以上９３７．５ｍｍ未満、９３７．５ｍｍ以上９５０ｍｍ未満、９５０ｍｍ以上９６２．５ｍｍ未満、９６２．５ｍｍ以上９７５ｍｍ未満、９７５ｍｍ以上９８７．５ｍｍ未満、９８７．５ｍｍ以上１０００ｍｍ以下となる。
【００９８】
図１９は第２の実施形態におけるヘッダの記述内容の例を示す図である。図１９に示すようにヘッダには、ファイル名として3D002.VVV、撮影日時として2007.12.24、処理モードとして２が記述される。また、基準画像Ｇ１の水平方向および垂直方向の画素数１２８０×１０２４、基準画像Ｇ１の画像データＧ１の開始アドレスａ１１、３次元データＶ１の開始アドレスａ１２、３次元データＶ１の終了アドレスａ１３、基準平面の位置Ｚ＝０、算出する距離範囲９００ｍｍ〜１０００ｍｍ、３次元データＶ１の最近距離９００ｍｍとその距離データのアドレスａ１４、３次元データＶ１の最遠距離１０００ｍｍとその距離データのアドレスａ１５、および分割距離範囲の間隔１２．５ｍｍ、範囲Ｈ１１〜Ｈ１８の最遠の距離を表す距離データのアドレスｈ１１〜ｈ１８が記述される。
【００９９】
このように、第２の実施形態においては、距離データにより表される距離における最近距離Ｄ１および最遠距離Ｄ２の間においてのみ３次元データＶ１を所定距離間隔により分割しているため、存在する距離データの範囲においてのみ３次元データファイルＦ０を生成することができ、その結果、３次元データファイルＦ０のデータ量を低減することができる。
【０１００】
なお、上記第１および第２の実施形態においては、Ｘ，Ｙ，ＺとしてＦＦの値を有する距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）を、画像データＧ１との結合時に削除しているが、これを削除することなく、３次元データファイルＦ０を生成するようにしてもよい。また、この場合の処理モードとしては、上記第１および第２の実施形態の処理モード１，２とは異なる処理モードの番号を設定しておけばよい。
【０１０１】
また、上記第１および第２の実施形態においては、３次元データファイルＦ０に基準画像の画像データＧ１のみを含めているが、参照画像の画像データＧ２も含めるようにしてもよい。なお、この場合において３次元データＶ１と結合する画像データは画像データＧ１，Ｇ２のいずれであってもよい。また、この場合の処理モードとしては、上記第１および第２の実施形態の処理モード１，２とは異なる処理モードの番号を設定しておけばよい。
【０１０２】
また、３次元データファイルＦ０に画像データＧ１，Ｇ２を含めることなく、３次元データＶ１のみを含む３次元データファイルＦ０を生成してもよい。この場合、３次元データファイルＦ０とファイル名が同一で拡張子が異なる画像データＧ１，Ｇ２の画像ファイルを別個に生成して、３次元データファイルＦ０と画像ファイルとを関連づけておくことが好ましい。なお、３次元データファイルＦ０と画像ファイルとの関連づけは、これに限定されるものではなく、３次元データファイルＦ０と画像ファイルとを一体不可分とできれば、例えばこれらのファイルを同一のフォルダに記録することによっても行うことができる。また、３次元データＶ１のみを含む３次元データファイルＦ０を再生する場合には、指定された距離範囲の３次元画像のみを再生するようにしてもよい。
【０１０３】
また、上記第１および第２の実施形態においては、２つの撮像部２１Ａ，２１Ｂを設け、２つの画像から３次元データＶ０を生成しているが、３以上の撮像部を設け、取得された３以上の画像データから３次元データＶ０を生成するようにしてもよい。
【０１０４】
なお、上記第１および第２の実施形態においては、ステレオカメラ１内において３次元データファイルＦ０を生成しているが、ファイル生成部２４およびデータ変換部２４Ａをステレオカメラ１とは別個に設け、基準画像および参照画像の画像データＧ１，Ｇ２および３次元データＶ０を外部のファイル生成部２４およびデータ変換部２４Ａに出力して、３次元データファイルＦ０を生成するようにしてもよい。
【０１０５】
また、上記第１および第２の実施形態においては、ステレオカメラ１において撮像部２１Ａ，２１Ｂにより取得した基準画像および参照画像の画像データＧ１，Ｇ２から３次元データＶ０を生成しているが、あらかじめ撮影により取得されて、記録メディア２９に記録された基準画像および参照画像の画像データＧ１，Ｇ２を読み出し、読み出した画像データＧ１，Ｇ２から３次元データＶ０を生成するようにしてもよい。
【０１０６】
また、上記第１および第２の実施形態においては、基準平面からの距離が小さい順に距離データを並べ替えているが、基準平面からの距離が大きい順に並べ替えるようにしてもよい。
【０１０７】
以上、本発明の実施形態について説明したが、コンピュータを、上記のファイル生成部２４およびファイル変換部２４Ａに対応する手段として機能させ、図７，１３，１７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第１の実施形態によるファイル生成装置および３次元形状再生装置を適用したステレオカメラの内部構成を示す概略ブロック図
【図２】撮像部の構成を示す図
【図３】ステレオマッチングを説明するための図
【図４】並行化処理後の基準画像および参照画像の位置関係を説明するための図
【図５】第１の実施形態の撮影時における距離データの座標系を説明するための図
【図６】隠れ点を説明するための図
【図７】第１の実施形態において行われる処理を示すフローチャート
【図８】情報入力画面を示す図
【図９】第１の実施形態における距離範囲の分割を説明するための図
【図１０】３次元データファイルＦ０のファイル構造を示す図
【図１１】第１の実施形態におけるヘッダの記述内容を示す図
【図１２】３次元データファイルＦ０における画像データＧ１および３次元データＶ１の格納の状態を示す図
【図１３】３次元データファイルＦ０の再生時に行われる処理を示すフローチャート
【図１４】再生範囲の選択画面を示す図
【図１５】３次元形状および２次元画像の確認画面を示す図
【図１６】削除確認画面を示す図
【図１７】第２の実施形態において行われる処理を示すフローチャート
【図１８】第２の実施形態における距離範囲の分割を説明するための図
【図１９】第２の実施形態におけるヘッダの記述内容を示す図
【符号の説明】
【０１０９】
１ ステレオカメラ
２１Ａ，２１Ｂ 撮像部
２４ ファイル生成部
２４Ａ データ変換部
３０ ステレオマッチング部
３１ ３次元データ生成部
【技術分野】
【０００１】
本発明は、被写体の３次元形状を表す３次元データから３次元データファイルを生成するファイル生成装置および方法、生成された３次元データファイルから３次元形状を再生するための３次元形状再生装置および方法、並びにファイル生成方法および３次元形状再生方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
異なる位置に設けられた２台以上のカメラを用いて被写体を撮像し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の３次元形状を表す３次元画像を生成する手法が提案されている。
【０００３】
このように生成された３次元画像のデータ（３次元データ）は、再利用のために保存する際に、基準画像および参照画像の画像データ（２次元画像データ）とは別個に保存されていたが、３次元データおよび２次元画像データを別個に保存すると、同一の目的のために生成された２つのデータを別個に管理する必要が生じる。このため、３次元データを２次元画像データに含めて１つのデータファイルとして出力する手法が提案されている（特許文献１，２参照）。
【特許文献１】特開２００５−７７２５３号公報
【特許文献２】ＷＯ２００３／９２３０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１，２に記載された手法は、３次元データを２次元画像データに含めて１つのデータファイルを生成しているのみである。このため、例えばある特定の距離範囲の３次元形状のみを再生したい場合には、データファイルからすべての３次元データを読み出して距離範囲を判断する必要があり、その結果、３次元形状および２次元画像の再生に長時間を要することとなる。
【０００５】
本発明は上記事情に鑑みなされたものであり、３次元データのファイルから簡易に所望とする距離範囲の３次元形状を再生できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明によるファイル生成装置は、被写体の３次元形状を表す複数の距離データからなる３次元データを取得する３次元データ取得手段と、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成するデータ変換手段と、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定し、該特定した距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成する生成手段とを備えたことを特徴とするものである。
【０００７】
「距離順に並べ替える」とは、距離が小さい順に並べ替えるものであっても、距離が大きい順に並べ替えるものであってもよい。
【０００８】
「格納場所情報」は、例えば３次元データファイルのヘッダに記述することにより、３次元データファイルに格納することができる。
【０００９】
なお、本発明によるファイル生成装置においては、前記生成手段を、前記複数の距離データにより表される複数の距離における最近距離と最遠距離との間においてのみ、前記変換済み３次元データを前記所定距離間隔により分割する手段としてもよい。
【００１０】
また、本発明によるファイル生成装置においては、前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得する２次元画像データ取得手段をさらに備えるものとし、
前記生成手段を、前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成する手段としてもよい。
【００１１】
「２次元画像データと３次元データとを関連づけて３次元データファイルを生成する」とは、２次元画像データと３次元データとが一体不可分となるように３次元データファイルを生成することを意味する。具体的には、２次元画像データおよび３次元データを結合して３次元データファイルに格納することのみならず、３次元データのみが格納された３次元データファイルと、２次元画像データのみが格納された２次元データファイルとを、ファイル名が同一で拡張子のみが異なる別ファイルとして生成すること等をも含むものである。
【００１２】
なお、この場合、前記３次元データ取得手段を、前記２次元画像データから前記３次元データを生成することにより取得する手段としてもよい。
【００１３】
また、この場合、前記生成手段を、前記２次元画像データにより表される画像の画素位置の情報を、その画素位置における前記距離データに付与して前記３次元データファイルを生成する手段としてもよい。
【００１４】
また、この場合において、前記生成手段を、前記２次元画像データにより表される画像の画素位置に対応する距離データが取得できない場合に、該画素位置と対応する距離データを削除する手段としてもよい。
【００１５】
また、この場合において、前記データ変換手段を、距離が同一の距離データが複数ある場合、対応する前記２次元画像データにより表される画像の画素位置の順序に基づいて、前記距離データを並べ替える手段としてもよい。
【００１６】
本発明による３次元形状再生装置は、本発明によるファイル生成装置により生成された３次元データファイルを取得するファイル取得手段と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける指定手段と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生する再生手段とを備えたことを特徴とするものである。
【００１７】
なお、本発明による３次元形状再生装置において、２次元画像データを取得した場合には、前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生するようにしてもよい。
【００１８】
本発明によるファイル生成方法は、被写体の３次元形状を表す複数の距離データからなる３次元データを取得し、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成し、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定し、
該特定された距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成することを特徴とするものである。
【００１９】
なお、本発明によるファイル生成方法においては、前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得し、
前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成するようにしてもよい。
【００２０】
本発明による３次元形状再生方法は、本発明によるファイル生成方法により生成された３次元データファイルを取得し、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付け、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生することを特徴とするものである。
【００２１】
なお、本発明による３次元形状再生方法において、２次元画像データを取得した場合には、前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生するようにしてもよい。
【００２２】
なお、本発明によるファイル生成方法および３次元形状再生方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２３】
本発明によるファイル生成装置および方法によれば、距離順に並べ替えられた距離データからなる変換済み３次元データを所定距離間隔により分割した場合の境界における距離データが特定され、特定された距離データのファイル内における格納場所を表す格納場所情報および変換済み３次元データが格納された３次元データファイルが生成される。このため、３次元データファイルに格納された格納場所情報を参照すれば、所定距離間隔の境界にある距離データを特定することができる。したがって、所望とする距離範囲にある距離データのみからなる３次元データを３次元データファイルから容易に取得することができ、その結果、所望とする距離範囲にある３次元形状の画像の再生を容易に行うことができる。
【００２４】
また、複数の距離データにより表される複数の距離における最近距離と最遠距離との間においてのみ、変換済み３次元データを所定距離間隔により分割することにより、存在する距離データの範囲においてのみ３次元データファイルを生成することができるため、３次元データファイルのデータ量を低減することができる。
【００２５】
また、３次元データが、被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、２次元画像データと３次元データとを関連づけて３次元データファイルを生成することにより、同一の目的のために生成された２次元画像データおよび３次元データの管理が容易となる。
【００２６】
この場合、２次元画像データから３次元データを生成して取得することにより、３次元データを生成する装置を別個に設ける必要がなくなる。
【００２７】
また、２次元画像データにより表される画像の画素位置の情報を、その画素位置における距離データに付与して３次元データファイルを生成することにより、再生時における２次元画像と３次元形状との対応づけを容易に行うことができる。
【００２８】
この場合において、２次元画像データにより表される画像の画素位置に対応する距離データが取得できない場合、その画素位置と対応する距離データを削除することにより、３次元データファイルのデータ量を低減することができる。
【００２９】
また、距離が同一の距離データが複数ある場合、対応する２次元画像データにより表される画像の画素位置の順序に基づいて距離データを並べ替えることにより、距離が同一の距離データを並べ替える際の混乱を防止できる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるファイル生成装置および３次元形状再生装置を適用したステレオカメラ１の内部構成を示す概略ブロック図である。図１に示すように第１の実施形態によるステレオカメラ１は、２つの撮像部２１Ａ，２１Ｂ、撮像制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。
【００３１】
図２は撮像部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮像部２１Ａ，２１Ｂは、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、ＣＣＤ１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。
【００３２】
レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。なお、本実施形態においては焦点位置は固定されているものとする。
【００３３】
絞り１１Ａ，１１Ｂは、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。なお、本実施形態においては絞り値データは固定されているものとする。
【００３４】
シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。なお、本実施形態においてはシャッタスピードは固定されているものとする。
【００３５】
ＣＣＤ１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３６】
ＡＦＥ１４Ａ，１４Ｂは、ＣＣＤ１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３７】
Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１Ａ，２１ＢのＣＣＤ１３Ａ，１３Ｂにおいて取得され、デジタル信号に変換されることにより得られる画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。なお、撮像部２１Ａにより取得される画像データにより表される２次元画像を基準画像Ｇ１、撮像部２１Ｂにより取得される画像データにより表される２次元画像を参照画像Ｇ２とする。また、以降の説明において、基準画像および参照画像の画像データに対してもＧ１，Ｇ２の参照符号を用いるものとする。
【００３８】
撮像制御部２２は、レリーズボタン押下後に撮像の制御を行う。
【００３９】
なお、本実施形態においては、焦点位置、絞り値データおよびシャッタスピードは固定されているが、ＡＦ処理およびＡＥ処理を行って、撮影の都度、焦点位置、絞り値データおよびシャッタスピードを設定するようにしてもよい。
【００４０】
画像処理部２３は、撮像部２１Ａ，２１Ｂが取得した画像データＧ１，Ｇ２に対して、画像データの感度分布のばらつきおよび光学系の歪みを補正する補正処理を施すとともに、２つの画像を並行化するための並行化処理を施す。さらに、並行化処理後の画像に対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の基準画像および参照画像およびこれらの画像データについても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。
【００４１】
ファイル生成部２４は、画像処理部２３によって処理が施された基準画像の画像データＧ１と、後述するように生成された被写体の３次元形状を表す３次元データＶ１とから３次元データファイルＦ０を生成する。この３次元データファイルＦ０においては、画像データＧ１および３次元データＶ１に対して必要な圧縮処理が施され、さらにＥｘｉｆフォーマット等に基づいて、撮影日時および後述する３次元データＶ１のアドレス等の付帯情報が記述されたヘッダが付与される。ここで、ファイル生成部２４は、後述するように生成された距離データを距離が小さい順に並べ替えて変換済みの３次元データＶ１を生成するデータ変換部２４Ａを備える。なお、ファイル生成部２４が行う詳細な処理については後述する。
【００４２】
フレームメモリ２５は、撮像部２１Ａ，２１Ｂが取得した基準画像Ｇ１および参照画像Ｇ２を表す画像データおよび３次元データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００４３】
メディア制御部２６は、記録メディア２９にアクセスして３次元データファイルＦ０の書き込みと読み込みの制御を行う。
【００４４】
内部メモリ２７は、ステレオカメラ１において設定される各種定数、およびＣＰＵ３６が実行するプログラム等を記憶する。
【００４５】
表示制御部２８は、フレームメモリ２５に格納された画像データをモニタ２０に表示させたり、記録メディア２９に記録されている３次元データファイルＦ０に含まれる３次元データＶ１により表される被写体の３次元形状の画像である３次元画像をモニタ２０に表示させたりするためのものである。
【００４６】
また、ステレオカメラ１は、ステレオマッチング部３０および３次元データ生成部３１を備える。
【００４７】
ステレオマッチング部３０は、図３に示すように、基準画像Ｇ１上のある画素Ｐａに写像される実空間上の点は、点Ｐ１，Ｐ２，Ｐ３というように点Ｏ１からの視線上に複数存在するため、実空間上の点Ｐ１ ，Ｐ２ ，Ｐ３ 等の写像である直線（エピポーラ線）上に、画素Ｐａに対応する参照画像Ｒ上の画素Ｐａ′が存在するという事実に基づいて、基準画像Ｇ１と参照画像Ｇ２との対応点を参照画像Ｇ２上において探索する。なお、図３において点Ｏ１は基準カメラとなる撮像部２１Ａの視点、点Ｏ２は参照カメラとなる撮像部２１Ｂの視点である。ここで、視点とは撮像部２１Ａ，２１Ｂの光学系の焦点である。また、対応点の探索は、画像処理が施された基準画像Ｇ１および参照画像Ｇ２を用いてもよいが、画像処理前の並行化処理のみが施された基準画像Ｇ１および参照画像Ｇ２を用いることが好ましい。以降では、対応点の探索は画像処理前の基準画像Ｇ１および参照画像Ｇ２を用いるものとして説明する。
【００４８】
具体的には、ステレオマッチング部３０は、対応点の探索を行う際に、あらかじめ定められた相関ウィンドウＷをエピポーラ線に沿って移動し、各移動位置において基準画像Ｇ１および参照画像Ｇ２の相関ウィンドウＷ内の画素についての相関を算出し、参照画像Ｇ２上の相関が最大となる位置における相関ウィンドウＷの中心画素を、基準画像Ｇ１上の画素Ｐａに対応する対応点とする。なお、相関を評価するための相関評価値としては、対応する画素値の差分絶対値和および差分２乗和の逆数等を用いることができる。この場合、相関評価値が小さいほど、相関が大きいものとなる。
【００４９】
図４は並行化処理後の基準画像および参照画像の位置関係を説明するための図である。図４に示すように、撮像部２１Ａ，２１Ｂにおける基準画像Ｇ１および参照画像Ｇ２が得られる面となる画像面は、撮像部２１Ａ，２１Ｂの光軸との交点を原点とする。また、画像面上における撮像部２１Ａ，２１Ｂの座標系をそれぞれ（ｕ，ｖ）、（ｕ′，ｖ′）とする。ここで、並行化処理により撮像部２１Ａ，２１Ｂの光軸は平行となるため、画像面におけるｕ軸およびｕ′軸は同一直線上において同一方向を向くこととなる。また、並行化処理により、参照画像Ｇ２上におけるエピポーラ線は、ｕ′軸に平行なものとなるため、基準画像Ｇ１上におけるｕ軸も、参照画像Ｇ２のエピポーラ線の方向と一致することとなる。
【００５０】
ここで、撮像部２１Ａ，２１Ｂの焦点距離をｆ、基線長をｂとする。なお、焦点距離ｆおよび基線長ｂはキャリブレーションパラメータとしてあらかじめ算出されて内部メモリ２７に記憶されている。このとき、３次元空間上における被写体の位置を表す距離データ（Ｘ，Ｙ，Ｚ）は、撮像部２１Ａの座標系を基準とすると、下記の式（１）〜（３）により表される。
【００５１】
Ｘ＝ｂ・ｕ／（ｕ−ｕ′） （１）
Ｙ＝ｂ・ｖ／（ｕ−ｕ′） （２）
Ｚ＝ｂ・ｆ／（ｕ−ｕ′） （３）
ここでｕ−ｕ′は、撮像部２１Ａ，２１Ｂの画像面上における投影点の横方向のずれ量（視差）である。
【００５２】
このようにして距離データ（Ｘ，Ｙ，Ｚ）を３次元空間において複数算出することにより、その３次元空間に含まれる被写体の３次元形状を表すことができ、複数の距離データの集合が３次元データＶ０となる。ここで、距離データＸ，Ｙはその画素の位置を表す位置情報であり、距離データＺは距離を表す情報である。なお、距離データは基準画像Ｇ１および参照画像Ｇ２の共通する範囲においてのみ算出される。また、図５に示すように、３次元データＶ０の座標系は、撮像部２１Ａの座標系と一致することから、基準画像Ｇ１の各画素位置の座標（ｘ，ｙ）と距離データ（Ｘ，Ｙ，Ｚ）とを対応づけることができるなお、図５においてＹ軸は紙面に垂直方向に存在する。なお、基準画像Ｇ１は左上隅の画素を原点とし、水平方向をｘ方向、垂直方向をｙ方向とする座標系を有する。
【００５３】
３次元データ生成部３１は、ステレオマッチング部３０が求めた対応点を用いて、上記式（１）〜（３）により、撮像部２１Ａ，２１Ｂから被写体までの距離を表す距離データ（Ｘ，Ｙ，Ｚ）を３次元空間上において複数算出し、算出した複数の距離データ（Ｘ，Ｙ，Ｚ）からなる３次元データＶ０を生成する。
【００５４】
なお、図６に示すように、被写体Ｈの形状によっては、撮像部２１Ａからは臨むことができるが撮像部２１Ｂからは臨むことができない隠れ点Ｐ０が存在する場合がある。このような隠れ点Ｐ０については、距離データ（Ｘ，Ｙ，Ｚ）を算出することができないため、隠れ点Ｐ０については距離データが存在するのか否かが分からない。また、基準画像Ｇ１において参照画像Ｇ２と共通しない範囲においても距離データ（Ｘ，Ｙ，Ｚ）は算出することができない。このため、本実施形態においては、距離データ（Ｘ，Ｙ，Ｚ）が算出できない３次元空間上の点においては、距離データ（Ｘ，Ｙ，Ｚ）の値としてＦＦの値（Ｘ，Ｙ，Ｚを１６進数で表す場合）を与えて（（Ｘ，Ｙ，Ｚ）＝（ＦＦ，ＦＦ，ＦＦ））、距離データが算出されなかったことが分かるようにしておくものとする。
【００５５】
ＣＰＵ３６は、入出力部３７からの信号に応じてステレオカメラ１の各部を制御する。
【００５６】
入出力部３７は、各種インターフェース並びに撮影者が操作可能なスイッチ、レリーズボタンおよび操作ボタン等を備えてなるものである。
【００５７】
データバス３８は、ステレオカメラ１を構成する各部およびＣＰＵ３６に接続されており、ステレオカメラ１における各種データおよび各種情報のやり取りを行う。
【００５８】
次いで、第１の実施形態において行われる処理について説明する。図７は第１の実施形態において行われる処理を示すフローチャートである。なお、ここではレリーズボタンが全押しされて撮影の指示が行われた以降の処理について説明する。
【００５９】
レリーズボタン４が全押しされることによりＣＰＵ３６が処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３６からの指示により被写体を撮像し、さらに撮像部２１Ａ，２１Ｂが取得した画像データに対して、画像処理部２３が、補正処理、並行化処理および画像処理を施して基準画像および参照画像の画像データＧ１，Ｇ２を取得し（ステップＳＴ１）、ステレオマッチング部３０が対応点を探索し、３次元データ生成部３１が、探索した対応点に基づいて３次元データＶ０を生成する（ステップＳＴ２）。
【００６０】
次いで、ファイル生成部２４が、３次元データＶ０に含まれる各距離データ（Ｘ，Ｙ，Ｚ）に、対応する基準画像Ｇ１の画素位置の座標（ｘ，ｙ）を付与する（ステップＳＴ３）。これにより、３次元データＶ０に含まれる距離データと基準画像Ｇ１の各画素の画素位置とが対応づけられて、距離データが（ｘ，ｙ，Ｘ，Ｙ，Ｚ）のデータを有するものとなる。
【００６１】
次いで、ＣＰＵ３６からの指示により、表示制御部２８が情報入力画面をモニタ２０に表示し、３次元データファイルＦ０生成に際しての距離の基準となる基準平面の位置、処理モードおよび距離範囲の指定を、入出力部３７からの入力により受け付ける（情報入力受け付け：ステップＳＴ４）。図８は情報入力画面を示す図である。図８に示すように情報入力画面５０には、基準平面の位置、処理モードおよび距離範囲を入力するための第１から第４の入力ボックス５１〜５４が表示されている。
【００６２】
基準平面は、図５に示す座標系におけるＺ軸に直交する、後述するように距離データを距離順に並べ替える際の基準となる平面である。なお、基準平面の位置としては、ステレオカメラ１からの距離を入力する。なお、図８においては、基準平面の位置として０ｍｍが入力された状態を示している。
【００６３】
また、ステレオカメラ１においては、３次元データファイルＦ０を生成する処理モードとして複数のモードが設定可能とされており、撮影者は例えばモードの番号を入力して処理モードを指定する。処理モードの内容については後述する。なお、図８においては処理モードとして「１」が入力された状態を示している。
【００６４】
また、距離範囲は、３次元データファイルＦ０に格納する３次元データＶ０の距離範囲であり、撮影者は３次元データファイルＦ０に含めることを所望する３次元データＶ０の距離範囲の最小値および最大値を入力することにより、距離範囲を指定する。なお、図８においては距離範囲として０ｍｍ〜１０００ｍｍが入力された状態を示している。
【００６５】
ここで、第１から第３の入力ボックス５１〜５４には上下の矢印ボタンが付与されており、撮影者は入出力部３７の操作ボタンを用いて矢印ボタンを上下に押下することにより、入力ボックス５１〜５４に入力する値を変更することができる。
【００６６】
次いで、データ変換部２４Ａが、基準画像Ｇ１の座標が付与された距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）について、基準平面からの距離が同じ（すなわちデータＺの値が同じ）距離データが存在するか否かを判定する（ステップＳＴ５）。ステップＳＴ５が否定されると、上述したように入力された距離範囲に存在する距離データを、距離が基準平面に近い順に並べ替えて、変換済みの３次元データＶ１を取得する（ステップＳＴ６）。
【００６７】
ステップＳＴ５が肯定されると、基準平面からの距離が同じ距離データを抽出し（ステップＳＴ７）、抽出した距離データに付与されている基準画像Ｇ１の座標に基づいて、評価値Ｅ０を算出する（ステップＳＴ８）。ここで評価値Ｅ０は、基準画像Ｇ１の左上隅の座標を原点とした場合における、原点からその座標までの画素数を用いる。具体的には、評価値Ｅ０は基準画像Ｇ１の座標（ｘ，ｙ）を用いて、Ｅ０＝（基準画像Ｇ１の水平方向の画素数）×ｙ＋ｘにより算出する。そして、データ変換部２４Ａは、基準平面からの距離が同じ距離データについては、評価値Ｅ０が小さい順に並べ替えることにより、変換済みの３次元データＶ１を取得する（ステップＳＴ９）。
【００６８】
ステップＳＴ６，ＳＴ９に続いて、ファイル生成部２４が、画像データＧ１と３次元データＶ１とを１つのファイルとなるように結合する（ステップＳＴ１０）。この際、Ｘ，Ｙ，ＺがＦＦの値を有する距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）は削除される。そして、ファイル生成部２４は、撮影者が入力した距離範囲を所定の分割数により分割し、分割した場合の距離の境界における距離データを特定する（ステップＳＴ１１）。なお、本実施形態においては、分割数を８とする。また、境界における距離データは、分割した距離範囲における最遠の距離を表す距離データとするが、最近の距離を表す距離データであってもよい。
【００６９】
そして、ファイル生成部２４は、分割したそれぞれの距離範囲（以下、分割距離範囲とする）における最後の距離データのアドレスおよび必要な情報をヘッダに記述し（ステップＳＴ１２）、３次元データファイルＦ０を生成する（ステップＳＴ１３）。そして、メディア制御部２６が３次元データファイルＦ０を記録メディア２９に記録し（ステップＳＴ１４）、処理を終了する。
【００７０】
ここで、必要な情報としては、基準画像Ｇ１の水平方向および垂直方向の画素数、基準画像の画像データＧ１の開始アドレス、３次元データＶ１の開始アドレス、３次元データＶ１の終了アドレス、基準平面の位置、撮影者が入力した距離範囲、３次元データＶ１の最近距離とその距離データのアドレス、３次元データＶ１の最遠距離とその距離データのアドレス、および分割距離範囲の間隔の他、ファイル名および撮影日時等の情報が含まれる。
【００７１】
また、本実施形態においては、基準平面はＺ＝０（すなわちＸＹ平面）であり、距離範囲は０ｍｍ〜１０００ｍｍ、分割数は８となっている。このため、図９に示すように、０ｍｍ〜１０００ｍｍの距離範囲が１２５ｍｍ間隔で８つの範囲Ｈ１〜Ｈ８に分割される。なお各範囲Ｈ１〜Ｈ８は、それぞれ０ｍｍ以上１２５ｍｍ未満、１２５ｍｍ以上２５０ｍｍ未満、２５０ｍｍ以上３７５ｍｍ未満、３７５ｍｍ以上５００ｍｍ未満、５００ｍｍ以上６２５ｍｍ未満、６２５ｍｍ以上７５０ｍｍ未満、７５０ｍｍ以上８７５ｍｍ未満、８７５ｍｍ以上１０００ｍｍ以下となる。
【００７２】
図１０は３次元データファイルＦ０のファイル構造を示す図である。図１０に示すように３次元データファイルＦ０には、ヘッダ６０、画像データＧ１および３次元データＶ１が格納されている。３次元データＶ１は距離データが８つの範囲Ｈ１〜Ｈ８に分けられて３次元データファイルＦ０に格納されており、各範囲Ｈ１〜Ｈ８の最遠の距離を表す距離データのアドレスｈ１〜ｈ８がヘッダ６０に記述される。
【００７３】
図１１は第１の実施形態におけるヘッダの記述内容を示す図である。図１１に示すようにヘッダには、ファイル名として3D001.VVV、撮影日時として2007.12.24、処理モードとして１が記述される。また、基準画像Ｇ１の水平方向および垂直方向の画素数１２８０×１０２４、基準画像の画像データＧ１の開始アドレスａ１、３次元データＶ１の開始アドレスａ２、３次元データＶ１の終了アドレスａ３、基準平面の位置Ｚ＝０、入力した距離範囲０ｍｍ〜１０００ｍｍ、３次元データＶ１の最近距離０ｍｍとその距離データのアドレスａ４、３次元データＶ１の最遠距離１０００ｍｍとその距離データのアドレスａ５、および分割距離範囲の間隔１２５ｍｍ、範囲Ｈ１〜Ｈ８の最後の距離データのアドレスｈ１〜ｈ８が記述される。
【００７４】
図１２は３次元データファイルＦ０における画像データＧ１および３次元データＶ１の格納の状態を示す図である。図１２に示すように、画像データＧ１は基準画像Ｇ１の各画素のＲＧＢ各色の画素値が、原点（すなわち（ｘ，ｙ）＝（０，０））から順に並べられている。なお、連続して並ぶＲＧＢ３つの画素値が、基準画像Ｇ１の１画素のＲＧＢ各色の画素値に相当する。
【００７５】
また、３次元データＶ１は、基準平面に近い順に距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）が並べられている。ここで、（Ｘ，Ｙ，Ｚ）＝（ＦＦ，ＦＦ，ＦＦ）となる場合、距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）は３次元データＶ１が画像データＧ１と結合される際に削除される。例えば図１２の部分Ａの距離データが削除されると、部分Ａのデータがなくなることから、その分後のデータがつめて並べられる。
【００７６】
次いで、３次元データファイルＦ０の再生時の処理について説明する。図１３は３次元データファイルＦ０の再生時に行われる処理を示すフローチャートである。撮影者による３次元データファイルＦ０の再生の指示がなされることによりＣＰＵ３６が処理を開始し、記録メディア２９に記録された３次元データファイルＦ０を読み出して、３次元データファイルＦ０のヘッダから再生可能な距離範囲および分割距離範囲の間隔を読み出し（ステップＳＴ２１）、表示制御部２８が、再生範囲の選択画面をモニタ２０に表示する（ステップＳＴ２２）。
【００７７】
図１４は再生範囲の選択画面を示す図である。図１４に示すように再生範囲の選択画面７０は、再生可能な距離範囲および分割距離範囲の間隔を説明するテキスト７１と、再生する距離範囲を指定する距離範囲指定ボックス７２，７３とが表示されている。なお、距離範囲指定ボックス７２は再生の開始距離を、距離範囲指定ボックス７３は再生の終了距離をそれぞれ入力するものとなっている。ここで、距離範囲指定ボックス７２，７３には上下の矢印ボタンが付与されており、撮影者は入出力部３７の操作ボタンを用いて矢印ボタンを上下に押下することにより、距離範囲指定ボックス７２，７３に再生の開始距離および再生の終了距離を入力することができる。ここで、距離範囲指定ボックス７２，７３に表示される距離は３次元データファイルＦ０のヘッダに記述された距離範囲および分割距離範囲の間隔に応じて選択可能とされている。本実施形態においては、０ｍｍ〜１０００ｍｍの範囲において１２５ｍｍ間隔で距離を入力することができる。
【００７８】
そして、ＣＰＵ３６は、再生範囲が選択されると（ステップＳＴ２３：肯定）、３次元データファイルＦ０のヘッダに記述された範囲Ｈ１〜Ｈ８のアドレスｈ１〜ｈ８を参照して、撮影者が選択した再生範囲の距離データからなる３次元データＶ２を３次元データファイルＦ０から取得する（ステップＳＴ２４）。さらに、取得した３次元データＶ２に含まれる距離データに付与された基準画像Ｇ１の座標に基づいて、対応する基準画像の画素値（ＲＧＢ）を取得する（ステップＳＴ２５）。そして、取得した３次元データＶ２および画素値に基づいて、表示制御部２８が、撮影者が選択した再生範囲における被写体の３次元形状および２次元画像の確認画面をモニタ２０に再生する（ステップＳＴ２６）。
【００７９】
図１５は３次元形状および２次元画像の確認画面を示す図である。図１５に示すように、確認画面７４には撮影者が選択した再生範囲における３次元形状の画像である３次元画像７５および２次元画像７６が表示される。なお、画像７５，７６において、選択された再生範囲以外の部分を斜線で示す。また、３次元画像７５は距離に応じて色が異なるものであるが、ここでは白塗りで示している。また、モニタ２０には削除ボタン７７および終了ボタン７８が表示されている。
【００８０】
ＣＰＵ３６は、撮影者により削除ボタン７７が選択されたか否かを判定し（ステップＳＴ２７）、ステップＳＴ２７が肯定されると、削除確認画面を表示する（ステップＳＴ２８）。図１６は削除確認画面を示す図である。図１６に示すように削除確認画面８０には、現在再生されている部分以外のデータの削除の可否を撮影者に問い合わせるためのテキスト８１、ＹＥＳボタン８２およびＮＯボタン８３が表示されている。ＣＰＵ３６は、ＹＥＳボタン８２が選択されたか否かを判定し（ステップＳＴ２９）、ステップＳＴ２９が肯定されると、現在表示中の３次元形状を表す３次元データＶ２に含まれる距離データ以外の距離データを３次元データファイルＦ０から削除するとともに、ヘッダを編集する（ステップＳＴ３０）。そして、メディア制御部２６が、距離データが削除されかつヘッダが編集された処理済みの３次元データファイルＦ０を記録メディア２９に記録し（ステップＳＴ３１）、処理を終了する。
【００８１】
なお、ステップＳＴ２７が否定されると、終了ボタン７８が選択されたか否かを判定し（ステップＳＴ３２）、ステップＳＴ３２が肯定されると処理を終了する。ステップＳＴ３２が否定されると、ステップＳＴ２６に戻る。また、ステップＳＴ２９が否定されるとステップＳＴ２６に戻る。
【００８２】
なお、ヘッダの編集は、削除した距離データに関するアドレスｈ１〜ｈ８および範囲Ｈ１〜Ｈ８を削除するとともに、３次元データＶ１の開始アドレス、終了アドレス、入力した距離範囲、３次元データＶ１の最近距離とその距離データのアドレス、および３次元データの最遠距離とその距離データのアドレスを再生範囲の３次元データＶ２に対応するものに変更することにより行えばよい。
【００８３】
このように、本実施形態においては、距離順に並べ替えられた距離データからなる変換済みの３次元データＶ１を所定距離間隔により分割した場合の境界における距離データを特定し、特定した距離データのアドレスをヘッダに記述して３次元データＶ１が格納された３次元データファイルＦ０を生成するようにしたものである。このため、３次元データファイルＦ０のヘッダのアドレスを参照すれば、所定距離間隔の境界にある距離データを特定することができる。したがって、所望とする距離範囲にある距離データのみからなる３次元データＶ１を３次元データファイルＦ０から容易に取得することができ、その結果、所望とする距離範囲にある３次元形状の画像の再生を容易に行うことができる。
【００８４】
また、３次元データＶ１を、被写体を撮影することにより取得した基準画像および参照画像の画像データＧ１，Ｇ２から生成し、基準画像の画像データＧ１と３次元データＶ１とを関連づけて３次元データファイルＦ０を生成しているため、同一の目的のために生成された画像データＧ１および３次元データＶ０の管理が容易となる。
【００８５】
また、基準画像および参照画像の画像データＧ１，Ｇ２から３次元データＶ１を生成しているため、３次元データＶ１を生成する装置を別個に設ける必要がなくなる。
【００８６】
また、画像データＧ１により表される画像の画素位置の座標を、その画素位置における距離データに付与して３次元データファイルＦ０を生成しているため、再生時における基準画像Ｇ１と３次元形状との対応づけを容易に行うことができる。
【００８７】
また、基準画像Ｇ１の画素位置に対応する距離データが取得できない場合、その距離データを削除することにより、３次元データファイルＦ０のデータ量を低減することができる。
【００８８】
また、距離が同一の距離データが複数ある場合、対応する基準画像Ｇ１の画素位置の順序に基づいて距離データを並べ替えて変換済みの３次元データＶ１を生成することにより、距離が同一の距離データを並べ替える際の混乱を防止できる。
【００８９】
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態によるステレオカメラは、第１の実施形態と行われる処理のみが異なり、構成は同一であるため、ここでは構成についての詳細な説明は省略する。第２の実施形態においては、３次元データＶ０から被写体が存在する距離範囲を求め、その距離範囲の距離データのみを用いて３次元データファイルＦ０を生成するようにした点が第１の実施形態と異なる。
【００９０】
次いで、第２の実施形態において行われる処理について説明する。図１７は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態におけるステップＳＴ４１〜ステップＳＴ４３の処理は、第１の実施形態におけるステップＳＴ１〜ステップＳＴ３と同一であるため、ここでは詳細な説明は省略する。
【００９１】
ステップＳＴ４３に続いて、ＣＰＵ３６は３次元データファイルＦ０生成に際しての距離の基準となる基準平面の位置および処理モードの指定を、入出力部３７からの入力により受け付ける（情報入力受け付け：ステップＳＴ４４）。第１の実施形態においては処理モードとして「１」を入力していたが、第２の実施形態においては、第１の実施形態と異なる処理を行うものであることから、処理モードとして「２」を入力するものとする。また、第２の実施形態においては、３次元データＶ０から被写体が存在する距離範囲を求め、その距離範囲の距離データのみを用いて３次元データファイルＦ０を生成するものであるため、距離範囲の入力は受け付けない。
【００９２】
次いで、データ変換部２４Ａが、第１の実施形態のステップＳＴ５と同様に、基準画像Ｇ１の座標が付与された距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）について、基準平面からの距離が同じ距離データが存在するか否かを判定し（ステップＳＴ４５）、ステップＳＴ４５が否定されると、距離データを距離が基準平面に近い順に並べ替えて、変換済みの３次元データＶ１を取得する（ステップＳＴ４６）。さらに、３次元データＶ１に含まれる距離データにより表される距離の最近距離および最遠距離を取得する（ステップＳＴ４７）。
【００９３】
ステップＳＴ４５が肯定されると、第１の実施形態におけるステップＳＴ７〜ステップＳＴ９と同様にステップＳＴ４８〜ステップＳＴ５０の処理を行い、変換済みの３次元データＶ１を取得する。さらに、ステップＳＴ４７に進み、３次元データＶ１に含まれる距離データにより表される距離の最近距離および最遠距離を取得する。
【００９４】
図１８は第２の実施形態において取得される最近距離および最遠距離を説明するための図である。図１８に示すように被写体Ｈをステレオカメラ１により撮影した場合、被写体Ｈは距離Ｄ１と距離Ｄ２との間にのみ存在するため、距離データは距離Ｄ１と距離Ｄ２との間においてのみ算出される。したがって、最近距離はＤ１、最遠距離はＤ２となる。
【００９５】
続いて、ファイル生成部２４が、画像データＧ１と３次元データＶ１とを１つのファイルとなるように結合する（ステップＳＴ５１）。この際、Ｘ，Ｙ，ＺがＦＦの値を有する距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）は削除される。そして、ファイル生成部２４は、上述した最近距離Ｄ１および最遠距離Ｄ２の間の距離範囲を所定の分割数により分割し、分割した場合の境界における距離データを特定する（ステップＳＴ５２）。なお、本実施形態においては、分割数を８とする。また、境界における距離データは、分割した距離範囲における最後の距離データとする。
【００９６】
そして、ファイル生成部２４は、分割距離範囲における最後の距離データのアドレスおよび必要な情報をヘッダに記述し（ステップＳＴ５３）、３次元データファイルＦ０を生成する（ステップＳＴ５４）。そして、メディア制御部２６が３次元データファイルＦ０を記録メディア２９に記録し（ステップＳＴ５５）、処理を終了する。
【００９７】
ここで、図１８に示すように最近距離Ｄ１および最遠距離Ｄ２を取得した場合、距離範囲Ｄ１Ｄ２が８等分されることとなる。具体的には、最近距離Ｄ１＝９００ｍｍ、最遠距離Ｄ２＝１０００ｍｍとすると、分割数は８であることから、９００ｍｍ〜１０００ｍｍの距離範囲が１２．５ｍｍ間隔で８つの範囲Ｈ１１〜Ｈ１８に分割される。なお各範囲Ｈ１１〜Ｈ１８は、それぞれ９００ｍｍ以上９１２．５ｍｍ未満、９１２．５ｍｍ以上９２５ｍｍ未満、９２５ｍｍ以上９３７．５ｍｍ未満、９３７．５ｍｍ以上９５０ｍｍ未満、９５０ｍｍ以上９６２．５ｍｍ未満、９６２．５ｍｍ以上９７５ｍｍ未満、９７５ｍｍ以上９８７．５ｍｍ未満、９８７．５ｍｍ以上１０００ｍｍ以下となる。
【００９８】
図１９は第２の実施形態におけるヘッダの記述内容の例を示す図である。図１９に示すようにヘッダには、ファイル名として3D002.VVV、撮影日時として2007.12.24、処理モードとして２が記述される。また、基準画像Ｇ１の水平方向および垂直方向の画素数１２８０×１０２４、基準画像Ｇ１の画像データＧ１の開始アドレスａ１１、３次元データＶ１の開始アドレスａ１２、３次元データＶ１の終了アドレスａ１３、基準平面の位置Ｚ＝０、算出する距離範囲９００ｍｍ〜１０００ｍｍ、３次元データＶ１の最近距離９００ｍｍとその距離データのアドレスａ１４、３次元データＶ１の最遠距離１０００ｍｍとその距離データのアドレスａ１５、および分割距離範囲の間隔１２．５ｍｍ、範囲Ｈ１１〜Ｈ１８の最遠の距離を表す距離データのアドレスｈ１１〜ｈ１８が記述される。
【００９９】
このように、第２の実施形態においては、距離データにより表される距離における最近距離Ｄ１および最遠距離Ｄ２の間においてのみ３次元データＶ１を所定距離間隔により分割しているため、存在する距離データの範囲においてのみ３次元データファイルＦ０を生成することができ、その結果、３次元データファイルＦ０のデータ量を低減することができる。
【０１００】
なお、上記第１および第２の実施形態においては、Ｘ，Ｙ，ＺとしてＦＦの値を有する距離データ（ｘ，ｙ，Ｘ，Ｙ，Ｚ）を、画像データＧ１との結合時に削除しているが、これを削除することなく、３次元データファイルＦ０を生成するようにしてもよい。また、この場合の処理モードとしては、上記第１および第２の実施形態の処理モード１，２とは異なる処理モードの番号を設定しておけばよい。
【０１０１】
また、上記第１および第２の実施形態においては、３次元データファイルＦ０に基準画像の画像データＧ１のみを含めているが、参照画像の画像データＧ２も含めるようにしてもよい。なお、この場合において３次元データＶ１と結合する画像データは画像データＧ１，Ｇ２のいずれであってもよい。また、この場合の処理モードとしては、上記第１および第２の実施形態の処理モード１，２とは異なる処理モードの番号を設定しておけばよい。
【０１０２】
また、３次元データファイルＦ０に画像データＧ１，Ｇ２を含めることなく、３次元データＶ１のみを含む３次元データファイルＦ０を生成してもよい。この場合、３次元データファイルＦ０とファイル名が同一で拡張子が異なる画像データＧ１，Ｇ２の画像ファイルを別個に生成して、３次元データファイルＦ０と画像ファイルとを関連づけておくことが好ましい。なお、３次元データファイルＦ０と画像ファイルとの関連づけは、これに限定されるものではなく、３次元データファイルＦ０と画像ファイルとを一体不可分とできれば、例えばこれらのファイルを同一のフォルダに記録することによっても行うことができる。また、３次元データＶ１のみを含む３次元データファイルＦ０を再生する場合には、指定された距離範囲の３次元画像のみを再生するようにしてもよい。
【０１０３】
また、上記第１および第２の実施形態においては、２つの撮像部２１Ａ，２１Ｂを設け、２つの画像から３次元データＶ０を生成しているが、３以上の撮像部を設け、取得された３以上の画像データから３次元データＶ０を生成するようにしてもよい。
【０１０４】
なお、上記第１および第２の実施形態においては、ステレオカメラ１内において３次元データファイルＦ０を生成しているが、ファイル生成部２４およびデータ変換部２４Ａをステレオカメラ１とは別個に設け、基準画像および参照画像の画像データＧ１，Ｇ２および３次元データＶ０を外部のファイル生成部２４およびデータ変換部２４Ａに出力して、３次元データファイルＦ０を生成するようにしてもよい。
【０１０５】
また、上記第１および第２の実施形態においては、ステレオカメラ１において撮像部２１Ａ，２１Ｂにより取得した基準画像および参照画像の画像データＧ１，Ｇ２から３次元データＶ０を生成しているが、あらかじめ撮影により取得されて、記録メディア２９に記録された基準画像および参照画像の画像データＧ１，Ｇ２を読み出し、読み出した画像データＧ１，Ｇ２から３次元データＶ０を生成するようにしてもよい。
【０１０６】
また、上記第１および第２の実施形態においては、基準平面からの距離が小さい順に距離データを並べ替えているが、基準平面からの距離が大きい順に並べ替えるようにしてもよい。
【０１０７】
以上、本発明の実施形態について説明したが、コンピュータを、上記のファイル生成部２４およびファイル変換部２４Ａに対応する手段として機能させ、図７，１３，１７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第１の実施形態によるファイル生成装置および３次元形状再生装置を適用したステレオカメラの内部構成を示す概略ブロック図
【図２】撮像部の構成を示す図
【図３】ステレオマッチングを説明するための図
【図４】並行化処理後の基準画像および参照画像の位置関係を説明するための図
【図５】第１の実施形態の撮影時における距離データの座標系を説明するための図
【図６】隠れ点を説明するための図
【図７】第１の実施形態において行われる処理を示すフローチャート
【図８】情報入力画面を示す図
【図９】第１の実施形態における距離範囲の分割を説明するための図
【図１０】３次元データファイルＦ０のファイル構造を示す図
【図１１】第１の実施形態におけるヘッダの記述内容を示す図
【図１２】３次元データファイルＦ０における画像データＧ１および３次元データＶ１の格納の状態を示す図
【図１３】３次元データファイルＦ０の再生時に行われる処理を示すフローチャート
【図１４】再生範囲の選択画面を示す図
【図１５】３次元形状および２次元画像の確認画面を示す図
【図１６】削除確認画面を示す図
【図１７】第２の実施形態において行われる処理を示すフローチャート
【図１８】第２の実施形態における距離範囲の分割を説明するための図
【図１９】第２の実施形態におけるヘッダの記述内容を示す図
【符号の説明】
【０１０９】
１ ステレオカメラ
２１Ａ，２１Ｂ 撮像部
２４ ファイル生成部
２４Ａ データ変換部
３０ ステレオマッチング部
３１ ３次元データ生成部
【特許請求の範囲】
【請求項１】
被写体の３次元形状を表す複数の距離データからなる３次元データを取得する３次元データ取得手段と、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成するデータ変換手段と、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定し、該特定した距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成する生成手段とを備えたことを特徴とするファイル生成装置。
【請求項２】
前記生成手段は、前記複数の距離データにより表される複数の距離における最近距離と最遠距離との間においてのみ、前記変換済み３次元データを前記所定距離間隔により分割する手段であることを特徴とする請求項１記載のファイル生成装置。
【請求項３】
前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得する２次元画像データ取得手段をさらに備え、
前記生成手段は、前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成する手段であることを特徴とする請求項１または２記載のファイル生成装置。
【請求項４】
前記３次元データ取得手段は、前記２次元画像データから前記３次元データを生成することにより取得する手段であることを特徴とする請求項３記載のファイル生成装置。
【請求項５】
前記生成手段は、前記２次元画像データにより表される画像の画素位置の情報を、その画素位置における前記距離データに付与して前記３次元データファイルを生成する手段であることを特徴とする請求項３または４記載のファイル生成装置。
【請求項６】
前記生成手段は、前記２次元画像データにより表される画像の画素位置に対応する距離データが取得できない場合、該画素位置と対応する距離データを削除する手段であることを特徴とする請求項５記載のファイル生成装置。
【請求項７】
前記データ変換手段は、距離が同一の距離データが複数ある場合、対応する前記２次元画像データにより表される画像の画素位置の順序に基づいて、前記距離データを並べ替える手段であることを特徴とする請求項３から６のいずれか１項記載のファイル生成装置。
【請求項８】
請求項１から７のいずれか１項記載のファイル生成装置により生成された３次元データファイルを取得するファイル取得手段と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける指定手段と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生する再生手段とを備えたことを特徴とする３次元形状再生装置。
【請求項９】
請求項３から７のいずれか１項記載のファイル生成装置により生成された３次元データファイルを取得するファイル取得手段と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける指定手段と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生する再生手段とを備えたことを特徴とする３次元形状再生装置。
【請求項１０】
被写体の３次元形状を表す複数の距離データからなる３次元データを取得し、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成し、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定し、
該特定した距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成することを特徴とするファイル生成方法。
【請求項１１】
前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得し、
前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成することを特徴とする請求項１０記載のファイル生成方法。
【請求項１２】
請求項１０記載のファイル生成方法により生成された３次元データファイルを取得し、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付け、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生することを特徴とする３次元形状再生方法。
【請求項１３】
請求項１１記載のファイル生成方法により生成された３次元データファイルを取得し、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付け、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生することを特徴とする３次元形状再生方法。
【請求項１４】
被写体の３次元形状を表す複数の距離データからなる３次元データを取得する手順と、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成する手順と、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定する手順と、
該特定した距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成する手順とを有することを特徴とするファイル生成方法をコンピュータに実行させるためのプログラム。
【請求項１５】
前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得する手順を有し、
前記３次元データファイルを生成する手順は、前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成する手順であることを特徴とする請求項１４記載のプログラム。
【請求項１６】
請求項１０記載のファイル生成方法により生成された３次元データファイルを取得する手順と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける手順と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生する手順とを有することを特徴とする３次元形状再生方法をコンピュータに実行させるためのプログラム。
【請求項１７】
請求項１１記載のファイル生成方法により生成された３次元データファイルを取得する手順と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける手順と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生する手順とを有することを特徴とする３次元形状再生方法をコンピュータに実行させるためのプログラム。
【請求項１】
被写体の３次元形状を表す複数の距離データからなる３次元データを取得する３次元データ取得手段と、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成するデータ変換手段と、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定し、該特定した距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成する生成手段とを備えたことを特徴とするファイル生成装置。
【請求項２】
前記生成手段は、前記複数の距離データにより表される複数の距離における最近距離と最遠距離との間においてのみ、前記変換済み３次元データを前記所定距離間隔により分割する手段であることを特徴とする請求項１記載のファイル生成装置。
【請求項３】
前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得する２次元画像データ取得手段をさらに備え、
前記生成手段は、前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成する手段であることを特徴とする請求項１または２記載のファイル生成装置。
【請求項４】
前記３次元データ取得手段は、前記２次元画像データから前記３次元データを生成することにより取得する手段であることを特徴とする請求項３記載のファイル生成装置。
【請求項５】
前記生成手段は、前記２次元画像データにより表される画像の画素位置の情報を、その画素位置における前記距離データに付与して前記３次元データファイルを生成する手段であることを特徴とする請求項３または４記載のファイル生成装置。
【請求項６】
前記生成手段は、前記２次元画像データにより表される画像の画素位置に対応する距離データが取得できない場合、該画素位置と対応する距離データを削除する手段であることを特徴とする請求項５記載のファイル生成装置。
【請求項７】
前記データ変換手段は、距離が同一の距離データが複数ある場合、対応する前記２次元画像データにより表される画像の画素位置の順序に基づいて、前記距離データを並べ替える手段であることを特徴とする請求項３から６のいずれか１項記載のファイル生成装置。
【請求項８】
請求項１から７のいずれか１項記載のファイル生成装置により生成された３次元データファイルを取得するファイル取得手段と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける指定手段と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生する再生手段とを備えたことを特徴とする３次元形状再生装置。
【請求項９】
請求項３から７のいずれか１項記載のファイル生成装置により生成された３次元データファイルを取得するファイル取得手段と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける指定手段と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生する再生手段とを備えたことを特徴とする３次元形状再生装置。
【請求項１０】
被写体の３次元形状を表す複数の距離データからなる３次元データを取得し、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成し、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定し、
該特定した距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成することを特徴とするファイル生成方法。
【請求項１１】
前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得し、
前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成することを特徴とする請求項１０記載のファイル生成方法。
【請求項１２】
請求項１０記載のファイル生成方法により生成された３次元データファイルを取得し、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付け、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生することを特徴とする３次元形状再生方法。
【請求項１３】
請求項１１記載のファイル生成方法により生成された３次元データファイルを取得し、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付け、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生することを特徴とする３次元形状再生方法。
【請求項１４】
被写体の３次元形状を表す複数の距離データからなる３次元データを取得する手順と、
前記複数の距離データを距離順に並べ替えて変換済み３次元データを生成する手順と、
前記変換済み３次元データを所定距離間隔により分割した場合の境界における前記距離データを特定する手順と、
該特定した距離データのファイル内における格納場所を表す格納場所情報および前記変換済み３次元データが格納された３次元データファイルを生成する手順とを有することを特徴とするファイル生成方法をコンピュータに実行させるためのプログラム。
【請求項１５】
前記３次元データが、前記被写体を撮影することにより取得した複数の２次元画像データから生成されてなる場合、該２次元データを取得する手順を有し、
前記３次元データファイルを生成する手順は、前記２次元画像データと前記３次元データとを関連づけて、前記３次元データファイルを生成する手順であることを特徴とする請求項１４記載のプログラム。
【請求項１６】
請求項１０記載のファイル生成方法により生成された３次元データファイルを取得する手順と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける手順と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データにより表される３次元形状の画像を再生する手順とを有することを特徴とする３次元形状再生方法をコンピュータに実行させるためのプログラム。
【請求項１７】
請求項１１記載のファイル生成方法により生成された３次元データファイルを取得する手順と、
前記３次元データファイルに含まれる前記格納場所情報に基づいて、前記３次元形状についての再生距離範囲の指定を受け付ける手順と、
前記３次元データファイルから前記再生距離範囲の距離データのみからなる３次元データを取得し、該取得した３次元データに関連する２次元画像データを取得し、該取得した３次元データにより表される３次元形状の画像および２次元画像データにより表される２次元画像を再生する手順とを有することを特徴とする３次元形状再生方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−１７６０９３（Ｐ２００９−１７６０９３Ａ）
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【出願番号】特願２００８−１４５９６（Ｐ２００８−１４５９６）
【出願日】平成２０年１月２５日（２００８．１．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１０４１８９
【弁理士】
【氏名又は名称】福尾 勲将
【Ｆターム（参考）】
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【出願日】平成２０年１月２５日（２００８．１．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１０４１８９
【弁理士】
【氏名又は名称】福尾 勲将
【Ｆターム（参考）】
[ Back to top ]