三次元測定装置及び三次元測定方法
【課題】画角を変更する操作に応じた三次元画像を取得可能にする。
【解決手段】被写体を撮像する撮像手段を備えてなる三次元測定装置において、三次元画像データを取得し、取得した三次元画像データを、三次元画像データで表わされる三次元画像の少なくとも一部ｏｂ１の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作Ｔ、Ｗもしくは該操作部材の操作Ｔ、Ｗに対応する操作に基づいて処理する。
【解決手段】被写体を撮像する撮像手段を備えてなる三次元測定装置において、三次元画像データを取得し、取得した三次元画像データを、三次元画像データで表わされる三次元画像の少なくとも一部ｏｂ１の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作Ｔ、Ｗもしくは該操作部材の操作Ｔ、Ｗに対応する操作に基づいて処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像データを生成する三次元測定装置及び三次元測定方法に関するものである。
【背景技術】
【０００２】
近年、異なる視点から同一の被写体を撮像することにより取得した複数の画像データか三次元画像データを生成する三次元測定装置が提案されており、三次元画像データの生成方法としては、例えば、取得された複数の画像データにおいて共通して写っている点、いわゆる対応点を特定し、三角測量の原理に従って対応点までの距離を算出することにより、被写体の三次元形状を推測するステレオマッチング法を用いる方法が知られている。
【０００３】
一方、仮想空間上において、立体形状を表わす三次元画像の位置や大きさを変更したり、合成したりする三次元ＣＡＤ（３Ｄ−Computer-Aided Design）ソフトウェアは既に知られている。
【０００４】
また予め容易された三次元形状を表わす三次元画像と、カメラ撮影により得られる実写画像とを合成する様々な装置が提案されており、このような装置としてはカメラの位置、カメラの向き、及びカメラの視野の広さが実際のカメラとは異なる仮想カメラの情報を出力することにより、実際のカメラと被写体との位置関係とは異なる位置関係を満たす合成画像を得るようにした画像合成装置がある（特許文献１）。
【特許文献１】特開２００１−２８５７１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された画像処理装置は、カメラ撮影により得られる二次元画像データと三次元形状を表わす三次元画像データとを合成するものであり、二次元画像を三次元空間中のどこの位置に配置するかを決定するものであって、三次元画像のみを操作するものはなかった。
【０００６】
また上記ステレオマッチング法によって算出された距離データは、略実際の距離の値が求められおり、カメラの光学ズームや電子ズーム等の操作による被写体の遠近感は反映されていなかった。
【０００７】
本発明はかかる事情に鑑みてなされたものであり、画角を変更する操作に応じた三次元画像を取得可能な三次元測定装置及び三次元測定方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の三次元測定装置は、被写体を撮像する撮像手段と、
該撮像手段で撮像して得た被写体の三次元画像データを含む、１つ以上の三次元画像データを取得可能な三次元画像データ取得手段と、
該三次元画像データ取得手段で取得された三次元画像データを、該三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作もしくは該操作部材の操作に対応する操作に基づいて処理する画像データ処理手段とを備えたことを特徴とするものである。
【０００９】
ここで本発明において「三次元画像データ」とは、被写体のＸ，Ｙ，Ｚ方向の座標データであり、座標Ｘ，Ｙはその画素の位置を表す位置情報、座標Ｚは奥行き情報である。また「三次元画像」は、表示する表示手段が二次元表示のものである場合には、三次元画像データで表わされる被写体の形状すなわち三次元モデルを二次元の平面に投影したものを意味し、例えばワイヤーフレームや、サーフェース等で表わすことができる。また画像を表示する表示手段が画像を立体視可能なものである場合には、立体視される立体視画像を意味する。
【００１０】
また本発明の三次元画像データ取得手段が取得する三次元画像データは、「撮像手段で撮像して得た被写体の三次元画像データ」を含む場合もあるし、含まない場合もある。また「三次元画像データで表わされる三次元画像」は、実際に表示された画像であってもよいし、表示したと仮定した場合の仮想的なものであってもよい。また「三次元画像データ」は表示のためにバッファ等の一時的にデータを記憶するメモリ領域等に一時的に形成されるデータであっても、ハードディスクや光磁気ディスク等のストレージ等に（特に操作しなければ）恒久的に保存されるデータであってもよい。つまり例えばバッファ上の表示画像だけを変化させながら最適な「奥行き方向の位置及び／又は大きさ」を決定し、確定したときにストレージ上のデータに変更分を反映させるようにしてもよい。
【００１１】
なお本発明の三次元測定装置においては、前記画像データ処理手段が、前記三次元画像データ取得手段で取得された複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部が他の三次元画像に対して、前記複数の三次元画像が合成されたときの奥行き方向の位置及び／又は大きさが相対的に変化するように前記処理するものであってもよい。
【００１２】
この場合、前記画像データ処理手段が、前記複数の三次元画像が合成された合成三次元画像に対して前記処理を行ってもよい。
【００１３】
本発明の三次元測定装置においては、前記画角変換操作部材が、前記撮像手段の画角を光学的に変換させる光学ズーミング操作部材とすることができる。
【００１４】
本発明の三次元測定装置においては、前記画角変換操作部材が、前記撮像手段の画角を電子的に変換させるものとすることができる。
【００１５】
本発明の三次元測定装置においては、前記撮像手段の画角範囲の被写体のスルー画像を表示する表示手段をさらに備え、
前記画像データ処理手段が、前記スルー画像に前記三次元画像を合成して表示すると共に前記処理を行うことができる。
【００１６】
また本発明の三次元測定装置においては、前記撮像手段の画角範囲の被写体のスルー画像を表示する表示手段をさらに備え、
前記画像データ処理手段が、前記スルー画像に表示された前記画角範囲の変化に連動して前記処理を行うことができる。
【００１７】
ここで本発明において「スルー画像」とは、撮像手段の固定撮像素子から所定間隔毎に読み出された画像データがデジタル信号処理されて出力されるものであり、連続性のある画像つまり動画を意味する。
【００１８】
本発明の三次元測定装置においては、前記画像データ処理手段が、前記撮像手段の画角変換操作部材の操作により変更される前記撮像手段の画角の変化量に対応し前記三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように前記処理するものであってもよい。
【００１９】
また本発明の三次元測定方法は、被写体を撮像する撮像手段を備えてなる三次元測定装置を使用した三次元測定方法において、
三次元画像データを取得し、
該取得した三次元画像データを、該三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作もしくは該操作部材の操作に対応する操作に基づいて処理することを特徴とする。
【００２０】
なお本発明の三次元測定方法においては、前記撮像手段で異なる視点から被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得してもよい。
【００２１】
本発明の三次元測定方法においては、前記三次元画像データを１つ以上入力し、
該入力された１つ以上の三次元画像データから１つの三次元画像データを取得してもよい。
【００２２】
また本発明の三次元測定方法は、前記三次元画像データを複数取得し、
該取得した複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部が他の三次元画像に対して、前記複数の三次元画像が合成されたときの奥行き方向の位置及び／又は大きさが相対的に変化するように前記処理することができる。
【００２３】
なおこの場合、本発明の三次元測定方法では、異なる被写体に対してそれぞれ、
前記撮像手段で異なる視点から前記被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得して、
各々が前記異なる被写体の複数の三次元画像データを取得してもよい。
【００２４】
また本発明の三次元測定方法では、前記三次元画像データを複数入力し、
該入力された複数の三次元画像データから前記複数の三次元画像データを取得してもよい。
【００２５】
また本発明の三次元測定方法では、前記三次元画像データを複数入力すると共に、
前記撮像手段で異なる視点から被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得して、
該取得した画像データと前記入力された複数の三次元画像データから前記複数の三次元画像データを取得してもよい。
【発明の効果】
【００２６】
本発明の三次元測定装置及び三次元測定方法によれば、取得した三次元画像データを、この三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、撮像手段の画角変換操作部材の操作もしくは画角変換操作部材の操作に対応する操作に基づいて処理するので、撮像手段の画角を変更する操作に応じて三次元画像の奥行き方向の位置及び／又は大きさを変化させることができて、撮像手段の画角を変更する感覚で画角を変更する操作に応じた三次元画像を取得することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明にかかる三次元測定装置の一実施形態としてのステレオカメラ１について、図面を参照して詳細に説明する。図１は本実施形態のステレオカメラ１の概観斜視図である。
【００２８】
本実施形態のステレオカメラ１は、図１に示す如く、前面に２つの撮像部２１Ａ，２１Ｂのレンズ１０Ａ，１０Ｂを備え、上面に被写体の撮像を指示するシャッタボタン２と被写体に向けて発光するフラッシュ３とを備えている。また背面には、ズームテレボタン４ａとズームワイドボタン４ｂとで構成されたズームボタン（画角変換操作部材）４と、モニタ２０と、上下左右ボタン５とを備え、側面には例えばＵＳＢコネクタ等の入出力コネクタ６が備えられている。
【００２９】
ここで図２に図１のステレオカメラ１の内部構成を示す概略ブロック図、図３に撮像部２１Ａ，２１Ｂの構成を示す図をそれぞれ示す。
【００３０】
ステレオカメラ１は、図２に示す如く、２つの撮像部（撮像手段）２１Ａ，２１Ｂ、撮像制御部２２、信号処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、モニタ２０、及び操作部３６を備えている。
【００３１】
撮像部２１Ａ，２１Ｂは、図３に示す如く、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、ＣＣＤ１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備えている。
【００３２】
レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。なお本実施形態において焦点位置は固定されているものとする。
【００３３】
絞り１１Ａ，１１Ｂは、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。なお本実施形態において絞り値データは固定されているものとする。
【００３４】
シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。なお本実施形態においてシャッタスピードは固定されているものとする。
【００３５】
ＣＣＤ１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３６】
ＡＦＥ１４Ａ，１４Ｂは、ＣＣＤ１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３７】
Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１Ａにより取得される二次元画像データにより表される画像を左目用画像（基準画像）、撮像部２１Ｂにより取得される二次元画像データにより表される画像を右目用画像（参照画像）とし、左目用画像と右目用画像の二次元画像データをステレオ画像データという。このように２つの撮像部２１Ａ，２１Ｂは構成されている。
【００３８】
また図２に示す撮像制御部２２は、シャッタボタン２が押下後に撮像部２１Ａ，２１Ｂの撮像の制御を行う。なお本実施形態においては、焦点位置、絞り値データおよびシャッタスピードは固定されているが、ＡＦ処理およびＡＥ処理を行って、撮影の都度、焦点位置、絞り値データおよびシャッタスピードを設定するようにしてもよい。
【００３９】
信号処理部２３は、撮像部２１Ａ，２１Ｂが取得したデジタルの画像データに対して、画像データの感度分布のばらつきおよび光学系の歪みを補正する補正処理や２つの画像を並行化するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換
処理等を施す。さらにこれらの処理後の画像に対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。
【００４０】
圧縮／伸長処理部２４は、信号処理部２３によって各種処理が施された画像データ及び／又は後述する画像データ処理部３３によって各種処理が施された画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を施し、必要に応じて画像ファイルを生成する。この画像ファイルは、ステレオ画像データ、三次元画像データ、合成三次元画像の三次元画像データ等により構成される。なお三次元画像データとは、被写体のＸ，Ｙ，Ｚ方向の座標値のデータであり、座標Ｘ，Ｙはその画素の位置を表す位置情報、座標Ｚは奥行き情報である。またこの画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時やステレオ画像の配置位置を表す情報等の付帯情報が記述されたヘッダが付与される。
【００４１】
フレームメモリ２５は、撮像部２１Ａ，２１Ｂが取得したステレオ画像データに対して、前述の信号処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００４２】
メディア制御部２６は、記録メディア２９にアクセスして距離画像の画像ファイルの書き込みと読み込みの制御を行う。
【００４３】
内部メモリ２７は、ステレオカメラ１において設定される各種定数、およびＣＰＵ３４が実行するプログラム等を記憶する。また各種画像データ等を記憶することもできる。
【００４４】
表示制御部２８は、内部メモリ２７に格納された画像データをモニタ２０に表示させたり、記録メディア２９に記録されている画像をモニタ２０に表示させたり、フレームメモリ２５に格納された画像データをスルー画像としてモニタ２０に表示させるためのものである。ここでスルー画像とは、撮像部２１Ａ，２１ＢのＣＣＤ１３Ａ、１３Ｂから所定間隔毎に読み出された画像データがデジタル信号処理されて出力されるものであり、連続性のある画像つまり動画を意味する。
【００４５】
モニタ２０は、表示制御部２８を介して二次元画像又は三次元画像を表示するものであり、操作部３６によって設定操作される各種設定メニュー等も表示する。二次元画像の表示は、三次元画像データで表わされる被写体の形状すなわち三次元モデルを二次元の平面に投影して表示する公知の技術（平行投影や透視投影の処理を示す。財団法人 画像情報教育振興協会(CG-ARTS協会)発行のコンピュータグラフィックス2−3章32ページ〜を参照）を使用することができ、例えばワイヤーフレームや、サーフェース等で表わすことができる。三次元画像の表示は、三次元画像データに基づいて行われ、上述した奥行き情報を画素値で表現した濃淡画像により表示することもできる。
【００４６】
またモニタ２０は、画像ファイルにステレオ画像データが含まれている場合には、例えば左目用画像と右目用画像をそれぞれ画像の縦方向に細長く切り取って交互に並べて表示し、同様に縦方向に刻まれたスリットを通して観察者に見せるようにすることで、観察者の左目には左目用画像を、右目には右目用画像をそれぞれ届ける、視差バリア（パララックスバリア）方式や、上記スリットの代わりにレンチキュラレンズを使用したレンチキュラ方式を使用することにより画像を立体視可能にされたものであってもよい。
【００４７】
なお、２つの表示画面、あるいは１つの表示画面の左右に左目用画像と右目用画像を表示したものを左右の眼で見る方式でもよい。その他、空間分割方式であってもよい。
【００４８】
また時系列的に光路を変更させる、例えば特許第３９３００２１号公報に記載された、いわゆるスキャンバックライト方式を使用してもよいし、画像分離メガネを使用し、左右の画像を交互に表示することにより、画像を立体視する時分割方式を使用してもよい。
【００４９】
操作部３６は、上述したシャッタボタン２、ズームボタン４、上下左右ボタン５等の各種操作ボタンにより構成されていて、上下左右ボタン５はモニタ２０に表示された各種設定メユー等の設定時にカーソルを移動させたり、選択したりする。
【００５０】
ズームボタン４は、ズームを指示するものであり、ズームテレボタン４ａを押下することにより望遠側へのズームを指示し、ズームワイドボタン４ｂを押下することにより広角側へのズームを指示する。そしてステレオカメラ１による撮影時にズームテレボタン４ａ又はズームワイドボタン４ｂを操作することにより、撮像部２１Ａ，２１Ｂのレンズ１０Ａ，１０Ｂのズームレンズの焦点距離を変化させる。つまり撮像部２１Ａ，２１Ｂの画角を光学的に変換させる光学ズーミング操作部材として機能する。
【００５１】
またモニタ２０への画像再生時に、ズームテレボタン４ａ又はズームワイドボタン４ｂを操作することにより、再生中の画像を拡大又は縮小する。つまり撮像部２１Ａ，２１Ｂの画角を電子的に変換させる画角変換操作部材としても機能する。
【００５２】
さらにステレオカメラ１は、図２に示す如く、被写体検出部３０、ステレオ演算部３１、三次元画像データ取得部３２、画像データ処理部３３、ＣＰＵ３４、入出力部３５を備える。
【００５３】
被写体検出部３０は、撮像部２１Ａ，２１Ｂが撮影により取得した左目用画像及び右目用画像（信号処理前であっても処理後であってもよい）から、例えば図５Ａに示すような直方体ｏｂ１や図９に示すような円柱ｏｂ２、直方体ｏｂ３、ｏｂ４等の所定被写体を含む所定被写体領域を検出する。なお所定被写体の検出方法は、例えば特開２００１−１８４５１２号公報等に記載の公知の技術を使用することができる。
【００５４】
ステレオ演算部３１は、左目用画像と右目用画像すなわちステレオ画像データから被写体各部までの距離を算出して、被写体のＸ，Ｙ，Ｚ方向の座標値のデータで構成される三次元画像データを取得するものである。このとき座標Ｘ，Ｙはその画素の位置を表す位置情報、座標Ｚは奥行き情報である。
【００５５】
三次元画像データの取得には、公知のステレオマッチング法を使用することができて、ステレオ画像においてエッジやセグメント等、共通して写っている点、いわゆる対応点を相関演算によって特定し、この対応点の位置情報から視差を求め、この視差に基づいて三角測量の原理に従って対応点までの距離すなわち被写体各部までの距離を算出する。
【００５６】
このとき対応点の検出は、左目用画像から複数の画素で構成された画素ブロックＷａを算出し、算出された画素ブロックＷａを右目用画像中で走査して濃淡等の形状パターンの一致度評価値（相関度）を計算して、右目用画像において画素ブロックＷａと対応するブロックＷｂを検出する、いわゆる領域ベースマッチング（area-based matching）といわれる方法や、先に左目用画像と右目用画像からそれぞれエッジやセグメント等の特徴点を見つけ出し、左目用画像と右目用画像におけるこの特徴点の相関度から対応点を検出する、いわゆる特徴ベースマッチング（feature-based matching）といわれる方法等を使用することができる。一致度評価値（相関度）の計算は、例えば各画素の差の絶対値を合計する、または各画素の差を２乗したものを合計するなど、公知の技術を使用することができる。
【００５７】
三次元画像データ取得部３２は、撮像部２１Ａ，２１Ｂで撮影して得たステレオ画像データに基づいて上記ステレオ演算部３１が取得した三次元画像データやメディア制御部２６を介して記録メディア２９から読み出された三次元画像データ、内部メモリ２７に記憶された三次元画像データ、後述の入出力部３５から入力された三次元画像データを取得可能であり、１つ以上の三次元画像データを取得するものである。なお取得する三次元画像データが複数の場合には、撮像部２１Ａ，２１Ｂで複数回撮影を行い、複数のステレオ画像データで複数取得された三次元画像データを取得してもよいし、記録メディア２９から読み出された複数の三次元画像データを取得してもよいし、内部メモリ２７に記憶された複数の三次元画像データを取得してもよいし、入出力部３５から入力された複数の三次元画像データを取得してもよいし、これらを混合して取得してもよい。
【００５８】
画像データ処理部３３は、上記三次元画像データ取得部３２により取得された三次元画像データを、三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向（Ｚ方向）の位置及び／又は大きさを変化するものである。なおこの画像データ処理部３３による処理方法については後で詳細に説明する。
【００５９】
ＣＰＵ３４は、シャッタボタン２を含む操作部３６からの信号に応じてステレオカメラ１の各部を制御する。
【００６０】
入出力部３５は、音声の入力や出力、上述した入出力コネクタ６からの各種データの入出力、図示しない無線ＬＡＮや有線ケーブル等による各種データの入出力を行う。
【００６１】
データバス３７は、ステレオカメラ１を構成する各部およびＣＰＵ３４に接続されており、ステレオカメラ１における各種データおよび各種情報のやり取りを行う。本実施形態のステレオカメラ１は上記のように構成されている。
【００６２】
次にステレオカメラ１による三次元測定方法の一連の処理について説明する。図４はステレオカメラ１による一連の三次元測定処理のフローチャート、図５Ａはステレオカメラ１の撮影状況を示す斜視図、図５Ｂはステレオカメラと三次元画像との位置関係を示す図の一例、図５Ｃはステレオカメラと三次元画像との位置関係を示す図の別の例である。なお図４では、シャッタボタン２が全押しされて撮影の指示が行われた以降の処理について説明する。
【００６３】
上記構成のステレオカメラ１は、シャッタボタン２が全押しされることにより撮像制御部２２がＣＰＵ３４を介して処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３４からの指示により、図５Ａに示す如く、直方体ｏｂ１を所定被写体とした被写体を撮影してデジタルのステレオ画像データを取得して（ステップＳ１）、取得したステレオ画像データに対して信号処理部２３が上述した各種信号処理を施す（ステップＳ２）。
【００６４】
次に被写体検出部３０が、上記信号処理が施されたステレオ画像データつまり左目用画像及び右目用画像から直方体ｏｂ１領域を検出して（ステップＳ３）、ステレオ演算部３１が上述したようにステレオ画像データについてステレオ演算を行い（ステップＳ４）、被写体各部までの距離を算出し、三次元画像データ取得部３２が被写体各部すなわち撮影画像のＸ，Ｙ，Ｚ方向の座標値のデータで構成される三次元画像データを取得する（ステップＳ５）。このとき後述する画像データ処理部３３が三次元画像の一部である直方体ｏｂ１のみの奥行き方向及び／又は大きさを変化させる場合には、取得する三次元画像データは上記検出された直方体ｏｂ１領域（所定被写体領域）の座標値データのみであってもよい。
【００６５】
なお撮影時の撮像部２１Ａのレンズ１０Ａの主点の位置を原点０とし、三次元画像データ取得部３２により取得された直方体ｏｂ１の重心までの奥行き方向の距離を距離Ｌ１としてこの位置を初期位置Ｃ０とする。
【００６６】
そして三次元画像データを取得すると表示制御部２８が、図５Ａに示す如く、モニタ２０に三次元画像データで表わされる三次元画像Ｐ１を表示する（ステップＳ６）。なお本実施形態ではモニタ２０は二次元画像を表示するものとし、三次元画像データで表わされる被写体の形状を図５Ａに示すようにワイヤーフレームで表示する。なお本実施形態においてはこのワイヤーフレームにて表示された画像を以下、三次元画像という。そして三次元画像Ｐ１はスルー画像に重ねて表示してもよい。このときスルー画像又は三次元画像Ｐ１を半透明で表示したり、ワイヤーフレームを点線にて表示させたりしてもよい。
【００６７】
次にＣＰＵ３４は、ズームボタン４が押下つまり操作されたか否かを判別し（ステップＳ７）、押下されていない場合（ステップＳ７；ＮＯ）には、ユーザがモニタ２０に表示されている三次元画像を所望していると判断して、表示制御部２８が取得した三次元画像データで表わされる三次元画像を引き続きモニタ２０に表示し、かつメディア制御部２６が記録メディア２９に三次元画像データを記録する（ステップＳ８）。三次元画像データはＣＰＵ３４を介して内部メモリ２７に記録してもよい。
【００６８】
一方ステップＳ７にて、ズームボタンが押下された場合（ステップＳ７；ＹＥＳ）には、ユーザが表示された三次元画像を所望していないと判断して、画像データ処理部３３が取得された三次元画像データで表わされる三次元画像Ｐ１の直方体ｏｂ１の奥行き方向の位置及び／又は大きさが変化するように、ズームボタン４の操作に基づいて前記三次元画像データを処理する（ステップＳ９）。ここで、図６Ａに奥行き方向の位置を変化させる画像データ処理１のフローチャートを示す。
【００６９】
画像データ処理部３３による画像データ処理１は、図６Ａに示す如く、先ずズームボタン４の操作量を検出する（ステップＳ１１）。そしてズームボタン４の操作により変化した画角量の比例倍を直方体ｏｂ１の三次元画像データの奥行値（座標Ｚ）に掛算する（ステップＳ１２）。
【００７０】
これはズームボタン４が撮影部２１Ａの画角を光学的に変換させる光学ズーミング操作部材として機能するときには、例えば図５Ｂに示す如く、ズームボタン４が押下される前の初期位置Ｃ０のときに、ＣＣＤ１３Ａから読み出された画像データＰ０中の所定の被写体ｏｂの画素領域が１００ピクセルであり、ズームテレボタン（Ｔ）４ａが押下された後にＣＣＤ１３Ａから読み出された画像データＰｔ中の所定の被写体ｏｂの画素領域が１５０ピクセルであるときには、画角変化量が１．５倍となるため、三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに１／１．５を掛算して、直方体０ｂ１を画像データ上、ステレオカメラ１側に近づける方向（図５Ｂ中、右側）の位置Ｃｔへ移動する。
【００７１】
このときＣＣＤ１３Ａから読み出された画像データＰ０、画像データＰｔ中の所定の被写体ｏｂは、レンズ１０Ａがまだ直方体ｏｂ１に向いているときには、直方体ｏｂ１であってもよいし、別の被写体に向いているときには別の被写体であってもよい。つまり撮像部２１Ａの画角の変化量が算出可能であればいずれの被写体であってもよい。
【００７２】
一方、ズームワイドボタン（Ｗ）４ｂが押下された後にＣＣＤ１３Ａから読み出された画像データＰｗにおける所定の被写体ｏｂの画素領域が７５ピクセルであるときには、画角変化量が０．７５倍となるため、三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに１／０．７５を掛算して、直方体０ｂ１を画像データ上、ステレオカメラ１側に遠ざける方向（図５Ｂ中、左側）の位置Ｃｗへ移動する。
【００７３】
またズームボタン４が撮影部２１Ａの画角を電子的に変換させるものである場合には、ＣＣＤ１３Ａから読み出された画像データＰ０における所定の被写体ｏｂの画素領域に対する、拡大された画像データＰｔ又は縮小された画像データＰｗにおける所定の被写体ｏｂの画素領域の変化量を算出して画角変化量を検出することにより、上記と同様にして直方体０ｂ１を画像データ上で移動させる。
【００７４】
なおこのときモニタ２０にスルー画像が表示されていて、ズームボタン４の操作によりスルー画像の画角が変化する場合には、スルー画像の画角変化量を検出することにより上記と同様にして直方体０ｂ１を画像データ上で移動させてもよい。このスルー画像の画角変化量は、スルー画像における所定の被写体ｏｂの画素領域の変化量を算出することにより検出できる。なおズームボタン４の操作によりスルー画像の画角が変化するときには、モニタ２０に三次元画像Ｐ１（図５Ａ参照）を表示していなくてもよいし、表示していてもよい。
【００７５】
そして次にステップＳ１２にて上記のように演算された座標Ｚの値に三次元画像データを変更して（ステップＳ１３）、画像データ処理１を終了する。このようにズームボタン４の操作に基づいて上記画像データ処理１を行うことにより、変更された三次元画像データで表わされる三次元画像は、図５Ｂの上図に示す如く、ズームボタン４が操作されていない三次元画像Ｐ１０（真ん中図）と比較して、ズームテレボタン４ａが操作された時には直方体ｏｂ１が手前側に位置した三次元画像Ｐ１ｔ（右図）となり、ズームワイドボタン４ｂが操作された時には直方体ｏｂ１が奥側に位置した三次元画像Ｐ１ｗ（左図）となって、ステレオカメラ１の撮影部２１Ａの画角を変更する感覚で三次元画像の奥行き方向の位置を変更することができる。
【００７６】
次に三次元画像データの大きさを変化させる画像データ処理２について説明する。図６Ｂは画像データ処理２のフローチャートである。なお図６Ｂは便宜上、図６Ａのフローチャートと同じ処理については同じステップ番号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。
【００７７】
画像データ処理部３３による画像データ処理２は、図６Ｂに示す如く、ステップ１１にてズームボタン４の操作量を検出すると（ステップＳ１１）、次に直方体ｏｂ１の三次元画像データのＸ，Ｙ，Ｚ方向の座標値からそれぞれ直方体ｏｂ１の重心にある座標系のＸ',Ｙ',Ｚ'軸方向に座標変換することにより、直方体ｏｂ１について自身の重心からの座標値(x',y',z')を算出する（ステップＳ１４）。そしてズームボタン４の操作により変化した画角量の比例倍を直方体ｏｂ１の座標値(x',y',z')に掛算する（ステップＳ１５）。
【００７８】
これはズームボタン４が撮影部２１Ａの画角を光学的に変換させる光学ズーミング操作部材として機能するときには、例えば図５Ｃに示す如く、ズームボタン４が押下される前に、ＣＣＤ１３Ａから読み出された画像データＰ０中の所定の被写体ｏｂの画素領域が１００ピクセルであり、ズームテレボタン（Ｔ）４ａが押下された後にＣＣＤ１３Ａから読み出された画像データＰｔ中の所定の被写体ｏｂの画素領域が１５０ピクセルであるときには、画角変化量が１．５倍となるため、三次元画像データの直方体ｏｂ１の座標値(x',y',z')に１．５を掛算して、直方体０ｂ１を画像データ上、重心を中心として拡大する。
【００７９】
一方、ズームワイドボタン（Ｗ）４ｂが押下された後にＣＣＤ１３Ａから読み出された画像データＰｗにおける所定の被写体ｏｂの画素領域が７５ピクセルであるときには、画角変化量が０．７５倍となるため、三次元画像データの直方体ｏｂ１の座標値(x',y',z')に０．７５を掛算して、直方体０ｂ１を画像データ上、重心を中心として縮小する。
【００８０】
またズームボタン４が撮影部２１Ａの画角を電子的に変換させるものである場合には、ＣＣＤ１３Ａから読み出された画像データＰ０における所定の被写体ｏｂの画素領域に対する、拡大された画像データＰｔ又は縮小された画像データＰｗにおける所定の被写体ｏｂの画素領域の変化量を算出して画角変化量を検出することにより、上記と同様にして直方体０ｂ１を画像データ上で拡大又は縮小する。
【００８１】
なおこのときモニタ２０にスルー画像が表示されていて、ズームボタン４の操作によりスルー画像の画角が変化する場合には、スルー画像の画角変化量を検出することにより上記と同様にして直方体０ｂ１を画像データ上で拡大又は縮小してもよい。このスルー画像の画角変化量は、スルー画像における所定の被写体ｏｂの画素領域の変化量を算出することにより検出できる。なおズームボタン４の操作によりスルー画像の画角が変化するときには、モニタ２０に三次元画像Ｐ１（図５Ａ参照）を表示していなくてもよいし、表示していてもよい。
【００８２】
そして次にステップＳ１２にて上記のように演算された直方体ｏｂ１の重心座標系の三次元画像データ(x',y',z')をカメラ座標系(レンズ主点もしくは焦点に座標原点を持つ)に座標変換をして（ステップＳ１６）、画像データ処理２を終了する。
【００８３】
このようにズームボタン４の操作に基づいて上記画像データ処理２を行うことにより、変更された三次元画像データで表わされる三次元画像は、図５Ｃの上図に示す如く、ズームボタン４が操作されていない三次元画像Ｐ１０（真ん中図）と比較して、ズームテレボタン４ａが操作された時には重心の位置を変更することなく直方体ｏｂ１を拡大した三次元画像Ｐ１ｔ（右図）となり、ズームワイドボタン４ｂが操作された時には重心の位置を変更することなく直方体ｏｂ１を縮小した三次元画像Ｐ１ｗ（左図）となって、ステレオカメラ１の撮影部２１Ａの画角を変更する感覚で三次元画像の大きさを変更することができる。
【００８４】
なお本実施形態では三次元画像の一部である直方体ｏｂ１の重心を中心にして拡大又は縮小を行ったが本発明はこれに限られるものではなく、三次元画像の中央を中心として拡大又は縮小してもよい。
【００８５】
次に三次元画像データの奥行き方向の位置を変化させる別の画像データ処理３について説明する。図６Ｃは画像データ処理３のフローチャートである。なお画像データ処理３では、上記実施形態の画像データ処理１、２とは異なりズームボタン４ではなく別のボタンの操作に基づいて処理を行う。本実施形態では図１の上下左右ボタン５を使用する例について以下説明するが、例えば新たに位置変更用ボタンを設けてもよい。なお本実施形態の画像データ処理３を行う場合には図４のステップ７はズームボタン４ではなく上下左右ボタン５が押下されたか否かを判別するものとする。
【００８６】
画像データ処理部３３による画像データ処理３は、図６Ｃに示す如く、まず上下左右ボタン５の操作量を検出し（ステップＳ２１）、モードを判別する（ステップＳ２２）。そしてモードがＡである場合（ステップＳ２２；Ａ）には、下記表１に示す画角変化量テーブルから画角変化量を選択する（ステップＳ２３）。
【表１】
【００８７】
上記表１に示す画角変化量テーブルは、上下左右ボタン５の↑ボタン又は↓ボタンが押下された回数つまり操作回数と、↑ボタンと同じ操作回数だけズームテレボタン４ａが押下されたときのレンズ１０Ａのズームレンズの駆動、又は画像データの拡大、あるいはスルー画像の拡大による画角の変化量との対応表であり、例えば↑ボタンが５回押下されたときには、ズームテレボタン４ａが５回押下されたときのレンズ１０Ａのズームレンズの駆動、又は画像データの拡大、あるいはスルー画像の拡大による画角の変化量に相当する１．５倍が画角変化量となり、↓ボタンが５回押下されたときには、ズームワイドボタン４ｂが５回押下されたときのレンズ１０Ａのズームレンズの駆動、又は画像データの縮小、あるいはスルー画像の縮小による画角の変化量に相当する０．５倍が画角変化量となる。
【００８８】
そして図６Ｃに示す如く、ステップＳ２３にて画角変化量を選択すると（ステップＳ２３）、選択した画角変化量の比例倍つまり選択した画角変化量が１．５倍である場合には三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに１／１．５を掛算して（ステップＳ２４）、直方体０ｂ１を画像データ上、ステレオカメラ１側に近づける方向（図５Ｂ参照）の位置Ｃｔへ移動する。
【００８９】
一方、選択した画角変化量が０．５倍である場合には三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに１／０．５を掛算して（ステップＳ２４）、直方体０ｂ１を画像データ上、ステレオカメラ１側から遠ざける方向（図５Ｂ参照）の位置Ｃｗへ移動する。そして次にステップＳ２４にて上記のように演算された座標Ｚの値に三次元画像データを変更する（ステップＳ２５）。
【００９０】
このように上下左右ボタン５の操作に基づいて表１の画角変化量テーブルから選択した画角変化量に基づいて上記のように三次元画像データを変更することにより、実際には光学ズームや電子ズーム、スルー画像の拡大又は縮小が行われなくても、上下左右ボタン５が操作されていない三次元画像Ｐ１０（図５Ｂ真ん中図参照）と比較して、↑ボタンが操作された時には直方体ｏｂ１が手前側に位置した三次元画像Ｐ１ｔ（図５Ｂ右図参照）となり、↓ボタンが操作された時には直方体ｏｂ１が奥側に位置した三次元画像Ｐ１ｗ（図５Ｂ左図参照）となって、撮影部２１Ａの画角を変更する感覚でズームボタン４の操作により変更されるべき画角変化量と同等の画角変化量に基づいて三次元画像の奥行き方向の位置を変更することができる。
【００９１】
一方図６ＣのステップＳ２２にてモードがＢと判別された場合（ステップＳ２２；Ｂ）には、三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに所定値を加減算する（ステップＳ２６）。
【００９２】
これは例えば下記表２に示す如く、上下左右ボタン５の↑ボタンが１回操作される毎に座標Ｚに１０ｍｍを加算して、直方体０ｂ１を画像データ上、ステレオカメラ１側に近づける方向（図５Ｂ参照）の位置Ｃｔへ移動し、↓ボタンが１回操作される毎に座標Ｚに１０ｍｍを減算して、直方体０ｂ１を画像データ上、ステレオカメラ１側から遠ざける方向（図５Ｂ参照）の位置Ｃｗへ移動する。
【表２】
【００９３】
そして次にステップＳ２６にて上記のように演算された座標Ｚの値に三次元画像データを変更する（ステップＳ２５）。そしてステップＳ２５にて三次元画像データが変更されると（ステップＳ２５）、画像データ処理３を終了する。
【００９４】
次に三次元画像データの大きさを変化させる別の画像データ処理４について説明する。図６Ｄは画像データ処理４のフローチャートである。なお画像データ処理４では、上記実施形態の画像データ処理１、２とは異なりズームボタン４ではなく別のボタンの操作に基づいて処理を行う。本実施形態では図１の上下左右ボタン５を使用する例について以下説明するが、例えば新たに大きさ変更用ボタンを設けてもよい。なお本実施形態の画像データ処理４を行う場合には図４のステップ７はズームボタン４ではなく上下左右ボタン５が押下されたか否かを判別するものとする。また図６Ｄは便宜上、図６Ｃのフローチャートと同様の処理は同じステップ番号で示して説明を省略する。
【００９５】
画像データ処理部３３による画像データ処理４は、図６Ｄに示す如く、まず上下左右ボタン５の操作量を検出し（ステップＳ２１）、次に直方体ｏｂ１の三次元画像データのＸ，Ｙ，Ｚ方向の座標値からそれぞれ直方体ｏｂ１の重心にある座標系Ｘ’，Ｙ’，Ｚ’軸方向に座標変換することにより、直方体ｏｂ１について自身の重心からの座標値(x',y',z')を算出する（ステップＳ２７）。
【００９６】
そしてステップＳ２３にて画角変化量を選択すると（ステップＳ２３）、選択した画角変化量の比例倍つまり選択した画角変化量が１．５倍である場合には三次元画像データの直方体ｏｂ１の座標値(x',y',z')に１．５を掛算して（ステップＳ２８）、直方体０ｂ１を画像データ上、重心を中心として拡大する。
【００９７】
一方、選択した画角変化量が０．５倍である場合には三次元画像データの直方体ｏｂ１の座標値(x',y',z')に０．５を掛算して（ステップＳ２８）、直方体０ｂ１を画像データ上、重心を中心として縮小する。そして次にステップＳ２８にて上記のように演算された三次元画像データ(直方体ｏｂ１の重心に原点を持つ座標系の座標値データ)の座標値(0.5*x', 0.5*y', 0.5*z')をカメラ座標系に座標変換(例えば回転移動と平行移動)をする（ステップＳ３０）。
【００９８】
このように上下左右ボタン５の操作に基づいて表１の画角変化量テーブルから選択した画角変化量に基づいて上記のように三次元画像データを変更することにより、実際には光学ズームや電子ズーム、スルー画像の拡大又は縮小が行われなくても、上下左右ボタン５が操作されていない三次元画像Ｐ１０（図５Ｃ真ん中図参照）と比較して、↑ボタンが操作された時には重心の位置を変更することなく直方体ｏｂ１を拡大した三次元画像Ｐ１ｔ（図５Ｃ右図参照）となり、↓ボタンが操作された時には重心の位置を変更することなく直方体ｏｂ１を縮小した三次元画像Ｐ１ｗ（図５Ｃ左図参照）となって、撮影部２１Ａの画角を変更する感覚でズームボタン４の操作により変更されるべき画角変化量と同等の画角変化量に基づいて三次元画像の大きさを変更することができる。
【００９９】
一方図６ＤのステップＳ２２にてモードがＢと判別された場合（ステップＳ２２；Ｂ）には、三次元画像データの直方体ｏｂ１の座標値(x',y',z')に所定の比を掛算する（ステップＳ２９）。
【０１００】
これは例えば下記表３に示す如く、上下左右ボタン５の↑ボタンが１回操作される毎に座標値(x',y',z')に２％つまり１．０２を掛算して、直方体０ｂ１を画像データ上、重心を中心として拡大し（図５Ｃ参照）、↓ボタンが１回操作される毎に座標値(x',y',z')に−０．２％つまり０．９８を掛算して、直方体０ｂ１を画像データ上、重心を中心として縮小する（図５Ｃ参照）。
【表３】
【０１０１】
そして次にステップＳ２９にて上記のように演算された三次元画像データ(直方体ｏｂ１の重心に原点を持つ座標系の座標値データ)の座標値(1.02*x', 1.02*y', 1.02*z')をカメラ座標系に座標変換(例えば回転移動と平行移動)をする（ステップＳ３０）。そしてステップＳ３０にて三次元画像データが変更されると（ステップＳ３０）、画像データ処理４を終了する。
【０１０２】
なお本実施形態では三次元画像の一部である直方体ｏｂ１の重心を中心にして拡大又は縮小を行ったが本発明はこれに限られるものではなく、三次元画像の中央を中心として拡大又は縮小してもよい。
【０１０３】
上述のようにし、図４に示す如く、画像データ処理部３３は三次元画像データを処理する（ステップＳ９）。なお本実施形態では画像データ処理部３３は三次元画像の奥行き方向の位置と三次元画像の大きさとを別々に処理するものとしたが、前記奥行き方向の位置と前記大きさの両方を処理してもよい。
【０１０４】
そして次にステップ９にて三次元画像データが処理されると（ステップＳ９）、ＣＰＵ３４はステップＳ６へ処理を移行し、表示制御部２８が処理された三次元画像データで表わされる三次元画像（図５Ｂ、Ｃの上図参照）Ｐ１をモニタ２０に表示して（ステップＳ６）、ユーザがズームボタン４を押下しなくなるまで、すなわち表示された三次元画像を所望するまでステップＳ７以降の処理を繰り返し行う。
【０１０５】
そしてステップ７にてズームボタン４が押下されなくなると（ステップＳ７；ＮＯ）、表示制御部２８が処理された三次元画像データで表わされる三次元画像を表示し、かつメディア制御部２６が記録メディア２９に三次元画像データを記録する（ステップＳ８）。三次元画像データはＣＰＵ３４を介して内部メモリ２７に記録してもよい。本実施形態のステレオカメラ１による三次元測定処理は上述のようにして行う。
【０１０６】
本実施形態のステレオカメラ１及びステレオカメラ１による三次元測定方法によれば、取得した三次元画像データを、この三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、撮影部２１Ａのズームボタンの操作もしくはズームボタンの操作に対応する例えば上下左右ボタン５の操作に基づいて処理するので、撮像部２１Ａの画角を変更する操作に応じて三次元画像の奥行き方向の位置及び／又は大きさを変化させることができて、撮影部２１Ａの画角を変更する感覚で画角を変更する操作に応じた三次元画像を取得することができる。
【０１０７】
なお本実施形態のステレオカメラ１では、三次元画像の一部である直方体ｏｂ１の奥行き方向及び／又は大きさを変化させるものとしたが、本発明はこれに限られるものではなく、三次元画像全体の奥行き方向及び／または大きさを変化させてもよい。この場合三次元画像データのすべてのＸＹＺ方向の座標値について、上記掛算や加減算を行う。こうすることにより他の三次元画像と合成した合成三次元画像にて他の三次元画像と相対的に奥行き位置や大きさが変更された合成三次元画像を取得することができる。
【０１０８】
次に本発明にかかる第二の実施形態のステレオカメラ１−２について、以下図面を参照して詳細に説明する。図７は本実施形態のステレオカメラ１−２の内部構成を示す概略ブロック図、図８は図７のステレオカメラ１−２による一連の三次元測定処理のフローチャート、図９はステレオカメラ１−２の撮影状況を示す斜視図、図１０はステレオカメラ１−２と三次元画像との位置関係を示す図の一例、図１１はステレオカメラ１−２と三次元画像との位置関係を示す図の別の一例である。なお図７は便宜上、図２のブロック図と同様の箇所は同符号で示して説明を省略する。
【０１０９】
本実施形態のステレオカメラ１−２は、図７に示す如く、上記実施形態のステレオカメラ１の構成にさらに合成処理部３８を備えたものであり、合成処理部３８は三次元画像データ取得部３２で取得された複数の三次元画像データを合成することにより合成三次元画像データを生成する。
【０１１０】
次に上記のように構成されたステレオカメラ１−２による三次元測定方法の一連の処理について説明する。なお図８では、シャッタボタン２が全押しされて撮影の指示が行われた以降の処理について説明する。
【０１１１】
本実施形態のステレオカメラ１−２による三次元測定処理は、図８に示す如く、まずＣＰＵ３４が現在の撮影が一回目の撮影であるか否かを判別し（ステップＳ３０）、一回目の撮影である場合（ステップＳ３０；ＹＥＳ）には、シャッタボタン２が全押しされることにより撮像制御部２２がＣＰＵ３４を介して処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３４からの指示により、図９上図に示す如く、円柱ｏｂ２を所定被写体とした被写体の一回目の撮影を行いデジタルのステレオ画像データを取得する（ステップＳ３１）。
【０１１２】
ここで図８のステップＳ３２〜Ｓ３６は図４のステップＳ２〜Ｓ６の処理と同様であるため、説明は省略するが、ステップＳ３３にて被写体検出部３０が検出する所定被写体は円柱ｏｂ２とする。なお三次元画像データ取得部３２により取得された円柱ｏｂ２の重心までの奥行き方向の距離を距離Ｌ１としてこの位置を初期位置Ｃ０とする。
【０１１３】
そしステップＳ３５にて取得した三次元画像データで表わされる三次元画像Ｐ２が、図９上図に示す如く、モニタ２０に表示されると、次に撮像制御部２２がＣＰＵ３４を介して二回目の撮影を行う（ステップＳ３７）。二回目の撮影は、例えば図９下図に示す如く、レンズ１０Ａの主点から上記距離Ｌ１よりも小さい距離Ｌ２離れた位置の直方体ｏｂ３と上記距離Ｌ１よりも大きい距離Ｌ３離れた位置の直方体ｏｂ４を所定被写体とした被写体を撮影する。
【０１１４】
ここで図８のステップＳ３８〜Ｓ４１は図４のステップＳ２〜ステップＳ５の処理と同様であるため、説明は省略するが、ステップＳ３９にて被写体検出部３０が検出する所定被写体は直方体ｏｂ３及び直方体ｏｂ４とする。
【０１１５】
そして次にステップＳ４１にて取得した三次元画像データで表わされる三次元画像Ｐ３をモニタ２０に表示する。このとき三次元画像Ｐ３は、図９下図に示す如く、ステップＳ３６にて表示された一回目の撮影の三次元画像Ｐ２に重ねて表示する。なお重ねて表示する際に、一回目の撮影の三次元画像Ｐ２を半透明にして表示してもよいし、三次元画像Ｐ２のワイヤーフレームを点線にて表示してもよい。
【０１１６】
一方ステップＳ３０にて、一回目の撮影ではないと判別された場合（ステップＳ３０；ＮＯ）には、すでに取得されてモニタ２０に表示された三次元画像があると判断し、撮像制御部２２がＣＰＵ３４を介して二回目の撮影を行い（ステップＳ３７）、以降の処理を行う。
【０１１７】
そして上記のように三次元画像Ｐ２と三次元画像Ｐ３とが重ねて表示されると（ステップＳ４２）、次にＣＰＵ３４はズームボタン４が押下つまり操作されたか否かを判別し（ステップＳ４３）、押下されていない場合（ステップＳ４３；ＮＯ）には、ユーザが重ねてモニタ２０に表示された三次元画像Ｐ２、Ｐ３を所望していると判断して、合成処理部３８が三次元画像Ｐ２及びＰ３の画像データを合成することにより合成三次元画像データを生成する（ステップＳ４４）。
【０１１８】
そして表示制御部２８が生成された合成三次元画像データで表わされる合成三次元画像をモニタ２０に表示し、かつメディア制御部２６が記録メディア２９に合成三次元画像データを記録する（ステップＳ４５）。合成三次元画像データはＣＰＵ３４を介して内部メモリ２７に記録してもよい。
【０１１９】
一方ステップＳ４３にて、ズームボタンが押下された場合（ステップＳ４３；ＹＥＳ）には、ユーザが表示された三次元画像を所望していないと判断して、画像データ処理部３３がステップＳ４１にて取得された三次元画像データで表わされる三次元画像Ｐ３の直方体ｏｂ３及び／又は直方体ｏｂ４の奥行き方向の位置及び／又は大きさが変化するように、ズームボタン４の操作に基づいて前記三次元画像データを処理する（ステップＳ４６）。
【０１２０】
このときモニタ２０には三次元画像Ｐ２と三次元画像Ｐ３と共にスルー画像を表示してもよいし、スルー画像のみを表示してもよい。また三次元画像Ｐ２、三次元画像Ｐ３、スルー画像のうちの、１つ又は２つを半透明で表示したり、ワイヤーフレームを点線にて表示したりしてもよい。
【０１２１】
なおこの画像データ処理部３３による三次元画像データの処理は、上記実施形態で図６Ａ〜Ｄを参照して説明した処理と同様の処理であるため、ここでの詳細な説明は省略する。また本実施形態においては、二回目に撮影して取得した三次元画像データを前記処理するものとしたが、本発明はこれに限られるものではなく、一回目に撮影して取得した三次元画像データを前記処理してもよいし、ユーザが操作部３６を操作することにより前記処理する三次元画像データを選択するようにしてもよい。
【０１２２】
そしてステップＳ４６にて図６Ａの画像データ処理１又は図６Ｃの画像データ処理３が行われた場合には、図１０に示す如く、画角変化量が１．５倍のときには、三次元画像データの直方体ｏｂ３、ｏｂ４の奥行方向の値つまり座標Ｚにそれぞれ１／１．５を掛算して、直方体ｏｂ３、ｏｂ４を画像データ上、ステレオカメラ１側に近づける方向（図５Ｂ中、右側）の位置Ｃｔへ移動する。これは演算後の座標Ｚの値によるが、例えば図１０の真ん中上図に示すように直方体ｏｂ４が円柱ｏｂ２よりも奥側に位置していたのが、右上図に示すように直方体ｏｂ３と直方体ｏｂ４の両方が円柱ｏｂ３よりも手前側に位置するように移動する。
【０１２３】
一方、画角変化量が０．７５倍のときには、三次元画像データの直方体ｏｂ３、ｏｂ４の奥行方向の値つまり座標Ｚにそれぞれ１／０．７５を掛算して、直方体ｏｂ３、ｏｂ４を画像データ上、ステレオカメラ１側に遠ざける方向（図５Ｂ中、左側）の位置Ｃｗへ移動する。これは演算後の座標値Ｚの値によるが、例えば図１０の真ん中上図に示すように直方体ｏｂ４が円柱ｏｂ２よりも手前側に位置していたのが、左上図に示すように直方体ｏｂ３と直方体ｏｂ４の両方が円柱ｏｂ３よりも奥側に位置するように移動する。
【０１２４】
なお上記移動により例えば直方体ｏｂ３及び／又は直方体ｏｂ４が円柱ｏｂ２と重なって位置してしまう、すなわち干渉してしまう場合には、モニタ２０にエラーを表示したり警告音を発したりすることができる。また、エラーを表示せずに干渉した状態のまま重ねて表示させておいてもよい。
【０１２５】
また本実施形態では、直方体ｏｂ３と直方体ｏｂ４の両方の奥行き方向の画像データを処理したが、本発明はこれに限られるものではなく、どちらか一方のみの画像データを処理してもよいし、ユーザが操作部３６を操作することにより前記処理する所定被写体（直方体ｏｂ３、直方体ｏｂ４）を選択するようにしてもよい。
【０１２６】
一方ステップＳ４６にて図６Ｂの画像データ処理２又は図６Ｄの画像データ処理４が行われた場合には、図１１に示す如く、画角変化量が１．５倍のときには、三次元画像データの直方体ｏｂ３、ｏｂ４の各々の座標値(x',y',z')にそれぞれ１．５を掛算して、直方体ｏｂ３、ｏｂ４を画像データ上、重心を中心として拡大する。これは図１１の真ん中上図に示す直方体ｏｂ３、ｏｂ４と円柱ｏｂ２との大きさの関係と比較して、右上図に示すように直方体ｏｂ３と直方体ｏｂ４の両方が円柱ｏｂ３に対して相対的に大きくなるように拡大される。
【０１２７】
一方、画角変化量が０．７５倍のときには、三次元画像データの直方体ｏｂ３、ｏｂ４の各々の座標値(x',y',z')にそれぞれ０．７５を掛算して、直方体０ｂ１を画像データ上、重心を中心として縮小する。これは図１１の真ん中上図に示す直方体ｏｂ３、ｏｂ４と円柱ｏｂ２との大きさの関係と比較して、左上図に示すように直方体ｏｂ３と直方体ｏｂ４の両方が円柱ｏｂ３に対して相対的に小さくなるように縮小される。
【０１２８】
そして上記のように演算された三次元画像データ(直方体ob3、ob4の重心に原点を持つ座標系の座標値データ(x'ob3,y'ob3,z'ob3)と(x'ob4,y'ob4,z'ob4))の座標値(0.75*x'ob3, 0.75*y'ob3, 0.75*z'ob3)と(0.75*x'ob4, 0.75*y'ob4, 0.75*z'ob4)をカメラ座標系に座標変換(例えば回転移動と平行移動)をする。
【０１２９】
なお上記移動により例えば直方体ｏｂ３及び／又は直方体ｏｂ４が円柱ｏｂ２と重なって位置してしまう、すなわち干渉してしまう場合には、モニタ２０にエラーを表示したり警告音を発したりすることができる。また、エラーを表示せずに干渉した状態のまま重ねて表示させておいてもよい。
【０１３０】
また本実施形態では、直方体ｏｂ３と直方体ｏｂ４の両方の大きさが拡大又は縮小するように画像データを処理したが、本発明はこれに限られるものではなく、どちらか一方のみの画像データを処理してもよいし、ユーザが操作部３６を操作することにより前記処理する所定被写体（直方体ｏｂ３、直方体ｏｂ４）を選択するようにしてもよい。
【０１３１】
また本実施形態では三次元画像の一部である直方体ｏｂ３及び直方体ｏｂ４の重心を中心にして拡大又は縮小を行ったが本発明はこれに限られるものではなく、三次元画像Ｐ３の中央を中心として拡大又は縮小してもよい。
【０１３２】
そして画像データ処理部３３による前記処理が終了すると（ステップＳ４６）、ＣＰＵ３４はステップＳ４２へ処理を移行し、ステップ４６にて処理された三次元画像データで表わされる三次元画像Ｐ３を三次元画像Ｐ２と重ねて再表示し（ステップＳ４２）、ユーザがズームボタン４を押下しなくなるまで、すなわち表示された合成三次元画像を所望するまでステップＳ４３以降の処理を繰り返し行う。
【０１３３】
そしてステップ４３にてズームボタン４が押下されなくなると（ステップＳ４３；ＮＯ）、表示制御部２８が処理された三次元画像データで表わされる合成三次元画像を表示し、かつメディア制御部２６が記録メディア２９に合成三次元画像データを記録する（ステップＳ８）。合成三次元画像データはＣＰＵ３４を介して内部メモリ２７に記録してもよい。本実施形態のステレオカメラ１−２による三次元測定処理は上述のようにして行う。
【０１３４】
本実施形態のステレオカメラ１−２及びステレオカメラ１−２による三次元測定方法によれば、取得した複数の三次元画像データを、この複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、撮影部２１Ａのズームボタンの操作もしくはズームボタンの操作に対応する例えば上下左右ボタン５の操作に基づいて処理するので、撮像部２１Ａの画角を変更する操作に応じて、複数の三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさを他の三次元画像に対して変化させることができて、撮影部２１Ａの画角を変更する感覚で画角を変更する操作に応じた合成三次元画像を取得することができる。
【０１３５】
なお本実施形態のステレオカメラ１−２では、三次元画像の一部である直方体ｏｂ３及び／又は直方体ｏｂ４の奥行き方向及び／又は大きさを変化させるものとしたが、本発明はこれに限られるものではなく、三次元画像Ｐ３の全体の奥行き方向及び／又は大きさを変化させてもよい。こうすることにより他の三次元画像と合成した合成三次元画像にて他の三次元画像と相対的に奥行き位置や大きさが変更された合成三次元画像を取得することができる。
【０１３６】
また本実施形態のステレオカメラ１−２では、二回の撮影を行ったが、本発明はこれに限られるものではなく、三回以上の撮影を行ってもよい。この場合、画像データ処理部３３が、最後の撮影により取得された三次元画像データの画像データを処理してもよいし、ユーザが操作部３６を操作することにより何回目の撮影により取得された三次元画像データを処理するのか選択可能にしてもよい。
【０１３７】
また本実施形態のステレオカメラ１−２では、画像データ処理部３３が合成されるまえの三次元画像データについて画像データの処理を行ったが、本発明はこれに限られるものではなく、合成処理部３８が先に複数の三次元画像データを合成して合成三次元画像を生成し、この生成された合成三次元画像の少なくとも一部、例えば図９右下図の円柱ｏｂ２、直方体ｏｂ３、ｏｂ４のうちの１つ以上の奥行き方向及び／又は大きさを変化させてもよい。この場合、図８のステップＳ４４の処理をステップＳ４１とステップＳ４２の間で行う。
【０１３８】
また上記実施形態のステレオカメラ１、１−２では、三次元画像データ取得部３２が撮影部２１Ａ、２１Ｂにより被写体を撮影して得た三次元画像データを取得し、この取得した三次元画像データについて画像データ処理部３３が画像データの処理を行ったが、本発明はこれに限られるものではない。
【０１３９】
ステレオカメラ１を使用するときには、図４のステップＳ１〜ステップＳ４の処理を行わずに、ステップＳ５にて三次元画像データ取得部３２が内部メモリ２７又は記録メディア２９に記録された三次元画像データを取得してもよい。
【０１４０】
またステレオカメラ１−２を使用するときには、図８のステップＳ３１〜ステップＳ３４及び／又はステップＳ３７〜ステップＳ４０の処理を行わずに、ステップＳ３５及び／又はステップＳ４１にて三次元画像データ取得部３２が内部メモリ２７又は記録メディア２９に記録された三次元画像データを取得してもよい。
【０１４１】
また上記実施形態のステレオカメラ１、１−２では、２つの撮像部２１Ａ、２１Ｂを設け、これら撮影部２１Ａ、２１Ｂにより取得された基準画像と参照画像の２つの画像を用いて三次元画像データを生成しているが、３つ以上の撮像部を設け、２つ以上の参照画像を用いて三次元画像データを生成する場合にも本発明を適用することができる。
【０１４２】
また上記実施形態では、三次元測定装置としてステレオカメラ１、１−２を例にして説明しているが、本発明はこれに限られるものではなく、例えば１つの撮像部とレーザ照射手段とを備えて三次元形状を計測する特開２００５−０９８９７８号公報に記載の三次元測定装置等にも本発明を適用することができる。
【０１４３】
ここで本発明にかかる第三の実施形態の三次元測定装置１−３について以下図面を参照して説明する。図１２は第三の実施形態の三次元測定装置１−３の概略構成斜視図である。
【０１４４】
本実施形態の三次元測定装置１−３は、図１２に示す如く、例えば所定被写体として直方体ｏｂ１を含む被写体を撮像する撮像部（撮像手段）２１Ａと、モニタ（表示手段）１２０、キーボード１３６及びマウス１３６’（操作手段）を備えてなるＰＣ（パーソナルコンピュータ）１００とを備えている。
【０１４５】
そしてＰＣ１００のキーボード１３６やマウス１３６’を操作して撮像部２１Ａを制御し、前記被写体を異なる視点から少なくとも２回撮影することにより基準画像と参照画像を取得して、上述した実施形態と同様にステレオ演算を行うことにより三次元画像を取得する。
【０１４６】
そして、ＰＣ１００のキーボード１３６やマウス１３６’を操作することにより撮影部２１Ａの画角を変化させ、この画角の変化に基づいて上記実施形態と同様に三次元画像データを画像データ処理する。このときモニタ１２０には取得した三次元画像と共にスルー画像を表示してもよい。また実際には撮影部２１Ａの画角が変化していない場合であっても前記画像データ処理を行うことができる。
【０１４７】
こうすることにより撮像部２１Ａの画角を変化させる例えばズームボタンに対応するキーボード１３６やマウスの操作に基づいて前記画像データ処理つまり三次元画像の奥行き方向の位置及び／又は大きさを変化させることができて、撮影部２１Ａの画角を変更する感覚で画角を変更する操作に応じた三次元画像を取得することができる。
【０１４８】
なお本発明の三次元測定装置及び三次元測定方法は、上述した実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。
【図面の簡単な説明】
【０１４９】
【図１】本発明の三次元測定装置の一実施形態としてのステレオカメラの斜視図
【図２】図１のステレオカメラの内部構成を示す概略ブロック図
【図３】撮像部の構成を示す図
【図４】図２のステレオカメラによる一連の三次元測定処理のフローチャート
【図５Ａ】図２のステレオカメラの撮影状況を示す斜視図
【図５Ｂ】図２のステレオカメラと三次元画像との位置関係を示す図の一例
【図５Ｃ】図２のステレオカメラと三次元画像との位置関係を示す図の別の例
【図６Ａ】第一の実施形態の画像データ処理のフローチャート
【図６Ｂ】第二の実施形態の画像データ処理のフローチャート
【図６Ｃ】第三の実施形態の画像データ処理のフローチャート
【図６Ｄ】第四の実施形態の画像データ処理のフローチャート
【図７】第二の実施形態のステレオカメラ１−２の内部構成を示す概略ブロック図
【図８】図７のステレオカメラによる一連の三次元測定処理のフローチャート
【図９】図７のステレオカメラの撮影状況を示す斜視図
【図１０】図７のステレオカメラと三次元画像との位置関係を示す図の一例
【図１１】図７のステレオカメラと三次元画像との位置関係を示す図の別の例
【図１２】本発明にかかる三次元測定装置の斜視図
【符号の説明】
【０１５０】
１、１−２ ステレオカメラ（三次元測定装置）
１−３ 三次元測定装置
２０、１２０ モニタ（表示手段）
２１Ａ，２１Ｂ 撮像部（撮像手段）
３０ 被写体検出部
３１ ステレオ演算部
３２ 三次元画像データ取得部（三次元画像データ取得手段）
３３ 画像データ処理部（画像データ処理手段）
３８ 合成処理部
４ ズームボタン（画角変換操作部材）
【技術分野】
【０００１】
本発明は、三次元画像データを生成する三次元測定装置及び三次元測定方法に関するものである。
【背景技術】
【０００２】
近年、異なる視点から同一の被写体を撮像することにより取得した複数の画像データか三次元画像データを生成する三次元測定装置が提案されており、三次元画像データの生成方法としては、例えば、取得された複数の画像データにおいて共通して写っている点、いわゆる対応点を特定し、三角測量の原理に従って対応点までの距離を算出することにより、被写体の三次元形状を推測するステレオマッチング法を用いる方法が知られている。
【０００３】
一方、仮想空間上において、立体形状を表わす三次元画像の位置や大きさを変更したり、合成したりする三次元ＣＡＤ（３Ｄ−Computer-Aided Design）ソフトウェアは既に知られている。
【０００４】
また予め容易された三次元形状を表わす三次元画像と、カメラ撮影により得られる実写画像とを合成する様々な装置が提案されており、このような装置としてはカメラの位置、カメラの向き、及びカメラの視野の広さが実際のカメラとは異なる仮想カメラの情報を出力することにより、実際のカメラと被写体との位置関係とは異なる位置関係を満たす合成画像を得るようにした画像合成装置がある（特許文献１）。
【特許文献１】特開２００１−２８５７１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された画像処理装置は、カメラ撮影により得られる二次元画像データと三次元形状を表わす三次元画像データとを合成するものであり、二次元画像を三次元空間中のどこの位置に配置するかを決定するものであって、三次元画像のみを操作するものはなかった。
【０００６】
また上記ステレオマッチング法によって算出された距離データは、略実際の距離の値が求められおり、カメラの光学ズームや電子ズーム等の操作による被写体の遠近感は反映されていなかった。
【０００７】
本発明はかかる事情に鑑みてなされたものであり、画角を変更する操作に応じた三次元画像を取得可能な三次元測定装置及び三次元測定方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の三次元測定装置は、被写体を撮像する撮像手段と、
該撮像手段で撮像して得た被写体の三次元画像データを含む、１つ以上の三次元画像データを取得可能な三次元画像データ取得手段と、
該三次元画像データ取得手段で取得された三次元画像データを、該三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作もしくは該操作部材の操作に対応する操作に基づいて処理する画像データ処理手段とを備えたことを特徴とするものである。
【０００９】
ここで本発明において「三次元画像データ」とは、被写体のＸ，Ｙ，Ｚ方向の座標データであり、座標Ｘ，Ｙはその画素の位置を表す位置情報、座標Ｚは奥行き情報である。また「三次元画像」は、表示する表示手段が二次元表示のものである場合には、三次元画像データで表わされる被写体の形状すなわち三次元モデルを二次元の平面に投影したものを意味し、例えばワイヤーフレームや、サーフェース等で表わすことができる。また画像を表示する表示手段が画像を立体視可能なものである場合には、立体視される立体視画像を意味する。
【００１０】
また本発明の三次元画像データ取得手段が取得する三次元画像データは、「撮像手段で撮像して得た被写体の三次元画像データ」を含む場合もあるし、含まない場合もある。また「三次元画像データで表わされる三次元画像」は、実際に表示された画像であってもよいし、表示したと仮定した場合の仮想的なものであってもよい。また「三次元画像データ」は表示のためにバッファ等の一時的にデータを記憶するメモリ領域等に一時的に形成されるデータであっても、ハードディスクや光磁気ディスク等のストレージ等に（特に操作しなければ）恒久的に保存されるデータであってもよい。つまり例えばバッファ上の表示画像だけを変化させながら最適な「奥行き方向の位置及び／又は大きさ」を決定し、確定したときにストレージ上のデータに変更分を反映させるようにしてもよい。
【００１１】
なお本発明の三次元測定装置においては、前記画像データ処理手段が、前記三次元画像データ取得手段で取得された複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部が他の三次元画像に対して、前記複数の三次元画像が合成されたときの奥行き方向の位置及び／又は大きさが相対的に変化するように前記処理するものであってもよい。
【００１２】
この場合、前記画像データ処理手段が、前記複数の三次元画像が合成された合成三次元画像に対して前記処理を行ってもよい。
【００１３】
本発明の三次元測定装置においては、前記画角変換操作部材が、前記撮像手段の画角を光学的に変換させる光学ズーミング操作部材とすることができる。
【００１４】
本発明の三次元測定装置においては、前記画角変換操作部材が、前記撮像手段の画角を電子的に変換させるものとすることができる。
【００１５】
本発明の三次元測定装置においては、前記撮像手段の画角範囲の被写体のスルー画像を表示する表示手段をさらに備え、
前記画像データ処理手段が、前記スルー画像に前記三次元画像を合成して表示すると共に前記処理を行うことができる。
【００１６】
また本発明の三次元測定装置においては、前記撮像手段の画角範囲の被写体のスルー画像を表示する表示手段をさらに備え、
前記画像データ処理手段が、前記スルー画像に表示された前記画角範囲の変化に連動して前記処理を行うことができる。
【００１７】
ここで本発明において「スルー画像」とは、撮像手段の固定撮像素子から所定間隔毎に読み出された画像データがデジタル信号処理されて出力されるものであり、連続性のある画像つまり動画を意味する。
【００１８】
本発明の三次元測定装置においては、前記画像データ処理手段が、前記撮像手段の画角変換操作部材の操作により変更される前記撮像手段の画角の変化量に対応し前記三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように前記処理するものであってもよい。
【００１９】
また本発明の三次元測定方法は、被写体を撮像する撮像手段を備えてなる三次元測定装置を使用した三次元測定方法において、
三次元画像データを取得し、
該取得した三次元画像データを、該三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作もしくは該操作部材の操作に対応する操作に基づいて処理することを特徴とする。
【００２０】
なお本発明の三次元測定方法においては、前記撮像手段で異なる視点から被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得してもよい。
【００２１】
本発明の三次元測定方法においては、前記三次元画像データを１つ以上入力し、
該入力された１つ以上の三次元画像データから１つの三次元画像データを取得してもよい。
【００２２】
また本発明の三次元測定方法は、前記三次元画像データを複数取得し、
該取得した複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部が他の三次元画像に対して、前記複数の三次元画像が合成されたときの奥行き方向の位置及び／又は大きさが相対的に変化するように前記処理することができる。
【００２３】
なおこの場合、本発明の三次元測定方法では、異なる被写体に対してそれぞれ、
前記撮像手段で異なる視点から前記被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得して、
各々が前記異なる被写体の複数の三次元画像データを取得してもよい。
【００２４】
また本発明の三次元測定方法では、前記三次元画像データを複数入力し、
該入力された複数の三次元画像データから前記複数の三次元画像データを取得してもよい。
【００２５】
また本発明の三次元測定方法では、前記三次元画像データを複数入力すると共に、
前記撮像手段で異なる視点から被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得して、
該取得した画像データと前記入力された複数の三次元画像データから前記複数の三次元画像データを取得してもよい。
【発明の効果】
【００２６】
本発明の三次元測定装置及び三次元測定方法によれば、取得した三次元画像データを、この三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、撮像手段の画角変換操作部材の操作もしくは画角変換操作部材の操作に対応する操作に基づいて処理するので、撮像手段の画角を変更する操作に応じて三次元画像の奥行き方向の位置及び／又は大きさを変化させることができて、撮像手段の画角を変更する感覚で画角を変更する操作に応じた三次元画像を取得することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明にかかる三次元測定装置の一実施形態としてのステレオカメラ１について、図面を参照して詳細に説明する。図１は本実施形態のステレオカメラ１の概観斜視図である。
【００２８】
本実施形態のステレオカメラ１は、図１に示す如く、前面に２つの撮像部２１Ａ，２１Ｂのレンズ１０Ａ，１０Ｂを備え、上面に被写体の撮像を指示するシャッタボタン２と被写体に向けて発光するフラッシュ３とを備えている。また背面には、ズームテレボタン４ａとズームワイドボタン４ｂとで構成されたズームボタン（画角変換操作部材）４と、モニタ２０と、上下左右ボタン５とを備え、側面には例えばＵＳＢコネクタ等の入出力コネクタ６が備えられている。
【００２９】
ここで図２に図１のステレオカメラ１の内部構成を示す概略ブロック図、図３に撮像部２１Ａ，２１Ｂの構成を示す図をそれぞれ示す。
【００３０】
ステレオカメラ１は、図２に示す如く、２つの撮像部（撮像手段）２１Ａ，２１Ｂ、撮像制御部２２、信号処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、モニタ２０、及び操作部３６を備えている。
【００３１】
撮像部２１Ａ，２１Ｂは、図３に示す如く、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、ＣＣＤ１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備えている。
【００３２】
レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。なお本実施形態において焦点位置は固定されているものとする。
【００３３】
絞り１１Ａ，１１Ｂは、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。なお本実施形態において絞り値データは固定されているものとする。
【００３４】
シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。なお本実施形態においてシャッタスピードは固定されているものとする。
【００３５】
ＣＣＤ１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３６】
ＡＦＥ１４Ａ，１４Ｂは、ＣＣＤ１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３７】
Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１Ａにより取得される二次元画像データにより表される画像を左目用画像（基準画像）、撮像部２１Ｂにより取得される二次元画像データにより表される画像を右目用画像（参照画像）とし、左目用画像と右目用画像の二次元画像データをステレオ画像データという。このように２つの撮像部２１Ａ，２１Ｂは構成されている。
【００３８】
また図２に示す撮像制御部２２は、シャッタボタン２が押下後に撮像部２１Ａ，２１Ｂの撮像の制御を行う。なお本実施形態においては、焦点位置、絞り値データおよびシャッタスピードは固定されているが、ＡＦ処理およびＡＥ処理を行って、撮影の都度、焦点位置、絞り値データおよびシャッタスピードを設定するようにしてもよい。
【００３９】
信号処理部２３は、撮像部２１Ａ，２１Ｂが取得したデジタルの画像データに対して、画像データの感度分布のばらつきおよび光学系の歪みを補正する補正処理や２つの画像を並行化するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換
処理等を施す。さらにこれらの処理後の画像に対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。
【００４０】
圧縮／伸長処理部２４は、信号処理部２３によって各種処理が施された画像データ及び／又は後述する画像データ処理部３３によって各種処理が施された画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を施し、必要に応じて画像ファイルを生成する。この画像ファイルは、ステレオ画像データ、三次元画像データ、合成三次元画像の三次元画像データ等により構成される。なお三次元画像データとは、被写体のＸ，Ｙ，Ｚ方向の座標値のデータであり、座標Ｘ，Ｙはその画素の位置を表す位置情報、座標Ｚは奥行き情報である。またこの画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時やステレオ画像の配置位置を表す情報等の付帯情報が記述されたヘッダが付与される。
【００４１】
フレームメモリ２５は、撮像部２１Ａ，２１Ｂが取得したステレオ画像データに対して、前述の信号処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００４２】
メディア制御部２６は、記録メディア２９にアクセスして距離画像の画像ファイルの書き込みと読み込みの制御を行う。
【００４３】
内部メモリ２７は、ステレオカメラ１において設定される各種定数、およびＣＰＵ３４が実行するプログラム等を記憶する。また各種画像データ等を記憶することもできる。
【００４４】
表示制御部２８は、内部メモリ２７に格納された画像データをモニタ２０に表示させたり、記録メディア２９に記録されている画像をモニタ２０に表示させたり、フレームメモリ２５に格納された画像データをスルー画像としてモニタ２０に表示させるためのものである。ここでスルー画像とは、撮像部２１Ａ，２１ＢのＣＣＤ１３Ａ、１３Ｂから所定間隔毎に読み出された画像データがデジタル信号処理されて出力されるものであり、連続性のある画像つまり動画を意味する。
【００４５】
モニタ２０は、表示制御部２８を介して二次元画像又は三次元画像を表示するものであり、操作部３６によって設定操作される各種設定メニュー等も表示する。二次元画像の表示は、三次元画像データで表わされる被写体の形状すなわち三次元モデルを二次元の平面に投影して表示する公知の技術（平行投影や透視投影の処理を示す。財団法人 画像情報教育振興協会(CG-ARTS協会)発行のコンピュータグラフィックス2−3章32ページ〜を参照）を使用することができ、例えばワイヤーフレームや、サーフェース等で表わすことができる。三次元画像の表示は、三次元画像データに基づいて行われ、上述した奥行き情報を画素値で表現した濃淡画像により表示することもできる。
【００４６】
またモニタ２０は、画像ファイルにステレオ画像データが含まれている場合には、例えば左目用画像と右目用画像をそれぞれ画像の縦方向に細長く切り取って交互に並べて表示し、同様に縦方向に刻まれたスリットを通して観察者に見せるようにすることで、観察者の左目には左目用画像を、右目には右目用画像をそれぞれ届ける、視差バリア（パララックスバリア）方式や、上記スリットの代わりにレンチキュラレンズを使用したレンチキュラ方式を使用することにより画像を立体視可能にされたものであってもよい。
【００４７】
なお、２つの表示画面、あるいは１つの表示画面の左右に左目用画像と右目用画像を表示したものを左右の眼で見る方式でもよい。その他、空間分割方式であってもよい。
【００４８】
また時系列的に光路を変更させる、例えば特許第３９３００２１号公報に記載された、いわゆるスキャンバックライト方式を使用してもよいし、画像分離メガネを使用し、左右の画像を交互に表示することにより、画像を立体視する時分割方式を使用してもよい。
【００４９】
操作部３６は、上述したシャッタボタン２、ズームボタン４、上下左右ボタン５等の各種操作ボタンにより構成されていて、上下左右ボタン５はモニタ２０に表示された各種設定メユー等の設定時にカーソルを移動させたり、選択したりする。
【００５０】
ズームボタン４は、ズームを指示するものであり、ズームテレボタン４ａを押下することにより望遠側へのズームを指示し、ズームワイドボタン４ｂを押下することにより広角側へのズームを指示する。そしてステレオカメラ１による撮影時にズームテレボタン４ａ又はズームワイドボタン４ｂを操作することにより、撮像部２１Ａ，２１Ｂのレンズ１０Ａ，１０Ｂのズームレンズの焦点距離を変化させる。つまり撮像部２１Ａ，２１Ｂの画角を光学的に変換させる光学ズーミング操作部材として機能する。
【００５１】
またモニタ２０への画像再生時に、ズームテレボタン４ａ又はズームワイドボタン４ｂを操作することにより、再生中の画像を拡大又は縮小する。つまり撮像部２１Ａ，２１Ｂの画角を電子的に変換させる画角変換操作部材としても機能する。
【００５２】
さらにステレオカメラ１は、図２に示す如く、被写体検出部３０、ステレオ演算部３１、三次元画像データ取得部３２、画像データ処理部３３、ＣＰＵ３４、入出力部３５を備える。
【００５３】
被写体検出部３０は、撮像部２１Ａ，２１Ｂが撮影により取得した左目用画像及び右目用画像（信号処理前であっても処理後であってもよい）から、例えば図５Ａに示すような直方体ｏｂ１や図９に示すような円柱ｏｂ２、直方体ｏｂ３、ｏｂ４等の所定被写体を含む所定被写体領域を検出する。なお所定被写体の検出方法は、例えば特開２００１−１８４５１２号公報等に記載の公知の技術を使用することができる。
【００５４】
ステレオ演算部３１は、左目用画像と右目用画像すなわちステレオ画像データから被写体各部までの距離を算出して、被写体のＸ，Ｙ，Ｚ方向の座標値のデータで構成される三次元画像データを取得するものである。このとき座標Ｘ，Ｙはその画素の位置を表す位置情報、座標Ｚは奥行き情報である。
【００５５】
三次元画像データの取得には、公知のステレオマッチング法を使用することができて、ステレオ画像においてエッジやセグメント等、共通して写っている点、いわゆる対応点を相関演算によって特定し、この対応点の位置情報から視差を求め、この視差に基づいて三角測量の原理に従って対応点までの距離すなわち被写体各部までの距離を算出する。
【００５６】
このとき対応点の検出は、左目用画像から複数の画素で構成された画素ブロックＷａを算出し、算出された画素ブロックＷａを右目用画像中で走査して濃淡等の形状パターンの一致度評価値（相関度）を計算して、右目用画像において画素ブロックＷａと対応するブロックＷｂを検出する、いわゆる領域ベースマッチング（area-based matching）といわれる方法や、先に左目用画像と右目用画像からそれぞれエッジやセグメント等の特徴点を見つけ出し、左目用画像と右目用画像におけるこの特徴点の相関度から対応点を検出する、いわゆる特徴ベースマッチング（feature-based matching）といわれる方法等を使用することができる。一致度評価値（相関度）の計算は、例えば各画素の差の絶対値を合計する、または各画素の差を２乗したものを合計するなど、公知の技術を使用することができる。
【００５７】
三次元画像データ取得部３２は、撮像部２１Ａ，２１Ｂで撮影して得たステレオ画像データに基づいて上記ステレオ演算部３１が取得した三次元画像データやメディア制御部２６を介して記録メディア２９から読み出された三次元画像データ、内部メモリ２７に記憶された三次元画像データ、後述の入出力部３５から入力された三次元画像データを取得可能であり、１つ以上の三次元画像データを取得するものである。なお取得する三次元画像データが複数の場合には、撮像部２１Ａ，２１Ｂで複数回撮影を行い、複数のステレオ画像データで複数取得された三次元画像データを取得してもよいし、記録メディア２９から読み出された複数の三次元画像データを取得してもよいし、内部メモリ２７に記憶された複数の三次元画像データを取得してもよいし、入出力部３５から入力された複数の三次元画像データを取得してもよいし、これらを混合して取得してもよい。
【００５８】
画像データ処理部３３は、上記三次元画像データ取得部３２により取得された三次元画像データを、三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向（Ｚ方向）の位置及び／又は大きさを変化するものである。なおこの画像データ処理部３３による処理方法については後で詳細に説明する。
【００５９】
ＣＰＵ３４は、シャッタボタン２を含む操作部３６からの信号に応じてステレオカメラ１の各部を制御する。
【００６０】
入出力部３５は、音声の入力や出力、上述した入出力コネクタ６からの各種データの入出力、図示しない無線ＬＡＮや有線ケーブル等による各種データの入出力を行う。
【００６１】
データバス３７は、ステレオカメラ１を構成する各部およびＣＰＵ３４に接続されており、ステレオカメラ１における各種データおよび各種情報のやり取りを行う。本実施形態のステレオカメラ１は上記のように構成されている。
【００６２】
次にステレオカメラ１による三次元測定方法の一連の処理について説明する。図４はステレオカメラ１による一連の三次元測定処理のフローチャート、図５Ａはステレオカメラ１の撮影状況を示す斜視図、図５Ｂはステレオカメラと三次元画像との位置関係を示す図の一例、図５Ｃはステレオカメラと三次元画像との位置関係を示す図の別の例である。なお図４では、シャッタボタン２が全押しされて撮影の指示が行われた以降の処理について説明する。
【００６３】
上記構成のステレオカメラ１は、シャッタボタン２が全押しされることにより撮像制御部２２がＣＰＵ３４を介して処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３４からの指示により、図５Ａに示す如く、直方体ｏｂ１を所定被写体とした被写体を撮影してデジタルのステレオ画像データを取得して（ステップＳ１）、取得したステレオ画像データに対して信号処理部２３が上述した各種信号処理を施す（ステップＳ２）。
【００６４】
次に被写体検出部３０が、上記信号処理が施されたステレオ画像データつまり左目用画像及び右目用画像から直方体ｏｂ１領域を検出して（ステップＳ３）、ステレオ演算部３１が上述したようにステレオ画像データについてステレオ演算を行い（ステップＳ４）、被写体各部までの距離を算出し、三次元画像データ取得部３２が被写体各部すなわち撮影画像のＸ，Ｙ，Ｚ方向の座標値のデータで構成される三次元画像データを取得する（ステップＳ５）。このとき後述する画像データ処理部３３が三次元画像の一部である直方体ｏｂ１のみの奥行き方向及び／又は大きさを変化させる場合には、取得する三次元画像データは上記検出された直方体ｏｂ１領域（所定被写体領域）の座標値データのみであってもよい。
【００６５】
なお撮影時の撮像部２１Ａのレンズ１０Ａの主点の位置を原点０とし、三次元画像データ取得部３２により取得された直方体ｏｂ１の重心までの奥行き方向の距離を距離Ｌ１としてこの位置を初期位置Ｃ０とする。
【００６６】
そして三次元画像データを取得すると表示制御部２８が、図５Ａに示す如く、モニタ２０に三次元画像データで表わされる三次元画像Ｐ１を表示する（ステップＳ６）。なお本実施形態ではモニタ２０は二次元画像を表示するものとし、三次元画像データで表わされる被写体の形状を図５Ａに示すようにワイヤーフレームで表示する。なお本実施形態においてはこのワイヤーフレームにて表示された画像を以下、三次元画像という。そして三次元画像Ｐ１はスルー画像に重ねて表示してもよい。このときスルー画像又は三次元画像Ｐ１を半透明で表示したり、ワイヤーフレームを点線にて表示させたりしてもよい。
【００６７】
次にＣＰＵ３４は、ズームボタン４が押下つまり操作されたか否かを判別し（ステップＳ７）、押下されていない場合（ステップＳ７；ＮＯ）には、ユーザがモニタ２０に表示されている三次元画像を所望していると判断して、表示制御部２８が取得した三次元画像データで表わされる三次元画像を引き続きモニタ２０に表示し、かつメディア制御部２６が記録メディア２９に三次元画像データを記録する（ステップＳ８）。三次元画像データはＣＰＵ３４を介して内部メモリ２７に記録してもよい。
【００６８】
一方ステップＳ７にて、ズームボタンが押下された場合（ステップＳ７；ＹＥＳ）には、ユーザが表示された三次元画像を所望していないと判断して、画像データ処理部３３が取得された三次元画像データで表わされる三次元画像Ｐ１の直方体ｏｂ１の奥行き方向の位置及び／又は大きさが変化するように、ズームボタン４の操作に基づいて前記三次元画像データを処理する（ステップＳ９）。ここで、図６Ａに奥行き方向の位置を変化させる画像データ処理１のフローチャートを示す。
【００６９】
画像データ処理部３３による画像データ処理１は、図６Ａに示す如く、先ずズームボタン４の操作量を検出する（ステップＳ１１）。そしてズームボタン４の操作により変化した画角量の比例倍を直方体ｏｂ１の三次元画像データの奥行値（座標Ｚ）に掛算する（ステップＳ１２）。
【００７０】
これはズームボタン４が撮影部２１Ａの画角を光学的に変換させる光学ズーミング操作部材として機能するときには、例えば図５Ｂに示す如く、ズームボタン４が押下される前の初期位置Ｃ０のときに、ＣＣＤ１３Ａから読み出された画像データＰ０中の所定の被写体ｏｂの画素領域が１００ピクセルであり、ズームテレボタン（Ｔ）４ａが押下された後にＣＣＤ１３Ａから読み出された画像データＰｔ中の所定の被写体ｏｂの画素領域が１５０ピクセルであるときには、画角変化量が１．５倍となるため、三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに１／１．５を掛算して、直方体０ｂ１を画像データ上、ステレオカメラ１側に近づける方向（図５Ｂ中、右側）の位置Ｃｔへ移動する。
【００７１】
このときＣＣＤ１３Ａから読み出された画像データＰ０、画像データＰｔ中の所定の被写体ｏｂは、レンズ１０Ａがまだ直方体ｏｂ１に向いているときには、直方体ｏｂ１であってもよいし、別の被写体に向いているときには別の被写体であってもよい。つまり撮像部２１Ａの画角の変化量が算出可能であればいずれの被写体であってもよい。
【００７２】
一方、ズームワイドボタン（Ｗ）４ｂが押下された後にＣＣＤ１３Ａから読み出された画像データＰｗにおける所定の被写体ｏｂの画素領域が７５ピクセルであるときには、画角変化量が０．７５倍となるため、三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに１／０．７５を掛算して、直方体０ｂ１を画像データ上、ステレオカメラ１側に遠ざける方向（図５Ｂ中、左側）の位置Ｃｗへ移動する。
【００７３】
またズームボタン４が撮影部２１Ａの画角を電子的に変換させるものである場合には、ＣＣＤ１３Ａから読み出された画像データＰ０における所定の被写体ｏｂの画素領域に対する、拡大された画像データＰｔ又は縮小された画像データＰｗにおける所定の被写体ｏｂの画素領域の変化量を算出して画角変化量を検出することにより、上記と同様にして直方体０ｂ１を画像データ上で移動させる。
【００７４】
なおこのときモニタ２０にスルー画像が表示されていて、ズームボタン４の操作によりスルー画像の画角が変化する場合には、スルー画像の画角変化量を検出することにより上記と同様にして直方体０ｂ１を画像データ上で移動させてもよい。このスルー画像の画角変化量は、スルー画像における所定の被写体ｏｂの画素領域の変化量を算出することにより検出できる。なおズームボタン４の操作によりスルー画像の画角が変化するときには、モニタ２０に三次元画像Ｐ１（図５Ａ参照）を表示していなくてもよいし、表示していてもよい。
【００７５】
そして次にステップＳ１２にて上記のように演算された座標Ｚの値に三次元画像データを変更して（ステップＳ１３）、画像データ処理１を終了する。このようにズームボタン４の操作に基づいて上記画像データ処理１を行うことにより、変更された三次元画像データで表わされる三次元画像は、図５Ｂの上図に示す如く、ズームボタン４が操作されていない三次元画像Ｐ１０（真ん中図）と比較して、ズームテレボタン４ａが操作された時には直方体ｏｂ１が手前側に位置した三次元画像Ｐ１ｔ（右図）となり、ズームワイドボタン４ｂが操作された時には直方体ｏｂ１が奥側に位置した三次元画像Ｐ１ｗ（左図）となって、ステレオカメラ１の撮影部２１Ａの画角を変更する感覚で三次元画像の奥行き方向の位置を変更することができる。
【００７６】
次に三次元画像データの大きさを変化させる画像データ処理２について説明する。図６Ｂは画像データ処理２のフローチャートである。なお図６Ｂは便宜上、図６Ａのフローチャートと同じ処理については同じステップ番号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。
【００７７】
画像データ処理部３３による画像データ処理２は、図６Ｂに示す如く、ステップ１１にてズームボタン４の操作量を検出すると（ステップＳ１１）、次に直方体ｏｂ１の三次元画像データのＸ，Ｙ，Ｚ方向の座標値からそれぞれ直方体ｏｂ１の重心にある座標系のＸ',Ｙ',Ｚ'軸方向に座標変換することにより、直方体ｏｂ１について自身の重心からの座標値(x',y',z')を算出する（ステップＳ１４）。そしてズームボタン４の操作により変化した画角量の比例倍を直方体ｏｂ１の座標値(x',y',z')に掛算する（ステップＳ１５）。
【００７８】
これはズームボタン４が撮影部２１Ａの画角を光学的に変換させる光学ズーミング操作部材として機能するときには、例えば図５Ｃに示す如く、ズームボタン４が押下される前に、ＣＣＤ１３Ａから読み出された画像データＰ０中の所定の被写体ｏｂの画素領域が１００ピクセルであり、ズームテレボタン（Ｔ）４ａが押下された後にＣＣＤ１３Ａから読み出された画像データＰｔ中の所定の被写体ｏｂの画素領域が１５０ピクセルであるときには、画角変化量が１．５倍となるため、三次元画像データの直方体ｏｂ１の座標値(x',y',z')に１．５を掛算して、直方体０ｂ１を画像データ上、重心を中心として拡大する。
【００７９】
一方、ズームワイドボタン（Ｗ）４ｂが押下された後にＣＣＤ１３Ａから読み出された画像データＰｗにおける所定の被写体ｏｂの画素領域が７５ピクセルであるときには、画角変化量が０．７５倍となるため、三次元画像データの直方体ｏｂ１の座標値(x',y',z')に０．７５を掛算して、直方体０ｂ１を画像データ上、重心を中心として縮小する。
【００８０】
またズームボタン４が撮影部２１Ａの画角を電子的に変換させるものである場合には、ＣＣＤ１３Ａから読み出された画像データＰ０における所定の被写体ｏｂの画素領域に対する、拡大された画像データＰｔ又は縮小された画像データＰｗにおける所定の被写体ｏｂの画素領域の変化量を算出して画角変化量を検出することにより、上記と同様にして直方体０ｂ１を画像データ上で拡大又は縮小する。
【００８１】
なおこのときモニタ２０にスルー画像が表示されていて、ズームボタン４の操作によりスルー画像の画角が変化する場合には、スルー画像の画角変化量を検出することにより上記と同様にして直方体０ｂ１を画像データ上で拡大又は縮小してもよい。このスルー画像の画角変化量は、スルー画像における所定の被写体ｏｂの画素領域の変化量を算出することにより検出できる。なおズームボタン４の操作によりスルー画像の画角が変化するときには、モニタ２０に三次元画像Ｐ１（図５Ａ参照）を表示していなくてもよいし、表示していてもよい。
【００８２】
そして次にステップＳ１２にて上記のように演算された直方体ｏｂ１の重心座標系の三次元画像データ(x',y',z')をカメラ座標系(レンズ主点もしくは焦点に座標原点を持つ)に座標変換をして（ステップＳ１６）、画像データ処理２を終了する。
【００８３】
このようにズームボタン４の操作に基づいて上記画像データ処理２を行うことにより、変更された三次元画像データで表わされる三次元画像は、図５Ｃの上図に示す如く、ズームボタン４が操作されていない三次元画像Ｐ１０（真ん中図）と比較して、ズームテレボタン４ａが操作された時には重心の位置を変更することなく直方体ｏｂ１を拡大した三次元画像Ｐ１ｔ（右図）となり、ズームワイドボタン４ｂが操作された時には重心の位置を変更することなく直方体ｏｂ１を縮小した三次元画像Ｐ１ｗ（左図）となって、ステレオカメラ１の撮影部２１Ａの画角を変更する感覚で三次元画像の大きさを変更することができる。
【００８４】
なお本実施形態では三次元画像の一部である直方体ｏｂ１の重心を中心にして拡大又は縮小を行ったが本発明はこれに限られるものではなく、三次元画像の中央を中心として拡大又は縮小してもよい。
【００８５】
次に三次元画像データの奥行き方向の位置を変化させる別の画像データ処理３について説明する。図６Ｃは画像データ処理３のフローチャートである。なお画像データ処理３では、上記実施形態の画像データ処理１、２とは異なりズームボタン４ではなく別のボタンの操作に基づいて処理を行う。本実施形態では図１の上下左右ボタン５を使用する例について以下説明するが、例えば新たに位置変更用ボタンを設けてもよい。なお本実施形態の画像データ処理３を行う場合には図４のステップ７はズームボタン４ではなく上下左右ボタン５が押下されたか否かを判別するものとする。
【００８６】
画像データ処理部３３による画像データ処理３は、図６Ｃに示す如く、まず上下左右ボタン５の操作量を検出し（ステップＳ２１）、モードを判別する（ステップＳ２２）。そしてモードがＡである場合（ステップＳ２２；Ａ）には、下記表１に示す画角変化量テーブルから画角変化量を選択する（ステップＳ２３）。
【表１】
【００８７】
上記表１に示す画角変化量テーブルは、上下左右ボタン５の↑ボタン又は↓ボタンが押下された回数つまり操作回数と、↑ボタンと同じ操作回数だけズームテレボタン４ａが押下されたときのレンズ１０Ａのズームレンズの駆動、又は画像データの拡大、あるいはスルー画像の拡大による画角の変化量との対応表であり、例えば↑ボタンが５回押下されたときには、ズームテレボタン４ａが５回押下されたときのレンズ１０Ａのズームレンズの駆動、又は画像データの拡大、あるいはスルー画像の拡大による画角の変化量に相当する１．５倍が画角変化量となり、↓ボタンが５回押下されたときには、ズームワイドボタン４ｂが５回押下されたときのレンズ１０Ａのズームレンズの駆動、又は画像データの縮小、あるいはスルー画像の縮小による画角の変化量に相当する０．５倍が画角変化量となる。
【００８８】
そして図６Ｃに示す如く、ステップＳ２３にて画角変化量を選択すると（ステップＳ２３）、選択した画角変化量の比例倍つまり選択した画角変化量が１．５倍である場合には三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに１／１．５を掛算して（ステップＳ２４）、直方体０ｂ１を画像データ上、ステレオカメラ１側に近づける方向（図５Ｂ参照）の位置Ｃｔへ移動する。
【００８９】
一方、選択した画角変化量が０．５倍である場合には三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに１／０．５を掛算して（ステップＳ２４）、直方体０ｂ１を画像データ上、ステレオカメラ１側から遠ざける方向（図５Ｂ参照）の位置Ｃｗへ移動する。そして次にステップＳ２４にて上記のように演算された座標Ｚの値に三次元画像データを変更する（ステップＳ２５）。
【００９０】
このように上下左右ボタン５の操作に基づいて表１の画角変化量テーブルから選択した画角変化量に基づいて上記のように三次元画像データを変更することにより、実際には光学ズームや電子ズーム、スルー画像の拡大又は縮小が行われなくても、上下左右ボタン５が操作されていない三次元画像Ｐ１０（図５Ｂ真ん中図参照）と比較して、↑ボタンが操作された時には直方体ｏｂ１が手前側に位置した三次元画像Ｐ１ｔ（図５Ｂ右図参照）となり、↓ボタンが操作された時には直方体ｏｂ１が奥側に位置した三次元画像Ｐ１ｗ（図５Ｂ左図参照）となって、撮影部２１Ａの画角を変更する感覚でズームボタン４の操作により変更されるべき画角変化量と同等の画角変化量に基づいて三次元画像の奥行き方向の位置を変更することができる。
【００９１】
一方図６ＣのステップＳ２２にてモードがＢと判別された場合（ステップＳ２２；Ｂ）には、三次元画像データの直方体ｏｂ１の奥行方向の値つまり座標Ｚに所定値を加減算する（ステップＳ２６）。
【００９２】
これは例えば下記表２に示す如く、上下左右ボタン５の↑ボタンが１回操作される毎に座標Ｚに１０ｍｍを加算して、直方体０ｂ１を画像データ上、ステレオカメラ１側に近づける方向（図５Ｂ参照）の位置Ｃｔへ移動し、↓ボタンが１回操作される毎に座標Ｚに１０ｍｍを減算して、直方体０ｂ１を画像データ上、ステレオカメラ１側から遠ざける方向（図５Ｂ参照）の位置Ｃｗへ移動する。
【表２】
【００９３】
そして次にステップＳ２６にて上記のように演算された座標Ｚの値に三次元画像データを変更する（ステップＳ２５）。そしてステップＳ２５にて三次元画像データが変更されると（ステップＳ２５）、画像データ処理３を終了する。
【００９４】
次に三次元画像データの大きさを変化させる別の画像データ処理４について説明する。図６Ｄは画像データ処理４のフローチャートである。なお画像データ処理４では、上記実施形態の画像データ処理１、２とは異なりズームボタン４ではなく別のボタンの操作に基づいて処理を行う。本実施形態では図１の上下左右ボタン５を使用する例について以下説明するが、例えば新たに大きさ変更用ボタンを設けてもよい。なお本実施形態の画像データ処理４を行う場合には図４のステップ７はズームボタン４ではなく上下左右ボタン５が押下されたか否かを判別するものとする。また図６Ｄは便宜上、図６Ｃのフローチャートと同様の処理は同じステップ番号で示して説明を省略する。
【００９５】
画像データ処理部３３による画像データ処理４は、図６Ｄに示す如く、まず上下左右ボタン５の操作量を検出し（ステップＳ２１）、次に直方体ｏｂ１の三次元画像データのＸ，Ｙ，Ｚ方向の座標値からそれぞれ直方体ｏｂ１の重心にある座標系Ｘ’，Ｙ’，Ｚ’軸方向に座標変換することにより、直方体ｏｂ１について自身の重心からの座標値(x',y',z')を算出する（ステップＳ２７）。
【００９６】
そしてステップＳ２３にて画角変化量を選択すると（ステップＳ２３）、選択した画角変化量の比例倍つまり選択した画角変化量が１．５倍である場合には三次元画像データの直方体ｏｂ１の座標値(x',y',z')に１．５を掛算して（ステップＳ２８）、直方体０ｂ１を画像データ上、重心を中心として拡大する。
【００９７】
一方、選択した画角変化量が０．５倍である場合には三次元画像データの直方体ｏｂ１の座標値(x',y',z')に０．５を掛算して（ステップＳ２８）、直方体０ｂ１を画像データ上、重心を中心として縮小する。そして次にステップＳ２８にて上記のように演算された三次元画像データ(直方体ｏｂ１の重心に原点を持つ座標系の座標値データ)の座標値(0.5*x', 0.5*y', 0.5*z')をカメラ座標系に座標変換(例えば回転移動と平行移動)をする（ステップＳ３０）。
【００９８】
このように上下左右ボタン５の操作に基づいて表１の画角変化量テーブルから選択した画角変化量に基づいて上記のように三次元画像データを変更することにより、実際には光学ズームや電子ズーム、スルー画像の拡大又は縮小が行われなくても、上下左右ボタン５が操作されていない三次元画像Ｐ１０（図５Ｃ真ん中図参照）と比較して、↑ボタンが操作された時には重心の位置を変更することなく直方体ｏｂ１を拡大した三次元画像Ｐ１ｔ（図５Ｃ右図参照）となり、↓ボタンが操作された時には重心の位置を変更することなく直方体ｏｂ１を縮小した三次元画像Ｐ１ｗ（図５Ｃ左図参照）となって、撮影部２１Ａの画角を変更する感覚でズームボタン４の操作により変更されるべき画角変化量と同等の画角変化量に基づいて三次元画像の大きさを変更することができる。
【００９９】
一方図６ＤのステップＳ２２にてモードがＢと判別された場合（ステップＳ２２；Ｂ）には、三次元画像データの直方体ｏｂ１の座標値(x',y',z')に所定の比を掛算する（ステップＳ２９）。
【０１００】
これは例えば下記表３に示す如く、上下左右ボタン５の↑ボタンが１回操作される毎に座標値(x',y',z')に２％つまり１．０２を掛算して、直方体０ｂ１を画像データ上、重心を中心として拡大し（図５Ｃ参照）、↓ボタンが１回操作される毎に座標値(x',y',z')に−０．２％つまり０．９８を掛算して、直方体０ｂ１を画像データ上、重心を中心として縮小する（図５Ｃ参照）。
【表３】
【０１０１】
そして次にステップＳ２９にて上記のように演算された三次元画像データ(直方体ｏｂ１の重心に原点を持つ座標系の座標値データ)の座標値(1.02*x', 1.02*y', 1.02*z')をカメラ座標系に座標変換(例えば回転移動と平行移動)をする（ステップＳ３０）。そしてステップＳ３０にて三次元画像データが変更されると（ステップＳ３０）、画像データ処理４を終了する。
【０１０２】
なお本実施形態では三次元画像の一部である直方体ｏｂ１の重心を中心にして拡大又は縮小を行ったが本発明はこれに限られるものではなく、三次元画像の中央を中心として拡大又は縮小してもよい。
【０１０３】
上述のようにし、図４に示す如く、画像データ処理部３３は三次元画像データを処理する（ステップＳ９）。なお本実施形態では画像データ処理部３３は三次元画像の奥行き方向の位置と三次元画像の大きさとを別々に処理するものとしたが、前記奥行き方向の位置と前記大きさの両方を処理してもよい。
【０１０４】
そして次にステップ９にて三次元画像データが処理されると（ステップＳ９）、ＣＰＵ３４はステップＳ６へ処理を移行し、表示制御部２８が処理された三次元画像データで表わされる三次元画像（図５Ｂ、Ｃの上図参照）Ｐ１をモニタ２０に表示して（ステップＳ６）、ユーザがズームボタン４を押下しなくなるまで、すなわち表示された三次元画像を所望するまでステップＳ７以降の処理を繰り返し行う。
【０１０５】
そしてステップ７にてズームボタン４が押下されなくなると（ステップＳ７；ＮＯ）、表示制御部２８が処理された三次元画像データで表わされる三次元画像を表示し、かつメディア制御部２６が記録メディア２９に三次元画像データを記録する（ステップＳ８）。三次元画像データはＣＰＵ３４を介して内部メモリ２７に記録してもよい。本実施形態のステレオカメラ１による三次元測定処理は上述のようにして行う。
【０１０６】
本実施形態のステレオカメラ１及びステレオカメラ１による三次元測定方法によれば、取得した三次元画像データを、この三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、撮影部２１Ａのズームボタンの操作もしくはズームボタンの操作に対応する例えば上下左右ボタン５の操作に基づいて処理するので、撮像部２１Ａの画角を変更する操作に応じて三次元画像の奥行き方向の位置及び／又は大きさを変化させることができて、撮影部２１Ａの画角を変更する感覚で画角を変更する操作に応じた三次元画像を取得することができる。
【０１０７】
なお本実施形態のステレオカメラ１では、三次元画像の一部である直方体ｏｂ１の奥行き方向及び／又は大きさを変化させるものとしたが、本発明はこれに限られるものではなく、三次元画像全体の奥行き方向及び／または大きさを変化させてもよい。この場合三次元画像データのすべてのＸＹＺ方向の座標値について、上記掛算や加減算を行う。こうすることにより他の三次元画像と合成した合成三次元画像にて他の三次元画像と相対的に奥行き位置や大きさが変更された合成三次元画像を取得することができる。
【０１０８】
次に本発明にかかる第二の実施形態のステレオカメラ１−２について、以下図面を参照して詳細に説明する。図７は本実施形態のステレオカメラ１−２の内部構成を示す概略ブロック図、図８は図７のステレオカメラ１−２による一連の三次元測定処理のフローチャート、図９はステレオカメラ１−２の撮影状況を示す斜視図、図１０はステレオカメラ１−２と三次元画像との位置関係を示す図の一例、図１１はステレオカメラ１−２と三次元画像との位置関係を示す図の別の一例である。なお図７は便宜上、図２のブロック図と同様の箇所は同符号で示して説明を省略する。
【０１０９】
本実施形態のステレオカメラ１−２は、図７に示す如く、上記実施形態のステレオカメラ１の構成にさらに合成処理部３８を備えたものであり、合成処理部３８は三次元画像データ取得部３２で取得された複数の三次元画像データを合成することにより合成三次元画像データを生成する。
【０１１０】
次に上記のように構成されたステレオカメラ１−２による三次元測定方法の一連の処理について説明する。なお図８では、シャッタボタン２が全押しされて撮影の指示が行われた以降の処理について説明する。
【０１１１】
本実施形態のステレオカメラ１−２による三次元測定処理は、図８に示す如く、まずＣＰＵ３４が現在の撮影が一回目の撮影であるか否かを判別し（ステップＳ３０）、一回目の撮影である場合（ステップＳ３０；ＹＥＳ）には、シャッタボタン２が全押しされることにより撮像制御部２２がＣＰＵ３４を介して処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３４からの指示により、図９上図に示す如く、円柱ｏｂ２を所定被写体とした被写体の一回目の撮影を行いデジタルのステレオ画像データを取得する（ステップＳ３１）。
【０１１２】
ここで図８のステップＳ３２〜Ｓ３６は図４のステップＳ２〜Ｓ６の処理と同様であるため、説明は省略するが、ステップＳ３３にて被写体検出部３０が検出する所定被写体は円柱ｏｂ２とする。なお三次元画像データ取得部３２により取得された円柱ｏｂ２の重心までの奥行き方向の距離を距離Ｌ１としてこの位置を初期位置Ｃ０とする。
【０１１３】
そしステップＳ３５にて取得した三次元画像データで表わされる三次元画像Ｐ２が、図９上図に示す如く、モニタ２０に表示されると、次に撮像制御部２２がＣＰＵ３４を介して二回目の撮影を行う（ステップＳ３７）。二回目の撮影は、例えば図９下図に示す如く、レンズ１０Ａの主点から上記距離Ｌ１よりも小さい距離Ｌ２離れた位置の直方体ｏｂ３と上記距離Ｌ１よりも大きい距離Ｌ３離れた位置の直方体ｏｂ４を所定被写体とした被写体を撮影する。
【０１１４】
ここで図８のステップＳ３８〜Ｓ４１は図４のステップＳ２〜ステップＳ５の処理と同様であるため、説明は省略するが、ステップＳ３９にて被写体検出部３０が検出する所定被写体は直方体ｏｂ３及び直方体ｏｂ４とする。
【０１１５】
そして次にステップＳ４１にて取得した三次元画像データで表わされる三次元画像Ｐ３をモニタ２０に表示する。このとき三次元画像Ｐ３は、図９下図に示す如く、ステップＳ３６にて表示された一回目の撮影の三次元画像Ｐ２に重ねて表示する。なお重ねて表示する際に、一回目の撮影の三次元画像Ｐ２を半透明にして表示してもよいし、三次元画像Ｐ２のワイヤーフレームを点線にて表示してもよい。
【０１１６】
一方ステップＳ３０にて、一回目の撮影ではないと判別された場合（ステップＳ３０；ＮＯ）には、すでに取得されてモニタ２０に表示された三次元画像があると判断し、撮像制御部２２がＣＰＵ３４を介して二回目の撮影を行い（ステップＳ３７）、以降の処理を行う。
【０１１７】
そして上記のように三次元画像Ｐ２と三次元画像Ｐ３とが重ねて表示されると（ステップＳ４２）、次にＣＰＵ３４はズームボタン４が押下つまり操作されたか否かを判別し（ステップＳ４３）、押下されていない場合（ステップＳ４３；ＮＯ）には、ユーザが重ねてモニタ２０に表示された三次元画像Ｐ２、Ｐ３を所望していると判断して、合成処理部３８が三次元画像Ｐ２及びＰ３の画像データを合成することにより合成三次元画像データを生成する（ステップＳ４４）。
【０１１８】
そして表示制御部２８が生成された合成三次元画像データで表わされる合成三次元画像をモニタ２０に表示し、かつメディア制御部２６が記録メディア２９に合成三次元画像データを記録する（ステップＳ４５）。合成三次元画像データはＣＰＵ３４を介して内部メモリ２７に記録してもよい。
【０１１９】
一方ステップＳ４３にて、ズームボタンが押下された場合（ステップＳ４３；ＹＥＳ）には、ユーザが表示された三次元画像を所望していないと判断して、画像データ処理部３３がステップＳ４１にて取得された三次元画像データで表わされる三次元画像Ｐ３の直方体ｏｂ３及び／又は直方体ｏｂ４の奥行き方向の位置及び／又は大きさが変化するように、ズームボタン４の操作に基づいて前記三次元画像データを処理する（ステップＳ４６）。
【０１２０】
このときモニタ２０には三次元画像Ｐ２と三次元画像Ｐ３と共にスルー画像を表示してもよいし、スルー画像のみを表示してもよい。また三次元画像Ｐ２、三次元画像Ｐ３、スルー画像のうちの、１つ又は２つを半透明で表示したり、ワイヤーフレームを点線にて表示したりしてもよい。
【０１２１】
なおこの画像データ処理部３３による三次元画像データの処理は、上記実施形態で図６Ａ〜Ｄを参照して説明した処理と同様の処理であるため、ここでの詳細な説明は省略する。また本実施形態においては、二回目に撮影して取得した三次元画像データを前記処理するものとしたが、本発明はこれに限られるものではなく、一回目に撮影して取得した三次元画像データを前記処理してもよいし、ユーザが操作部３６を操作することにより前記処理する三次元画像データを選択するようにしてもよい。
【０１２２】
そしてステップＳ４６にて図６Ａの画像データ処理１又は図６Ｃの画像データ処理３が行われた場合には、図１０に示す如く、画角変化量が１．５倍のときには、三次元画像データの直方体ｏｂ３、ｏｂ４の奥行方向の値つまり座標Ｚにそれぞれ１／１．５を掛算して、直方体ｏｂ３、ｏｂ４を画像データ上、ステレオカメラ１側に近づける方向（図５Ｂ中、右側）の位置Ｃｔへ移動する。これは演算後の座標Ｚの値によるが、例えば図１０の真ん中上図に示すように直方体ｏｂ４が円柱ｏｂ２よりも奥側に位置していたのが、右上図に示すように直方体ｏｂ３と直方体ｏｂ４の両方が円柱ｏｂ３よりも手前側に位置するように移動する。
【０１２３】
一方、画角変化量が０．７５倍のときには、三次元画像データの直方体ｏｂ３、ｏｂ４の奥行方向の値つまり座標Ｚにそれぞれ１／０．７５を掛算して、直方体ｏｂ３、ｏｂ４を画像データ上、ステレオカメラ１側に遠ざける方向（図５Ｂ中、左側）の位置Ｃｗへ移動する。これは演算後の座標値Ｚの値によるが、例えば図１０の真ん中上図に示すように直方体ｏｂ４が円柱ｏｂ２よりも手前側に位置していたのが、左上図に示すように直方体ｏｂ３と直方体ｏｂ４の両方が円柱ｏｂ３よりも奥側に位置するように移動する。
【０１２４】
なお上記移動により例えば直方体ｏｂ３及び／又は直方体ｏｂ４が円柱ｏｂ２と重なって位置してしまう、すなわち干渉してしまう場合には、モニタ２０にエラーを表示したり警告音を発したりすることができる。また、エラーを表示せずに干渉した状態のまま重ねて表示させておいてもよい。
【０１２５】
また本実施形態では、直方体ｏｂ３と直方体ｏｂ４の両方の奥行き方向の画像データを処理したが、本発明はこれに限られるものではなく、どちらか一方のみの画像データを処理してもよいし、ユーザが操作部３６を操作することにより前記処理する所定被写体（直方体ｏｂ３、直方体ｏｂ４）を選択するようにしてもよい。
【０１２６】
一方ステップＳ４６にて図６Ｂの画像データ処理２又は図６Ｄの画像データ処理４が行われた場合には、図１１に示す如く、画角変化量が１．５倍のときには、三次元画像データの直方体ｏｂ３、ｏｂ４の各々の座標値(x',y',z')にそれぞれ１．５を掛算して、直方体ｏｂ３、ｏｂ４を画像データ上、重心を中心として拡大する。これは図１１の真ん中上図に示す直方体ｏｂ３、ｏｂ４と円柱ｏｂ２との大きさの関係と比較して、右上図に示すように直方体ｏｂ３と直方体ｏｂ４の両方が円柱ｏｂ３に対して相対的に大きくなるように拡大される。
【０１２７】
一方、画角変化量が０．７５倍のときには、三次元画像データの直方体ｏｂ３、ｏｂ４の各々の座標値(x',y',z')にそれぞれ０．７５を掛算して、直方体０ｂ１を画像データ上、重心を中心として縮小する。これは図１１の真ん中上図に示す直方体ｏｂ３、ｏｂ４と円柱ｏｂ２との大きさの関係と比較して、左上図に示すように直方体ｏｂ３と直方体ｏｂ４の両方が円柱ｏｂ３に対して相対的に小さくなるように縮小される。
【０１２８】
そして上記のように演算された三次元画像データ(直方体ob3、ob4の重心に原点を持つ座標系の座標値データ(x'ob3,y'ob3,z'ob3)と(x'ob4,y'ob4,z'ob4))の座標値(0.75*x'ob3, 0.75*y'ob3, 0.75*z'ob3)と(0.75*x'ob4, 0.75*y'ob4, 0.75*z'ob4)をカメラ座標系に座標変換(例えば回転移動と平行移動)をする。
【０１２９】
なお上記移動により例えば直方体ｏｂ３及び／又は直方体ｏｂ４が円柱ｏｂ２と重なって位置してしまう、すなわち干渉してしまう場合には、モニタ２０にエラーを表示したり警告音を発したりすることができる。また、エラーを表示せずに干渉した状態のまま重ねて表示させておいてもよい。
【０１３０】
また本実施形態では、直方体ｏｂ３と直方体ｏｂ４の両方の大きさが拡大又は縮小するように画像データを処理したが、本発明はこれに限られるものではなく、どちらか一方のみの画像データを処理してもよいし、ユーザが操作部３６を操作することにより前記処理する所定被写体（直方体ｏｂ３、直方体ｏｂ４）を選択するようにしてもよい。
【０１３１】
また本実施形態では三次元画像の一部である直方体ｏｂ３及び直方体ｏｂ４の重心を中心にして拡大又は縮小を行ったが本発明はこれに限られるものではなく、三次元画像Ｐ３の中央を中心として拡大又は縮小してもよい。
【０１３２】
そして画像データ処理部３３による前記処理が終了すると（ステップＳ４６）、ＣＰＵ３４はステップＳ４２へ処理を移行し、ステップ４６にて処理された三次元画像データで表わされる三次元画像Ｐ３を三次元画像Ｐ２と重ねて再表示し（ステップＳ４２）、ユーザがズームボタン４を押下しなくなるまで、すなわち表示された合成三次元画像を所望するまでステップＳ４３以降の処理を繰り返し行う。
【０１３３】
そしてステップ４３にてズームボタン４が押下されなくなると（ステップＳ４３；ＮＯ）、表示制御部２８が処理された三次元画像データで表わされる合成三次元画像を表示し、かつメディア制御部２６が記録メディア２９に合成三次元画像データを記録する（ステップＳ８）。合成三次元画像データはＣＰＵ３４を介して内部メモリ２７に記録してもよい。本実施形態のステレオカメラ１−２による三次元測定処理は上述のようにして行う。
【０１３４】
本実施形態のステレオカメラ１−２及びステレオカメラ１−２による三次元測定方法によれば、取得した複数の三次元画像データを、この複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、撮影部２１Ａのズームボタンの操作もしくはズームボタンの操作に対応する例えば上下左右ボタン５の操作に基づいて処理するので、撮像部２１Ａの画角を変更する操作に応じて、複数の三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさを他の三次元画像に対して変化させることができて、撮影部２１Ａの画角を変更する感覚で画角を変更する操作に応じた合成三次元画像を取得することができる。
【０１３５】
なお本実施形態のステレオカメラ１−２では、三次元画像の一部である直方体ｏｂ３及び／又は直方体ｏｂ４の奥行き方向及び／又は大きさを変化させるものとしたが、本発明はこれに限られるものではなく、三次元画像Ｐ３の全体の奥行き方向及び／又は大きさを変化させてもよい。こうすることにより他の三次元画像と合成した合成三次元画像にて他の三次元画像と相対的に奥行き位置や大きさが変更された合成三次元画像を取得することができる。
【０１３６】
また本実施形態のステレオカメラ１−２では、二回の撮影を行ったが、本発明はこれに限られるものではなく、三回以上の撮影を行ってもよい。この場合、画像データ処理部３３が、最後の撮影により取得された三次元画像データの画像データを処理してもよいし、ユーザが操作部３６を操作することにより何回目の撮影により取得された三次元画像データを処理するのか選択可能にしてもよい。
【０１３７】
また本実施形態のステレオカメラ１−２では、画像データ処理部３３が合成されるまえの三次元画像データについて画像データの処理を行ったが、本発明はこれに限られるものではなく、合成処理部３８が先に複数の三次元画像データを合成して合成三次元画像を生成し、この生成された合成三次元画像の少なくとも一部、例えば図９右下図の円柱ｏｂ２、直方体ｏｂ３、ｏｂ４のうちの１つ以上の奥行き方向及び／又は大きさを変化させてもよい。この場合、図８のステップＳ４４の処理をステップＳ４１とステップＳ４２の間で行う。
【０１３８】
また上記実施形態のステレオカメラ１、１−２では、三次元画像データ取得部３２が撮影部２１Ａ、２１Ｂにより被写体を撮影して得た三次元画像データを取得し、この取得した三次元画像データについて画像データ処理部３３が画像データの処理を行ったが、本発明はこれに限られるものではない。
【０１３９】
ステレオカメラ１を使用するときには、図４のステップＳ１〜ステップＳ４の処理を行わずに、ステップＳ５にて三次元画像データ取得部３２が内部メモリ２７又は記録メディア２９に記録された三次元画像データを取得してもよい。
【０１４０】
またステレオカメラ１−２を使用するときには、図８のステップＳ３１〜ステップＳ３４及び／又はステップＳ３７〜ステップＳ４０の処理を行わずに、ステップＳ３５及び／又はステップＳ４１にて三次元画像データ取得部３２が内部メモリ２７又は記録メディア２９に記録された三次元画像データを取得してもよい。
【０１４１】
また上記実施形態のステレオカメラ１、１−２では、２つの撮像部２１Ａ、２１Ｂを設け、これら撮影部２１Ａ、２１Ｂにより取得された基準画像と参照画像の２つの画像を用いて三次元画像データを生成しているが、３つ以上の撮像部を設け、２つ以上の参照画像を用いて三次元画像データを生成する場合にも本発明を適用することができる。
【０１４２】
また上記実施形態では、三次元測定装置としてステレオカメラ１、１−２を例にして説明しているが、本発明はこれに限られるものではなく、例えば１つの撮像部とレーザ照射手段とを備えて三次元形状を計測する特開２００５−０９８９７８号公報に記載の三次元測定装置等にも本発明を適用することができる。
【０１４３】
ここで本発明にかかる第三の実施形態の三次元測定装置１−３について以下図面を参照して説明する。図１２は第三の実施形態の三次元測定装置１−３の概略構成斜視図である。
【０１４４】
本実施形態の三次元測定装置１−３は、図１２に示す如く、例えば所定被写体として直方体ｏｂ１を含む被写体を撮像する撮像部（撮像手段）２１Ａと、モニタ（表示手段）１２０、キーボード１３６及びマウス１３６’（操作手段）を備えてなるＰＣ（パーソナルコンピュータ）１００とを備えている。
【０１４５】
そしてＰＣ１００のキーボード１３６やマウス１３６’を操作して撮像部２１Ａを制御し、前記被写体を異なる視点から少なくとも２回撮影することにより基準画像と参照画像を取得して、上述した実施形態と同様にステレオ演算を行うことにより三次元画像を取得する。
【０１４６】
そして、ＰＣ１００のキーボード１３６やマウス１３６’を操作することにより撮影部２１Ａの画角を変化させ、この画角の変化に基づいて上記実施形態と同様に三次元画像データを画像データ処理する。このときモニタ１２０には取得した三次元画像と共にスルー画像を表示してもよい。また実際には撮影部２１Ａの画角が変化していない場合であっても前記画像データ処理を行うことができる。
【０１４７】
こうすることにより撮像部２１Ａの画角を変化させる例えばズームボタンに対応するキーボード１３６やマウスの操作に基づいて前記画像データ処理つまり三次元画像の奥行き方向の位置及び／又は大きさを変化させることができて、撮影部２１Ａの画角を変更する感覚で画角を変更する操作に応じた三次元画像を取得することができる。
【０１４８】
なお本発明の三次元測定装置及び三次元測定方法は、上述した実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。
【図面の簡単な説明】
【０１４９】
【図１】本発明の三次元測定装置の一実施形態としてのステレオカメラの斜視図
【図２】図１のステレオカメラの内部構成を示す概略ブロック図
【図３】撮像部の構成を示す図
【図４】図２のステレオカメラによる一連の三次元測定処理のフローチャート
【図５Ａ】図２のステレオカメラの撮影状況を示す斜視図
【図５Ｂ】図２のステレオカメラと三次元画像との位置関係を示す図の一例
【図５Ｃ】図２のステレオカメラと三次元画像との位置関係を示す図の別の例
【図６Ａ】第一の実施形態の画像データ処理のフローチャート
【図６Ｂ】第二の実施形態の画像データ処理のフローチャート
【図６Ｃ】第三の実施形態の画像データ処理のフローチャート
【図６Ｄ】第四の実施形態の画像データ処理のフローチャート
【図７】第二の実施形態のステレオカメラ１−２の内部構成を示す概略ブロック図
【図８】図７のステレオカメラによる一連の三次元測定処理のフローチャート
【図９】図７のステレオカメラの撮影状況を示す斜視図
【図１０】図７のステレオカメラと三次元画像との位置関係を示す図の一例
【図１１】図７のステレオカメラと三次元画像との位置関係を示す図の別の例
【図１２】本発明にかかる三次元測定装置の斜視図
【符号の説明】
【０１５０】
１、１−２ ステレオカメラ（三次元測定装置）
１−３ 三次元測定装置
２０、１２０ モニタ（表示手段）
２１Ａ，２１Ｂ 撮像部（撮像手段）
３０ 被写体検出部
３１ ステレオ演算部
３２ 三次元画像データ取得部（三次元画像データ取得手段）
３３ 画像データ処理部（画像データ処理手段）
３８ 合成処理部
４ ズームボタン（画角変換操作部材）
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
該撮像手段で撮像して得た被写体の三次元画像データを含む、１つ以上の三次元画像データを取得可能な三次元画像データ取得手段と、
該三次元画像データ取得手段で取得された三次元画像データを、該三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作もしくは該操作部材の操作に対応する操作に基づいて処理する画像データ処理手段とを備えたことを特徴とする三次元測定装置。
【請求項２】
前記画像データ処理手段が、前記三次元画像データ取得手段で取得された複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部が他の三次元画像に対して、前記複数の三次元画像が合成されたときの奥行き方向の位置及び／又は大きさが相対的に変化するように前記処理するものであることを特徴とする請求項１に記載の三次元測定装置。
【請求項３】
前記画像データ処理手段が、前記複数の三次元画像が合成された合成三次元画像に対して前記処理を行うことを特徴とする請求項２に記載の三次元測定装置。
【請求項４】
前記画角変換操作部材が、前記撮像手段の画角を光学的に変換させる光学ズーミング操作部材であることを特徴とする請求項１〜３いずれか1項に記載の三次元測定装置。
【請求項５】
前記画角変換操作部材が、前記撮像手段の画角を電子的に変換させるものであることを特徴とする請求項１〜３いずれか１項に記載の三次元測定装置。
【請求項６】
前記撮像手段の画角範囲の被写体のスルー画像を表示する表示手段をさらに備え、
前記画像データ処理手段が、前記スルー画像に前記三次元画像を合成して表示すると共に前記処理を行うことを特徴とする請求項１〜５いずれか１項に記載の三次元測定装置。
【請求項７】
前記撮像手段の画角範囲の被写体のスルー画像を表示する表示手段をさらに備え、
前記画像データ処理手段が、前記スルー画像に表示された前記画角範囲の変化に連動して前記処理を行うことを特徴とする請求項１〜５いずれか１項に記載の三次元測定装置。
【請求項８】
前記画像データ処理手段が、前記撮像手段の画角変換操作部材の操作により変更される前記撮像手段の画角の変化量に対応し前記三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように前記処理することを特徴とする請求項１〜６いずれか１項に記載の三次元測定装置。
【請求項９】
被写体を撮像する撮像手段を備えてなる三次元測定装置を使用した三次元測定方法において、
三次元画像データを取得し、
該取得した三次元画像データを、該三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作もしくは該操作部材の操作に対応する操作に基づいて処理することを特徴とする三次元測定方法。
【請求項１０】
前記三次元画像データを複数取得し、
該取得した複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部が他の三次元画像に対して、前記複数の三次元画像が合成されたときの奥行き方向の位置及び／又は大きさが相対的に変化するように前記処理することを特徴とする請求項９に記載の三次元測定方法。
【請求項１１】
前記撮像手段で異なる視点から被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得することを特徴とする請求項９に記載の三次元測定方法。
【請求項１２】
前記三次元画像データを１つ以上入力し、
該入力された１つ以上の三次元画像データから１つの三次元画像データを取得することを特徴とする請求項９に記載の三次元測定方法。
【請求項１３】
異なる被写体に対してそれぞれ、
前記撮像手段で異なる視点から前記被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得して、
各々が前記異なる被写体の複数の三次元画像データを取得することを特徴とする請求項１０に記載の三次元測定方法。
【請求項１４】
前記三次元画像データを複数入力し、
該入力された複数の三次元画像データから前記複数の三次元画像データを取得することを特徴とする請求項１０に記載の三次元測定方法。
【請求項１５】
前記三次元画像データを複数入力すると共に、
前記撮像手段で異なる視点から被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得して、
該取得した画像データと前記入力された複数の三次元画像データから前記複数の三次元画像データを取得することを特徴とする請求項１０に記載の三次元測定方法。
【請求項１】
被写体を撮像する撮像手段と、
該撮像手段で撮像して得た被写体の三次元画像データを含む、１つ以上の三次元画像データを取得可能な三次元画像データ取得手段と、
該三次元画像データ取得手段で取得された三次元画像データを、該三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作もしくは該操作部材の操作に対応する操作に基づいて処理する画像データ処理手段とを備えたことを特徴とする三次元測定装置。
【請求項２】
前記画像データ処理手段が、前記三次元画像データ取得手段で取得された複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部が他の三次元画像に対して、前記複数の三次元画像が合成されたときの奥行き方向の位置及び／又は大きさが相対的に変化するように前記処理するものであることを特徴とする請求項１に記載の三次元測定装置。
【請求項３】
前記画像データ処理手段が、前記複数の三次元画像が合成された合成三次元画像に対して前記処理を行うことを特徴とする請求項２に記載の三次元測定装置。
【請求項４】
前記画角変換操作部材が、前記撮像手段の画角を光学的に変換させる光学ズーミング操作部材であることを特徴とする請求項１〜３いずれか1項に記載の三次元測定装置。
【請求項５】
前記画角変換操作部材が、前記撮像手段の画角を電子的に変換させるものであることを特徴とする請求項１〜３いずれか１項に記載の三次元測定装置。
【請求項６】
前記撮像手段の画角範囲の被写体のスルー画像を表示する表示手段をさらに備え、
前記画像データ処理手段が、前記スルー画像に前記三次元画像を合成して表示すると共に前記処理を行うことを特徴とする請求項１〜５いずれか１項に記載の三次元測定装置。
【請求項７】
前記撮像手段の画角範囲の被写体のスルー画像を表示する表示手段をさらに備え、
前記画像データ処理手段が、前記スルー画像に表示された前記画角範囲の変化に連動して前記処理を行うことを特徴とする請求項１〜５いずれか１項に記載の三次元測定装置。
【請求項８】
前記画像データ処理手段が、前記撮像手段の画角変換操作部材の操作により変更される前記撮像手段の画角の変化量に対応し前記三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように前記処理することを特徴とする請求項１〜６いずれか１項に記載の三次元測定装置。
【請求項９】
被写体を撮像する撮像手段を備えてなる三次元測定装置を使用した三次元測定方法において、
三次元画像データを取得し、
該取得した三次元画像データを、該三次元画像データで表わされる三次元画像の少なくとも一部の奥行き方向の位置及び／又は大きさが変化するように、前記撮像手段の画角変換操作部材の操作もしくは該操作部材の操作に対応する操作に基づいて処理することを特徴とする三次元測定方法。
【請求項１０】
前記三次元画像データを複数取得し、
該取得した複数の三次元画像データで表わされる複数の三次元画像のうち、少なくとも一つの三次元画像の少なくとも一部が他の三次元画像に対して、前記複数の三次元画像が合成されたときの奥行き方向の位置及び／又は大きさが相対的に変化するように前記処理することを特徴とする請求項９に記載の三次元測定方法。
【請求項１１】
前記撮像手段で異なる視点から被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得することを特徴とする請求項９に記載の三次元測定方法。
【請求項１２】
前記三次元画像データを１つ以上入力し、
該入力された１つ以上の三次元画像データから１つの三次元画像データを取得することを特徴とする請求項９に記載の三次元測定方法。
【請求項１３】
異なる被写体に対してそれぞれ、
前記撮像手段で異なる視点から前記被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得して、
各々が前記異なる被写体の複数の三次元画像データを取得することを特徴とする請求項１０に記載の三次元測定方法。
【請求項１４】
前記三次元画像データを複数入力し、
該入力された複数の三次元画像データから前記複数の三次元画像データを取得することを特徴とする請求項１０に記載の三次元測定方法。
【請求項１５】
前記三次元画像データを複数入力すると共に、
前記撮像手段で異なる視点から被写体を複数撮像し、
前記異なる視点から撮像して得た複数の画像データから前記被写体の三次元画像データを取得して、
該取得した画像データと前記入力された複数の三次元画像データから前記複数の三次元画像データを取得することを特徴とする請求項１０に記載の三次元測定方法。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−２５８００５（Ｐ２００９−２５８００５Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００８−１０９１４２（Ｐ２００８−１０９１４２）
【出願日】平成２０年４月１８日（２００８．４．１８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２０年４月１８日（２００８．４．１８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]