説明

立体撮像装置および立体撮像装置の制御方法並びにプログラム

【課題】TOF方式により測距を行うための撮像手段と、ステレオマッチングにより測距を行う撮像手段を備えた立体撮像装置において、被写体への測距光の照射を制限できるようにする。
【解決手段】第1の距離画像生成部30において、第1の撮像部2Aが取得した距離画像用のデータから距離画像D1を生成する。第2および第3の撮像部2B,2Cが取得した基準画像および参照画像からステレオマッチング部31が対応点を検出し、第2の距離画像生成部32が距離画像D2を生成する。この際、第1の撮像部2Aによる撮像前に第2および第3の撮像部2B,2Cにより撮像を行い、顔検出部39がこれにより取得した画像から顔等の所定被写体を検出する。所定被写体が検出された場合には、第2および第3の撮像部にのみ撮像を行わせ、第2の距離画像生成部32にのみ距離画像D2を生成させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体の立体形状を表す距離画像を取得する立体撮像装置および立体撮像装置の制御方法並びに立体撮像装置の制御方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【0002】
被写体を撮像して画像を取得する撮像装置において、被写体に向けて出射した近赤外線等の測距光が被写体により反射して戻ってくるまでの時間を計測することにより、撮像装置から被写体までの距離を測定して、被写体の立体形状を表す距離画像を生成することが行われている。このように光の反射を用いて被写体までの距離の測定(測距)を行う方式はTOF(Time Of Flight)方式と称され、TOF方式を用いた測距を行うための種々の手法が提案されている。
【0003】
また、異なる位置に設けられた少なくとも2台以上のカメラを用いて被写体を撮像し、これにより取得された複数の画像(基準カメラによる基準画像および参照カメラによる参照画像)の間で対応する画素を探索し(ステレオマッチング)、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差(視差)に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の立体形状を表す距離画像を生成する手法も提案されている。
【0004】
ここで、ステレオマッチングを行う際には、図7に示すように、基準画像G1上のある点Paに写像される実空間上の点は、点P1,P2,P3というように点O2からの視線上に複数存在するため、実空間上の点P1 ,P2 ,P3 等の写像である直線(エピポーラ線)上に、点Paに対応する参照画像G2上の点Pa′が存在することに基づいて対応点が探索される。なお、図7において点O2は基準カメラの視点、点O3は参照カメラの視点である。このようにステレオマッチングを行う際には、エピポーラ線上のすべての画素について対応点を求める必要があるため、対応点の探索に長時間を要するものとなっている。
【0005】
このため、2台のカメラ(ステレオカメラとする)にこれらと別の位置に配置されたもう1台のカメラを追加し、追加したカメラにより取得した画像から被写体のシルエットを作成し、ステレオカメラにおいて取得した画像から特徴点を検出し、被写体のシルエットの範囲においてのみ、特徴点に基づいて対応点の探索を行うことにより、対応点の探索時間を短縮する手法が提案されている(特許文献1参照)。
【0006】
また、ステレオカメラおよびミリ波レーダを使用し、ミリ波レーダにより障害物が検出され、ステレオカメラにより取得した画像に障害物が検出されない場合、ミリ波レーダによる検出結果に基づいて、ステレオカメラにより取得した画像における対応点の探索範囲を限定することにより、障害物の検出精度の向上および対応点の探索時間を短縮する手法が提案されている(特許文献2参照)。
【0007】
また、赤外カメラではあるが、一方のステレオカメラにより取得した第1の画像から被写体の領域を抽出し、抽出した領域と他方のステレオカメラにより取得した第2の画像との相関値に基づいて、第2の画像から被写体領域を抽出し、被写体領域の範囲において対応点を探索して被写体までの距離を算出して距離画像を生成する際に、算出した距離に応じて探索範囲を狭くすることにより、対応点の誤対応を防止する手法も提案されている(特許文献3参照)。
【特許文献1】特開2000−331160号公報
【特許文献2】特開2006−234513号公報
【特許文献3】特開2003−322521号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところで、TOF方式により測距を行うためのカメラおよびステレオマッチングにより測距を行う2台のカメラの双方を用意して、TOF方式による距離画像およびステレオマッチングによる距離画像の2つの距離画像を取得することが考えられる。しかしながら、人物のような被写体は、測距光が照射されると、撮影時に被写体である人物が煩わしさを感じる場合がある。また、人物のみならず、測距光が照射されることが好ましくない被写体もある。
【0009】
本発明は上記事情に鑑みなされたものであり、TOF方式により測距を行うための撮像手段と、ステレオマッチングにより測距を行う撮像手段を備えた立体撮像装置において、被写体への測距光の照射を制限できるようにすることを目的とする。
【課題を解決するための手段】
【0010】
本発明による立体撮像装置は、測距光を被写体に照射し、該被写体による前記測距光の反射光を撮像して、前記被写体の立体形状を表す距離画像用のデータを取得する第1の撮像手段と、
前記距離画像用のデータに基づいて、前記被写体の立体形状を表す第1の距離画像を生成する第1の距離画像生成手段と、
前記被写体を撮像することにより、第2の距離画像の算出のための該被写体の基準画像を取得する第2の撮像手段と、
前記第2の撮像手段と異なる位置から前記被写体を撮像することにより、前記第2の距離画像の算出のための該被写体の参照画像を取得する少なくとも1つの第3の撮像手段と、
前記基準画像および前記参照画像間における画素の対応点を探索する対応点探索手段と、
該探索した対応点に基づいて前記被写体の立体形状を表す前記第2の距離画像を生成する第2の距離画像生成手段と、
前記第1の撮像手段による撮像前に、前記第2および前記第3の撮像手段に撮像を行わせ、該撮像により取得した画像から所定被写体を検出し、該所定被写体の検出結果を出力する所定被写体検出手段と、
該所定被写体が検出された場合には、前記第2および前記第3の撮像手段にのみ撮像を行わせ、前記第2の距離画像生成手段にのみ前記第2の距離画像を生成させるよう、前記第2および前記第3の撮像手段、前記対応点探索手段、並びに前記第2の距離画像生成手段を制御する制御手段とをさらに備えたことを特徴とするものである。
【0011】
なお、本発明による立体撮像装置においては、前記対応点探索手段を、前記所定被写体が検出された場合、前記基準画像および前記参照画像における前記所定被写体を含む距離範囲を前記対応点の探索範囲に設定する手段としてもよい。
【0012】
本発明による立体撮像装置の制御方法は、測距光を被写体に照射し、該被写体による前記測距光の反射光を撮像して、前記被写体の立体形状を表す距離画像用のデータを取得する第1の撮像手段と、
前記距離画像用のデータに基づいて、前記被写体の立体形状を表す第1の距離画像を生成する第1の距離画像生成手段と、
前記被写体を撮像することにより、第2の距離画像の算出のための該被写体の基準画像を取得する第2の撮像手段と、
前記第2の撮像手段と異なる位置から前記被写体を撮像することにより、前記第2の距離画像の算出のための該被写体の参照画像を取得する少なくとも1つの第3の撮像手段と、
前記基準画像および前記参照画像間における画素の対応点を探索する対応点探索手段と、
該探索した対応点に基づいて前記被写体の立体形状を表す前記第2の距離画像を生成する第2の距離画像生成手段とを備えた立体撮像装置の制御方法であって、
前記第1の撮像手段による撮像前に、前記第2および前記第3の撮像手段に撮像を行わせ、
該撮像により取得した画像から所定被写体を検出して該所定被写体の検出結果を出力し、
該所定被写体が検出された場合には、前記第2および前記第3の撮像手段にのみ撮像を行わせ、
前記第2の距離画像生成手段にのみ前記第2の距離画像を生成させることを特徴とするものである。
【0013】
なお、本発明による立体撮像装置の制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【0014】
本発明によれば、第1の撮像手段による撮像前に第2および第3の撮像手段により撮像を行わせることにより取得した画像から所定被写体が検出された場合には、第2および第3の撮像手段にのみ撮像を行わせて第2の距離画像のみを生成するようにしたものである。このため、所定の被写体が検出された場合には、測距光を所定被写体に照射して第1の距離画像を生成する必要がなくなる。とくに所定被写体が人物である場合には、測距光を人物に照射する必要がなくなるため、撮像時に測距光により被写体である人物が煩わしい思いをすることを防止することができる。
【発明を実施するための最良の形態】
【0015】
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による立体撮像装置の外観構成を示す前面側斜視図、図2はその背面側斜視図である。図1,2に示すように、第1の実施形態による立体撮像装置1は、その前面側に、第1から第3の撮像部2A,2B,2Cを備える。第1の撮像部2Aは立体撮像装置1の前面の略中央位置に配設されており、測距光を被写体に照射することに基づいて第1の距離画像D1を取得するための撮像を行うものである。また、第1の撮像部2Aの上下の位置には、被写体に向けて赤外光からなる測距光を照射するためのLED等の測距光照射部3が設けられている。
【0016】
第2および第3の撮像部2B,2Cは、第1の撮像部2Aの左右の位置に配設されており、ステレオマッチングを行って第2の距離画像D2を生成するために必要な基準画像G1および参照画像G2を取得するための撮像を行うものである。
【0017】
また、立体撮像装置1の上面には、撮像を行うためのレリーズボタン4が設けられている。また、背面には、撮像により取得した画像を含む各種表示を行うモニタ5が設けられている。
【0018】
このような立体撮像装置1により被写体を撮像する場合、撮像部2A,2B,2Cによる撮像範囲は図3に示すものとなる。なお、図3において、点O1〜O3はそれぞれ撮像部2A,2B,2Cの視点である。また、撮像部2Bの光軸をz軸、紙面の上下方向をx軸、垂直方向をy軸としている。なお、Hは被写体である。
【0019】
図4は第1の撮像部2A、図5は第2および第3の撮像部2B,2Cの内部構成を示す概略ブロック図である。
【0020】
第1から第3の撮像部2A,2B,2Cは、レンズ10A,10B,10C、絞り11A,11B,11C、シャッタ12A,12B,12C、CCD13A,13B,13C、アナログフロントエンド(AFE)14A,14B,14CおよびA/D変換部15A,15B,15Cをそれぞれ備える。
【0021】
レンズ10A,10B,10Cは、被写体にピントを合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。
【0022】
絞り11A,11B,11Cは、不図示の絞り駆動部により、AE処理により得られる絞り値データに基づいて絞り径の調整が行われる。
【0023】
シャッタ12A,12B,12Cはメカニカルシャッタであり、不図示のシャッタ駆動部により、AE処理により得られるシャッタスピードに応じて駆動される。
【0024】
CCD13A,13B,13Cは、多数の受光素子を2次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、CCD13B,13Cの前面にはR,G,B各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【0025】
AFE14A,14B,14Cは、CCD13A,13B,13Cから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理(以下アナログ処理とする)を施す。
【0026】
A/D変換部15A,15B,15Cは、AFE14A,14B,14Cによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部2B,2CのCCD13B,13Cにおいて取得され、デジタル信号に変換されることにより得られる画像データは、画素毎にR,G,Bの濃度値を持つデータである。なお、撮像部2Bにより取得される画像データにより表される画像が基準画像G1であり、撮像部2Cにより取得される画像データにより表される画像が参照画像G2である。
【0027】
また、撮像部2Aは、測距光照射部3が発光する測距光を変調するための変調部18を備える。また、CCD13A、AFE14Aおよび変調部18の駆動を制御するための駆動制御部19を備える。具体的には、駆動制御部19は、CPU33からの指示により、変調部18に変調の指示を行って測距光照射部3を変調発光させ、これとタイミングを合わせて撮像部2Aの各部を駆動して、距離画像用のデータを取得させる。
【0028】
図6は第1の実施形態による立体撮像装置1の内部構成を示す概略ブロック図である。立体撮像装置1は、撮像制御部22、画像処理部23、圧縮/伸長処理部24、フレームメモリ25、メディア制御部26、内部メモリ27、および表示制御部28を備える。
【0029】
撮像制御部22は、AF処理部およびAE処理部からなる。AF処理部はレリーズボタン4の半押し操作により撮像部2B,2Cが取得した画像(プレ基準画像、プレ参照画像)に基づいてレンズ10A,10B,10Cの焦点距離を決定し、撮像部2A,2B,2Cに出力する。AE処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮像部2A,2B,2Cに出力する。
【0030】
画像処理部23は、撮像部2B,2Cが取得したデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部23における処理後の基準画像および参照画像についても、処理前の参照符号G1,G2を用いるものとする。
【0031】
圧縮/伸長処理部24は、画像処理部23によって画像処理が施された基準画像G1および参照画像G2を表す画像データ並びに後述するように生成された距離画像の画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Exifフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。
【0032】
フレームメモリ25は、撮像部2Aが取得した距離画像用のデータ、および撮像部2B,2Cが取得した基準画像G1および参照画像G2を表す画像データに対して、前述の画像処理を含む各種処理を行う際に使用する作業用メモリである。
【0033】
メディア制御部26は、記録メディア29にアクセスして距離画像等の画像ファイルの書き込みと読み込みの制御を行う。
【0034】
内部メモリ27は、立体撮像装置1において設定される各種定数、およびCPU33が実行するプログラム等を記憶する。
【0035】
表示制御部28は、フレームメモリ25に格納された画像データをモニタ5に表示させたり、記録メディア29に記録されている画像をモニタ5に表示させたりするためのものである。
【0036】
また、立体撮像装置1は、第1の距離画像生成部30、ステレオマッチング部31、第2の距離画像生成部32、およびCPU33を備える。
【0037】
第1の距離画像生成部30は、撮像部2Aが取得した距離画像用のデータを用いて被写体上の各点の立体撮像装置1からの距離を算出して距離画像を生成する。具体的には、被写体により反射された測距光の反射光を撮像することにより得られた距離画像用のデータから、測距光照射部3の発光光と反射光との位相差を算出し、この位相差に基づいて撮像部2Aから被写体までの距離を算出する。そして算出された距離をCCD13Aの各画素と対応づけて第1の距離画像D1を生成する。なお、第1の距離画像D1の各画素の画素値が撮像部2Aから被写体までの距離を表すものとなる。
【0038】
ステレオマッチング部31は、図7に示すように、基準画像G1上のある点Paに写像される実空間上の点は、点P1,P2,P3というように点O2からの視線上に複数存在するため、実空間上の点P1 ,P2 ,P3 等の写像である直線(エピポーラ線)上に、点Paに対応する参照画像R上の点Pa′が存在するということに基づいて、基準画像G1と参照画像G2との対応点を参照画像G2上において探索する。なお、図7において点O2は基準カメラとなる撮像部2Bの視点、点O3は参照カメラとなる撮像部2Cの視点である。ここで、視点とはCCDの中心である。
【0039】
また、ステレオマッチング部31は、対応点の探索を行う際に、基準画像G1および参照画像G2において、距離画像D1上においてあらかじめ定められた距離を基準とした所定の距離範囲内にある領域を、対応点の探索範囲に設定する。以下、対応点の探索範囲の設定について詳細に説明する。
【0040】
図8は撮像部2B,2Cの関係を説明するための図である。なお、ここでは、撮像部2B,2Cの光軸と基準画像G1および参照画像G2が得られる面となる画像面との交点である視点O2,O3を原点とし、画像面上における撮像部2B,2Cの座標系をそれぞれ(u,v)、(u′,v′)とする。また、撮像部2B,2Cの光軸は平行であり、画像面におけるu軸およびu′軸が同一直線上において同一方向を向いているものとする。また、撮像部2B,2Cの焦点距離をf、基線長をbとする。なお、焦点距離fおよび基線長bはキャリブレーションパラメータとしてあらかじめ算出されて内部メモリ27に記憶されている。
【0041】
このとき、3次元空間上における位置(X,Y,Z)は、撮像部2Bの座標系を基準とすると、下記の式(1)〜(3)により表される。
【0042】
X=b・u/(u−u′) (1)
Y=b・v/(u−u′) (2)
Z=b・f/(u−u′) (3)
ここでu−u′は、撮像部2B,2Cの画像面上における投影点の横方向のずれ量(視差)である。また、式(3)より、奥行きである距離Zは視差に反比例することが分かる。
【0043】
図9は探索範囲の設定を説明するための図である。ここで、距離画像D1上においてあらかじめ定められた距離をLaとし、距離Laを基準とした所定の距離範囲をL0〜L1とする。具体的には、例えば距離範囲L0〜L1は、距離Laを基準とした前後10cm程度の値を用いることができる。なお、あらかじめ定められた距離Laは、ユーザがあらかじめ設定した値であってもよく、距離画像D1の全体または中央部分の領域における距離の平均値等の代表値を用いてもよい。
【0044】
ここで、撮像部2Bの画面上における対応点探索の対象となる対象点Ptの座標のu軸方向の値がutであったとすると、撮像部2Cの画像面上における対象点Ptの対応点P1は、u′軸上にあることとなる。本実施形態においては、距離Laを基準とした距離範囲L0〜L1において対応点を探索する。このため、距離L0,L1に対応する撮像部2Cの画像面におけるu′座標u0,u1をそれぞれ求める。すなわち、上記式(3)より、
L0=b・f/(ut−u0) (4)
L1=b・f/(ut−u1) (5)
であるため、
u0=−b.f/L0+ut (6)
u1=−b.f/L1+ut (7)
として座標u0,u1を求めることができる。したがって、ステレオマッチング部31は、参照画像G2上において、式(6)、(7)により算出したu0〜u1の範囲を対応点の探索範囲に設定する。
【0045】
第2の距離画像生成部32は、ステレオマッチング部31が求めた対応点を用いて、上記式(1)〜(3)により、撮像部2B,2Cから被写体までの距離を算出し、算出された距離をCCD13B,13Cの各画素と対応づけて第2の距離画像D2を生成する。なお、第2の距離画像D2の各画素の画素値が撮像部2B,2Cから被写体までの距離を表すものとなる。生成された距離画像D2は記録メディア29に記録される。
【0046】
なお、距離画像D2を生成する際に参照画像G2上において対応点が見つからない場合がある。このような場合、第2の距離画像生成部32は、距離画像D2上において対応点が見つからなかった未対応画素に対して、距離画像D1における対応する画素の画素値(すなわち距離)を適用して、第3の距離画像D3を生成する。この場合、記録メディア29には第3の距離画像D3が記録される。
【0047】
CPU33は、レリーズボタン4を含む入力部34からの信号に応じて立体撮像装置1の各部を制御する。
【0048】
データバス35は、立体撮像装置1を構成する各部およびCPU33に接続されており、立体撮像装置1における各種データおよび各種情報のやり取りを行う。
【0049】
次いで、第1の実施形態において行われる処理について説明する。図10は第1の実施形態において行われる処理を示すフローチャートである。なお、レリーズボタン4の半押し操作に基づく撮像制御部22におけるAF処理およびAE処理はすでに行われているものとし、ここではレリーズボタン4が全押しされて撮像の指示が行われた以降の処理について説明する。
【0050】
レリーズボタン4が全押しされることによりCPU33が処理を開始し、撮像部2AがCPU33からの指示により測距光照射部3から測距光を被写体に向けて照射し(ステップST1)、さらに測距光の被写体による反射光を撮像して、距離画像用のデータを取得する(ステップST2)。そして、第1の距離画像生成部30が距離画像用のデータから第1の距離画像D1を生成する(ステップST3)。
【0051】
一方、撮像部2B,2CがCPU33からの指示により被写体を撮像し、さらに取得した画像データに画像処理部23が画像処理を施して基準画像G1および参照画像G2を取得する(ステップST4)。なお、ステップST1〜3およびステップST4の処理は並列に行ってもよく順次行ってもよい。本実施形態においては並列に行うものとする。
【0052】
次いで、ステレオマッチング部31が、距離画像D1上においてあらかじめ定められた距離Laを基準とした所定の距離範囲L0〜L1内にある領域を、対応点の探索範囲に設定し(ステップST5)、設定した探索範囲において対応点を探索する(ステップST6)。なお、ステップST5の処理は、距離画像D1が生成されるまで行うことができないため、基準画像G1および参照画像G2を取得した時点において距離画像D1が生成されていない場合には、距離画像D1の生成が完了するまでステップST5の処理を待つ必要がある。
【0053】
そして、第2の距離画像生成部32が、探索した対応点に基づいて第2の距離画像D2を生成する(ステップST7)。さらに、距離画像D2上において対応点が見つからなかった画素があるか否かを判定し(ステップST8)、ステップST8が肯定されると、距離画像D2における対応点が見つからなかった画素の画素値に対して、距離画像D1における対応する画素の画素値を適用して第3の距離画像D3を生成する(ステップST9)。ステップST8が否定されるとステップST10に進む。
【0054】
そして、CPU33からの指示によりメディア制御部26が基準画像G1、参照画像G2および距離画像D2またはD3を記録メディア29に記録し(画像記録:ステップST10)、処理を終了する。
【0055】
このように、第1の実施形態においては、第1の距離画像D1上におけるあらかじめ定められた距離Laを基準とした所定の距離範囲L0〜L1内にある領域を対応点の探索範囲に設定して、対応点を探索するようにしたものである。このように、第1の距離画像D1を対応点の探索範囲の設定に使用しているため、撮像しようとする被写体の大きさに依存することなく、基準画像G1および参照画像G2におけるあらかじめ定められた距離範囲にある領域のみを対応点の探索範囲に設定することができる。したがって、対応点の探索範囲を確実に狭くすることができ、その結果、対応点探索のための演算時間を短縮することができる。また、探索範囲は基準画像G1および参照画像G2上の画素単位で設定することができるため、対応点の探索を精度良く行うことができる。
【0056】
また、第2の距離画像D2において対応点が見つからなかった画素については、第1の距離画像D1における対応する画素の画素値を適用して第3の距離画像D3を生成するようにしたため、精度良く距離画像を生成することができる。
【0057】
次いで、本発明の第2の実施形態について説明する。図11は本発明の第2の実施形態による立体撮像装置の外観構成を示す前面側斜視図である。なお、第2の実施形態において第1の実施形態と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第2の実施形態による立体撮像装置1Aは、撮像部2B,2Cが立体撮像装置1Aの左右にスライド可能なマウント6B,6Cに取付けられており、マウント6B,6Cを図12に示すように左右にスライドさせることにより、撮像部2B,2Cの基線長を変更可能とした点が第1の実施形態と異なる。
【0058】
図13は第2の実施形態による立体撮像装置の内部構成を示す概略ブロック図である。図13に示すように第2の実施形態による立体撮像装置1Aは、マウント6B,6Cをスライドさせるための駆動機構36と、駆動機構36の駆動を制御するマウント駆動制御部37とを備えた点が第1の実施形態による立体撮像装置1とは異なる。なお、駆動機構36およびマウント駆動制御部37が基線長変更手段に対応する。
【0059】
駆動機構36は、不図示のモータおよびスライド機構を有し、マウント駆動制御部37からの指示により撮像部2B,2Cの基線長を変更するようにマウント6B,6Cをスライドさせる。なお、撮像部2B,2Cの基線長の変更は、自動または手動のいずれかにより行うことができる。手動の場合はユーザが入力部34を操作することにより基線長を変更する。また、撮像部2B,2Cの基線長を自動で変更するか手動で変更するかは、あらかじめユーザにより設定されているものとする。
【0060】
なお、マウント駆動制御部37の機能については、以下の第2の実施形態において行われる処理において説明する。
【0061】
図14は第2の実施形態において行われる処理を示すフローチャートである。なお、レリーズボタン4の半押し操作に基づく撮像制御部22におけるAF処理およびAE処理はすでに行われているものとし、ここではレリーズボタン4が全押しされて撮像の指示が行われた以降の処理について説明する。
【0062】
レリーズボタン4が全押しされることによりCPU33が処理を開始し、撮像部2B,2Cの現在の基線長である基線長初期値を内部メモリ27に記憶する(ステップST21)。次いで、レリーズボタン4が全押しされると、撮像部2AがCPU33からの指示により測距光照射部3から測距光を被写体に向けて照射し(ステップST22)、さらに測距光の被写体による反射光を撮像して、距離画像用のデータを取得する(ステップST23)。そして、第1の距離画像生成部30が距離画像用のデータから第1の距離画像D1を生成する(ステップST24)。
【0063】
一方、撮像部2B,2CがCPU33からの指示により被写体を撮像して、さらに取得した画像データに画像処理部23が画像処理を施して基準画像G1および参照画像G2を取得する(ステップST25)。なお、ステップST22〜24およびステップST25の処理は並列に行ってもよく順次行ってもよい。本実施形態においては並列に行うものとする。
【0064】
そして、マウント駆動制御部37が基線長変更処理を行う(ステップST26)。なお、基線長変更処理は、距離画像D1が生成されるまで行うことができないため、基準画像G1および参照画像G2を取得した時点において距離画像D1が生成されていない場合には、距離画像D1の生成が完了するまでステップST26の処理を待つ必要がある。
【0065】
図15は基線長変更処理のフローチャートである。まず、マウント駆動制御部37は、距離画像D1に基づいて、立体撮像装置1Aから被写体までの距離である被写体距離および距離画像D1における被写体が含まれる範囲である被写体範囲を算出する(ステップST41)。具体的には、距離画像D1を複数の領域(例えば3×3)に分割し、中央の領域における距離の平均値等の代表値を被写体距離として算出する。そして、距離画像D1において、算出した被写体距離を基準とした例えば±10%の距離範囲にある画素からなる領域を被写体領域として算出する。
【0066】
なお、距離画像D1をモニタ5に表示し、ユーザに被写体領域を選択させ、さらに選択させた被写体領域内の距離の平均値等の代表値を被写体距離として算出するようにしてもよい。
【0067】
次いで、マウント駆動制御部37は、算出した被写体距離があらかじめ定められた所定距離TL1より大きいか否かを判定する(ステップST42)。なお、所定距離TL1はあらかじめユーザにより設定され内部メモリ27に記憶されている。ステップST42が肯定されると、基線長を自動で変更する設定となっているか否かを判定する(ステップST43)。ステップST43が否定されると、ユーザによる入力部34を用いての基線長の変更の操作を受け付ける(ステップST44)。そして、あらかじめ設定した制限範囲まで基線長を変更したか否かを判定する(ステップST45)。
【0068】
図16(a)は基線長の変更前の基準画像G1および参照画像G2を、図16(b)は基線長を変更した際の基準画像G1および参照画像G2を示す図である。図16(a)に示すように基準画像G1および参照画像G2の略中央に位置している被写体Hは、基線長を大きくするように変更することにより、徐々に基準画像G1および参照画像G2の端部に移動する。ここで、基準画像G1および参照画像G2の端部は、撮像部2B,2Cのレンズの歪みおよびCCD13B,13Cの歪み等により、画像が歪んでいることが多い。このため、第2の実施形態においては、基準画像G1および参照画像G2の周囲における所定範囲内の領域(図16(b)に示す斜線部)に被写体Hが位置しないように、基線長の変更範囲を制限している。
【0069】
したがって、マウント駆動制御部37は、基準画像G1および参照画像G2から被写体を検出し、検出した被写体が基準画像G1および参照画像G2の周囲における所定範囲内の領域に位置するか否かを判定することにより、ステップST45の処理を行う。
【0070】
そして、ステップST45が否定されると、ユーザによる基線長の変更の操作終了指示がなされたか否かを判定する(ステップST46)。なお、この判定は、例えば「基線長の変更を終了しますか」の問い合わせ表示をモニタ5に行い、問い合わせ表示に対するYESの入力がユーザにより行われたか否かを判定することにより行う。ステップST46が否定されるとステップST44に戻ってステップST44以降の処理を繰り返す。ステップST46が肯定されると、その位置においてマウント6B,6Cを固定し(ステップST47)、図14のステップST22,25の処理に進む。また、ステップST45が肯定された場合もステップST47の処理に進む。
【0071】
一方、ステップST43が肯定されると、マウント駆動制御部37が駆動機構36を駆動して、あらかじめ設定した制限範囲まで基線長を大きくするよう変更し(ステップST48)、ステップST47の処理に進む。
【0072】
また、ステップST42が否定されると、基線長が初期値と異なるか否かを判定する(ステップST49)。ステップST49が肯定されると、現在の基線長に基づいてキャリブレーションパラメータを変更し(ステップST50)、図14に示すステップST27の処理に進む。また、ステップST49が否定された場合もステップST27の処理に進む。
【0073】
図14に戻り、CPU33はステップST27〜ステップST32の処理を行い、処理を終了する。なお、ステップST27〜ステップST32の処理は、第1の実施形態におけるステップST5〜ステップST10の処理と同一であるため、ここでは詳細な説明は省略する。
【0074】
このように、第2の実施形態においては、被写体距離が所定距離TL1より大きい場合に、撮像部2B,2C間の距離である基線長を大きくするよう変更するようにしたものである。ここで、基線長を大きくすると、撮像部2B,2Cから離れた位置にある被写体についての距離算出の精度を向上させることができる。このため、基準画像G1および参照画像G2を用いての距離画像D2の生成の精度を向上させることができる。
【0075】
次いで、本発明の第3の実施形態について説明する。なお、第3の実施形態による立体撮像装置の外観構成は、第1の実施形態による立体撮像装置1の外観構成と同一であるため、ここでは詳細な説明は省略する。図17は第3の実施形態による立体撮像装置の内部構成を示す概略ブロック図である。図17に示すように第3の実施形態による立体撮像装置1Bは、撮像部2B,2Cのレンズ10B,10Cのズームレンズの駆動を制御するズーム倍率変更部38を備えた点が第1の実施形態による立体撮像装置1とは異なる。
【0076】
なお、ズーム倍率変更部38の機能については、以下の第3の実施形態において行われる処理において説明する。
【0077】
図18は第3の実施形態において行われる処理を示すフローチャートである。なお、レリーズボタン4の半押し操作に基づく撮像制御部22におけるAF処理およびAE処理はすでに行われているものとし、ここではレリーズボタン4が全押しされて撮像の指示が行われた以降の処理について説明する。
【0078】
レリーズボタン4が全押しされることによりCPU33が処理を開始し、撮像部2B,2Cのレンズ10B,10Cのズームレンズの現在のズーム位置であるズーム初期値を内部メモリ27に記憶する(ステップST61)。次いで、レリーズボタン4が全押しされると、撮像部2AがCPU33からの指示により測距光照射部3から測距光を被写体に向けて照射し(ステップST62)、さらに測距光の被写体による反射光を撮像して、距離画像用のデータを取得する(ステップST63)。そして、第1の距離画像生成部30が距離画像用のデータから第1の距離画像D1を生成する(ステップST64)。
【0079】
さらに、撮像部2B,2CがCPU33からの指示により被写体を撮像して、さらに取得した画像データに画像処理部23が画像処理を施して基準画像G1および参照画像G2を取得する(ステップST65)。なお、ステップST62〜64およびステップST65の処理は並列に行ってもよく順次行ってもよい。本実施形態においては並列に行うものとする。
【0080】
そして、ズーム倍率変更部38がズーム倍率変更処理を行う(ステップST66)。なお、ズーム倍率変更処理は、距離画像D1が生成されるまで行うことができないため、基準画像G1および参照画像G2を取得した時点において距離画像D1が生成されていない場合には、距離画像D1の生成が完了するまでステップST66の処理を待つ必要がある。
【0081】
図19はズーム倍率変更処理のフローチャートである。まず、ズーム倍率変更部38は、第2の実施形態におけるマウント駆動制御部37と同様に、距離画像D1に基づいて立体撮像装置1Aから被写体までの距離である被写体距離および距離画像D1における被写体が含まれる範囲である被写体範囲を算出する(ステップST81)。
【0082】
次いで、ズーム倍率変更部38は、算出した被写体距離があらかじめ定められた所定距離TL2よりも大きいか否かを判定する(ステップST82)。なお、所定距離TL2はあらかじめユーザにより設定され内部メモリ27に記憶されている。ステップST82が肯定されると、ズーム倍率を自動で変更する設定となっているか否かを判定する(ステップST83)。ステップST83が否定されると、ユーザによる入力部34を用いてのズーム倍率の変更の操作を受け付ける(ステップST84)。そして、あらかじめ設定した制限範囲までズーム倍率を変更したか否かを判定する(ステップST85)。具体的には、上記第2の実施形態と同様に、基準画像G1および参照画像G2から被写体を検出し、検出した被写体が基準画像G1および参照画像G2の周囲における所定範囲内の領域に位置するか否かを判定することにより、ステップST85の処理を行う。
【0083】
そして、ステップST85が否定されると、ユーザによるズーム倍率の変更の操作終了指示がなされたか否かを判定する(ステップST86)。なお、この判定は、例えば「ズーム倍率の変更を終了しますか」の問い合わせ表示をモニタ5に行い、問い合わせ表示に対するYESの入力がユーザにより行われたか否かを判定することにより行う。ステップST86が否定されるとステップST84に戻ってステップST84以降の処理を繰り返す。ステップST86が肯定されると、ズームをその位置に固定し(ステップST87)、図18に示すステップST62,65の処理に進む。また、ステップST85が肯定された場合もステップST87の処理に進む。
【0084】
一方、ステップST83が肯定されると、ズーム倍率変更部38が制限範囲までズーム倍率を大きくするよう変更し(ステップST88)、ステップST87の処理に進む。
【0085】
また、ステップST82が否定されると、ズーム倍率が初期値と異なるか否かを判定する(ステップST89)。ステップST89が肯定されると、現在のズーム倍率に基づいてキャリブレーションパラメータを変更し(ステップST90)、図18に示すステップST67の処理に進む。また、ステップST89が否定された場合もステップST67の処理に進む。
【0086】
図18に戻り、CPU33はステップST67〜ステップST72の処理を行い、処理を終了する。なお、ステップST67〜ステップST72の処理は、第1の実施形態におけるステップST5〜ステップST10の処理と同一であるため、ここでは詳細な説明は省略する。
【0087】
このように、第3の実施形態においては、被写体距離が所定距離TL2よりも大きい場合に、撮像部2B,2Cのズーム倍率を大きくするよう変更するようにしたものである。ここで、ズーム倍率を大きくすると、撮像部2B,2Cから離れた位置にある被写体についての、距離算出の精度を向上させることができる。このため、基準画像G1および参照画像G2を用いての距離画像D2の生成の精度を向上させることができる。
【0088】
次いで、本発明の第4の実施形態について説明する。なお、第4の実施形態による立体撮像装置の外観構成は、第1の実施形態による立体撮像装置1の外観構成と同一であるため、ここでは詳細な説明は省略する。図20は第4の実施形態による立体撮像装置の内部構成を示す概略ブロック図である。図20に示すように第4の実施形態による立体撮像装置1Cは、顔検出部39を備え、撮像部2A〜2Cのすべてにより撮像を行う前に、撮像部2B,2Cにより被写体を撮像してプレ基準画像およびプレ参照画像を取得し、プレ基準画像およびプレ参照画像に人物の顔が含まれるか否かを判定し、顔が含まれる場合には、撮像部2Aを用いての撮像を禁止するようにした点が第1の実施形態と異なる。なお、プレ基準画像およびプレ参照画像は、基準画像G1および参照画像G2よりも画素数を少なくすることにより、顔が含まれるか否かの判定を迅速に行うことができる。
【0089】
顔検出部39は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、プレ基準画像およびプレ参照画像上における顔を囲む所定範囲の領域を顔領域として検出する。なお、顔領域の検出結果は、プレ基準画像およびプレ参照画像に顔が含まれるか否かを表す情報、顔が含まれる場合の顔の数およびプレ基準画像およびプレ参照画像上における顔領域の位置を表す座標値を含む。
【0090】
次いで、第4の実施形態において行われる処理について説明する。図21は第4の実施形態において行われる処理を示すフローチャートである。立体撮像装置1Cの電源をオンとすることによりCPU33が処理を開始し、レリーズボタン4が半押しされたか否かの監視を開始する(ステップST101)。ステップST101が肯定されると、CPU33からの指示により撮像部2B,2Cが被写体を撮像してプレ基準画像およびプレ参照画像を取得する(ステップST102)。次いで、顔検出部39がプレ基準画像およびプレ参照画像から顔領域を検出して検出結果を生成し、検出結果を内部メモリ27に記憶する(ステップST103)。なお、撮像制御部22が、プレ基準画像およびプレ参照画像の少なくとも一方に基づいて、AF処理およびAE処理を行う。続いて、レリーズボタン4が全押しされたか否かを判定し(ステップST104)、ステップST104が否定されると、ステップST101に戻り、ステップST101以降の処理を繰り返す。
【0091】
ステップST104が肯定されると、CPU33は顔検出部39の検出結果に基づいて、プレ基準画像およびプレ参照画像に顔領域が含まれるか否かを判定する(ステップST105)。ステップST105が否定されると、撮像部2A〜2Cを用いての距離画像D2またはD3の生成処理を行い(ステップST106)、処理を終了する。なお、ステップST106の処理は、上記第1の実施形態におけるステップST1〜ステップST10の処理と同一であるため、ここでは詳細な説明は省略する。
【0092】
一方、ステップST105が肯定されると、CPU33からの指示により、撮像部2B,2Cのみが被写体を撮像して、さらに取得した画像データに画像処理部23が画像処理を施して基準画像G1および参照画像G2を取得する(ステップST107)。次いで、ステレオマッチング部31が、基準画像G1および参照画像G2に含まれる顔領域同士の対応関係を検出する(ステップST108)。なお、基準画像G1および参照画像G2の顔領域の位置は、プレ基準画像およびプレ参照画像についての顔領域の検出結果を用いてもよく、顔検出部39に顔領域を検出させることにより取得してもよい。
【0093】
図22は顔領域の対応関係を説明するための図である。図22(a)に示すように、基準画像G1および参照画像G2にそれぞれ1つの顔領域F1,F2のみが含まれる場合には、基準画像G1および参照画像G2の顔領域F1,F2がそれぞれ対応づけられる。一方、図22(b)に示すように、基準画像G1および参照画像G2に複数の顔領域が含まれる場合には、サイズが等しい顔領域同士が対応づけられる。具体的には、基準画像G1の顔領域F11が参照画像G2の顔領域F12と、基準画像G1の顔領域F13が参照画像G2の顔領域F14とそれぞれ対応づけられる。また、図22(c)に示すように、基準画像G1および参照画像G2に複数の顔領域が含まれ、かつ複数の顔領域のサイズが同一の場合には、顔領域の位置関係に基づいて顔領域同士が対応づけられる。具体的には、基準画像G1の顔領域F21が参照画像G2の顔領域F22と、基準画像G1の顔領域F23が参照画像G2の顔領域F24と、基準画像G1の顔領域F25が参照画像G2の顔領域F26とそれぞれ対応づけられる。
【0094】
次いで、ステレオマッチング部31が、図23に示すように、基準画像G1および参照画像G2における顔領域の中心線C1,C2を設定し、中心線C1,C2のずれを視差dとして算出するとともに、視差dを用いて立体撮像装置1Cから顔領域の中心線C1,C2までの距離を算出する(ステップST109)。そして、算出した距離を基準とした所定の距離範囲内にある領域を対応点の探索範囲に設定し(ステップST110)、設定した探索範囲において対応点を探索する(ステップST111)。なお、この場合の距離範囲としては、顔の中心線は人物の鼻の近傍を通るため、顔全体が距離範囲に収まるように、算出した距離の手前5cm〜後20cm程度を距離範囲とすることが好ましい。なお、ステップST109において算出した視差dの範囲を対応点の探索範囲として設定してもよい。
【0095】
そして、第2の距離画像生成部32が、探索した対応点に基づいて第2の距離画像D2を生成する(ステップST112)。そして、CPU33からの指示によりメディア制御部26が、基準画像G1、参照画像G2および距離画像D2を記録メディア29に記録し(画像記録:ステップST113)、処理を終了する。
【0096】
このように、第4の実施形態においては、プレ基準画像およびプレ参照画像から顔領域が検出された場合に、撮像部2Aを用いての撮像を行わないようにしたものである。このため、人物に測距光が照射されることがなくなり、その結果、被写体である人物が測距光により煩わしい思いをすることを防止することができる。
【0097】
なお、上記第4の実施形態においてはプレ基準画像およびプレ参照画像から顔領域を検出しているが、検出する被写体としては顔に限定されるものではない。
【0098】
また、上記第4の実施形態においては、検出した顔領域の中心線のずれを視差dとして算出し、算出した視差dを用いて距離画像D2を生成しているが、基準画像G1および参照画像G2の対応点を探索し、探索した対応点に基づいて距離画像D2を生成するようにしてもよい。
【0099】
また、上記第4の実施形態においては、ステップST106において、第1の実施形態と同様の処理により距離画像D2またはD3を生成しているが、その際に、第1の距離画像D1も併せて記録メディア29に記録するようにしてもよい。また、距離画像D1を用いて対応点の探索範囲を設定することなく対応点を探索して、第2の距離画像D2を生成するようにしてもよい。
【0100】
ところで、上述したように生成した距離画像D2,D3は、ステレオマッチングに固有の問題のために、画素の誤対応が生じる場合がある。画素の誤対応が生じる原因としては、撮像部2B,2Cがそれぞれ異なる位置において同一の被写体を撮像しているため、撮像部2Bからは臨むことができるが、撮像部2Cからは臨むことができない隠れ点が発生することによるもの、および被写体が単純な色の場合に対応点が複数発生してしまうことによるもの等が挙げられる。このように誤対応が生じると、距離画像D2またはD3を精度良く生成することができない。以下、この問題を解決するための実施形態を第5の実施形態として説明する。
【0101】
図24は第5の実施形態による立体撮像装置の内部構成を示す概略ブロック図である。図24に示すように第5の実施形態による立体撮像装置1Dは、画素値変更部40を備えた点が第1の実施形態と異なる。なお、画素値変更部40の機能については、以下の第5の実施形態において行われる処理において説明する。
【0102】
図25は第5の実施形態において行われる処理を示すフローチャートである。なお、第5の実施形態においては、距離画像D2または距離画像D3の生成までの処理は、第1の実施形態におけるステップST1〜ステップST9の処理と同一であるため、ここでは第1の実施形態におけるステップST9以降の処理についてのみ説明する。
【0103】
ステップST9の処理に続いて、画素値変更部40が、距離画像D1および距離画像D2またはD3の対応する画素の画素値の差分値の絶対値を算出する(ステップST121)。そして、算出した差分値の絶対値が所定のしきい値Th1以上となる画素が存在するか否かを判定する(ステップST122)。
【0104】
ステップST122が否定されると、距離画像D2または距離画像D3には画素の誤対応はないものとして、基準画像G1、参照画像G2および距離画像D2またはD3を記録メディア29に記録し(画像記録:ステップST123)、処理を終了する。
【0105】
一方、ステップST122が肯定されると、差分値の絶対値がしきい値Th1以上となった画素を誤対応画素として画素値変更処理を行う(ステップST124)。ここで、画素値変更処理は、誤対応画素の画素値を削除する処理、誤対応画素の画素値を距離画像D1の対応する画素の画素値と置換する処理、および誤対応画素の周囲の画素の画素値により誤対応画素の画素値を補間する処理のいずれかの処理を行う。
【0106】
そして、CPU33からの指示によりメディア制御部26が、画素値変更処理が施された距離画像(D4とする)を基準画像G1および参照画像G3とともに記録メディア29に記録し(ステップST125)、処理を終了する。
【0107】
このように、第5の実施形態においては、距離画像D1および距離画像D2またはD3における対応する画素の画素値の差分値の絶対値を算出し、差分値の絶対値がしきい値Th1を超える誤対応画素を検出し、誤対応画素の画素値を所定の画素値に変更するようにしたため、誤対応画素の画素値を補正して、精度良く距離画像D4を生成することができる。
【0108】
なお、上記第5の実施形態においては、第1の実施形態におけるステップST9の処理の後に画素値変更処理を行っているが、第2から第4の実施形態においても画素値変更処理を行うことができることはもちろんである。
【0109】
また、上記第1から第5の実施形態においては、参照画像G2を取得するための第3の撮像部2Cを1つのみ設けているが、第3の撮像部2Cを複数設け、複数の参照画像を取得して第2の距離画像D2を生成するようにしてもよい。
【0110】
以上、本発明の実施形態に係る立体撮像装置1,1A,1B,1C,1Dについて説明したが、コンピュータを、上記の第1の距離画像生成部30、ステレオマッチング部31、第2の距離画像生成部32、マウント駆動制御部37、ズーム倍率変更部38、顔検出部39および画素値変更部40に対応する手段として機能させ、図10,14,15,18,19,21,25に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。
【図面の簡単な説明】
【0111】
【図1】本発明の第1の実施形態による立体撮像装置の外観構成を示す前面側斜視図
【図2】本発明の第1の実施形態による立体撮像装置の外観構成を示す背面側斜視図
【図3】第1から第3の撮像部の撮像範囲を示す図
【図4】第1の撮像部の内部構成を示す図
【図5】第2および第3の撮像部の内部構成を示す図
【図6】第1の実施形態による立体撮像装置の内部構成を示す概略ブロック図
【図7】ステレオマッチングを説明するための図
【図8】第2および第3の撮像部の関係を説明するための図
【図9】探索範囲の設定を説明するための図
【図10】第1の実施形態において行われる処理を示すフローチャート
【図11】本発明の第2の実施形態による立体撮像装置の外観構成を示す前面側斜視図(その1)
【図12】本発明の第2の実施形態による立体撮像装置の外観構成を示す前面側斜視図(その2)
【図13】第2の実施形態による立体撮像装置の内部構成を示す概略ブロック図
【図14】第2の実施形態において行われる処理を示すフローチャート
【図15】第2の実施形態における基線長変更処理を示すフローチャート
【図16】基線長変更の制限範囲を説明するための図
【図17】第3の実施形態による立体撮像装置の内部構成を示す概略ブロック図
【図18】第3の実施形態において行われる処理を示すフローチャート
【図19】第3の実施形態におけるズーム倍率変更処理を示すフローチャート
【図20】第4の実施形態による立体撮像装置の内部構成を示す概略ブロック図
【図21】第4の実施形態において行われる処理を示すフローチャート
【図22】顔領域の対応関係を説明するための図
【図23】第4の実施形態における視差の算出を説明するための図
【図24】第5の実施形態による立体撮像装置の内部構成を示す概略ブロック図
【図25】第5の実施形態において行われる処理を示すフローチャート
【符号の説明】
【0112】
1,1A,1B,1C,1D 立体撮像装置
2A,2B,2C 撮像部
3 測距光照射部
4 レリーズボタン
5 モニタ
13A,13B,13C CCD
30 第1の距離画像生成部
31 ステレオマッチング部
32 第2の距離画像生成部
33 CPU
36 駆動機構
37 マウント駆動制御部
38 ズーム倍率変更部
39 顔検出部
40 画素値変更部

【特許請求の範囲】
【請求項1】
測距光を被写体に照射し、該被写体による前記測距光の反射光を撮像して、前記被写体の立体形状を表す距離画像用のデータを取得する第1の撮像手段と、
前記距離画像用のデータに基づいて、前記被写体の立体形状を表す第1の距離画像を生成する第1の距離画像生成手段と、
前記被写体を撮像することにより、第2の距離画像の算出のための該被写体の基準画像を取得する第2の撮像手段と、
前記第2の撮像手段と異なる位置から前記被写体を撮像することにより、前記第2の距離画像の算出のための該被写体の参照画像を取得する少なくとも1つの第3の撮像手段と、
前記基準画像および前記参照画像間における画素の対応点を探索する対応点探索手段と、
該探索した対応点に基づいて前記被写体の立体形状を表す前記第2の距離画像を生成する第2の距離画像生成手段と、
前記第1の撮像手段による撮像前に、前記第2および前記第3の撮像手段に撮像を行わせ、該撮像により取得した画像から所定被写体を検出し、該所定被写体の検出結果を出力する所定被写体検出手段と、
該所定被写体が検出された場合には、前記第2および前記第3の撮像手段にのみ撮像を行わせ、前記第2の距離画像生成手段にのみ前記第2の距離画像を生成させるよう、前記第2および前記第3の撮像手段、前記対応点探索手段、並びに前記第2の距離画像生成手段を制御する制御手段とをさらに備えたことを特徴とする立体撮像装置。
【請求項2】
前記対応点探索手段は、前記所定被写体が検出された場合、前記基準画像および前記参照画像における前記所定被写体を含む距離範囲を前記対応点の探索範囲に設定する手段であることを特徴とする請求項1記載の立体撮像装置。
【請求項3】
測距光を被写体に照射し、該被写体による前記測距光の反射光を撮像して、前記被写体の立体形状を表す距離画像用のデータを取得する第1の撮像手段と、
前記距離画像用のデータに基づいて、前記被写体の立体形状を表す第1の距離画像を生成する第1の距離画像生成手段と、
前記被写体を撮像することにより、第2の距離画像の算出のための該被写体の基準画像を取得する第2の撮像手段と、
前記第2の撮像手段と異なる位置から前記被写体を撮像することにより、前記第2の距離画像の算出のための該被写体の参照画像を取得する少なくとも1つの第3の撮像手段と、
前記基準画像および前記参照画像間における画素の対応点を探索する対応点探索手段と、
該探索した対応点に基づいて前記被写体の立体形状を表す前記第2の距離画像を生成する第2の距離画像生成手段とを備えた立体撮像装置の制御方法であって、
前記第1の撮像手段による撮像前に、前記第2および前記第3の撮像手段に撮像を行わせ、
該撮像により取得した画像から所定被写体を検出して該所定被写体の検出結果を出力し、
該所定被写体が検出された場合には、前記第2および前記第3の撮像手段にのみ撮像を行わせ、
前記第2の距離画像生成手段にのみ前記第2の距離画像を生成させることを特徴とする立体撮像装置の制御方法。
【請求項4】
測距光を被写体に照射し、該被写体による前記測距光の反射光を撮像して、前記被写体の立体形状を表す距離画像用のデータを取得する第1の撮像手段と、
前記距離画像用のデータに基づいて、前記被写体の立体形状を表す第1の距離画像を生成する第1の距離画像生成手段と、
前記被写体を撮像することにより、第2の距離画像の算出のための該被写体の基準画像を取得する第2の撮像手段と、
前記第2の撮像手段と異なる位置から前記被写体を撮像することにより、前記第2の距離画像の算出のための該被写体の参照画像を取得する少なくとも1つの第3の撮像手段と、
前記基準画像および前記参照画像間における画素の対応点を探索する対応点探索手段と、
該探索した対応点に基づいて前記被写体の立体形状を表す前記第2の距離画像を生成する第2の距離画像生成手段とを備えた立体撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記第1の撮像手段による撮像前に、前記第2および前記第3の撮像手段に撮像を行わせる手順と、
該撮像により取得した画像から所定被写体を検出して該所定被写体の検出結果を出力する手順と、
該所定被写体が検出された場合には、前記第2および前記第3の撮像手段にのみ撮像を行わせる手順と、
前記第2の距離画像生成手段にのみ前記第2の距離画像を生成させる手順とを有することを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2009−47497(P2009−47497A)
【公開日】平成21年3月5日(2009.3.5)
【国際特許分類】
【出願番号】特願2007−212562(P2007−212562)
【出願日】平成19年8月17日(2007.8.17)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】100104189
【弁理士】
【氏名又は名称】福尾 勲将
【Fターム(参考)】