画像処理装置および距離計測装置
【課題】撮影シーンに応じた立体表示を実現することが可能な技術を提供する。
【解決手段】画像処理装置は、撮影領域における被写体までの距離計測を、撮影領域に設定された予備計測位置において行って、距離情報を取得する第１距離計測部１２と、第１距離計測部１２で取得された距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための本計測位置を撮影領域において設定する設定手段と、本計測位置において距離計測を行って、距離情報を取得する第２距離計測部１３と、第１距離計測部１２および第２距離計測部１３で取得された距離情報に基づいて、視差情報を生成する視差情報生成部１５と、視差情報に基づいて立体画像を生成する立体画像生成部１６とを備える。
【解決手段】画像処理装置は、撮影領域における被写体までの距離計測を、撮影領域に設定された予備計測位置において行って、距離情報を取得する第１距離計測部１２と、第１距離計測部１２で取得された距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための本計測位置を撮影領域において設定する設定手段と、本計測位置において距離計測を行って、距離情報を取得する第２距離計測部１３と、第１距離計測部１２および第２距離計測部１３で取得された距離情報に基づいて、視差情報を生成する視差情報生成部１５と、視差情報に基づいて立体画像を生成する立体画像生成部１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
近年、３次元の立体画像を視認可能な３次元テレビの普及が進んでいる。しかし、ハード面での普及が進む一方で、立体表示可能なソフト（コンテンツ）の量は依然として少ないため、立体画像を容易に作成可能な技術が望まれている。
【０００３】
しかし、単純に複数台のカメラにより取得した画像を立体画像として用いると、表示ディスプレイの大きさ次第では、立体感に欠ける画像となる可能性がある。
【０００４】
個々のディスプレイに適した立体感を得るには、視差の調整を行うことが重要である。一般的に、視差の調整を正確に行う手法としては、例えば特許文献１のように、２台のカメラによってステレオ撮影された２枚の画像相互間で対応点探索を行い、カメラから各被写体までの距離を計測した上で、計測された距離に応じて視差量を補正する手法が存在する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１０２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記手法では、撮影対象となる被写体に応じた距離計測が行われていないため、撮影シーンに応じた立体表示を行うことが困難となっていた。例えば、撮影対象が物体（または人物）である場合、立体表示においては、撮影対象となる物体の形状を精度よく表現することが重要となるが、上記手法では、全ての被写体に対して距離計測を行い、視差量を補正することになるため、撮影対象となる物体の形状を精度よく表現し、撮影シーンに応じた立体表示を行うことができなかった。
【０００７】
そこで、本発明は、撮影シーンに応じた立体表示を実現することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、請求項１の発明は、画像処理装置であって、撮影領域における被写体までの距離計測を、前記撮影領域に設定された第１計測位置において行って、第１距離情報を取得する第１計測手段と、前記第１距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための第２計測位置を前記撮影領域において設定する設定手段と、前記第２計測位置において距離計測を行って、第２距離情報を取得する第２計測手段と、第１距離情報および第２距離情報に基づいて、視差情報を生成する視差情報生成手段と、前記視差情報に基づいて立体画像を生成する画像生成手段とを備える。
【０００９】
また、請求項２の発明は、請求項１の発明に係る画像処理装置において、前記設定手段は、前記第１距離情報に基づいて、前記第２計測位置を定めた複数の計測パターンの中から、１つの計測パターンを選択する。
【００１０】
また、請求項３の発明は、請求項１の発明に係る画像処理装置において、前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったとき、当該第１計測位置の周辺に前記第２計測位置を設定する。
【００１１】
また、請求項４の発明は、請求項１の発明に係る画像処理装置において、前記設定手段は、前記第１計測位置を囲む閉領域において前記第２計測位置を設定し、前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったときは、当該第１計測位置に関する閉領域を比較的大きい領域とし、第１計測位置において計測された被写体までの距離が遠距離であったときは、当該第１計測位置に関する閉領域を比較的小さい領域とする。
【００１２】
また、請求項５の発明は、請求項４の発明に係る画像処理装置において、前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったときは、当該第１計測位置に関する閉領域内において前記第２計測位置を密に設定し、第１計測位置において計測された被写体までの距離が遠距離であったときは、当該第１計測位置に関する閉領域内において前記第２計測位置を粗く設定する。
【００１３】
また、請求項６の発明は、請求項１から請求項５のいずれかの発明に係る画像処理装置において、前記被写体についてのステレオ画像を取得する画像取得手段をさらに備え、前記第１計測手段および前記第２計測手段は、前記ステレオ画像を用いて距離計測を行う。
【００１４】
また、請求項７の発明は、請求項１の発明に係る画像処理装置において、前記被写体についてのステレオ画像を取得する画像取得手段をさらに備え、前記画像取得手段は、第１ステレオ画像と、当該第１ステレオ画像よりも時間的に後に撮影された第２ステレオ画像とを取得し、前記第１計測手段は、前記第１ステレオ画像を用いて距離計測を行って、第１距離情報を取得し、前記第２計測手段は、前記第１ステレオ画像を用いた距離計測によって取得された第１距離情報に基づいて設定される第２計測位置において、前記第２ステレオ画像を用いた距離計測を行う。
【００１５】
また、請求項８の発明は、請求項７の発明に係る画像処理装置において、前記第２計測手段は、前記第２ステレオ画像を用いた距離計測を、前記第１計測位置においても行って、第１距離情報を新たに取得し、前記設定手段は、新たに取得された第１距離情報に基づいて、前記第２計測位置を再設定する。
【００１６】
また、請求項９の発明は、請求項７または請求項８の発明に係る画像処理装置において、前記設定手段は、前記第１ステレオ画像および前記第２ステレオ画像それぞれに含まれる時間的に前後するフレーム間で被写体の動きベクトルを算出し、当該動きベクトルに基づいて前記第１計測位置を変更する。
【００１７】
また、請求項１０の発明は、請求項６から請求項９のいずれかの発明に係る画像処理装置において、前記第１計測位置は、前記ステレオ画像に含まれる１の画像から抽出された被写体領域において、当該被写体領域の中心付近に設定される。
【００１８】
また、請求項１１の発明は、請求項６から請求項１０のいずれかの発明に係る画像処理装置において、前記第１計測位置および前記第２計測位置の総数は、１の前記ステレオ画像を用いた距離計測において、所定数以下となるように設定される。
【００１９】
また、請求項１２の発明は、請求項１の発明に係る画像処理装置において、前記設定手段は、撮影領域における中心付近の第１計測位置における距離が、他の第１計測位置における距離に比べて近距離であった場合、撮影領域の中心付近において第２計測位置を密に設定し、撮影領域の端付近において、第２計測位置を粗く設定する。
【００２０】
また、請求項１３の発明は、請求項６から請求項１１のいずれかの発明に係る画像処理装置において、前記設定手段は、前記ステレオ画像に含まれる１の画像を用いて被写体の距離情報を推定し、推定された距離情報を反映して、第２計測位置を変更する。
【００２１】
また、請求項１４の発明は、距離計測装置であって、撮影領域における被写体までの距離計測を、前記撮影領域に設定された第１計測位置において行って、第１距離情報を取得する第１計測手段と、前記第１距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための第２計測位置を前記撮影領域において設定する設定手段と、前記第２計測位置において距離計測を行って、第２距離情報を取得する第２計測手段とを備える。
【発明の効果】
【００２２】
本発明によれば、撮影シーンに応じた立体表示を実現することが可能になる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係る撮像装置の外観構成を示す図である。
【図２】本発明の第１実施形態に係る撮像装置の外観構成を示す図である。
【図３】撮像装置によって取得された２枚の画像を示す図である。
【図４】撮像装置の内部構成を示す図である。
【図５】撮像装置の機能ブロック図である。
【図６】立体画像が生成される様子を示す図である。
【図７】立体画像が生成される様子を示す図である。
【図８】撮像装置の動作に関するフローチャートである。
【図９】撮影領域において設定された予備計測位置を示す図である。
【図１０】本計測位置の計測パターンを示す図である。
【図１１】本計測位置の計測パターンを示す図である。
【図１２】本計測位置の計測パターンを示す図である。
【図１３】本計測位置の計測パターンを示す図である。
【図１４】本計測位置の計測パターンを示す図である。
【図１５】画像を構成する画素を分割して、サブピクセルを設定する様子を示す図である。
【図１６】撮影領域において設定された予備計測位置を示す図である。
【図１７】予備計測位置における計測結果を示す図である。
【図１８】設定された本計測位置を示す図である。
【図１９】粗領域および密領域の設定例を示す図である。
【図２０】第１距離計測および第２距離計測の際に実行される動作のフローチャートである。
【図２１】第５実施形態に係る撮像装置において実行される、第１距離計測および第２距離計測の動作フローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の各実施形態について図面を参照して説明する。
【００２５】
＜１．第１実施形態＞
［１−１．外観構成］
図１および図２は、本発明の第１実施形態に係る撮像装置１Ａの外観構成を示す図である。図３は、撮像装置１Ａによって取得された２枚の画像を示す図である。
【００２６】
図１に示されるように、撮像装置１Ａは、互いに基線長Ｌ分だけ離れて配置された主撮像部ＭＣと副撮像部（補助撮像部）ＳＣとを有している。このように、２つの撮像部ＭＣ，ＳＣを有する撮像装置１Ａは、被写体をステレオ撮影するステレオカメラとして機能する。
【００２７】
主撮像部ＭＣおよび副撮像部ＳＣからは、同じ精度の画像が取得される態様であってもよく、異なる精度の画像が取得される態様であってもよい。ここでは、例えば、主撮像部ＭＣとして、ハイビジョン放送対応レンズ（ＨＤＴＶレンズ）を有した比較的高解像度の画像を取得可能なカメラユニットを用い、副撮像部ＳＣとして、比較的低解像度の画像を取得するマイクロカメラユニット（ＭＣＵ）を用いるものとする。
【００２８】
このような撮像部ＭＣ，ＳＣを有する撮像装置１Ａからは、例えば、図３に示されるような２枚の画像（「ステレオ画像」とも称する）ＭＧ，ＳＧが取得されることになる。２つの撮像部ＭＣ，ＳＣは、同じ被写体（主被写体ＰＳおよび背景ＢＧ）を撮像しているが、副撮像部ＳＣの光軸は、基線長Ｌ分だけ主撮像部ＭＣの光軸から離れているので、副撮像部ＳＣで得られた画像（「参照画像」または「サブ画像」とも称する）ＳＧと主撮像部ＭＣで得られた画像（「基準画像」または「メイン画像」とも称する）ＭＧとの間には視差に伴う差が生じる。
【００２９】
撮像装置１Ａは、２つの撮像部ＭＣ，ＳＣそれぞれによって、同じタイミングで異なる視点から撮影される２枚の画像ＭＧ，ＳＧを用いることにより、２枚の画像相互間の対応点における視差を測定することができ、当該視差に基づいて、対応点における被写体と撮像装置１Ａとの距離に関する情報（距離情報）を取得することができる。
【００３０】
本実施形態の撮像装置１Ａでは、距離情報の取得に際し、最初に予備的に距離情報の取得が行われ、その後、予備的な距離情報の取得結果に基づいて、追加してさらに距離情報の取得が行われる。詳細は、後述する。
【００３１】
なお、撮像装置１Ａにおいては、主撮像部ＭＣおよび副撮像部ＳＣの配列方向は、図１のように、水平面に対して垂直な方向（「縦方向」とも称する）であってもよく、図２のように、水平面に対して平行な方向（「横方向」とも称する）であってよい。２つの撮像部ＭＣ，ＳＣを縦方向に配列することによれば、従来のカムコーダの形態を利用してコンパクトな構成とすることができる。
【００３２】
［１−２．内部構成］
次に、撮像装置１Ａの内部構成について説明する。図４は、撮像装置１Ａの内部構成を示す図である。
【００３３】
図４に示されるように、撮像装置１Ａは、２つの撮像部ＭＣ，ＳＣと、画像処理部３と、液晶ディスプレイ等で構成される表示部４と、ボタン等の操作部５とを有している。
【００３４】
主撮像部ＭＣおよび副撮像部ＳＣは、ＣＣＤまたはＣＭＯＳ等の撮像素子を有し、同一の被写体に関する２つの画像信号（ここでは「画像」と略称している）を生成する。主撮像部ＭＣおよび副撮像部ＳＣから出力される画像および撮影条件を含むデータは、データ線ＬＮを介して画像処理部３に入力される。
【００３５】
画像処理部３は、２つの撮像部ＭＣ，ＳＣからのデータを受信するインターフェース(Ｉ／Ｆ)３１と記憶装置３２と全体制御部３３とを備える。
【００３６】
記憶装置３２は、例えばメモリカード等で構成され、２つの撮像部ＭＣ，ＳＣによって取得された基準画像ＭＧおよび参照画像ＳＧを記憶する。
【００３７】
全体制御部３３は、プロセッサとして動作するＣＰＵ３４と、情報を一時的に記憶するＲＡＭ３５と、プログラム等を記憶するＲＯＭ３６とを有し、撮像装置１Ａの各部を統括的に制御する。全体制御部３３は、ＲＯＭ３６内のプログラムを読み出してＣＰＵ３４で実行することによって、各種機能を実現する。
【００３８】
次に、撮像装置１Ａで実現される機能について説明する。図５は、撮像装置１Ａの機能ブロック図である。図６および図７は、立体画像が生成される様子を示す図である。
【００３９】
図５に示されるように、撮像装置１Ａは、撮影情報取得部１１、第１距離計測部１２、第２距離計測部１３、カメラ情報記憶部１４、視差情報生成部１５、および立体画像生成部１６を有している。なお、図５における、撮影情報取得部１１、第１距離計測部１２、第２距離計測部１３、視差情報生成部１５、および立体画像生成部１６は、全体制御部３３においてプログラムを実行することによって実現される機能を機能ブロックとして表したものである。
【００４０】
撮影情報取得部１１は、主撮像部ＭＣおよび副撮像部ＳＣからステレオ画像（基準画像および参照画像）および撮影倍率等の撮影条件を含むデータを取得する。そして、撮影情報取得部１１は、ステレオ画像を第１距離計測部１２に出力する。
【００４１】
第１距離計測部１２および第２距離計測部１３では、撮像装置１Ａから被写体までの距離の計測が行われる。撮像装置１Ａから被写体までの距離の計測手法としては、ここでは、ステレオ計測による手法が第１距離計測部１２および第２距離計測部１３において採用される。
【００４２】
具体的には、第１距離計測部１２（第２距離計測部１３）は、基準画像ＭＧおよび参照画像ＳＧの相互間において、被写体上の対応点を特定して、対応点間の距離、すなわち対応点における被写体の視差を測定する。そして、第１距離計測部１２は、２枚の画像の対応点における視差および三角測量の原理を利用して、対応点における被写体の３次元位置情報を算出する。そしてさらに、第１距離計測部１２は、撮像装置１Ａの位置と対応点における被写体の３次元位置情報とを用いて、対応点における被写体と撮像装置１Ａとの距離情報を取得する。なお、３次元位置情報の算出は、カメラ情報記憶部１４に記憶された主撮像部ＭＣおよび副撮像部ＳＣの位置および姿勢等の既知のカメラ情報（カメラパラメータ）をも用いて行われる。
【００４３】
本実施形態では、距離情報の取得に際し、第１距離計測部１２において予備的に距離計測（「予備計測」とも称する）が行われ、第２距離計測部１３では、当該予備計測の結果に基づいて、計測位置を追加して効率的に本計測が行われる。詳細は、後述する。
【００４４】
視差情報生成部１５（図５）は、第１距離計測部１２および第２距離計測部１３において取得された距離情報に基づいて、距離情報に応じた視差を取得し、視差情報を生成する。
【００４５】
立体画像生成部１６は、視差情報生成部１５で生成された視差情報に基づいて、基準画像をずらすことによって、立体画像を生成する。立体画像の生成手法としては、例えば、立体画像を構成する左目用画像および右目用画像のうち、どちらか一方の画像として基準画像ＭＧを用い、他方の画像を新たに生成する手法を採用することができる。
【００４６】
当該手法では、図６に示されるように、例えば、基準画像ＭＧ１を左目用画像ＬＧ１としてそのまま用いた場合、立体画像生成部１６は、視差情報に従って、基準画像ＭＧ１を水平方向（矢印ＹＰの方向）に視差の値分ずらすことによって右目用画像ＲＧ１を生成する。左目用画像および右目用画像のうち、一方の画像として基準画像ＭＧを用いることによれば、新たに生成する画像を１つにすることができるので、立体画像の生成処理を軽減することができる。
【００４７】
また、立体画像の生成手法としては、例えば、左目用画像および右目用画像の両方の画像を新たに生成する手法を採用してもよい。当該手法では、図７に示されるように、基準画像ＭＧ１を水平方向に視差の値の半分ずつずらすことによって、左目用画像ＬＧ２および右目用画像ＲＧ２が生成される。当該手法によれば、基準画像ＭＧ１のずらし量を減らすことができるので、左目用画像および右目用画像においてオクルージョン領域を減らすことができ、より違和感のない立体画像を生成することができる。
【００４８】
［１−３．動作］
次に、撮像装置１Ａの動作について説明する。図８は、撮像装置１Ａの動作に関するフローチャートである。図９は、撮影領域において設定された予備計測位置を示す図である。図１０〜図１４は、本計測位置の計測パターンを示す図である。
【００４９】
図８に示されるように、まず、ステップＳＰ１１では、撮影情報取得部１１が、主撮像部ＭＣおよび副撮像部ＳＣからステレオ画像を取得する。
【００５０】
ステップＳＰ１２では、第１距離計測部１２によって、撮像装置１Ａから被写体までの距離計測が予備的に行われる。ステップＳＰ１２で行われる距離の予備計測は、主撮像部ＭＣ（または副撮像部ＳＣ）によって撮影可能な撮影領域内において、予め定められた位置（計測位置）において行われる。
【００５１】
具体的には、図９に示されるように、予備計測では、予備計測を行う位置（「予備計測位置」とも称する）ＱＰが、撮影領域において所定間隔ごとに一様に設定される。なお、図９では、撮影領域を表す基準画像ＭＧを微小領域に区分けして、予備計測位置を微小領域単位で簡単化して示しているが、当該微小領域の構成単位は、基準画像ＭＧを構成する１画素であってもよく、複数の画素によって構成される領域であってもよい。
【００５２】
次のステップＳＰ１３では、予備計測の結果に基づいて、第２距離計測（本計測）を行う際の計測位置（「本計測位置」とも称する）が設定される。計測位置の設定は、例えば、計測位置を定めた複数のパターンの中から、１つの計測パターンを選択して決定するようにしてもよい。
【００５３】
複数の計測パターンとしては、例えば、図１０〜図１４に示される各計測パターンを採用することができ、これらの計測パターンに関するデータは予め撮像装置１Ａ内に格納されている。
【００５４】
図１０の計測パターンＰＴ１０は、撮影領域の中心付近に計測位置ＲＰを多く設定し、中心付近において密な距離計測を実現するパターンである。図１１の計測パターンＰＴ１１は、撮影領域の下段部および上段部よりも中段部に計測位置ＲＰを多く設定し、中段領域において密な距離計測を実現するパターンである。当該計測パターンＰＴ１１は、撮影領域の下段部に道路が存在し、上段部に空が存在するようなシーン向けの計測パターンである。図１２の計測パターンＰＴ１２は、複数の予備計測位置のうち、被写体までの距離が最も近い予備計測位置を中心にして拡大した領域のみにおいて、計測位置ＲＰを設定するパターンである。図１３の計測パターンＰＴ１３は、撮影領域中の下段部において計測位置ＲＰを多く設定し、下段領域において密な距離計測を実現するパターンである。図１４の計測パターンＰＴ１４は、撮影領域において左右方向に行くほど計測位置ＲＰを少なく設定し、左右の端領域において粗い距離計測を実現するパターンである。
【００５５】
なお、計測パターンＰＴ１０〜ＰＴ１４を示す各図１０〜１４では、撮影領域内の計測パターンと被写体とが同時に示されているが、これは、計測位置ＲＰと被写体との関係を把握し易くするために示したものであり、各図に描かれた被写体は計測パターンを示すものではない。
【００５６】
複数の計測パターンＰＴ１０〜ＰＴ１４の中から１つの計測パターンを選択する手法としては、例えば、次のような手法を採用することができる。具体的には、各計測パターンＰＴ１０〜ＰＴ１４において計測位置が密である領域を近距離領域とし、計測位置が粗である領域を遠距離領域として各計測パターンＰＴ１０〜ＰＴ１４を遠近分布で表現する。そして、計測パターンＰＴ１０〜ＰＴ１４の各遠近分布の中から、予備計測によって得られた撮影領域内の遠近分布に合うものを選択する。
【００５７】
予備計測によって得られた撮影領域内の遠近分布が、どの計測パターンＰＴ１０〜ＰＴ１４の遠近分布に合うかについての選択は、例えば、予備計測の結果に基づいて、被写体までの距離が近距離である予備計測位置を近距離計測位置として特定した上で、当該近距離計測位置と、各計測パターンＰＴ１０〜ＰＴ１４における近距離領域とを照合して、近距離領域内にどれぐらいの数の近距離計測位置が含まれるかを基準にして行われる。すなわち、近距離領域内に近距離計測位置を最も多く含む計測パターンが選択されることになる。
【００５８】
なお、ここでいう近距離とは、或る閾値以下の距離をいい、遠距離とは、当該閾値よりも大きい距離をいう。また、本計測位置は、予備計測に対して距離計測を追加して行うための計測位置であるとも表現される。
【００５９】
このようにステップＳＰ１３では、複数の計測パターンの中から、１つの計測パターンが選択され、本計測位置が設定される。
【００６０】
ステップＳＰ１４では、設定された本計測位置において、第２距離計測が行われる。なお、本実施形態では、第２距離計測は、第１距離計測と同様、ステレオ画像を用いたステレオ計測によって行われるので、本計測位置のうち、予備計測位置と重複する位置では、第２距離計測を行わなくてもよい。
【００６１】
ステップＳＰ１５では、視差情報生成部１５によって、第１距離計測および第２距離計測で取得された距離情報に基づいて、視差情報が生成される。
【００６２】
視差情報の生成に際して、撮影領域において距離計測によって距離情報が取得されていない位置（未取得位置）の距離情報は、周辺の距離情報を用いて算出される。特に第２距離計測において計測位置が粗く設定された領域における未取得位置の距離情報は、第１距離計測および第２距離計測によって既に取得されている距離情報を用いて算出されることになる。
【００６３】
未取得位置の距離情報は、例えば、未取得位置周辺の計測位置における距離情報を補間して算出することができる。なお、補間演算は、未取得位置の被写体が存在する３次元空間を考慮して、３次元で行ってもよく、或いは２次元画像（例えば基準画像ＭＧ）上の平面空間で行ってもよい。また、予め用意した補間テーブルを参照して補間演算を行ってもよい。
【００６４】
そして、ステップＳＰ１６では、立体画像生成部１６によって、視差情報に基づいて、基準画像から立体画像が生成される。生成された立体画像は、撮像装置１Ａの表示部４において表示される。また、撮像装置１Ａは、生成した立体画像を外部に出力してもよい。
【００６５】
［１−４．対応点探索処理］
ここで、ステップＳＰ１２およびステップＳＰ１４において、距離計測の際に実行される対応点の探索処理について説明する。図１５は、画像を構成する画素を分割して、サブピクセルを設定する様子を示す図である。なお、図１５は、基準画像ＭＧの一部を拡大した図であり、当該図１５には、画像内の１つの画素ＮＰを横方向に３分割して、単位画素あたり、３つのサブピクセルＢＰを設定する様子が示されている。
【００６６】
なお、上述のように、本実施形態の撮像装置１Ａでは、主撮像部ＭＣおよび副撮像部ＳＣからは、異なる精度の画像が取得される態様であるため、一般的な対応点探索を実施するだけでは、正確に対応点を特定できない可能性が高い。そこで、撮像装置１Ａでは、対応点の特定を精度良く行うために、対応点の探索数を増やして対応点探索処理を実行する。詳細は、後述する。
【００６７】
対応点の探索手法としては、例えば、基準画像ＭＧにおいて探索窓（ウインドウ）を設定し、当該探索窓に対応する参照画像ＳＧ上の領域を求めることによって、対応点を特定する手法を採用することができる。
【００６８】
具体的には、基準画像ＭＧにおいて、計測位置として設定された領域（計測領域）に含まれる画素、または計測位置として設定された画素を注目点とし、当該注目点を中心とする探索窓（ウインドウ）を設定し、当該探索窓を参照画像ＳＧ上でシフトさせつつ、相関値を算出する。そして、当該相関値に基づいて、参照画像ＳＧ上での探索窓の対応位置を取得し、探索窓の注目点に対する参照画像ＳＧ上の対応点を特定する。このような対応点の特定は、第１距離計測および第２距離計測において、計測位置として設定された画素（計測対象画素）ごとに行われる。
【００６９】
なお、相関値の算出方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared intensity Difference)法（２乗残差法）、ＮＣＣ（Normalized cross Correlation）法（正規化相互相関法）等の比較する画像間の画素の輝度値を用いて相関値を算出する方法を用いてもよい。また、相関値の算出方法として、例えば、位相限定相関法（ＰＯＣ法）、位相差解析法（ＰＳＡ法）等の比較する画像間の位相情報を用いて相関値を算出する方法を用いてもよい。
【００７０】
また、基準画像ＭＧを取得する主撮像部ＭＣがズーム撮影機能を有している場合において、基準画像ＭＧがズーム撮影機能を利用して撮影されたときは、ユーザ（使用者）は、被写体の形状を精度良く表した立体画像の生成を希望していると考えられる。しかし、主撮像部ＭＣがズーム撮影機能を有している場合において、ズーム撮影機能を利用して基準画像ＭＧを撮影したとき等、基準画像ＭＧと参照画像ＳＧとでは、互いに共通する領域における画像の解像度が異なるため、距離計測の計測点数が少なくなり得る。
【００７１】
そこで、撮像装置１Ａでは、基準画像ＭＧおよび参照画像ＳＧのうち、どちらかの画像における各画素をサブピクセルに分割して（図１５参照）、対応点の特定が行われる。
【００７２】
具体的には、参照画像ＳＧにおいて、基準画像ＭＧと同じ領域を切り出したときに、切り出された画像が、基準画像ＭＧに比べて解像度の少ない画像であるとする。
【００７３】
このような場合において、基準画像ＭＧを基準にして参照画像ＳＧに対して対応点探索を実施するときは、参照画像ＳＧにおける画素をサブピクセルに分割してサブピクセル単位で対応点探索を実施する。一方、参照画像ＳＧを基準にして基準画像ＭＧに対して対応点探索を実施するときは、参照画像ＳＧ上の計測点を増やすために、参照画像ＳＧの画素をサブピクセルに分割する。そして、参照画像ＳＧ上の注目点をサブピクセル単位で設定して、対応点探索数を増やして、対応点探索を実施する。
【００７４】
このように、画素をサブピクセルに分割して、対応点の特定処理を行うことによれば、距離計測の計測位置を増やすことができるので、使用者が撮影対象とした主被写体を、高精細に表現した立体画像を生成することが可能になる。
【００７５】
以上のように、撮像装置１Ａは、撮影領域における被写体までの距離計測を、撮影領域に設定された予備計測位置において行って、距離情報を取得する第１距離計測部１２と、第１距離計測部１２で取得された距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための本計測位置を撮影領域において設定する設定手段と、本計測位置において距離計測を行って、距離情報を取得する第２距離計測部１３と、第１距離計測部１２および第２距離計測部１３で取得された距離情報に基づいて、視差情報を生成する視差情報生成部１５と、視差情報に基づいて立体画像を生成する立体画像生成部１６とを備えている。
【００７６】
このような撮像装置１Ａによれば、撮影シーンに応じた距離計測を行うことができるので、撮影シーンに応じた立体表示を実現することが可能になる。また、このように予備計測の結果を利用して、本計測位置を設定することによれば、無駄な計測位置において距離計測を行うことなく、撮影シーンに即した立体画像を効率的に生成することが可能になる。
【００７７】
＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。第２実施形態に係る撮像装置１Ｂでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。なお、撮像装置１Ｂは、上記相違点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。
【００７８】
上述のように、本実施形態の撮像装置１Ｂでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。図１６は、撮影領域において設定された予備計測位置ＱＰを示す図である。
【００７９】
具体的には、撮像装置１Ｂの予備計測は、図１６に示されるように、撮影領域の中心付近に予備計測位置ＱＰを多く設定して行われる。すなわち、撮影領域の中心付近では密に予備計測が行われ、中心から離れるに従って粗い予備計測が行われる。
【００８０】
そして、予備計測の結果、粗い予備計測を行った領域において、被写体までの距離が近距離である予備計測位置（近距離計測位置）が検出されたときは、当該予備計測位置の周辺に計測位置を多数設定して、本計測を行う。
【００８１】
このように、撮像装置１Ｂでは、粗い予備計測を行った領域において、近距離の被写体が検出されたときは、本計測において、当該近距離の被写体が存在すると想定される領域において計測位置を追加設定し、密な距離計測を行う。
【００８２】
これによれば、撮影領域の中から、近距離の被写体に関する距離情報を効率的に取得することが可能になるとともに、近距離の被写体を高精細に表現した立体画像を生成することが可能になる。
【００８３】
＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。第３実施形態に係る撮像装置１Ｃでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。なお、撮像装置１Ｃは、上記相違点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。
【００８４】
上述のように、本実施形態の撮像装置１Ｃでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。図１７は、予備計測位置における計測結果を示す図である。図１８は、設定された本計測位置を示す図である。図１９は、粗領域および密領域の設定例を示す図である。
【００８５】
具体的には、撮像装置１Ｃの予備計測は、第１実施形態と同様（図９参照）、予備計測位置ＱＰを、基準画像ＭＧ内において所定間隔ごとに一様に設定して行われる。
【００８６】
そして、本計測を行う本計測位置は、各予備計測位置を基準にして、予備計測位置ごとの距離情報を反映して設定される。
【００８７】
具体的には、まず、予備計測位置ごとに予備計測位置を囲む閉領域（「本計測領域」とも称する）が設定される。本計測領域の大きさは、設定される本計測領域の基準となる予備計測位置の距離情報に基づいて決定される。より詳細には、被写体までの距離が近距離の予備計測位置（近距離計測位置）については、本計測領域が相対的に大きく設定され、被写体までの距離が遠距離の予備計測位置（遠距離計測位置）については、本計測領域が相対的に小さく設定される。
【００８８】
そして、近距離計測位置に基づく本計測領域内には、本計測位置を密に設定し、遠距離計測位置に基づく本計測領域内には、本計測位置を粗く設定して、第２距離計測が行われる。
【００８９】
例えば、撮影領域に設定された予備計測位置ＱＰにおいて予備計測が行われた結果、図１７のように、黒く塗りつぶされた黒丸で表される近距離計測位置ＦＰと、白抜きの白丸で表される遠距離計測位置ＷＰとが検出されたとする。この場合、図１８に示されるように、近距離計測位置の周辺には、大きな本計測領域が設定されるとともに、当該本計測領域内には、本計測位置ＨＰが密に設定される。なお、図１８において、本計測領域内の本計測位置は、黒く塗りつぶされた黒三角で表される。一方、遠距離計測位置の周辺には、小さな本計測領域が設定されて、当該本計測領域内では、本計測位置が粗く設定されるが、図１８では、対比を容易にするため、遠距離計測位置に基づいて設定される本計測位置を不図示としている。
【００９０】
本計測位置の粗密の設定に際して、予備計測で得られた距離情報を粗領域および密領域の大きさに反映させない場合、粗領域ＬＲ（斜線ハッチング領域）および密領域ＭＲは、図１９のように設定されることになる。この場合、本来、密に計測位置を設定して距離情報を取得したい近距離の領域が遠距離側に含まれてしまう可能性が高くなり、滑らかな形状を計測することが困難になる。
【００９１】
これに対して、本実施形態のように、粗領域に対して密領域を大きく設定することにより、近距離の被写体が存在する可能性が高い領域に対して優先的に本計測位置を割り当てることによれば、近距離の被写体の形状を正確に表現した立体画像を生成することが可能になる。
【００９２】
なお、密領域および粗領域の大きさは、距離情報に対応した粗領域および密領域の大きさを表すテーブルを予め保持し、当該テーブルを用いて設定するようにしてもよい。
【００９３】
このように、撮像装置１Ｃでは、撮影領域において粗く一様に行う予備計測によって、近距離計測位置が存在した場合は、当該近距離計測位置の周辺に大きな本計測領域が追加して設定され、当該本計測領域において密な距離計測が行われる。
【００９４】
これによれば、撮影領域の中から、近距離の被写体に関する距離情報を効率的に取得することが可能になるとともに、近距離の被写体を高精細に表現した立体画像を生成することが可能になる。
【００９５】
＜４．第４実施形態＞
次に、本発明の第４実施形態について説明する。第４実施形態に係る撮像装置１Ｄでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。なお、撮像装置１Ｄは、上記相違点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。
【００９６】
上述のように、本実施形態の撮像装置１Ｄでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。図２０は、第１距離計測および第２距離計測の際に実行される動作のフローチャートである。
【００９７】
撮像装置１Ｄの予備計測は、基準画像ＭＧ（または参照画像ＳＧ）の中から物体領域を抽出し、抽出した物体の中心付近の代表点を予備計測位置に設定して行われる。そして、代表点における予備計測によって、被写体までの距離が近距離である予備計測位置（近距離計測位置）が特定された場合、当該予備計測位置の周辺に本計測位置を追加で密に設定して本計測を行う。
【００９８】
より詳細には、図２０に示されるように、ステップＳＰ２１において基準画像ＭＧから物体領域の抽出が行われる。物体領域の抽出手法としては、平均値シフト法、グラフカット法等、一般的な領域抽出手法が用いられる。
【００９９】
ステップＳＰ２２では、抽出された物体領域の中心付近において、代表点が設定される。近距離の物体と遠距離の物体とが重なっている可能性の高い物体の境界付近では、対応点探索処理の精度が低下するため、このように物体領域の境界を避けて物体領域の中心付近に代表点を設定することによれば、第２距離計測の際に実行される対応点探索処理の精度を向上させることができる。
【０１００】
次のステップＳＰ２３では、設定された代表点を予備計測位置として、第１距離計測（予備計測）が行われる。
【０１０１】
ステップＳＰ２４では、予備計測の結果に基づいて、本計測を行うか否かの判定が行われる。
【０１０２】
具体的には、物体領域が大きく、かつ当該物体領域の代表点における距離が近距離である場合は、物体領域内に密に本計測位置を設定して、第２距離計測を行う動作工程（ステップＳＰ２５）に移行させる。
【０１０３】
一方、物体領域が小さい場合は、密に計測位置を設定して細かく対応点探索を行っても、対応点探索処理の精度が低いと考えられることから、第２距離計測を回避し、代表点における距離情報を当該物体領域の距離情報とする。また、代表点における距離が遠距離である場合も、第２距離計測を回避し、代表点における距離情報を当該物体領域の距離情報とする。
【０１０４】
このように、撮像装置１Ｄでは、取得された画像から物体領域を抽出し、抽出された物体に代表点を設定して、当該代表点において予備計測を行う。そして、予備計測結果および物体領域の大きさに基づいて、第２距離計測を行うか否かを判定する。これによれば、効率的に距離情報を取得することが可能になるとともに、近距離の比較的大きい物体の形状を正確に表現した立体画像を生成することができる。
【０１０５】
また、代表点における距離が遠距離である場合に、代表点における距離情報を当該物体領域の距離情報とする（物体領域内は、代表点における距離情報で埋める）ことによれば、遠距離の物体領域内において立体感が生じるのを防ぐことができるので、違和感の少ない立体画像を生成することが可能になる。
【０１０６】
なお、ここでは、基準画像ＭＧの中から物体領域を抽出する場合について例示したが、抽出される対象は、物体のみならず人体等を含む被写体であればよく、撮像装置１Ｄでは、基準画像ＭＧから被写体領域の抽出が行われるとも表現できる。
【０１０７】
＜５．第５実施形態＞
次に、本発明の第５実施形態について説明する。第５実施形態に係る撮像装置１Ｅでは、第１距離計測と第２距離計測とがそれぞれ、異なるタイミングで取得される画像に対して行われる。なお、撮像装置１Ｅは、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。
【０１０８】
上述のように、本実施形態の撮像装置１Ｅでは、第１距離計測と第２距離計測とがそれぞれ、異なるタイミングで取得される画像に対して行われる。図２１は、撮像装置１Ｅにおいて実行される、第１距離計測および第２距離計測の動作フローチャートである。
【０１０９】
具体的には、図２１に示されるように、ステップＳＰ３１では、撮影情報取得部１１によって、ステレオ画像が取得される。
【０１１０】
次のステップＳＰ３２では、第１距離計測部１２による第１距離計測が終了したか否かが判定される。第１距離計測が終了している場合は、動作工程は、ステップＳＰ３５に移行される。ステップＳＰ３５に移行した場合の処理内容は、後述する。
【０１１１】
一方、第１距離計測が終了していない場合は、動作工程は、ステップＳＰ３３に移行される。
【０１１２】
ステップＳＰ３３では、第１距離計測が行われる。本実施形態の第１距離計測は、上記第１実施形態から第４実施形態で示される計測手法のいずれかを採用して行われる。
【０１１３】
ステップＳＰ３４では、第１距離計測の結果に基づいて、本計測位置が設定される。本計測位置の設定手法としては、ステップＳＰ３３の第１距離計測で採用した実施形態の設定手法が採用される。
【０１１４】
本計測位置の設定が終了すると、動作工程は、ステップＳＰ３１に移行され、再びステレオ画像の取得が実行される。
【０１１５】
新たなステレオ画像が取得されると、動作工程は、ステップＳＰ３２を経て、ステップＳＰ３５へと移行される。
【０１１６】
ステップＳＰ３５では、ステップＳＰ３４で設定された本計測位置において、新たに取得されたステレオ画像を用いた第２距離計測が行われる。また、当該第２距離計測では、予備計測位置においても、新たに取得されたステレオ画像を用いて距離計測が行われる。
【０１１７】
ステップＳＰ３６では、第２距離計測の結果に基づいて、予備計測位置における距離情報が変化したか否かが判定される。予備計測位置における距離情報が変化したか否かは、過去に取得されたステレオ画像を用いた第１距離計測または第２距離計測の計測結果と、現在のステレオ画像を用いた第２距離計測の計測結果とを比較して行われる。
【０１１８】
ステップＳＰ３６において、距離情報が変化してないと判定された場合、動作工程は、ステップＳＰ３１に移行され、次のステレオ画像が取得される。一方、距離情報が変化したと判定された場合、動作工程は、ステップＳＰ３７に移行される。
【０１１９】
ステップＳＰ３７では、本計測位置の変更（再設定）が行われる。例えば、或る予備計測位置において計測される距離が、近距離から遠距離へと変化した場合は、当該予備計測位置の周囲に設定した本計測位置を本計測の対象から除外する処理が行われる。一方、或る予備計測位置において計測される距離が、遠距離から近距離へと変化した場合は、当該予備計測位置の周辺に新たな本計測位置を設定する処理が行われる。
【０１２０】
ステップＳＰ３７が終了すると、動作工程は、ステップＳＰ３１に移行され、新たに取得されるステレオ画像を用いて、新たな本計測位置において第２距離計測が行われる。
【０１２１】
このように、撮像装置１Ｅでは、最初に取得されるステレオ画像に対して、第１距離計測が行われ、第１距離計測の結果に基づいて本計測位置が設定される。そして、設定された本計測位置に基づいて、順次に取得されるステレオ画像ごとに第２距離計測が行われる。これによれば、過去に行われた第２距離計測の計測位置の情報を用いて、次のステレオ画像に対する第２距離計測が行われるので、順次に取得されるステレオ画像ごとに本計測位置を全て設定する処理を省略することができ、処理量を低減することが可能になる。
【０１２２】
＜６．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
【０１２３】
例えば、上記各実施形態の第１距離計測では、距離計測の手法として、ステレオ計測による手法が採用されていたが、これに限定されず、例えば、ＴＯＦ（Time of Flight）手法またはレーザ光を用いて距離計測を行う手法を採用してもよい。
【０１２４】
また、上記各実施形態における、予備計測位置および本計測位置の設定に際して、他の情報を反映させてもよい。
【０１２５】
例えば、２次元画像（例えば基準画像ＭＧ）から被写体の距離情報を推定し、当該推定距離情報を反映させて、予備計測位置または本計測位置を変更してもよい。或いは、２次元画像における色情報に基づいて、色ごとに領域分割を行い、色および領域の大きさに応じて、予備計測位置または本計測位置を変更するようにしてもよい。
【０１２６】
また、上記第１実施形態から第５実施形態において、一組のステレオ画像に対する第１距離計測および第２距離計測において設定される計測位置は、その総数が固定数以下となるように設定されることが好ましい。ここで、上記固定数は、順次に取得されるステレオ画像の取得間隔以内に、各計測位置において距離計測を行って立体画像の生成を行うことが可能な計測位置の数である。
【０１２７】
これによれば、順次に取得される各ステレオ画像に対して立体画像を確実に生成することが可能になる。
【０１２８】
また、上記各実施形態では、或る閾値以下の距離を近距離と称し、当該閾値よりも大きい距離を遠距離と称していたが、これに限定されず、取得される画像（例えば基準画像ＭＧ）内における被写体の相対的な位置関係から、近距離および遠距離を定めてもよい。
【０１２９】
また、上記各実施形態における視差情報生成部１５では、視差情報の生成に際して、次のような処理を実行してもよい。
【０１３０】
具体的には、予備計測位置の周辺に本計測位置を設定して、本計測を行った場合において、隣接する計測位置（予備計測位置と本計測位置、または本計測位置同士）における距離の差分が、所定の閾値よりも小さいときは、隣接する当該計測位置同士を統合して視差情報を生成してもよい。なお、隣接する当該計測位置の距離情報としては、例えば、隣接する計測位置間の平均値を用いればよい。
【０１３１】
これによれば、同じ被写体において微小な立体感が生じるのを防ぐことができるので、違和感の少ない立体画像を生成することが可能になる。
【０１３２】
また、隣接する当該計測位置同士を統合して視差情報を生成する上述の処理において、計測位置における距離が遠距離であるときは、隣接する当該計測位置の距離情報として、既定値を用いてもよい。
【０１３３】
これによれば、遠方の同じ被写体において微小な立体感が生じるのを防ぐことができるので、違和感の少ない立体画像を生成することが可能になる。
【０１３４】
また、計測位置を密に設定して距離計測を行った領域（例えば、図１０，１６における中心部分、または図１３における下段部分等）における距離情報が遠距離の情報であった場合、データの間引き処理によって密の計測データから粗い計測データを生成し、当該粗い計測データを用いて視差情報を生成してもよい。
【０１３５】
これによれば、遠距離の被写体において立体感が生じるのを防ぐことができるので、違和感の少ない立体画像を生成することが可能になる。
【０１３６】
また、上記第５実施形態におけるステップＳＰ３７では、本計測位置の変更が行われているが、さらに予備計測位置をも変更してもよい。例えば、現在のフレームと過去のフレームとの間でマッチング処理を行って動きベクトル（オプティカルフロー）を求め、求められた動きベクトルに基づいて被写体の位置ズレ量を推定し、当該位置ズレ量に応じて予備計測位置を移動させてもよい。
【０１３７】
また、上記第１実施形態では、本計測位置を定めた複数の計測パターンの中から、１つの計測パターンを選択していたが、本計測位置の設定方針を複数有するようにして、複数の設定方針から選択された１の設定方針に沿って、本計測位置を設定する態様であってもよい。
【０１３８】
本計測位置の設定方針としては、例えば、撮影領域の中心付近に本計測位置を密に設定し、撮影領域の端付近では、本計測位置を粗に設定する方針が想定される。当該方針に沿って本計測位置が設定されると、図１０に示されるような計測位置の配置となる。なお、当該設定方針は、例えば、撮影領域における中心付近の予備計測位置における距離が、他の予備計測位置における距離に比べて近距離であった場合に選択される。
【０１３９】
また、本計測位置の別の設定方針としては、例えば、撮影領域の下段部および上段部よりも中段部において本計測位置を密に設定する方針が想定される。当該方針に沿って本計測位置が設定されると、図１１に示されるような計測位置の配置となる。なお、当該設定方針は、例えば、撮影領域における中段部の予備計測位置の距離が全般的に近距離であった場合に選択される。
【０１４０】
また、上記各実施形態では、撮像装置１Ａ〜１Ｅにおいて立体画像が生成される場合について例示したが、これに限定されない。具体的には、一般的なコンピュータによって構成される画像処理装置において、上記撮像装置１Ａ〜１Ｅの画像処理部３を実現してもよい。この場合、１組のステレオ画像は、画像処理装置としての当該コンピュータに対して、外部から入力されることになる。
【０１４１】
また、第１距離計測部１２と第２距離計測部１３とを有する撮像装置１Ａ〜１Ｅは、被写体までの距離を計測する距離計測装置とも称せられる。
【符号の説明】
【０１４２】
１Ａ〜１Ｅ 撮像装置
３ 画像処理部
１１ 撮影情報取得部
１２ 第１距離計測部
１３ 第２距離計測部
１４ カメラ情報記憶部
１５ 視差情報生成部
１６ 立体画像生成部
ＢＧ 背景
ＰＳ 主被写体
ＭＧ，ＭＧ１ 基準画像
ＰＴ１０〜ＰＴ１４ 計測パターン
ＲＰ 計測位置
ＨＰ 本計測位置
ＱＰ 予備計測位置
ＦＰ 近距離計測位置
ＭＲ 密領域
ＬＲ 粗領域
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
近年、３次元の立体画像を視認可能な３次元テレビの普及が進んでいる。しかし、ハード面での普及が進む一方で、立体表示可能なソフト（コンテンツ）の量は依然として少ないため、立体画像を容易に作成可能な技術が望まれている。
【０００３】
しかし、単純に複数台のカメラにより取得した画像を立体画像として用いると、表示ディスプレイの大きさ次第では、立体感に欠ける画像となる可能性がある。
【０００４】
個々のディスプレイに適した立体感を得るには、視差の調整を行うことが重要である。一般的に、視差の調整を正確に行う手法としては、例えば特許文献１のように、２台のカメラによってステレオ撮影された２枚の画像相互間で対応点探索を行い、カメラから各被写体までの距離を計測した上で、計測された距離に応じて視差量を補正する手法が存在する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１０２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記手法では、撮影対象となる被写体に応じた距離計測が行われていないため、撮影シーンに応じた立体表示を行うことが困難となっていた。例えば、撮影対象が物体（または人物）である場合、立体表示においては、撮影対象となる物体の形状を精度よく表現することが重要となるが、上記手法では、全ての被写体に対して距離計測を行い、視差量を補正することになるため、撮影対象となる物体の形状を精度よく表現し、撮影シーンに応じた立体表示を行うことができなかった。
【０００７】
そこで、本発明は、撮影シーンに応じた立体表示を実現することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、請求項１の発明は、画像処理装置であって、撮影領域における被写体までの距離計測を、前記撮影領域に設定された第１計測位置において行って、第１距離情報を取得する第１計測手段と、前記第１距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための第２計測位置を前記撮影領域において設定する設定手段と、前記第２計測位置において距離計測を行って、第２距離情報を取得する第２計測手段と、第１距離情報および第２距離情報に基づいて、視差情報を生成する視差情報生成手段と、前記視差情報に基づいて立体画像を生成する画像生成手段とを備える。
【０００９】
また、請求項２の発明は、請求項１の発明に係る画像処理装置において、前記設定手段は、前記第１距離情報に基づいて、前記第２計測位置を定めた複数の計測パターンの中から、１つの計測パターンを選択する。
【００１０】
また、請求項３の発明は、請求項１の発明に係る画像処理装置において、前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったとき、当該第１計測位置の周辺に前記第２計測位置を設定する。
【００１１】
また、請求項４の発明は、請求項１の発明に係る画像処理装置において、前記設定手段は、前記第１計測位置を囲む閉領域において前記第２計測位置を設定し、前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったときは、当該第１計測位置に関する閉領域を比較的大きい領域とし、第１計測位置において計測された被写体までの距離が遠距離であったときは、当該第１計測位置に関する閉領域を比較的小さい領域とする。
【００１２】
また、請求項５の発明は、請求項４の発明に係る画像処理装置において、前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったときは、当該第１計測位置に関する閉領域内において前記第２計測位置を密に設定し、第１計測位置において計測された被写体までの距離が遠距離であったときは、当該第１計測位置に関する閉領域内において前記第２計測位置を粗く設定する。
【００１３】
また、請求項６の発明は、請求項１から請求項５のいずれかの発明に係る画像処理装置において、前記被写体についてのステレオ画像を取得する画像取得手段をさらに備え、前記第１計測手段および前記第２計測手段は、前記ステレオ画像を用いて距離計測を行う。
【００１４】
また、請求項７の発明は、請求項１の発明に係る画像処理装置において、前記被写体についてのステレオ画像を取得する画像取得手段をさらに備え、前記画像取得手段は、第１ステレオ画像と、当該第１ステレオ画像よりも時間的に後に撮影された第２ステレオ画像とを取得し、前記第１計測手段は、前記第１ステレオ画像を用いて距離計測を行って、第１距離情報を取得し、前記第２計測手段は、前記第１ステレオ画像を用いた距離計測によって取得された第１距離情報に基づいて設定される第２計測位置において、前記第２ステレオ画像を用いた距離計測を行う。
【００１５】
また、請求項８の発明は、請求項７の発明に係る画像処理装置において、前記第２計測手段は、前記第２ステレオ画像を用いた距離計測を、前記第１計測位置においても行って、第１距離情報を新たに取得し、前記設定手段は、新たに取得された第１距離情報に基づいて、前記第２計測位置を再設定する。
【００１６】
また、請求項９の発明は、請求項７または請求項８の発明に係る画像処理装置において、前記設定手段は、前記第１ステレオ画像および前記第２ステレオ画像それぞれに含まれる時間的に前後するフレーム間で被写体の動きベクトルを算出し、当該動きベクトルに基づいて前記第１計測位置を変更する。
【００１７】
また、請求項１０の発明は、請求項６から請求項９のいずれかの発明に係る画像処理装置において、前記第１計測位置は、前記ステレオ画像に含まれる１の画像から抽出された被写体領域において、当該被写体領域の中心付近に設定される。
【００１８】
また、請求項１１の発明は、請求項６から請求項１０のいずれかの発明に係る画像処理装置において、前記第１計測位置および前記第２計測位置の総数は、１の前記ステレオ画像を用いた距離計測において、所定数以下となるように設定される。
【００１９】
また、請求項１２の発明は、請求項１の発明に係る画像処理装置において、前記設定手段は、撮影領域における中心付近の第１計測位置における距離が、他の第１計測位置における距離に比べて近距離であった場合、撮影領域の中心付近において第２計測位置を密に設定し、撮影領域の端付近において、第２計測位置を粗く設定する。
【００２０】
また、請求項１３の発明は、請求項６から請求項１１のいずれかの発明に係る画像処理装置において、前記設定手段は、前記ステレオ画像に含まれる１の画像を用いて被写体の距離情報を推定し、推定された距離情報を反映して、第２計測位置を変更する。
【００２１】
また、請求項１４の発明は、距離計測装置であって、撮影領域における被写体までの距離計測を、前記撮影領域に設定された第１計測位置において行って、第１距離情報を取得する第１計測手段と、前記第１距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための第２計測位置を前記撮影領域において設定する設定手段と、前記第２計測位置において距離計測を行って、第２距離情報を取得する第２計測手段とを備える。
【発明の効果】
【００２２】
本発明によれば、撮影シーンに応じた立体表示を実現することが可能になる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係る撮像装置の外観構成を示す図である。
【図２】本発明の第１実施形態に係る撮像装置の外観構成を示す図である。
【図３】撮像装置によって取得された２枚の画像を示す図である。
【図４】撮像装置の内部構成を示す図である。
【図５】撮像装置の機能ブロック図である。
【図６】立体画像が生成される様子を示す図である。
【図７】立体画像が生成される様子を示す図である。
【図８】撮像装置の動作に関するフローチャートである。
【図９】撮影領域において設定された予備計測位置を示す図である。
【図１０】本計測位置の計測パターンを示す図である。
【図１１】本計測位置の計測パターンを示す図である。
【図１２】本計測位置の計測パターンを示す図である。
【図１３】本計測位置の計測パターンを示す図である。
【図１４】本計測位置の計測パターンを示す図である。
【図１５】画像を構成する画素を分割して、サブピクセルを設定する様子を示す図である。
【図１６】撮影領域において設定された予備計測位置を示す図である。
【図１７】予備計測位置における計測結果を示す図である。
【図１８】設定された本計測位置を示す図である。
【図１９】粗領域および密領域の設定例を示す図である。
【図２０】第１距離計測および第２距離計測の際に実行される動作のフローチャートである。
【図２１】第５実施形態に係る撮像装置において実行される、第１距離計測および第２距離計測の動作フローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の各実施形態について図面を参照して説明する。
【００２５】
＜１．第１実施形態＞
［１−１．外観構成］
図１および図２は、本発明の第１実施形態に係る撮像装置１Ａの外観構成を示す図である。図３は、撮像装置１Ａによって取得された２枚の画像を示す図である。
【００２６】
図１に示されるように、撮像装置１Ａは、互いに基線長Ｌ分だけ離れて配置された主撮像部ＭＣと副撮像部（補助撮像部）ＳＣとを有している。このように、２つの撮像部ＭＣ，ＳＣを有する撮像装置１Ａは、被写体をステレオ撮影するステレオカメラとして機能する。
【００２７】
主撮像部ＭＣおよび副撮像部ＳＣからは、同じ精度の画像が取得される態様であってもよく、異なる精度の画像が取得される態様であってもよい。ここでは、例えば、主撮像部ＭＣとして、ハイビジョン放送対応レンズ（ＨＤＴＶレンズ）を有した比較的高解像度の画像を取得可能なカメラユニットを用い、副撮像部ＳＣとして、比較的低解像度の画像を取得するマイクロカメラユニット（ＭＣＵ）を用いるものとする。
【００２８】
このような撮像部ＭＣ，ＳＣを有する撮像装置１Ａからは、例えば、図３に示されるような２枚の画像（「ステレオ画像」とも称する）ＭＧ，ＳＧが取得されることになる。２つの撮像部ＭＣ，ＳＣは、同じ被写体（主被写体ＰＳおよび背景ＢＧ）を撮像しているが、副撮像部ＳＣの光軸は、基線長Ｌ分だけ主撮像部ＭＣの光軸から離れているので、副撮像部ＳＣで得られた画像（「参照画像」または「サブ画像」とも称する）ＳＧと主撮像部ＭＣで得られた画像（「基準画像」または「メイン画像」とも称する）ＭＧとの間には視差に伴う差が生じる。
【００２９】
撮像装置１Ａは、２つの撮像部ＭＣ，ＳＣそれぞれによって、同じタイミングで異なる視点から撮影される２枚の画像ＭＧ，ＳＧを用いることにより、２枚の画像相互間の対応点における視差を測定することができ、当該視差に基づいて、対応点における被写体と撮像装置１Ａとの距離に関する情報（距離情報）を取得することができる。
【００３０】
本実施形態の撮像装置１Ａでは、距離情報の取得に際し、最初に予備的に距離情報の取得が行われ、その後、予備的な距離情報の取得結果に基づいて、追加してさらに距離情報の取得が行われる。詳細は、後述する。
【００３１】
なお、撮像装置１Ａにおいては、主撮像部ＭＣおよび副撮像部ＳＣの配列方向は、図１のように、水平面に対して垂直な方向（「縦方向」とも称する）であってもよく、図２のように、水平面に対して平行な方向（「横方向」とも称する）であってよい。２つの撮像部ＭＣ，ＳＣを縦方向に配列することによれば、従来のカムコーダの形態を利用してコンパクトな構成とすることができる。
【００３２】
［１−２．内部構成］
次に、撮像装置１Ａの内部構成について説明する。図４は、撮像装置１Ａの内部構成を示す図である。
【００３３】
図４に示されるように、撮像装置１Ａは、２つの撮像部ＭＣ，ＳＣと、画像処理部３と、液晶ディスプレイ等で構成される表示部４と、ボタン等の操作部５とを有している。
【００３４】
主撮像部ＭＣおよび副撮像部ＳＣは、ＣＣＤまたはＣＭＯＳ等の撮像素子を有し、同一の被写体に関する２つの画像信号（ここでは「画像」と略称している）を生成する。主撮像部ＭＣおよび副撮像部ＳＣから出力される画像および撮影条件を含むデータは、データ線ＬＮを介して画像処理部３に入力される。
【００３５】
画像処理部３は、２つの撮像部ＭＣ，ＳＣからのデータを受信するインターフェース(Ｉ／Ｆ)３１と記憶装置３２と全体制御部３３とを備える。
【００３６】
記憶装置３２は、例えばメモリカード等で構成され、２つの撮像部ＭＣ，ＳＣによって取得された基準画像ＭＧおよび参照画像ＳＧを記憶する。
【００３７】
全体制御部３３は、プロセッサとして動作するＣＰＵ３４と、情報を一時的に記憶するＲＡＭ３５と、プログラム等を記憶するＲＯＭ３６とを有し、撮像装置１Ａの各部を統括的に制御する。全体制御部３３は、ＲＯＭ３６内のプログラムを読み出してＣＰＵ３４で実行することによって、各種機能を実現する。
【００３８】
次に、撮像装置１Ａで実現される機能について説明する。図５は、撮像装置１Ａの機能ブロック図である。図６および図７は、立体画像が生成される様子を示す図である。
【００３９】
図５に示されるように、撮像装置１Ａは、撮影情報取得部１１、第１距離計測部１２、第２距離計測部１３、カメラ情報記憶部１４、視差情報生成部１５、および立体画像生成部１６を有している。なお、図５における、撮影情報取得部１１、第１距離計測部１２、第２距離計測部１３、視差情報生成部１５、および立体画像生成部１６は、全体制御部３３においてプログラムを実行することによって実現される機能を機能ブロックとして表したものである。
【００４０】
撮影情報取得部１１は、主撮像部ＭＣおよび副撮像部ＳＣからステレオ画像（基準画像および参照画像）および撮影倍率等の撮影条件を含むデータを取得する。そして、撮影情報取得部１１は、ステレオ画像を第１距離計測部１２に出力する。
【００４１】
第１距離計測部１２および第２距離計測部１３では、撮像装置１Ａから被写体までの距離の計測が行われる。撮像装置１Ａから被写体までの距離の計測手法としては、ここでは、ステレオ計測による手法が第１距離計測部１２および第２距離計測部１３において採用される。
【００４２】
具体的には、第１距離計測部１２（第２距離計測部１３）は、基準画像ＭＧおよび参照画像ＳＧの相互間において、被写体上の対応点を特定して、対応点間の距離、すなわち対応点における被写体の視差を測定する。そして、第１距離計測部１２は、２枚の画像の対応点における視差および三角測量の原理を利用して、対応点における被写体の３次元位置情報を算出する。そしてさらに、第１距離計測部１２は、撮像装置１Ａの位置と対応点における被写体の３次元位置情報とを用いて、対応点における被写体と撮像装置１Ａとの距離情報を取得する。なお、３次元位置情報の算出は、カメラ情報記憶部１４に記憶された主撮像部ＭＣおよび副撮像部ＳＣの位置および姿勢等の既知のカメラ情報（カメラパラメータ）をも用いて行われる。
【００４３】
本実施形態では、距離情報の取得に際し、第１距離計測部１２において予備的に距離計測（「予備計測」とも称する）が行われ、第２距離計測部１３では、当該予備計測の結果に基づいて、計測位置を追加して効率的に本計測が行われる。詳細は、後述する。
【００４４】
視差情報生成部１５（図５）は、第１距離計測部１２および第２距離計測部１３において取得された距離情報に基づいて、距離情報に応じた視差を取得し、視差情報を生成する。
【００４５】
立体画像生成部１６は、視差情報生成部１５で生成された視差情報に基づいて、基準画像をずらすことによって、立体画像を生成する。立体画像の生成手法としては、例えば、立体画像を構成する左目用画像および右目用画像のうち、どちらか一方の画像として基準画像ＭＧを用い、他方の画像を新たに生成する手法を採用することができる。
【００４６】
当該手法では、図６に示されるように、例えば、基準画像ＭＧ１を左目用画像ＬＧ１としてそのまま用いた場合、立体画像生成部１６は、視差情報に従って、基準画像ＭＧ１を水平方向（矢印ＹＰの方向）に視差の値分ずらすことによって右目用画像ＲＧ１を生成する。左目用画像および右目用画像のうち、一方の画像として基準画像ＭＧを用いることによれば、新たに生成する画像を１つにすることができるので、立体画像の生成処理を軽減することができる。
【００４７】
また、立体画像の生成手法としては、例えば、左目用画像および右目用画像の両方の画像を新たに生成する手法を採用してもよい。当該手法では、図７に示されるように、基準画像ＭＧ１を水平方向に視差の値の半分ずつずらすことによって、左目用画像ＬＧ２および右目用画像ＲＧ２が生成される。当該手法によれば、基準画像ＭＧ１のずらし量を減らすことができるので、左目用画像および右目用画像においてオクルージョン領域を減らすことができ、より違和感のない立体画像を生成することができる。
【００４８】
［１−３．動作］
次に、撮像装置１Ａの動作について説明する。図８は、撮像装置１Ａの動作に関するフローチャートである。図９は、撮影領域において設定された予備計測位置を示す図である。図１０〜図１４は、本計測位置の計測パターンを示す図である。
【００４９】
図８に示されるように、まず、ステップＳＰ１１では、撮影情報取得部１１が、主撮像部ＭＣおよび副撮像部ＳＣからステレオ画像を取得する。
【００５０】
ステップＳＰ１２では、第１距離計測部１２によって、撮像装置１Ａから被写体までの距離計測が予備的に行われる。ステップＳＰ１２で行われる距離の予備計測は、主撮像部ＭＣ（または副撮像部ＳＣ）によって撮影可能な撮影領域内において、予め定められた位置（計測位置）において行われる。
【００５１】
具体的には、図９に示されるように、予備計測では、予備計測を行う位置（「予備計測位置」とも称する）ＱＰが、撮影領域において所定間隔ごとに一様に設定される。なお、図９では、撮影領域を表す基準画像ＭＧを微小領域に区分けして、予備計測位置を微小領域単位で簡単化して示しているが、当該微小領域の構成単位は、基準画像ＭＧを構成する１画素であってもよく、複数の画素によって構成される領域であってもよい。
【００５２】
次のステップＳＰ１３では、予備計測の結果に基づいて、第２距離計測（本計測）を行う際の計測位置（「本計測位置」とも称する）が設定される。計測位置の設定は、例えば、計測位置を定めた複数のパターンの中から、１つの計測パターンを選択して決定するようにしてもよい。
【００５３】
複数の計測パターンとしては、例えば、図１０〜図１４に示される各計測パターンを採用することができ、これらの計測パターンに関するデータは予め撮像装置１Ａ内に格納されている。
【００５４】
図１０の計測パターンＰＴ１０は、撮影領域の中心付近に計測位置ＲＰを多く設定し、中心付近において密な距離計測を実現するパターンである。図１１の計測パターンＰＴ１１は、撮影領域の下段部および上段部よりも中段部に計測位置ＲＰを多く設定し、中段領域において密な距離計測を実現するパターンである。当該計測パターンＰＴ１１は、撮影領域の下段部に道路が存在し、上段部に空が存在するようなシーン向けの計測パターンである。図１２の計測パターンＰＴ１２は、複数の予備計測位置のうち、被写体までの距離が最も近い予備計測位置を中心にして拡大した領域のみにおいて、計測位置ＲＰを設定するパターンである。図１３の計測パターンＰＴ１３は、撮影領域中の下段部において計測位置ＲＰを多く設定し、下段領域において密な距離計測を実現するパターンである。図１４の計測パターンＰＴ１４は、撮影領域において左右方向に行くほど計測位置ＲＰを少なく設定し、左右の端領域において粗い距離計測を実現するパターンである。
【００５５】
なお、計測パターンＰＴ１０〜ＰＴ１４を示す各図１０〜１４では、撮影領域内の計測パターンと被写体とが同時に示されているが、これは、計測位置ＲＰと被写体との関係を把握し易くするために示したものであり、各図に描かれた被写体は計測パターンを示すものではない。
【００５６】
複数の計測パターンＰＴ１０〜ＰＴ１４の中から１つの計測パターンを選択する手法としては、例えば、次のような手法を採用することができる。具体的には、各計測パターンＰＴ１０〜ＰＴ１４において計測位置が密である領域を近距離領域とし、計測位置が粗である領域を遠距離領域として各計測パターンＰＴ１０〜ＰＴ１４を遠近分布で表現する。そして、計測パターンＰＴ１０〜ＰＴ１４の各遠近分布の中から、予備計測によって得られた撮影領域内の遠近分布に合うものを選択する。
【００５７】
予備計測によって得られた撮影領域内の遠近分布が、どの計測パターンＰＴ１０〜ＰＴ１４の遠近分布に合うかについての選択は、例えば、予備計測の結果に基づいて、被写体までの距離が近距離である予備計測位置を近距離計測位置として特定した上で、当該近距離計測位置と、各計測パターンＰＴ１０〜ＰＴ１４における近距離領域とを照合して、近距離領域内にどれぐらいの数の近距離計測位置が含まれるかを基準にして行われる。すなわち、近距離領域内に近距離計測位置を最も多く含む計測パターンが選択されることになる。
【００５８】
なお、ここでいう近距離とは、或る閾値以下の距離をいい、遠距離とは、当該閾値よりも大きい距離をいう。また、本計測位置は、予備計測に対して距離計測を追加して行うための計測位置であるとも表現される。
【００５９】
このようにステップＳＰ１３では、複数の計測パターンの中から、１つの計測パターンが選択され、本計測位置が設定される。
【００６０】
ステップＳＰ１４では、設定された本計測位置において、第２距離計測が行われる。なお、本実施形態では、第２距離計測は、第１距離計測と同様、ステレオ画像を用いたステレオ計測によって行われるので、本計測位置のうち、予備計測位置と重複する位置では、第２距離計測を行わなくてもよい。
【００６１】
ステップＳＰ１５では、視差情報生成部１５によって、第１距離計測および第２距離計測で取得された距離情報に基づいて、視差情報が生成される。
【００６２】
視差情報の生成に際して、撮影領域において距離計測によって距離情報が取得されていない位置（未取得位置）の距離情報は、周辺の距離情報を用いて算出される。特に第２距離計測において計測位置が粗く設定された領域における未取得位置の距離情報は、第１距離計測および第２距離計測によって既に取得されている距離情報を用いて算出されることになる。
【００６３】
未取得位置の距離情報は、例えば、未取得位置周辺の計測位置における距離情報を補間して算出することができる。なお、補間演算は、未取得位置の被写体が存在する３次元空間を考慮して、３次元で行ってもよく、或いは２次元画像（例えば基準画像ＭＧ）上の平面空間で行ってもよい。また、予め用意した補間テーブルを参照して補間演算を行ってもよい。
【００６４】
そして、ステップＳＰ１６では、立体画像生成部１６によって、視差情報に基づいて、基準画像から立体画像が生成される。生成された立体画像は、撮像装置１Ａの表示部４において表示される。また、撮像装置１Ａは、生成した立体画像を外部に出力してもよい。
【００６５】
［１−４．対応点探索処理］
ここで、ステップＳＰ１２およびステップＳＰ１４において、距離計測の際に実行される対応点の探索処理について説明する。図１５は、画像を構成する画素を分割して、サブピクセルを設定する様子を示す図である。なお、図１５は、基準画像ＭＧの一部を拡大した図であり、当該図１５には、画像内の１つの画素ＮＰを横方向に３分割して、単位画素あたり、３つのサブピクセルＢＰを設定する様子が示されている。
【００６６】
なお、上述のように、本実施形態の撮像装置１Ａでは、主撮像部ＭＣおよび副撮像部ＳＣからは、異なる精度の画像が取得される態様であるため、一般的な対応点探索を実施するだけでは、正確に対応点を特定できない可能性が高い。そこで、撮像装置１Ａでは、対応点の特定を精度良く行うために、対応点の探索数を増やして対応点探索処理を実行する。詳細は、後述する。
【００６７】
対応点の探索手法としては、例えば、基準画像ＭＧにおいて探索窓（ウインドウ）を設定し、当該探索窓に対応する参照画像ＳＧ上の領域を求めることによって、対応点を特定する手法を採用することができる。
【００６８】
具体的には、基準画像ＭＧにおいて、計測位置として設定された領域（計測領域）に含まれる画素、または計測位置として設定された画素を注目点とし、当該注目点を中心とする探索窓（ウインドウ）を設定し、当該探索窓を参照画像ＳＧ上でシフトさせつつ、相関値を算出する。そして、当該相関値に基づいて、参照画像ＳＧ上での探索窓の対応位置を取得し、探索窓の注目点に対する参照画像ＳＧ上の対応点を特定する。このような対応点の特定は、第１距離計測および第２距離計測において、計測位置として設定された画素（計測対象画素）ごとに行われる。
【００６９】
なお、相関値の算出方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared intensity Difference)法（２乗残差法）、ＮＣＣ（Normalized cross Correlation）法（正規化相互相関法）等の比較する画像間の画素の輝度値を用いて相関値を算出する方法を用いてもよい。また、相関値の算出方法として、例えば、位相限定相関法（ＰＯＣ法）、位相差解析法（ＰＳＡ法）等の比較する画像間の位相情報を用いて相関値を算出する方法を用いてもよい。
【００７０】
また、基準画像ＭＧを取得する主撮像部ＭＣがズーム撮影機能を有している場合において、基準画像ＭＧがズーム撮影機能を利用して撮影されたときは、ユーザ（使用者）は、被写体の形状を精度良く表した立体画像の生成を希望していると考えられる。しかし、主撮像部ＭＣがズーム撮影機能を有している場合において、ズーム撮影機能を利用して基準画像ＭＧを撮影したとき等、基準画像ＭＧと参照画像ＳＧとでは、互いに共通する領域における画像の解像度が異なるため、距離計測の計測点数が少なくなり得る。
【００７１】
そこで、撮像装置１Ａでは、基準画像ＭＧおよび参照画像ＳＧのうち、どちらかの画像における各画素をサブピクセルに分割して（図１５参照）、対応点の特定が行われる。
【００７２】
具体的には、参照画像ＳＧにおいて、基準画像ＭＧと同じ領域を切り出したときに、切り出された画像が、基準画像ＭＧに比べて解像度の少ない画像であるとする。
【００７３】
このような場合において、基準画像ＭＧを基準にして参照画像ＳＧに対して対応点探索を実施するときは、参照画像ＳＧにおける画素をサブピクセルに分割してサブピクセル単位で対応点探索を実施する。一方、参照画像ＳＧを基準にして基準画像ＭＧに対して対応点探索を実施するときは、参照画像ＳＧ上の計測点を増やすために、参照画像ＳＧの画素をサブピクセルに分割する。そして、参照画像ＳＧ上の注目点をサブピクセル単位で設定して、対応点探索数を増やして、対応点探索を実施する。
【００７４】
このように、画素をサブピクセルに分割して、対応点の特定処理を行うことによれば、距離計測の計測位置を増やすことができるので、使用者が撮影対象とした主被写体を、高精細に表現した立体画像を生成することが可能になる。
【００７５】
以上のように、撮像装置１Ａは、撮影領域における被写体までの距離計測を、撮影領域に設定された予備計測位置において行って、距離情報を取得する第１距離計測部１２と、第１距離計測部１２で取得された距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための本計測位置を撮影領域において設定する設定手段と、本計測位置において距離計測を行って、距離情報を取得する第２距離計測部１３と、第１距離計測部１２および第２距離計測部１３で取得された距離情報に基づいて、視差情報を生成する視差情報生成部１５と、視差情報に基づいて立体画像を生成する立体画像生成部１６とを備えている。
【００７６】
このような撮像装置１Ａによれば、撮影シーンに応じた距離計測を行うことができるので、撮影シーンに応じた立体表示を実現することが可能になる。また、このように予備計測の結果を利用して、本計測位置を設定することによれば、無駄な計測位置において距離計測を行うことなく、撮影シーンに即した立体画像を効率的に生成することが可能になる。
【００７７】
＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。第２実施形態に係る撮像装置１Ｂでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。なお、撮像装置１Ｂは、上記相違点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。
【００７８】
上述のように、本実施形態の撮像装置１Ｂでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。図１６は、撮影領域において設定された予備計測位置ＱＰを示す図である。
【００７９】
具体的には、撮像装置１Ｂの予備計測は、図１６に示されるように、撮影領域の中心付近に予備計測位置ＱＰを多く設定して行われる。すなわち、撮影領域の中心付近では密に予備計測が行われ、中心から離れるに従って粗い予備計測が行われる。
【００８０】
そして、予備計測の結果、粗い予備計測を行った領域において、被写体までの距離が近距離である予備計測位置（近距離計測位置）が検出されたときは、当該予備計測位置の周辺に計測位置を多数設定して、本計測を行う。
【００８１】
このように、撮像装置１Ｂでは、粗い予備計測を行った領域において、近距離の被写体が検出されたときは、本計測において、当該近距離の被写体が存在すると想定される領域において計測位置を追加設定し、密な距離計測を行う。
【００８２】
これによれば、撮影領域の中から、近距離の被写体に関する距離情報を効率的に取得することが可能になるとともに、近距離の被写体を高精細に表現した立体画像を生成することが可能になる。
【００８３】
＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。第３実施形態に係る撮像装置１Ｃでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。なお、撮像装置１Ｃは、上記相違点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。
【００８４】
上述のように、本実施形態の撮像装置１Ｃでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。図１７は、予備計測位置における計測結果を示す図である。図１８は、設定された本計測位置を示す図である。図１９は、粗領域および密領域の設定例を示す図である。
【００８５】
具体的には、撮像装置１Ｃの予備計測は、第１実施形態と同様（図９参照）、予備計測位置ＱＰを、基準画像ＭＧ内において所定間隔ごとに一様に設定して行われる。
【００８６】
そして、本計測を行う本計測位置は、各予備計測位置を基準にして、予備計測位置ごとの距離情報を反映して設定される。
【００８７】
具体的には、まず、予備計測位置ごとに予備計測位置を囲む閉領域（「本計測領域」とも称する）が設定される。本計測領域の大きさは、設定される本計測領域の基準となる予備計測位置の距離情報に基づいて決定される。より詳細には、被写体までの距離が近距離の予備計測位置（近距離計測位置）については、本計測領域が相対的に大きく設定され、被写体までの距離が遠距離の予備計測位置（遠距離計測位置）については、本計測領域が相対的に小さく設定される。
【００８８】
そして、近距離計測位置に基づく本計測領域内には、本計測位置を密に設定し、遠距離計測位置に基づく本計測領域内には、本計測位置を粗く設定して、第２距離計測が行われる。
【００８９】
例えば、撮影領域に設定された予備計測位置ＱＰにおいて予備計測が行われた結果、図１７のように、黒く塗りつぶされた黒丸で表される近距離計測位置ＦＰと、白抜きの白丸で表される遠距離計測位置ＷＰとが検出されたとする。この場合、図１８に示されるように、近距離計測位置の周辺には、大きな本計測領域が設定されるとともに、当該本計測領域内には、本計測位置ＨＰが密に設定される。なお、図１８において、本計測領域内の本計測位置は、黒く塗りつぶされた黒三角で表される。一方、遠距離計測位置の周辺には、小さな本計測領域が設定されて、当該本計測領域内では、本計測位置が粗く設定されるが、図１８では、対比を容易にするため、遠距離計測位置に基づいて設定される本計測位置を不図示としている。
【００９０】
本計測位置の粗密の設定に際して、予備計測で得られた距離情報を粗領域および密領域の大きさに反映させない場合、粗領域ＬＲ（斜線ハッチング領域）および密領域ＭＲは、図１９のように設定されることになる。この場合、本来、密に計測位置を設定して距離情報を取得したい近距離の領域が遠距離側に含まれてしまう可能性が高くなり、滑らかな形状を計測することが困難になる。
【００９１】
これに対して、本実施形態のように、粗領域に対して密領域を大きく設定することにより、近距離の被写体が存在する可能性が高い領域に対して優先的に本計測位置を割り当てることによれば、近距離の被写体の形状を正確に表現した立体画像を生成することが可能になる。
【００９２】
なお、密領域および粗領域の大きさは、距離情報に対応した粗領域および密領域の大きさを表すテーブルを予め保持し、当該テーブルを用いて設定するようにしてもよい。
【００９３】
このように、撮像装置１Ｃでは、撮影領域において粗く一様に行う予備計測によって、近距離計測位置が存在した場合は、当該近距離計測位置の周辺に大きな本計測領域が追加して設定され、当該本計測領域において密な距離計測が行われる。
【００９４】
これによれば、撮影領域の中から、近距離の被写体に関する距離情報を効率的に取得することが可能になるとともに、近距離の被写体を高精細に表現した立体画像を生成することが可能になる。
【００９５】
＜４．第４実施形態＞
次に、本発明の第４実施形態について説明する。第４実施形態に係る撮像装置１Ｄでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。なお、撮像装置１Ｄは、上記相違点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。
【００９６】
上述のように、本実施形態の撮像装置１Ｄでは、計測位置の設定手法が、第１実施形態の撮像装置１Ａとは異なる。図２０は、第１距離計測および第２距離計測の際に実行される動作のフローチャートである。
【００９７】
撮像装置１Ｄの予備計測は、基準画像ＭＧ（または参照画像ＳＧ）の中から物体領域を抽出し、抽出した物体の中心付近の代表点を予備計測位置に設定して行われる。そして、代表点における予備計測によって、被写体までの距離が近距離である予備計測位置（近距離計測位置）が特定された場合、当該予備計測位置の周辺に本計測位置を追加で密に設定して本計測を行う。
【００９８】
より詳細には、図２０に示されるように、ステップＳＰ２１において基準画像ＭＧから物体領域の抽出が行われる。物体領域の抽出手法としては、平均値シフト法、グラフカット法等、一般的な領域抽出手法が用いられる。
【００９９】
ステップＳＰ２２では、抽出された物体領域の中心付近において、代表点が設定される。近距離の物体と遠距離の物体とが重なっている可能性の高い物体の境界付近では、対応点探索処理の精度が低下するため、このように物体領域の境界を避けて物体領域の中心付近に代表点を設定することによれば、第２距離計測の際に実行される対応点探索処理の精度を向上させることができる。
【０１００】
次のステップＳＰ２３では、設定された代表点を予備計測位置として、第１距離計測（予備計測）が行われる。
【０１０１】
ステップＳＰ２４では、予備計測の結果に基づいて、本計測を行うか否かの判定が行われる。
【０１０２】
具体的には、物体領域が大きく、かつ当該物体領域の代表点における距離が近距離である場合は、物体領域内に密に本計測位置を設定して、第２距離計測を行う動作工程（ステップＳＰ２５）に移行させる。
【０１０３】
一方、物体領域が小さい場合は、密に計測位置を設定して細かく対応点探索を行っても、対応点探索処理の精度が低いと考えられることから、第２距離計測を回避し、代表点における距離情報を当該物体領域の距離情報とする。また、代表点における距離が遠距離である場合も、第２距離計測を回避し、代表点における距離情報を当該物体領域の距離情報とする。
【０１０４】
このように、撮像装置１Ｄでは、取得された画像から物体領域を抽出し、抽出された物体に代表点を設定して、当該代表点において予備計測を行う。そして、予備計測結果および物体領域の大きさに基づいて、第２距離計測を行うか否かを判定する。これによれば、効率的に距離情報を取得することが可能になるとともに、近距離の比較的大きい物体の形状を正確に表現した立体画像を生成することができる。
【０１０５】
また、代表点における距離が遠距離である場合に、代表点における距離情報を当該物体領域の距離情報とする（物体領域内は、代表点における距離情報で埋める）ことによれば、遠距離の物体領域内において立体感が生じるのを防ぐことができるので、違和感の少ない立体画像を生成することが可能になる。
【０１０６】
なお、ここでは、基準画像ＭＧの中から物体領域を抽出する場合について例示したが、抽出される対象は、物体のみならず人体等を含む被写体であればよく、撮像装置１Ｄでは、基準画像ＭＧから被写体領域の抽出が行われるとも表現できる。
【０１０７】
＜５．第５実施形態＞
次に、本発明の第５実施形態について説明する。第５実施形態に係る撮像装置１Ｅでは、第１距離計測と第２距離計測とがそれぞれ、異なるタイミングで取得される画像に対して行われる。なお、撮像装置１Ｅは、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。
【０１０８】
上述のように、本実施形態の撮像装置１Ｅでは、第１距離計測と第２距離計測とがそれぞれ、異なるタイミングで取得される画像に対して行われる。図２１は、撮像装置１Ｅにおいて実行される、第１距離計測および第２距離計測の動作フローチャートである。
【０１０９】
具体的には、図２１に示されるように、ステップＳＰ３１では、撮影情報取得部１１によって、ステレオ画像が取得される。
【０１１０】
次のステップＳＰ３２では、第１距離計測部１２による第１距離計測が終了したか否かが判定される。第１距離計測が終了している場合は、動作工程は、ステップＳＰ３５に移行される。ステップＳＰ３５に移行した場合の処理内容は、後述する。
【０１１１】
一方、第１距離計測が終了していない場合は、動作工程は、ステップＳＰ３３に移行される。
【０１１２】
ステップＳＰ３３では、第１距離計測が行われる。本実施形態の第１距離計測は、上記第１実施形態から第４実施形態で示される計測手法のいずれかを採用して行われる。
【０１１３】
ステップＳＰ３４では、第１距離計測の結果に基づいて、本計測位置が設定される。本計測位置の設定手法としては、ステップＳＰ３３の第１距離計測で採用した実施形態の設定手法が採用される。
【０１１４】
本計測位置の設定が終了すると、動作工程は、ステップＳＰ３１に移行され、再びステレオ画像の取得が実行される。
【０１１５】
新たなステレオ画像が取得されると、動作工程は、ステップＳＰ３２を経て、ステップＳＰ３５へと移行される。
【０１１６】
ステップＳＰ３５では、ステップＳＰ３４で設定された本計測位置において、新たに取得されたステレオ画像を用いた第２距離計測が行われる。また、当該第２距離計測では、予備計測位置においても、新たに取得されたステレオ画像を用いて距離計測が行われる。
【０１１７】
ステップＳＰ３６では、第２距離計測の結果に基づいて、予備計測位置における距離情報が変化したか否かが判定される。予備計測位置における距離情報が変化したか否かは、過去に取得されたステレオ画像を用いた第１距離計測または第２距離計測の計測結果と、現在のステレオ画像を用いた第２距離計測の計測結果とを比較して行われる。
【０１１８】
ステップＳＰ３６において、距離情報が変化してないと判定された場合、動作工程は、ステップＳＰ３１に移行され、次のステレオ画像が取得される。一方、距離情報が変化したと判定された場合、動作工程は、ステップＳＰ３７に移行される。
【０１１９】
ステップＳＰ３７では、本計測位置の変更（再設定）が行われる。例えば、或る予備計測位置において計測される距離が、近距離から遠距離へと変化した場合は、当該予備計測位置の周囲に設定した本計測位置を本計測の対象から除外する処理が行われる。一方、或る予備計測位置において計測される距離が、遠距離から近距離へと変化した場合は、当該予備計測位置の周辺に新たな本計測位置を設定する処理が行われる。
【０１２０】
ステップＳＰ３７が終了すると、動作工程は、ステップＳＰ３１に移行され、新たに取得されるステレオ画像を用いて、新たな本計測位置において第２距離計測が行われる。
【０１２１】
このように、撮像装置１Ｅでは、最初に取得されるステレオ画像に対して、第１距離計測が行われ、第１距離計測の結果に基づいて本計測位置が設定される。そして、設定された本計測位置に基づいて、順次に取得されるステレオ画像ごとに第２距離計測が行われる。これによれば、過去に行われた第２距離計測の計測位置の情報を用いて、次のステレオ画像に対する第２距離計測が行われるので、順次に取得されるステレオ画像ごとに本計測位置を全て設定する処理を省略することができ、処理量を低減することが可能になる。
【０１２２】
＜６．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
【０１２３】
例えば、上記各実施形態の第１距離計測では、距離計測の手法として、ステレオ計測による手法が採用されていたが、これに限定されず、例えば、ＴＯＦ（Time of Flight）手法またはレーザ光を用いて距離計測を行う手法を採用してもよい。
【０１２４】
また、上記各実施形態における、予備計測位置および本計測位置の設定に際して、他の情報を反映させてもよい。
【０１２５】
例えば、２次元画像（例えば基準画像ＭＧ）から被写体の距離情報を推定し、当該推定距離情報を反映させて、予備計測位置または本計測位置を変更してもよい。或いは、２次元画像における色情報に基づいて、色ごとに領域分割を行い、色および領域の大きさに応じて、予備計測位置または本計測位置を変更するようにしてもよい。
【０１２６】
また、上記第１実施形態から第５実施形態において、一組のステレオ画像に対する第１距離計測および第２距離計測において設定される計測位置は、その総数が固定数以下となるように設定されることが好ましい。ここで、上記固定数は、順次に取得されるステレオ画像の取得間隔以内に、各計測位置において距離計測を行って立体画像の生成を行うことが可能な計測位置の数である。
【０１２７】
これによれば、順次に取得される各ステレオ画像に対して立体画像を確実に生成することが可能になる。
【０１２８】
また、上記各実施形態では、或る閾値以下の距離を近距離と称し、当該閾値よりも大きい距離を遠距離と称していたが、これに限定されず、取得される画像（例えば基準画像ＭＧ）内における被写体の相対的な位置関係から、近距離および遠距離を定めてもよい。
【０１２９】
また、上記各実施形態における視差情報生成部１５では、視差情報の生成に際して、次のような処理を実行してもよい。
【０１３０】
具体的には、予備計測位置の周辺に本計測位置を設定して、本計測を行った場合において、隣接する計測位置（予備計測位置と本計測位置、または本計測位置同士）における距離の差分が、所定の閾値よりも小さいときは、隣接する当該計測位置同士を統合して視差情報を生成してもよい。なお、隣接する当該計測位置の距離情報としては、例えば、隣接する計測位置間の平均値を用いればよい。
【０１３１】
これによれば、同じ被写体において微小な立体感が生じるのを防ぐことができるので、違和感の少ない立体画像を生成することが可能になる。
【０１３２】
また、隣接する当該計測位置同士を統合して視差情報を生成する上述の処理において、計測位置における距離が遠距離であるときは、隣接する当該計測位置の距離情報として、既定値を用いてもよい。
【０１３３】
これによれば、遠方の同じ被写体において微小な立体感が生じるのを防ぐことができるので、違和感の少ない立体画像を生成することが可能になる。
【０１３４】
また、計測位置を密に設定して距離計測を行った領域（例えば、図１０，１６における中心部分、または図１３における下段部分等）における距離情報が遠距離の情報であった場合、データの間引き処理によって密の計測データから粗い計測データを生成し、当該粗い計測データを用いて視差情報を生成してもよい。
【０１３５】
これによれば、遠距離の被写体において立体感が生じるのを防ぐことができるので、違和感の少ない立体画像を生成することが可能になる。
【０１３６】
また、上記第５実施形態におけるステップＳＰ３７では、本計測位置の変更が行われているが、さらに予備計測位置をも変更してもよい。例えば、現在のフレームと過去のフレームとの間でマッチング処理を行って動きベクトル（オプティカルフロー）を求め、求められた動きベクトルに基づいて被写体の位置ズレ量を推定し、当該位置ズレ量に応じて予備計測位置を移動させてもよい。
【０１３７】
また、上記第１実施形態では、本計測位置を定めた複数の計測パターンの中から、１つの計測パターンを選択していたが、本計測位置の設定方針を複数有するようにして、複数の設定方針から選択された１の設定方針に沿って、本計測位置を設定する態様であってもよい。
【０１３８】
本計測位置の設定方針としては、例えば、撮影領域の中心付近に本計測位置を密に設定し、撮影領域の端付近では、本計測位置を粗に設定する方針が想定される。当該方針に沿って本計測位置が設定されると、図１０に示されるような計測位置の配置となる。なお、当該設定方針は、例えば、撮影領域における中心付近の予備計測位置における距離が、他の予備計測位置における距離に比べて近距離であった場合に選択される。
【０１３９】
また、本計測位置の別の設定方針としては、例えば、撮影領域の下段部および上段部よりも中段部において本計測位置を密に設定する方針が想定される。当該方針に沿って本計測位置が設定されると、図１１に示されるような計測位置の配置となる。なお、当該設定方針は、例えば、撮影領域における中段部の予備計測位置の距離が全般的に近距離であった場合に選択される。
【０１４０】
また、上記各実施形態では、撮像装置１Ａ〜１Ｅにおいて立体画像が生成される場合について例示したが、これに限定されない。具体的には、一般的なコンピュータによって構成される画像処理装置において、上記撮像装置１Ａ〜１Ｅの画像処理部３を実現してもよい。この場合、１組のステレオ画像は、画像処理装置としての当該コンピュータに対して、外部から入力されることになる。
【０１４１】
また、第１距離計測部１２と第２距離計測部１３とを有する撮像装置１Ａ〜１Ｅは、被写体までの距離を計測する距離計測装置とも称せられる。
【符号の説明】
【０１４２】
１Ａ〜１Ｅ 撮像装置
３ 画像処理部
１１ 撮影情報取得部
１２ 第１距離計測部
１３ 第２距離計測部
１４ カメラ情報記憶部
１５ 視差情報生成部
１６ 立体画像生成部
ＢＧ 背景
ＰＳ 主被写体
ＭＧ，ＭＧ１ 基準画像
ＰＴ１０〜ＰＴ１４ 計測パターン
ＲＰ 計測位置
ＨＰ 本計測位置
ＱＰ 予備計測位置
ＦＰ 近距離計測位置
ＭＲ 密領域
ＬＲ 粗領域
【特許請求の範囲】
【請求項１】
撮影領域における被写体までの距離計測を、前記撮影領域に設定された第１計測位置において行って、第１距離情報を取得する第１計測手段と、
前記第１距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための第２計測位置を前記撮影領域において設定する設定手段と、
前記第２計測位置において距離計測を行って、第２距離情報を取得する第２計測手段と、
第１距離情報および第２距離情報に基づいて、視差情報を生成する視差情報生成手段と、
前記視差情報に基づいて立体画像を生成する画像生成手段と、
を備える画像処理装置。
【請求項２】
前記設定手段は、前記第１距離情報に基づいて、前記第２計測位置を定めた複数の計測パターンの中から、１つの計測パターンを選択する請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったとき、当該第１計測位置の周辺に前記第２計測位置を設定する請求項１に記載の画像処理装置。
【請求項４】
前記設定手段は、前記第１計測位置を囲む閉領域において前記第２計測位置を設定し、
前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったときは、当該第１計測位置に関する閉領域を比較的大きい領域とし、第１計測位置において計測された被写体までの距離が遠距離であったときは、当該第１計測位置に関する閉領域を比較的小さい領域とする請求項１に記載の画像処理装置。
【請求項５】
前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったときは、当該第１計測位置に関する閉領域内において前記第２計測位置を密に設定し、第１計測位置において計測された被写体までの距離が遠距離であったときは、当該第１計測位置に関する閉領域内において前記第２計測位置を粗く設定する請求項４に記載の画像処理装置。
【請求項６】
前記被写体についてのステレオ画像を取得する画像取得手段をさらに備え、
前記第１計測手段および前記第２計測手段は、前記ステレオ画像を用いて距離計測を行う請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記被写体についてのステレオ画像を取得する画像取得手段をさらに備え、
前記画像取得手段は、第１ステレオ画像と、当該第１ステレオ画像よりも時間的に後に撮影された第２ステレオ画像とを取得し、
前記第１計測手段は、前記第１ステレオ画像を用いて距離計測を行って、第１距離情報を取得し、
前記第２計測手段は、前記第１ステレオ画像を用いた距離計測によって取得された第１距離情報に基づいて設定される第２計測位置において、前記第２ステレオ画像を用いた距離計測を行う請求項１に記載の画像処理装置。
【請求項８】
前記第２計測手段は、前記第２ステレオ画像を用いた距離計測を、前記第１計測位置においても行って、第１距離情報を新たに取得し、
前記設定手段は、新たに取得された第１距離情報に基づいて、前記第２計測位置を再設定する請求項７に記載の画像処理装置。
【請求項９】
前記設定手段は、前記第１ステレオ画像および前記第２ステレオ画像それぞれに含まれる時間的に前後するフレーム間で被写体の動きベクトルを算出し、当該動きベクトルに基づいて前記第１計測位置を変更する請求項７または請求項８に記載の画像処理装置。
【請求項１０】
前記第１計測位置は、前記ステレオ画像に含まれる１の画像から抽出された被写体領域において、当該被写体領域の中心付近に設定される請求項６から請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記第１計測位置および前記第２計測位置の総数は、１の前記ステレオ画像を用いた距離計測において、所定数以下となるように設定される請求項６から請求項１０のいずれかに記載の画像処理装置。
【請求項１２】
前記設定手段は、撮影領域における中心付近の第１計測位置における距離が、他の第１計測位置における距離に比べて近距離であった場合、撮影領域の中心付近において第２計測位置を密に設定し、撮影領域の端付近において、第２計測位置を粗く設定する請求項１に記載の画像処理装置。
【請求項１３】
前記設定手段は、前記ステレオ画像に含まれる１の画像を用いて被写体の距離情報を推定し、推定された距離情報を反映して、第２計測位置を変更する請求項６から請求項１１のいずれかに記載の画像処理装置。
【請求項１４】
撮影領域における被写体までの距離計測を、前記撮影領域に設定された第１計測位置において行って、第１距離情報を取得する第１計測手段と、
前記第１距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための第２計測位置を前記撮影領域において設定する設定手段と、
前記第２計測位置において距離計測を行って、第２距離情報を取得する第２計測手段と、
を備える距離計測装置。
【請求項１】
撮影領域における被写体までの距離計測を、前記撮影領域に設定された第１計測位置において行って、第１距離情報を取得する第１計測手段と、
前記第１距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための第２計測位置を前記撮影領域において設定する設定手段と、
前記第２計測位置において距離計測を行って、第２距離情報を取得する第２計測手段と、
第１距離情報および第２距離情報に基づいて、視差情報を生成する視差情報生成手段と、
前記視差情報に基づいて立体画像を生成する画像生成手段と、
を備える画像処理装置。
【請求項２】
前記設定手段は、前記第１距離情報に基づいて、前記第２計測位置を定めた複数の計測パターンの中から、１つの計測パターンを選択する請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったとき、当該第１計測位置の周辺に前記第２計測位置を設定する請求項１に記載の画像処理装置。
【請求項４】
前記設定手段は、前記第１計測位置を囲む閉領域において前記第２計測位置を設定し、
前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったときは、当該第１計測位置に関する閉領域を比較的大きい領域とし、第１計測位置において計測された被写体までの距離が遠距離であったときは、当該第１計測位置に関する閉領域を比較的小さい領域とする請求項１に記載の画像処理装置。
【請求項５】
前記設定手段は、第１計測位置において計測された被写体までの距離が近距離であったときは、当該第１計測位置に関する閉領域内において前記第２計測位置を密に設定し、第１計測位置において計測された被写体までの距離が遠距離であったときは、当該第１計測位置に関する閉領域内において前記第２計測位置を粗く設定する請求項４に記載の画像処理装置。
【請求項６】
前記被写体についてのステレオ画像を取得する画像取得手段をさらに備え、
前記第１計測手段および前記第２計測手段は、前記ステレオ画像を用いて距離計測を行う請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記被写体についてのステレオ画像を取得する画像取得手段をさらに備え、
前記画像取得手段は、第１ステレオ画像と、当該第１ステレオ画像よりも時間的に後に撮影された第２ステレオ画像とを取得し、
前記第１計測手段は、前記第１ステレオ画像を用いて距離計測を行って、第１距離情報を取得し、
前記第２計測手段は、前記第１ステレオ画像を用いた距離計測によって取得された第１距離情報に基づいて設定される第２計測位置において、前記第２ステレオ画像を用いた距離計測を行う請求項１に記載の画像処理装置。
【請求項８】
前記第２計測手段は、前記第２ステレオ画像を用いた距離計測を、前記第１計測位置においても行って、第１距離情報を新たに取得し、
前記設定手段は、新たに取得された第１距離情報に基づいて、前記第２計測位置を再設定する請求項７に記載の画像処理装置。
【請求項９】
前記設定手段は、前記第１ステレオ画像および前記第２ステレオ画像それぞれに含まれる時間的に前後するフレーム間で被写体の動きベクトルを算出し、当該動きベクトルに基づいて前記第１計測位置を変更する請求項７または請求項８に記載の画像処理装置。
【請求項１０】
前記第１計測位置は、前記ステレオ画像に含まれる１の画像から抽出された被写体領域において、当該被写体領域の中心付近に設定される請求項６から請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記第１計測位置および前記第２計測位置の総数は、１の前記ステレオ画像を用いた距離計測において、所定数以下となるように設定される請求項６から請求項１０のいずれかに記載の画像処理装置。
【請求項１２】
前記設定手段は、撮影領域における中心付近の第１計測位置における距離が、他の第１計測位置における距離に比べて近距離であった場合、撮影領域の中心付近において第２計測位置を密に設定し、撮影領域の端付近において、第２計測位置を粗く設定する請求項１に記載の画像処理装置。
【請求項１３】
前記設定手段は、前記ステレオ画像に含まれる１の画像を用いて被写体の距離情報を推定し、推定された距離情報を反映して、第２計測位置を変更する請求項６から請求項１１のいずれかに記載の画像処理装置。
【請求項１４】
撮影領域における被写体までの距離計測を、前記撮影領域に設定された第１計測位置において行って、第１距離情報を取得する第１計測手段と、
前記第１距離情報に基づいて、撮影領域における被写体までの距離計測を追加して行うための第２計測位置を前記撮影領域において設定する設定手段と、
前記第２計測位置において距離計測を行って、第２距離情報を取得する第２計測手段と、
を備える距離計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１０７９７１（Ｐ２０１２−１０７９７１Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５６５７６（Ｐ２０１０−２５６５７６）
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]