撮像装置、および撮像装置制御方法、並びにプログラム
【課題】異なる視点からの撮影画像の上下方向のズレを解消する変換パラメータを高精度かつ効率的に算出する構成を実現する。
【解決手段】例えば３次元画像としてのＬＲ画像等、異なる視点からの撮影画像に対するブロックマッチング等の画像解析により特徴点検出を実行し、特徴点情報を利用して画像の上下方向のズレを解消する画像変換パラメータを算出する。変換パラメータ算出処理に際して、撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置での撮影画像に基づく特徴点情報を入力して画像変換パラメータの信頼度を算出し、信頼度を表示部に表示する。さらに望遠端での信頼度が閾値以上である場合にズーム位置を広角側に順次移動させて複数ポイントで変換パラメータを算出する。
【解決手段】例えば３次元画像としてのＬＲ画像等、異なる視点からの撮影画像に対するブロックマッチング等の画像解析により特徴点検出を実行し、特徴点情報を利用して画像の上下方向のズレを解消する画像変換パラメータを算出する。変換パラメータ算出処理に際して、撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置での撮影画像に基づく特徴点情報を入力して画像変換パラメータの信頼度を算出し、信頼度を表示部に表示する。さらに望遠端での信頼度が閾値以上である場合にズーム位置を広角側に順次移動させて複数ポイントで変換パラメータを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および撮像装置制御方法、並びにプログラムに関する。さらに詳細には、例えば３次元画像（３Ｄ画像）を撮影する撮像装置（カメラ）における左眼用画像と右眼用画像の画像間のズレ、特に上下の画像ズレを検出して補正する処理を行う撮像装置、および撮像装置制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
昨今、３次元画像（３Ｄ画像）を表示可能としたテレビやＰＣなどの表示装置や、３次元画像（３Ｄ画像）を記録可能としたビデオカメラ、スチルカメラなどが開発され利用されている。３Ｄ画像の表示のためには異なる視点から２つの画像を撮影することが必要となる。すなわち左眼視点からの左眼用画像と右眼視点からの右眼用画像である。
【０００３】
異なる視点から撮影された２つの画像を表示する際に、左眼用画像は観察者の左眼にのみ観察させ、右眼用画像は観察者の右眼にのみ観察させる制御を行うことで、観察者は立体感を得ることができる。なお、３Ｄ画像の表示処理方式には、様々な方式がある。
【０００４】
例えば、表示装置に左眼用画像と右眼用画像を交互に表示し、観察者がシャッター式眼鏡を装着して、左眼用画像の表示期間と、右眼用画像の表示期間ごとにシャッター切り替えを行って、各画像を一方の眼でのみ観察させる方式がある。
また、例えばレンチキュラーレンズなどの特殊な加工を施した表示面を有する表示装置に左眼用画像と右眼用画像をスリット状に交互に表示して、左眼用画像を表示面のレンズを介して観察者の左眼のみに観察させ、右眼用画像を表示面のレンズを介して観察者の右眼のみに観察させる設定とし、裸眼で立体感を想起させることを可能とした方式など、様々な方式がある。
【０００５】
一方、３Ｄ画像を撮影するためには、左眼用画像と右眼用画像をそれぞれ撮影する２つの撮像部を適正な距離、離間させて水平に（左右に）配置する。この左右の画像間に生じる水平方向の画像ズレは視差と呼ばれる。
視差を奥行き情報として認識することにより、視覚者は立体的に画像を見ることができる。
【０００６】
ところが、左眼用画像と右眼用画像を撮影する２つの撮像部の位置に応じた画像のズレは、水平方向の視差方向以外の方向にも発生する場合がある。
例えば、２つの撮像部の光軸配置の上下方向へのズレ、または、２つの撮像部の光軸の上下方向への角度的なズレ、あるいは、撮像素子の光軸に対する位置ズレなど、様々なカメラ構成に起因する幾何学ズレとしての上下方向の画像ズレが発生する場合がある。
【０００７】
３Ｄ画像における左眼用画像と右眼用画像間の上下方向の画像ズレは、立体視の妨げになるばかりでなく、視聴者の眼の疲労の原因となるため、極力取り除く必要がある。
【０００８】
このような画像間の上下方向のズレを解消するため、２つの撮像部において撮影された２つの画像に対して、ブロックマッチング等で画像比較を行い、画像ズレを補正する変換パラメータ、例えばアフィンパラメータを計算して撮影画像の変換を行う手法がある。アフィン変換回路に適切な変換パラメータを入力して、撮影画像の変換（アフィン変換）を実行することにより２つの映像間の幾何学ズレを補正することができる。
【０００９】
例えば、特許文献１（特開２００９−２５８８６８（ソニー株式会社））は、ブロックマッチングによりアフィンパラメータを計算する方法を記載している。この文献では、１つのカメラで時間差のある映像同士を比較するものであるが、２つのカメラの同時刻の映像同士の比較に応用することも可能である。
【００１０】
また、特許文献２（特開２０１０−１２８８２０（富士フィルム株式会社））には、複数のカメラを使用した場合の幾何学変換パラメータの推定方法について記載がある。
【００１１】
しかし、例えば上記の特許文献に記載されているブロックマッチング等による画像比較を行って、画像ズレを検出する場合、比較対象とする画像内に十分な数の特徴点（対応点）が検出されることが必須となる。
ところが、例えば、撮影画像のほとんどが「空」である画像のような場合、２つの撮像部で撮影された左眼用画像と右眼用画像の画像領域のほとんどが輝度変化のない一様な輝度の画像となってしまう。
【００１２】
このような一様な輝度を持つ画像同士を比較した場合、比較対象のブロックが一意に定まりにくいため、有効な特徴点（対応点）の検出が困難となり、結果として、幾何学ズレの検出精度が悪くなる。検出精度の悪いまま補正を行うと、幾何学ズレを十分に取り除けないばかりか、逆にズレを大きくする危険もある。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−２５８８６８号公報
【特許文献２】特開２０１０−１２８８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、例えば上述の状況に鑑みてなされたものであり、複数の異なる視点からの撮影画像に発生する上下方向等の画像ズレを確実に検出し、上下方向のズレを解消するための画像変換用の高精度な変換パラメータを算出して補正を行うことを可能とした撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の第１の側面は、
異なる視点からの画像を撮影する複数の撮像部と、
前記複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析部と、
前記画像解析部の生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する制御部と、
前記制御部の算出した画像変換パラメータを適用して、前記複数の撮像部の撮影画像の変換処理を実行する画像変換部を有し、
前記制御部は、
前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置にある。
【００１６】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値以上であることを確認された場合に、ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出する算出するキャリブレーション処理を実行する。
【００１７】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合に、撮影画像の変更を促すメッセージ出力を実行する。
【００１８】
さらに、本発明の撮像装置の一実施態様において、前記複数の撮像部は、３次元画像表示に適用する左眼用画像と右眼用画像の撮影を実行し、前記制御部は、３次元画像表示に適用する左眼用画像と右眼用画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する。
【００１９】
さらに、本発明の撮像装置の一実施態様において、前記画像解析部は、前記複数の撮像部の撮影画像に対するブロックマッチング処理を実行し、該ブロックマッチング処理による特徴点検出を実行する。
【００２０】
さらに、本発明の撮像装置の一実施態様において、前記画像解析部は、前記複数の撮像部の撮影画像の画像解析による特徴点検出処理において、予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を生成して前記制御部に出力し、前記制御部は、予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を適用して前記信頼度の算出処理を行う。
【００２１】
さらに、本発明の撮像装置の一実施態様において、前記画像変換部はアフィン変換を実行する画像変換部であり、前記制御部はアフィン変換に適用する画像変換パラメータを算出する。
【００２２】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、ズームレンズ位置と、画像変換パラメータと、信頼度を対応付けたデータをメモリに格納する。
【００２３】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、複数のズーム位置において算出した複数の信頼度の値に基づいて、既定の処理成功条件を満たすか否かを判定し、成功と判定した場合は、算出した画像変換パラメータを有効パラメータとしてメモリに格納し、失敗と判定した場合は、処理の失敗を示すメッセージ出力を実行する。
【００２４】
さらに、本発明の第２の側面は、
撮像装置において実行する撮像装置制御方法であり、
画像解析部が、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析ステップと、
制御部が、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出するパラメータ算出ステップを有し、
前記制御部は、前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置制御方法にある。
【００２５】
さらに、本発明の第３の側面は、
撮像装置において撮像装置制御処理を実行させるプログラムであり、
画像解析部に、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行させる画像解析ステップと、
制御部に、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出させるパラメータ算出ステップを実行させ、
前記制御部における前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行わせるプログラムにある。
【００２６】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００２７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２８】
本発明の一実施例によれば、例えば３次元画像としての左眼用画像と右眼用画像等、異なる視点からの画像を複数の撮像部で撮影し、画像解析部においてこれらの撮影画像に対するブロックマッチング処理等の画像解析を行って特徴点検出を実行する。さらに、制御部が画像解析部の生成した特徴点情報を入力して、複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する。この変換パラメータの算出処理に際して、制御部は、撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、信頼度を表示部にインジケータとして表示する。さらに望遠端での信頼度が予め既定した閾値以上である場合にズームレンズを広角側に順次移動させながら複数ポイントで変換パラメータを算出するキャリブレーションを開始する。
【００２９】
本構成により、信頼度の高い変換パラメータの算出に必要な特徴点が、望遠側から広角側まで確実に検出される可能性が高くなり、効率的で確実な変換パラメータ産出が実現される。
【図面の簡単な説明】
【００３０】
【図１】撮像装置の構成例について説明する図である。
【図２】変換パラメータの算出シーケンスに対応した表示画面の遷移について説明する図である。
【図３】望遠端（Ｔｅｌｅ端）〜広角端（Ｗｉｄｅ端）の撮影画像からのにおける特徴点の検出処理について説明する図である。
【図４】特徴点に関する相関の指標値としてのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）について説明する図である。
【図５】ズーム位置と信頼度との対応関係について説明する図である。
【図６】メモリに格納するズーム位置対応の変換パラメータと信頼度のデータ例を示す図である。
【図７】撮像装置の実行するキャリブレーションの開始判定処理について説明するフローチャートを示す図を示す図である。
【図８】撮像装置の実行するキャリブレーション処理について説明するフローチャートを示す図を示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像装置の構成と処理例について
２．キャリブレーション処理のシーケンスについて
３．特徴点の検出処理と特徴点情報に基づく信頼度の算出処理について
４．撮像装置における処理シーケンスについて
４．１．キャリブレーション開始条件判定処理
４．２．ズーム位置に応じた変換パラメータの算出処理
【００３２】
［１．撮像装置の構成と処理例について］
まず、図１を参照して、撮像装置の構成と処理例について説明する。
撮像装置は、異なる視点からの画像、すなわち左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を撮影するカメラである。動画としての映像を撮影するカメラを例として説明する。
【００３３】
図１に示す撮像装置１００は、異なる視点からの画像を撮影するための２系統の画像撮影構成を有している。離間した位置に複数の撮像部として設定された第１レンズ１１１、第２レンズ１２１を介して２つの異なる視点からの画像、すなわち３次元（３Ｄ）画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を取得する。
【００３４】
第１レンズ１１１を介して入射した被写体光は、第１撮像素子１１２に入力される。一方、第２レンズ１２１を介して入射した被写体光は、第２撮像素子１２２に入力される。第１撮像素子１１２、第２撮像素子１２２は例えばＣＭＯＳ、ＣＣＤ等の光電変換素子であり、画素単位で入射光に応じた電気信号を生成し、これを画像信号として出力する。
【００３５】
第１撮像素子１１２の出力する画像信号は第１画像変換部１１３に入力される。
第２撮像素子１２２の出力する画像信号は第２画像変換部１２３に入力される。
第１画像変換部１１３と第２画像変換部１２３は、例えばアフィン変換による画像変換処理を実行する。
アフィン変換は、画像の平行移動、回転、拡大縮小等、各種の画像変形処理を実現する画像変換処理である。所定の変換パラメータを設定してアフィン変換を行うことで、様々な画像変換が実行できる。
【００３６】
第１画像変換部１１３と第２画像変換部１２３において実行する画像変換は、第１レンズ１１１と、第２レンズ１２１を介して撮影される２つの異なる視点からの画像における上下方向のズレを解消することを目的の１つとした画像変換処理である。
【００３７】
先に背景技術の欄で説明したように、左右の画像間に生じる水平方向の画像ズレは視差であり、この左右のズレは奥行き認識、すなわち立体感の把握のために必要なズレである。しかし、上下方向のズレは、立体視の妨げになるばかりでなく、視聴者の眼の疲労の原因となるため、極力取り除く必要がある。
このズレは、例えば、２つの撮像部の光軸配置の上下方向へのズレ、または、２つの撮像部の光軸の上下方向への角度的なズレ、あるいは、撮像素子の光軸に対する位置ズレなど、多数の要因に基づいて発生する。
【００３８】
第１画像変換部１１３と第２画像変換部１２３では、この上下方向の画像ズレを解消する画像変換処理を実行する。画像変換処理として実行するアフィン変換処理に適用する変換パラメータ１２，２２は、図に示すように制御部１３２から提供される。
【００３９】
変換パラメータは、ユーザが撮影したい画像の撮影前の事前調整処理、すなわちカメラキャリブレーションにおいて事前に算出し、メモリ１３５に格納する。
なお、２つの画像（Ｌ画像とＲ画像）の上下方向のズレを解消するための変換パラメータの値は、ズームレンズの位置（ズーム位置）に応じて異なる値となる。従って、キャリブレーション処理の実行時には、複数のズーム位置に応じた変換パラメータを算出し、各ズーム位置に対応する変換パラメータをメモリ１３５に格納する。
【００４０】
複数のズーム位置に対応する変換パラメータの算出処理を含むキャリブレーション処理の完了後に、ユーザによる実際の画像撮影が行われる。
この画像撮影に際して制御部１３２は、画像撮影時のズーム位置に応じた変換パラメータをメモリ１３５から取得して第１画像変換部１１３と、第２画像変換部１２３に提供して画像変換を実行する。この画像変換によって画像の上下方向のズレが解消された高品質な３Ｄ画像としてのＬＲ画像が出力されることになる。
【００４１】
制御部１３２における変換パラメータ１２，２３の算出処理に適用する情報は、画像解析部１３１から入力される特徴点情報３１である。
画像解析部１３１は、第１レンズ１１１、第２レンズ１２１を介して撮影された２つの画像（Ｌ画像とＲ画像）の特徴点（対応点）を例えばブロックマッチング処理によって検出する。
【００４２】
画像解析部１３１は、２つの画像（Ｌ画像とＲ画像）から、予め設定したブロック単位で相関判定を行い、相関の高いブロックを対応特徴点、すなわち同じ被写体領域を撮影したブロックであると判定するブロックマッチング処理を行う。
制御部１３２は、この２つの画像（Ｌ画像とＲ画像）間のズレを特徴点（対応点）から判断して、上下方向のズレを解消するためのアフィン変換処理に適用するパラメータ（変換パラメータ）を算出する。
【００４３】
しかし、２つの画像（Ｌ画像とＲ画像）の上下方向のズレを解消するための正確な画像変換パラメータを算出するためには、２つの画像（Ｌ画像とＲ画像）から、充分な数の精度の高い特徴点（対応点）が検出されていることが必要である。
【００４４】
２つの画像（Ｌ画像とＲ画像）から検出した特徴点（対応点）の数が極端に少ない場合や、検出した特徴点の分布に偏りがある場合などには、上下方向のズレを解消するための正確なパラメータの算出が困難となる。
このような状態で算出した変換パラメータは信頼度の低い変換パラメータとなり、このような信頼度の低い変換パラメータを適用して画像変換を実行してしまうとズレの修正どころか、誤った画像の変形処理を行ってしまう可能性がある。
【００４５】
そこで、制御部１３２は、画像解析部１３１から取得する特徴点情報（数と分布）に基づいて、算出可能な変換パラメータの信頼度を算出する。この信頼度が予め設定した閾値以上の信頼度である場合にのみ、有効なパラメータとしてメモリ１３５に格納して、実際の画像変換に利用する処理を行う。
【００４６】
また、制御部１３２は、算出した信頼度情報を表示部１３３にインジケータとして表示する。このインジケータ表示処理によって、信頼度の高い正確な変換パラメータを算出可能な所定条件を満たす特徴点の数と分布を持つ画像が撮影されているか否かを撮影者に通知することができる。
【００４７】
例えば表示部１３３に表示されるインジケータ上の信頼度の値が低い場合、撮影者は、現在の画像がパラメータ算出に適していないと判断することができ、カメラの角度の変更などを行いパラメータ算出に適した被写体が撮影されるようにカメラ設定を変更することができる。
【００４８】
このように、画像解析部１３１は２つの画像（Ｌ画像とＲ画像）のブロックマッチング処理によって、所定条件を満たす特徴点（対応点）の数と分布情報を含む特徴点情報３１を生成して、制御部１３２に出力する。なお、所定条件を満たす特徴点数や分布情報を含む特徴点情報３１の具体例については後述する。
【００４９】
本実施例の撮像装置１００では、ズーム位置に応じた変換パラメータの算出処理を行う事前調整処理（カメラキャリブレーション処理）において、まず、第１レンズ１１１、第２レンズ１２１に設定されたズームレンズを望遠端（Ｔｅｌｅ端）に設定する。
【００５０】
すなわち、望遠端（Ｔｅｌｅ端）を初期位置とする。この初期位置をキャリブレーション開始位置として、第１レンズ１１１と第２レンズ１２１を介して撮影された画像を、図１に示す第１映像出力１１、第２映像出力２１として、画像解析部１３１に入力する。
画像解析部１３１は、まず、初期位置である望遠端（Ｔｅｌｅ端）で撮影された２画像（Ｌ画像とＲ画像）に基づいてブロックマッチング処理による特徴点情報の生成を実行する。
【００５１】
望遠端（Ｔｅｌｅ端）において撮影された画像に基づいて画像解析部１３１が検出した特徴点情報３１が制御部１３２に提供される。
制御部１３２は、この特徴点情報に基づいて変換パラメータの信頼度を算出する。この初期位置［望遠端（Ｔｅｌｅ端）］における信頼度が予め設定した閾値以上である場合に事前調整処理（カメラキャリブレーション処理）を開始する。
【００５２】
事前調整処理（カメラキャリブレーション処理）においては、ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させながら、ズーム位置（ズームレンズの各設定位置）に応じた変換パラメータを算出する。
【００５３】
制御部１３２は、図１に示すズーム位置指示値１３，２３を出力して、第１レンズ１１１、第２レンズ１２１に設定されたズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させる。
【００５４】
画像解析部１３１は、予め設定したズーム位置間隔で、第１レンズ１１１、第２レンズ１２１各レンズかを介して撮影される画像に対してブロックマッチング処理を実行して特徴点情報を生成して制御部１３２に入力する。
制御部１３２は各ズーム位置における変換パラメータの算出と信頼度情報の算出を実行する。
【００５５】
制御部１３２は、この事前調整処理（カメラキャリブレーション処理）によって算出したズーム位置に応じた変換パラメータをメモリ１３５に格納する。ただし信頼度が低い場合などにはキャリブレーションのやり直し等を行うことになる。
【００５６】
各ズーム位置において信頼度の高い変換パラメータの算出に成功した場合、これらの値はメモリ１３５に格納される。
その後、ユーザによる実際の画像撮影時に、制御部１３２は、ズーム位置に応じた変換パラメータをメモリ１３５から取得して第１画像変換部１１３と、第２画像変換部１２３に提供する。
このような処理によって、各ズーム位置に応じた信頼度の高いパラメータを適用した画像変換処理が実行され、２つの画像（Ｌ画像とＲ画像）間の上下方向のズレが解消された画像が生成されることになる。
【００５７】
第１画像変換部１１３と、第２画像変換部１２３の生成した変換画像は、図１に示すように第１映像出力１１、第２映像出力２１として表示部１３２に出力され表示される。
なお、先に説明したようにキャリブレーション実行中は、これらの出力画像（第１映像出力１１、第２映像出力２１）は、画像解析部１３１にも入力されブロックマッチング処理による特徴点情報の生成が行われる。
【００５８】
［２．キャリブレーション処理のシーケンスについて］
次に、図２を参照してキャリブレーション処理のシーケンスについて説明する。
上述したように、本実施例の撮像装置においては、事前調整処理（キャリブレーション処理）において、２つの撮像系を介して撮影される２つの画像（Ｌ画像とＲ画像）に基づいて上下方向の画像ズレを補正するための画像変換パラメータを算出する。
この処理に際して、ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させながら、複数のズーム位置（ズームレンズの各設定位置）に対応する複数の変換パラメータを算出する。
また、特徴点情報に基づく変換パラメータの信頼度を算出して表示部１３３にインジケータとして表示する処理を行う。
【００５９】
図２は、表示部１３３の表示例に従ってキャリブレーション処理のシーケンスを説明する図である。
左上のステップ（Ｓ０１）の表示画像は、例えばカメラのスイッチをＯＮにした時点で、自動起動する画面の例である。現在、レンズを介して撮影されている画像（スルー画）の上に、自動調整についての説明画面が表示される。自動調整とは、ズーム位置に応じた変換パラメータの算出とメモリ格納処理（更新処理）を意味する。
【００６０】
カメラにおけるレンズの固定位置や角度等は、例えば使用環境（温度、湿度、振動、衝撃、姿勢差、経年変化など）に応じて微妙に変化する。従って、２つの撮像系を介して撮影される２つの画像（Ｌ画像とＲ画像）に発生する上下方向のズレ量も変化する。例えば季節変動などによって変化する場合がある。
【００６１】
メモリ１３５には、前に実行したキャリブレーションに際して算出したパラメータが格納されているが、新たな撮影の開始時点で、撮影環境に応じた最適なパラメータを算出してメモリの格納パラメータを更新し、更新パラメータを新たな撮影画像の変換パラメータとして利用することが望ましい。
【００６２】
従って、カメラの起動時には、図２のステップ（Ｓ０１）のように、ユーザに対して新たな変換パラメータの算出処理としての自動調整（＝キャリブレーション）の実行を薦める案内画面が提示される。
この画面において、自動調整を［しない］を選択した場合は、通常の撮影モードに移行する。
自動調整を［する］を選択した場合は、図に示すステップ（Ｓ１１）の画面「（１）ユーザ被写体選択画面」に遷移する。
【００６３】
なお、図２に示す画面は、図１の表示部１３３に表示される画面の一例である。表示部１３３はタッチパネル型の入力部（ユーザＩＦ）としても機能し、ユーザは画面を触れて［する］、［しない］を選択する。なお、カメラに備えられた他の入力部を介して入力を行ってもよい。
【００６４】
図に示すステップ（Ｓ１１）の画面は、「（１）ユーザ被写体選択画面」である。
表示部には、現在カメラが撮影している画面が表示される。なお、自動調整を［する］をユーザが選択したことを制御部が検出すると、制御部１３２は第１レンズ１１１、第２レンズ１２１のズームレンズ位置を望遠端（Ｔｅｌｅ端）に移動させる。キャリブレーションは、望遠端（Ｔｅｌｅ端）を初期位置として開始される。
【００６５】
まず、この望遠端（Ｔｅｌｅ端）で撮影される２つの画像（ＬＲ画像）が画像解析部１３１に入力される。画像解析部１３１は、入力画像に基づくブロックマッチング処理を実行し、所定条件を満たす特徴点の数と特徴点分布を含む特徴点情報３１を生成して制御部１３２に出力する。
【００６６】
制御部１３２は、この特徴点情報３１に基づいて信頼度、すなわち特徴点に基づいて算出可能な変換パラメータの信頼度を算出する。算出した信頼度情報３２が表示部１３３に出力されインジケータ２１１として表示される。図２のステップ（Ｓ１１）の画像内に示されるインジケータ２１１である。
【００６７】
インジケータ２１１には、制御部１３２が算出した信頼度と、予め設定された閾値が表示される。
制御部１３２は、信頼度が閾値未満である場合、キャリブレーション処理を開始しない。制御部１３２は、ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合、例えば撮影画像の変更を促すメッセージを表示部１３３に出力する。
【００６８】
図２のステップ（Ｓ１１）の画面において、インジケータの信頼度が閾値以上の設定となり、ユーザによって［ＯＫ］が操作されると、「（２）キャリブレーション実行画面」に遷移する。［キャンセル］を選択した場合は、通常の撮影モードに移行する。
【００６９】
図２のステップ（Ｓ１１）の画面において、インジケータの信頼度が閾値以上の設定となり、ユーザによって［ＯＫ］が操作され、「（２）キャリブレーション実行画面」に遷移すると、キャリブレーション処理が実行される。
先に説明したように、制御部１３２は、ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させながら、ズーム位置（ズームレンズの各設定位置）に応じた変換パラメータを算出する。
【００７０】
この変換パラメータの算出実行中の画面例を示したのが、図２に示すステップ（Ｓ２１）の画面である。
ステップ（Ｓ２１）に示す画面内の水平方向のインジケータは、キャリブレーション処理の実行状態（ｘ％完了）を示している。
【００７１】
なお、制御部１３２は、このズーム位置に応じた変換パラメータの算出時に、算出した変換パラメータの信頼度も逐次、算出する。すなわち、
（ａ）ズーム位置、
（ｂ）変換パラメータ、
（ｃ）信頼度
これらの各データを対応データとして取得する処理を行う。
【００７２】
ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させながら、予め規定したズーム位置（ズームレンズの各設定位置）ごとに変換パラメータと信頼度を算出する。なお、表示部１３３には、パラメータ算出に適用している画像が順次表示される。すなわち、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側への移動に従った画像が表示されることになる。
【００７３】
望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの計測ポイント中、例えば７０％以上の計測ポイントにおいて信頼度が閾値以上であれば、キャリブレーションは成功したと判断し、処理を完了する。この時の画面例が図２のステップ（Ｓ２２）の画面である。この処理完了時に画面に表示される画面は、広角端（Ｗｉｄｅ端）の画面である。
【００７４】
一方、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの計測ポイント中、例えば７０％以上の計測ポイントにおいて、信頼度が閾値以上でないと判定した場合は、キャリブレーションは失敗したと判断し、図２のステップ（Ｓ２３）に示すように「キャリブレーションの失敗」をユーザに通知する処理を行う。
なお、上記の例では成功判定の閾値として７０％という値を示しているが、この例は一例であり、その他の閾値や判断基準を用いてもよい。
【００７５】
なお、キャリブレーション処理に成功した場合でも、算出した変換パラメータの中には、信頼度の低いパラメータが含まれる場合がある。
このような信頼度の低いパラメータを含む場合、キャリブレーション処理完了後の実際の画像撮影処理においては、その信頼度の低いパラメータを適用しない設定とすることが好ましい。制御部１３２は、このような場合、前後のズーム位置にある信頼度の高いパラメータを用いて、処理対象のズーム位置の変換パラメータを算出する。この補間処理によって算出したパラメータを適用して変換処理を行う。
【００７６】
［３．特徴点の検出処理と特徴点情報に基づく信頼度の算出処理について］
次に、特徴点の検出処理と特徴点情報に基づく信頼度の算出処理について説明する。
本発明の撮像装置では、上述したように、ズーム位置に応じた画像の上下方向のズレを補正するための変換パラメータの算出処理を行う場合、まず、レンズを望遠端（Ｔｅｌｅ端）に設定し、その後、広角端（Ｗｉｄｅ端）側に順次、移動して、複数のズーム位置で変換パラメータを算出する。
【００７７】
このように、望遠端（Ｔｅｌｅ端）を初期位置として、その後、順次、広角端（Ｗｉｄｅ端）側に移動させて変換パラメータを算出する理由について説明する。
先に説明したように、変換パラメータの算出には、２つの画像間の対応ブロックとしての特徴点を検出することが必要となる。
【００７８】
この特徴点（対応点）は、多くの場合、望遠端（Ｔｅｌｅ端）で撮影した画像より、広角端（Ｗｉｄｅ端）で撮影した画像の方が多く検出できる。
具体例について図３を参照して説明する。
【００７９】
図３には、
（１）望遠端（Ｔｅｌｅ端）で撮影した画像
（２）望遠端〜広角端の中間位置で撮影した画像
（３）広角端（Ｗｉｄｅ端）で撮影した画像
これらの３つの画像例を示している。
【００８０】
（１）望遠端（Ｔｅｌｅ端）で撮影した画像は、（３）広角端（Ｗｉｄｅ端）で撮影した画像に比較して、画像中に含まれるオブジェクトの数は少なくなる。
ブロックマッチング処理は、複数の画素からなる矩形ブロックを設定して、例えば画面上の上左端から右下端までブロック単位で２つの画像（Ｌ画像とＲ画像）を比較して相関の高いブロックの組み合わせを検出して、これらのブロックの組を同じ被写体領域の撮影ブロック、すなわち特徴点（対応点）であると判断する処理である。
【００８１】
一方の画像（例えばＬ画像）を基準画像として、基準画像に設定したブロックに対して、他方の参照画像（Ｒ画像）に所定の参照領域（サーチ範囲）を設定して参照領域（サーチ範囲）内で類似するブロックを検出する。
なお、参照領域（サーチ範囲）は、レンズ配置や撮影時要件等に基づいて、同じ被写体領域が撮り込まれると予測される範囲を含むように設定される。
【００８２】
このような特徴点検出を行う場合、ブロック内の画素分布、例えば輝度分布の相関判定が行われる。したがって、特異なパターンを持つ画像領域が多く含まれる画像ほど、特徴点の検出を容易に行うことができる。
例えば、図３（１）に示すブロック２２１のような特異な画素パターンを持つブロックが特徴点として検出しやすいブロックとなる。
【００８３】
このような特異な画素パターンを持つブロックは、図３に示す３つの画像から理解されるように、
（１）望遠端（Ｔｅｌｅ端）で撮影した画像より、（３）広角端（Ｗｉｄｅ端）で撮影した画像の方が多く含まれる。
【００８４】
これは、多くの場合、望遠端（Ｔｅｌｅ端）で撮影した画像より、広角端（Ｗｉｄｅ端）で撮影した画像の方が画像内に含まれる被写体オブジェクトの数が多くなり、一般的に、特徴点（対応点）として利用可能なブロックが増加するという傾向に基づくものである。
【００８５】
このような理由から、本実施例の撮像装置では、変換パラメータの算出を実行するキャリブレーション処理において、初期位置を望遠端（Ｔｅｌｅ端）に設定し、望遠端（Ｔｅｌｅ端）において特徴点情報に基づく信頼度を算出する。望遠端における信頼度が予め設定した閾値以上であることを確認した後、キャリブレーション処理を開始して、その後、ズームレンズを広角端（Ｗｉｄｅ端）側に順次、移動して、複数のズーム位置で変換パラメータを算出する。
【００８６】
次に、制御部１３２が実行する信頼度情報の算出処理について説明する。
制御部１３２は、画像解析部１３１が２つの画像（ＬＲ画像）に基づいて生成する特徴点情報３１を入力して、特徴点に基づいて算出可能な変換パラメータの信頼度を算出する。特徴点情報３１には、所定条件を満たす特徴点の数と分布情報が含まれる。
【００８７】
このように、信頼度の算出には、
画像解析部１３１が２つの画像（ＬＲ画像）に基づいて生成する特徴点情報が利用される。
制御部１３２は、画像解析部１３１から入力する２つの画像（ＬＲ画像）に基づいて生成する特徴点情報を利用して、例えば、以下の式（式１）に従って信頼度（Ｖｒ：Ｖａｌｉｄ ｒａｔｉｏ）を算出する。
【００８８】
信頼度（Ｖｒ）＝［（（Ｉｎｉｔ＿ｎｕｍ）−（ａ＿ｎｕｍ）−（ｂ＿ｎｕｍ）−（ｃ＿ｎｕｍ））／（Ｉｎｉｔ＿ｎｕｍ）］×２５５×ｋ
・・・（式１）
【００８９】
ただし、上記（式１）において、各パラメータは以下の値を示している。
Ｉｎｉｔ＿ｎｕｍ：ブロックマッチングの実行ブロック数（基準画像に設定したブロックマッチングを実行するブロック数）
ａ＿ｎｕｍ：ブロックマッチングの実行ブロックに含まれる輝度変化が小さいブロックのブロック数（ブロック内の最大輝度画素と最小輝度画素の画素値差分が既定閾値未満のブロック数（一様な輝度を持つブロック数））
ｂ＿ｎｕｍ：ブロックマッチングにおいて対応ブロックとして選択した基準画像の基準ブロックと参照画像の参照ブロックとのＳＡＤが既定閾値以上のブロック数（相関の小さい対応ブロックの数）
ｃ＿ｎｕｍ：参照領域（サーチ範囲）において検出した参照ブロック中、ＳＡＤの最小値を持つ参照ブロックと、２番目に小さいＳＡＤ値を持つ参照ブロックとのＳＡＤ値の差分が既定閾値未満のブロック数（参照領域内に類似するブロックがある）
ｋ：対応ブロック（特徴点）の分布に応じた係数（画面全体に広がりがあうる場合を１、広がりが少ない場合を０として１〜０の設定とする）
【００９０】
なお、乗算値としての（２５５）は、信頼度（Ｖｒ）の値を０〜２５５の範囲に設定する正規化処理のために乗算する正規化係数である。
【００９１】
ＳＡＤとは、基準画像に設定した基準ブロックと、参照画像に設定した参照ブロックのブロック間の相関を示す指標値であり、ブロック間の対応画素同士の輝度の差分の総和である差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）である。
ＳＡＤが小さいほど、相関が高いブロック、すなわち類似するブロックであり、
ＳＡＤが大きいほど、相関が低いブロック、すなわち類似しないブロックてある。
【００９２】
図４は、基準画像に設定した１つの基準ブロックに対応する参照画像内に設定される複数の参照ブロックのＳＡＤの値を示したグラフの例を示す図である。
ブロックマッチングでは、基準画像に設定した１つの基準ブロックに対して、参照画像に所定範囲の参照領域を設定し、その参照領域に含まれる複数ーの参照ブロックから相関の高いブロックを検出する処理が行われる。
相関の高いブロックとはＳＡＤの値が低いブロックである。
【００９３】
図４に示す例では、最も相関の高いブロックは参照ブロックａである。すなわち、参照ブロックａがＳＡＤの最小値を持つブロックである。
図に示す例では、このブロックａの付近に第２極小値を持つブロックｂが存在する。
【００９４】
先の（式１）で説明した［ｃ＿ｎｕｍ］、すなわち、
ｃ＿ｎｕｍ：参照領域（サーチ範囲）において検出した参照ブロック中、ＳＡＤの最小値を持つ参照ブロックと、２番目に小さいＳＡＤ値を持つ参照ブロックとのＳＡＤ値の［差分］が既定閾値未満のブロック数（参照領域内に類似するブロックがある）
上記説明に示す［差分］しとは、図４に示す差分に対応する。すなわち、
差分＝｜最小値（第１極小値）−第２極小値｜
である。
【００９５】
制御部１３２は、画像解析部１３１から入力する２つの画像（ＬＲ画像）に基づいて生成する特徴点情報（特徴点の数と分布）を利用して、例えば上記式（式１）に従って信頼度（Ｖｒ：Ｖａｌｉｄ ｒａｔｉｏ）を算出する。
この信頼度（Ｖｒ）は、画像から検出した特徴点に基づいて算出可能な変換パラメータの信頼度を意味する。
【００９６】
この信頼度は、一般的に、多くの様々なバリエーションの被写体領域が含まれる広角端（Ｗｉｄｅ端）の撮影画像の方が高く、多くの被写体領域が含まれない望遠端（Ｔｅｌｅ端）の撮影画像の方が低くなる傾向にある。
図５は、あるサンプル画像において、上記（式１）に従って算出した信頼度（Ｖｒ）とズーム位置との対応関係を示したグラフである。
全ての画像において、このようなデータが生成されるとは限らないが、多くの場合、図５に示すように、信頼度は、広角端（Ｗｉｄｅ端）の画像の方が高く、望遠端（Ｔｅｌｅ端）の撮影画像の方が低くなる傾向にある。
【００９７】
このような理由から、本発明の撮像装置では、まず、望遠端（Ｔｅｌｅ端）において信頼度を算出し、その信頼度が既定の閾値以上であることが確認された場合に、変換パラメータの算出処理としての事前調整処理（キャリブレーション処理）を開始する。その後、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）にズーム位置を移動させながら特徴点検出とバラメータ算出を行うことで、各ズーム位置において信頼度の低い変換パラメータが算出される可能性を低減している。
【００９８】
この変換パラメータの算出処理としての事前調整処理（キャリブレーション処理）は、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）のズーム範囲に設定した複数のズーム位置毎に変換パラメータを算出する処理として実行される。なお、変換パラメータの算出に平行して信頼度の算出も実行する。望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）でのキャリブレーション処理が成功すると、制御部１３２は、各ズーム位置対応の変換パラメータと信頼度をメモリ１３５に格納する。
【００９９】
メモリ１３５に格納するデータの一例を図６に示す。
図６に示すように、制御部１３２はメモリ１３５に、
ズーム位置と、変換パラメータと、信頼度、
これらの対応データを格納する。
図６に示す値は以下のデータである。
Ｚｐ：ズーム位置（０：広角端、８：望遠端）
Ｐｖ：変換パラメータ（上下方向のズレ補正用の変換パラメータ（表ではすべて正の値であるが、負の値をとることもある））
Ｖｒ：信頼度（２５５で正規化したインジケータ値）
【０１００】
なお、図６において、変換パラメータは上下方向のズレ補正に適用するパラメータのみを示している。
なお、アフィン変換に適用するその他のパラメータ、例えば、画像の回転や拡大縮小、その他の方向の移動処理等に関するパラメータについての算出、およびメモリ１３への格納処理を行う構成としてもよい。図６には本発明に関する上下方向の画像ズレの補正に関するパラメータのみを示している。
【０１０１】
図６に示す変換パラメータと信頼度は、画像解析部１３１から入力する各ズーム位置対応の画像に基づいて生成した特徴点情報に基づいて制御部１３２が算出した変換パラメータと信頼度である。
【０１０２】
図６に示す例は、広角端（Ｗｉｄｅ端）を０として、望遠端（Ｔｅｌｅ端）を８とした０〜８の合計９ポイントのズーム位置において、変換パラメータと信頼度を算出した例を示している。信頼度は、前述したように、広角端（Ｔｅｌｅ端）が高く、望遠端（Ｗｉｄｅ端）が低くなる傾向にある。
【０１０３】
なお、実際の画像撮影時には、このメモリに格納された変換パラメータの値が画像変換部１１３、１２３に提供され画像変換処理が実行される。制御部１３２は、画像撮影痔のズームレンズの位置情報を取得して、取得したズームレンズ位置に対応する変換パラメータをメモリ１３５から取得して画像変換部１１３、１２３に提供する。
【０１０４】
なお、前述したように、例えば予め既定した閾値以下の信頼度の値が低いズーム位置対応の変換パラメータがある場合には、その変換パラメータを利用せず、前後のズーム位置の変換パラメータの適用、あるいは、前後のズーム位置の変換パラメータに基づく補間値を算出して算出したパラメータを利用する構成としてもよい。
【０１０５】
［４．撮像装置における処理シーケンスについて］
次に、撮像装置において実行するショリシーケンスについて、図７、図８に示すフローチャートを参照して説明する。
なお、図７、図８に示すフローは、例えばメモリ１３５に格納されたプログラムに従って制御部１３２の制御によって実行されるフローである。
【０１０６】
図７に示すフローチャートは、変換パラメータ算出処理として実行する事前調整処理（キャリブレーション処理）の初期設定処理である。先に説明したように、撮像装置において実行する事前調整処理（キャリブレーション処理）では、まず、ズームレンズを望遠端（Ｔｅｌｅ端）に設定して、望遠端（Ｔｅｌｅ端）での撮影画像に基づく画像解析、すなわち特徴点（対応点）検出を実行して、検出情報に基づいて信頼度を算出する。検出特徴点に基づいて算出される変換パラメータの信頼度である。
【０１０７】
この望遠端（Ｔｅｌｅ端）での撮影画像に基づく信頼度が予め既定した閾値以上である場合にのみズーム位置に応じた変換パラメータの算出処理としてのキャリブレーションを開始する。望遠端（Ｔｅｌｅ端）での撮影画像に基づく信頼度が予め既定した閾値以上でない場合は、キャリブレーションは開始しない。
図７に示すフローは、このキャリブレーションを開始するか中止するかを決定する処理のシーケンスを示すフローである。
【０１０８】
初期位置である望遠端（Ｔｅｌｅ端）での撮影画像に基づく信頼度が予め既定した閾値以上であると判定され、キャリブレーション開始条件が満たされた場合に、ズーム位置に応じた変換パラメータの算出処理としてのキャリブレーションを実行する。この処理の詳細シーケンスを示すのが図８に示すフローチャートである。
以下、これらの各処理について、順次、説明する。
【０１０９】
（４．１．キャリブレーション開始条件判定処理）
まず、図７を参照してキャリブレーション開始条件判定処理の詳細シーケンスについて説明する。
まず、ステップＳ１０１において、ズームレンズを望遠端（Ｔｅｌｅ端）に移動する。図１に示す制御部１３２は、第１レンズ１１１、第２レンズ１２１の双方に対してズーム位置し指示値１３，２３を出力してズームレンズを望遠端（Ｔｅｌｅ端）に移動する。
【０１１０】
次に、画像変換パラメータを初期化する。これは、初期値として利用する画像変換パラメータの設定であり、予め既定したテフォルト値を利用してもよいし、あるいは最新の更新データ等をメモリ１３５から取得して利用してもよい。制御部１３２は、この変換パラメータの初期値を第１画像変換部１１３、第２画像変換部１２３に提供する。
【０１１１】
次に、ステップＳ１０３において、望遠端（Ｔｅｌｅ端）に移動した状態で、第１レンズ１１１と、第２レンズ１２１の双方において画像を撮影する。撮影画像は、第１画像変換部１１３、第２画像変換部１２３において初期設定の変換パラメータを適用して変換処理が実行され、画像解析部１３１に入力される。画像解析部１３１ではこれらの入力画像に基づくブロックマッチング処理を開始する。
【０１１２】
ステップＳ１０４、ステップＳ１０５は、画像解析部１３１におけるブロックマッチング処理に基づいて画像解析部１３１が実行する特徴点情報の生成処理である。
ステップＳ１０４は、所定条件を満たす特徴点の数の取得処理である。
ステップＳ１０５は、特徴点の分布情報の取得処理である。
【０１１３】
ステップＳ１０４において実行する特徴点の数の取得処理は、先に（式１）を算出して説明した各種の条件を満たす特徴点数の取得処理である。すなわち、以下の各特徴点数（ブロック数）の取得処理が実行される。
Ｉｎｉｔ＿ｎｕｍ：ブロックマッチングの実行ブロック数（基準画像に設定したブロックマッチングを実行するブロック数）
ａ＿ｎｕｍ：ブロックマッチングの実行ブロックに含まれる輝度変化が小さいブロックのブロック数（ブロック内の最大輝度画素と最小輝度画素の画素値差分が既定閾値未満のブロック数（一様な輝度を持つブロック数））
ｂ＿ｎｕｍ：ブロックマッチングにおいて対応ブロックとして選択した基準画像の基準ブロックと参照画像の参照ブロックとのＳＡＤが既定閾値以上のブロック数（相関の小さい対応ブロックの数）
ｃ＿ｎｕｍ：参照領域（サーチ範囲）において検出した参照ブロック中、ＳＡＤの最小値を持つ参照ブロックと、２番目に小さいＳＡＤ値を持つ参照ブロックとのＳＡＤ値の差分が既定閾値未満のブロック数（参照領域内に類似するブロックがある）
【０１１４】
ステップＳ１０４では、これら
（Ｉｎｉｔ＿ｎｕｍ），
（ａ＿ｎｕｍ），
（ｂ＿ｎｕｍ），
（ｃ＿ｎｕｍ）
これらの各条件に対応する特徴点の数（ブロック数）を取得する。
【０１１５】
また、ステップＳ１０５で実行する特徴点の分布情報の取得処理においては、先に説明した（式１）の係数：ｋ、すなわち以下のｋの値を取得する処理を行う。
ｋ：対応ブロック（特徴点）の分布に応じた係数（画面全体に広がりがあうる場合を１、広がりが少ない場合を０として１〜０の設定とする）
画像解析部１３１は、予め既定したアルゴリズムに従って、画面における特徴点の広がりを判定し、特徴点分布情報：ｋを算出する。
【０１１６】
次のステップＳ１０６の信頼度算出と表示処理は、画像解析部１３１が生成した上述の特徴点数と特徴点分布情報からなる特徴点情報を入力した制御部１３２において実行する処理である。
制御部１３２は、上述の特徴点数と特徴点分布情報からなる特徴点情報を画像解析部１３１から入力し、先に説明した（式１）に従って信頼度を算出し、算出した信頼度を表示部１３３にインジケータとして表示する。
【０１１７】
すなわち、以下の（式１）に従って信頼度を算出する。
信頼度（Ｖｒ）＝［（（Ｉｎｉｔ＿ｎｕｍ）−（ａ＿ｎｕｍ）−（ｂ＿ｎｕｍ）−（ｃ＿ｎｕｍ））／（Ｉｎｉｔ＿ｎｕｍ）］×２５５×ｋ
・・・（式１）
【０１１８】
なお、ここで算出する信頼度は、第１レンズ１１１と、第２レンズ１２１の双方のズームレンズを望遠端（Ｔｅｌｅ端）に移動した状態で撮影した画像に基づいて算出された信頼度である。
【０１１９】
算出した信頼度は表示部１３３に表示される。
先に説明した図２のステップＳ１１の画面に対応する表示画像が表示される。
図２のステップＳ１１の処理として説明したように、表示部１３３には望遠端（Ｔｅｌｅ端）での撮影画像にオーバーラップして信頼度を示すインジケータの表示がなされる。インジケータ上には、予め設定した閾値と、算出した信頼度が表示され、ユーザは、信頼度が閾値以上であるか否かを確認できる。
【０１２０】
制御部１３２は、ステップＳ１０７において、望遠端（Ｔｅｌｅ端）での撮影画像に基づいて算出した信頼度が既定の閾値以上であるか否かを判定し、閾値以上（ステップＳ１０７の判定＝Ｙｅｓ）であれば、自動調整開始状態、すなわち、ズームレンズを移動させながらの変換パラメータの算出処理を行うキャリブレーション処理に移行する。
【０１２１】
一方、ステップＳ１０７において、望遠端（Ｔｅｌｅ端）での撮影画像に基づいて算出した信頼度が既定の閾値未満であると判定した場合（ステップＳ１０７の判定＝Ｎｏ）は、表示部１３３の表示画面（図２のステップＳ１１の表示画面）上に、カメラのアングル変更等を促すメッセージを表示する。すなわち、制御部１３２は、ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合、例えば撮影画像の変更を促すメッセージを表示部１３３に出力する。この処理の後、再度、異なる被写体に基づく画像解析処理、すなわちステップＳ１０３のブロックマッチング処理を実行する。
【０１２２】
（４．２．ズーム位置に応じた変換パラメータの算出処理）
次に、ズーム位置に応じた変換パラメータの算出処理としてのキャリブレーション処理のシーケンスについて図８に示すフローチャートを参照して説明する。
【０１２３】
この図８に示すフローは、図７に示すフローのステップＳ１０７において、望遠端（Ｔｅｌｅ端）での撮影画像に基づいて算出した信頼度が既定の閾値以上である（ステップＳ１０７の判定＝Ｙｅｓ）と判定された場合に実行するキャリブレーション処理の詳細シーケンスを示すフローである。
【０１２４】
このキャリブレーション処理では、ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）に順次移動させて、予め既定した複数のズームレンズ位置に対応する変換パラメータの算出を実行する。
【０１２５】
まず、ステップＳ２０１において、キャリブレーション開始位置である望遠端（Ｔｅｌｅ端）において設定した特徴点情報に基づいて画像間の上下ズレを解消する変換パラメータを算出する。なお、変換パラメータには画像の上下方向のズレのみならず、回転、拡大縮小等の他のパラメータも含まれる場合があるが、ここでは、２つの画像（Ｌ画像とＲ画像）の上下方向のズレを解消するパラメータを算出する処理について説明する。
【０１２６】
前述したように、キャリブレーションは、望遠端（Ｔｅｌｅ端）において撮影されている画像の特徴点の解析によって信頼度の高い変換パラメータが算出可能であると確認された場合に開始される。まず、制御部１３２は、この初期設定位置である望遠端（Ｔｅｌｅ端）において撮影された画像から検出した特徴点情報に基づいて変換パラメータを算出する。算出したパラメータは、例えばメモリ１３５の一時記憶領域に格納しておく。
【０１２７】
なお、この時点では、メモリ１３５に格納されている前回のキャリブレーション実行時の変換パラメータの書き換え（更新）は実行しない。望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの変換パラメータの算出に成功したと判定した後、ステップＳ２１８において書き換え（更新）を実行することになる。
【０１２８】
次に、ステップＳ２０２において、ズームレンズを移動する。望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）方向に予め設定した距離の移動を行う。例えば図６を参照して説明したメモリ格納データのように、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの複数のポイントにおいて変換パラメータの算出処理を行うために、次の算出ポイントまでズームレンズを移動する。
【０１２９】
次に、ステップＳ２１１において、新たに設定したズームレンズ位置で第１レンズ１１１、第２レンズ１２１を介して取得した２つの画像（Ｌ画像とＲ画像）を画像解析部１３１に入力して画像解析を実行する。具体的には２つの画像（Ｌ画像とＲ画像）のブロックマッチング処理を実行する。
【０１３０】
まず、ステップＳ２０１において、第１レンズ１１１、第２レンズ１２１を介して取得した２つの画像（Ｌ画像とＲ画像）を画像解析部１３１に入力して画像解析を実行する。具体的には２つの画像（Ｌ画像とＲ画像）のブロックマッチング処理を実行する。
【０１３１】
なお、ここで、画像解析部１３１に入力する画像は、第１画像変換部１１３と第２画像変換部１２３において、最新の変換パラメータを適用して変換された画像である。例えば、初期設定された望遠端（Ｔｅｌｅ端）の次のズームレンズ設定位置に画像解析処理に際しては、望遠端（Ｔｅｌｅ端）おける画像に基づいて算出された変換パラメータを適用して第１画像変換部１１３と第２画像変換部１２３において、画像変換が実行され、画像解析部１３１は、これらの変換画像に基づくブロックマッチングを実行する。
【０１３２】
ステップＳ２１２では、画像解析部１３１がブロックマッチング処理に基づいて、予め既定した条件を満たす特徴点の数を取得する。この処理は、先に図７のフローで説明したステップＳ１０４の処理と同様の処理であり、前述の（式１）に含まれる以下の各特徴点数（ブロック数）を取得する処理として実行される。
（Ｉｎｉｔ＿ｎｕｍ），
（ａ＿ｎｕｍ），
（ｂ＿ｎｕｍ），
（ｃ＿ｎｕｍ）
【０１３３】
次のステップＳ２１３では、画像解析部１３１がブロックマッチング処理に基づいて検出された特徴点の分布情報を取得する。この処理は、先に図７のフローで説明したステップＳ１０５の処理と同様の処理であり、先に説明した（式１）の係数：ｋ、すなわち以下のｋの値を算出する。
ｋ：対応ブロック（特徴点）の分布に応じた係数（画面全体に広がりがあうる場合を１、広がりが少ない場合を０として１〜０の設定とする）
画像解析部１３１は、予め既定したアルゴリズムに従って、画面における特徴点の広がりを判定し、特徴点分布情報：ｋを算出する。
【０１３４】
次のステップＳ２１４の信頼度算出と表示処理は、画像解析部１３１が生成した上述の特徴点数と特徴点分布情報からなる特徴点情報を入力した制御部１３２において実行する処理である。
制御部１３２は、上述の特徴点数（ブロック数）と特徴点分布情報からなる特徴点情報を画像解析部１３１から入力し、先に説明した（式１）に従って信頼度を算出し、算出した信頼度を表示部１３３にインジケータとして表示する。
【０１３５】
すなわち、以下の（式１）に従って信頼度を算出する。
信頼度（Ｖｒ）＝［（（Ｉｎｉｔ＿ｎｕｍ）−（ａ＿ｎｕｍ）−（ｂ＿ｎｕｍ）−（ｃ＿ｎｕｍ））／（Ｉｎｉｔ＿ｎｕｍ）］×２５５×ｋ
・・・（式１）
【０１３６】
なお、ここで算出する信頼度は、第１レンズ１１１と、第２レンズ１２１の双方のズームレンズを所定のズーム位置に移動した状態で撮影した画像に基づいて算出された信頼度である。
【０１３７】
算出した信頼度は表示部１３３に表示される。
先に説明した図２のステップＳ２１の画面に対応する表示画像が表示される。
図２のステップＳ２１の画面に示すように、表示部１３３には設定したズームレンズ位置における撮影画像にオーバーラップして信頼度を示すインジケータの表示がなされる。インジケータ上には、予め設定した閾値と、算出した信頼度が表示され、ユーザは、信頼度が閾値以上であるか否かを確認できる。
【０１３８】
次に、制御部１３２は、ステップＳ２１５において、設定ズーム位置での撮影画像に基づいて、変換パラメータを算出する。
次に、制御部１３２は、ステップＳ２１６において、現在のズームレンズ位置が広角端（Ｗｉｄｅ端）であるか否かを判定する。
【０１３９】
現在のズームレンズ位置が広角端（Ｗｉｄｅ端）である場合は、全てのズームレンズ位置での変換パラメータの算出が終了したと判断してステップＳ２１７に進む。
現在のズームレンズ位置が広角端（Ｗｉｄｅ端）でない場合は、まだ全てのズームレンズ位置での変換パラメータの算出が終了していないと判断し、ステップＳ２０２に戻り、ズームレンズを広角端（Ｗｉｄｅ端）側に移動させて、ステップＳ２１１以下の処理を繰り返す。
【０１４０】
ステップＳ２１６において、現在のズームレンズ位置が広角端（Ｗｉｄｅ端）であると判定しステップＳ２１７に進むと、自動調整処理の成功判定を行う。この判定処理は、算出した変換パラメータに併せて算出した信頼度に基づいて実行する。
例えば、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までに設定した変換パラメータ算出位置がｎポイントある場合、これらのｎポイント中、予め設定したポイント数以上（例えば７０％以上）で既定閾値以上の信頼度が得られている場合に「成功」と判定する。
【０１４１】
変換パラメータを算出したｎポイント中、閾値以上の信頼度が得られているポイントが、予め設定したポイント数未満である場合は、「失敗」と判定する。この場合は、ステップＳ２１７の判定が「Ｎｏ」となり、処理の失敗を示すメッセージ出力を実行する（図２（Ｓ２３）参照）とともに、自動調整処理、すなわちキャリブレーション処理をやり直す。この場合は、図７のステップＳ１０１に戻り、再度、ズームレンズを望遠端（Ｔｅｌｅ端）に戻して処理が再実行される。
この処理は、図２に示すステップ（Ｓ２３）からステップ（Ｓ１１）の処理の移行に相当する。
【０１４２】
一方、ステップＳ２１７において、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までに設定したｎポイント中、予め設定したポイント数以上で既定閾値以上の信頼度が得られ、「成功」と判定した場合は、ステップＳ２１８に進む。
【０１４３】
ステップＳ２１８では、キャリブレーション処理において取得した望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの各ズームレンズ設定位置で算出した変換パラメータを最新の変換パラメータとしてメモリ１３５に記録する処理を実行する。前の記録情報がある場合は、その情報に対して上書きを行い、データ更新を行う。
この記録処理においてメモリに格納されるデータは、図６を参照して説明したデータである。
各ズーム位置に対応するデータとして変換パラメータとその信頼度が併せて記録される。
これらの処理によってキャリブレーション処理が完了する。
【０１４４】
この結果、メモリ１３５に格納されたズーム位置対応の変換パラメータが、ユーザの撮影画像の変換処理に際して利用される。
この処理によって、上下方向のズレが補正された高品質なＬＲ画像からなる３Ｄ画像の記録、出力が実現される。
【０１４５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１４６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４８】
以上、説明したように、本発明の一実施例によれば、例えば３次元画像としての左眼用画像と右眼用画像等、異なる視点からの画像を複数の撮像部で撮影し、画像解析部においてこれらの撮影画像に対するブロックマッチング処理等の画像解析を行って特徴点検出を実行する。さらに、制御部が画像解析部の生成した特徴点情報を入力して、複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する。この変換パラメータの算出処理に際して、制御部は、撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、信頼度を表示部にインジケータとして表示する。さらに望遠端での信頼度が予め既定した閾値以上である場合にズームレンズを広角側に順次移動させながら複数ポイントで変換パラメータを算出するキャリブレーションを開始する。
【０１４９】
本構成により、信頼度の高い変換パラメータの算出に必要な特徴点が、望遠側から広角側まで確実に検出される可能性が高くなり、効率的で確実な変換パラメータ産出が実現される。
【符号の説明】
【０１５０】
１００ 撮像装置
１１１ 第１レンズ
１１２ 第１画像変換部
１２１ 第２レンズ
１２２ 第２画像変換部
１３１ 画像解析部
１３２ 制御部
１３３ 表示部
１３５ メモリ
２１１ インジケータ
２２１ ブロック
【技術分野】
【０００１】
本発明は、撮像装置、および撮像装置制御方法、並びにプログラムに関する。さらに詳細には、例えば３次元画像（３Ｄ画像）を撮影する撮像装置（カメラ）における左眼用画像と右眼用画像の画像間のズレ、特に上下の画像ズレを検出して補正する処理を行う撮像装置、および撮像装置制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
昨今、３次元画像（３Ｄ画像）を表示可能としたテレビやＰＣなどの表示装置や、３次元画像（３Ｄ画像）を記録可能としたビデオカメラ、スチルカメラなどが開発され利用されている。３Ｄ画像の表示のためには異なる視点から２つの画像を撮影することが必要となる。すなわち左眼視点からの左眼用画像と右眼視点からの右眼用画像である。
【０００３】
異なる視点から撮影された２つの画像を表示する際に、左眼用画像は観察者の左眼にのみ観察させ、右眼用画像は観察者の右眼にのみ観察させる制御を行うことで、観察者は立体感を得ることができる。なお、３Ｄ画像の表示処理方式には、様々な方式がある。
【０００４】
例えば、表示装置に左眼用画像と右眼用画像を交互に表示し、観察者がシャッター式眼鏡を装着して、左眼用画像の表示期間と、右眼用画像の表示期間ごとにシャッター切り替えを行って、各画像を一方の眼でのみ観察させる方式がある。
また、例えばレンチキュラーレンズなどの特殊な加工を施した表示面を有する表示装置に左眼用画像と右眼用画像をスリット状に交互に表示して、左眼用画像を表示面のレンズを介して観察者の左眼のみに観察させ、右眼用画像を表示面のレンズを介して観察者の右眼のみに観察させる設定とし、裸眼で立体感を想起させることを可能とした方式など、様々な方式がある。
【０００５】
一方、３Ｄ画像を撮影するためには、左眼用画像と右眼用画像をそれぞれ撮影する２つの撮像部を適正な距離、離間させて水平に（左右に）配置する。この左右の画像間に生じる水平方向の画像ズレは視差と呼ばれる。
視差を奥行き情報として認識することにより、視覚者は立体的に画像を見ることができる。
【０００６】
ところが、左眼用画像と右眼用画像を撮影する２つの撮像部の位置に応じた画像のズレは、水平方向の視差方向以外の方向にも発生する場合がある。
例えば、２つの撮像部の光軸配置の上下方向へのズレ、または、２つの撮像部の光軸の上下方向への角度的なズレ、あるいは、撮像素子の光軸に対する位置ズレなど、様々なカメラ構成に起因する幾何学ズレとしての上下方向の画像ズレが発生する場合がある。
【０００７】
３Ｄ画像における左眼用画像と右眼用画像間の上下方向の画像ズレは、立体視の妨げになるばかりでなく、視聴者の眼の疲労の原因となるため、極力取り除く必要がある。
【０００８】
このような画像間の上下方向のズレを解消するため、２つの撮像部において撮影された２つの画像に対して、ブロックマッチング等で画像比較を行い、画像ズレを補正する変換パラメータ、例えばアフィンパラメータを計算して撮影画像の変換を行う手法がある。アフィン変換回路に適切な変換パラメータを入力して、撮影画像の変換（アフィン変換）を実行することにより２つの映像間の幾何学ズレを補正することができる。
【０００９】
例えば、特許文献１（特開２００９−２５８８６８（ソニー株式会社））は、ブロックマッチングによりアフィンパラメータを計算する方法を記載している。この文献では、１つのカメラで時間差のある映像同士を比較するものであるが、２つのカメラの同時刻の映像同士の比較に応用することも可能である。
【００１０】
また、特許文献２（特開２０１０−１２８８２０（富士フィルム株式会社））には、複数のカメラを使用した場合の幾何学変換パラメータの推定方法について記載がある。
【００１１】
しかし、例えば上記の特許文献に記載されているブロックマッチング等による画像比較を行って、画像ズレを検出する場合、比較対象とする画像内に十分な数の特徴点（対応点）が検出されることが必須となる。
ところが、例えば、撮影画像のほとんどが「空」である画像のような場合、２つの撮像部で撮影された左眼用画像と右眼用画像の画像領域のほとんどが輝度変化のない一様な輝度の画像となってしまう。
【００１２】
このような一様な輝度を持つ画像同士を比較した場合、比較対象のブロックが一意に定まりにくいため、有効な特徴点（対応点）の検出が困難となり、結果として、幾何学ズレの検出精度が悪くなる。検出精度の悪いまま補正を行うと、幾何学ズレを十分に取り除けないばかりか、逆にズレを大きくする危険もある。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−２５８８６８号公報
【特許文献２】特開２０１０−１２８８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、例えば上述の状況に鑑みてなされたものであり、複数の異なる視点からの撮影画像に発生する上下方向等の画像ズレを確実に検出し、上下方向のズレを解消するための画像変換用の高精度な変換パラメータを算出して補正を行うことを可能とした撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の第１の側面は、
異なる視点からの画像を撮影する複数の撮像部と、
前記複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析部と、
前記画像解析部の生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する制御部と、
前記制御部の算出した画像変換パラメータを適用して、前記複数の撮像部の撮影画像の変換処理を実行する画像変換部を有し、
前記制御部は、
前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置にある。
【００１６】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値以上であることを確認された場合に、ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出する算出するキャリブレーション処理を実行する。
【００１７】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合に、撮影画像の変更を促すメッセージ出力を実行する。
【００１８】
さらに、本発明の撮像装置の一実施態様において、前記複数の撮像部は、３次元画像表示に適用する左眼用画像と右眼用画像の撮影を実行し、前記制御部は、３次元画像表示に適用する左眼用画像と右眼用画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する。
【００１９】
さらに、本発明の撮像装置の一実施態様において、前記画像解析部は、前記複数の撮像部の撮影画像に対するブロックマッチング処理を実行し、該ブロックマッチング処理による特徴点検出を実行する。
【００２０】
さらに、本発明の撮像装置の一実施態様において、前記画像解析部は、前記複数の撮像部の撮影画像の画像解析による特徴点検出処理において、予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を生成して前記制御部に出力し、前記制御部は、予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を適用して前記信頼度の算出処理を行う。
【００２１】
さらに、本発明の撮像装置の一実施態様において、前記画像変換部はアフィン変換を実行する画像変換部であり、前記制御部はアフィン変換に適用する画像変換パラメータを算出する。
【００２２】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、ズームレンズ位置と、画像変換パラメータと、信頼度を対応付けたデータをメモリに格納する。
【００２３】
さらに、本発明の撮像装置の一実施態様において、前記制御部は、ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、複数のズーム位置において算出した複数の信頼度の値に基づいて、既定の処理成功条件を満たすか否かを判定し、成功と判定した場合は、算出した画像変換パラメータを有効パラメータとしてメモリに格納し、失敗と判定した場合は、処理の失敗を示すメッセージ出力を実行する。
【００２４】
さらに、本発明の第２の側面は、
撮像装置において実行する撮像装置制御方法であり、
画像解析部が、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析ステップと、
制御部が、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出するパラメータ算出ステップを有し、
前記制御部は、前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置制御方法にある。
【００２５】
さらに、本発明の第３の側面は、
撮像装置において撮像装置制御処理を実行させるプログラムであり、
画像解析部に、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行させる画像解析ステップと、
制御部に、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出させるパラメータ算出ステップを実行させ、
前記制御部における前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行わせるプログラムにある。
【００２６】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００２７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２８】
本発明の一実施例によれば、例えば３次元画像としての左眼用画像と右眼用画像等、異なる視点からの画像を複数の撮像部で撮影し、画像解析部においてこれらの撮影画像に対するブロックマッチング処理等の画像解析を行って特徴点検出を実行する。さらに、制御部が画像解析部の生成した特徴点情報を入力して、複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する。この変換パラメータの算出処理に際して、制御部は、撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、信頼度を表示部にインジケータとして表示する。さらに望遠端での信頼度が予め既定した閾値以上である場合にズームレンズを広角側に順次移動させながら複数ポイントで変換パラメータを算出するキャリブレーションを開始する。
【００２９】
本構成により、信頼度の高い変換パラメータの算出に必要な特徴点が、望遠側から広角側まで確実に検出される可能性が高くなり、効率的で確実な変換パラメータ産出が実現される。
【図面の簡単な説明】
【００３０】
【図１】撮像装置の構成例について説明する図である。
【図２】変換パラメータの算出シーケンスに対応した表示画面の遷移について説明する図である。
【図３】望遠端（Ｔｅｌｅ端）〜広角端（Ｗｉｄｅ端）の撮影画像からのにおける特徴点の検出処理について説明する図である。
【図４】特徴点に関する相関の指標値としてのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）について説明する図である。
【図５】ズーム位置と信頼度との対応関係について説明する図である。
【図６】メモリに格納するズーム位置対応の変換パラメータと信頼度のデータ例を示す図である。
【図７】撮像装置の実行するキャリブレーションの開始判定処理について説明するフローチャートを示す図を示す図である。
【図８】撮像装置の実行するキャリブレーション処理について説明するフローチャートを示す図を示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像装置の構成と処理例について
２．キャリブレーション処理のシーケンスについて
３．特徴点の検出処理と特徴点情報に基づく信頼度の算出処理について
４．撮像装置における処理シーケンスについて
４．１．キャリブレーション開始条件判定処理
４．２．ズーム位置に応じた変換パラメータの算出処理
【００３２】
［１．撮像装置の構成と処理例について］
まず、図１を参照して、撮像装置の構成と処理例について説明する。
撮像装置は、異なる視点からの画像、すなわち左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を撮影するカメラである。動画としての映像を撮影するカメラを例として説明する。
【００３３】
図１に示す撮像装置１００は、異なる視点からの画像を撮影するための２系統の画像撮影構成を有している。離間した位置に複数の撮像部として設定された第１レンズ１１１、第２レンズ１２１を介して２つの異なる視点からの画像、すなわち３次元（３Ｄ）画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を取得する。
【００３４】
第１レンズ１１１を介して入射した被写体光は、第１撮像素子１１２に入力される。一方、第２レンズ１２１を介して入射した被写体光は、第２撮像素子１２２に入力される。第１撮像素子１１２、第２撮像素子１２２は例えばＣＭＯＳ、ＣＣＤ等の光電変換素子であり、画素単位で入射光に応じた電気信号を生成し、これを画像信号として出力する。
【００３５】
第１撮像素子１１２の出力する画像信号は第１画像変換部１１３に入力される。
第２撮像素子１２２の出力する画像信号は第２画像変換部１２３に入力される。
第１画像変換部１１３と第２画像変換部１２３は、例えばアフィン変換による画像変換処理を実行する。
アフィン変換は、画像の平行移動、回転、拡大縮小等、各種の画像変形処理を実現する画像変換処理である。所定の変換パラメータを設定してアフィン変換を行うことで、様々な画像変換が実行できる。
【００３６】
第１画像変換部１１３と第２画像変換部１２３において実行する画像変換は、第１レンズ１１１と、第２レンズ１２１を介して撮影される２つの異なる視点からの画像における上下方向のズレを解消することを目的の１つとした画像変換処理である。
【００３７】
先に背景技術の欄で説明したように、左右の画像間に生じる水平方向の画像ズレは視差であり、この左右のズレは奥行き認識、すなわち立体感の把握のために必要なズレである。しかし、上下方向のズレは、立体視の妨げになるばかりでなく、視聴者の眼の疲労の原因となるため、極力取り除く必要がある。
このズレは、例えば、２つの撮像部の光軸配置の上下方向へのズレ、または、２つの撮像部の光軸の上下方向への角度的なズレ、あるいは、撮像素子の光軸に対する位置ズレなど、多数の要因に基づいて発生する。
【００３８】
第１画像変換部１１３と第２画像変換部１２３では、この上下方向の画像ズレを解消する画像変換処理を実行する。画像変換処理として実行するアフィン変換処理に適用する変換パラメータ１２，２２は、図に示すように制御部１３２から提供される。
【００３９】
変換パラメータは、ユーザが撮影したい画像の撮影前の事前調整処理、すなわちカメラキャリブレーションにおいて事前に算出し、メモリ１３５に格納する。
なお、２つの画像（Ｌ画像とＲ画像）の上下方向のズレを解消するための変換パラメータの値は、ズームレンズの位置（ズーム位置）に応じて異なる値となる。従って、キャリブレーション処理の実行時には、複数のズーム位置に応じた変換パラメータを算出し、各ズーム位置に対応する変換パラメータをメモリ１３５に格納する。
【００４０】
複数のズーム位置に対応する変換パラメータの算出処理を含むキャリブレーション処理の完了後に、ユーザによる実際の画像撮影が行われる。
この画像撮影に際して制御部１３２は、画像撮影時のズーム位置に応じた変換パラメータをメモリ１３５から取得して第１画像変換部１１３と、第２画像変換部１２３に提供して画像変換を実行する。この画像変換によって画像の上下方向のズレが解消された高品質な３Ｄ画像としてのＬＲ画像が出力されることになる。
【００４１】
制御部１３２における変換パラメータ１２，２３の算出処理に適用する情報は、画像解析部１３１から入力される特徴点情報３１である。
画像解析部１３１は、第１レンズ１１１、第２レンズ１２１を介して撮影された２つの画像（Ｌ画像とＲ画像）の特徴点（対応点）を例えばブロックマッチング処理によって検出する。
【００４２】
画像解析部１３１は、２つの画像（Ｌ画像とＲ画像）から、予め設定したブロック単位で相関判定を行い、相関の高いブロックを対応特徴点、すなわち同じ被写体領域を撮影したブロックであると判定するブロックマッチング処理を行う。
制御部１３２は、この２つの画像（Ｌ画像とＲ画像）間のズレを特徴点（対応点）から判断して、上下方向のズレを解消するためのアフィン変換処理に適用するパラメータ（変換パラメータ）を算出する。
【００４３】
しかし、２つの画像（Ｌ画像とＲ画像）の上下方向のズレを解消するための正確な画像変換パラメータを算出するためには、２つの画像（Ｌ画像とＲ画像）から、充分な数の精度の高い特徴点（対応点）が検出されていることが必要である。
【００４４】
２つの画像（Ｌ画像とＲ画像）から検出した特徴点（対応点）の数が極端に少ない場合や、検出した特徴点の分布に偏りがある場合などには、上下方向のズレを解消するための正確なパラメータの算出が困難となる。
このような状態で算出した変換パラメータは信頼度の低い変換パラメータとなり、このような信頼度の低い変換パラメータを適用して画像変換を実行してしまうとズレの修正どころか、誤った画像の変形処理を行ってしまう可能性がある。
【００４５】
そこで、制御部１３２は、画像解析部１３１から取得する特徴点情報（数と分布）に基づいて、算出可能な変換パラメータの信頼度を算出する。この信頼度が予め設定した閾値以上の信頼度である場合にのみ、有効なパラメータとしてメモリ１３５に格納して、実際の画像変換に利用する処理を行う。
【００４６】
また、制御部１３２は、算出した信頼度情報を表示部１３３にインジケータとして表示する。このインジケータ表示処理によって、信頼度の高い正確な変換パラメータを算出可能な所定条件を満たす特徴点の数と分布を持つ画像が撮影されているか否かを撮影者に通知することができる。
【００４７】
例えば表示部１３３に表示されるインジケータ上の信頼度の値が低い場合、撮影者は、現在の画像がパラメータ算出に適していないと判断することができ、カメラの角度の変更などを行いパラメータ算出に適した被写体が撮影されるようにカメラ設定を変更することができる。
【００４８】
このように、画像解析部１３１は２つの画像（Ｌ画像とＲ画像）のブロックマッチング処理によって、所定条件を満たす特徴点（対応点）の数と分布情報を含む特徴点情報３１を生成して、制御部１３２に出力する。なお、所定条件を満たす特徴点数や分布情報を含む特徴点情報３１の具体例については後述する。
【００４９】
本実施例の撮像装置１００では、ズーム位置に応じた変換パラメータの算出処理を行う事前調整処理（カメラキャリブレーション処理）において、まず、第１レンズ１１１、第２レンズ１２１に設定されたズームレンズを望遠端（Ｔｅｌｅ端）に設定する。
【００５０】
すなわち、望遠端（Ｔｅｌｅ端）を初期位置とする。この初期位置をキャリブレーション開始位置として、第１レンズ１１１と第２レンズ１２１を介して撮影された画像を、図１に示す第１映像出力１１、第２映像出力２１として、画像解析部１３１に入力する。
画像解析部１３１は、まず、初期位置である望遠端（Ｔｅｌｅ端）で撮影された２画像（Ｌ画像とＲ画像）に基づいてブロックマッチング処理による特徴点情報の生成を実行する。
【００５１】
望遠端（Ｔｅｌｅ端）において撮影された画像に基づいて画像解析部１３１が検出した特徴点情報３１が制御部１３２に提供される。
制御部１３２は、この特徴点情報に基づいて変換パラメータの信頼度を算出する。この初期位置［望遠端（Ｔｅｌｅ端）］における信頼度が予め設定した閾値以上である場合に事前調整処理（カメラキャリブレーション処理）を開始する。
【００５２】
事前調整処理（カメラキャリブレーション処理）においては、ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させながら、ズーム位置（ズームレンズの各設定位置）に応じた変換パラメータを算出する。
【００５３】
制御部１３２は、図１に示すズーム位置指示値１３，２３を出力して、第１レンズ１１１、第２レンズ１２１に設定されたズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させる。
【００５４】
画像解析部１３１は、予め設定したズーム位置間隔で、第１レンズ１１１、第２レンズ１２１各レンズかを介して撮影される画像に対してブロックマッチング処理を実行して特徴点情報を生成して制御部１３２に入力する。
制御部１３２は各ズーム位置における変換パラメータの算出と信頼度情報の算出を実行する。
【００５５】
制御部１３２は、この事前調整処理（カメラキャリブレーション処理）によって算出したズーム位置に応じた変換パラメータをメモリ１３５に格納する。ただし信頼度が低い場合などにはキャリブレーションのやり直し等を行うことになる。
【００５６】
各ズーム位置において信頼度の高い変換パラメータの算出に成功した場合、これらの値はメモリ１３５に格納される。
その後、ユーザによる実際の画像撮影時に、制御部１３２は、ズーム位置に応じた変換パラメータをメモリ１３５から取得して第１画像変換部１１３と、第２画像変換部１２３に提供する。
このような処理によって、各ズーム位置に応じた信頼度の高いパラメータを適用した画像変換処理が実行され、２つの画像（Ｌ画像とＲ画像）間の上下方向のズレが解消された画像が生成されることになる。
【００５７】
第１画像変換部１１３と、第２画像変換部１２３の生成した変換画像は、図１に示すように第１映像出力１１、第２映像出力２１として表示部１３２に出力され表示される。
なお、先に説明したようにキャリブレーション実行中は、これらの出力画像（第１映像出力１１、第２映像出力２１）は、画像解析部１３１にも入力されブロックマッチング処理による特徴点情報の生成が行われる。
【００５８】
［２．キャリブレーション処理のシーケンスについて］
次に、図２を参照してキャリブレーション処理のシーケンスについて説明する。
上述したように、本実施例の撮像装置においては、事前調整処理（キャリブレーション処理）において、２つの撮像系を介して撮影される２つの画像（Ｌ画像とＲ画像）に基づいて上下方向の画像ズレを補正するための画像変換パラメータを算出する。
この処理に際して、ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させながら、複数のズーム位置（ズームレンズの各設定位置）に対応する複数の変換パラメータを算出する。
また、特徴点情報に基づく変換パラメータの信頼度を算出して表示部１３３にインジケータとして表示する処理を行う。
【００５９】
図２は、表示部１３３の表示例に従ってキャリブレーション処理のシーケンスを説明する図である。
左上のステップ（Ｓ０１）の表示画像は、例えばカメラのスイッチをＯＮにした時点で、自動起動する画面の例である。現在、レンズを介して撮影されている画像（スルー画）の上に、自動調整についての説明画面が表示される。自動調整とは、ズーム位置に応じた変換パラメータの算出とメモリ格納処理（更新処理）を意味する。
【００６０】
カメラにおけるレンズの固定位置や角度等は、例えば使用環境（温度、湿度、振動、衝撃、姿勢差、経年変化など）に応じて微妙に変化する。従って、２つの撮像系を介して撮影される２つの画像（Ｌ画像とＲ画像）に発生する上下方向のズレ量も変化する。例えば季節変動などによって変化する場合がある。
【００６１】
メモリ１３５には、前に実行したキャリブレーションに際して算出したパラメータが格納されているが、新たな撮影の開始時点で、撮影環境に応じた最適なパラメータを算出してメモリの格納パラメータを更新し、更新パラメータを新たな撮影画像の変換パラメータとして利用することが望ましい。
【００６２】
従って、カメラの起動時には、図２のステップ（Ｓ０１）のように、ユーザに対して新たな変換パラメータの算出処理としての自動調整（＝キャリブレーション）の実行を薦める案内画面が提示される。
この画面において、自動調整を［しない］を選択した場合は、通常の撮影モードに移行する。
自動調整を［する］を選択した場合は、図に示すステップ（Ｓ１１）の画面「（１）ユーザ被写体選択画面」に遷移する。
【００６３】
なお、図２に示す画面は、図１の表示部１３３に表示される画面の一例である。表示部１３３はタッチパネル型の入力部（ユーザＩＦ）としても機能し、ユーザは画面を触れて［する］、［しない］を選択する。なお、カメラに備えられた他の入力部を介して入力を行ってもよい。
【００６４】
図に示すステップ（Ｓ１１）の画面は、「（１）ユーザ被写体選択画面」である。
表示部には、現在カメラが撮影している画面が表示される。なお、自動調整を［する］をユーザが選択したことを制御部が検出すると、制御部１３２は第１レンズ１１１、第２レンズ１２１のズームレンズ位置を望遠端（Ｔｅｌｅ端）に移動させる。キャリブレーションは、望遠端（Ｔｅｌｅ端）を初期位置として開始される。
【００６５】
まず、この望遠端（Ｔｅｌｅ端）で撮影される２つの画像（ＬＲ画像）が画像解析部１３１に入力される。画像解析部１３１は、入力画像に基づくブロックマッチング処理を実行し、所定条件を満たす特徴点の数と特徴点分布を含む特徴点情報３１を生成して制御部１３２に出力する。
【００６６】
制御部１３２は、この特徴点情報３１に基づいて信頼度、すなわち特徴点に基づいて算出可能な変換パラメータの信頼度を算出する。算出した信頼度情報３２が表示部１３３に出力されインジケータ２１１として表示される。図２のステップ（Ｓ１１）の画像内に示されるインジケータ２１１である。
【００６７】
インジケータ２１１には、制御部１３２が算出した信頼度と、予め設定された閾値が表示される。
制御部１３２は、信頼度が閾値未満である場合、キャリブレーション処理を開始しない。制御部１３２は、ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合、例えば撮影画像の変更を促すメッセージを表示部１３３に出力する。
【００６８】
図２のステップ（Ｓ１１）の画面において、インジケータの信頼度が閾値以上の設定となり、ユーザによって［ＯＫ］が操作されると、「（２）キャリブレーション実行画面」に遷移する。［キャンセル］を選択した場合は、通常の撮影モードに移行する。
【００６９】
図２のステップ（Ｓ１１）の画面において、インジケータの信頼度が閾値以上の設定となり、ユーザによって［ＯＫ］が操作され、「（２）キャリブレーション実行画面」に遷移すると、キャリブレーション処理が実行される。
先に説明したように、制御部１３２は、ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させながら、ズーム位置（ズームレンズの各設定位置）に応じた変換パラメータを算出する。
【００７０】
この変換パラメータの算出実行中の画面例を示したのが、図２に示すステップ（Ｓ２１）の画面である。
ステップ（Ｓ２１）に示す画面内の水平方向のインジケータは、キャリブレーション処理の実行状態（ｘ％完了）を示している。
【００７１】
なお、制御部１３２は、このズーム位置に応じた変換パラメータの算出時に、算出した変換パラメータの信頼度も逐次、算出する。すなわち、
（ａ）ズーム位置、
（ｂ）変換パラメータ、
（ｃ）信頼度
これらの各データを対応データとして取得する処理を行う。
【００７２】
ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側に少しずつ移動させながら、予め規定したズーム位置（ズームレンズの各設定位置）ごとに変換パラメータと信頼度を算出する。なお、表示部１３３には、パラメータ算出に適用している画像が順次表示される。すなわち、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）側への移動に従った画像が表示されることになる。
【００７３】
望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの計測ポイント中、例えば７０％以上の計測ポイントにおいて信頼度が閾値以上であれば、キャリブレーションは成功したと判断し、処理を完了する。この時の画面例が図２のステップ（Ｓ２２）の画面である。この処理完了時に画面に表示される画面は、広角端（Ｗｉｄｅ端）の画面である。
【００７４】
一方、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの計測ポイント中、例えば７０％以上の計測ポイントにおいて、信頼度が閾値以上でないと判定した場合は、キャリブレーションは失敗したと判断し、図２のステップ（Ｓ２３）に示すように「キャリブレーションの失敗」をユーザに通知する処理を行う。
なお、上記の例では成功判定の閾値として７０％という値を示しているが、この例は一例であり、その他の閾値や判断基準を用いてもよい。
【００７５】
なお、キャリブレーション処理に成功した場合でも、算出した変換パラメータの中には、信頼度の低いパラメータが含まれる場合がある。
このような信頼度の低いパラメータを含む場合、キャリブレーション処理完了後の実際の画像撮影処理においては、その信頼度の低いパラメータを適用しない設定とすることが好ましい。制御部１３２は、このような場合、前後のズーム位置にある信頼度の高いパラメータを用いて、処理対象のズーム位置の変換パラメータを算出する。この補間処理によって算出したパラメータを適用して変換処理を行う。
【００７６】
［３．特徴点の検出処理と特徴点情報に基づく信頼度の算出処理について］
次に、特徴点の検出処理と特徴点情報に基づく信頼度の算出処理について説明する。
本発明の撮像装置では、上述したように、ズーム位置に応じた画像の上下方向のズレを補正するための変換パラメータの算出処理を行う場合、まず、レンズを望遠端（Ｔｅｌｅ端）に設定し、その後、広角端（Ｗｉｄｅ端）側に順次、移動して、複数のズーム位置で変換パラメータを算出する。
【００７７】
このように、望遠端（Ｔｅｌｅ端）を初期位置として、その後、順次、広角端（Ｗｉｄｅ端）側に移動させて変換パラメータを算出する理由について説明する。
先に説明したように、変換パラメータの算出には、２つの画像間の対応ブロックとしての特徴点を検出することが必要となる。
【００７８】
この特徴点（対応点）は、多くの場合、望遠端（Ｔｅｌｅ端）で撮影した画像より、広角端（Ｗｉｄｅ端）で撮影した画像の方が多く検出できる。
具体例について図３を参照して説明する。
【００７９】
図３には、
（１）望遠端（Ｔｅｌｅ端）で撮影した画像
（２）望遠端〜広角端の中間位置で撮影した画像
（３）広角端（Ｗｉｄｅ端）で撮影した画像
これらの３つの画像例を示している。
【００８０】
（１）望遠端（Ｔｅｌｅ端）で撮影した画像は、（３）広角端（Ｗｉｄｅ端）で撮影した画像に比較して、画像中に含まれるオブジェクトの数は少なくなる。
ブロックマッチング処理は、複数の画素からなる矩形ブロックを設定して、例えば画面上の上左端から右下端までブロック単位で２つの画像（Ｌ画像とＲ画像）を比較して相関の高いブロックの組み合わせを検出して、これらのブロックの組を同じ被写体領域の撮影ブロック、すなわち特徴点（対応点）であると判断する処理である。
【００８１】
一方の画像（例えばＬ画像）を基準画像として、基準画像に設定したブロックに対して、他方の参照画像（Ｒ画像）に所定の参照領域（サーチ範囲）を設定して参照領域（サーチ範囲）内で類似するブロックを検出する。
なお、参照領域（サーチ範囲）は、レンズ配置や撮影時要件等に基づいて、同じ被写体領域が撮り込まれると予測される範囲を含むように設定される。
【００８２】
このような特徴点検出を行う場合、ブロック内の画素分布、例えば輝度分布の相関判定が行われる。したがって、特異なパターンを持つ画像領域が多く含まれる画像ほど、特徴点の検出を容易に行うことができる。
例えば、図３（１）に示すブロック２２１のような特異な画素パターンを持つブロックが特徴点として検出しやすいブロックとなる。
【００８３】
このような特異な画素パターンを持つブロックは、図３に示す３つの画像から理解されるように、
（１）望遠端（Ｔｅｌｅ端）で撮影した画像より、（３）広角端（Ｗｉｄｅ端）で撮影した画像の方が多く含まれる。
【００８４】
これは、多くの場合、望遠端（Ｔｅｌｅ端）で撮影した画像より、広角端（Ｗｉｄｅ端）で撮影した画像の方が画像内に含まれる被写体オブジェクトの数が多くなり、一般的に、特徴点（対応点）として利用可能なブロックが増加するという傾向に基づくものである。
【００８５】
このような理由から、本実施例の撮像装置では、変換パラメータの算出を実行するキャリブレーション処理において、初期位置を望遠端（Ｔｅｌｅ端）に設定し、望遠端（Ｔｅｌｅ端）において特徴点情報に基づく信頼度を算出する。望遠端における信頼度が予め設定した閾値以上であることを確認した後、キャリブレーション処理を開始して、その後、ズームレンズを広角端（Ｗｉｄｅ端）側に順次、移動して、複数のズーム位置で変換パラメータを算出する。
【００８６】
次に、制御部１３２が実行する信頼度情報の算出処理について説明する。
制御部１３２は、画像解析部１３１が２つの画像（ＬＲ画像）に基づいて生成する特徴点情報３１を入力して、特徴点に基づいて算出可能な変換パラメータの信頼度を算出する。特徴点情報３１には、所定条件を満たす特徴点の数と分布情報が含まれる。
【００８７】
このように、信頼度の算出には、
画像解析部１３１が２つの画像（ＬＲ画像）に基づいて生成する特徴点情報が利用される。
制御部１３２は、画像解析部１３１から入力する２つの画像（ＬＲ画像）に基づいて生成する特徴点情報を利用して、例えば、以下の式（式１）に従って信頼度（Ｖｒ：Ｖａｌｉｄ ｒａｔｉｏ）を算出する。
【００８８】
信頼度（Ｖｒ）＝［（（Ｉｎｉｔ＿ｎｕｍ）−（ａ＿ｎｕｍ）−（ｂ＿ｎｕｍ）−（ｃ＿ｎｕｍ））／（Ｉｎｉｔ＿ｎｕｍ）］×２５５×ｋ
・・・（式１）
【００８９】
ただし、上記（式１）において、各パラメータは以下の値を示している。
Ｉｎｉｔ＿ｎｕｍ：ブロックマッチングの実行ブロック数（基準画像に設定したブロックマッチングを実行するブロック数）
ａ＿ｎｕｍ：ブロックマッチングの実行ブロックに含まれる輝度変化が小さいブロックのブロック数（ブロック内の最大輝度画素と最小輝度画素の画素値差分が既定閾値未満のブロック数（一様な輝度を持つブロック数））
ｂ＿ｎｕｍ：ブロックマッチングにおいて対応ブロックとして選択した基準画像の基準ブロックと参照画像の参照ブロックとのＳＡＤが既定閾値以上のブロック数（相関の小さい対応ブロックの数）
ｃ＿ｎｕｍ：参照領域（サーチ範囲）において検出した参照ブロック中、ＳＡＤの最小値を持つ参照ブロックと、２番目に小さいＳＡＤ値を持つ参照ブロックとのＳＡＤ値の差分が既定閾値未満のブロック数（参照領域内に類似するブロックがある）
ｋ：対応ブロック（特徴点）の分布に応じた係数（画面全体に広がりがあうる場合を１、広がりが少ない場合を０として１〜０の設定とする）
【００９０】
なお、乗算値としての（２５５）は、信頼度（Ｖｒ）の値を０〜２５５の範囲に設定する正規化処理のために乗算する正規化係数である。
【００９１】
ＳＡＤとは、基準画像に設定した基準ブロックと、参照画像に設定した参照ブロックのブロック間の相関を示す指標値であり、ブロック間の対応画素同士の輝度の差分の総和である差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）である。
ＳＡＤが小さいほど、相関が高いブロック、すなわち類似するブロックであり、
ＳＡＤが大きいほど、相関が低いブロック、すなわち類似しないブロックてある。
【００９２】
図４は、基準画像に設定した１つの基準ブロックに対応する参照画像内に設定される複数の参照ブロックのＳＡＤの値を示したグラフの例を示す図である。
ブロックマッチングでは、基準画像に設定した１つの基準ブロックに対して、参照画像に所定範囲の参照領域を設定し、その参照領域に含まれる複数ーの参照ブロックから相関の高いブロックを検出する処理が行われる。
相関の高いブロックとはＳＡＤの値が低いブロックである。
【００９３】
図４に示す例では、最も相関の高いブロックは参照ブロックａである。すなわち、参照ブロックａがＳＡＤの最小値を持つブロックである。
図に示す例では、このブロックａの付近に第２極小値を持つブロックｂが存在する。
【００９４】
先の（式１）で説明した［ｃ＿ｎｕｍ］、すなわち、
ｃ＿ｎｕｍ：参照領域（サーチ範囲）において検出した参照ブロック中、ＳＡＤの最小値を持つ参照ブロックと、２番目に小さいＳＡＤ値を持つ参照ブロックとのＳＡＤ値の［差分］が既定閾値未満のブロック数（参照領域内に類似するブロックがある）
上記説明に示す［差分］しとは、図４に示す差分に対応する。すなわち、
差分＝｜最小値（第１極小値）−第２極小値｜
である。
【００９５】
制御部１３２は、画像解析部１３１から入力する２つの画像（ＬＲ画像）に基づいて生成する特徴点情報（特徴点の数と分布）を利用して、例えば上記式（式１）に従って信頼度（Ｖｒ：Ｖａｌｉｄ ｒａｔｉｏ）を算出する。
この信頼度（Ｖｒ）は、画像から検出した特徴点に基づいて算出可能な変換パラメータの信頼度を意味する。
【００９６】
この信頼度は、一般的に、多くの様々なバリエーションの被写体領域が含まれる広角端（Ｗｉｄｅ端）の撮影画像の方が高く、多くの被写体領域が含まれない望遠端（Ｔｅｌｅ端）の撮影画像の方が低くなる傾向にある。
図５は、あるサンプル画像において、上記（式１）に従って算出した信頼度（Ｖｒ）とズーム位置との対応関係を示したグラフである。
全ての画像において、このようなデータが生成されるとは限らないが、多くの場合、図５に示すように、信頼度は、広角端（Ｗｉｄｅ端）の画像の方が高く、望遠端（Ｔｅｌｅ端）の撮影画像の方が低くなる傾向にある。
【００９７】
このような理由から、本発明の撮像装置では、まず、望遠端（Ｔｅｌｅ端）において信頼度を算出し、その信頼度が既定の閾値以上であることが確認された場合に、変換パラメータの算出処理としての事前調整処理（キャリブレーション処理）を開始する。その後、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）にズーム位置を移動させながら特徴点検出とバラメータ算出を行うことで、各ズーム位置において信頼度の低い変換パラメータが算出される可能性を低減している。
【００９８】
この変換パラメータの算出処理としての事前調整処理（キャリブレーション処理）は、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）のズーム範囲に設定した複数のズーム位置毎に変換パラメータを算出する処理として実行される。なお、変換パラメータの算出に平行して信頼度の算出も実行する。望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）でのキャリブレーション処理が成功すると、制御部１３２は、各ズーム位置対応の変換パラメータと信頼度をメモリ１３５に格納する。
【００９９】
メモリ１３５に格納するデータの一例を図６に示す。
図６に示すように、制御部１３２はメモリ１３５に、
ズーム位置と、変換パラメータと、信頼度、
これらの対応データを格納する。
図６に示す値は以下のデータである。
Ｚｐ：ズーム位置（０：広角端、８：望遠端）
Ｐｖ：変換パラメータ（上下方向のズレ補正用の変換パラメータ（表ではすべて正の値であるが、負の値をとることもある））
Ｖｒ：信頼度（２５５で正規化したインジケータ値）
【０１００】
なお、図６において、変換パラメータは上下方向のズレ補正に適用するパラメータのみを示している。
なお、アフィン変換に適用するその他のパラメータ、例えば、画像の回転や拡大縮小、その他の方向の移動処理等に関するパラメータについての算出、およびメモリ１３への格納処理を行う構成としてもよい。図６には本発明に関する上下方向の画像ズレの補正に関するパラメータのみを示している。
【０１０１】
図６に示す変換パラメータと信頼度は、画像解析部１３１から入力する各ズーム位置対応の画像に基づいて生成した特徴点情報に基づいて制御部１３２が算出した変換パラメータと信頼度である。
【０１０２】
図６に示す例は、広角端（Ｗｉｄｅ端）を０として、望遠端（Ｔｅｌｅ端）を８とした０〜８の合計９ポイントのズーム位置において、変換パラメータと信頼度を算出した例を示している。信頼度は、前述したように、広角端（Ｔｅｌｅ端）が高く、望遠端（Ｗｉｄｅ端）が低くなる傾向にある。
【０１０３】
なお、実際の画像撮影時には、このメモリに格納された変換パラメータの値が画像変換部１１３、１２３に提供され画像変換処理が実行される。制御部１３２は、画像撮影痔のズームレンズの位置情報を取得して、取得したズームレンズ位置に対応する変換パラメータをメモリ１３５から取得して画像変換部１１３、１２３に提供する。
【０１０４】
なお、前述したように、例えば予め既定した閾値以下の信頼度の値が低いズーム位置対応の変換パラメータがある場合には、その変換パラメータを利用せず、前後のズーム位置の変換パラメータの適用、あるいは、前後のズーム位置の変換パラメータに基づく補間値を算出して算出したパラメータを利用する構成としてもよい。
【０１０５】
［４．撮像装置における処理シーケンスについて］
次に、撮像装置において実行するショリシーケンスについて、図７、図８に示すフローチャートを参照して説明する。
なお、図７、図８に示すフローは、例えばメモリ１３５に格納されたプログラムに従って制御部１３２の制御によって実行されるフローである。
【０１０６】
図７に示すフローチャートは、変換パラメータ算出処理として実行する事前調整処理（キャリブレーション処理）の初期設定処理である。先に説明したように、撮像装置において実行する事前調整処理（キャリブレーション処理）では、まず、ズームレンズを望遠端（Ｔｅｌｅ端）に設定して、望遠端（Ｔｅｌｅ端）での撮影画像に基づく画像解析、すなわち特徴点（対応点）検出を実行して、検出情報に基づいて信頼度を算出する。検出特徴点に基づいて算出される変換パラメータの信頼度である。
【０１０７】
この望遠端（Ｔｅｌｅ端）での撮影画像に基づく信頼度が予め既定した閾値以上である場合にのみズーム位置に応じた変換パラメータの算出処理としてのキャリブレーションを開始する。望遠端（Ｔｅｌｅ端）での撮影画像に基づく信頼度が予め既定した閾値以上でない場合は、キャリブレーションは開始しない。
図７に示すフローは、このキャリブレーションを開始するか中止するかを決定する処理のシーケンスを示すフローである。
【０１０８】
初期位置である望遠端（Ｔｅｌｅ端）での撮影画像に基づく信頼度が予め既定した閾値以上であると判定され、キャリブレーション開始条件が満たされた場合に、ズーム位置に応じた変換パラメータの算出処理としてのキャリブレーションを実行する。この処理の詳細シーケンスを示すのが図８に示すフローチャートである。
以下、これらの各処理について、順次、説明する。
【０１０９】
（４．１．キャリブレーション開始条件判定処理）
まず、図７を参照してキャリブレーション開始条件判定処理の詳細シーケンスについて説明する。
まず、ステップＳ１０１において、ズームレンズを望遠端（Ｔｅｌｅ端）に移動する。図１に示す制御部１３２は、第１レンズ１１１、第２レンズ１２１の双方に対してズーム位置し指示値１３，２３を出力してズームレンズを望遠端（Ｔｅｌｅ端）に移動する。
【０１１０】
次に、画像変換パラメータを初期化する。これは、初期値として利用する画像変換パラメータの設定であり、予め既定したテフォルト値を利用してもよいし、あるいは最新の更新データ等をメモリ１３５から取得して利用してもよい。制御部１３２は、この変換パラメータの初期値を第１画像変換部１１３、第２画像変換部１２３に提供する。
【０１１１】
次に、ステップＳ１０３において、望遠端（Ｔｅｌｅ端）に移動した状態で、第１レンズ１１１と、第２レンズ１２１の双方において画像を撮影する。撮影画像は、第１画像変換部１１３、第２画像変換部１２３において初期設定の変換パラメータを適用して変換処理が実行され、画像解析部１３１に入力される。画像解析部１３１ではこれらの入力画像に基づくブロックマッチング処理を開始する。
【０１１２】
ステップＳ１０４、ステップＳ１０５は、画像解析部１３１におけるブロックマッチング処理に基づいて画像解析部１３１が実行する特徴点情報の生成処理である。
ステップＳ１０４は、所定条件を満たす特徴点の数の取得処理である。
ステップＳ１０５は、特徴点の分布情報の取得処理である。
【０１１３】
ステップＳ１０４において実行する特徴点の数の取得処理は、先に（式１）を算出して説明した各種の条件を満たす特徴点数の取得処理である。すなわち、以下の各特徴点数（ブロック数）の取得処理が実行される。
Ｉｎｉｔ＿ｎｕｍ：ブロックマッチングの実行ブロック数（基準画像に設定したブロックマッチングを実行するブロック数）
ａ＿ｎｕｍ：ブロックマッチングの実行ブロックに含まれる輝度変化が小さいブロックのブロック数（ブロック内の最大輝度画素と最小輝度画素の画素値差分が既定閾値未満のブロック数（一様な輝度を持つブロック数））
ｂ＿ｎｕｍ：ブロックマッチングにおいて対応ブロックとして選択した基準画像の基準ブロックと参照画像の参照ブロックとのＳＡＤが既定閾値以上のブロック数（相関の小さい対応ブロックの数）
ｃ＿ｎｕｍ：参照領域（サーチ範囲）において検出した参照ブロック中、ＳＡＤの最小値を持つ参照ブロックと、２番目に小さいＳＡＤ値を持つ参照ブロックとのＳＡＤ値の差分が既定閾値未満のブロック数（参照領域内に類似するブロックがある）
【０１１４】
ステップＳ１０４では、これら
（Ｉｎｉｔ＿ｎｕｍ），
（ａ＿ｎｕｍ），
（ｂ＿ｎｕｍ），
（ｃ＿ｎｕｍ）
これらの各条件に対応する特徴点の数（ブロック数）を取得する。
【０１１５】
また、ステップＳ１０５で実行する特徴点の分布情報の取得処理においては、先に説明した（式１）の係数：ｋ、すなわち以下のｋの値を取得する処理を行う。
ｋ：対応ブロック（特徴点）の分布に応じた係数（画面全体に広がりがあうる場合を１、広がりが少ない場合を０として１〜０の設定とする）
画像解析部１３１は、予め既定したアルゴリズムに従って、画面における特徴点の広がりを判定し、特徴点分布情報：ｋを算出する。
【０１１６】
次のステップＳ１０６の信頼度算出と表示処理は、画像解析部１３１が生成した上述の特徴点数と特徴点分布情報からなる特徴点情報を入力した制御部１３２において実行する処理である。
制御部１３２は、上述の特徴点数と特徴点分布情報からなる特徴点情報を画像解析部１３１から入力し、先に説明した（式１）に従って信頼度を算出し、算出した信頼度を表示部１３３にインジケータとして表示する。
【０１１７】
すなわち、以下の（式１）に従って信頼度を算出する。
信頼度（Ｖｒ）＝［（（Ｉｎｉｔ＿ｎｕｍ）−（ａ＿ｎｕｍ）−（ｂ＿ｎｕｍ）−（ｃ＿ｎｕｍ））／（Ｉｎｉｔ＿ｎｕｍ）］×２５５×ｋ
・・・（式１）
【０１１８】
なお、ここで算出する信頼度は、第１レンズ１１１と、第２レンズ１２１の双方のズームレンズを望遠端（Ｔｅｌｅ端）に移動した状態で撮影した画像に基づいて算出された信頼度である。
【０１１９】
算出した信頼度は表示部１３３に表示される。
先に説明した図２のステップＳ１１の画面に対応する表示画像が表示される。
図２のステップＳ１１の処理として説明したように、表示部１３３には望遠端（Ｔｅｌｅ端）での撮影画像にオーバーラップして信頼度を示すインジケータの表示がなされる。インジケータ上には、予め設定した閾値と、算出した信頼度が表示され、ユーザは、信頼度が閾値以上であるか否かを確認できる。
【０１２０】
制御部１３２は、ステップＳ１０７において、望遠端（Ｔｅｌｅ端）での撮影画像に基づいて算出した信頼度が既定の閾値以上であるか否かを判定し、閾値以上（ステップＳ１０７の判定＝Ｙｅｓ）であれば、自動調整開始状態、すなわち、ズームレンズを移動させながらの変換パラメータの算出処理を行うキャリブレーション処理に移行する。
【０１２１】
一方、ステップＳ１０７において、望遠端（Ｔｅｌｅ端）での撮影画像に基づいて算出した信頼度が既定の閾値未満であると判定した場合（ステップＳ１０７の判定＝Ｎｏ）は、表示部１３３の表示画面（図２のステップＳ１１の表示画面）上に、カメラのアングル変更等を促すメッセージを表示する。すなわち、制御部１３２は、ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合、例えば撮影画像の変更を促すメッセージを表示部１３３に出力する。この処理の後、再度、異なる被写体に基づく画像解析処理、すなわちステップＳ１０３のブロックマッチング処理を実行する。
【０１２２】
（４．２．ズーム位置に応じた変換パラメータの算出処理）
次に、ズーム位置に応じた変換パラメータの算出処理としてのキャリブレーション処理のシーケンスについて図８に示すフローチャートを参照して説明する。
【０１２３】
この図８に示すフローは、図７に示すフローのステップＳ１０７において、望遠端（Ｔｅｌｅ端）での撮影画像に基づいて算出した信頼度が既定の閾値以上である（ステップＳ１０７の判定＝Ｙｅｓ）と判定された場合に実行するキャリブレーション処理の詳細シーケンスを示すフローである。
【０１２４】
このキャリブレーション処理では、ズームレンズを望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）に順次移動させて、予め既定した複数のズームレンズ位置に対応する変換パラメータの算出を実行する。
【０１２５】
まず、ステップＳ２０１において、キャリブレーション開始位置である望遠端（Ｔｅｌｅ端）において設定した特徴点情報に基づいて画像間の上下ズレを解消する変換パラメータを算出する。なお、変換パラメータには画像の上下方向のズレのみならず、回転、拡大縮小等の他のパラメータも含まれる場合があるが、ここでは、２つの画像（Ｌ画像とＲ画像）の上下方向のズレを解消するパラメータを算出する処理について説明する。
【０１２６】
前述したように、キャリブレーションは、望遠端（Ｔｅｌｅ端）において撮影されている画像の特徴点の解析によって信頼度の高い変換パラメータが算出可能であると確認された場合に開始される。まず、制御部１３２は、この初期設定位置である望遠端（Ｔｅｌｅ端）において撮影された画像から検出した特徴点情報に基づいて変換パラメータを算出する。算出したパラメータは、例えばメモリ１３５の一時記憶領域に格納しておく。
【０１２７】
なお、この時点では、メモリ１３５に格納されている前回のキャリブレーション実行時の変換パラメータの書き換え（更新）は実行しない。望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの変換パラメータの算出に成功したと判定した後、ステップＳ２１８において書き換え（更新）を実行することになる。
【０１２８】
次に、ステップＳ２０２において、ズームレンズを移動する。望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）方向に予め設定した距離の移動を行う。例えば図６を参照して説明したメモリ格納データのように、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの複数のポイントにおいて変換パラメータの算出処理を行うために、次の算出ポイントまでズームレンズを移動する。
【０１２９】
次に、ステップＳ２１１において、新たに設定したズームレンズ位置で第１レンズ１１１、第２レンズ１２１を介して取得した２つの画像（Ｌ画像とＲ画像）を画像解析部１３１に入力して画像解析を実行する。具体的には２つの画像（Ｌ画像とＲ画像）のブロックマッチング処理を実行する。
【０１３０】
まず、ステップＳ２０１において、第１レンズ１１１、第２レンズ１２１を介して取得した２つの画像（Ｌ画像とＲ画像）を画像解析部１３１に入力して画像解析を実行する。具体的には２つの画像（Ｌ画像とＲ画像）のブロックマッチング処理を実行する。
【０１３１】
なお、ここで、画像解析部１３１に入力する画像は、第１画像変換部１１３と第２画像変換部１２３において、最新の変換パラメータを適用して変換された画像である。例えば、初期設定された望遠端（Ｔｅｌｅ端）の次のズームレンズ設定位置に画像解析処理に際しては、望遠端（Ｔｅｌｅ端）おける画像に基づいて算出された変換パラメータを適用して第１画像変換部１１３と第２画像変換部１２３において、画像変換が実行され、画像解析部１３１は、これらの変換画像に基づくブロックマッチングを実行する。
【０１３２】
ステップＳ２１２では、画像解析部１３１がブロックマッチング処理に基づいて、予め既定した条件を満たす特徴点の数を取得する。この処理は、先に図７のフローで説明したステップＳ１０４の処理と同様の処理であり、前述の（式１）に含まれる以下の各特徴点数（ブロック数）を取得する処理として実行される。
（Ｉｎｉｔ＿ｎｕｍ），
（ａ＿ｎｕｍ），
（ｂ＿ｎｕｍ），
（ｃ＿ｎｕｍ）
【０１３３】
次のステップＳ２１３では、画像解析部１３１がブロックマッチング処理に基づいて検出された特徴点の分布情報を取得する。この処理は、先に図７のフローで説明したステップＳ１０５の処理と同様の処理であり、先に説明した（式１）の係数：ｋ、すなわち以下のｋの値を算出する。
ｋ：対応ブロック（特徴点）の分布に応じた係数（画面全体に広がりがあうる場合を１、広がりが少ない場合を０として１〜０の設定とする）
画像解析部１３１は、予め既定したアルゴリズムに従って、画面における特徴点の広がりを判定し、特徴点分布情報：ｋを算出する。
【０１３４】
次のステップＳ２１４の信頼度算出と表示処理は、画像解析部１３１が生成した上述の特徴点数と特徴点分布情報からなる特徴点情報を入力した制御部１３２において実行する処理である。
制御部１３２は、上述の特徴点数（ブロック数）と特徴点分布情報からなる特徴点情報を画像解析部１３１から入力し、先に説明した（式１）に従って信頼度を算出し、算出した信頼度を表示部１３３にインジケータとして表示する。
【０１３５】
すなわち、以下の（式１）に従って信頼度を算出する。
信頼度（Ｖｒ）＝［（（Ｉｎｉｔ＿ｎｕｍ）−（ａ＿ｎｕｍ）−（ｂ＿ｎｕｍ）−（ｃ＿ｎｕｍ））／（Ｉｎｉｔ＿ｎｕｍ）］×２５５×ｋ
・・・（式１）
【０１３６】
なお、ここで算出する信頼度は、第１レンズ１１１と、第２レンズ１２１の双方のズームレンズを所定のズーム位置に移動した状態で撮影した画像に基づいて算出された信頼度である。
【０１３７】
算出した信頼度は表示部１３３に表示される。
先に説明した図２のステップＳ２１の画面に対応する表示画像が表示される。
図２のステップＳ２１の画面に示すように、表示部１３３には設定したズームレンズ位置における撮影画像にオーバーラップして信頼度を示すインジケータの表示がなされる。インジケータ上には、予め設定した閾値と、算出した信頼度が表示され、ユーザは、信頼度が閾値以上であるか否かを確認できる。
【０１３８】
次に、制御部１３２は、ステップＳ２１５において、設定ズーム位置での撮影画像に基づいて、変換パラメータを算出する。
次に、制御部１３２は、ステップＳ２１６において、現在のズームレンズ位置が広角端（Ｗｉｄｅ端）であるか否かを判定する。
【０１３９】
現在のズームレンズ位置が広角端（Ｗｉｄｅ端）である場合は、全てのズームレンズ位置での変換パラメータの算出が終了したと判断してステップＳ２１７に進む。
現在のズームレンズ位置が広角端（Ｗｉｄｅ端）でない場合は、まだ全てのズームレンズ位置での変換パラメータの算出が終了していないと判断し、ステップＳ２０２に戻り、ズームレンズを広角端（Ｗｉｄｅ端）側に移動させて、ステップＳ２１１以下の処理を繰り返す。
【０１４０】
ステップＳ２１６において、現在のズームレンズ位置が広角端（Ｗｉｄｅ端）であると判定しステップＳ２１７に進むと、自動調整処理の成功判定を行う。この判定処理は、算出した変換パラメータに併せて算出した信頼度に基づいて実行する。
例えば、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までに設定した変換パラメータ算出位置がｎポイントある場合、これらのｎポイント中、予め設定したポイント数以上（例えば７０％以上）で既定閾値以上の信頼度が得られている場合に「成功」と判定する。
【０１４１】
変換パラメータを算出したｎポイント中、閾値以上の信頼度が得られているポイントが、予め設定したポイント数未満である場合は、「失敗」と判定する。この場合は、ステップＳ２１７の判定が「Ｎｏ」となり、処理の失敗を示すメッセージ出力を実行する（図２（Ｓ２３）参照）とともに、自動調整処理、すなわちキャリブレーション処理をやり直す。この場合は、図７のステップＳ１０１に戻り、再度、ズームレンズを望遠端（Ｔｅｌｅ端）に戻して処理が再実行される。
この処理は、図２に示すステップ（Ｓ２３）からステップ（Ｓ１１）の処理の移行に相当する。
【０１４２】
一方、ステップＳ２１７において、望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までに設定したｎポイント中、予め設定したポイント数以上で既定閾値以上の信頼度が得られ、「成功」と判定した場合は、ステップＳ２１８に進む。
【０１４３】
ステップＳ２１８では、キャリブレーション処理において取得した望遠端（Ｔｅｌｅ端）から広角端（Ｗｉｄｅ端）までの各ズームレンズ設定位置で算出した変換パラメータを最新の変換パラメータとしてメモリ１３５に記録する処理を実行する。前の記録情報がある場合は、その情報に対して上書きを行い、データ更新を行う。
この記録処理においてメモリに格納されるデータは、図６を参照して説明したデータである。
各ズーム位置に対応するデータとして変換パラメータとその信頼度が併せて記録される。
これらの処理によってキャリブレーション処理が完了する。
【０１４４】
この結果、メモリ１３５に格納されたズーム位置対応の変換パラメータが、ユーザの撮影画像の変換処理に際して利用される。
この処理によって、上下方向のズレが補正された高品質なＬＲ画像からなる３Ｄ画像の記録、出力が実現される。
【０１４５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１４６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４８】
以上、説明したように、本発明の一実施例によれば、例えば３次元画像としての左眼用画像と右眼用画像等、異なる視点からの画像を複数の撮像部で撮影し、画像解析部においてこれらの撮影画像に対するブロックマッチング処理等の画像解析を行って特徴点検出を実行する。さらに、制御部が画像解析部の生成した特徴点情報を入力して、複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する。この変換パラメータの算出処理に際して、制御部は、撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、信頼度を表示部にインジケータとして表示する。さらに望遠端での信頼度が予め既定した閾値以上である場合にズームレンズを広角側に順次移動させながら複数ポイントで変換パラメータを算出するキャリブレーションを開始する。
【０１４９】
本構成により、信頼度の高い変換パラメータの算出に必要な特徴点が、望遠側から広角側まで確実に検出される可能性が高くなり、効率的で確実な変換パラメータ産出が実現される。
【符号の説明】
【０１５０】
１００ 撮像装置
１１１ 第１レンズ
１１２ 第１画像変換部
１２１ 第２レンズ
１２２ 第２画像変換部
１３１ 画像解析部
１３２ 制御部
１３３ 表示部
１３５ メモリ
２１１ インジケータ
２２１ ブロック
【特許請求の範囲】
【請求項１】
異なる視点からの画像を撮影する複数の撮像部と、
前記複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析部と、
前記画像解析部の生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する制御部と、
前記制御部の算出した画像変換パラメータを適用して、前記複数の撮像部の撮影画像の変換処理を実行する画像変換部を有し、
前記制御部は、
前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置。
【請求項２】
前記制御部は、
ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値以上であることを確認された場合に、
ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出するキャリブレーション処理を実行する請求項１に記載の撮像装置。
【請求項３】
前記制御部は、
ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合に、撮影画像の変更を促すメッセージ出力を実行する請求項１に記載の撮像装置。
【請求項４】
前記複数の撮像部は、３次元画像表示に適用する左眼用画像と右眼用画像の撮影を実行し、
前記制御部は、３次元画像表示に適用する左眼用画像と右眼用画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する請求項１に記載の撮像装置。
【請求項５】
前記画像解析部は、
前記複数の撮像部の撮影画像に対するブロックマッチング処理を実行し、該ブロックマッチング処理による特徴点検出を実行する請求項１に記載の撮像装置。
【請求項６】
前記画像解析部は、
前記複数の撮像部の撮影画像の画像解析による特徴点検出処理において、
予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を生成して前記制御部に出力し、
前記制御部は、予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を適用して前記信頼度の算出処理を行う請求項１に記載の撮像装置。
【請求項７】
前記画像変換部はアフィン変換を実行する画像変換部であり、
前記制御部はアフィン変換に適用する画像変換パラメータを算出する請求項１に記載の撮像装置。
【請求項８】
前記制御部は、
ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、
ズームレンズ位置と、画像変換パラメータと、信頼度を対応付けたデータをメモリに格納する請求項１に記載の撮像装置。
【請求項９】
前記制御部は、
ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、
複数のズーム位置において算出した複数の信頼度の値に基づいて、既定の処理成功条件を満たすか否かを判定し、
成功と判定した場合は、算出した画像変換パラメータを有効パラメータとしてメモリに格納し、
失敗と判定した場合は、処理の失敗を示すメッセージ出力を実行する請求項１に記載の撮像装置。
【請求項１０】
撮像装置において実行する撮像装置制御方法であり、
画像解析部が、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析ステップと、
制御部が、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出するパラメータ算出ステップを有し、
前記制御部は、前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置制御方法。
【請求項１１】
撮像装置において撮像装置制御処理を実行させるプログラムであり、
画像解析部に、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行させる画像解析ステップと、
制御部に、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出させるパラメータ算出ステップを実行させ、
前記制御部における前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行わせるプログラム。
【請求項１】
異なる視点からの画像を撮影する複数の撮像部と、
前記複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析部と、
前記画像解析部の生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する制御部と、
前記制御部の算出した画像変換パラメータを適用して、前記複数の撮像部の撮影画像の変換処理を実行する画像変換部を有し、
前記制御部は、
前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置。
【請求項２】
前記制御部は、
ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値以上であることを確認された場合に、
ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出するキャリブレーション処理を実行する請求項１に記載の撮像装置。
【請求項３】
前記制御部は、
ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合に、撮影画像の変更を促すメッセージ出力を実行する請求項１に記載の撮像装置。
【請求項４】
前記複数の撮像部は、３次元画像表示に適用する左眼用画像と右眼用画像の撮影を実行し、
前記制御部は、３次元画像表示に適用する左眼用画像と右眼用画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する請求項１に記載の撮像装置。
【請求項５】
前記画像解析部は、
前記複数の撮像部の撮影画像に対するブロックマッチング処理を実行し、該ブロックマッチング処理による特徴点検出を実行する請求項１に記載の撮像装置。
【請求項６】
前記画像解析部は、
前記複数の撮像部の撮影画像の画像解析による特徴点検出処理において、
予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を生成して前記制御部に出力し、
前記制御部は、予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を適用して前記信頼度の算出処理を行う請求項１に記載の撮像装置。
【請求項７】
前記画像変換部はアフィン変換を実行する画像変換部であり、
前記制御部はアフィン変換に適用する画像変換パラメータを算出する請求項１に記載の撮像装置。
【請求項８】
前記制御部は、
ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、
ズームレンズ位置と、画像変換パラメータと、信頼度を対応付けたデータをメモリに格納する請求項１に記載の撮像装置。
【請求項９】
前記制御部は、
ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、
複数のズーム位置において算出した複数の信頼度の値に基づいて、既定の処理成功条件を満たすか否かを判定し、
成功と判定した場合は、算出した画像変換パラメータを有効パラメータとしてメモリに格納し、
失敗と判定した場合は、処理の失敗を示すメッセージ出力を実行する請求項１に記載の撮像装置。
【請求項１０】
撮像装置において実行する撮像装置制御方法であり、
画像解析部が、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析ステップと、
制御部が、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出するパラメータ算出ステップを有し、
前記制御部は、前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置制御方法。
【請求項１１】
撮像装置において撮像装置制御処理を実行させるプログラムであり、
画像解析部に、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行させる画像解析ステップと、
制御部に、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出させるパラメータ算出ステップを実行させ、
前記制御部における前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行わせるプログラム。
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【公開番号】特開２０１２−１６５３３３（Ｐ２０１２−１６５３３３Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２６２４２（Ｐ２０１１−２６２４２）
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]