多眼式撮像装置、撮像方法およびプログラム
【課題】多眼方式の撮像装置において、高速に精度良くフォーカス位置を決定する。
【解決手段】複数の撮像部を備える多眼式撮像装置であって、撮像部が備えるフォーカスレンズを駆動させる駆動範囲を、撮像部の間で重複しないように設定する設定手段と、設定された駆動範囲内でフォーカスレンズの位置を変更しながら撮像部それぞれによって撮像された各画像についてフォーカスの程度を評価する評価手段と、各画像について得られるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する決定手段とを備えることを特徴とする。
【解決手段】複数の撮像部を備える多眼式撮像装置であって、撮像部が備えるフォーカスレンズを駆動させる駆動範囲を、撮像部の間で重複しないように設定する設定手段と、設定された駆動範囲内でフォーカスレンズの位置を変更しながら撮像部それぞれによって撮像された各画像についてフォーカスの程度を評価する評価手段と、各画像について得られるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する決定手段とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多眼方式の撮像装置において、被写体へ高速にピント位置を調整するオートフォーカス機能を備える多眼式カメラシステム用の多眼式撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
オートフォーカス（以下、ＡＦ）とは、カメラのピント位置に係る調整を、ユーザが操作設定することなく自動化して実行する機能である。このＡＦを実現する方式にはいくつかの方式があり、そのうちコントラスト検出型と呼ばれる方式は、カメラの小型化が容易である事から多くのコンパクトカメラに採用されている。ここで、コントラスト検出型とは、イメージセンサー上で被写体の画像のコントラストが最も高くなるレンズ位置を合焦状態とする方式である。
【０００３】
この方式の課題は、合焦画像を検出するまでの時間が、比較的長いという点にある。その結果、この方式では、高速に移動する被写体にピントを合わせる事が困難になる。つまり、ピントを合わせている間に、被写体がフレームアウトして撮影できないことが起こりうる。
【０００４】
そこで、多眼方式の撮像装置において、各撮像部のピント位置を予めずらして撮影し、撮影した複数の画像から最もピントの合っている画像を最終画像とする方式が発明されている（特許文献１，２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２１６６００号公報
【特許文献２】特開２００５−１０９６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、２で提案されている方式には、正確なピント位置を定める事ができない、或いは必要な撮像部の数が増えるという課題がある。なぜなら、この方式で選択可能なピント位置は、予めずらしたピント位置のみだからである。例えば、撮像部の数が３つなら、ピント位置は３つのみ選択可能であるが、被写体が予め設定されたピント位置に存在する場合もあれば、そうでない場合もあり、３つのいずれも最終画像として適さないことも在りうる。
【０００７】
そこで、本発明は、多眼方式の撮像装置において、高速に精度良くピント位置を決定することを目的とする。
【課題を解決するための手段】
【０００８】
複数の撮像部を備える多眼式撮像装置であって、前記撮像部が備えるフォーカスレンズを駆動させる駆動範囲を、前記撮像部の間で重複しないように設定する設定手段と、設定された駆動範囲内でフォーカスレンズの位置を変更しながら前記撮像部それぞれによって撮像された各画像についてフォーカスの程度を評価する評価手段と、前記各画像について得られるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する決定手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明に係る多眼式撮像装置および撮像方法によれば、高速で精度の高い合焦点画像を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】複数の撮像部を備えた多眼式撮像装置の一例を示した図である。
【図２】多眼式撮像装置の内部構成を示すブロック図である。
【図３】撮像部の内部構成を示す図である。
【図４】多眼式撮像装置におけるＡＦの動作を説明するための図である。
【図５】実施形態１の最大コントラスト値検出の概念を示す図である。
【図６】実施形態１におけるＡＦ処理により決定されるフォーカス位置の概念を説明するための図である。
【図７】実施形態１における、撮像部制御部２０８の構成を示す図である。
【図８】実施形態１における、カメラ情報読み込み部５００の構成を示す図である。
【図９】実施形態１における、フォーカス位置探索範囲決定部５０１の構成を示す図である。
【図１０】実施形態１のＡＦ処理の処理手順を示すフローチャートである。
【図１１】実施形態１のカメラパラメータを取得する処理の処理手順を示すフローチャートである。
【図１２】実施形態１のフォーカス位置探索範囲決定処理の処理手順を示すフローチャートである。
【図１３】実施形態１における画像処理部２１２の構成を示す図である。
【図１４】実施形態２における撮像部制御部２０８の構成を示す図である。
【図１５】実施形態１のフォーカスレンズの稼動範囲を概念的に示す図である。
【図１６】実施形態２のフォーカスレンズの稼動範囲を概念的に示す図である。
【図１７】実施形態２の探索範囲算出処理の処理手順を示すフローチャートである。
【図１８】実施形態２においてさらに処理を高速化するための内容を説明するための図である。
【図１９】実施形態２においてさらに処理を高速化するための内容を説明するための図である。
【図２０】実施形態２の追加形態でＡＦ測距するエリアを説明するための図である。
【図２１】実施形態３のフォーカスレンズの稼動範囲を概念的に示す図である。
【図２２】実施形態３における画像処理部２２００の構成を示す図である。
【図２３】実施形態３における画像処理部の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
（実施形態１）
図１は、本発明に係る複数の撮像部を備えた多眼方式による多眼式撮像装置の一例を示した図である。
【００１２】
１００は、多眼式撮像装置の筐体である。筐体の内部に、カラー画像を取得することが可能な９個の撮像部１０１〜１０９、及び撮影ボタン１１０が設けられている。なお、９個の撮像部１０１〜１０９は、正方格子上に均等に配置されている。
【００１３】
ユーザが撮影ボタン１１０を押下すると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）が同時に取得される。
【００１４】
このような多眼式撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。
【００１５】
なお、ここでは撮像部の数を９個として例示しているが、撮像部の数は９個に限定されない。多眼式撮像装置が複数の撮像部を備えていれば、本発明は適用可能である。
【００１６】
また、ここでは９個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。
【００１７】
図２は、多眼式撮像装置１００の内部構成を示すブロック図である。
【００１８】
２０１は中央処理装置（ＣＰＵ）であり、以下に述べる各部を統括的に制御する。
【００１９】
２０２はＲＡＭであり、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
【００２０】
２０３はＲＯＭであり、カメラパラメータ（画角やカメラモード）、ＣＰＵ２０１で実行される制御プラグラム等を格納している。
【００２１】
２０４は各種データの転送経路となるバスである。例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送られる。
【００２２】
２０５はユーザの指示を受け取る操作部であり、ボタンやモードダイヤルなどが含まれる。
【００２３】
２０６は撮影画像や文字の表示を行う表示部であり、例えば、液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。
【００２４】
２０７は表示制御部２０７であり、表示部２０６に表示される撮影画像や文字の表示制御を行う。
【００２５】
２０８は撮像部制御部であり、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。撮像部制御部のＡＦに関する処理の詳細については後述する。
【００２６】
２０９はデジタル信号処理部であり、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
【００２７】
２１０はエンコーダ部であり、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。
【００２８】
２１１は外部メモリ制御部であり、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。
【００２９】
２１２は画像処理部であり、撮像部１０１〜１０９で取得されたカラー画像群或いは、デジタル信号処理部２０９から出力されるカラー画像群から、ぶれのない画像を選び出し出力する処理を行う。画像処理部２１２の詳細については後述する。
【００３０】
なお、多眼式撮像装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。
【００３１】
図３は、撮像部１０１〜１０９の内部構成を示す図である。なお、撮像部１０１〜１０９の内部構成はそれぞれ同一である。
【００３２】
撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。
【００３３】
レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。
【００３４】
センサ３０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとなってバス２０４に出力される。
【００３５】
＜発明の原理＞
次に、図４を用いて、多眼式撮像装置におけるＡＦの動作を説明する。図４（ａ）は、通常のカメラモジュールにおいて多眼式のコントラスト検出方式に係るＡＦの動作を説明するための図である。なお、ここでは、３眼式の多眼カメラを例に挙げるが、撮像部の数が２個以上ならいくつでも良い。このカメラシステムは、撮像部が持つフォーカスレンズの可動可能な全範囲について、ピント位置を決定するためのコントラスト算出を行う。つまり、撮像部１０１、１０２、１０３は独立して最短被写体距離から遠方までコントラスト算出を順次行い、コントラストが最大となる被写体距離をフォーカス位置と決定する。よって、コントラスト計算におけるコストがほぼゼロと仮定した場合、ＡＦに必要な時間は、フォーカスレンズが最短被写体距離から最遠方まで移動するのに要した時間となる。
【００３６】
図４（ｂ）は、本発明に係る多眼式撮像装置におけるＡＦの動作を説明するための図である。この場合、撮像部１０１についてのコントラスト測定は区間Ａを、撮像部１０２についてのコントラスト測定は区間Ｂを、撮像部１０３についてのコントラスト測定は区間Ｃに設定されている。このように、各区間は重複しないように設定される。各撮像部のフォーカスレンズは、設定された区間において駆動される。そして、測定が終了し、それぞれの区間の最大コントラストの中で最大値（図５に示すピーク）に対応する被写体距離がフォーカス位置として決定される。例えば、図６に示すように、三つの縦線で示す位置が最終的なフォーカス位置として決定される。すなわち、各撮像装置は、設定された駆動範囲内でフォーカスレンズを駆動して画像を撮像する。そして、撮像された各画像についてフォーカスの程度を示すコントラスト値を算出して評価することにより、最適なフォーカス位置を決定する。
【００３７】
図４（ｂ）に示す区間Ａ，Ｂ，Ｃがそれぞれ等距離であり、各撮像部が持つフォーカスレンズの移動速度が等しいと仮定すると、ＡＦに必要な時間は、撮像部１０１，１０２，１０３のフォーカスレンズが区間Ａ，Ｂ，Ｃを移動する時間に等しい。つまり、本発明におけるＡＦに必要な時間は、図４（ａ）に示す従来の方式よりも１／３にすることができる。これは、多眼カメラの台数に応じてさらに短くすることができる。
【００３８】
説明した発明の原理に関係する処理部は撮像部制御部２０８と、画像処理部２１２である。そこで、以下ではこれら２つの処理内容について説明する。
【００３９】
＜撮像部制御部２０８の構成＞
図７は、撮像部制御部２０８の構成の中で、本発明の原理に関わりのある処理部のみを記載しており、撮像部制御部２０８は、カメラ情報読込部５００と、フォーカス位置探索範囲決定部５０１とから構成される。
【００４０】
カメラ情報読込部５００は、カメラ本体の情報だけではなく、各撮像部の情報を読み込む。尚、カメラ情報読込部５００の詳細については後述する。
【００４１】
フォーカス位置探索範囲決定部５０１は、各撮像部のフォーカス位置探索処理開始位置Ｓｉと終了位置Ｅｉを設定する。ＳｉとＥｉ、及びフォーカス位置探索範囲決定部５０１の詳細については後述する。なお、ＳｉとＥｉの範囲がフォーカスレンズの駆動範囲となる。
【００４２】
また、本実施例では、撮像部のカメラ特性は同一であるものとし、フォーカスレンズの可動範囲は９ｍｍとする。また、以下では、説明を簡単にする為、撮像部の数Ｎを３つとするが、撮像部の数によらず構成は同じである。
【００４３】
＜画像処理部２１２の構成図＞
図１３に示すように、画像処理部２１２は、第一コントラストＡＦ部１３００と、第二コントラストＡＦ部１３０１、第三コントラストＡＦ部１３０２、最大値検出部１３０３、フォーカス位置決定部１３０４で構成されている。
【００４４】
第一コントラストＡＦ部１３００、第二コントラストＡＦ部１３０１、第三コントラストＡＦ部１３０２は、撮像部１０１，１０２，１０３から出力される各画像に対し、コントラスト値を算出する。そして、最大となるコントラスト値を出力する。コントラストＡＦ方式は、撮像素子からの信号に基づいて生成された映像信号の中から高周波成分を抽出する。そして、この高周波成分のレベルを所定のサンプリング間隔で観察して、高周波成分のレベルがピークに向かう方向に焦点調節レンズを駆動する方式（以下、コントラストＡＦ（オートフォーカス）方式）である。このことによって、最終的に高周波成分のレベルが所定のピーク範囲に到達することをもって合焦と判定するものである。
【００４５】
最大値検出部１３０３は、各コントラストＡＦ部１３００，１３０１，１３０２から出力される最大コントラストの中から更に最大値を検出する。
【００４６】
フォーカス位置決定部１３０４は、１３０３が出力するコントラスト値に対応するフォーカスレンズの位置を決定する。
【００４７】
次に、図１０に示すフローチャートを参照して、撮像部制御部２０８と画像処理部２１２によって行なわれる本発明に係るフォーカス位置を決定するためのＡＦ処理の詳細を説明する。
【００４８】
ＡＦ処理が始まると、まず、ステップ１００１において、カメラ情報読込部５００は、ＲＯＭに格納されているカメラパラメータＰを読み込む。
【００４９】
次に、ステップ１００２において、得られたカメラパラメータＰを基に、フォーカス位置探索範囲決定部５０１は、各撮像部（個眼）のＡＦ開始位置Ｓｉ,ｉ＝０，１，２と、終了位置Ｅｉ,ｉ＝０，１，２を決定する。なお、ｉ＝０，１，２は、撮像部１０１，１０２，１０３に対応する。
【００５０】
次に、ステップ１００３では、各撮像部のフォーカスレンズが開始位置Ｓｉから、終了位置Ｅｉまで移動する。その際、フォーカスレンズは、カメラモジュールで規定されている最低移動量Ｍ＝０．００１［ｍｍ］ずつ移動する。なお、１回の移動ごとに、撮影された画像から、第一コントラストＡＦ部１３００、第二コントラストＡＦ部１３０１、及び第三コントラストＡＦ部１３０２は、コントラスト検出型ＡＦに基づいて最大コントラスト値Ｃｉ,ｉ＝０，１，２を計測する。さらに、それら最大コントラスト値Ｃｉ,ｉ＝０，１，２を計測した時の、フォーカスレンズの位置ｆｉを記録する。
【００５１】
最後に、ステップ１００４において、各撮像部について得られる最大コントラスト値Ｃｉのうち、最大となる最大値Ｃｍを特定し、Ｃｍに対応するフォーカスレンズの位置をｆｉの中から抽出する。以上のＡＦ処理により、最終的なフォーカス位置を決定する。
【００５２】
＜カメラ情報読み込み処理＞
カメラ情報読込部５００は、図８に示すように、カメラ台数取得部６００と、フォーカスレンズ可動範囲取得部６０１とから構成される。
【００５３】
カメラ台数取得部６００は、撮像部の数を取得する。
【００５４】
フォーカスレンズ可動範囲取得部６０１は、各撮像部のフォーカスレンズが移動できる範囲を取得する。
【００５５】
図１１のフローチャートは、図１０のステップ１００１の詳細を示している。このフローチャートを参照して、カメラ情報読み込み部５００によるカメラパラメータＰの取得処理の詳細を説明する。
【００５６】
まず、ステップ１１０１において、カメラ台数取得部６００は、カメラ台数Ｎ＝３[台]を取得する。
【００５７】
次に、ステップ１１０２において、フォーカスレンズ可動範囲取得部６０１は、フォーカスレンズの可動範囲ｄ＝９[ｍｍ]を取得する。なお、フォーカスレンズの稼動範囲ｄを概念的に示したのが図１５である。
【００５８】
このように、カメラパラメータを取得して処理が終了する。
【００５９】
＜フォーカス位置探索範囲決定処理＞
フォーカス位置探索範囲決定部５０１は、図９に示すようにフォーカスレンズ移動距離算出部７００と、撮像部フォーカス探索範囲決定部７０１とから構成される。
【００６０】
フォーカスレンズ移動距離算出部７００は、各撮像部がどのような範囲に対してコントラスト値算出処理を行うかを決定する。撮像部フォーカス探索範囲決定部７０１は、各撮像部について、コントラスト値算出処理を実行する際に必要となる開始位置と終了位置とを決定する。
【００６１】
図１２のフローチャートは、図１０のステップ１００２の詳細を示している。このフローチャートを参照して、フォーカス位置探索範囲決定部５０１によるフォーカス位置探索範囲決定処理の詳細を説明する。
【００６２】
ステップ１２０１において、フォーカスレンズ移動距離算出部７００は、可動範囲ｄを撮像部の数Ｎで分割することにより、各個のＡＦ測距範囲Ｄを決定する（式１）。このDは、図４（ｂ）に示す撮像部１０１，１０２，１０３のＡＦ対象区間Ａ，Ｂ，Ｃに対応する。
【００６３】
【数１】
【００６４】
次に、ステップ１２０２では、撮像部フォーカス探索範囲決定部７０１が、図４（ｂ）に示す撮像部１０１，１０２，１０３に対応する矢印の起点Ｓｉ（ｉ＝０，１，２）を以下の式２に基づいて決定する。ｉ＝０，１，２は、それぞれ撮像部１０１，１０２，１０３の起点に対応している。
【００６５】
【数２】
【００６６】
ａは初期値を調整するパラメータであり、今回は０が入る。各個のＡＦの測定は、それぞれＳｉから開始されて、Ｄだけ移動して、コントラスト値算出処理は終了する。なお、フォーカスレンズの制御モータなどの制限上、厳密にＤだけ移動する事は難しい場合がある為、式３の様に精度を考慮した設定にすることもできる。
【００６７】
【数３】
【００６８】
以上のように処理して、フォーカス位置探索範囲決定部５０１は、開始位置と、終了位置とを決定する。
【００６９】
以上、実施形態による説明の通り、本発明は、各撮像部におけるフォーカスレンズの移動範囲を限定することによりＡＦに係る処理の時間を短縮することができる。
【００７０】
（実施形態２）
まず、図１４と図１６を利用して、本発明の実施形態２に係る動作原理について説明する。
【００７１】
＜動作原理＞
実施形態１では、フォーカスレンズの可動範囲全てに対してコントラスト値算出処理を行っている。フォーカス処理にかかる時間は、レンズが可動範囲全てを走査する時間であるため、実施形態１では、可動範囲を分割して限定する事により、ＡＦ処理の高速化を実現している。これに対し実施形態２では、フォーカスレンズの可動範囲の一部だけを走査する事で、さらに高速化するものである。
【００７２】
なお、レンズの可動範囲の一部とは、カメラモードに応じて設定されるものである。例えば、図１６（ａ）は、遠方にある山や木の撮影を想定して設定された各撮像部のＡＦ測距範囲を示している。実施形態１では、図１６に示すｄをフォーカス可能な範囲として全てカバーするように各撮像部のＡＦ範囲を設定している。しかし、実施形態２では、被写体が遠方にある事を前提としているので、ＡＦ測距範囲が遠方のみをカバーするように処理する。例えば、図１６（ｂ）は、人物写真など、被写体が比較的近距離に存在する場合を想定している為、ＡＦ測距範囲は、中距離の範囲内のみをカバーしている。また、図１６（ｃ）は、マクロ撮影を想定しており、ＡＦ測距範囲は、撮像装置からごく近距離のみをカバーしている。つまり、カメラモードが風景の時、ＡＦ測距範囲は、図１６（ａ）のようになり、人物の時、図１６（ｂ）、マクロの時、図１６（ｃ）となる。
【００７３】
なお、実施形態２は、実施形態１と比較して撮像部制御部２０８の構成だけが異なる。よって、以下では、実施形態２における撮像部制御部１２００の構成のみを説明する。
【００７４】
＜撮像部制御部２０８の構成＞
図１４は、実施形態２に係る撮像部制御部２０８の構成を示している。撮像部制御部２０８は、モード切替部１４００と、カメラ情報読込部５００と、フォーカス位置探索範囲決定部５０１から構成されている。
【００７５】
モード切替部１４００は、ユーザ或いは、ＣＰＵにより決定されるカメラモードに応じて、式１及び式２に示すａ，ｄの値を変更する。なお、カメラ情報読込部５００と、フォーカス位置探索範囲決定部５０１は実施形態１と同じ動作をする。
【００７６】
次に、図１７のフローチャートを参照して、フォーカス位置探索範囲決定部５０１の動作の詳細を説明する。
【００７７】
探索範囲算出処理がスタートすると、まず、Ｓ１７０１で、カメラモード（ｍｏｄｅ）を取得する。例えば、カメラモードが風景の場合はｍｏｄｅ＝０、人物の場合はｍｏｄｅ＝１、マクロの場合はｍｏｄｅ＝２のように設定されており、現在設定されているモードに応じた、モードを識別するための数値を取得する。
【００７８】
次に、Ｓ１７０２で、取得したｍｏｄｅの値を判別する。ｍｏｄｅの値に応じて、処理がＳ１７０３、Ｓ１７０４、Ｓ１７０５に進む。
【００７９】
取得したｍｏｄｅが０の場合、Ｓ１７０３で、ａ＝６＊９０／９＝６０、ｄ＝３×９０／９に設定する。
【００８０】
取得したｍｏｄｅが１の場合、Ｓ１７０４で、ａ＝２＊９０／９、ｄ＝３×９０／９に設定する。
【００８１】
取得したｍｏｄｅが２の場合、Ｓ１７０５で、ａ＝０、ｄ＝９０／９に設定する。
【００８２】
以上の処理手順に従ってａ、ｄの値が設定されると、探索範囲算出処理が終了する。
【００８３】
尚、本実施形態では、奥行き方向（レンズから被写体の方向）のＡＦ測距範囲を分割しているが、水平・垂直方向を撮像部の画角や設置場所に応じて分割するようにしても構わない。
【００８４】
ここで、図１８は、画角が異なる二つの撮像部で構成された二眼式の多眼カメラを上から見下ろした模式図である。この多眼カメラは、各撮像部で撮影した画像を重ね合わせることにより高画質化する。よって、最終的にユーザが取得する高画質画像は、図１８に示す太線で囲まれた、両方の撮像部に投影した被写体のみが存在する事になる。ここで、撮像部１０１に着目すると、被写体は画角の右半分のみに存在する。つまり、画角の左半分にはＡＦ処理を施す必要はない。図１９は、図１８に対応したプレビュー画面内のＡＦ測距範囲を表している。撮像部１０１は、図１９（ａ）のプレビュー画面に、撮像部１０２は、図１９（ｂ）に対応している。図１９において、実線で示す矩形はＡＦ測距領域を表し、破線で示す矩形はＡＦ測距しない領域である。図１９に示す通り、撮像部１０２は、画面全体でＡＦを行い、撮像部１０１では、右側だけでＡＦ測距する。このように、撮像部の画角に応じて、被写体が存在しない領域に対してはＡＦ処理を省いて、ＡＦの速度を向上させることが可能になる。
【００８５】
より具体的な例について、図２０を参照して説明する。
【００８６】
θ１＝６０°、とθ２＝２０°とはそれぞれ、撮像部１０１、１０２の画角を表している。ｌ＝１０ｍｍは、カメラ間の基線長を表し、ｈ１は、ＡＦ測距の不必要な領域の範囲を示し、ｈ２は被写体が存在する為、ＡＦ測距が必要となる領域の範囲を示す。カメラモードが人物に設定されており、距離ｄ＝５０００ｍｍ以内に被写体が存在する場合、ｈ１とｈ２の比率は式４のようになる。
【００８７】
【数４】
【００８８】
よって、このモードでは、図１９を画面全体の１０／（１０＋７）に相当するｈ１の範囲についてＡＦ測距されない。
【００８９】
（実施形態３）
まず、図２１を用いて、実施形態３に係る発明の動作原理について説明する。なお、図２１は、実施形態３に係るＡＦ処理において、各撮像部のフォーカスレンズを移動させる範囲を概念的に表した図である。
【００９０】
＜発明の原理＞
実施形態１では、各撮像部がＡＦ測距範囲を分担した。その際に実施されるＡＦ処理において、フォーカスレンズはカメラモジュールで規定されている最小移動量ずつ移動している。一方、本実施形態では、図２１（ａ）に示すように、まず、各ＡＦ測距範囲を３回だけコントラスト値を算出する。つまり、荒くコントラストＡＦする。次に、図２１（ｂ）に示すように、最もコントラスト値が大きかった区間を３分割して、それぞれ３回ＡＦ測距する。この動作を繰り返し、最終的に図２１（ｃ）に示すようにフォーカス位置を決定する。
【００９１】
＜画像処理部２２００の構成＞
次に、本実施形態において特徴となる画像処理部２２００の構成を説明する。
【００９２】
図２２に示すように、画像処理部２２００は、画像処理部２２０２，２２０３と、パラメータ変更部２２０１と、で構成されている。なお、画像処理部２２００は、図２に示す画像処理部２１２である。パラメータ変更部２２０１は、パラメータｓｉ、ｅｉ、Ｍを変更する。
【００９３】
次に、画像処理部２２００の動作を図２３のフローチャートを参照して詳細に説明する。
【００９４】
まず、画像処理が開始すると、ステップ２３０１で、フォーカスレンズの最小動き量Ｍを０．１［ｍｍ］に設定する。なお、フォーカスレンズは最小で０．０１［ｍｍ］ずつ移動可能である。
【００９５】
次に、ステップ２３０２で、画像処理部２１２と同じ画像処理を行う。つまり、最小動き量Ｍが０．１［ｍｍ］に設定されていることにより、図２１（ａ）に示すように、荒いコントラストＡＦ処理が実行される。
【００９６】
次に、ステップ２３０３で、ｓｉ、ｅｉ、Ｍの値を変更する。具体的には、ステップ２３０２で得られた各撮像部の最大コントラスト値を算出した区間、例えばｋ２(図２１（ａ）)で最大コントラスト値を検出すれば、ｓｉ及びｅｉは、ｋ２区間内に図２１（ｂ）のように再設定される。そして、Ｍは０．０１［ｍｍ］に設定される。
【００９７】
次に、ステップ２３０４では、再設定されたｓｉ、ｅｉ、Ｍに応じて画像処理部２１２と同じ動作をする。その結果、図２１（ｃ）に示すように最終的なフォーカス位置が決定される。本実施例では、ＡＦを二回に分けてピント位置を追い込んだが、フォーカスレンズの可動域が長い場合は、当該動作を所定の回数繰り返すようにしてＡＦ処理を行い、ピント位置を追い込んでも良い。
【００９８】
（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、多眼方式の撮像装置において、被写体へ高速にピント位置を調整するオートフォーカス機能を備える多眼式カメラシステム用の多眼式撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
オートフォーカス（以下、ＡＦ）とは、カメラのピント位置に係る調整を、ユーザが操作設定することなく自動化して実行する機能である。このＡＦを実現する方式にはいくつかの方式があり、そのうちコントラスト検出型と呼ばれる方式は、カメラの小型化が容易である事から多くのコンパクトカメラに採用されている。ここで、コントラスト検出型とは、イメージセンサー上で被写体の画像のコントラストが最も高くなるレンズ位置を合焦状態とする方式である。
【０００３】
この方式の課題は、合焦画像を検出するまでの時間が、比較的長いという点にある。その結果、この方式では、高速に移動する被写体にピントを合わせる事が困難になる。つまり、ピントを合わせている間に、被写体がフレームアウトして撮影できないことが起こりうる。
【０００４】
そこで、多眼方式の撮像装置において、各撮像部のピント位置を予めずらして撮影し、撮影した複数の画像から最もピントの合っている画像を最終画像とする方式が発明されている（特許文献１，２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２１６６００号公報
【特許文献２】特開２００５−１０９６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、２で提案されている方式には、正確なピント位置を定める事ができない、或いは必要な撮像部の数が増えるという課題がある。なぜなら、この方式で選択可能なピント位置は、予めずらしたピント位置のみだからである。例えば、撮像部の数が３つなら、ピント位置は３つのみ選択可能であるが、被写体が予め設定されたピント位置に存在する場合もあれば、そうでない場合もあり、３つのいずれも最終画像として適さないことも在りうる。
【０００７】
そこで、本発明は、多眼方式の撮像装置において、高速に精度良くピント位置を決定することを目的とする。
【課題を解決するための手段】
【０００８】
複数の撮像部を備える多眼式撮像装置であって、前記撮像部が備えるフォーカスレンズを駆動させる駆動範囲を、前記撮像部の間で重複しないように設定する設定手段と、設定された駆動範囲内でフォーカスレンズの位置を変更しながら前記撮像部それぞれによって撮像された各画像についてフォーカスの程度を評価する評価手段と、前記各画像について得られるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する決定手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明に係る多眼式撮像装置および撮像方法によれば、高速で精度の高い合焦点画像を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】複数の撮像部を備えた多眼式撮像装置の一例を示した図である。
【図２】多眼式撮像装置の内部構成を示すブロック図である。
【図３】撮像部の内部構成を示す図である。
【図４】多眼式撮像装置におけるＡＦの動作を説明するための図である。
【図５】実施形態１の最大コントラスト値検出の概念を示す図である。
【図６】実施形態１におけるＡＦ処理により決定されるフォーカス位置の概念を説明するための図である。
【図７】実施形態１における、撮像部制御部２０８の構成を示す図である。
【図８】実施形態１における、カメラ情報読み込み部５００の構成を示す図である。
【図９】実施形態１における、フォーカス位置探索範囲決定部５０１の構成を示す図である。
【図１０】実施形態１のＡＦ処理の処理手順を示すフローチャートである。
【図１１】実施形態１のカメラパラメータを取得する処理の処理手順を示すフローチャートである。
【図１２】実施形態１のフォーカス位置探索範囲決定処理の処理手順を示すフローチャートである。
【図１３】実施形態１における画像処理部２１２の構成を示す図である。
【図１４】実施形態２における撮像部制御部２０８の構成を示す図である。
【図１５】実施形態１のフォーカスレンズの稼動範囲を概念的に示す図である。
【図１６】実施形態２のフォーカスレンズの稼動範囲を概念的に示す図である。
【図１７】実施形態２の探索範囲算出処理の処理手順を示すフローチャートである。
【図１８】実施形態２においてさらに処理を高速化するための内容を説明するための図である。
【図１９】実施形態２においてさらに処理を高速化するための内容を説明するための図である。
【図２０】実施形態２の追加形態でＡＦ測距するエリアを説明するための図である。
【図２１】実施形態３のフォーカスレンズの稼動範囲を概念的に示す図である。
【図２２】実施形態３における画像処理部２２００の構成を示す図である。
【図２３】実施形態３における画像処理部の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
（実施形態１）
図１は、本発明に係る複数の撮像部を備えた多眼方式による多眼式撮像装置の一例を示した図である。
【００１２】
１００は、多眼式撮像装置の筐体である。筐体の内部に、カラー画像を取得することが可能な９個の撮像部１０１〜１０９、及び撮影ボタン１１０が設けられている。なお、９個の撮像部１０１〜１０９は、正方格子上に均等に配置されている。
【００１３】
ユーザが撮影ボタン１１０を押下すると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）が同時に取得される。
【００１４】
このような多眼式撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。
【００１５】
なお、ここでは撮像部の数を９個として例示しているが、撮像部の数は９個に限定されない。多眼式撮像装置が複数の撮像部を備えていれば、本発明は適用可能である。
【００１６】
また、ここでは９個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。
【００１７】
図２は、多眼式撮像装置１００の内部構成を示すブロック図である。
【００１８】
２０１は中央処理装置（ＣＰＵ）であり、以下に述べる各部を統括的に制御する。
【００１９】
２０２はＲＡＭであり、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
【００２０】
２０３はＲＯＭであり、カメラパラメータ（画角やカメラモード）、ＣＰＵ２０１で実行される制御プラグラム等を格納している。
【００２１】
２０４は各種データの転送経路となるバスである。例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送られる。
【００２２】
２０５はユーザの指示を受け取る操作部であり、ボタンやモードダイヤルなどが含まれる。
【００２３】
２０６は撮影画像や文字の表示を行う表示部であり、例えば、液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。
【００２４】
２０７は表示制御部２０７であり、表示部２０６に表示される撮影画像や文字の表示制御を行う。
【００２５】
２０８は撮像部制御部であり、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。撮像部制御部のＡＦに関する処理の詳細については後述する。
【００２６】
２０９はデジタル信号処理部であり、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
【００２７】
２１０はエンコーダ部であり、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。
【００２８】
２１１は外部メモリ制御部であり、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。
【００２９】
２１２は画像処理部であり、撮像部１０１〜１０９で取得されたカラー画像群或いは、デジタル信号処理部２０９から出力されるカラー画像群から、ぶれのない画像を選び出し出力する処理を行う。画像処理部２１２の詳細については後述する。
【００３０】
なお、多眼式撮像装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。
【００３１】
図３は、撮像部１０１〜１０９の内部構成を示す図である。なお、撮像部１０１〜１０９の内部構成はそれぞれ同一である。
【００３２】
撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。
【００３３】
レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。
【００３４】
センサ３０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとなってバス２０４に出力される。
【００３５】
＜発明の原理＞
次に、図４を用いて、多眼式撮像装置におけるＡＦの動作を説明する。図４（ａ）は、通常のカメラモジュールにおいて多眼式のコントラスト検出方式に係るＡＦの動作を説明するための図である。なお、ここでは、３眼式の多眼カメラを例に挙げるが、撮像部の数が２個以上ならいくつでも良い。このカメラシステムは、撮像部が持つフォーカスレンズの可動可能な全範囲について、ピント位置を決定するためのコントラスト算出を行う。つまり、撮像部１０１、１０２、１０３は独立して最短被写体距離から遠方までコントラスト算出を順次行い、コントラストが最大となる被写体距離をフォーカス位置と決定する。よって、コントラスト計算におけるコストがほぼゼロと仮定した場合、ＡＦに必要な時間は、フォーカスレンズが最短被写体距離から最遠方まで移動するのに要した時間となる。
【００３６】
図４（ｂ）は、本発明に係る多眼式撮像装置におけるＡＦの動作を説明するための図である。この場合、撮像部１０１についてのコントラスト測定は区間Ａを、撮像部１０２についてのコントラスト測定は区間Ｂを、撮像部１０３についてのコントラスト測定は区間Ｃに設定されている。このように、各区間は重複しないように設定される。各撮像部のフォーカスレンズは、設定された区間において駆動される。そして、測定が終了し、それぞれの区間の最大コントラストの中で最大値（図５に示すピーク）に対応する被写体距離がフォーカス位置として決定される。例えば、図６に示すように、三つの縦線で示す位置が最終的なフォーカス位置として決定される。すなわち、各撮像装置は、設定された駆動範囲内でフォーカスレンズを駆動して画像を撮像する。そして、撮像された各画像についてフォーカスの程度を示すコントラスト値を算出して評価することにより、最適なフォーカス位置を決定する。
【００３７】
図４（ｂ）に示す区間Ａ，Ｂ，Ｃがそれぞれ等距離であり、各撮像部が持つフォーカスレンズの移動速度が等しいと仮定すると、ＡＦに必要な時間は、撮像部１０１，１０２，１０３のフォーカスレンズが区間Ａ，Ｂ，Ｃを移動する時間に等しい。つまり、本発明におけるＡＦに必要な時間は、図４（ａ）に示す従来の方式よりも１／３にすることができる。これは、多眼カメラの台数に応じてさらに短くすることができる。
【００３８】
説明した発明の原理に関係する処理部は撮像部制御部２０８と、画像処理部２１２である。そこで、以下ではこれら２つの処理内容について説明する。
【００３９】
＜撮像部制御部２０８の構成＞
図７は、撮像部制御部２０８の構成の中で、本発明の原理に関わりのある処理部のみを記載しており、撮像部制御部２０８は、カメラ情報読込部５００と、フォーカス位置探索範囲決定部５０１とから構成される。
【００４０】
カメラ情報読込部５００は、カメラ本体の情報だけではなく、各撮像部の情報を読み込む。尚、カメラ情報読込部５００の詳細については後述する。
【００４１】
フォーカス位置探索範囲決定部５０１は、各撮像部のフォーカス位置探索処理開始位置Ｓｉと終了位置Ｅｉを設定する。ＳｉとＥｉ、及びフォーカス位置探索範囲決定部５０１の詳細については後述する。なお、ＳｉとＥｉの範囲がフォーカスレンズの駆動範囲となる。
【００４２】
また、本実施例では、撮像部のカメラ特性は同一であるものとし、フォーカスレンズの可動範囲は９ｍｍとする。また、以下では、説明を簡単にする為、撮像部の数Ｎを３つとするが、撮像部の数によらず構成は同じである。
【００４３】
＜画像処理部２１２の構成図＞
図１３に示すように、画像処理部２１２は、第一コントラストＡＦ部１３００と、第二コントラストＡＦ部１３０１、第三コントラストＡＦ部１３０２、最大値検出部１３０３、フォーカス位置決定部１３０４で構成されている。
【００４４】
第一コントラストＡＦ部１３００、第二コントラストＡＦ部１３０１、第三コントラストＡＦ部１３０２は、撮像部１０１，１０２，１０３から出力される各画像に対し、コントラスト値を算出する。そして、最大となるコントラスト値を出力する。コントラストＡＦ方式は、撮像素子からの信号に基づいて生成された映像信号の中から高周波成分を抽出する。そして、この高周波成分のレベルを所定のサンプリング間隔で観察して、高周波成分のレベルがピークに向かう方向に焦点調節レンズを駆動する方式（以下、コントラストＡＦ（オートフォーカス）方式）である。このことによって、最終的に高周波成分のレベルが所定のピーク範囲に到達することをもって合焦と判定するものである。
【００４５】
最大値検出部１３０３は、各コントラストＡＦ部１３００，１３０１，１３０２から出力される最大コントラストの中から更に最大値を検出する。
【００４６】
フォーカス位置決定部１３０４は、１３０３が出力するコントラスト値に対応するフォーカスレンズの位置を決定する。
【００４７】
次に、図１０に示すフローチャートを参照して、撮像部制御部２０８と画像処理部２１２によって行なわれる本発明に係るフォーカス位置を決定するためのＡＦ処理の詳細を説明する。
【００４８】
ＡＦ処理が始まると、まず、ステップ１００１において、カメラ情報読込部５００は、ＲＯＭに格納されているカメラパラメータＰを読み込む。
【００４９】
次に、ステップ１００２において、得られたカメラパラメータＰを基に、フォーカス位置探索範囲決定部５０１は、各撮像部（個眼）のＡＦ開始位置Ｓｉ,ｉ＝０，１，２と、終了位置Ｅｉ,ｉ＝０，１，２を決定する。なお、ｉ＝０，１，２は、撮像部１０１，１０２，１０３に対応する。
【００５０】
次に、ステップ１００３では、各撮像部のフォーカスレンズが開始位置Ｓｉから、終了位置Ｅｉまで移動する。その際、フォーカスレンズは、カメラモジュールで規定されている最低移動量Ｍ＝０．００１［ｍｍ］ずつ移動する。なお、１回の移動ごとに、撮影された画像から、第一コントラストＡＦ部１３００、第二コントラストＡＦ部１３０１、及び第三コントラストＡＦ部１３０２は、コントラスト検出型ＡＦに基づいて最大コントラスト値Ｃｉ,ｉ＝０，１，２を計測する。さらに、それら最大コントラスト値Ｃｉ,ｉ＝０，１，２を計測した時の、フォーカスレンズの位置ｆｉを記録する。
【００５１】
最後に、ステップ１００４において、各撮像部について得られる最大コントラスト値Ｃｉのうち、最大となる最大値Ｃｍを特定し、Ｃｍに対応するフォーカスレンズの位置をｆｉの中から抽出する。以上のＡＦ処理により、最終的なフォーカス位置を決定する。
【００５２】
＜カメラ情報読み込み処理＞
カメラ情報読込部５００は、図８に示すように、カメラ台数取得部６００と、フォーカスレンズ可動範囲取得部６０１とから構成される。
【００５３】
カメラ台数取得部６００は、撮像部の数を取得する。
【００５４】
フォーカスレンズ可動範囲取得部６０１は、各撮像部のフォーカスレンズが移動できる範囲を取得する。
【００５５】
図１１のフローチャートは、図１０のステップ１００１の詳細を示している。このフローチャートを参照して、カメラ情報読み込み部５００によるカメラパラメータＰの取得処理の詳細を説明する。
【００５６】
まず、ステップ１１０１において、カメラ台数取得部６００は、カメラ台数Ｎ＝３[台]を取得する。
【００５７】
次に、ステップ１１０２において、フォーカスレンズ可動範囲取得部６０１は、フォーカスレンズの可動範囲ｄ＝９[ｍｍ]を取得する。なお、フォーカスレンズの稼動範囲ｄを概念的に示したのが図１５である。
【００５８】
このように、カメラパラメータを取得して処理が終了する。
【００５９】
＜フォーカス位置探索範囲決定処理＞
フォーカス位置探索範囲決定部５０１は、図９に示すようにフォーカスレンズ移動距離算出部７００と、撮像部フォーカス探索範囲決定部７０１とから構成される。
【００６０】
フォーカスレンズ移動距離算出部７００は、各撮像部がどのような範囲に対してコントラスト値算出処理を行うかを決定する。撮像部フォーカス探索範囲決定部７０１は、各撮像部について、コントラスト値算出処理を実行する際に必要となる開始位置と終了位置とを決定する。
【００６１】
図１２のフローチャートは、図１０のステップ１００２の詳細を示している。このフローチャートを参照して、フォーカス位置探索範囲決定部５０１によるフォーカス位置探索範囲決定処理の詳細を説明する。
【００６２】
ステップ１２０１において、フォーカスレンズ移動距離算出部７００は、可動範囲ｄを撮像部の数Ｎで分割することにより、各個のＡＦ測距範囲Ｄを決定する（式１）。このDは、図４（ｂ）に示す撮像部１０１，１０２，１０３のＡＦ対象区間Ａ，Ｂ，Ｃに対応する。
【００６３】
【数１】
【００６４】
次に、ステップ１２０２では、撮像部フォーカス探索範囲決定部７０１が、図４（ｂ）に示す撮像部１０１，１０２，１０３に対応する矢印の起点Ｓｉ（ｉ＝０，１，２）を以下の式２に基づいて決定する。ｉ＝０，１，２は、それぞれ撮像部１０１，１０２，１０３の起点に対応している。
【００６５】
【数２】
【００６６】
ａは初期値を調整するパラメータであり、今回は０が入る。各個のＡＦの測定は、それぞれＳｉから開始されて、Ｄだけ移動して、コントラスト値算出処理は終了する。なお、フォーカスレンズの制御モータなどの制限上、厳密にＤだけ移動する事は難しい場合がある為、式３の様に精度を考慮した設定にすることもできる。
【００６７】
【数３】
【００６８】
以上のように処理して、フォーカス位置探索範囲決定部５０１は、開始位置と、終了位置とを決定する。
【００６９】
以上、実施形態による説明の通り、本発明は、各撮像部におけるフォーカスレンズの移動範囲を限定することによりＡＦに係る処理の時間を短縮することができる。
【００７０】
（実施形態２）
まず、図１４と図１６を利用して、本発明の実施形態２に係る動作原理について説明する。
【００７１】
＜動作原理＞
実施形態１では、フォーカスレンズの可動範囲全てに対してコントラスト値算出処理を行っている。フォーカス処理にかかる時間は、レンズが可動範囲全てを走査する時間であるため、実施形態１では、可動範囲を分割して限定する事により、ＡＦ処理の高速化を実現している。これに対し実施形態２では、フォーカスレンズの可動範囲の一部だけを走査する事で、さらに高速化するものである。
【００７２】
なお、レンズの可動範囲の一部とは、カメラモードに応じて設定されるものである。例えば、図１６（ａ）は、遠方にある山や木の撮影を想定して設定された各撮像部のＡＦ測距範囲を示している。実施形態１では、図１６に示すｄをフォーカス可能な範囲として全てカバーするように各撮像部のＡＦ範囲を設定している。しかし、実施形態２では、被写体が遠方にある事を前提としているので、ＡＦ測距範囲が遠方のみをカバーするように処理する。例えば、図１６（ｂ）は、人物写真など、被写体が比較的近距離に存在する場合を想定している為、ＡＦ測距範囲は、中距離の範囲内のみをカバーしている。また、図１６（ｃ）は、マクロ撮影を想定しており、ＡＦ測距範囲は、撮像装置からごく近距離のみをカバーしている。つまり、カメラモードが風景の時、ＡＦ測距範囲は、図１６（ａ）のようになり、人物の時、図１６（ｂ）、マクロの時、図１６（ｃ）となる。
【００７３】
なお、実施形態２は、実施形態１と比較して撮像部制御部２０８の構成だけが異なる。よって、以下では、実施形態２における撮像部制御部１２００の構成のみを説明する。
【００７４】
＜撮像部制御部２０８の構成＞
図１４は、実施形態２に係る撮像部制御部２０８の構成を示している。撮像部制御部２０８は、モード切替部１４００と、カメラ情報読込部５００と、フォーカス位置探索範囲決定部５０１から構成されている。
【００７５】
モード切替部１４００は、ユーザ或いは、ＣＰＵにより決定されるカメラモードに応じて、式１及び式２に示すａ，ｄの値を変更する。なお、カメラ情報読込部５００と、フォーカス位置探索範囲決定部５０１は実施形態１と同じ動作をする。
【００７６】
次に、図１７のフローチャートを参照して、フォーカス位置探索範囲決定部５０１の動作の詳細を説明する。
【００７７】
探索範囲算出処理がスタートすると、まず、Ｓ１７０１で、カメラモード（ｍｏｄｅ）を取得する。例えば、カメラモードが風景の場合はｍｏｄｅ＝０、人物の場合はｍｏｄｅ＝１、マクロの場合はｍｏｄｅ＝２のように設定されており、現在設定されているモードに応じた、モードを識別するための数値を取得する。
【００７８】
次に、Ｓ１７０２で、取得したｍｏｄｅの値を判別する。ｍｏｄｅの値に応じて、処理がＳ１７０３、Ｓ１７０４、Ｓ１７０５に進む。
【００７９】
取得したｍｏｄｅが０の場合、Ｓ１７０３で、ａ＝６＊９０／９＝６０、ｄ＝３×９０／９に設定する。
【００８０】
取得したｍｏｄｅが１の場合、Ｓ１７０４で、ａ＝２＊９０／９、ｄ＝３×９０／９に設定する。
【００８１】
取得したｍｏｄｅが２の場合、Ｓ１７０５で、ａ＝０、ｄ＝９０／９に設定する。
【００８２】
以上の処理手順に従ってａ、ｄの値が設定されると、探索範囲算出処理が終了する。
【００８３】
尚、本実施形態では、奥行き方向（レンズから被写体の方向）のＡＦ測距範囲を分割しているが、水平・垂直方向を撮像部の画角や設置場所に応じて分割するようにしても構わない。
【００８４】
ここで、図１８は、画角が異なる二つの撮像部で構成された二眼式の多眼カメラを上から見下ろした模式図である。この多眼カメラは、各撮像部で撮影した画像を重ね合わせることにより高画質化する。よって、最終的にユーザが取得する高画質画像は、図１８に示す太線で囲まれた、両方の撮像部に投影した被写体のみが存在する事になる。ここで、撮像部１０１に着目すると、被写体は画角の右半分のみに存在する。つまり、画角の左半分にはＡＦ処理を施す必要はない。図１９は、図１８に対応したプレビュー画面内のＡＦ測距範囲を表している。撮像部１０１は、図１９（ａ）のプレビュー画面に、撮像部１０２は、図１９（ｂ）に対応している。図１９において、実線で示す矩形はＡＦ測距領域を表し、破線で示す矩形はＡＦ測距しない領域である。図１９に示す通り、撮像部１０２は、画面全体でＡＦを行い、撮像部１０１では、右側だけでＡＦ測距する。このように、撮像部の画角に応じて、被写体が存在しない領域に対してはＡＦ処理を省いて、ＡＦの速度を向上させることが可能になる。
【００８５】
より具体的な例について、図２０を参照して説明する。
【００８６】
θ１＝６０°、とθ２＝２０°とはそれぞれ、撮像部１０１、１０２の画角を表している。ｌ＝１０ｍｍは、カメラ間の基線長を表し、ｈ１は、ＡＦ測距の不必要な領域の範囲を示し、ｈ２は被写体が存在する為、ＡＦ測距が必要となる領域の範囲を示す。カメラモードが人物に設定されており、距離ｄ＝５０００ｍｍ以内に被写体が存在する場合、ｈ１とｈ２の比率は式４のようになる。
【００８７】
【数４】
【００８８】
よって、このモードでは、図１９を画面全体の１０／（１０＋７）に相当するｈ１の範囲についてＡＦ測距されない。
【００８９】
（実施形態３）
まず、図２１を用いて、実施形態３に係る発明の動作原理について説明する。なお、図２１は、実施形態３に係るＡＦ処理において、各撮像部のフォーカスレンズを移動させる範囲を概念的に表した図である。
【００９０】
＜発明の原理＞
実施形態１では、各撮像部がＡＦ測距範囲を分担した。その際に実施されるＡＦ処理において、フォーカスレンズはカメラモジュールで規定されている最小移動量ずつ移動している。一方、本実施形態では、図２１（ａ）に示すように、まず、各ＡＦ測距範囲を３回だけコントラスト値を算出する。つまり、荒くコントラストＡＦする。次に、図２１（ｂ）に示すように、最もコントラスト値が大きかった区間を３分割して、それぞれ３回ＡＦ測距する。この動作を繰り返し、最終的に図２１（ｃ）に示すようにフォーカス位置を決定する。
【００９１】
＜画像処理部２２００の構成＞
次に、本実施形態において特徴となる画像処理部２２００の構成を説明する。
【００９２】
図２２に示すように、画像処理部２２００は、画像処理部２２０２，２２０３と、パラメータ変更部２２０１と、で構成されている。なお、画像処理部２２００は、図２に示す画像処理部２１２である。パラメータ変更部２２０１は、パラメータｓｉ、ｅｉ、Ｍを変更する。
【００９３】
次に、画像処理部２２００の動作を図２３のフローチャートを参照して詳細に説明する。
【００９４】
まず、画像処理が開始すると、ステップ２３０１で、フォーカスレンズの最小動き量Ｍを０．１［ｍｍ］に設定する。なお、フォーカスレンズは最小で０．０１［ｍｍ］ずつ移動可能である。
【００９５】
次に、ステップ２３０２で、画像処理部２１２と同じ画像処理を行う。つまり、最小動き量Ｍが０．１［ｍｍ］に設定されていることにより、図２１（ａ）に示すように、荒いコントラストＡＦ処理が実行される。
【００９６】
次に、ステップ２３０３で、ｓｉ、ｅｉ、Ｍの値を変更する。具体的には、ステップ２３０２で得られた各撮像部の最大コントラスト値を算出した区間、例えばｋ２(図２１（ａ）)で最大コントラスト値を検出すれば、ｓｉ及びｅｉは、ｋ２区間内に図２１（ｂ）のように再設定される。そして、Ｍは０．０１［ｍｍ］に設定される。
【００９７】
次に、ステップ２３０４では、再設定されたｓｉ、ｅｉ、Ｍに応じて画像処理部２１２と同じ動作をする。その結果、図２１（ｃ）に示すように最終的なフォーカス位置が決定される。本実施例では、ＡＦを二回に分けてピント位置を追い込んだが、フォーカスレンズの可動域が長い場合は、当該動作を所定の回数繰り返すようにしてＡＦ処理を行い、ピント位置を追い込んでも良い。
【００９８】
（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
複数の撮像部を備える多眼式撮像装置であって、
前記撮像部が備えるフォーカスレンズを駆動させる駆動範囲を、前記撮像部の間で重複しないように設定する設定手段と、
設定された駆動範囲内でフォーカスレンズの位置を変更しながら前記撮像部それぞれによって撮像された各画像についてフォーカスの程度を評価する評価手段と、
前記各画像について得られるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する決定手段と
を備えることを特徴とする多眼式撮像装置。
【請求項２】
前記設定手段は、撮影のモードに応じて、前記撮像部のフォーカスレンズの駆動範囲を設定することを特徴とする請求項１に記載の多眼式撮像装置。
【請求項３】
前記設定手段は、撮像された各画像のうち、フォーカスの程度が最も高い画像が撮像されたフォーカスレンズの位置に対応する駆動範囲を前記撮像部の数に応じて分割した新たな駆動範囲を算出して各前記撮像部に対し設定し、
前記評価手段は、新たな駆動範囲内でフォーカスレンズの位置を変更しながら前記撮像部それぞれによって撮像された各画像についてフォーカスの程度をさらに評価し、
前記決定手段は、前記設定手段による設定と、前記評価手段による評価とを所定の回数繰り返すことにより、狭められた駆動範囲内におけるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する
ことを特徴とする請求項１に記載の多眼式撮像装置。
【請求項４】
複数の撮像部を備える多眼式撮像装置における撮像方法であって、
前記撮像部が備えるフォーカスレンズを駆動させる駆動範囲を、前記撮像部の間で重複しないように設定する設定ステップと、
設定された駆動範囲内でフォーカスレンズの位置を変更しながら前記撮像部それぞれによって撮像された各画像についてフォーカスの程度を評価する評価ステップと、
前記各画像について得られるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する決定ステップと
を備えることを特徴とする撮像方法。
【請求項５】
請求項４に記載の撮像方法を多眼式撮像装置に実行させるためのプログラム。
【請求項１】
複数の撮像部を備える多眼式撮像装置であって、
前記撮像部が備えるフォーカスレンズを駆動させる駆動範囲を、前記撮像部の間で重複しないように設定する設定手段と、
設定された駆動範囲内でフォーカスレンズの位置を変更しながら前記撮像部それぞれによって撮像された各画像についてフォーカスの程度を評価する評価手段と、
前記各画像について得られるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する決定手段と
を備えることを特徴とする多眼式撮像装置。
【請求項２】
前記設定手段は、撮影のモードに応じて、前記撮像部のフォーカスレンズの駆動範囲を設定することを特徴とする請求項１に記載の多眼式撮像装置。
【請求項３】
前記設定手段は、撮像された各画像のうち、フォーカスの程度が最も高い画像が撮像されたフォーカスレンズの位置に対応する駆動範囲を前記撮像部の数に応じて分割した新たな駆動範囲を算出して各前記撮像部に対し設定し、
前記評価手段は、新たな駆動範囲内でフォーカスレンズの位置を変更しながら前記撮像部それぞれによって撮像された各画像についてフォーカスの程度をさらに評価し、
前記決定手段は、前記設定手段による設定と、前記評価手段による評価とを所定の回数繰り返すことにより、狭められた駆動範囲内におけるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する
ことを特徴とする請求項１に記載の多眼式撮像装置。
【請求項４】
複数の撮像部を備える多眼式撮像装置における撮像方法であって、
前記撮像部が備えるフォーカスレンズを駆動させる駆動範囲を、前記撮像部の間で重複しないように設定する設定ステップと、
設定された駆動範囲内でフォーカスレンズの位置を変更しながら前記撮像部それぞれによって撮像された各画像についてフォーカスの程度を評価する評価ステップと、
前記各画像について得られるフォーカスの程度に基づいて最適なフォーカスレンズの位置を決定する決定ステップと
を備えることを特徴とする撮像方法。
【請求項５】
請求項４に記載の撮像方法を多眼式撮像装置に実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−３０９６２（Ｐ２０１３−３０９６２Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６５３２１（Ｐ２０１１−１６５３２１）
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]