撮像装置、方法およびプログラム
【課題】左右の合焦位置/露出レベルなどの撮像条件がずれないようにして、良好な立体感が得られるようにする。
【解決手段】AF評価エリア算出部は、視差量算出部の算出した最終視差ベクトル(Δx,Δy)と、第2画像データ用のAF評価エリアの中心座標(X,Y)とに基づいて、第1画像データ用のAF評価エリアの中心座標(X+Δx,Y+Δy)を算出する。第1撮像部の各移動位置での撮像で得られた第1画像データの各々に中心座標(X+Δx,Y+Δy)を有する所定形状・所定サイズのAF評価エリアR1−Rを設定する。そして、各移動位置に対応する第1画像データのAF評価エリアR内の画像データに基づいて、各移動位置に対応する第1AF評価値を算出するようAF検出部を制御する。
【解決手段】AF評価エリア算出部は、視差量算出部の算出した最終視差ベクトル(Δx,Δy)と、第2画像データ用のAF評価エリアの中心座標(X,Y)とに基づいて、第1画像データ用のAF評価エリアの中心座標(X+Δx,Y+Δy)を算出する。第1撮像部の各移動位置での撮像で得られた第1画像データの各々に中心座標(X+Δx,Y+Δy)を有する所定形状・所定サイズのAF評価エリアR1−Rを設定する。そして、各移動位置に対応する第1画像データのAF評価エリアR内の画像データに基づいて、各移動位置に対応する第1AF評価値を算出するようAF検出部を制御する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視差を有する複数の光学系を備えた撮像装置に関し、特に各光学系間のAF処理またはAE処理のずれを防ぐ技術に関する。
【背景技術】
【0002】
特許文献1によると、左右の対物光学系を通じて形成される左右の視差像を交互に撮像させるとともに、左右の対物光学系にそれぞれ設けられたミラーを回動させて左右の対物光学系の輻輳距離を調節可能な立体撮影光学装置において、自動合焦機能を有する自動合焦手段と、交互に撮影させた左右の視差像のそれぞれの像ごとに自動合焦手段を機能させることが可能な自動合焦手段を持つ。
【0003】
特許文献2によると、立体撮像装置は、左眼、または、右眼用撮像情報を得る2つのレンズ系と、レンズ系に係るフォーカス位置,視線方向角度等を検出する検出回路と、検出された情報に基づき2つのレンズ系に対して共通の被写体の合焦検出用範囲を演算するエリア演算回路や距離演算回路等を内蔵するCPUと、演算された共通の検出範囲でピント調節を行うピント調節用カメラ駆動回路とで主に構成される。
【0004】
特許文献3はスポット測光、重点平均測光、平均測光の一例を示す。スポット測光とは、所定領域のみを限定的に測光する方式である。重点平均測光とは、所定領域に重みをつけて撮影画面の全領域を平均測光する方式である。平均測光とは、所定領域に重みをつけず撮影画面の全領域を平均測光する方式である。
【0005】
特許文献4はステレオカメラでの特徴点および対応点の検出技術の一例である。
【0006】
特許文献5はフラッシュ調光の一例である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2005−173270号公報
【特許文献2】特開平8−194274号公報
【特許文献3】特開2008−209760号公報
【特許文献4】特開2009−47498号公報
【特許文献5】特開2009−282117号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
両眼視差を持つ立体撮像装置では、両眼視差が存在するため、従来と同様に合焦エリア/測光エリアを中央に設定すると、左右レンズの合焦位置/露出レベルにずれが生じる可能性がある。この問題を解決するために、特許文献1および2では、左右のレンズの合焦位置を一致させている。
【0009】
特許文献1では、左右レンズでそれぞれAFを行い、一方の合焦位置に、他方のフォーカスレンズを設定することによりAF合焦位置ズレを防いでいる。しかし、合焦位置が立体視可能範囲以外にある可能性があり、この場合は適切な立体画像を得ることができない。
【0010】
特許文献2では、合焦位置が立体視可能範囲外であっても、輻輳角を変更して、合焦位置で立体視しやすいようにしている。しかし、この輻輳角を変更する機構は複雑で、撮像装置が巨大化し、コストアップにつながる。
【0011】
本発明は、左右の合焦位置/露出レベルなどの撮像条件がずれないようにして、良好な立体感が得られるようなコンパクトで安価な立体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明は、基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部と、基準光学系と調整対象光学系の間の視差量を算出する視差量算出部と、基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定する設定部と、設定部の設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と視差量算出部の算出した視差量とに基づいて、調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出する算出部と、基準光学系からの視点画像に対応する設定部の設定した座標の撮像条件評価領域内の画像データと、調整対象光学系からの視点画像に対応する算出部の算出した座標の撮像条件評価領域内の画像データとに基づき、基準光学系および調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう撮像部を制御する制御部と、を備える撮像装置を提供する。
【0013】
好ましくは、撮像条件評価領域は合焦評価値算出領域を含む。
【0014】
好ましくは、基準光学系の焦点位置を変化させながら基準光学系からの視点画像において設定部の設定した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、基準光学系の焦点位置を検出された合焦位置に移動させる基準光学系合焦制御部と、調整対象光学系の焦点位置を変化させながら調整対象光学系からの視点画像において算出部の算出した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、調整対象光学系の焦点位置を検出された合焦位置に移動させる調整対象光学系合焦制御部と、を備える。
【0015】
好ましくは、撮像条件評価領域は被写体輝度算出領域を含む。
【0016】
好ましくは、基準光学系からの視点画像において設定部の設定した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう基準光学系の露出を制御する基準光学系露出制御部と、調整対象光学系からの視点画像において算出部の算出した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう調整対象光学系の露出を制御する調整対象光学系露出制御部と、を備える。
【0017】
好ましくは、基準光学系からの視点画像において設定部の設定した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう基準光学系の露出を制御する基準光学系露出制御部と、調整対象光学系からの視点画像において算出部の算出した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう調整対象光学系の露出を制御する調整対象光学系露出制御部と、を備える。
【0018】
好ましくは、撮像条件評価領域は調光用の輝度算出領域を含む。
【0019】
好ましくは、視差量算出部は、設定部が座標を設定した基準光学系に対応する撮像条件評価領域から検出された特徴点と、調整対象光学系からの視点画像において特徴点に対応する対応点とを結ぶ視差ベクトルに基づいて、基準光学系と調整対象光学系の間の視差量を算出する。
【0020】
好ましくは、視差量算出部は、クロスポイント調整量、自動視差調整量および手動視差調整量のうち少なくとも1つに応じて視差量を算出する。
【0021】
好ましくは、撮像部の出力した左右の視点画像に基づいて立体画像を出力する立体画像出力部を備える。
【0022】
本発明は、基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部を備えた撮像装置が、基準光学系と調整対象光学系の間の視差量を算出するステップと、基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定するステップと、設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と視差量算出部の算出した視差量とに基づいて、調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出するステップと、基準光学系からの視点画像に対応する設定した座標の撮像条件評価領域内の画像データと、調整対象光学系からの視点画像に対応する算出した座標の撮像条件評価領域内の画像データとに基づき、基準光学系および調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう撮像部を制御するステップと、を実行する撮像方法を提供する。
【0023】
本発明は、この撮像方法を撮像装置に実行させるための撮像プログラムを提供する。
【発明の効果】
【0024】
本発明によると、複数の撮像光学系の間の撮像条件の評価のずれ(例えば合焦位置のずれまたは露出制御のずれ)を防ぎ、良好な立体画像を出力することができる。
【図面の簡単な説明】
【0025】
【図1】カメラの前面斜視図
【図2】第1実施形態に係るカメラのブロック図
【図3】第1・2画像データの一例を示す図
【図4】最終視差ベクトル(Δx,Δy)の算出を模式的に示した図
【図5】AF評価エリアの中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図6】第1撮影光学系1a・第2撮影光学系1bの視差の一例を示す図
【図7】第1撮影光学系1aは被写体SB1、第2撮影光学系1bは被写体SB2というそれぞれ異なる距離にある被写体に合焦した例を示す図
【図8】第1実施形態に係る撮影処理のフローチャート
【図9】AF評価エリアR1−L・R1−Rの一例を示す図
【図10】第2実施形態に係るカメラのブロック図
【図11】第2実施形態に係る撮影処理のフローチャート
【図12】スポット測光エリアR2−L・R2−Rの一例を示す図
【図13】スポット測光エリアの中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図14】第3実施形態に係るカメラのブロック図
【図15】第3実施形態に係る撮影処理のフローチャート
【図16】第2画像データの重み付け中心座標(X,Y)その小領域の一例を示す図
【図17】第2画像データの小領域ごとの重みの一例を示す図
【図18】重み付け中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図19】第1画像データに設定された重み付け中心座標(X+Δx,Y+Δy)およびその小領域の一例を示す図
【図20】第1画像データの小領域ごとの重みの一例を示す図
【図21】第4実施形態に係るカメラのブロック図
【図22】第4実施形態に係る撮影処理のフローチャート
【図23】フラッシュ調光エリアの一例を示す図
【図24】スポット測光エリアの中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図25】第5実施形態に係るカメラのブロック図
【図26】第5実施形態に係る撮影処理のフローチャート
【図27】第2画像データの重み付け中心座標(X,Y)その小領域の一例を示す図
【図28】第2画像データの小領域ごとの重みの一例を示す図
【図29】重み付け中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図30】第1画像データに設定された重み付け中心座標(X+Δx,Y+Δy)およびその小領域の一例を示す図
【図31】第1画像データの小領域ごとの重みの一例を示す図
【発明を実施するための形態】
【0026】
<第1実施形態>
図1はカメラ2の前面斜視図を示す。図1において、カメラ2の前面には、第1撮影光学系1aを保持する第1鏡筒4a、第2撮影光学系1bを保持する第2鏡筒4bが組み込まれているほか、フラッシュ5などが露呈している。第1及び第2鏡筒4a,4bは、水平方向に一定間隔を保って並設されており、撮影モード時にはカメラ本体から前方に繰り出し、電源オフ時又は画像再生モード時にはカメラ本体内に沈胴する。また、カメラ2の上面には、シャッタレリーズ操作に用いられるシャッタボタン6が設けられている。
【0027】
図示は省略するが、カメラ2の背面には、ズームボタン、メニューボタン、カーソルボタン等からなる操作部10と、モニター11とが設けられている。操作部10の適宜操作により、電源のオン/オフ、各種モード(撮影モード、再生モード等)の切り替え、ズーミングなどが行われる。モニター11は、パララックスバリア方式(或いはレンチキュラー方式)の3Dモニタであり、画像撮影時には電子ビューファインダとして、画像再生時には画像再生モニタとして機能する。ここでモニター11の方式はパララックスバリア方式やレンチキュラー方式に限るものではなく、その他の方式、例えば時分割方式や偏光フィルタ方式を採用してもよい。
【0028】
図2は、カメラ2の電気的構成を示す。第1撮影光学系1aは、レンズ光軸L1に沿って配列された、第1変倍レンズ21、第1フォーカスレンズ22、第1絞り23によって構成されている。第1変倍レンズ21は、直流モータおよびドライバで構成された第1変倍レンズ制御部24によって駆動される。第1フォーカスレンズ22は、直流モータおよびドライバで構成された第1フォーカスレンズ制御部25によって駆動される。第1絞り23は直流モータおよびドライバで構成された第1絞り制御部26によって駆動される。制御部24〜26の動作はメインCPU40(以下単にCPU40で表す)によって制御される。
【0029】
第1変倍レンズ制御部24は、操作部10のズームボタン(ただしボタンでなくリング状操作部材も可)へのテレまたはワイドのズーム方向情報の入力操作に応じて、第1変倍レンズ21をホームポジションを起点にレンズ光軸L1に沿ってテレ側(繰り出し側)/ワイド側(繰り込み側)に移動させ、焦点距離(撮影倍率)を変化させる。第1変倍レンズ21をテレ側に移動させると、長焦点となり撮影範囲は狭くなる。第1変倍レンズ21をワイド側に移動させると、短焦点となり撮影範囲は広くなる。
【0030】
フォーカスレンズ制御部25は、第1フォーカスレンズ22をレンズ光軸L1に沿って移動させ、ピント調整を行う。第1フォーカスレンズ22は、第1変倍レンズ21の移動に伴って、ピントがズレないように自動的に位置が調整されるようになっている。操作部10からは、段階的なズーム倍率(ズーム段)Z1、Z2・・・、Znが入力可能であるとする。その段階の数nは任意であるが、Z1はワイド端、Znはテレ端に対応する。
【0031】
CPU40には、ズームボタンから設定された目標ズーム方向が出力される。CPU40は、当該目標ズーム方向に従い、目標ズーム位置を設定する。目標ズーム方向がテレ方向であれば現在の第1変倍レンズ21の位置からテレ方向側にかけて最も近いズーム段を目標ズーム位置とし、目標ズーム方向がワイド方向であれば現在の第1変倍レンズ21からワイド方向側にかけて最も近いズーム段を目標ズーム位置とする。CPU40は、目標ズーム位置を第1変倍レンズ21の目標停止位置までのパルス数に換算し、第1変倍レンズ制御部24にそのパルス数に応じた駆動を行わせる。なお、パルス数0は、ホームポジションに対応する。
【0032】
第1イメージセンサ28は、第1変倍レンズ21及び第1フォーカスレンズ22によって結像された被写体光を受光し、受光量に応じた光電荷を受光素子に蓄積する。第1イメージセンサ28は、タイミングジェネレータ20(TG)から定期的に入力されるタイミング信号(クロックパルス)により光電荷蓄積・転送動作が制御され、撮影モード時には、1画面分の画像信号を所定周期ごとに取得し、順次、第1アナログ信号処理部27に入力する。なお、第1イメージセンサ28として、CCD型やMOS型の固体撮像装置が用いられる。
【0033】
第1アナログ信号処理部27は、第1イメージセンサ28から入力された1画面分の撮像信号を受け、各受光素子の蓄積電荷量に正確に対応したR,G,Bの画像データを増幅して第1A/D変換器29に入力する。第1A/D変換器29は、入力された画像データをアナログからデジタルに変換する。第1イメージセンサ28の撮像信号は、第1アナログ信号処理部27、第1A/D変換器29を介して、第1画像データ(右眼用画像データ)となる。
【0034】
第2撮影光学系1bは、第1撮影光学系1aと同一の構成であり、第2変倍レンズ制御部34によって駆動される第2変倍レンズ31、第2フォーカスレンズ制御部36によって駆動される第2フォーカスレンズ32、第2絞り制御部37によって駆動される第2絞り38によって構成されている。各制御部34,36,37の動作はCPU40によって制御される。
【0035】
なお、第2撮影光学系1bの各部材は、第1撮影光学系1aの各部材と同質のものが用いられている。また、第1撮影光学系1aと第2撮影光学系1bとは、基本的に同期が取られており、それぞれ連動して撮像動作を行うが、制御速度向上などの目的でそれぞれの撮影光学系を個別に動かしてもよい。左右のどちらの光学系が第1撮影光学系1aあるいは第2撮影光学系1bになってもよく双方は技術的に入れ換え可能である。説明の便宜上、基準撮像部は左の第2撮影光学系1b、調整対象撮像部は右の第1撮影光学系1aとするが、両者が入れ代わってもよい。
【0036】
第2アナログ信号処理部35、第2A/D変換器39は、前述の第1アナログ信号処理部、A/D変換器29とそれぞれ同一の構成である。第2イメージセンサ33の撮像信号は、第2アナログ信号処理部35、第2A/D変換器39を介して、第2画像データ(左眼用画像データ)となる。
【0037】
第1・第2A/D変換器29,39から出力された第1及び第2画像データは、それぞれ画像入力コントローラ39a・39bを介してデジタル信号処理部41,42に入力される。デジタル信号処理部41,42は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第1・2画像データの各々に施す。デジタル信号処理部41で処理されて所定周期ごとに出力された第1画像データは、VRAM43に入力される。デジタル信号処理部42で処理されて所定周期ごとに出力された第2画像データは、VRAM43に入力される。
【0038】
VRAM43は、第1及び第2画像データを一時的に格納する作業用メモリである。なお、VRAM43にすでに第1及び第2画像データが記憶された状態で次の周期の第1及び第2画像データがVRAM43に入力された場合、すでに記憶された第1及び第2画像データは新しく入力された第1及び第2画像データで上書きされる。VRAM43で所定周期ごとに繰り返し上書き更新される第1及び第2画像データのことをスルー画像と呼ぶ。
【0039】
3D画像生成部45は、VRAM43に格納された第1及び第2画像データを、モニター11が立体表示を行うための立体画像データに合成する。表示制御部56は、撮影モード時においてモニター11が電子ビューファインダとして使用される際に、3D画像生成部45によって合成された立体画像データをモニター11にスルー画像として表示させる。
【0040】
撮影画像の記録について以下説明する。シャッタボタン6が押されたタイミングで第1撮影光学系1a、第2撮影光学系1bから取り込まれた画像は、それぞれアナログ信号処理27、35で処理された後、A/D29、39でデジタル信号に変換され、それぞれ画像入力コントローラ39a・39bを介してデジタル信号処理部41,42に入力される。デジタル信号処理部41,42は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第1・2画像データの各々に施す。デジタル信号処理部41、42で処理されて出力された第1・2画像データは、SDRAM52に記録される。圧縮伸張処理部47は、記憶された第1及び第2画像データに対して、JPEG方式等の圧縮形式により圧縮処理を施す。SDRAM52は、この圧縮処理に必要な一時的記憶領域として用いられる。メディア制御部48は、圧縮伸張処理部47によって圧縮処理された各画像データをメモリカード49に記録させる。
【0041】
このようにしてメモリカード49に記録された第1及び第2画像データをモニター11に再生表示させる場合、メモリカード49に記録された各画像データは、メディア制御部48によって読み出される。圧縮伸張処理部47によって伸張処理が行われた各画像データは、3D画像生成部45によって立体画像データに変換された後、表示制御部46を介してモニター11に再生表示される。
【0042】
モニター11の詳細な構造は図示しないが、モニター11は、その表面にパララックスバリア表示層を備えている。モニター11は、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで、観察者に画像の立体感を感得させることを可能とするものである。モニター11の方式は、のパララックスバリア方式に限るものではなく、同様の機能が実現できれば他の方式のものを使用してもよい。
【0043】
CPU40は、カメラ2の全体の動作を統括的に制御する。CPU40には、フラッシュ5の発光を制御するフラッシュ制御部72、操作部10が接続されている。また、CPU40にはフラッシュROM50が接続されている。フラッシュROM50は、電気的にデータを書き替えることが可能な不揮発性メモリであるが、空き容量が存在する限りいかなるデータも記憶できる。
【0044】
ROM51は、CPU40が各種処理を実行するための制御用プログラムを格納している。時計部70は、現在時刻をカウントしてこれをメインCPU40に出力する。姿勢検出センサー71は、CPU40から指示されたタイミング、例えばシャッタボタンが半押しされた時点でカメラ2が横置きか縦置かの撮影姿勢を検出し、その検出結果をCPU40に出力する。電源制御部80は、操作部10に含まれる電源スイッチのオンまたはオフ操作に応じてCPU40から発せられた電源オン信号またはオフ信号を検知すると、バッテリ81からカメラ2の各ブロックに供給される電源をオンまたはオフにする制御を行う。
【0045】
AF検出部44は、VRAM43に格納された第1画像データ及び第2画像データの各々からそれぞれ第1AF評価値および第2AF評価値を算出する。第1AF評価値および第2AF評価値は、各画像データのうちCPU40から指定された領域(例えば中央部)について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。第1・2AF評価値はAFが合焦点に近づくほど大きくなり、合焦時に最大となる。
【0046】
AE/AWB検出部73は、VRAM43に格納された第1画像データ及び第2画像データのそれぞれに基づいて被写体輝度を検出(被写体の明るさを測光)し、第1画像データ及び第2画像データから検出した被写体輝度をそれぞれ第1測光値・第2測光値とする。またAE/AWB検出部73は、VRAM43に格納された第1画像データ及び第2画像データのそれぞれに基づいて、第1WB値・第2WB値(ホワイトバランス)を検出する。露出値の算出の方式は任意であり、スポット測光、重点平均測光、平均測光のいずれでもよい。求められた第1・第2測光値、第1・第2WB値、及び第1・第2AF評価値はCPU40に通知され、第1撮影光学系1aおよび第2撮影光学系1bから得られた画像信号のAE、AWB、AFの制御に利用される。
【0047】
CPU40は、測光値、絞り値、感度、およびシャッタ秒時における相互間の対応関係を定義したプログラム線図をROM51からSDRAM52に読み出して参照し、AE/AWB検出部73で検出された第1測光値・第2測光値に対応する絞り値および感度をそれぞれ絞り制御部26・37およびイメージセンサ24・33に設定して露出制御を行う。
【0048】
視差量算出部82は、第1画像データ及び第2画像データの間の視差量を検出する。具体的には、視差量算出部82は、まず基準撮像部から得られた画像、ここでは第2撮影光学系1bから得られた第2画像データ(図3(a)参照)に対し、中心座標(X,Y)の設定された所定形状・所定サイズのAF評価エリアR1−Lの内部から複数の特徴点を抽出する。中心座標(X,Y)はROM51に予め設定保存されているが、CPU40や操作部10の指示により変更できてもよい。例えば、中心座標(X,Y)は画像データの中央部であるが、これに限られない。例えば、CPU40が基準撮像部からの画像で顔検出その他の特定種類の物体検出を行い、検出された物体の中心を中心座標(X,Y)に設定してもよい。またAF評価エリアRの形状は矩形に限らず、円形や楕円形などその他の形状でもよい。またAF評価エリアRのサイズも任意である。
【0049】
特徴点とは、複数の方向に強い信号勾配をもつ点(画素)であり、例えば、Harrisの手法や、Shi-Tomasiの手法を用いることで抽出できる。続いて、視差量算出部82は、第2画像データから抽出された各特徴点に対応する第1画像データ上の点である対応点を、第1画像データ(図3(b)参照)から抽出する。特徴点および対応点の検出手法は従来技術(例えば特許文献4)と同様にして行うことができる。この特徴点と対応点とを結ぶ線分が、視差ベクトルである。特徴点および対応点の組が複数あれば、その各々の組に対応する視差ベクトルが検出される。
【0050】
視差量算出部82は、以下の式に従って、最終視差ベクトル(Δx,Δy)を算出する。
【0051】
Δx=OAC_CP_ADJH+OAC_AUTO_ADJH+OAC_USR_ADJH
Δy=OAC_CP_ADJV+OAC_AUTO_ADJV+OAC_USR_ADJV
ここで、上記式のパラメータは以下のとおりであり、視差量の拡大または縮小に対応した符号を有する。
【0052】
OAC_CP_ADJH・OAC_CP_ADJV:それぞれ、水平(X)および垂直(Y)方向に関するクロスポイント調整量。すなわち、第1撮影光学系1a・第2撮影光学系1bの光軸L1・L2がある所定の距離のクロスポイントで交わるよう調整されるべきシフト量。
【0053】
OAC_AUTO_ADJH・OAC_AUTO_ADJV:それぞれ、水平(X)および垂直(Y)方向に関する自動視差調整量。この自動視差調整量は上述した特徴点と対応点とを結ぶ線分である視差ベクトルである。
【0054】
OAC_USR_ADJH・OAC_USR_ADJV:それぞれ、水平(X)および垂直(Y)方向に関するユーザ操作による視差調整量。これらのパラメータは操作部10に設けられた視差調整ボタンなどのユーザインターフェースから任意に設定できる。
【0055】
これらのパラメータが全て存在しなくとも、これらのパラメータの一部、すなわち少なくとも1つが存在していれば、他の存在しないパラメータの値は0とし、最終視差ベクトル(Δx,Δy)が算出されうる。
【0056】
視差量算出部82は、複数の視差ベクトルに基づいて最終視差ベクトルを算出して定めることもできる。同一距離にある被写体からは同じ長さの視差ベクトルが検出されるはずであるが、特徴点抽出の対象とした画像領域内に、距離の異なる被写体が混在していた場合、視差ベクトルが全て同じ長さになるとは限らない。よって、視差量算出部82は、以下の1〜4のルールの1つに従って最終視差ベクトル(Δx,Δy)を定める(図4参照)。どのルールを採用するかは任意である。
【0057】
1.複数の視差ベクトルの平均値を最終視差ベクトルに定める。
【0058】
2.複数の視差ベクトルの最頻値を最終視差ベクトルに定める。
【0059】
3.最も長い視差ベクトルを最終視差ベクトルに定める。
【0060】
4.最もカメラ2に近い被写体の視差ベクトルを最終視差ベクトルに定める。
【0061】
AF評価エリア座標算出部83は、視差量算出部82の検出した最終視差ベクトル(Δx,Δy)と、第2画像データ用のAF評価エリアの中心座標(X,Y)とに基づいて、第1画像データ用のAF評価エリアの中心座標(X+Δx,Y+Δy)を算出する(図5参照)。
【0062】
なお、第1画像データから特徴点を抽出し第2画像データから対応点を抽出して最終視差ベクトル(Δx’,Δy’)を検出してもよい。この場合、最終視差ベクトル(Δx’,Δy’)と第1画像データ用のAF評価エリアの中心座標(X’,Y’)とに基づいて、第2画像データ用のAF評価エリアの中心座標(X’+Δx’,Y’+Δy’)を算出する。要するに、第1画像データと第2画像データのいずれか一方に領域Rを設定してその内部の特徴点を抽出すれば、他方のAF評価エリアの中心座標を算出できる。
【0063】
第1撮影光学系1a・第2撮影光学系1bの光軸L1・L2の交点(「クロスポイント」ともいう)に被写体がない場合、従来技術のように合焦エリアを第1撮影光学系1a・第2撮影光学系1bともに同一の位置(例えば画像中央部)に設定したとすると、各AF評価エリアに含まれる被写体が異なるため、それらの評価値も異なり、AF処理により設定される第1撮影光学系1a・第2撮影光学系1bのフォーカスレンズ22・32の合焦位置も異なってくる。
【0064】
例えば図6に示すように、第1撮影光学系1a・第2撮影光学系1bの視差SBの影響で、第1撮影光学系1a・第2撮影光学系1bから被写体SB1・SB2までの距離はそれぞれ異なってくる。合焦エリアを第1撮影光学系1a・第2撮影光学系1bともに画像中央部に設定したとすると、図7に示すように、第1撮影光学系1aは被写体SB1、第2撮影光学系1bは被写体SB2というそれぞれ異なる距離にある被写体に合焦してしまう。そうすると、左右のフォーカスレンズの22・32の位置のずれの大きさが大きくなり、適切な立体画像が得られず、観察者の目の疲労の原因にもなる。本実施形態では、この合焦位置のずれを防ぐため、以下の撮影処理を実施する。
【0065】
図8は、本発明の好ましい第1実施形態に係る撮影処理のフローチャートを示す。この処理は、CPU40が実行を制御する。この処理をCPU40に実行させるためのプログラムはROM51に記憶されている。なお、CPU40と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、CPU40は必ずしもカメラ2に内蔵される必要はない。
【0066】
S1では、CPU40は、VRAM43に現在記憶されている第2画像データ(基準撮像部からの画像データ)におけるAF評価エリアR1−Lの中心座標(X,Y)を設定し、指定したAF評価エリアR1−L内の特徴点およびそれに対応する第1画像データの点である対応点の検出と検出された特徴点および対応点に基づく最終視差ベクトル(Δx,Δy)の算出を行うよう視差量算出部82を制御する(図4参照)。最終視差ベクトル(Δx,Δy)の算出タイミングは、撮影開始前であれば任意である。例えば、カメラ2の電源オン直後に、クロスポイント調整量の設定とユーザ操作による視差調整量が設定されてもよい。ただし、自動視差調整量の取得はシャッタボタンの半押し後に実行されてもよい。
【0067】
S2では、シャッタボタンが半押しされたか否かを判定する。半押しが判定された場合はS3に進み、半押しが判定されない場合は当該判定を繰り返す。
【0068】
S3では、上記第1・第2画像データから第1測光値・第2測光値・第1WB値・第2WB値を検出するようAE/AWB検出部73を制御する。AE/AWB検出部73の露出値の算出の方式は任意であるが、後述の第2または第3実施形態の方式でもよい。
【0069】
S4では、第1測光値・第2測光値・第1WB値・第2WB値の検出を終了したことに応じて以下のAF処理を開始する。まず、CPU40は、フォーカスレンズ22および32を至近から無限遠までの間の所定の範囲(以下、AFサーチ範囲という)において所定のステップごとに移動させる。
【0070】
S5では、基準撮像部、ここでは第2撮影光学系1bの各移動位置での撮像で得られた第2画像データの各々にAF評価エリアの中心座標(X,Y)を設定する。
【0071】
S6では、各移動位置に対応する第2画像データから、各移動位置に対応する第2AF評価値を取得する。すなわち、各移動位置に対応する第2画像データの各々に設定された中心座標(X,Y)を有する所定形状・所定サイズのAF評価エリアR1−L(図9(a)参照)内の画像データに基づいて、各移動位置に対応する第2AF評価値を算出するようAF検出部44を制御する。
【0072】
S7では、調整対象撮像部、ここでは第1撮影光学系1aから得られた第1画像データに対するAF評価エリアの中心座標(X+Δx,Y+Δy)を算出するようAF評価エリア座標算出部83を制御する(図5参照)。
【0073】
S8では、第1撮影光学系1aの各移動位置での撮像で得られた第1画像データの各々に中心座標(X+Δx,Y+Δy)を有する所定形状・所定サイズのAF評価エリアR1−Rを設定する(図9(b)参照)。そして、各移動位置に対応する第1画像データのAF評価エリアR内の画像データに基づいて、各移動位置に対応する第1AF評価値を算出するようAF検出部44を制御する。
【0074】
S9では、各移動位置に対応する第1AF点評価値の中の最大値に対応するフォーカスレンズ32の位置(第1合焦位置)にフォーカスレンズ22を移動させる。また、各移動位置に対応する第2AF評価値の中の最大値に対応するフォーカスレンズ32の位置(第2合焦位置)にフォーカスレンズ32を移動させる。
【0075】
S10では、フォーカスレンズ22が第1合焦位置に停止し、かつフォーカスレンズ32が第2合焦位置に停止したことに応じてS11に進む。
【0076】
S11では、シャッタボタンが全押しされたか否かを判断する。全押しされたと判断された場合はS12に進み、全押しされないと判断された場合はこの判断を繰り返す。
【0077】
S12では、記録用の第1・2画像データの撮像を行う。取得された画像データはメモリカード49に記憶される。
【0078】
なお、動画撮影時やコンティニュアスAF処理時は、半押しが判定されたことがトリガーとなってS3に進むのではなく、定期的にS3〜S10のルーチンを繰り返してもよい。また、基準光学系は少なくとも1つ存在すれば足り、調整対象光学系は複数あってもよい。
【0079】
以上の処理により、カメラ2は、基準撮像部と調整対象撮像部との間のAF評価エリアの視差がなくなるように、その中心座標を設定する(図9)。よって、左右の画像の合焦位置のずれを防ぎ、見易く疲れにくい安定した立体画像を撮像できる。
【0080】
<第2実施形態>
第1撮影光学系1a・第2撮影光学系1bの光軸L1・L2の交点(「クロスポイント」ともいう)に被写体がない場合(図6参照)にスポット測光方式のAE処理を実行したとする。従来技術のようにスポット測光エリアを第1撮影光学系1a・第2撮影光学系1bともに同一の位置(例えば画像中央部)に設定したとすると、視差の影響により、第1・第2画像データのスポット測光エリアに含まれる被写体が異なるため、AE処理により設定される第1撮影光学系1a・第2撮影光学系1bの露出も異なってくる。露出レベルが左右画像間で大きく異なると、適切な立体画像が得られず、観察者の疲労の原因となる。本実施形態では、この露出のずれを防ぐため、以下の撮影処理を実施する。
【0081】
図10は本発明の第2実施形態に係るカメラ2のブロックを例示する。第1実施形態と同一のブロックには同一の符号を付している。このカメラ2は、AE測光エリア座標算出部84を有している。
【0082】
以下、図11のフローチャートを参照し、本発明の好ましい第2実施形態に係る撮影処理の流れを説明する。この処理は、CPU40が実行を制御する。この処理をCPU40に実行させるためのプログラムはROM51に記憶されている。なお、CPU40と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、CPU40は必ずしもカメラ2に内蔵される必要はない。
【0083】
S21〜22はS1〜2と同様である。S21では最終視差ベクトル(Δx,Δy)が定められる。
【0084】
S23では、最終視差ベクトル(Δx,Δy)が定まったことに応じて以下のAE処理を開始する。
【0085】
S24では、シャッタボタン半押しに応じた基準撮像部、ここでは第2撮影光学系1bによる撮像で得られた画像データすなわち第2画像データに,中心座標(X,Y)を有する所定形状・所定サイズのスポット測光エリアR2−L(図12(a)参照)を設定するようAE/AWB検出部73を制御する。中心座標(X,Y)は予めROM51に設定保存されているが、CPU40や操作部10の指示により変更できてもよい。
【0086】
S25では、第2画像データに設定された測光エリアR2−L内の画像データから、第2測光値および第2WB値を算出するようAE/AWB検出部73を制御する(スポット測光)。
【0087】
S26では、第1画像データに対するAE評価エリアの中心座標(X+Δx,Y+Δy)を算出するようAE測光エリア座標算出部84を制御する(図13参照)。
【0088】
S27では、調整対象撮像部の各移動位置での撮像で得られた画像、ここでは第1撮影光学系1aの撮像で得られた第1画像データに中心座標(X+Δx,Y+Δy)を有する所定形状・所定サイズのスポット測光エリアR2−Rを設定するようAE/AWB検出部73を制御する(図12(b)参照)。そして、第1画像データのAE測光エリアR2−2内の画像データに基づいて、第1測光値・第1WB値を算出するようAE/AWB検出部73を制御する(スポット測光)。そして、得られた第1測光値・第1AWE値・第2測光値・第2WB値に基づいて露出制御を行う。
【0089】
S28〜S30では、AF処理を行う。このAF処理は第1実施形態のS4〜S10に記載したものが好ましいが、従来のAF処理でもよい。
【0090】
S31〜S32は、S11〜S12と同様である。
【0091】
以上の処理により、基準撮像部と調整対象撮像部の間の視差量だけスポット測光エリアがシフトされる。調整対象撮像部の左右の撮像系のスポット測光エリアの視差をなくし、測光値および露出レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。なお、基準撮像部第1撮影光学系1aとし、調整対象撮像部を第2撮影光学系1bとすることもできる。また、動画撮影時やコンティニュアスAE処理時は、半押しが判定されたことがトリガーとなってS23に進むのではなく、定期的にS23〜S30のルーチンを繰り返してもよい。
【0092】
<第3実施形態>
第1撮影光学系1a・第2撮影光学系1bの光軸L1・L2の交点(「クロスポイント」ともいう)に被写体がない場合(図6参照)に重点平均測光のAE処理を実行したとする。従来技術のように画像を区画する各小領域に対応する適正露出値算出の重みを第1撮影光学系1a・第2撮影光学系1bともに同一に設定したとすると、視差の影響により、同一位置の小領域に含まれる被写体部分が第1・第2画像データで異なるため、AE処理により設定される第1撮影光学系1a・第2撮影光学系1bの露出も異なってくる。露出レベルが左右画像間で大きく異なると、適切な立体画像が得られず、観察者の疲労の原因となる。本実施形態では、この露出のずれを防ぐため、以下の撮影処理を実施する。
【0093】
図14は本発明の第3実施形態に係るカメラ2のブロックを例示する。第1ないし2実施形態と同一のブロックには同一の符号を付している。このカメラ2は、AE測光エリア重み付け中心設定部85を有している。
【0094】
以下、図15のフローチャートを参照し、本発明の好ましい第3実施形態に係る撮影処理の流れを説明する。この処理は、CPU40が実行を制御する。この処理をCPU40に実行させるためのプログラムはROM51に記憶されている。なお、CPU40と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、CPU40は必ずしもカメラ2に内蔵される必要はない。
【0095】
S41〜42はS1〜2と同様である。S41では最終視差ベクトル(Δx,Δy)が定められる。
【0096】
S43では、最終視差ベクトル(Δx,Δy)が定まったことに応じて以下のAE処理を開始する。
【0097】
S44では、シャッタボタン半押しに応じた撮像で得られた第2画像データに,重み付け中心座標(X,Y)を設定するようAE/AWB検出部73を制御する(図16参照)。AE/AWB検出部73は、1画面分の第2画像データを所定個(例えば8x8=64個)の小領域に分割して、設定された重み付け中心座標(X,Y)に応じた小領域ごとの重みを決定する。中心座標(X,Y)は予めROM51に設定保存されているが、CPU40や操作部10の指示により変更できてもよい。
【0098】
図17は、AE/AWB検出部73が決定する第2画像データの小領域ごとの重みの一例を示す。重み付け中心座標(X,Y)の周囲の小領域には最も高い重み「8」を与え、小領域がその中心から離れるにつれて小さな重み「4」、「2」、または「1」を与える。図17のように(X,Y)が画面中心である場合は、いわゆる中央部重点平均測光となる。すなわち、主要被写体が撮影画面の中央付近にくることが多いことを考慮して撮影画面の中央付近の重み係数を大きくしている。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【0099】
S45では、AE/AWB検出部は、それぞれの小領域について被写体輝度を検出し、小領域ごとの被写体輝度に対応する重みを付けて露出演算処理を行ない、第2測光値を算出する。そして、求めた第2測光値に基づいて露出制御を行う。露出制御は特許文献3と同様にして行うことができる。
【0100】
S46では、第1画像データに対するAE評価エリアの重み付け中心座標(X+Δx,Y+Δy)を算出するようAE測光エリア重み付け中心設定部85を制御する(図18参照)。AE/AWB検出部73は、1画面分の第1画像データを所定個(例えば8x8=64個)の小領域に分割して、設定された重み付け中心座標(X+Δx,Y+Δy)に応じた小領域(図19参照)ごとの重みを決定する。
【0101】
図20は、AE/AWB検出部73が決定する第1画像データの小領域ごとの重みの一例を示す。重み付け中心座標(X+Δx,Y+Δy)の周囲の小領域には最も高い重み「8」を与え、小領域がその中心から離れるにつれて小さな重み「4」、「2」、または「1」を与える。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【0102】
S47では、AE/AWB検出部は、それぞれの小領域について被写体輝度を検出し、小領域ごとの測光値(被写体輝度)に対応する重みを付けて露出演算処理を行ない、第1測光値(露出値)を算出する。そして、求めた第1測光値に基づいて露出制御を行う。露出制御は特許文献3と同様にして行うことができる。すなわち、各小領域の被写体輝度の重み付け平均値を基に適正露出値を算出し、露出制御する。
【0103】
S48〜S50では、AF処理を行う。このAF処理は第1実施形態のS4〜S10に記載したものが好ましいが、従来のAF処理でもよい。
【0104】
S51〜S52は、S11〜S12と同様である。
【0105】
以上の処理により、左のAE測光エリアの重み付け中心座標を基準に、右のAE測光エリアを視差量だけシフトすることで、撮像系のAE測光エリアの重み付け中心座標の視差をなくし、測光値および露出レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。
【0106】
<第4実施形態>
上記のAF評価エリアやAE測光エリアに関する中心座標の設定と同様の設定は、フラッシュの調光エリアに関して行うこともできる。フラッシュの調光エリアとは、フラッシュ5の発光を伴わない露光および発光を伴う露光により得られる2つの画像間の輝度を比較し適正な発光量を決定するためのエリアである。
【0107】
図21は第4実施形態に係るカメラ2の電気的構成を示す。上記実施形態と同一のブロックには同一の符号を付している。このカメラ2は調光エリア座標算出部86を有する。
【0108】
図22は第4実施形態に係るカメラ2の実行する撮影処理のフローチャートを示す。
【0109】
S61〜S62は、S1〜S2と同様である。またS63は第2ないし第3実施形態と同様にしてもよいし通常のAE処理でもよい。またS64〜S66は、第1実施形態と同様にしてもよいし通常のAF処理でもよい。S67はS11と同様である。
【0110】
S68では、フラッシュ発光が予め操作部10などから設定されているか否かを判断する。フラッシュ発光設定の場合はS69、フラッシュ発光未設定の場合はS73に進む。このフラッシュ発光の設定はオートでもマニュアルでもよい。
【0111】
S69では、シャッタボタン全押しに応じ、基準撮像部、ここでは第2撮影光学系1bによる撮像で得られる画像データすなわち第2画像データに,中心座標(X,Y)を有する所定形状・所定サイズの調光エリア(図23(a)参照)を設定するようフラッシュ制御部72を制御する。中心座標(X,Y)は予めROM51に設定保存されているが、CPU40や操作部10の指示により変更できてもよい。
【0112】
S70では、CPU40は、上記実施形態のようにして算出された最終視差ベクトル(Δx,Δy)から、第1画像データに対するフラッシュ調光エリアの中心座標(X+Δx,Y+Δy)を算出するよう調光エリア座標算出部86を制御する(図24参照)。そしてCPU40は、シャッタボタン全押しに応じ、調整対象撮像部、ここでは第1撮影光学系1aによる撮像で得られる画像データすなわち第1画像データに,算出された中心座標(X+Δx,Y+Δy)を有する所定形状・所定サイズの調光エリア(図23(b)参照)を設定するようフラッシュ制御部72を制御する。
【0113】
S71では、CPU40は、フラッシュ5の予備発光を伴わない露光および予備発光を伴う露光に対応した第1撮影光学系1a・第2撮影光学系1bの撮像を2回行い、この非発光および発光状態で得られた2つの第1画像データおよび2つの第2画像データの各々に、それぞれ、中心座標(X+Δx,Y+Δy)および(X,Y)を有する所定形状・所定サイズの調光エリアを設定するようフラッシュ制御部72を制御する。
【0114】
CPU40は、取得された2つの第1画像データ内の対応する調光エリア(例えば図23(b)のような画像中央部を2×2に均等分割して得られた分割領域)における輝度との平均値の差分値と、2つの第2画像データ内の対応する調光エリア(例えば図23(a))における輝度との平均値の差分値とを算出する。
【0115】
CPU40は、第1撮影光学系1aおよび第2撮影光学系1bにそれぞれ対応する2つの差分値に基づいて、本撮影時におけるフラッシュの発光量を算出する。算出の方法は公知のものが採用できる。例えば、CPU40は、当該2つの差分値の平均(ないし重みづけ平均)から、フラッシュ発光量の予備発光に対する発光倍率と発光時間を算出する。
【0116】
S72では、CPU40は、シャッタボタン全押しに応じた記録用の第1・2画像データの撮像に際し、その発光時間でフラッシュ5を発光させるようフラッシュ制御部72を制御する。
【0117】
S73では、CPU40は、フラッシュ5の発光に同期して、記録用の第1・2画像データの撮像を行う。取得された画像データはメモリカード49に記憶される。
【0118】
以上の処理により、左の調光エリアの中心座標を基準に、右の調光エリアを視差量だけシフトすることで、撮像系の調光エリアの中心座標の視差をなくし、調光レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。
【0119】
<第5実施形態>
上記のAE測光エリアに関する重みづけ中心座標の設定と同様の設定は、フラッシュの調光エリアに関して行うこともできる。
【0120】
図25は第5実施形態に係るカメラ2の電気的構成を示す。上記実施形態と同一のブロックには同一の符号を付している。このカメラ2は調光エリア重み付け中心設定部87を有する。
【0121】
図26は第5実施形態に係るカメラ2の実行する撮影処理のフローチャートを示す。
【0122】
S81〜S93は、S89〜S92を除き、S61〜S73と同様である。
【0123】
S89では、シャッタボタン全押しに応じた撮像で得られる第2画像データに,重み付け中心座標(X,Y)を設定するよう調光エリア重み付け中心設定部87を制御する(図27参照)。調光エリア重み付け中心設定部87は、1画面分の第2画像データを所定個(例えば8x8=64個)の小領域に分割して、設定された重み付け中心座標(X,Y)に応じた小領域ごとの重みを決定する。中心座標(X,Y)は予めROM51に設定保存されているが、CPU40や操作部10の指示により変更できてもよい。
【0124】
図28は、調光エリア重み付け中心設定部87が決定する第2画像データの小領域ごとの重みの一例を示す。重み付け中心座標(X,Y)の周囲の小領域には最も高い重み「8」を与え、小領域がその中心から離れるにつれて小さな重み「4」、「2」、または「1」を与える。図28のように(X,Y)が画面中心である場合は、中央部に重点を置いた調光となる。すなわち、主要被写体が撮影画面の中央付近にくることが多いことを考慮して撮影画面の中央付近の重み係数を大きくしている。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【0125】
S90では、第1画像データに対するAE評価エリアの重み付け中心座標(X+Δx,Y+Δy)を算出するよう調光エリア重み付け中心設定部87を制御する(図29参照)。調光エリア重み付け中心設定部87は、1画面分の第1画像データを所定個(例えば8x8=64個)の小領域に分割して、設定された重み付け中心座標(X+Δx,Y+Δy)に応じた小領域(図30参照)ごとの重みを決定する。
【0126】
図31は、調光エリア重み付け中心設定部87が決定する第1画像データの小領域ごとの重みの一例を示す。重み付け中心座標(X+Δx,Y+Δy)の周囲の小領域には最も高い重み「8」を与え、小領域がその中心から離れるにつれて小さな重み「4」、「2」、または「1」を与える。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【0127】
S91では、CPU40は、フラッシュ5の予備発光を伴わない露光および予備発光を伴う露光に対応した第1撮影光学系1a・第2撮影光学系1bの撮像を2回行い、この非発光および発光状態で得られた2つの第1画像データおよび2つの第2画像データの各々に、それぞれ、重み付け中心座標(X+Δx,Y+Δy)および(X,Y)を有する所定形状・所定サイズの調光エリアを設定するようフラッシュ制御部72を制御する。
【0128】
CPU40は、取得された2つの第1画像データ内の対応する調光エリアにおける輝度の重みづけ平均値の差分値と、2つの第2画像データ内の対応する調光エリアにおける輝度の重みづけ平均値の差分値とを算出する。CPU40は、第1撮影光学系1aおよび第2撮影光学系1bにそれぞれ対応する2つの差分値に基づいて、本撮影時におけるフラッシュの発光量を算出する。算出の方法は公知のものが採用できる。例えば、CPU40は、当該2つの差分値の平均ないし重みづけ平均から、フラッシュ発光量の予備発光に対する発光倍率と発光時間を算出する。
【0129】
S92では、CPU40は、シャッタボタン全押しに応じた記録用の第1・2画像データの撮像に際し、その発光時間でフラッシュ5を発光させるようフラッシュ制御部72を制御する。
【0130】
以上の処理により、左の調光エリアの重み付け中心座標を基準に、右の調光エリアを視差量だけシフトすることで、撮像系の調光エリアの重み付け中心座標の視差をなくし、調光レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。
【符号の説明】
【0131】
1a:第1撮影光学系、1b:第2撮影光学系、21:第1ズームレンズ、22:第1フォーカスレンズ、23:第1絞り、28:第1イメージセンサ、31:第2ズームレンズ、32:第2フォーカスレンズ、38:第2絞り、33:第2イメージセンサ、45:3D画像生成部、82:視差量算出部、83:AF評価エリア座標算出部、84:AE測光エリア座標算出部、85:AE測光エリア重み付け中心設定部、86:調光エリア座標算出部、87:調光エリア重み付け中心設定部
【技術分野】
【0001】
本発明は、視差を有する複数の光学系を備えた撮像装置に関し、特に各光学系間のAF処理またはAE処理のずれを防ぐ技術に関する。
【背景技術】
【0002】
特許文献1によると、左右の対物光学系を通じて形成される左右の視差像を交互に撮像させるとともに、左右の対物光学系にそれぞれ設けられたミラーを回動させて左右の対物光学系の輻輳距離を調節可能な立体撮影光学装置において、自動合焦機能を有する自動合焦手段と、交互に撮影させた左右の視差像のそれぞれの像ごとに自動合焦手段を機能させることが可能な自動合焦手段を持つ。
【0003】
特許文献2によると、立体撮像装置は、左眼、または、右眼用撮像情報を得る2つのレンズ系と、レンズ系に係るフォーカス位置,視線方向角度等を検出する検出回路と、検出された情報に基づき2つのレンズ系に対して共通の被写体の合焦検出用範囲を演算するエリア演算回路や距離演算回路等を内蔵するCPUと、演算された共通の検出範囲でピント調節を行うピント調節用カメラ駆動回路とで主に構成される。
【0004】
特許文献3はスポット測光、重点平均測光、平均測光の一例を示す。スポット測光とは、所定領域のみを限定的に測光する方式である。重点平均測光とは、所定領域に重みをつけて撮影画面の全領域を平均測光する方式である。平均測光とは、所定領域に重みをつけず撮影画面の全領域を平均測光する方式である。
【0005】
特許文献4はステレオカメラでの特徴点および対応点の検出技術の一例である。
【0006】
特許文献5はフラッシュ調光の一例である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2005−173270号公報
【特許文献2】特開平8−194274号公報
【特許文献3】特開2008−209760号公報
【特許文献4】特開2009−47498号公報
【特許文献5】特開2009−282117号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
両眼視差を持つ立体撮像装置では、両眼視差が存在するため、従来と同様に合焦エリア/測光エリアを中央に設定すると、左右レンズの合焦位置/露出レベルにずれが生じる可能性がある。この問題を解決するために、特許文献1および2では、左右のレンズの合焦位置を一致させている。
【0009】
特許文献1では、左右レンズでそれぞれAFを行い、一方の合焦位置に、他方のフォーカスレンズを設定することによりAF合焦位置ズレを防いでいる。しかし、合焦位置が立体視可能範囲以外にある可能性があり、この場合は適切な立体画像を得ることができない。
【0010】
特許文献2では、合焦位置が立体視可能範囲外であっても、輻輳角を変更して、合焦位置で立体視しやすいようにしている。しかし、この輻輳角を変更する機構は複雑で、撮像装置が巨大化し、コストアップにつながる。
【0011】
本発明は、左右の合焦位置/露出レベルなどの撮像条件がずれないようにして、良好な立体感が得られるようなコンパクトで安価な立体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明は、基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部と、基準光学系と調整対象光学系の間の視差量を算出する視差量算出部と、基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定する設定部と、設定部の設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と視差量算出部の算出した視差量とに基づいて、調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出する算出部と、基準光学系からの視点画像に対応する設定部の設定した座標の撮像条件評価領域内の画像データと、調整対象光学系からの視点画像に対応する算出部の算出した座標の撮像条件評価領域内の画像データとに基づき、基準光学系および調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう撮像部を制御する制御部と、を備える撮像装置を提供する。
【0013】
好ましくは、撮像条件評価領域は合焦評価値算出領域を含む。
【0014】
好ましくは、基準光学系の焦点位置を変化させながら基準光学系からの視点画像において設定部の設定した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、基準光学系の焦点位置を検出された合焦位置に移動させる基準光学系合焦制御部と、調整対象光学系の焦点位置を変化させながら調整対象光学系からの視点画像において算出部の算出した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、調整対象光学系の焦点位置を検出された合焦位置に移動させる調整対象光学系合焦制御部と、を備える。
【0015】
好ましくは、撮像条件評価領域は被写体輝度算出領域を含む。
【0016】
好ましくは、基準光学系からの視点画像において設定部の設定した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう基準光学系の露出を制御する基準光学系露出制御部と、調整対象光学系からの視点画像において算出部の算出した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう調整対象光学系の露出を制御する調整対象光学系露出制御部と、を備える。
【0017】
好ましくは、基準光学系からの視点画像において設定部の設定した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう基準光学系の露出を制御する基準光学系露出制御部と、調整対象光学系からの視点画像において算出部の算出した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう調整対象光学系の露出を制御する調整対象光学系露出制御部と、を備える。
【0018】
好ましくは、撮像条件評価領域は調光用の輝度算出領域を含む。
【0019】
好ましくは、視差量算出部は、設定部が座標を設定した基準光学系に対応する撮像条件評価領域から検出された特徴点と、調整対象光学系からの視点画像において特徴点に対応する対応点とを結ぶ視差ベクトルに基づいて、基準光学系と調整対象光学系の間の視差量を算出する。
【0020】
好ましくは、視差量算出部は、クロスポイント調整量、自動視差調整量および手動視差調整量のうち少なくとも1つに応じて視差量を算出する。
【0021】
好ましくは、撮像部の出力した左右の視点画像に基づいて立体画像を出力する立体画像出力部を備える。
【0022】
本発明は、基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部を備えた撮像装置が、基準光学系と調整対象光学系の間の視差量を算出するステップと、基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定するステップと、設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と視差量算出部の算出した視差量とに基づいて、調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出するステップと、基準光学系からの視点画像に対応する設定した座標の撮像条件評価領域内の画像データと、調整対象光学系からの視点画像に対応する算出した座標の撮像条件評価領域内の画像データとに基づき、基準光学系および調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう撮像部を制御するステップと、を実行する撮像方法を提供する。
【0023】
本発明は、この撮像方法を撮像装置に実行させるための撮像プログラムを提供する。
【発明の効果】
【0024】
本発明によると、複数の撮像光学系の間の撮像条件の評価のずれ(例えば合焦位置のずれまたは露出制御のずれ)を防ぎ、良好な立体画像を出力することができる。
【図面の簡単な説明】
【0025】
【図1】カメラの前面斜視図
【図2】第1実施形態に係るカメラのブロック図
【図3】第1・2画像データの一例を示す図
【図4】最終視差ベクトル(Δx,Δy)の算出を模式的に示した図
【図5】AF評価エリアの中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図6】第1撮影光学系1a・第2撮影光学系1bの視差の一例を示す図
【図7】第1撮影光学系1aは被写体SB1、第2撮影光学系1bは被写体SB2というそれぞれ異なる距離にある被写体に合焦した例を示す図
【図8】第1実施形態に係る撮影処理のフローチャート
【図9】AF評価エリアR1−L・R1−Rの一例を示す図
【図10】第2実施形態に係るカメラのブロック図
【図11】第2実施形態に係る撮影処理のフローチャート
【図12】スポット測光エリアR2−L・R2−Rの一例を示す図
【図13】スポット測光エリアの中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図14】第3実施形態に係るカメラのブロック図
【図15】第3実施形態に係る撮影処理のフローチャート
【図16】第2画像データの重み付け中心座標(X,Y)その小領域の一例を示す図
【図17】第2画像データの小領域ごとの重みの一例を示す図
【図18】重み付け中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図19】第1画像データに設定された重み付け中心座標(X+Δx,Y+Δy)およびその小領域の一例を示す図
【図20】第1画像データの小領域ごとの重みの一例を示す図
【図21】第4実施形態に係るカメラのブロック図
【図22】第4実施形態に係る撮影処理のフローチャート
【図23】フラッシュ調光エリアの一例を示す図
【図24】スポット測光エリアの中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図25】第5実施形態に係るカメラのブロック図
【図26】第5実施形態に係る撮影処理のフローチャート
【図27】第2画像データの重み付け中心座標(X,Y)その小領域の一例を示す図
【図28】第2画像データの小領域ごとの重みの一例を示す図
【図29】重み付け中心座標(X+Δx,Y+Δy)の算出を模式的に示した図
【図30】第1画像データに設定された重み付け中心座標(X+Δx,Y+Δy)およびその小領域の一例を示す図
【図31】第1画像データの小領域ごとの重みの一例を示す図
【発明を実施するための形態】
【0026】
<第1実施形態>
図1はカメラ2の前面斜視図を示す。図1において、カメラ2の前面には、第1撮影光学系1aを保持する第1鏡筒4a、第2撮影光学系1bを保持する第2鏡筒4bが組み込まれているほか、フラッシュ5などが露呈している。第1及び第2鏡筒4a,4bは、水平方向に一定間隔を保って並設されており、撮影モード時にはカメラ本体から前方に繰り出し、電源オフ時又は画像再生モード時にはカメラ本体内に沈胴する。また、カメラ2の上面には、シャッタレリーズ操作に用いられるシャッタボタン6が設けられている。
【0027】
図示は省略するが、カメラ2の背面には、ズームボタン、メニューボタン、カーソルボタン等からなる操作部10と、モニター11とが設けられている。操作部10の適宜操作により、電源のオン/オフ、各種モード(撮影モード、再生モード等)の切り替え、ズーミングなどが行われる。モニター11は、パララックスバリア方式(或いはレンチキュラー方式)の3Dモニタであり、画像撮影時には電子ビューファインダとして、画像再生時には画像再生モニタとして機能する。ここでモニター11の方式はパララックスバリア方式やレンチキュラー方式に限るものではなく、その他の方式、例えば時分割方式や偏光フィルタ方式を採用してもよい。
【0028】
図2は、カメラ2の電気的構成を示す。第1撮影光学系1aは、レンズ光軸L1に沿って配列された、第1変倍レンズ21、第1フォーカスレンズ22、第1絞り23によって構成されている。第1変倍レンズ21は、直流モータおよびドライバで構成された第1変倍レンズ制御部24によって駆動される。第1フォーカスレンズ22は、直流モータおよびドライバで構成された第1フォーカスレンズ制御部25によって駆動される。第1絞り23は直流モータおよびドライバで構成された第1絞り制御部26によって駆動される。制御部24〜26の動作はメインCPU40(以下単にCPU40で表す)によって制御される。
【0029】
第1変倍レンズ制御部24は、操作部10のズームボタン(ただしボタンでなくリング状操作部材も可)へのテレまたはワイドのズーム方向情報の入力操作に応じて、第1変倍レンズ21をホームポジションを起点にレンズ光軸L1に沿ってテレ側(繰り出し側)/ワイド側(繰り込み側)に移動させ、焦点距離(撮影倍率)を変化させる。第1変倍レンズ21をテレ側に移動させると、長焦点となり撮影範囲は狭くなる。第1変倍レンズ21をワイド側に移動させると、短焦点となり撮影範囲は広くなる。
【0030】
フォーカスレンズ制御部25は、第1フォーカスレンズ22をレンズ光軸L1に沿って移動させ、ピント調整を行う。第1フォーカスレンズ22は、第1変倍レンズ21の移動に伴って、ピントがズレないように自動的に位置が調整されるようになっている。操作部10からは、段階的なズーム倍率(ズーム段)Z1、Z2・・・、Znが入力可能であるとする。その段階の数nは任意であるが、Z1はワイド端、Znはテレ端に対応する。
【0031】
CPU40には、ズームボタンから設定された目標ズーム方向が出力される。CPU40は、当該目標ズーム方向に従い、目標ズーム位置を設定する。目標ズーム方向がテレ方向であれば現在の第1変倍レンズ21の位置からテレ方向側にかけて最も近いズーム段を目標ズーム位置とし、目標ズーム方向がワイド方向であれば現在の第1変倍レンズ21からワイド方向側にかけて最も近いズーム段を目標ズーム位置とする。CPU40は、目標ズーム位置を第1変倍レンズ21の目標停止位置までのパルス数に換算し、第1変倍レンズ制御部24にそのパルス数に応じた駆動を行わせる。なお、パルス数0は、ホームポジションに対応する。
【0032】
第1イメージセンサ28は、第1変倍レンズ21及び第1フォーカスレンズ22によって結像された被写体光を受光し、受光量に応じた光電荷を受光素子に蓄積する。第1イメージセンサ28は、タイミングジェネレータ20(TG)から定期的に入力されるタイミング信号(クロックパルス)により光電荷蓄積・転送動作が制御され、撮影モード時には、1画面分の画像信号を所定周期ごとに取得し、順次、第1アナログ信号処理部27に入力する。なお、第1イメージセンサ28として、CCD型やMOS型の固体撮像装置が用いられる。
【0033】
第1アナログ信号処理部27は、第1イメージセンサ28から入力された1画面分の撮像信号を受け、各受光素子の蓄積電荷量に正確に対応したR,G,Bの画像データを増幅して第1A/D変換器29に入力する。第1A/D変換器29は、入力された画像データをアナログからデジタルに変換する。第1イメージセンサ28の撮像信号は、第1アナログ信号処理部27、第1A/D変換器29を介して、第1画像データ(右眼用画像データ)となる。
【0034】
第2撮影光学系1bは、第1撮影光学系1aと同一の構成であり、第2変倍レンズ制御部34によって駆動される第2変倍レンズ31、第2フォーカスレンズ制御部36によって駆動される第2フォーカスレンズ32、第2絞り制御部37によって駆動される第2絞り38によって構成されている。各制御部34,36,37の動作はCPU40によって制御される。
【0035】
なお、第2撮影光学系1bの各部材は、第1撮影光学系1aの各部材と同質のものが用いられている。また、第1撮影光学系1aと第2撮影光学系1bとは、基本的に同期が取られており、それぞれ連動して撮像動作を行うが、制御速度向上などの目的でそれぞれの撮影光学系を個別に動かしてもよい。左右のどちらの光学系が第1撮影光学系1aあるいは第2撮影光学系1bになってもよく双方は技術的に入れ換え可能である。説明の便宜上、基準撮像部は左の第2撮影光学系1b、調整対象撮像部は右の第1撮影光学系1aとするが、両者が入れ代わってもよい。
【0036】
第2アナログ信号処理部35、第2A/D変換器39は、前述の第1アナログ信号処理部、A/D変換器29とそれぞれ同一の構成である。第2イメージセンサ33の撮像信号は、第2アナログ信号処理部35、第2A/D変換器39を介して、第2画像データ(左眼用画像データ)となる。
【0037】
第1・第2A/D変換器29,39から出力された第1及び第2画像データは、それぞれ画像入力コントローラ39a・39bを介してデジタル信号処理部41,42に入力される。デジタル信号処理部41,42は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第1・2画像データの各々に施す。デジタル信号処理部41で処理されて所定周期ごとに出力された第1画像データは、VRAM43に入力される。デジタル信号処理部42で処理されて所定周期ごとに出力された第2画像データは、VRAM43に入力される。
【0038】
VRAM43は、第1及び第2画像データを一時的に格納する作業用メモリである。なお、VRAM43にすでに第1及び第2画像データが記憶された状態で次の周期の第1及び第2画像データがVRAM43に入力された場合、すでに記憶された第1及び第2画像データは新しく入力された第1及び第2画像データで上書きされる。VRAM43で所定周期ごとに繰り返し上書き更新される第1及び第2画像データのことをスルー画像と呼ぶ。
【0039】
3D画像生成部45は、VRAM43に格納された第1及び第2画像データを、モニター11が立体表示を行うための立体画像データに合成する。表示制御部56は、撮影モード時においてモニター11が電子ビューファインダとして使用される際に、3D画像生成部45によって合成された立体画像データをモニター11にスルー画像として表示させる。
【0040】
撮影画像の記録について以下説明する。シャッタボタン6が押されたタイミングで第1撮影光学系1a、第2撮影光学系1bから取り込まれた画像は、それぞれアナログ信号処理27、35で処理された後、A/D29、39でデジタル信号に変換され、それぞれ画像入力コントローラ39a・39bを介してデジタル信号処理部41,42に入力される。デジタル信号処理部41,42は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第1・2画像データの各々に施す。デジタル信号処理部41、42で処理されて出力された第1・2画像データは、SDRAM52に記録される。圧縮伸張処理部47は、記憶された第1及び第2画像データに対して、JPEG方式等の圧縮形式により圧縮処理を施す。SDRAM52は、この圧縮処理に必要な一時的記憶領域として用いられる。メディア制御部48は、圧縮伸張処理部47によって圧縮処理された各画像データをメモリカード49に記録させる。
【0041】
このようにしてメモリカード49に記録された第1及び第2画像データをモニター11に再生表示させる場合、メモリカード49に記録された各画像データは、メディア制御部48によって読み出される。圧縮伸張処理部47によって伸張処理が行われた各画像データは、3D画像生成部45によって立体画像データに変換された後、表示制御部46を介してモニター11に再生表示される。
【0042】
モニター11の詳細な構造は図示しないが、モニター11は、その表面にパララックスバリア表示層を備えている。モニター11は、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで、観察者に画像の立体感を感得させることを可能とするものである。モニター11の方式は、のパララックスバリア方式に限るものではなく、同様の機能が実現できれば他の方式のものを使用してもよい。
【0043】
CPU40は、カメラ2の全体の動作を統括的に制御する。CPU40には、フラッシュ5の発光を制御するフラッシュ制御部72、操作部10が接続されている。また、CPU40にはフラッシュROM50が接続されている。フラッシュROM50は、電気的にデータを書き替えることが可能な不揮発性メモリであるが、空き容量が存在する限りいかなるデータも記憶できる。
【0044】
ROM51は、CPU40が各種処理を実行するための制御用プログラムを格納している。時計部70は、現在時刻をカウントしてこれをメインCPU40に出力する。姿勢検出センサー71は、CPU40から指示されたタイミング、例えばシャッタボタンが半押しされた時点でカメラ2が横置きか縦置かの撮影姿勢を検出し、その検出結果をCPU40に出力する。電源制御部80は、操作部10に含まれる電源スイッチのオンまたはオフ操作に応じてCPU40から発せられた電源オン信号またはオフ信号を検知すると、バッテリ81からカメラ2の各ブロックに供給される電源をオンまたはオフにする制御を行う。
【0045】
AF検出部44は、VRAM43に格納された第1画像データ及び第2画像データの各々からそれぞれ第1AF評価値および第2AF評価値を算出する。第1AF評価値および第2AF評価値は、各画像データのうちCPU40から指定された領域(例えば中央部)について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。第1・2AF評価値はAFが合焦点に近づくほど大きくなり、合焦時に最大となる。
【0046】
AE/AWB検出部73は、VRAM43に格納された第1画像データ及び第2画像データのそれぞれに基づいて被写体輝度を検出(被写体の明るさを測光)し、第1画像データ及び第2画像データから検出した被写体輝度をそれぞれ第1測光値・第2測光値とする。またAE/AWB検出部73は、VRAM43に格納された第1画像データ及び第2画像データのそれぞれに基づいて、第1WB値・第2WB値(ホワイトバランス)を検出する。露出値の算出の方式は任意であり、スポット測光、重点平均測光、平均測光のいずれでもよい。求められた第1・第2測光値、第1・第2WB値、及び第1・第2AF評価値はCPU40に通知され、第1撮影光学系1aおよび第2撮影光学系1bから得られた画像信号のAE、AWB、AFの制御に利用される。
【0047】
CPU40は、測光値、絞り値、感度、およびシャッタ秒時における相互間の対応関係を定義したプログラム線図をROM51からSDRAM52に読み出して参照し、AE/AWB検出部73で検出された第1測光値・第2測光値に対応する絞り値および感度をそれぞれ絞り制御部26・37およびイメージセンサ24・33に設定して露出制御を行う。
【0048】
視差量算出部82は、第1画像データ及び第2画像データの間の視差量を検出する。具体的には、視差量算出部82は、まず基準撮像部から得られた画像、ここでは第2撮影光学系1bから得られた第2画像データ(図3(a)参照)に対し、中心座標(X,Y)の設定された所定形状・所定サイズのAF評価エリアR1−Lの内部から複数の特徴点を抽出する。中心座標(X,Y)はROM51に予め設定保存されているが、CPU40や操作部10の指示により変更できてもよい。例えば、中心座標(X,Y)は画像データの中央部であるが、これに限られない。例えば、CPU40が基準撮像部からの画像で顔検出その他の特定種類の物体検出を行い、検出された物体の中心を中心座標(X,Y)に設定してもよい。またAF評価エリアRの形状は矩形に限らず、円形や楕円形などその他の形状でもよい。またAF評価エリアRのサイズも任意である。
【0049】
特徴点とは、複数の方向に強い信号勾配をもつ点(画素)であり、例えば、Harrisの手法や、Shi-Tomasiの手法を用いることで抽出できる。続いて、視差量算出部82は、第2画像データから抽出された各特徴点に対応する第1画像データ上の点である対応点を、第1画像データ(図3(b)参照)から抽出する。特徴点および対応点の検出手法は従来技術(例えば特許文献4)と同様にして行うことができる。この特徴点と対応点とを結ぶ線分が、視差ベクトルである。特徴点および対応点の組が複数あれば、その各々の組に対応する視差ベクトルが検出される。
【0050】
視差量算出部82は、以下の式に従って、最終視差ベクトル(Δx,Δy)を算出する。
【0051】
Δx=OAC_CP_ADJH+OAC_AUTO_ADJH+OAC_USR_ADJH
Δy=OAC_CP_ADJV+OAC_AUTO_ADJV+OAC_USR_ADJV
ここで、上記式のパラメータは以下のとおりであり、視差量の拡大または縮小に対応した符号を有する。
【0052】
OAC_CP_ADJH・OAC_CP_ADJV:それぞれ、水平(X)および垂直(Y)方向に関するクロスポイント調整量。すなわち、第1撮影光学系1a・第2撮影光学系1bの光軸L1・L2がある所定の距離のクロスポイントで交わるよう調整されるべきシフト量。
【0053】
OAC_AUTO_ADJH・OAC_AUTO_ADJV:それぞれ、水平(X)および垂直(Y)方向に関する自動視差調整量。この自動視差調整量は上述した特徴点と対応点とを結ぶ線分である視差ベクトルである。
【0054】
OAC_USR_ADJH・OAC_USR_ADJV:それぞれ、水平(X)および垂直(Y)方向に関するユーザ操作による視差調整量。これらのパラメータは操作部10に設けられた視差調整ボタンなどのユーザインターフェースから任意に設定できる。
【0055】
これらのパラメータが全て存在しなくとも、これらのパラメータの一部、すなわち少なくとも1つが存在していれば、他の存在しないパラメータの値は0とし、最終視差ベクトル(Δx,Δy)が算出されうる。
【0056】
視差量算出部82は、複数の視差ベクトルに基づいて最終視差ベクトルを算出して定めることもできる。同一距離にある被写体からは同じ長さの視差ベクトルが検出されるはずであるが、特徴点抽出の対象とした画像領域内に、距離の異なる被写体が混在していた場合、視差ベクトルが全て同じ長さになるとは限らない。よって、視差量算出部82は、以下の1〜4のルールの1つに従って最終視差ベクトル(Δx,Δy)を定める(図4参照)。どのルールを採用するかは任意である。
【0057】
1.複数の視差ベクトルの平均値を最終視差ベクトルに定める。
【0058】
2.複数の視差ベクトルの最頻値を最終視差ベクトルに定める。
【0059】
3.最も長い視差ベクトルを最終視差ベクトルに定める。
【0060】
4.最もカメラ2に近い被写体の視差ベクトルを最終視差ベクトルに定める。
【0061】
AF評価エリア座標算出部83は、視差量算出部82の検出した最終視差ベクトル(Δx,Δy)と、第2画像データ用のAF評価エリアの中心座標(X,Y)とに基づいて、第1画像データ用のAF評価エリアの中心座標(X+Δx,Y+Δy)を算出する(図5参照)。
【0062】
なお、第1画像データから特徴点を抽出し第2画像データから対応点を抽出して最終視差ベクトル(Δx’,Δy’)を検出してもよい。この場合、最終視差ベクトル(Δx’,Δy’)と第1画像データ用のAF評価エリアの中心座標(X’,Y’)とに基づいて、第2画像データ用のAF評価エリアの中心座標(X’+Δx’,Y’+Δy’)を算出する。要するに、第1画像データと第2画像データのいずれか一方に領域Rを設定してその内部の特徴点を抽出すれば、他方のAF評価エリアの中心座標を算出できる。
【0063】
第1撮影光学系1a・第2撮影光学系1bの光軸L1・L2の交点(「クロスポイント」ともいう)に被写体がない場合、従来技術のように合焦エリアを第1撮影光学系1a・第2撮影光学系1bともに同一の位置(例えば画像中央部)に設定したとすると、各AF評価エリアに含まれる被写体が異なるため、それらの評価値も異なり、AF処理により設定される第1撮影光学系1a・第2撮影光学系1bのフォーカスレンズ22・32の合焦位置も異なってくる。
【0064】
例えば図6に示すように、第1撮影光学系1a・第2撮影光学系1bの視差SBの影響で、第1撮影光学系1a・第2撮影光学系1bから被写体SB1・SB2までの距離はそれぞれ異なってくる。合焦エリアを第1撮影光学系1a・第2撮影光学系1bともに画像中央部に設定したとすると、図7に示すように、第1撮影光学系1aは被写体SB1、第2撮影光学系1bは被写体SB2というそれぞれ異なる距離にある被写体に合焦してしまう。そうすると、左右のフォーカスレンズの22・32の位置のずれの大きさが大きくなり、適切な立体画像が得られず、観察者の目の疲労の原因にもなる。本実施形態では、この合焦位置のずれを防ぐため、以下の撮影処理を実施する。
【0065】
図8は、本発明の好ましい第1実施形態に係る撮影処理のフローチャートを示す。この処理は、CPU40が実行を制御する。この処理をCPU40に実行させるためのプログラムはROM51に記憶されている。なお、CPU40と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、CPU40は必ずしもカメラ2に内蔵される必要はない。
【0066】
S1では、CPU40は、VRAM43に現在記憶されている第2画像データ(基準撮像部からの画像データ)におけるAF評価エリアR1−Lの中心座標(X,Y)を設定し、指定したAF評価エリアR1−L内の特徴点およびそれに対応する第1画像データの点である対応点の検出と検出された特徴点および対応点に基づく最終視差ベクトル(Δx,Δy)の算出を行うよう視差量算出部82を制御する(図4参照)。最終視差ベクトル(Δx,Δy)の算出タイミングは、撮影開始前であれば任意である。例えば、カメラ2の電源オン直後に、クロスポイント調整量の設定とユーザ操作による視差調整量が設定されてもよい。ただし、自動視差調整量の取得はシャッタボタンの半押し後に実行されてもよい。
【0067】
S2では、シャッタボタンが半押しされたか否かを判定する。半押しが判定された場合はS3に進み、半押しが判定されない場合は当該判定を繰り返す。
【0068】
S3では、上記第1・第2画像データから第1測光値・第2測光値・第1WB値・第2WB値を検出するようAE/AWB検出部73を制御する。AE/AWB検出部73の露出値の算出の方式は任意であるが、後述の第2または第3実施形態の方式でもよい。
【0069】
S4では、第1測光値・第2測光値・第1WB値・第2WB値の検出を終了したことに応じて以下のAF処理を開始する。まず、CPU40は、フォーカスレンズ22および32を至近から無限遠までの間の所定の範囲(以下、AFサーチ範囲という)において所定のステップごとに移動させる。
【0070】
S5では、基準撮像部、ここでは第2撮影光学系1bの各移動位置での撮像で得られた第2画像データの各々にAF評価エリアの中心座標(X,Y)を設定する。
【0071】
S6では、各移動位置に対応する第2画像データから、各移動位置に対応する第2AF評価値を取得する。すなわち、各移動位置に対応する第2画像データの各々に設定された中心座標(X,Y)を有する所定形状・所定サイズのAF評価エリアR1−L(図9(a)参照)内の画像データに基づいて、各移動位置に対応する第2AF評価値を算出するようAF検出部44を制御する。
【0072】
S7では、調整対象撮像部、ここでは第1撮影光学系1aから得られた第1画像データに対するAF評価エリアの中心座標(X+Δx,Y+Δy)を算出するようAF評価エリア座標算出部83を制御する(図5参照)。
【0073】
S8では、第1撮影光学系1aの各移動位置での撮像で得られた第1画像データの各々に中心座標(X+Δx,Y+Δy)を有する所定形状・所定サイズのAF評価エリアR1−Rを設定する(図9(b)参照)。そして、各移動位置に対応する第1画像データのAF評価エリアR内の画像データに基づいて、各移動位置に対応する第1AF評価値を算出するようAF検出部44を制御する。
【0074】
S9では、各移動位置に対応する第1AF点評価値の中の最大値に対応するフォーカスレンズ32の位置(第1合焦位置)にフォーカスレンズ22を移動させる。また、各移動位置に対応する第2AF評価値の中の最大値に対応するフォーカスレンズ32の位置(第2合焦位置)にフォーカスレンズ32を移動させる。
【0075】
S10では、フォーカスレンズ22が第1合焦位置に停止し、かつフォーカスレンズ32が第2合焦位置に停止したことに応じてS11に進む。
【0076】
S11では、シャッタボタンが全押しされたか否かを判断する。全押しされたと判断された場合はS12に進み、全押しされないと判断された場合はこの判断を繰り返す。
【0077】
S12では、記録用の第1・2画像データの撮像を行う。取得された画像データはメモリカード49に記憶される。
【0078】
なお、動画撮影時やコンティニュアスAF処理時は、半押しが判定されたことがトリガーとなってS3に進むのではなく、定期的にS3〜S10のルーチンを繰り返してもよい。また、基準光学系は少なくとも1つ存在すれば足り、調整対象光学系は複数あってもよい。
【0079】
以上の処理により、カメラ2は、基準撮像部と調整対象撮像部との間のAF評価エリアの視差がなくなるように、その中心座標を設定する(図9)。よって、左右の画像の合焦位置のずれを防ぎ、見易く疲れにくい安定した立体画像を撮像できる。
【0080】
<第2実施形態>
第1撮影光学系1a・第2撮影光学系1bの光軸L1・L2の交点(「クロスポイント」ともいう)に被写体がない場合(図6参照)にスポット測光方式のAE処理を実行したとする。従来技術のようにスポット測光エリアを第1撮影光学系1a・第2撮影光学系1bともに同一の位置(例えば画像中央部)に設定したとすると、視差の影響により、第1・第2画像データのスポット測光エリアに含まれる被写体が異なるため、AE処理により設定される第1撮影光学系1a・第2撮影光学系1bの露出も異なってくる。露出レベルが左右画像間で大きく異なると、適切な立体画像が得られず、観察者の疲労の原因となる。本実施形態では、この露出のずれを防ぐため、以下の撮影処理を実施する。
【0081】
図10は本発明の第2実施形態に係るカメラ2のブロックを例示する。第1実施形態と同一のブロックには同一の符号を付している。このカメラ2は、AE測光エリア座標算出部84を有している。
【0082】
以下、図11のフローチャートを参照し、本発明の好ましい第2実施形態に係る撮影処理の流れを説明する。この処理は、CPU40が実行を制御する。この処理をCPU40に実行させるためのプログラムはROM51に記憶されている。なお、CPU40と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、CPU40は必ずしもカメラ2に内蔵される必要はない。
【0083】
S21〜22はS1〜2と同様である。S21では最終視差ベクトル(Δx,Δy)が定められる。
【0084】
S23では、最終視差ベクトル(Δx,Δy)が定まったことに応じて以下のAE処理を開始する。
【0085】
S24では、シャッタボタン半押しに応じた基準撮像部、ここでは第2撮影光学系1bによる撮像で得られた画像データすなわち第2画像データに,中心座標(X,Y)を有する所定形状・所定サイズのスポット測光エリアR2−L(図12(a)参照)を設定するようAE/AWB検出部73を制御する。中心座標(X,Y)は予めROM51に設定保存されているが、CPU40や操作部10の指示により変更できてもよい。
【0086】
S25では、第2画像データに設定された測光エリアR2−L内の画像データから、第2測光値および第2WB値を算出するようAE/AWB検出部73を制御する(スポット測光)。
【0087】
S26では、第1画像データに対するAE評価エリアの中心座標(X+Δx,Y+Δy)を算出するようAE測光エリア座標算出部84を制御する(図13参照)。
【0088】
S27では、調整対象撮像部の各移動位置での撮像で得られた画像、ここでは第1撮影光学系1aの撮像で得られた第1画像データに中心座標(X+Δx,Y+Δy)を有する所定形状・所定サイズのスポット測光エリアR2−Rを設定するようAE/AWB検出部73を制御する(図12(b)参照)。そして、第1画像データのAE測光エリアR2−2内の画像データに基づいて、第1測光値・第1WB値を算出するようAE/AWB検出部73を制御する(スポット測光)。そして、得られた第1測光値・第1AWE値・第2測光値・第2WB値に基づいて露出制御を行う。
【0089】
S28〜S30では、AF処理を行う。このAF処理は第1実施形態のS4〜S10に記載したものが好ましいが、従来のAF処理でもよい。
【0090】
S31〜S32は、S11〜S12と同様である。
【0091】
以上の処理により、基準撮像部と調整対象撮像部の間の視差量だけスポット測光エリアがシフトされる。調整対象撮像部の左右の撮像系のスポット測光エリアの視差をなくし、測光値および露出レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。なお、基準撮像部第1撮影光学系1aとし、調整対象撮像部を第2撮影光学系1bとすることもできる。また、動画撮影時やコンティニュアスAE処理時は、半押しが判定されたことがトリガーとなってS23に進むのではなく、定期的にS23〜S30のルーチンを繰り返してもよい。
【0092】
<第3実施形態>
第1撮影光学系1a・第2撮影光学系1bの光軸L1・L2の交点(「クロスポイント」ともいう)に被写体がない場合(図6参照)に重点平均測光のAE処理を実行したとする。従来技術のように画像を区画する各小領域に対応する適正露出値算出の重みを第1撮影光学系1a・第2撮影光学系1bともに同一に設定したとすると、視差の影響により、同一位置の小領域に含まれる被写体部分が第1・第2画像データで異なるため、AE処理により設定される第1撮影光学系1a・第2撮影光学系1bの露出も異なってくる。露出レベルが左右画像間で大きく異なると、適切な立体画像が得られず、観察者の疲労の原因となる。本実施形態では、この露出のずれを防ぐため、以下の撮影処理を実施する。
【0093】
図14は本発明の第3実施形態に係るカメラ2のブロックを例示する。第1ないし2実施形態と同一のブロックには同一の符号を付している。このカメラ2は、AE測光エリア重み付け中心設定部85を有している。
【0094】
以下、図15のフローチャートを参照し、本発明の好ましい第3実施形態に係る撮影処理の流れを説明する。この処理は、CPU40が実行を制御する。この処理をCPU40に実行させるためのプログラムはROM51に記憶されている。なお、CPU40と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、CPU40は必ずしもカメラ2に内蔵される必要はない。
【0095】
S41〜42はS1〜2と同様である。S41では最終視差ベクトル(Δx,Δy)が定められる。
【0096】
S43では、最終視差ベクトル(Δx,Δy)が定まったことに応じて以下のAE処理を開始する。
【0097】
S44では、シャッタボタン半押しに応じた撮像で得られた第2画像データに,重み付け中心座標(X,Y)を設定するようAE/AWB検出部73を制御する(図16参照)。AE/AWB検出部73は、1画面分の第2画像データを所定個(例えば8x8=64個)の小領域に分割して、設定された重み付け中心座標(X,Y)に応じた小領域ごとの重みを決定する。中心座標(X,Y)は予めROM51に設定保存されているが、CPU40や操作部10の指示により変更できてもよい。
【0098】
図17は、AE/AWB検出部73が決定する第2画像データの小領域ごとの重みの一例を示す。重み付け中心座標(X,Y)の周囲の小領域には最も高い重み「8」を与え、小領域がその中心から離れるにつれて小さな重み「4」、「2」、または「1」を与える。図17のように(X,Y)が画面中心である場合は、いわゆる中央部重点平均測光となる。すなわち、主要被写体が撮影画面の中央付近にくることが多いことを考慮して撮影画面の中央付近の重み係数を大きくしている。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【0099】
S45では、AE/AWB検出部は、それぞれの小領域について被写体輝度を検出し、小領域ごとの被写体輝度に対応する重みを付けて露出演算処理を行ない、第2測光値を算出する。そして、求めた第2測光値に基づいて露出制御を行う。露出制御は特許文献3と同様にして行うことができる。
【0100】
S46では、第1画像データに対するAE評価エリアの重み付け中心座標(X+Δx,Y+Δy)を算出するようAE測光エリア重み付け中心設定部85を制御する(図18参照)。AE/AWB検出部73は、1画面分の第1画像データを所定個(例えば8x8=64個)の小領域に分割して、設定された重み付け中心座標(X+Δx,Y+Δy)に応じた小領域(図19参照)ごとの重みを決定する。
【0101】
図20は、AE/AWB検出部73が決定する第1画像データの小領域ごとの重みの一例を示す。重み付け中心座標(X+Δx,Y+Δy)の周囲の小領域には最も高い重み「8」を与え、小領域がその中心から離れるにつれて小さな重み「4」、「2」、または「1」を与える。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【0102】
S47では、AE/AWB検出部は、それぞれの小領域について被写体輝度を検出し、小領域ごとの測光値(被写体輝度)に対応する重みを付けて露出演算処理を行ない、第1測光値(露出値)を算出する。そして、求めた第1測光値に基づいて露出制御を行う。露出制御は特許文献3と同様にして行うことができる。すなわち、各小領域の被写体輝度の重み付け平均値を基に適正露出値を算出し、露出制御する。
【0103】
S48〜S50では、AF処理を行う。このAF処理は第1実施形態のS4〜S10に記載したものが好ましいが、従来のAF処理でもよい。
【0104】
S51〜S52は、S11〜S12と同様である。
【0105】
以上の処理により、左のAE測光エリアの重み付け中心座標を基準に、右のAE測光エリアを視差量だけシフトすることで、撮像系のAE測光エリアの重み付け中心座標の視差をなくし、測光値および露出レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。
【0106】
<第4実施形態>
上記のAF評価エリアやAE測光エリアに関する中心座標の設定と同様の設定は、フラッシュの調光エリアに関して行うこともできる。フラッシュの調光エリアとは、フラッシュ5の発光を伴わない露光および発光を伴う露光により得られる2つの画像間の輝度を比較し適正な発光量を決定するためのエリアである。
【0107】
図21は第4実施形態に係るカメラ2の電気的構成を示す。上記実施形態と同一のブロックには同一の符号を付している。このカメラ2は調光エリア座標算出部86を有する。
【0108】
図22は第4実施形態に係るカメラ2の実行する撮影処理のフローチャートを示す。
【0109】
S61〜S62は、S1〜S2と同様である。またS63は第2ないし第3実施形態と同様にしてもよいし通常のAE処理でもよい。またS64〜S66は、第1実施形態と同様にしてもよいし通常のAF処理でもよい。S67はS11と同様である。
【0110】
S68では、フラッシュ発光が予め操作部10などから設定されているか否かを判断する。フラッシュ発光設定の場合はS69、フラッシュ発光未設定の場合はS73に進む。このフラッシュ発光の設定はオートでもマニュアルでもよい。
【0111】
S69では、シャッタボタン全押しに応じ、基準撮像部、ここでは第2撮影光学系1bによる撮像で得られる画像データすなわち第2画像データに,中心座標(X,Y)を有する所定形状・所定サイズの調光エリア(図23(a)参照)を設定するようフラッシュ制御部72を制御する。中心座標(X,Y)は予めROM51に設定保存されているが、CPU40や操作部10の指示により変更できてもよい。
【0112】
S70では、CPU40は、上記実施形態のようにして算出された最終視差ベクトル(Δx,Δy)から、第1画像データに対するフラッシュ調光エリアの中心座標(X+Δx,Y+Δy)を算出するよう調光エリア座標算出部86を制御する(図24参照)。そしてCPU40は、シャッタボタン全押しに応じ、調整対象撮像部、ここでは第1撮影光学系1aによる撮像で得られる画像データすなわち第1画像データに,算出された中心座標(X+Δx,Y+Δy)を有する所定形状・所定サイズの調光エリア(図23(b)参照)を設定するようフラッシュ制御部72を制御する。
【0113】
S71では、CPU40は、フラッシュ5の予備発光を伴わない露光および予備発光を伴う露光に対応した第1撮影光学系1a・第2撮影光学系1bの撮像を2回行い、この非発光および発光状態で得られた2つの第1画像データおよび2つの第2画像データの各々に、それぞれ、中心座標(X+Δx,Y+Δy)および(X,Y)を有する所定形状・所定サイズの調光エリアを設定するようフラッシュ制御部72を制御する。
【0114】
CPU40は、取得された2つの第1画像データ内の対応する調光エリア(例えば図23(b)のような画像中央部を2×2に均等分割して得られた分割領域)における輝度との平均値の差分値と、2つの第2画像データ内の対応する調光エリア(例えば図23(a))における輝度との平均値の差分値とを算出する。
【0115】
CPU40は、第1撮影光学系1aおよび第2撮影光学系1bにそれぞれ対応する2つの差分値に基づいて、本撮影時におけるフラッシュの発光量を算出する。算出の方法は公知のものが採用できる。例えば、CPU40は、当該2つの差分値の平均(ないし重みづけ平均)から、フラッシュ発光量の予備発光に対する発光倍率と発光時間を算出する。
【0116】
S72では、CPU40は、シャッタボタン全押しに応じた記録用の第1・2画像データの撮像に際し、その発光時間でフラッシュ5を発光させるようフラッシュ制御部72を制御する。
【0117】
S73では、CPU40は、フラッシュ5の発光に同期して、記録用の第1・2画像データの撮像を行う。取得された画像データはメモリカード49に記憶される。
【0118】
以上の処理により、左の調光エリアの中心座標を基準に、右の調光エリアを視差量だけシフトすることで、撮像系の調光エリアの中心座標の視差をなくし、調光レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。
【0119】
<第5実施形態>
上記のAE測光エリアに関する重みづけ中心座標の設定と同様の設定は、フラッシュの調光エリアに関して行うこともできる。
【0120】
図25は第5実施形態に係るカメラ2の電気的構成を示す。上記実施形態と同一のブロックには同一の符号を付している。このカメラ2は調光エリア重み付け中心設定部87を有する。
【0121】
図26は第5実施形態に係るカメラ2の実行する撮影処理のフローチャートを示す。
【0122】
S81〜S93は、S89〜S92を除き、S61〜S73と同様である。
【0123】
S89では、シャッタボタン全押しに応じた撮像で得られる第2画像データに,重み付け中心座標(X,Y)を設定するよう調光エリア重み付け中心設定部87を制御する(図27参照)。調光エリア重み付け中心設定部87は、1画面分の第2画像データを所定個(例えば8x8=64個)の小領域に分割して、設定された重み付け中心座標(X,Y)に応じた小領域ごとの重みを決定する。中心座標(X,Y)は予めROM51に設定保存されているが、CPU40や操作部10の指示により変更できてもよい。
【0124】
図28は、調光エリア重み付け中心設定部87が決定する第2画像データの小領域ごとの重みの一例を示す。重み付け中心座標(X,Y)の周囲の小領域には最も高い重み「8」を与え、小領域がその中心から離れるにつれて小さな重み「4」、「2」、または「1」を与える。図28のように(X,Y)が画面中心である場合は、中央部に重点を置いた調光となる。すなわち、主要被写体が撮影画面の中央付近にくることが多いことを考慮して撮影画面の中央付近の重み係数を大きくしている。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【0125】
S90では、第1画像データに対するAE評価エリアの重み付け中心座標(X+Δx,Y+Δy)を算出するよう調光エリア重み付け中心設定部87を制御する(図29参照)。調光エリア重み付け中心設定部87は、1画面分の第1画像データを所定個(例えば8x8=64個)の小領域に分割して、設定された重み付け中心座標(X+Δx,Y+Δy)に応じた小領域(図30参照)ごとの重みを決定する。
【0126】
図31は、調光エリア重み付け中心設定部87が決定する第1画像データの小領域ごとの重みの一例を示す。重み付け中心座標(X+Δx,Y+Δy)の周囲の小領域には最も高い重み「8」を与え、小領域がその中心から離れるにつれて小さな重み「4」、「2」、または「1」を与える。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【0127】
S91では、CPU40は、フラッシュ5の予備発光を伴わない露光および予備発光を伴う露光に対応した第1撮影光学系1a・第2撮影光学系1bの撮像を2回行い、この非発光および発光状態で得られた2つの第1画像データおよび2つの第2画像データの各々に、それぞれ、重み付け中心座標(X+Δx,Y+Δy)および(X,Y)を有する所定形状・所定サイズの調光エリアを設定するようフラッシュ制御部72を制御する。
【0128】
CPU40は、取得された2つの第1画像データ内の対応する調光エリアにおける輝度の重みづけ平均値の差分値と、2つの第2画像データ内の対応する調光エリアにおける輝度の重みづけ平均値の差分値とを算出する。CPU40は、第1撮影光学系1aおよび第2撮影光学系1bにそれぞれ対応する2つの差分値に基づいて、本撮影時におけるフラッシュの発光量を算出する。算出の方法は公知のものが採用できる。例えば、CPU40は、当該2つの差分値の平均ないし重みづけ平均から、フラッシュ発光量の予備発光に対する発光倍率と発光時間を算出する。
【0129】
S92では、CPU40は、シャッタボタン全押しに応じた記録用の第1・2画像データの撮像に際し、その発光時間でフラッシュ5を発光させるようフラッシュ制御部72を制御する。
【0130】
以上の処理により、左の調光エリアの重み付け中心座標を基準に、右の調光エリアを視差量だけシフトすることで、撮像系の調光エリアの重み付け中心座標の視差をなくし、調光レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。
【符号の説明】
【0131】
1a:第1撮影光学系、1b:第2撮影光学系、21:第1ズームレンズ、22:第1フォーカスレンズ、23:第1絞り、28:第1イメージセンサ、31:第2ズームレンズ、32:第2フォーカスレンズ、38:第2絞り、33:第2イメージセンサ、45:3D画像生成部、82:視差量算出部、83:AF評価エリア座標算出部、84:AE測光エリア座標算出部、85:AE測光エリア重み付け中心設定部、86:調光エリア座標算出部、87:調光エリア重み付け中心設定部
【特許請求の範囲】
【請求項1】
基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部と、
前記基準光学系と前記調整対象光学系の間の視差量を算出する視差量算出部と、
前記基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定する設定部と、
前記設定部の設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と前記視差量算出部の算出した視差量とに基づいて、前記調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出する算出部と、
前記基準光学系からの視点画像に対応する前記設定部の設定した座標の撮像条件評価領域内の画像データと、前記調整対象光学系からの視点画像に対応する前記算出部の算出した座標の撮像条件評価領域内の画像データとに基づき、前記基準光学系および前記調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう前記撮像部を制御する制御部と、
を備える撮像装置。
【請求項2】
前記撮像条件評価領域は合焦評価値算出領域を含む請求項1に記載の撮像装置。
【請求項3】
前記基準光学系の焦点位置を変化させながら前記基準光学系からの視点画像において前記設定部の設定した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、前記基準光学系の焦点位置を前記検出された合焦位置に移動させる基準光学系合焦制御部と、
前記調整対象光学系の焦点位置を変化させながら前記調整対象光学系からの視点画像において前記算出部の算出した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、前記調整対象光学系の焦点位置を前記検出された合焦位置に移動させる調整対象光学系合焦制御部と、
を備える請求項2に記載の撮像装置。
【請求項4】
前記撮像条件評価領域は被写体輝度算出領域を含む請求項1に記載の撮像装置。
【請求項5】
前記基準光学系からの視点画像において前記設定部の設定した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう前記基準光学系の露出を制御する基準光学系露出制御部と、
前記調整対象光学系からの視点画像において前記算出部の算出した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう前記調整対象光学系の露出を制御する調整対象光学系露出制御部と、
を備える請求項4に記載の撮像装置。
【請求項6】
前記基準光学系からの視点画像において前記設定部の設定した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう前記基準光学系の露出を制御する基準光学系露出制御部と、
前記調整対象光学系からの視点画像において前記算出部の算出した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう前記調整対象光学系の露出を制御する調整対象光学系露出制御部と、
を備える請求項4に記載の撮像装置。
【請求項7】
前記撮像条件評価領域は調光用の輝度算出領域を含む請求項1に記載の撮像装置。
【請求項8】
前記視差量算出部は、前記設定部が座標を設定した前記基準光学系に対応する撮像条件評価領域から検出された特徴点と、前記調整対象光学系からの視点画像において前記特徴点に対応する対応点とを結ぶ視差ベクトルに基づいて、前記基準光学系と前記調整対象光学系の間の視差量を算出する請求項1〜7のいずれかに記載の撮像装置。
【請求項9】
前記視差量算出部は、クロスポイント調整量、自動視差調整量および手動視差調整量のうち少なくとも1つに応じて前記視差量を算出する請求項1〜8のいずれかに記載の撮像装置。
【請求項10】
前記撮像部の出力した左右の視点画像に基づいて立体画像を出力する立体画像出力部を備える請求項1〜9のいずれかに記載の撮像装置。
【請求項11】
基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部を備えた撮像装置が、
前記基準光学系と前記調整対象光学系の間の視差量を算出するステップと、
前記基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定するステップと、
前記設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と前記視差量算出部の算出した視差量とに基づいて、前記調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出するステップと、
前記基準光学系からの視点画像に対応する前記設定した座標の撮像条件評価領域内の画像データと、前記調整対象光学系からの視点画像に対応する前記算出した座標の撮像条件評価領域内の画像データとに基づき、前記基準光学系および前記調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう前記撮像部を制御するステップと、
を実行する撮像方法。
【請求項12】
請求項11に記載の撮像方法を前記撮像装置に実行させるための撮像プログラム。
【請求項1】
基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部と、
前記基準光学系と前記調整対象光学系の間の視差量を算出する視差量算出部と、
前記基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定する設定部と、
前記設定部の設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と前記視差量算出部の算出した視差量とに基づいて、前記調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出する算出部と、
前記基準光学系からの視点画像に対応する前記設定部の設定した座標の撮像条件評価領域内の画像データと、前記調整対象光学系からの視点画像に対応する前記算出部の算出した座標の撮像条件評価領域内の画像データとに基づき、前記基準光学系および前記調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう前記撮像部を制御する制御部と、
を備える撮像装置。
【請求項2】
前記撮像条件評価領域は合焦評価値算出領域を含む請求項1に記載の撮像装置。
【請求項3】
前記基準光学系の焦点位置を変化させながら前記基準光学系からの視点画像において前記設定部の設定した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、前記基準光学系の焦点位置を前記検出された合焦位置に移動させる基準光学系合焦制御部と、
前記調整対象光学系の焦点位置を変化させながら前記調整対象光学系からの視点画像において前記算出部の算出した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、前記調整対象光学系の焦点位置を前記検出された合焦位置に移動させる調整対象光学系合焦制御部と、
を備える請求項2に記載の撮像装置。
【請求項4】
前記撮像条件評価領域は被写体輝度算出領域を含む請求項1に記載の撮像装置。
【請求項5】
前記基準光学系からの視点画像において前記設定部の設定した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう前記基準光学系の露出を制御する基準光学系露出制御部と、
前記調整対象光学系からの視点画像において前記算出部の算出した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう前記調整対象光学系の露出を制御する調整対象光学系露出制御部と、
を備える請求項4に記載の撮像装置。
【請求項6】
前記基準光学系からの視点画像において前記設定部の設定した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう前記基準光学系の露出を制御する基準光学系露出制御部と、
前記調整対象光学系からの視点画像において前記算出部の算出した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう前記調整対象光学系の露出を制御する調整対象光学系露出制御部と、
を備える請求項4に記載の撮像装置。
【請求項7】
前記撮像条件評価領域は調光用の輝度算出領域を含む請求項1に記載の撮像装置。
【請求項8】
前記視差量算出部は、前記設定部が座標を設定した前記基準光学系に対応する撮像条件評価領域から検出された特徴点と、前記調整対象光学系からの視点画像において前記特徴点に対応する対応点とを結ぶ視差ベクトルに基づいて、前記基準光学系と前記調整対象光学系の間の視差量を算出する請求項1〜7のいずれかに記載の撮像装置。
【請求項9】
前記視差量算出部は、クロスポイント調整量、自動視差調整量および手動視差調整量のうち少なくとも1つに応じて前記視差量を算出する請求項1〜8のいずれかに記載の撮像装置。
【請求項10】
前記撮像部の出力した左右の視点画像に基づいて立体画像を出力する立体画像出力部を備える請求項1〜9のいずれかに記載の撮像装置。
【請求項11】
基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部を備えた撮像装置が、
前記基準光学系と前記調整対象光学系の間の視差量を算出するステップと、
前記基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定するステップと、
前記設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と前記視差量算出部の算出した視差量とに基づいて、前記調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出するステップと、
前記基準光学系からの視点画像に対応する前記設定した座標の撮像条件評価領域内の画像データと、前記調整対象光学系からの視点画像に対応する前記算出した座標の撮像条件評価領域内の画像データとに基づき、前記基準光学系および前記調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう前記撮像部を制御するステップと、
を実行する撮像方法。
【請求項12】
請求項11に記載の撮像方法を前記撮像装置に実行させるための撮像プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【公開番号】特開2011−39486(P2011−39486A)
【公開日】平成23年2月24日(2011.2.24)
【国際特許分類】
【出願番号】特願2010−72997(P2010−72997)
【出願日】平成22年3月26日(2010.3.26)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成23年2月24日(2011.2.24)
【国際特許分類】
【出願日】平成22年3月26日(2010.3.26)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]