説明

立体撮像装置及び立体撮像方法

【課題】合焦位置のズレを防いで立体視し易く眼が疲れにくい立体視画像を得ることができ、しかも装置サイズをコンパクトにすること。
【解決手段】左撮像系11Lのフォーカスレンズ130FLの被撮影空間における合焦位置P1、及び、右撮像系11Rの被撮影空間におけるフォーカスレンズ130FRの合焦位置P2を検出する合焦位置検出部144と、左撮像系11Lと右撮像系11Rとの視差量が許容範囲内になる撮影空間における立体視可能範囲を算出する立体視可能範囲算出部42と、各合焦位置P1、P2が立体視可能範囲内にあるか否かを判定する合焦位置判定部58とを備え、合焦位置P1、P2のうち立体視可能範囲内にあると判定されたひとつの合焦位置に、左撮像系11Lのフォーカスレンズ130FL及び右撮像系11Rのフォーカスレンズ130FRを合焦させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮像手段を備えた立体撮像装置及び複数の撮像手段を用いる立体撮像方法に関し、特に、合焦位置のズレを防いで立体視し易く眼が疲れにくい立体視画像を得るための立体撮像装置及び立体撮像方法に関する。
【背景技術】
【0002】
フォーカスレンズを含む左撮影光学系を有し被写体を撮像して左撮像画像を生成する左撮像系と、フォーカスレンズを含む右撮影光学系を有し前記被写体を撮像して右撮像画像を生成する右撮像系を備えた立体撮像装置が知られている。これにより得られた左撮像画像と右撮像画像とを重ね合わせて表示することで、立体視表示を行うことが可能である。
【0003】
特許文献1には、左撮像系及び右撮像系でAF(オートフォーカス)をそれぞれ行い、一方の撮像系により得られる撮像画像の高周波成分が最大となるフォーカスレンズ位置に、他方の撮像系のフォーカスレンズを設定することにより、合焦位置ズレを防ぐ構成が開示されている。
【0004】
特許文献2には、撮影光学系の輻輳角を調整する輻輳角調整機構を備えた構成が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−162990号公報
【特許文献2】特開平8−194274号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
立体撮像装置では両眼視差が存在するため、合焦エリアを画角の中央に設定すると、左撮像系と右撮像系とで合焦位置にずれが生ずる可能性がある。このような合焦位置のずれが原因で画像の立体感が損なわれる場合もある。
【0007】
特許文献1の構成では、左撮像系と右撮像系とで合焦位置を一致させるようになっているが、一致させた合焦位置が立体視可能範囲外になる可能性があり、適切な立体視画像を得られない場合がある。
【0008】
特許文献2の構成では、輻輳角を調整する機構が必須であり、そのような機構はどうしても複雑になるので、装置サイズが大型化し、また、コスト高につながる。
【0009】
本発明はこのような事情に鑑みてなされたもので、合焦位置のズレを防いで立体視し易く眼が疲れにくい立体視画像を得ることができ、しかも装置サイズをコンパクトにすることができる立体撮像装置及び立体撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
前記目的を達成するために、請求項1に記載の発明は、第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段とを備えた立体撮像装置において、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出手段と、前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲算出手段と、前記各合焦位置が前記立体視可能範囲内にあるか否かを判定する合焦位置判定手段と、前記第1の合焦位置及び前記第2の合焦位置のうち前記立体視可能範囲内にあると判定されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦制御手段と、を備えたことを特徴とする立体撮像装置を提供する。これよれば、撮影光学系の光軸の交点(クロスポイント)に被写体が無く、且つ、画角の中央に合焦エリアを設定して各撮像手段で合焦サーチを行った場合でも、立体視可能範囲内にある合焦位置に第1及び第2のフォーカスレンズが合焦するので、合焦位置のズレを防ぐと共に、立体視し易く眼が疲れにくい良好な立体感の立体視画像を得ることができる。しかも、輻輳角を調整する機構が不要なので、装置サイズがコンパクトで安価な立体撮像装置を提供することができる。
【0011】
なお、本明細書では、撮影対象の被写体が実在する空間(即ち撮影される側の空間)を、「被撮影空間」という。また、本明細書では、画角内の特定範囲(合焦エリア)でフォーカスレンズを合焦させたとき、フォーカスレンズが合焦した被撮影空間における位置(即ちフォーカスレンズが合焦した被写体の位置)を、「合焦位置」という。例えば、画角中央でフォーカスレンズを合焦させたときには、撮影光学系の光軸上に実在する被写体の位置が「合焦位置」である。この場合には、被写体距離を用いて合焦位置を表すことができる。また、本明細書では、画角内の特定範囲(合焦エリア)で被写体に合焦したフォーカスレンズのレンズ位置を、「合焦レンズ位置」という。
【0012】
請求項2に記載の発明は、第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段とを備えた立体撮像装置において、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出手段と、前記各撮像手段の被写界深度を算出する被写界深度算出手段と、前記各撮像手段の被写界深度内に前記第1の合焦位置及び前記第2の合焦位置の両方が包含されているか否かを判定する合焦位置判定手段と、前記第1の合焦位置及び前記第2の合焦位置の両方を被写界深度内に包含する撮像手段にて検出されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦制御手段と、を備えたことを特徴とする立体撮像装置を提供する。これよれば、撮影光学系の光軸の交点(クロスポイント)に被写体が無く、且つ、画角の中央に合焦エリアを設定して各撮像手段で合焦サーチを行った場合でも、両方の合焦位置を被写界深度内に包含する撮像手段にて検出されたひとつの合焦位置に第1及び第2のフォーカスレンズが合焦するので、合焦位置のズレを防ぐと共に、立体視し易く眼が疲れにくい良好な立体視画像を得ることができる。しかも、輻輳角を調整する機構が不要なので、装置サイズがコンパクトで安価な立体撮像装置を提供することができる。
【0013】
請求項3に記載の発明は、第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段とを備えた立体撮像装置において、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出手段と、前記各合焦位置ごとに前記第1の撮像手段と前記第2の撮像手段との視差量を算出する視差量算出手段と、前記第1の合焦位置及び前記第2の合焦位置のうちで前記視差量が小さい合焦位置を判定する合焦位置判定手段と、前記合焦位置判定手段により視差量が小さいと判定された前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦制御手段と、を備えたことを特徴とする立体撮像装置を提供する。これよれば、撮影光学系の光軸の交点(クロスポイント)に被写体が無く、且つ、画角の中央に合焦エリアを設定して各撮像手段で合焦サーチを行った場合でも、視差量が小さい合焦位置に第1及び第2のフォーカスレンズが合焦するので、合焦位置のズレを防ぐと共に、立体視し易く眼が疲れにくい良好な立体視画像を得ることができる。しかも、輻輳角を調整する機構が不要なので、装置サイズがコンパクトで安価な立体撮像装置を提供することができる。
【0014】
請求項4に記載の発明は、第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段とを備えた立体撮像装置において、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出手段と、前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲算出手段と、前記各撮像手段の被写界深度を算出する被写界深度算出手段と、前記各合焦位置ごとに前記第1の撮像手段と前記第2の撮像手段との視差量を算出する視差量算出手段と、前記第1の合焦位置、前記第2の合焦位置、前記立体視可能範囲、前記被写界深度及び前記視差量に基づいて、前記第1の合焦位置及び前記第2の合焦位置のうちいずれかを選択する合焦位置選択手段と、前記選択された合焦位置に前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦制御手段と、を備えたことを特徴とする立体撮像装置。
【0015】
請求項5に記載の発明は、請求項1に記載の発明において、前記各撮像手段の被写界深度を算出する被写界深度算出手段を備え、前記合焦位置判定手段は、前記各撮像手段の被写界深度内に前記第1の合焦位置及び前記第2の合焦位置の両方が包含されているか否かを判定し、前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記立体視可能範囲内にある場合、前記第1の合焦位置及び前記第2の合焦位置の両方を被写界深度内に包含する撮像手段にて検出されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする。
【0016】
請求項6に記載の発明は、請求項1に記載の発明において、前記各撮像手段の被写界深度を算出する被写界深度算出手段を備え、前記合焦位置判定手段は、前記各撮像手段の被写界深度内に前記第1の合焦位置及び前記第2の合焦位置の両方が包含されているか否かを判定し、前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記立体視可能範囲外にある場合、前記第1の合焦位置及び前記第2の合焦位置の両方を被写界深度内に包含する撮像手段にて検出されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする。
【0017】
請求項7に記載の発明は、請求項1、5及び6のうちいずれか1項に記載の発明において、前記第1の画像及び前記第2の画像における前記各合焦位置の視差量を取得する視差量取得手段を備え、前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記立体視可能範囲内にある場合、前記第1の合焦位置及び前記第2の合焦位置のうちで視差量が小さい前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする。
【0018】
請求項8に記載の発明は、請求項1、5及び6のうちいずれか1項に記載の発明において、前記第1の画像及び前記第2の画像における前記各合焦位置の視差量を取得する視差量取得手段を備え、前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記立体視可能範囲外にある場合、前記第1の合焦位置及び前記第2の合焦位置のうちで視差量が小さい前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする。
【0019】
請求項9に記載の発明は、請求項1に記載の発明において、前記合焦位置判定手段は、前記各合焦位置が前記撮影光学系の光軸の交点と前記立体視可能範囲の近点との間にあるか否かを判定し、前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置のうち前記交点と前記立体視可能範囲の近点との間にあると判定されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする。
【0020】
請求項10に記載の発明は、請求項9に記載の立体撮像装置において、前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記交点と前記立体視可能範囲の近点との間にある場合、前記第1の合焦位置及び前記第2の合焦位置のうち前記近点に最も近い合焦位置に前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする。
【0021】
請求項11に記載の発明は、第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、を用いる立体撮像方法において、前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲算出ステップと、前記各合焦位置が前記立体視可能範囲内にあるか否かを判定する合焦位置判定ステップと、前記第1の合焦位置及び前記第2の合焦位置のうち前記立体視可能範囲内にあると判定されたひとつの前記合焦位置に、前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、を含むことを特徴とする立体撮像方法を提供する。
【0022】
請求項12に記載の発明は、第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、を用いる立体撮像方法において、前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、前記各撮像手段の被写界深度を算出する被写界深度算出ステップと、前記各撮像手段の被写界深度内に前記第1の合焦位置及び前記第2の合焦位置の両方が包含されているか否かを判定する合焦位置判定ステップと、前記第1の合焦位置及び前記第2の合焦位置の両方を被写界深度内に包含する撮像手段にて検出されたひとつの前記合焦位置に、前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、を含むことを特徴とする立体撮像方法を提供する。
【0023】
請求項13に記載の発明は、第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、を用いる立体撮像方法において、前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、前記各合焦位置ごとに前記第1の撮像手段と前記第2の撮像手段との視差量を算出する視差量算出ステップと、前記第1の合焦位置及び前記第2の合焦位置のうちで前記視差量が小さい合焦位置を判定する合焦位置判定ステップと、前記合焦位置判定手段により視差量が小さいと判定された前記合焦位置に、前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、を含むことを特徴とする立体撮像方法を提供する。
【0024】
請求項14に記載の発明は、第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、を用いる立体撮像方法において、前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲算出ステップと、前記各撮像手段の被写界深度を算出する被写界深度算出ステップと、前記各合焦位置ごとに前記第1の撮像手段と前記第2の撮像手段との視差量を算出する視差量算出ステップと、前記第1の合焦位置、前記第2の合焦位置、前記立体視可能範囲、前記被写界深度及び前記視差量に基づいて、前記第1の合焦位置及び前記第2の合焦位置のうちいずれかを選択する合焦位置選択ステップと、前記選択された合焦位置に前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、を含むことを特徴とする立体撮像方法を提供する。
【0025】
請求項15に記載の発明は、第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段とを用いる立体撮像方法において、前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲算出ステップと、前記各合焦位置が前記撮影光学系の光軸の交点と前記立体視可能範囲の近点との間にあるか否かを判定する合焦位置判定ステップと、前記第1の合焦位置及び前記第2の合焦位置のうち前記交点と前記立体視可能範囲の近点との間にあると判定されたひとつの前記合焦位置に、前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、を含むことを特徴とする立体撮像方法を提供する。
【発明の効果】
【0026】
本発明によれば、合焦位置のズレを防いで立体視し易く眼が疲れにくい立体視画像を得ることができ、しかも装置サイズをコンパクトにすることができる。
【図面の簡単な説明】
【0027】
【図1】本発明を適用したデジタルカメラの外観構成を示す正面斜視図
【図2】本発明を適用したデジタルカメラの外観構成を示す背面斜視図
【図3】立体視表示が可能なモニタの構造例を説明するための説明図
【図4】立体視撮影及び立体視表示の概要を説明するための説明図
【図5】第1実施形態におけるデジタルカメラの内部構成を示すブロック図
【図6】第1実施形態における立体撮像制御処理の一例の流れを示すフローチャート
【図7】第1実施形態の説明のために被撮影空間の一例を示す説明図
【図8】被撮影空間における撮像画像の一例を示す説明図
【図9】飛び出し画像及び引き込み画像の説明に用いる説明図
【図10】クロスポイントと立体視可能範囲との対応関係の一例を示すグラフ
【図11】立体視可能範囲算出部及び合焦位置判定部を回路で構成した場合の説明に用いる説明図
【図12】第2実施形態におけるデジタルカメラの内部構成を示すブロック図
【図13】第2実施形態における立体撮像制御処理の一例の流れを示すフローチャート
【図14】第2実施形態の説明のために被撮影空間の一例を示す説明図
【図15】合焦位置判定部を回路で構成した場合の説明に用いる説明図
【図16】第3実施形態におけるデジタルカメラの内部構成を示すブロック図
【図17】第3実施形態における立体撮像制御処理の一例の流れを示すフローチャート
【図18】第3実施形態の説明のために被撮影空間の一例を示す説明図
【図19】被写界深度算出部を回路で構成した場合の説明に用いる説明図
【図20】第4実施形態におけるデジタルカメラの内部構成を示すブロック図
【図21】第4実施形態における立体撮像制御処理の一例の流れを示すフローチャート
【図22】第4実施形態の説明のために被撮影空間の一例を示す説明図
【図23】視差量の説明のための説明図
【図24】視差量算出部を回路で構成した場合の説明に用いる説明図
【図25】第5実施形態におけるデジタルカメラの内部構成を示すブロック図
【図26】第5実施形態における立体撮像制御処理の一例の流れを示すフローチャート
【図27】撮影時合焦位置判定テーブルの一例を示す説明図
【図28】撮影時合焦位置判定テーブルの他の例を示す説明図
【発明を実施するための形態】
【0028】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【0029】
図1は、本発明を適用したデジタルカメラ10の外観構成を示す正面斜視図である。図2は、図1のデジタルカメラ10の背面斜視図である。
【0030】
本実施形態のデジタルカメラ10は、複数の撮像系(以下「撮像手段」ともいう)を備えた立体撮像装置の一例であって、同一の被写体を複数視点から撮像可能となっている。
【0031】
なお、本実施形態では、説明の便宜のため二つの撮像系を例示しているが、本発明は、三つ以上の撮像系であっても同様に適用可能である。なお、撮像系(主として撮影レンズ14R、14L)の配置は、水平方向に沿った横一列でなくてもよく、二次元的に配置されていてもよい。
【0032】
デジタルカメラ10のデジタルカメラボディ12は、矩形の箱状に形成されており、その正面には、図1に示すように、一対の撮影レンズ14R、14L、補助光照射部15、フラッシュ16等が設けられている。また、デジタルカメラボディ12の上面には、シャッタボタン18、電源/モードスイッチ20、モードダイヤル22等が設けられている。
【0033】
一方、デジタルカメラボディ12の背面には、図2に示すように、モニタ24、ズームボタン26、十字ボタン28、MENU/OKボタン30、DISPボタン32、BACKボタン34、縦撮り/横撮り切替ボタン36等が設けられている。
【0034】
左右一対の撮影レンズ14R、14Lは、それぞれ沈胴式のレンズで構成されており、マクロ撮影機能(近接撮影機能)を有している。この撮影レンズ14R、14Lは、それぞれデジタルカメラ10の電源をONすると、デジタルカメラボディ12から繰り出される。なお、撮影レンズにおけるズーム機構や沈胴機構、マクロ撮影機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。
【0035】
フラッシュ16は、被撮影空間に本撮像用の光を照射する。本例のフラッシュ16は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。
【0036】
シャッタボタン18は、いわゆる「半押し」と「全押し」が可能な二段ストローク式のスイッチで構成されている。デジタルカメラ10は、静止画撮影時(例えば、モードダイヤル22で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時)、このシャッタボタン18を半押しすると撮影準備処理、すなわち、AE(Automatic Exposure:自動露出)、AF(Auto Focus:自動焦点合わせ)、AWB(Automatic White Balance:自動ホワイトバランス)の各処理を行い、全押しすると、本撮像及び撮像画像の記録処理を行う。以下では、半押しの場合に少なくともAF処理を行うので「合焦指示」といい、全押しの場合に少なくとも撮像画像の記録処理を行うので「撮影指示」という場合もある。また、動画撮影時(例えば、モードダイヤル22で動画撮影モード選択時、又はメニューから動画撮影モード選択時)、このシャッタボタン18を全押すると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、シャッタボタン18を全押している間、動画の撮影を行い、全押しを解除すると、撮影を終了することもできる。なお、静止画撮影専用のシャッタボタン及び動画撮影専用のシャッタボタンを設けてもよい。
【0037】
電源/モードスイッチ20は、デジタルカメラ10の電源スイッチとして機能するとともに、デジタルカメラ10の再生モードと撮影モードとを切り替える切替手段として機能し、「OFF位置」と「再生位置」と「撮影位置」の間をスライド自在に設けられている。デジタルカメラ10は、この電源/モードスイッチ20を「再生位置」に位置させると、再生モードに設定され、「撮影位置」に位置させると、撮影モードに設定される。また、「OFF位置」に位置させると、電源がOFFされる。
【0038】
モードダイヤル22は、撮影モード及び再生モードの詳細設定に用いられる。このモードダイヤル22は、デジタルカメラボディ12の上面に回転自在に設けられており、図示しないクリック機構によって、「2D静止画位置」、「2D動画位置」、「3D静止画位置」、「3D動画位置」にセット可能に設けられている。
【0039】
撮影モードにて、モードダイヤル22を「2D静止画位置」にセットすることにより、2Dの静止画を撮影する2D静止画撮影モードに設定され、2D/3Dモード切替フラグに、2Dモードであることを表すフラグが設定される。また、「2D動画位置」にセットすることにより、2Dの動画を撮影する2D動画撮影モードに設定され、2D/3Dモード切替フラグに、2Dモードであることを表すフラグが設定される。また、「3D静止画位置」にセットすることにより、3Dの静止画を撮影する3D静止画撮影モードに設定され、2D/3Dモード切替フラグに、3Dモードであることを表すフラグが設定される。さらに、「3D動画位置」にセットすることにより、3Dの動画を撮影する3D動画撮影モードに設定され、2D/3Dモード切替フラグに、3Dモードであることを表すフラグが設定される。後述するCPU110は、この2D/3Dモード切替フラグを参照して、2Dモード又は3Dモードのいずれであるかを把握する。
【0040】
ここで、「2D」は2次元(すなわち平面)を意味し、「3D」は3次元(すなわち立体)を意味する。2D撮影は単視点の撮像画像(2D画像)の撮像及び記録をすること(「二次元撮影」、「平面撮影」ともいう)を意味し、2D表示は単視点の撮像画像(2D画像)を表示すること(「二次元表示」、「平面表示」ともいう)を意味する。また、3D撮影は複数視点の撮像画像(3D画像)の撮像及び記録をすること(「三次元撮影」、「立体視撮影」ともいう)を意味し、3D表示は複数視点の撮像画像(3D画像)を表示すること(「三次元表示」、「立体視表示」ともいう)を意味する。なお、3D撮影により得た複数視点の撮像画像は、通常は3D表示されるが、これらの複数視点の撮像画像のうちひとつの視点の撮像画像のみが2D表示される場合もある。
【0041】
モニタ24は、カラー液晶パネル等の表示装置である。このモニタ24は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にGUIとして利用される。また、モニタ24は、撮影時には、各撮像素子134R/Lが継続的に捉えた画像(スルー画像)を順次表示し、電子ファインダとして利用される。
【0042】
ズームボタン26は、撮影レンズ14R、14Lのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。
【0043】
十字ボタン28は、上下左右4方向に押圧操作可能に設けられており、各方向のボタンには、デジタルカメラの設定状態に応じた機能が割り当てられる。
【0044】
MENU/OKボタン30は、メニュー画面の呼び出し(MENU機能)に用いられるとともに、選択内容の確定、処理の実行指示等(OK機能)に用いらる。
【0045】
DISPボタン32は、モニタ24の表示内容の切り替え指示等の入力に用いられ、BACKボタン34は入力操作のキャンセル等の指示の入力に用いられる。
【0046】
縦撮り/横撮り切替ボタン36は、縦撮り又は横撮りのいずれで撮影を行うかを指示するためのボタンである。
【0047】
入出力コネクタ38は、外部との有線通信に用いられる。入出力コネクタ38を介してデジタルカメラ10に撮像済の画像を入力することが可能である。
【0048】
図3は、立体視表示が可能なモニタ24の構造例を説明するための説明図である。本例は、レンチキュラ方式であり、かまぼこ状のレンズ群を有したレンチキュラレンズが前面に配置されたモニタ24を用いる。
【0049】
モニタ24の前面(観察者の視点(左眼EL、右眼ER)が存在するz軸方向)には、レンチキュラレンズ24aが配置されている。レンチキュラレンズ24aは、複数の円筒状凸レンズを図3中x軸方向に連ねることで構成されている。
【0050】
モニタ24に表示される立体視画像(「3D画像」ともいう)の表示領域は、左眼用短冊画像表示領域24Lと右眼用短冊画像表示領域24Rとから構成されている。左眼用短冊画像表示領域24L及び右眼用短冊画像表示領域24Rは、それぞれ画面の図3中のy軸方向に細長い短冊形状をしており、図3中のx軸方向に交互に配置される。
【0051】
レンチキュラレンズ24aを構成する各凸レンズは、観察者の所与の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域24L及び右眼用短冊画像表示領域24Rを含む各短冊集合画像表示領域24cに対応した位置に形成される。
【0052】
図3では、観察者の左眼ELには、レンチキュラレンズ24aの光屈折作用により、モニタ24の左眼用短冊画像表示領域24Lに表示された左眼用短冊画像が入射される。また、観察者の右眼ERには、レンチキュラレンズ24aの光屈折作用により、モニタ24の右眼用短冊画像表示領域24Rに表示された右眼用短冊画像が入射される。したがって、観察者の左眼は左眼用短冊画像のみを、観察者の右眼は右眼用短冊画像のみを見ることになり、これら左眼用短冊画像の集合である左眼用画像及び右眼用短冊画像の集合である右眼用画像による左右視差により立体視が可能となる。
【0053】
なお、三次元表示のためのモニタ24の構造として、図3を用いてレンチキュラ方式を用いた場合を例に説明したが、本発明はレンチキュラ方式には特に限定されない。
【0054】
例えば、左撮像画像及び右撮像画像をそれぞれ画像の縦方向に細長く切り取った短冊状にして、交互に並べて表示するとともに、同様に縦方向に刻まれたスリットを通して画像を観察者に見せることで、観察者の左眼には左撮像画像を、右眼には右撮像画像をそれぞれ届ける、視差バリア(パララックスバリア)方式を用いてもよい。その他の空間分割方式でもよい。
【0055】
また、モニタ24を構成するLCD(液晶表示デバイス)の背面を照らすバックライトの方向を時分割で観察者の右眼方向及び左眼方向に制御する光方向制御方式(時分割光方向制御バックライト方式ともいう)を用いてもよい。光方向制御方式は、豊岡健太郎,宮下哲哉,内田龍男,“時分割光方向制御バックライトを用いた三次元ディスプレイ”、2000年日本液晶学会討論会講演予稿集、137-138頁(2000)や、特開2004‐20684号公報などに記載されている。特許第3930021号公報などに記載された、いわゆるスキャンバックライト方式を用いてもよい。
【0056】
左右の画像を交互に表示するとともに、画像分離メガネを使用させることで、画像を立体視させてもよい。
【0057】
モニタ24は、例えば液晶表示デバイスや有機ELデバイスを用いる。自発光の方式であってもよく、別に光源があり光量を制御する方式であってもよい。また、偏光による方式やアナグリフ、裸眼式等、方式は問わない。また、液晶や有機ELを多層に重ねた方式でもよい。
【0058】
次に、図4を用い、図1〜図3に示したデジタルカメラ10における3D撮影(立体視撮影)及び3D表示(立体視表示)の概要を説明する。
【0059】
まず、発明の理解を容易にするため、基線長SB(デジタルカメラ10における撮像系11L、11Rの光軸の間隔)、及び、輻輳角θc(撮像系11L、11Rの光軸同士が成す角度)は、固定であるものとして説明する。
【0060】
複数の撮像系11L、11Rにより、同一の特定対象91(例えば球)を複数の視点から撮像することで、すなわち3D撮影することで、複数の撮像画像(本例では左撮像画像92L及び右撮像画像92R)が生成される。生成された撮像画像92L、92Rは、同一の特定対象91が投影された特定対象像93L、93Rを、それぞれ含んでいる。
【0061】
これらの撮像画像92L、92Rを、立体視表示可能なモニタ24で重ね合わせて表示することで、すなわち3D表示することで、3D表示画像94が再生される。本例では、3D表示画像94は左撮像画像92L及び右撮像画像92Rによって構成されている。観察者95は、モニタ24上の3D表示画像94を両眼96L、96Rから観察する。そうすると、観察者95には特定対象91(例えば球)の虚像97が飛び出して見える。尚、図4では、光軸間の交点99(「クロスポイント」ともいう)よりも近い位置に特定対象91が存在するので虚像97が手前側に飛び出して見えるが、交点99よりも遠い位置に特定対象が存在する場合には虚像が奥側に引き込んで見える。
【0062】
図4に示すように被写体距離Sが撮像系11L、11Rの光軸間の交点99までの距離よりも小さい範囲内では、被写体距離Sが小さいほど、撮像画像92L、92R上で特定対象像93L、93Rの中心座標XLF、XRF(図4ではx座標のみ図示)の差分|XLF−XRF|が大きくなる。すなわち、被写体距離Sが小さいほど、視点別の撮像画像間で対応点同士が離れる。ここで、差分|XLF−XRF|はx座標のみであり、これを両眼視差量APとして表す。つまり、基線長SB及び輻輳角θcが決まっていれば、被写体距離Sが小さいほど、APが大きくなり、観察者95が体感する虚像97の飛び出し量ADも大きくなる。
【0063】
なお、基線長SB及び輻輳角θcが一定である場合を例に説明したが、輻輳角θcが可変である構造の場合には、輻輳角θc及び被写体距離Sに応じて、飛び出し量ADが変化する。
【0064】
また、輻輳角θcに加えて基線長SBも可変である構造の場合には、基線長SB及び輻輳角θc及び被写体距離Sに応じて、飛び出し量ADが変化する。
【0065】
以下では、各実施形態ごとに、図1及び図2に示したデジタルカメラ10の例について説明する。
【0066】
(第1実施形態)
図5は、第1実施形態におけるデジタルカメラ101の内部構成を示すブロック図である。なお、図1、図2に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。
【0067】
図5に示すように、本実施形態のデジタルカメラ101は、二つの撮像系11L、11Rそれぞれから画像信号を取得できるように構成されており、立体視可能範囲算出部42、合焦位置判定部48、CPU110、計時部111、操作部112、ROM116、フラッシュROM118、SDRAM120、VRAM122(画像表示メモリ)、ズームレンズ制御部124(124L、124R)、フォーカスレンズ制御部126(126L、126R)、絞り制御部128(128L、128R)、撮像素子134(134L、134R)、撮像素子制御部136(136L、136R)、アナログ信号処理部138(138L、138R)、A/D変換器140(140L、140R)、画像入力コントローラ141(141L、141R)、デジタル信号処理部142(142L、142R)、AF検出部144、AE/AWB検出部146、3D画像生成部150、圧縮・伸張処理部152、メディア制御部154、メモリカード156、表示制御部158、電源制御部160、バッテリ162、フラッシュ制御部164、及び、姿勢検出センサ166を含んで構成されている。
【0068】
左眼用の撮像系11L(「左撮像手段」ともいう)は、主として、撮影レンズ14L、ズームレンズ制御部124L、フォーカスレンズ制御部126L、絞り制御部128L、撮像素子134L、撮像素子制御部136L、アナログ信号処理部138L、A/D変換器140L、画像入力コントローラ141L、デジタル信号処理部142L等から構成される。
【0069】
右眼用の撮像系11R(「右撮像手段」ともいう)は、主として、撮影レンズ14R、ズームレンズ制御部124R、フォーカスレンズ制御部126R、絞り制御部128R、撮像素子134R、撮像素子制御部136R、アナログ信号処理部138R、A/D変換器140R、画像入力コントローラ141R、デジタル信号処理部142R等から構成される。
【0070】
なお、本明細書では、撮像系11L、11Rにより被写体を撮像して得られる画像信号(画像データ)を、「撮像画像」という。また、左眼用の撮像系11Lにより得られる撮像画像を「左撮像画像」、右眼用の撮像系11Rにより得られる撮像画像を「右撮像画像」という。
【0071】
CPU110は、撮影、再生などデジタルカメラ全体の動作を統括制御する制御手段として機能し、操作部112からの入力に基づき所定の制御プログラムに従って各部を制御する。
【0072】
計時部111は、現在日時を計時するとともに、CPU110からの指令に従って時間を計測する。
【0073】
操作部112は、図1及び図2に示した、シャッタボタン18、電源/モードスイッチ20、モードダイヤル22、ズームボタン26、十字ボタン28、MENU/OKボタン30、DISPボタン32、BACKボタン34、縦撮り/横撮り切替ボタン36などを含む。
【0074】
バス114を介して接続されたROM116には、CPU110が実行する制御プログラム及び制御に必要な各種データ等が格納されており、フラッシュROM118には、ユーザ設定情報等のデジタルカメラ10の動作に関する各種設定情報等が格納されている。
【0075】
SDRAM120は、CPU110の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、VRAM122は、表示用の画像データ専用の一時記憶領域として利用される。
【0076】
左右一対の撮影レンズ14L、14R(まとめて撮影レンズ14と表すこともある)は、ズームレンズ130ZL、130ZR(まとめてズームレンズ130Zと表すこともある)、フォーカスレンズ130FL、130FR(まとめてフォーカスレンズ130Fと表すこともある)、絞り132L、132Rを含んで構成され、互いの光軸131L、131Rが所定の間隔(SB:基線長)をもって平行になるようにしてデジタルカメラボディ12の図示しない本体フレームに取り付けられている。
【0077】
ズームレンズ130ZR、130LRは、ズームレンズ駆動手段としてのズームレンズ制御部124R、124Lにより駆動されて、光軸に沿って前後移動する。CPU110は、ズームレンズ制御部124L、124Rを介して、ズームレンズ130LR、130ZRの位置を制御し、撮影レンズ14L、14Rのズーミングを行う。
【0078】
フォーカスレンズ130FL、130FRは、フォーカスレンズ駆動手段としてのフォーカスレンズ制御部126L、126Rにより駆動されて、光軸に沿って前後移動する。CPU110は、フォーカスレンズ制御部126L、126Rを介して、フォーカスレンズ130FL、130FRの位置を制御し、撮影レンズ14L、14Rのフォーカシングを行う。
【0079】
絞り132L、132R、は、たとえば、アイリス絞りで構成されており、図示しない絞りアクチュエータに駆動されて動作する。CPU110は、絞り制御部128L、128Rを介して絞りアクチュエータの駆動を制御することにより、絞り132L、132Rの開口量(絞り値)を制御し、撮像素子134L、134Rへの入射光量を制御する。
【0080】
なお、CPU110は、撮影レンズ14L、14Rを構成するズームレンズ130ZL、130ZR、フォーカスレンズ130FL、130FR、絞り132L、132Rを駆動する際、左右の撮影レンズ14L、14Rを同期させて駆動する。すなわち、左右の撮影レンズ14L、14Rは、常に同じ焦点距離(ズーム倍率)に設定されるとともに、常に同じ被写体にピントが合うように、焦点調節が行われる。また、常に同じ入射光量(絞り値)となるように絞りが調整される。
【0081】
撮像素子134L、134Rは、所定のカラーフィルタ配列のカラーCCDで構成されている。CCDは、その受光面に多数のフォトダイオードが二次元的に配列されている。撮影レンズ14L、14RによってCCDの受光面上に結像された被写体の光学像(被写体像)は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU110の指令に従って撮像素子制御部136L、136Rから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として撮像素子134L、134Rから順次読み出される。撮像素子134L、134Rには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間(シャッタ速度)が制御される。なお、本実施の形態では、撮像素子としてCCDを用いているが、CMOSセンサ等の他の構成の撮像素子を用いることもできる。
【0082】
アナログ信号処理部138L、138Rは、撮像素子134L、134Rから出力された画像信号に含まれるリセットノイズ(低周波)を除去するための相関二重サンプリング回路(CD)、画像信号を増幅して一定レベルの大きさにコントロールするためのAGC回路を含み、撮像素子134L、134Rから出力される画像信号を相関二重サンプリング処理するとともに増幅する。A/D変換器140L、140Rは、アナログ信号処理部138L、138Rから出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ141L、141Rは、A/D変換器140L、140Rから出力された画像信号を取り込んで、SDRAM120に格納する。本例では、左撮像画像及び右撮像画像がSDRAM120に一時的に格納される。デジタル信号処理部142L、142Rは、CPU110からの指令に従い、SDRAM120に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Yと色差信号Cr、Cbとからなる画像データ(Y/C信号)を生成する。また、CPU110からの指令に応じて、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補間処理、RGB/YC変換処理、ノイズ低減処理、輪郭補正処理、色調補正、光源種別判定処理等の各種のデジタル補正を行う。なお、デジタル信号処理部142L、142Rはハードウェア回路で構成してもよいし、同じ機能をソフトウェアにて構成してもよい。
【0083】
AF検出部144は、一方の画像入力コントローラ141から取り込まれたR、G、Bの各色の画像信号(撮像画像)を取り込み、焦点評価値を算出する。本例のAF検出部144は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定の合焦エリア内の信号を切り出す合焦エリア抽出部、及び、合焦エリア内の絶対値データを積算する積算部を含み、この積算部で積算された合焦エリア内の絶対値データを焦点評価値として算出する。焦点評価値は、合焦エリア内における撮像画像のコントラストを示す。
【0084】
CPU110は、AF制御時、合焦エリアにてAF検出部144から出力される焦点評価値が極大となるレンズ位置(合焦レンズ位置)をサーチし、そのレンズ位置にフォーカスレンズ130FL、130FRを移動させることにより、被撮影空間上の合焦させたい被写体への焦点合わせを行う。CPU110は、例えば、まず、フォーカスレンズ130FL、130FRを至近から無限遠まで移動させ、その移動過程で逐次AF検出部144から焦点評価値を取得し、合焦エリアにて焦点評価値が極大となるレンズ位置を検出して、そのレンズ位置(合焦レンズ位置)にフォーカスレンズ130FL、130FRを移動させる。これにより、画角内の合焦エリアに位置する被写体(主要被写体)にピントが合わせられる。尚、撮像系11L、11R間の合焦位置合わせについては、後に詳説する。
【0085】
AE/AWB検出部146は、一方の画像入力コントローラ141Rから取り込まれたR、G、Bの各色の画像信号を取り込み、AE制御及びAWB制御に必要な積算値を算出する。本例のAE/AWB検出部146は、一画面を複数のエリア(たとえば、8×8=64エリア)に分割し、分割されたエリアごとにR、G、B信号の積算値を算出する。
【0086】
CPU110は、AE制御時、AE/AWB検出部146で算出されたエリアごとのR、G、B信号の積算値を取得し、被写体の明るさ(測光値)を求めて、露出設定を行う。すなわち、感度、絞り値、シャッタ速度、フラッシュ発光要否を設定する。
【0087】
また、CPU110は、AWB制御時、AE/AWB検出部146で算出されたエリアごとのR、G、B信号の積算値を取得し、ホワイトバランス調整用のゲイン値を算出するとともに、光源種を検出する。
【0088】
3D画像生成部150は、3D撮影時(3D静止画撮影モード時又は3D動画撮影モード時)、左右二系統の撮像系から得られた画像データから3D画像データを生成する。
【0089】
本実施の形態のデジタルカメラでは、3D静止画撮影モード時は、左撮像系で撮像された左撮像画像と右撮像系で撮像された右撮像画像とを並列した画像を生成し、これを3D画像データとしてメモリカード156に記録する。また、3D動画撮影モード時は、時分割方式の3D動画を生成し、これをメモリカード156に記録する。なお、この種の3D画像の生成方法自体は公知の技術であるので、ここでは、その具体的な生成方法についての説明は省略する。
【0090】
圧縮・伸張処理部152は、CPU110からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、CPU110からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。
【0091】
メディア制御部154は、CPU110からの指令に従い、メモリカード156に対してデータの読み/書きを制御する。
【0092】
表示制御部158は、CPU110からの指令に従い、モニタ24への表示を制御する。すなわち、入力された画像信号をモニタ24に表示するための映像信号(たとえば、NTSC信号やPAL信号、SCAM信号)に変換してモニタ24に出力する。また、画像信号に所定の文字、図形、記号等の信号を合成し、モニタ24に出力する(いわゆる、オンスクリーンディスプレイ表示)。
【0093】
電源制御部160は、CPU110からの指令に従い、バッテリ162から各部への電源供給を制御する。
【0094】
フラッシュ制御部164は、CPU110からの指令に従い、フラッシュ16の発光を制御する。
【0095】
姿勢検出センサ166は、デジタルカメラボディ12の姿勢(上下、左右の傾き)を検出し、その結果をCPU110に出力する。すなわち、デジタルカメラボディ12の左右方向の傾き角度(撮影レンズ14L、14Rの光軸回りの回転角度)と、デジタルカメラボディ12の上下方向の傾き角度(撮影レンズ14L、14Rの光軸の上下方向の傾き角度)とを検出する。
【0096】
立体視可能範囲算出部42は、左撮像系11Lと右撮像系11Rとの視差量が予め決められた許容範囲内になる被撮影空間おける範囲(以下「立体視可能範囲」という)を算出する。
【0097】
本実施形態の合焦位置判定部48は、各撮像系11L、11Rの被撮影空間における合焦位置が立体視可能範囲内であり且つ撮影レンズ14L、14Rの光軸交点(以下「クロスポイント」という)よりも至近側にあるか否かを判定する。つまり、各撮像系11L、11RにてAFサーチにより求めた各合焦位置(左撮像系合焦位置P1、右撮像系合焦位置P2)が、後述する図7のクロスポイント位置CPと立体視可能近点位置Nearとの間にあるか否かを判定する。
【0098】
図5では、立体視可能範囲算出部42、合焦位置判定部48及び3D画像生成部150を、CPU110とは別に描いたが、CPU110によって構成してもよい。
【0099】
図6は、第1実施形態における立体撮像制御処理の一例の流れを示すフローチャートである。本処理は、図5のCPU110によりプログラムに従い実行される。
【0100】
以下では、図7に示す被撮影空間にて3D撮影を行い、図8に示す左撮像画像92L像及び右撮像画像92Rを立体視画像としてメモリカード156に記録する場合を例に説明する。この場合、図9に模式的に示すように、クロスポイント位置CPよりも近い花はモニタ24に飛び出し画像として立体視表示され、クロスポイント位置CPよりも遠い車はモニタ24に引き込み画像として立体視表示される。
【0101】
ステップS101にて、CPU110は、シャッタボタン18が半押しされたか否かを判定し、半押しされたときにステップS102に進む。
【0102】
ステップS102にて、AE(自動露出)処理を行う。即ち測光を行い、露出設定を行う。
【0103】
ステップS103にて、AF(自動合焦)処理を開始する。
【0104】
ステップS104にて、左撮像系11LのAFサーチを開始する。即ち、CPU110は、左撮像系11Lにて、フォーカスレンズ制御部126Lによりフォーカスレンズ130FLを光軸131Lに沿って移動させながら、AF検出部144により左撮像画像92Lの画角中央の合焦エリアにおける焦点評価値を算出する。
【0105】
ステップS105にて、左撮像系合焦位置P1を取得する。即ち、CPU110は、左撮像系11Lの合焦エリアにおける焦点評価値が極大となるフォーカスレンズ130FLのレンズ位置(左撮像系合焦レンズ位置)を検出することで、当該レンズ位置に対応する被撮影空間における合焦位置P1(以下「左撮像系合焦位置」という)を取得する。
【0106】
ステップS106にて、右撮像系11RのAFサーチを開始する。即ち、CPU110は、右撮像系11Rにて、フォーカスレンズ制御部126Rによりフォーカスレンズ130FRを光軸131Rに沿って移動させながら、AF検出部144により右撮像画像92Rの画角中央の合焦エリアにおける焦点評価値を算出する。
【0107】
ステップS107にて、右撮像系合焦位置P2を取得する。即ち、CPU110は、右撮像系11Rの合焦エリアにおける焦点評価値が極大となるフォーカスレンズ130FRのレンズ位置(右撮像系合焦レンズ位置)を検出することで、当該レンズ位置に対応する被撮影空間における合焦位置P2(以下「右撮像系合焦位置」という)を取得する。
【0108】
ステップS108にて、合焦位置判定部48は、左撮像系合焦位置P1と右撮像系合焦位置P2との差Pdiff(以下「合焦位置差」という)を算出する。図7にて、左撮像系11Lの光軸131L上にある花の位置がP1であり、右撮像系11Rの光軸131R上にある車の位置がP2であり、これらP1とP2との差(即ちP1とP2との間の距離)がPdiffである。
【0109】
ステップS109にて、合焦位置判定部48は、合焦位置差Pdiffが予め決められた閾値Diffよりも大きいか否かを判定する。ここで、PdiffがDiffよりも大きい場合にはステップS110に進み、PdiffがDiff以下である場合にはステップS120に進む。
【0110】
ステップS110にて、合焦位置判定部48は、左右撮像系合焦位置P3にデフォールト位置を初期設定する。デフォールト位置として、例えば左撮像系合焦位置P1を用いる。
【0111】
ステップS111にて、立体視可能範囲算出部42は、被撮影空間における立体視可能範囲を算出する。図7にて、立体視可能近点位置Nearと立体視可能遠点位置Farとの間の領域が立体視可能範囲である。本例では、近点許容視差量Pnear、遠点許容視差量Pfar、焦点距離f、クロスポイント位置CP及び基線長SBに基づいて、被撮影空間における立体視可能近点位置Nnear及び立体視可能遠点位置Farを算出する。
【0112】
立体視可能な視差量(「許容視差量」という)を画角横幅に対する比率で表した場合、例えば、近点側では3%、遠点側では5%である。図7における近点許容視差量Pnear及び遠点許容視差量Pfarは、撮像素子134Rの受光面における光軸131Rからの距離で表されている。焦点距離fは、ズーム位置(ズームレンズ130ZR、130ZLのレンズ位置)、即ち撮影レンズ14L、14Rのズーム倍率に、対応する。CP、Near及びFarは、一方の撮影レンズ14Lを基準として、それぞれクロスポイント距離Scp、立体視可能近点距離Snear、立体視可能遠点距離Sfarを用いて、表すことができる。基線長SBは、二つの撮影レンズ14L及び14R間の距離である。図7のθnear及びθfarは[数1]によって表され、Snear及びSfarは[数2]によって表される。尚、atanはアーク・タンジェントである。
【0113】
[数1]
θnear=atan (Pnear/f)
θfar=atan (Pfar/f)
[数2]
Snear=SB×tan(90°−atan(SB/Scp)−θnear)
Sfar=SB×tan(90°−atan(SB/Scp)−θfar)
立体視可能範囲算出部42は、例えば、焦点距離fをズームボタン26のズーム操作に依存する可変パラメータとし、それ以外のパラメータPnear、Pfar、SB及びScpを固定パラーメータとして、数1及び数2に従ってSnear及びSfarを算出する。尚、Snear及びSfarは、焦点距離fとSnear及びSfarとの対応関係を示すテーブル情報を用いて取得すればよい。もっとも、Pnear、Pfar、SB及びScpを可変パラーメータとした場合にも、本発明を適用可能である。例えば、図10のグラフは、ある焦点距離(ワイド端)におけるScpとSnear及びSfarとの関係を示す。このような対応関係を記憶したテーブル情報を各焦点距離ごとに用意することで、Scpを可変パラメータとして扱うことができる。
【0114】
ステップS112にて、合焦位置判定部48は、左撮像系合焦位置P1及び右撮像系合焦位置P2のうち少なくとも一方の合焦位置が、クロスポイント位置CPと立体視可能近点Nearとの間にあるか否かを判定する。図7にて、花の合焦位置P1はCPとNearとの間にあり、車の合焦位置P2はCPとFarとの間にある。図7の場合、例えば、左撮影レンズ14LからP1までの距離(第1の被写体距離)をScp及びSnearと比較するとともに、右撮影レンズ14RからP2までの距離(第2の被写体距離)をScp×acos(θc)及びSnear×acos(θc)と比較する。尚、θc は輻輳角であり、acosはアーク・コサインである。合焦位置P1及びP2のうち少なくとも一方が、CPとNearとの間の領域にあると判定された場合にはステップS113に進み、両方の合焦位置がCPとNearとの間の領域にないと判定された場合にはステップS120に進む。
【0115】
ステップS113にて、合焦位置判定部48により、二つの合焦位置P1及びP2のうちクロスポイント位置CPと立体視可能遠点Nearとの間にあると判定された合焦位置を、左右撮像系合焦位置P3に設定する。図7の場合、CPとNearとの間にある花の合焦位置P1をP3に設定する。尚、P1及びP2の両方がCPとNearとの間にある場合には、P1及びP2のうち最も立体視可能近点Nearに近い合焦位置をP3に設定する。
【0116】
ステップS120にて、CPU110は、フォーカスレンズ制御部126L、126Rにより、左撮像系11Lのフォーカスレンズ130FL及び右撮像系11Rのフォーカスレンズ130FRを、それぞれ左右撮像系合焦位置P3に対応するレンズ位置に移動させる。即ち、両フォーカスレンズ130FL、130FRを、クロスポイント位置CPと立体視可能近点Nearとの間に位置する被写体(図7では花)に合焦させる。
【0117】
ステップS121にて、フォーカスレンズ制御部126L、126Rの合焦動作終了を待つ。
【0118】
ステップS122にて、シャッタボタン18が全押しされたか否かを判定し、全押しされたときにステップS123に進む。
【0119】
ステップS123にて、撮影を開始する。即ち、左撮像系11L及び右撮像系11Rにてそれぞれ被写体を撮像し、得られた立体視画像(左撮像画像92L及び右撮像画像92R)をメディア制御部154によりメモリカード156に記録する。
【0120】
図11は、本実施形態の立体視可能範囲算出部42及び合焦位置判定部48を回路によって構成した場合の一例を示す。
【0121】
図11の立体視可能範囲算出部42は、入力ポート42a及び出力ポート42bを備える。例えば、焦点距離f、クロスポイント位置CP、基線長SB、近点許容視差量Pnear及び遠点許容視差量Pfarを入力ポート42aに入力すると、立体視可能範囲算出部42は、入力されたパラメータf、CP、SB、Pnear及びPfarに基づいて、被撮影空間における立体視可能近点位置Near及び立体視可能遠点位置Farを算出して、Near及びFarを出力ポート42bから出力する。CP、Near及びFarは、それぞれ図7のクロスポイント距離Scp、立体視可能近点距離Snear及び立体視可能遠点距離Sfarを示す数値を含む。算出方法は、既に説明した通りだが、入力対出力の関係を示すテーブル情報を予めROM116又はEEPROM118に記憶しておき、そのテーブル情報に基づいて、Near及びFarを出力してよい。また、前述のようにCP、SB、Pnear及びPfarを固定パラメータとし、入力を省略してよい。
【0122】
図11の合焦位置判定部48は、入力ポート44a及び出力ポート44bを備える。例えば、左撮像系合焦位置P1、右撮像系合焦位置P2、クロスポイント位置CP、立体視可能近点位置Near及び立体視可能遠点位置Farを入力ポート74aに入力すると、合焦位置判定部48は、入力されたパラメータP1、P2、CP、Near及びFarに基づいて、P1及びP2のうちから左右撮像系合焦位置P3を判定し、P3を出力ポート44bから出力する。CP、Near及びFarは、それぞれ図7のクロスポイント距離Scp、立体視可能近点距離Snear及び立体視可能遠点距離Sfarを示す数値を含む。判定方法は、既に説明した通りだが、入力対出力の関係を示すテーブル情報を予めROM116又はEEPROM118に記憶しておき、そのテーブル情報に基づいて、P3を出力してよい。また、CPを固定パラメータとし、入力を省略してもよい。Near及びFarは、立体視可能範囲算出部42の出力ポート42bから出力されたものを入力する。
【0123】
(第2実施形態)
図12は、第2実施形態におけるデジタルカメラ102の内部構成を示すブロック図である。なお、図5に示した第1実施形態におけるデジタルカメラ101と同じ要素には同じ符号を付してあり、以下では、第1実施形態と異なる事項のみ説明する。
【0124】
本実施形態の合焦位置判定部58は、各合焦位置P1、P2が立体視可能範囲内にあるか否かを判定する。
【0125】
尚、図12にて、立体視可能範囲算出部42及び合焦位置判定部58を、CPU110とは別に描いたが、CPU110によって構成してもよい。
【0126】
図13は、第2実施形態における立体撮像制御処理の一例の流れを示すフローチャートである。本処理は、図12のCPU110によりプログラムに従い実行される。
【0127】
以下では、図14に示す被撮影空間にて立体視撮影を行い、左撮像画像92L像及び右撮像画像92Rを立体視画像としてメモリカード156に記録する場合を例に説明する。
【0128】
ステップS201〜S208は、図6に示した第1実施形態におけるS101〜S108と同様であり、説明を省略する。
【0129】
ステップS209にて、合焦位置判定部58は、合焦位置差Pdiffが閾値Diffよりも大きいか否かを判定し、PdiffがDiffよりも大きい場合にはステップS210に進み、PdiffがDiff以下である場合にはステップS220に進む。
【0130】
ステップS210〜S211は、第1実施形態のS110〜S111と同じである。
【0131】
ステップS212にて、合焦位置判定部58は、左撮像系合焦位置P1及び右撮像系合焦位置P2のうち少なくとも一方の合焦位置が立体視可能範囲内にあるか否かを判定する。即ち、各合焦位置P1、P2が立体視可能遠点Farと立体視可能近点Nearとの間にあるか否かを判定するとともに、少なくとも一方の合焦位置がFarとNearとの間にあるか否かを判定する。図14にて、P1はNearよりも近い位置にあり、P2はFarとNearとの間にある。少なくとも一方の合焦位置が立体視可能範囲内にあると判定された場合にはステップS213に進み、両方の合焦位置が立体視可能範囲内にないと判定された場合にはステップS220に進む。
【0132】
ステップS213にて、合焦位置判定部58により、二つの合焦位置P1及びP2のうち立体視可能範囲にあると判定されたひとつの合焦位置を、左右撮像系合焦位置P3に設定する。図14の場合、NearとFarとの間にあるP1をP3に設定する。尚、P1及びP2の両方がNearとNearとの間にある場合には、P1及びP2のうち、最も立体視可能近点Nearに近い合焦位置をP3に設定する。
【0133】
ステップS220にて、CPU110は、フォーカスレンズ制御部126L、126Rにより、左撮像系11Lのフォーカスレンズ130FL及び右撮像系11Rのフォーカスレンズ130FRを、それぞれ左右撮像系合焦位置P3に対応するレンズ位置に移動させる。即ち、両フォーカスレンズ130FL、130FRを、立体視可能範囲内の被写体(図14では車)に合焦させる。
【0134】
ステップS221〜S223は、第1実施形態のS121〜S123と同じである。
【0135】
図15は、本実施形態の合焦位置判定部58を回路によって構成した場合の一例を示す。図15にて、合焦位置判定部58は、入力ポート58a及び出力ポート58bを備える。例えば、左撮像系合焦位置P1、右撮像系合焦位置P2、立体視可能近点位置Near(Snear)及び立体視可能遠点位置Far(Sfar)を入力ポート58aに入力すると、合焦位置判定部58は、入力されたパラメータP1、P2、Near及びFarに基づいて、P1及びP2のうちから左右撮像系合焦位置P3を判定し、P3を出力ポート58bから出力する。判定方法は、既に説明した通りだが、入力対出力の関係を示すテーブル情報を予めROM116又はEEPROM118に記憶しておき、そのテーブル情報に基づいて、P3を出力してよい。
【0136】
(第3実施形態)
図16は、第3実施形態におけるデジタルカメラ103の内部構成を示すブロック図である。なお、図5に示した第1実施形態におけるデジタルカメラ101と同じ要素には同じ符号を付してあり、以下では、第1実施形態と異なる事項のみ説明する。
【0137】
被写界深度算出部64は、各撮像系11L、11Rの被写界深度を算出する。
【0138】
本実施形態の合焦位置判定部68は、各撮像系11L、11Rの被写界深度内に左撮像系合焦位置P1及び右撮像系合焦位置P2の両方が包含されているか否かを判定する。
【0139】
尚、図16にて、被写界深度算出部64及び合焦位置判定部68を、CPU110とは別に描いたが、CPU110によって構成してもよい。
【0140】
図17は、第3実施形態における立体撮像処理の一例の流れを示すフローチャートである。本処理は、図16のCPU110によりプログラムに従い実行される。
【0141】
以下では、図18に示す被撮影空間にて立体視撮影を行い、左撮像画像92L像及び右撮像画像92Rを立体視画像としてメモリカード156に記録する場合を例に説明する。
【0142】
ステップS301〜S308は、図6に示した第1実施形態におけるS101〜S108と同様であり、説明を省略する。
【0143】
ステップS309にて、合焦位置判定部68は、合焦位置差Pdiffが閾値Diffよりも大きいか否かを判定し、PdiffがDiffよりも大きい場合にはステップS310に進み、PdiffがDiff以下である場合にはステップS320に進む。
【0144】
ステップS310にて、被写界深度算出部64により、各撮像系11L、11Rの被写界深度を算出する。
【0145】
過焦点距離をH、焦点距離をf、絞り値をN、許容錯乱円直径をC、合焦位置までの距離をSp、前側被写界深度をD、後側被写界深度をDとすると、被写界深度Dは、数3〜数6を用いて算出できる。
[数3]H=f/(N×C)
[数4]D=(Sp×(H−f))/(H+Sp−2f)
[数5]D=(Sp×(H−f))/(H−Sp)
[数6]D=D+D
以下では、左撮像系11Lの被写界深度DをDL、右撮像系11Rの被写界深度DをDRと記す。即ち、左撮像系合焦位置P1に対応するレンズ位置にフォーカスレンズ130FLを設定したときの左撮像系11Lの被写界深度がDLであり、右撮像系合焦位置P2に対応するレンズ位置にフォーカスレンズ130FRを設定したときの右撮像系11Rの被写界深度がDRである。即ち、DL及びDRを被写界深度算出部64により算出する。
【0146】
ステップS311にて、合焦位置判定部68は、各撮像系11L、11Rの被写界深度DL、DR内に左撮像系合焦位置P1及び右撮像系合焦位置P2の両方が包含されているか否かを判定し、P1及びP2の両方を被写界深度内に包含している撮像系を選択し、選択した撮像系のAFサーチで検出したひとつの合焦位置(P1又はP2)を、左右撮像系合焦位置P3に設定する。図18にて、P1に合焦した左撮像系11Lの被写界深度DLはP1及びP2の両方を包含しているが、P2に合焦した右撮像系11Rの被写界深度DRはP2のみを包含している。そこで、合焦位置判定部68は、左撮像系11Lを選択し、P1をP3に設定する。
【0147】
ステップS320にて、CPU110は、フォーカスレンズ制御部126L、126Rにより、左撮像系11Lのフォーカスレンズ130FL及び右撮像系11Rのフォーカスレンズ130FRを、それぞれ左右撮像系合焦位置P3に対応するレンズ位置に移動させる。即ち、P1及びP2の両方を被写界深度内に包含する撮像系(11L又は11R)で検出された合焦位置に、両フォーカスレンズ130FL,130FRを合焦させる。
【0148】
ステップS321〜S323は、第1実施形態のS121〜S123と同じである。
【0149】
図19は、本実施形態の被写界深度算出部64を回路によって構成した場合の一例を示す。図19にて、被写界深度算出部64は、入力ポート64a及び出力ポート64bを備える。例えば、左撮像系合焦位置P1(Sp1)、右撮像系合焦位置P2(Sp2)、絞り132L,132Rの絞り値N、許容錯乱円の直径C及び焦点距離fを入力ポート64aに入力すると、被写界深度算出部64は、入力されたパラメータP1、P2、N、C及びfに基づいて、被写界深度DL及びDRを算出し、DL及びDRを出力ポート64bから出力する。
【0150】
(第4実施形態)
図20は、第4実施形態におけるデジタルカメラ104の内部構成を示すブロック図である。なお、図5に示した第1実施形態におけるデジタルカメラ101と同じ要素には同じ符号を付してあり、以下では、第1実施形態と異なる事項のみ説明する。
【0151】
視差量算出部76は、各合焦位置P1、P2ごとに、左撮像系11Lと右撮像系11Rとの視差量を算出する。
【0152】
本実施形態の合焦位置判定部78は、左撮像系合焦位置P1と右撮像系合焦位置P2とで視差量を比較して、P1及びP2のうち視差量が小さい合焦位置を判定する。
【0153】
尚、図20にて、視差量算出部76及び合焦位置判定部78を、CPU110とは別に描いたが、CPU110によって構成してもよい。
【0154】
図21は、第4実施形態における立体撮像処理の一例の流れを示すフローチャートである。本処理は、図20のCPU110によりプログラムに従い実行される。
【0155】
以下では、図22に示す被撮影空間にて立体視撮影を行い、図23に示す左撮像画像92L像及び右撮像画像92Rを立体視画像としてメモリカード156に記録する場合を例に説明する。
【0156】
ステップS401〜S408は、図6に示した第1実施形態におけるS101〜S108と同様であり、説明を省略する。
【0157】
ステップS409にて、合焦位置判定部78は、合焦位置差Pdiffが閾値Diffよりも大きいか否かを判定し、PdiffがDiffよりも大きい場合にはステップS410に進み、PdiffがDiff以下である場合にはステップS420に進む。
【0158】
ステップS410にて、視差量算出部76は、各合焦位置P1、P2ごとに、左撮像系11Lと右撮像系11Rとの視差量を算出する。本例では、左撮像系合焦位置P1、右撮像系合焦位置P2、クロスポイント位置CP及び基線長SBに基づいて、左撮像系合焦位置P1の視差量A1及び右撮像系合焦位置P2の視差量A2を算出する。A1、A2は、被撮影空間での撮像系11L、11R間の視差量である。図22に示すように、P1までの被写体距離をSp2、P2までの被写体距離をSp2、CPまでの距離をScpとしたとき、A1及びA2は[数7]を用いて算出できる。
【0159】
[数7]
A1=((Scp/SB)×(Scp−Sp1))
A2=((Scp/SB)×(Sp2−Scp))
A1は、図23における左撮像画像92Lの花画像921Lと右撮像画像92Rの花画像921Rとの両眼視差量AP1に比例する。また、A2は、図23における左撮像画像92Lの車画像922Lと右撮像画像92Rの車画像922Rとの両眼視差量AP2に比例する。AP1、AP2は、撮像画像での両眼間の視差量である。よって、視差量算出部76は、各合焦位置P1、P2ごとに、撮像画像での両眼視差量AP1、AP2を検出しているともいえる。
【0160】
ステップS411にて、合焦位置判定部78は、左撮像系合焦位置P1と右撮像系合焦位置P2とで視差量A1、A2を比較して、P1及びP2のうち視差量が小さい合焦位置を判定し、左右撮像系合焦位置P3に設定する。
【0161】
ステップS420にて、CPU110は、フォーカスレンズ制御部126L、126Rにより、左撮像系11Lのフォーカスレンズ130FL及び右撮像系11Rのフォーカスレンズ130FRを、それぞれ左右撮像系合焦位置P3に対応するレンズ位置に移動させる。即ち、両フォーカスレンズ130FL,130FRを、P1及びP2のうち視差量が小さい合焦位置に合焦させる。
【0162】
ステップS421〜S423は、第1実施形態のS121〜S123と同じである。
【0163】
図24は、本実施形態の視差量算出部76を回路によって構成した場合の一例を示す。図24にて、視差量算出部76は、入力ポート76a及び出力ポート76bを備える。例えば、左撮像系合焦位置P1(Sp1)、右撮像系合焦位置P2(Sp2)、クロスポイント位置CP(Scp)、基線長SBを入力ポート76aに入力すると、視差量算出部76は、入力されたパラメータP1、P2、CP、SBに基づいて、視差量A1及びA2を算出し、A1及びA2を出力ポート76bから出力する。
【0164】
(第5実施形態)
図25は、第5実施形態におけるデジタルカメラ104の内部構成を示すブロック図である。なお、第1実施形態から第4実施形態までのデジタルカメラ(図5の101、図12の102、図16の103、図20の104)と同じ要素には同じ符号を付してあり、以下では、異なる事項のみ説明する。
【0165】
合焦位置判定部88は、各合焦位置P1、P2が立体視可能範囲内にあるか否かを判定する(第1の合焦位置判定)。また、合焦位置判定部88は、各撮像系11L、11Rの被写界深度内に左撮像系合焦位置P1及び右撮像系合焦位置P2の両方が包含されているか否かを判定する(第2の合焦位置判定)。また、合焦位置判定部88は、左撮像系合焦位置P1における視差量と右撮像系合焦位置P2における視差量との大小関係を判定する(第3の合焦位置判定)。また、合焦位置判定部88は、第1〜第3の合焦位置判定の結果に基づいて、前記第1の合焦位置及び前記第2の合焦位置のうちいずれかを選択する。すなわち、本例の合焦位置判定部88は、左撮像系合焦位置P1、右撮像系合焦位置P2、立体視可能範囲、被写界深度、及び、P1、P2における視差量に基づいて、P1及びP2のうちから左右撮像系合焦位置P3を選択する。
【0166】
図26は、第5実施形態における立体撮像処理の一例の流れを示すフローチャートである。本処理は、図25のCPU110によりプログラムに従い実行される。
【0167】
ステップS501〜S508は、図6に示した第1実施形態におけるS101〜S108と同様であり、説明を省略する。
【0168】
ステップS509にて、合焦位置判定部88は、合焦位置差Pdiffが閾値Diffよりも大きいか否かを判定し、PdiffがDiffよりも大きい場合にはステップS510に進み、PdiffがDiff以下である場合にはステップS520に進む。
【0169】
ステップS510にて、第3実施形態のステップS310と同様に、被写界深度算出部64により各撮像系11L、11Rの被写界深度DL、DRを算出する。即ち、左撮像系11Lのフォーカスレンズ130FLを左撮像系合焦位置P1に合焦させた状態における左撮像系11Lの被写界深度DLと、右撮像系11Rのフォーカスレンズ130FRを右撮像系合焦位置P2に合焦させた状態における右撮像系11Rの被写界深度DRとを算出する。
【0170】
ステップS511にて、第3実施形態のステップS311と同様に、各撮像系11L、11Rの被写界深度DL、DR内に左撮像系合焦位置P1及び右撮像系合焦位置P2の両方が包含されているか否かを判定する。
【0171】
ステップS512にて、第4実施形態のステップS410と同様に、各合焦位置P1、P2ごとに、左撮像系11Lと右撮像系11Rとの視差量を算出する。
【0172】
ステップS513にて、第4実施形態のステップS411と同様に、左撮像系合焦位置P1における視差量と右撮像系合焦位置P2における視差量との大小関係を判定する。
【0173】
ステップS514にて、第2実施形態のステップS211と同様に、被撮影空間における立体視可能範囲を算出する。
【0174】
ステップS515にて、第2実施形態のステップS212と同様に、各合焦位置P1、P2が立体可能範囲内にあるか否かを判定する。
【0175】
ステップS517にて、撮影時合焦位置判定テーブルに基づいて、左右撮像系合焦位置P3(撮影時合焦位置)を決定する。
【0176】
図27に撮影時合焦位置判定テーブルの一例を示す。本例では、P1、P2のうち少なくとも一方が立体視可能範囲内にある場合には、第2実施形態と同様、立体視可能範囲内にある合焦位置を撮影時合焦位置P3として選択する。また、P1及びP2の両方が立体視可能範囲外である場合には、視差量が小さい合焦位置をP3として選択する。また、P1及びP2の両方が立体視可能範囲内である場合には、被写界深度内に両合焦位置P1及びP2の両方を包含する撮像系にて検出されたひとつの合焦位置をP3として選択する。
【0177】
図28に撮影時合焦位置判定テーブルの他の例を示す。本例では、P1、P2のうち少なくとも一方が立体視可能範囲内にある場合には、第2実施形態と同様、立体視可能範囲内にある合焦位置を撮影時合焦位置P3として選択する。また、P1及びP2の両方が立体視可能範囲外である場合には、被写界深度内に両合焦位置P1及びP2の両方を包含する撮像系にて検出されたひとつの合焦位置をP3として選択する。また、P1及びP2の両方が立体視可能範囲内である場合には、視差量が小さい合焦位置をP3として選択する。
【0178】
なお、本発明は図27又は図28に示した場合には特に限定されない。例えば、P1及びP2の両方が立体視可能範囲外である場合も両方が立体視可能範囲内である場合も、視差量が小さい合焦位置をP3として選択してもよい。また、例えば、P1及びP2の両方が立体視可能範囲外である場合も両方が立体視可能範囲内である場合も、被写界深度内に両合焦位置P1及びP2の両方を包含する撮像系にて検出されたひとつの合焦位置をP3として選択してもよい。
【0179】
ステップS520にて、CPU110は、フォーカスレンズ制御部126L、126Rにより、左撮像系11Lのフォーカスレンズ130FL及び右撮像系11Rのフォーカスレンズ130FRを、それぞれ左右撮像系合焦位置P3に対応するレンズ位置に移動させる。
【0180】
ステップS521〜S523は、第1実施形態のS121〜S123と同じである。
【0181】
なお、撮像画像のコントラストが極大になる合焦レンズ位置を検出することで、画角内の特定の合焦エリアでフォーカスレンズが合焦する被写体の位置(合焦位置)を検出する場合を例に説明したが、本発明はこのような場合に限定されない。例えば測距センサを用いて被写体距離を測定する場合にも適用可能である。
【0182】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【0183】
10、101〜105…デジタルカメラ、18…シャッタボタン、11L、11R…撮像系、14L、14R…右撮影レンズ、24…モニタ、42…立体視可能範囲算出部、48、58、68、78、88…合焦位置判定部、64…被写界深度算出部、76…視差量算出部、110…CPU、124L、124R…ズームレンズ制御部、126L、126R…フォーカスレンズ制御部、130ZL、130ZR…ズームレンズ、130FL、130FR…フォーカスレンズ、134L、134R…撮像素子、144…AF検出部、156…メモリカード、CP…クロスポイント、P1…左撮像系合焦位置、P2…右撮像系合焦位置、SB…基線長

【特許請求の範囲】
【請求項1】
第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段とを備えた立体撮像装置において、
前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、
前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出手段と、
前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲算出手段と、
前記各合焦位置が前記立体視可能範囲内にあるか否かを判定する合焦位置判定手段と、
前記第1の合焦位置及び前記第2の合焦位置のうち前記立体視可能範囲内にあると判定されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦制御手段と、
を備えたことを特徴とする立体撮像装置。
【請求項2】
第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段とを備えた立体撮像装置において、
前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、
前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出手段と、
前記各撮像手段の被写界深度を算出する被写界深度算出手段と、
前記各撮像手段の被写界深度内に前記第1の合焦位置及び前記第2の合焦位置の両方が包含されているか否かを判定する合焦位置判定手段と、
前記第1の合焦位置及び前記第2の合焦位置の両方を被写界深度内に包含する撮像手段にて検出されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦制御手段と、
を備えたことを特徴とする立体撮像装置。
【請求項3】
第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段とを備えた立体撮像装置において、
前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、
前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出手段と、
前記各合焦位置ごとに前記第1の撮像手段と前記第2の撮像手段との視差量を算出する視差量算出手段と、
前記第1の合焦位置及び前記第2の合焦位置のうちで前記視差量が小さい合焦位置を判定する合焦位置判定手段と、
前記合焦位置判定手段により視差量が小さいと判定された前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦制御手段と、
を備えたことを特徴とする立体撮像装置。
【請求項4】
第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段とを備えた立体撮像装置において、
前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、
前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出手段と、
前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲算出手段と、
前記各撮像手段の被写界深度を算出する被写界深度算出手段と、
前記各合焦位置ごとに前記第1の撮像手段と前記第2の撮像手段との視差量を算出する視差量算出手段と、
前記第1の合焦位置、前記第2の合焦位置、前記立体視可能範囲、前記被写界深度及び前記視差量に基づいて、前記第1の合焦位置及び前記第2の合焦位置のうちいずれかを選択する合焦位置選択手段と、
前記選択された合焦位置に前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦制御手段と、
を備えたことを特徴とする立体撮像装置。
【請求項5】
前記各撮像手段の被写界深度を算出する被写界深度算出手段を備え、
前記合焦位置判定手段は、前記各撮像手段の被写界深度内に前記第1の合焦位置及び前記第2の合焦位置の両方が包含されているか否かを判定し、
前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記立体視可能範囲内にある場合、前記第1の合焦位置及び前記第2の合焦位置の両方を被写界深度内に包含する撮像手段にて検出されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする請求項1に記載の立体撮像装置。
【請求項6】
前記第1の画像及び前記第2の画像における前記各合焦位置の視差量を取得する視差量取得手段を備え、
前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記立体視可能範囲内にある場合、前記第1の合焦位置及び前記第2の合焦位置のうちで視差量が小さい前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする請求項1に記載の立体撮像装置。
【請求項7】
前記各撮像手段の被写界深度を算出する被写界深度算出手段を備え、
前記合焦位置判定手段は、前記各撮像手段の被写界深度内に前記第1の合焦位置及び前記第2の合焦位置の両方が包含されているか否かを判定し、
前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記立体視可能範囲外にある場合、前記第1の合焦位置及び前記第2の合焦位置の両方を被写界深度内に包含する撮像手段にて検出されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする請求項1、5及び6のうちいずれか1項に記載の立体撮像装置。
【請求項8】
前記第1の画像及び前記第2の画像における前記各合焦位置の視差量を取得する視差量取得手段を備え、
前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記立体視可能範囲外にある場合、前記第1の合焦位置及び前記第2の合焦位置のうちで視差量が小さい前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする請求項1、5及び6のうちいずれか1項に記載の立体撮像装置。
【請求項9】
前記合焦位置判定手段は、前記各合焦位置が前記撮影光学系の光軸の交点と前記立体視可能範囲の近点との間にあるか否かを判定し、
前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置のうち前記交点と前記立体視可能範囲の近点との間にあると判定されたひとつの前記合焦位置に、前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする請求項1に記載の立体撮像装置。
【請求項10】
前記合焦制御手段は、前記第1の合焦位置及び前記第2の合焦位置の両方が前記交点と前記立体視可能範囲の近点との間にある場合、前記第1の合焦位置及び前記第2の合焦位置のうち前記近点に最も近い合焦位置に前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させることを特徴とする請求項9に記載の立体撮像装置。
【請求項11】
第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、を用いる立体撮像方法において、
前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、
前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲算出ステップと、
前記各合焦位置が前記立体視可能範囲内にあるか否かを判定する合焦位置判定ステップと、
前記第1の合焦位置及び前記第2の合焦位置のうち前記立体視可能範囲内にあると判定されたひとつの前記合焦位置に、前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、
を含むことを特徴とする立体撮像方法。
【請求項12】
第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、を用いる立体撮像方法において、
前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、
前記各撮像手段の被写界深度を算出する被写界深度算出ステップと、
前記各撮像手段の被写界深度内に前記第1の合焦位置及び前記第2の合焦位置の両方が包含されているか否かを判定する合焦位置判定ステップと、
前記第1の合焦位置及び前記第2の合焦位置の両方を被写界深度内に包含する撮像手段にて検出されたひとつの前記合焦位置に、前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、
を含むことを特徴とする立体撮像方法。
【請求項13】
第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、を用いる立体撮像方法において、
前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、
前記各合焦位置ごとに前記第1の撮像手段と前記第2の撮像手段との視差量を算出する視差量算出ステップと、
前記第1の合焦位置及び前記第2の合焦位置のうちで前記視差量が小さい合焦位置を判定する合焦位置判定ステップと、
前記合焦位置判定手段により視差量が小さいと判定された前記合焦位置に、前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、
を含むことを特徴とする立体撮像方法。
【請求項14】
第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段と、を用いる立体撮像方法において、
前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、
前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲算出ステップと、
前記各撮像手段の被写界深度を算出する被写界深度算出ステップと、
前記各合焦位置ごとに前記第1の撮像手段と前記第2の撮像手段との視差量を算出する視差量算出ステップと、
前記第1の合焦位置、前記第2の合焦位置、前記立体視可能範囲、前記被写界深度及び前記視差量に基づいて、前記第1の合焦位置及び前記第2の合焦位置のうちいずれかを選択する合焦位置選択ステップと、
前記選択された合焦位置に前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、
を含むことを特徴とする立体撮像方法。
【請求項15】
第1のフォーカスレンズを含む第1の撮影光学系を有し被写体を撮像して第1の画像を生成する第1の撮像手段と、第2のフォーカスレンズを含む第2の撮影光学系を有し前記被写体を撮像して第2の画像を生成する第2の撮像手段と、前記各フォーカスレンズを前記各撮影光学系の光軸に沿って移動させるレンズ駆動手段とを用いる立体撮像方法において、
前記レンズ駆動手段により前記各フォーカスレンズを移動させて、前記第1のフォーカスレンズの被撮影空間における第1の合焦位置、及び、前記第2のフォーカスレンズの被撮影空間における第2の合焦位置を検出する合焦位置検出ステップと、
前記第1の撮像手段と前記第2の撮像手段との視差量が許容範囲内になる被撮影空間における立体視可能範囲を算出する立体視可能範囲取ステップと、
前記各合焦位置が前記撮影光学系の光軸の交点と前記立体視可能範囲の近点との間にあるか否かを判定する合焦位置判定ステップと、
前記第1の合焦位置及び前記第2の合焦位置のうち前記交点と前記立体視可能範囲の近点との間にあると判定されたひとつの前記合焦位置に、前記レンズ駆動手段により前記第1のフォーカスレンズ及び前記第2のフォーカスレンズを合焦させる合焦ステップと、
を含むことを特徴とする立体撮像方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate


【公開番号】特開2011−28053(P2011−28053A)
【公開日】平成23年2月10日(2011.2.10)
【国際特許分類】
【出願番号】特願2009−174560(P2009−174560)
【出願日】平成21年7月27日(2009.7.27)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】