説明

撮像装置及び被写体距離算出方法

【課題】特別な手段を用いることなく、既存の機構を利用して被写体距離を算出することができる。
【解決手段】スルー画像取得時にセンサー等により手ブレ(シフトブレ(Xシフト、Yシフト)及び回動ブレ(ヨー、ピッチ)を検出する。それと同時に、手ブレ前と後の画像データのずれ量である動き量を検出する。なお、動き量から回動ブレによる影響を除去し、回動ブレの影響が除去された画像データから求められた動き量と、シフトブレと、焦点距離とに基づいて、被写体距離を算出する。これにより、既存の機構を利用することで、コストをかけることなく測距情報を取得することができる。なお、算出された被写体距離は、AFサーチ範囲を限定したり、フラッシュの適正光量を調整したりすることに用いられる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像装置及び被写体距離算出方法に係り、特に特別な手段を用いることなく被写体距離を推定可能な撮像装置及び被写体距離算出方法に関する。
【背景技術】
【0002】
特許文献1には、手ブレ補正用のレンズ駆動機構を利用して、位相の異なる画像を取得し、レンズ駆動量、画像相関量、焦点距離より被写体までの距離を算出する技術が記載されている。
【0003】
特許文献2には、ある任意の焦点レンズ位置にて撮像したフレームの第1のAFエリア画像と、焦点レンズを微小移動して撮像したフレームの第2のAFエリア画像とを取得し、第1のAFエリア画像及び第2のAFエリア画像の点像分布係数を求め、第1のAFエリア画像の点像半径と、第2のAFエリア画像の点像半径とから焦点位置及び焦点方向を算出する技術が記載されている。
【0004】
特許文献3には、複数の撮像手段を有し、それぞれの撮像手段で撮影された画像の位相差と、基線長と、焦点距離とに基づいて被写体までの距離を算出する技術が記載されている。
【特許文献1】特開2002―296491号公報
【特許文献2】特開2000―199845号公報
【特許文献3】特開2005―43225号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1に記載の技術においては、レンズを大きく移動させて位相差のある画像を取得するため、ライブビュー画像(スルー画)が大きくブレて表示されてしまうという問題がある。
【0006】
また、特許文献3に記載の技術においては、複数の撮像手段を用いて位相差のある画像を取得するため、複数の撮像手段を備えた装置でないと適用することができないという問題がある。また、複数の撮像手段を備えることにより、装置の大きさが大きくなるという問題がある。
【0007】
なお、特許文献2に記載の技術は、合焦したときのレンズ位置から被写体距離を推定するものであり、直接被写体までの距離を算出することはできない。
【0008】
本発明はこのような事情に鑑みてなされたもので、特別な手段を用いることなく、既存の機構を利用して被写体距離が算出可能な撮像装置及び被写体距離算出方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
前記目的を達成するために、請求項1に記載の撮像装置は、撮像装置の撮影光軸と直交する方向のシフト量を検出するシフト量検出手段と、撮影光学系により撮像素子に結像された被写体像の画像データを取得する取得手段と、前記取得手段により取得された画像データから前記シフト量検出手段によって検出された撮像装置のシフト量に伴う前記撮像素子上の画像の動き量を検出する動き量検出手段と、前記動き量検出手段により検出された動き量と、前記シフト量検出手段により検出された撮像装置のシフト量と、前記撮影光学系の焦点距離とに基づいて、被写体距離を算出する被写体距離算出手段と、を備えたことを特徴とする。
【0010】
請求項1に記載の撮像装置によれば、撮像装置のシフト量、すなわち撮像装置のシフトブレ(Xシフト、Yシフト)の方向や量を検出し、撮像装置にシフトブレが発生することにより、撮影光学系により撮像素子に結像された被写体像の画像データに発生する撮像素子上の画像の動き量を検出する。撮像装置のシフト量と、画像データの動き量と、撮影光学系の焦点距離とに基づいて、被写体距離を算出する。これにより、特別な手段を用いることなく、既存の機構を利用して、コストをかけることなく測距情報を取得することができる。
【0011】
請求項2に記載の撮像装置は、請求項1に記載の撮像装置において、前記撮像装置の上下、左右方向の回転振れを検出する手ブレ検出手段と、前記手ブレ検出手段によって検出された回転振れに基づいて前記撮影光学系の少なくとも一部の光学部材又は前記撮像素子を駆動し、前記撮像装置の手ブレを補正する手ブレ補正手段と、前記手ブレ補正手段により前記撮像装置の手ブレが補正された画像データを前記取得手段に取得させる画像データ取得制御手段と、を備えたことを特徴とする。
【0012】
請求項2に記載の撮像装置によれば、移動自在に配設された光学部材又は撮像素子を移動させる機械式の手ブレ補正手段により、撮像素子により取得された画像データから撮像装置の回転ブレによる影響を除去する。回転ブレが除去された画像データを取得して、当該画像データに基づいて被写体距離を算出する。このように、既存の機構である手ブレ補正機構を利用することで、コストをかけることなく測距情報を取得することができる。また、撮像素子により取得された画像データから撮像装置の回転ブレ(ヨー、ピッチ)による影響を除去することで、正確な被写体距離を算出することができる。
【0013】
請求項3に記載の撮像装置は、請求項1又は2に記載の撮像装置において、前記手ブレ検出手段は、前記シフト量検出手段を含むことを特徴とする。
【0014】
請求項4に記載の撮像装置は、請求項1から3のいずれかに記載の撮像装置において、前記撮像素子により取得された画像データから人物の顔を検出する顔検出手段と、前記顔検出手段により人物の顔が検出された領域の画像データを前記取得手段に取得させる画像データ取得制御手段と、を備えたことを特徴とする。
【0015】
請求項4に記載の撮像装置によれば、撮像素子により取得された画像データから人物の顔を検出し、顔が検出された領域の画像データに基づいて被写体距離を算出する。このように、主要な被写体に基づいて被写体距離を算出することで、正確な測距を行うことができる。
【0016】
請求項5に記載の撮像装置は、請求項1から4のいずれかに記載の撮像装置において、ライブビュー画像の画像データを前記取得手段に取得させる取得制御手段を備えたことを特徴とする。
【0017】
請求項5に記載の撮像装置によれば、ライブビュー画像の画像データに基づいて被写体距離を算出する。このように、被写体距離の算出を撮影前に行うことで、算出された測距情報を撮影時に利用することができる。
【0018】
請求項6に記載の撮像装置は、請求項1から5のいずれかに記載の撮像装置において、撮影光学系を焦点調節範囲にわたって移動させ、該撮影光学系が所定量移動するごとに前記撮像素子から画像信号を出力し、該出力された画像信号から求められる被写体のコントラスト成分に基づいて前記撮影光学系の合焦制御を行う自動合焦制御手段であって、前記被写体距離算出手段により算出された被写体距離に基づいて、前記撮影光学系を移動させる範囲を限定して合焦制御を行う自動合焦制御手段を備えたことを特徴とする。
【0019】
請求項6に記載の撮像装置によれば、算出された被写体距離に基づいて限定された焦点調節範囲にわたって撮影光学系を移動させ、該撮影光学系が所定量移動するごとに前記撮像素子から画像信号を出力し、該出力された画像信号から求められる被写体のコントラスト成分に基づいて前記撮影光学系の合焦制御を行う。このように、算出された被写体距離を用いて、焦点調節範囲を限定した合焦制御を行うことにより、合焦制御に要する時間を短縮することができる。また、合焦制御に要する時間を短縮することで、シャッターチャンスを逃すことなく、操作者の意図に沿った画像を撮影することができる。
【0020】
請求項7に記載の撮像装置は、請求項1から6のいずれかに記載の撮像装置において、フラッシュ光源と、前記被写体距離算出手段により算出された被写体距離に基づいて前記フラッシュ光源の発光を制御する発光制御手段と、を備えたことを特徴とする。
【0021】
請求項7に記載の撮像装置によれば、画像データの平行移動量と、撮像装置の平行移動の方向及び量と、焦点距離とに基づいて算出された被写体距離に基づいて、フラッシュ光源の発光を制御する。これにより、被写体距離に応じて適切な光量のフラッシュを被写体に照射することができる。また、被写体距離が近距離の場合には、フラッシュを発光させることにより白トビを防ぐことができる。
【0022】
請求項8に記載の撮像装置は、請求項7に記載の撮像装置において、前記被写体距離算出手段により算出された被写体距離に基づいて前記フラッシュ光源からの光が被写体に届くか否かを判断する判断手段と、前記判断手段により前記フラッシュ光源からの光が被写体に届かないと判断された場合に警告を行う警告手段と、を備えたことを特徴とする。
【0023】
請求項8に記載の撮像装置によれば、フラッシュ光源からの光が被写体に届くか否かを判断し、届かない場合には撮影者に警告を行う。これにより、適切なフラッシュ撮影を行うことができる。
【0024】
請求項9に記載の被写体距離算出方法は、撮像装置の平行移動及び回動の方向及び量を検出するステップと、該撮像装置の平行移動及び回動の方向及び量の検出と同期して、撮影光学系により撮像素子に結像された被写体像の画像データを取得するステップと、該検出された撮像装置の回動の方向及び量に基づいて、前記取得された画像データから前記撮像装置の回動による影響を除去するステップと、前記撮像装置の回動による影響が除去された画像データの平行移動量であって、先行する画像に対する後続の画像の平行移動量を検出するステップと、該検出された平行移動量と、前記検出された前記撮像装置の平行移動の方向及び量と、前記撮影光学系の焦点距離とに基づいて、被写体距離を算出するステップと、を含むことを特徴とする。
【発明の効果】
【0025】
本発明によれば、特別な手段を用いることなく、既存の機構を利用して被写体距離を算出することができる。
【発明を実施するための最良の形態】
【0026】
以下、添付図面に従って本発明に係るカメラを実施するための最良の形態について詳細に説明する。
【0027】
<第1の実施の形態>
図1は本発明に係る電子機器の一実施形態を示す正面斜視図であり、図2はその背面斜視図である。この電子機器は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。
【0028】
デジタルカメラ10のカメラボディ12は、横長の四角い箱状に形成されており、その正面には、図1に示すように、撮影レンズ13、フラッシュ16、AF補助光ランプ18等が設けられており、上面には、シャッターボタン22、モードレバー24、電源ボタン26等が設けられている。また、側面には、開閉自在なスロットカバー11が設けられている。スロットカバー11の内側には、メモリカードを装着するためのメモリカードスロット14が設けられている。
【0029】
一方、カメラボディ12の背面には、図2に示すように、モニタ28、ズームボタン30、再生ボタン32、ファンクションボタン34、十字ボタン36、MENU/OKボタン38、DISP/BACKボタン40等が設けられている。
【0030】
なお、図示しない底面には、三脚ネジ穴と内側にバッテリを収納するための開閉自在なバッテリカバーとが設けられている。
【0031】
レンズ13は、沈胴式のズームレンズで構成されており、電源ボタン26によってデジタルカメラ10の電源をONすることにより、カメラボディ12から繰り出される。なお、レンズ13のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。
【0032】
メモリカードスロット14は、撮影した被写体の画像データ、音声データ等の各種データが記録されているメモリカードを装着するための接続部である。
【0033】
フラッシュ16は、たとえばキセノン管を光源として構成されており、その発光量を調整可能に形成されている。なお、キセノン管の他、高輝度のLEDを光源としたフラッシュを用いることもできる。
【0034】
AF補助光ランプ18は、たとえば高輝度LED構成されており、AF時に必要に応じて発光される。
【0035】
シャッターボタン22は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ10は、このシャッターボタン22を半押しすると撮影準備処理、すなわち、AE(Automatic Exposure:自動露出)、AF(Auto Focus:自動焦点合わせ)、AWB(Automatic White Balance:自動ホワイトバランス)の各処理を行い、全押しすると、画像の撮影・記録処理を行う。
【0036】
モードレバー24は、デジタルカメラ10の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、デジタルカメラ10の撮影モードが様々なモードに設定される。例えば、絞り、シャッタースピード等がデジタルカメラ10によって自動的に設定される「オート撮影モード」、動画撮影を行う「動画撮影モード」、人物撮影に適した「人物撮影モード」、動体撮影に適した「スポーツ撮影モード」、風景の撮影に適した「風景撮影モード」、夕景及び夜景の撮影に適した「夜景撮影モード」、絞りの目盛りを撮影者が設定し、シャッタースピードをデジタルカメラ10が自動的に設定する「絞り優先撮影モード」、シャッタースピードを撮影者が設定し、絞りの目盛りをデジタルカメラ10が自動的に設定する「シャッタースピード優先撮影モード」、絞り、シャッタースピード等を撮影者が設定する「マニュアル撮影モード」、手ブレを自動的に検出して補正する「手ブレ補正モード」等である。
【0037】
電源ボタン26は、デジタルカメラ10の電源をON/OFFするのに用いられ、所定時間(たとえば、2秒)押下されることにより、デジタルカメラ10の電源がON/OFFされる。
【0038】
モニタ28は、カラー表示が可能な液晶ディスプレイで構成されている。このモニタ28は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてライブビュー画像(スルー画像)が表示されて、画角確認用の電子ファインダとして利用される。
【0039】
ズームボタン30は、撮影レンズ13のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。
【0040】
再生ボタン32は、再生モードへの切り替え指示に用いられる。すなわち、デジタルカメラ10は、撮影中、この再生ボタン32が押されると、再生モードに切り替えられる。また、電源OFFの状態でこの再生ボタン32が押されると、再生モードの状態でデジタルカメラ10が起動する。
【0041】
ファンクションボタン34は、撮影及び再生機能の各種設定画面の呼び出しに用いられる。すなわち、撮影時にこのファンクションボタン34が押されると、モニタ28に画像サイズ(記録画素数)、感度等の設定画面が表示され、再生時にこのファンクションボタン34が押されると、モニタ28に画像の消去、プリント予約(DPOF)の設定画面等が表示される。
【0042】
十字ボタン36は、上下左右4方向の指示を入力する方向指示手段として機能し、たとえば、メニュー画面でメニュー項目の選択などに使用される。
【0043】
MENU/OKボタン38は、各モードの通常画面からメニュー画面への遷移を指示するボタン(MENUボタン)として機能するととともに、選択内容の確定、処理の実行等を指示するボタン(OKボタン)として機能する。
【0044】
DISP/BACKボタン40は、モニタ28の表示内容の切り替え指示(DISP機能)に用いられるとともに、入力操作のキャンセル等の指示(BACK機能)に用いられ、デジタルカメラ10の設定状態に応じて割り当てられる機能が切り替えられる。
[デジタルカメラ10の内部構成について]
図3は、本実施の形態のデジタルカメラ10の電気的構成を示すブロック図である。同図に示すように、デジタルカメラ10は、CPU110、操作部(シャッターボタン22、モードレバー24、電源ボタン26、ズームボタン30、再生ボタン32、ファンクションボタン34、十字ボタン36、MENU/OKボタン38、DISP/BACKボタン40等)112、ROM114、RAM116、バッファメモリ118、撮影光学系124、絞り/フォーカス/ズーム制御部126、撮像素子128、撮影制御部(タイミングジェネレータ)130、画像信号処理部132、被写体距離算出部134、AE/AWB検出部136、AF検出部138、手ブレ補正制御部140、フラッシュ制御部142、AF補助光ランプ制御部144、画像記録部146、表示制御部150、顔検出部152等で構成されている。
【0045】
CPU110は、デジタルカメラ10の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能し、操作部112からの入力に基づき所定の制御プログラムに従ってデジタルカメラ10の各部を制御する。
【0046】
ROM114には、このCPU110が実行する制御プログラムであるファームウェア、制御に必要な各種データ、カメラ設定値、撮影された画像データ等が記録されている。なお、後述するように、撮影された画像データは、通常メモリカードに記録されるが、ユーザーが選択した場合、メモリカードが装填されていない場合、メモリカードの容量が不足した場合等にはROM114に記録される。
【0047】
RAM116は、CPU110の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【0048】
バッファメモリ118は、表示用の画像データ専用の一時記憶領域として利用される。
【0049】
撮影光学系124は、撮影レンズ13、絞り、シャッタを含み、各構成要素は、モータ等のアクチュエータで構成される駆動部に駆動されて動作する。たとえば、撮影レンズ13を構成するフォーカスレンズ群は、フォーカスモータに駆動されて前後方向に移動し、ズームレンズ群は、ズームモータに駆動されて前後方向に移動する。また、絞りは、絞りモータに駆動されて拡縮し、シャッタは、シャッタモータに駆動されて開閉する。
【0050】
動き量検出部120は、先に取得されたスルー画像用の画像データ(先の画像)と、その次に取得されたスルー画象用の画像データ(後の画像)との間の平行移動量を検出する。すなわち、図4に示すように、動き量検出部120は、まず先の画像f(i,j)と後の画像g(i,j)との合成画像f(i,j)+ g(i,j)を作成する。その後、先の画像f(i,j)を少しずつ移動(シフト)させながら、先の画像f(i,j)と後の画像g(i,j)との相関値を算出し、相関値が低くなったときのシフト量を画像の平行移動量、すなわち先の画像f(i,j)と後の画像g(i,j)との間に発生した動き量として検出する。
【0051】
手ブレ量検出部122は、ジャイロセンサ等によりデジタルカメラ10の回動(回転ブレ)を検出し、速度センサ等によりデジタルカメラ10の平行移動(シフトブレ)を検出する。回動ブレとは、図5に示すヨー及びピッチの方向やブレ量(以下、回転ブレ量という)を検出し、加すなわち図5に示すXシフト及びYシフトの方向やブレ量(以下、シフトブレ量という)を検出する。なお、手ブレ量検出部122に用いられるセンサは、上記に記載のセンサを用いる場合に限らず、様々な手段を用いることができる。
【0052】
絞り/フォーカス/ズーム制御部126は、CPU110からの指令に応じて撮影光学系124の駆動部を制御し、撮影レンズ13、絞り、シャッタの動作を制御する。
【0053】
撮像素子128は、たとえば、所定のカラーフィルタ配列のカラーCCDで構成されており、撮影光学系124によって結像された被写体の画像を電子的に撮像する。
【0054】
撮像制御部(タイミングジェネレータ、TG)130は、CPU110からの指令に応じて、この撮像素子128を駆動するためのタイミング信号を出力する。
【0055】
画像信号処理部132は、撮像素子128から出力された画像信号に対して相関二重サンプリング処理(撮像素子の出力信号に含まれるノイズ(特に熱雑音)等を軽減することを目的として、撮像素子の1画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理)を行い、増幅して出力する。画像信号処理部132は所定容量のラインバッファを内蔵しており、出力されたR、G、Bのアナログの画像信号をデジタルの画像信号に変換し、CPU110からの指令に従い、出力された1画像分の画像信号を蓄積して、RAM116に記録する。
【0056】
また、画像信号処理部132は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、CPU110からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。
【0057】
被写体距離算出部134は、動き量検出部120で検出された動き量と、手ブレ量検出部122で検出されたシフト量と、撮影光学系124の焦点距離とにより、推定被写体距離を算出する。以下、被写体距離算出部134において推定被写体距離を算出する方法について説明する。図6は、推定被写体距離を算出する処理の流れを示すフローチャートであり、図7は、推定被写体距離を算出する場合のデータの流れを示す機能図である。
【0058】
スルー画像撮影中(詳細は後述)に発生した手ブレ(回転ブレ及びシフトブレ)を手ブレ量検出部122で検出する(ステップS1)。同時に、手ブレ量検出部122で手ブレが検出された直前と直後に撮像素子128から出力されたスルー画像の画像データを取得し、前の画像と後の画像との間の動き量を動き量検出部120で検出する(ステップS2)。ステップS1で検出された回転ブレ量、シフトブレ量と、動き量検出部120で検出された動き量の情報は、それぞれ被写体距離検出部134に入力される。
【0059】
CPU110において、手ブレ補正モードが設定されているかどうかが検出される(ステップS3)。手ブレ補正モードが設定されている場合(ステップS3でYES)には、手ブレ補正制御部140(後述)において、ステップS2で動き量を検出する基となる画像データから回転ブレの影響が除去されているため、そのままステップS5へ進む。
【0060】
手ブレ補正モードが設定されていない場合(ステップS3でNO)には、被写体距離算出部134において、ステップS2で検出された動き量から、ステップS1で検出された回転ブレにより前の画像と後の画像との間ので発生した動き量を除去し(ステップS4)、ステップ5へ進む。
【0061】
ここで、ステップS3、S4において、動き量から回転ブレによる影響を除去する理由について説明する。図8は、被写体距離が異なる場合における回転ブレ量と動き量との関係を示すグラフであり、図9は被写体距離が異なる場合におけるシフトブレ量と動き量との関係を示すグラフである。
【0062】
図8に示すように、回転ブレと動き量とは比例関係にあるが、比例係数は被写体距離によらず一定である。したがって、回転ブレ量と動き量との関係から被写体距離を求めることはできない。それに対し、シフトブレ量と動き量とは比例関係にあり、比例係数は被写体距離によって異なるため、シフトブレ量と動き量とが分かれば被写体距離が算出できる。したがって、ステップS5において用いる動き量は、回転ブレによる影響を除去して、シフトブレのみによる動き量とする必要がある。
【0063】
最後に、ステップS3又はS4により求められたシフトブレによる動き量、ステップS2で検出されたシフトブレ量、及び絞り/フォーカス/ズーム制御部126から出力された撮影光学系124の焦点距離により、図9により求められる数式1に基づいて推定被写体距離を算出する(ステップS5)。なお、算出された推定被写体距離は、被写体距離算出部134からCPU110、AF検出部138、フラッシュ制御部142等に出力される。
[数1]
推定被写体距離=f(ズーム値、シフトブレ量、動き量)
=a×(シフトブレ量/動き量)
なお、aは係数であり、ズーム値(撮影光学系124の焦点距離)によって異なる値をとる。
【0064】
これにより、特別な機構を用いることなく、既存の機構である手ブレ補正機構を応用することで、コストをかけることなく測距情報を取得することができる。なお、測距に用いる画像データは、デジタルカメラ10が大きく動かされる時、すなわち取得されるスルー画像が安定した画像となる直前に行うことが望ましい。この場合には、スルー画像の動き量が大きくなるため、高い精度で推定被写体距離を算出することができる。
【0065】
AE/AWB検出部136は、CPU110からの指令に従い、入力された画像信号からAE制御及びAWB制御に必要な物理量を算出する。たとえば、AE制御に必要な物理量として、1画面を複数のエリア(たとえば16×16)に分割し、分割したエリアごとにR、G、Bの画像信号の積算値を算出する。CPU110は、このAE/AWB検出部136から得た積算値に基づいて被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。そして、算出した撮影EV値と所定のプログラム線図から絞り値とシャッタ速度を決定する。また、AWB制御に必要な物理量として、1画面を複数のエリア(例えば、16×16)に分割し、分割したエリアごとにR、G、Bの画像信号の色別の平均積算値を算出する。CPU110は、得られたRの積算値、Bの積算値、Gの積算値から分割エリアごとにR/G及びB/Gの比を求め、求めたR/G、B/Gの値のR/G、B/Gの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ1(つまり、1画面においてRGBの積算比率がR:G:B≒1:1:1)になるように、ホワイトバランス調整回路のR、G、B信号に対するゲイン値(ホワイトバランス補正値)を決定する。
【0066】
AF検出部138は、CPU110からの指令に従い、入力された画像信号からAF制御に必要な物理量を算出する。本実施の形態のデジタルカメラ10では、撮像素子128から得られる画像のコントラストによりAF制御が行われ(いわゆるコントラストAF)、AF検出部138は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。CPU110は、このAF検出部138で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠までの間の所定の範囲(以下、AFサーチ範囲という)において所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。
【0067】
手ブレ補正制御部140は、デジタルカメラ10の振れをジャイロセンサにより検出し、撮像素子128を振れと反対方向に移動させることにより、撮像素子128に結像される被写体像の手振れを補正する。
【0068】
フラッシュ制御部142は、CPU110からの指令に従い、また被写体距離算出部134で算出された被写体距離に応じて、フラッシュ16の発光を制御する。
【0069】
AF補助光ランプ制御部144は、CPU110からの指令に従い、AF補助光ランプ18の発光を制御する。すなわち、CPU110は、AF時に被写体が暗いと判断すると、あるいは、被写体のコントラストが低いと判断すると、AF補助光ランプ制御部144を介してAF補助光ランプ18を発光させ、被写体にAF補助光を照射させてAF制御を実行する。
【0070】
画像記録部146は、CPU110からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、CPU110からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。また、画像記録部146は、CPU110からの指令に従い、メモリカードスロット14に装填されたメモリカード148に対してデータの読み/書きを制御する。
【0071】
表示制御部150は、CPU110からの指令に従い、モニタ28への表示を制御する。すなわち、CPU110からの指令に従い、入力された画像信号をモニタ28に表示するための映像信号(たとえば、NTSC信号やPAL信号、SCAM信号)に変換してモニタ28に出力するとともに、所定の文字、図形情報をモニタ28に出力する。
【0072】
顔検出部152は、CPU110からの指令に従い、入力された画像データから画像内の顔領域を抽出し、その位置(たとえば、顔領域の重心)を検出する。この顔領域の抽出は、たとえば、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出する。この他、画像から顔領域を抽出する方法としては、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで、顔領域を判断する方法や、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法、複数の顔の形状をしたテンプレートを用意し、そのテンプレートと画像との相関を計算し、この相関値により顔候補領域とすることで人の顔を抽出する方法等が知られており、これらの方法を用いて抽出することができる。
[デジタルカメラ10の撮影、記録動作及び再生動作について]
電源ボタン26を押下し、デジタルカメラ10の電源を投入すると、デジタルカメラ10は、撮影モードの下で起動する。
【0073】
まず、絞り/フォーカス/ズーム制御部126を介して撮影光学系124の駆動部が駆動され、撮影レンズ13が所定位置まで繰り出される。そして、撮影レンズ13が所定位置まで繰り出されると、撮像素子128によってスルー画像用の撮影が行われ、モニタ28にスルー画像が表示される。すなわち、撮像素子128で連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、バッファメモリ118を介して順次表示制御部150に加えられ、表示用の信号形式に変換されて、モニタ28に出力される。これにより、撮像素子128で捉えた画像がモニタ28にスルー表示される。
【0074】
それと同時に、撮像素子128で取得されたスルー画像の画像データに基づいて、被写体距離算出部134において推定被写体距離が算出される。顔検出部152において人物の顔が検出された場合には、顔が検出された領域の画像データが被写体距離算出部134に入力され、当該画像データに基づいて推定被写体距離が算出される。このように、主要な被写体に基づいて被写体距離を算出することで、正確な測距を行うことができる。
【0075】
撮影者は、このモニタ28に表示されたスルー画像を見て構図を決定し、シャッターボタン22を半押しする。
【0076】
シャッターボタン22が半押しされると、CPU110にS1ON信号が入力される。CPU110は、このS1ON信号に応動して、撮影準備処理、すなわち、AE、AF、AWBの各処理を実行する。
【0077】
まず、撮像素子128から出力された画像信号を画像信号処理部132を介してRAM116に取り込み、AE/AWB検出部136及びAF検出部138に加える。
【0078】
AE/AWB検出部136は、入力された画像信号からAE制御及びAWB制御に必要な物理量を算出し、CPU110に出力する。CPU110は、このAE/AWB検出部136からの出力に基づき、絞り値とシャッタースピードを決定するとともに、ホワイトバランス補正値を決定する。
【0079】
同時に、フラッシュ16の発光が必要かどうかの判断や、フラッシュ16の発光量の調整を行う。フラッシュ16の発光が必要と判断された場合には、図10に示すフローチャートに基づいてフラッシュ16の適正光量を調整する。図10は、フラッシュ16の適正光量を調整する処理の流れを示すフローチャートであり、図11は、フラッシュ16の適正光量を調整する場合のデータの流れを示す機能図である。
【0080】
ステップS1〜S5により算出された推定被写体距離を被写体距離検出部134からフラッシュ制御部142に入力し(ステップS11)、フラッシュ16をプリ発光させることにより得られた反射光に基づいて判断された被写体の輝度と、ステップS11で入力された推定被写体距離とを用いて、フラッシュ制御部142は、図12に示すグラフに基づいて本撮影時のフラッシュ16の発光量を決定する(ステップS12)。そして、フラッシュ制御部142は、被写体距離算出部134で算出された被写体距離が図12に示すグラフに基づいてフラッシュ16が届かない距離であると判断した場合には、モニタ28に「フラッシュが届きません」などの警告メッセージを表示する(ステップS13)。
【0081】
これにより、被写体距離に応じて適切な光量のフラッシュを被写体に照射することができる。また、被写体距離が近距離の場合に、フラッシュによる白トビを防ぐことができる。また、フラッシュが届かない場合に警告を行うことで、適切なフラッシュ撮影を行うように撮影者を誘導することができる。なお、警告はメッセージに限らず、音、音声などにより行なってもよい。
【0082】
その後、AF検出部138は、入力された画像信号からAF制御に必要な物理量を算出し、CPU110に出力する。本実施の形態においては、被写体距離算出部134で算出された被写体距離に基づいてAFサーチ範囲を限定してAF制御を行なう点に特徴がある。以下、被写体距離算出部134で算出された被写体距離に基づいて、AFサーチ範囲を限定してAF制御を実行する方法について説明する。図13は、AFサーチ範囲を限定する処理の流れを示すフローチャートであり、図14は、AFサーチ範囲を限定する場合のデータの流れを示す機能図である。
【0083】
ステップS1〜S5により算出された推定被写体距離を被写体距離検出部134からAF検出部138に入力し(ステップS15)、絞り/フォーカス/ズーム制御部126から出力された撮影光学系124の焦点距離、ステップS11で入力された推定被写体距離、及び予め作成されたフォーカス特性情報に基づいて、AF検出部138は、至近から無限遠までの間のうちの所定の範囲に限定されたAFサーチ範囲を設定する(ステップS16)。本実施の形態におけるフォーカス特性情報とは、焦点距離毎の被写体距離の逆数と合焦位置との関係を示し、これにより合焦するレンズの位置を算出することができる。
【0084】
CPU110は、このAF検出部138からの出力に基づき絞り/フォーカス/ズーム制御部126を介して撮影光学系124の駆動部の駆動を制御してフォーカスレンズを所定のステップで移動させ、各位置で焦点評価値を取得する(ステップS17)。得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる(ステップS18)。
【0085】
ここで、限定されたAFサーチ範囲について説明する。図15は、被写体距離が1m、通常の明るさ、ズーム時におけるAFサーチの様子を示す。
【0086】
通常のAFサーチでは、サーチステップ(約30パルス)を大きくとるラフサーチを行いながらAF評価値を算出する。ラフサーチの範囲は焦点距離毎に決まっており、近傍から無限遠のそれぞれの場合においてピントが合う範囲でラフサーチが行われる。ラフサーチのAF評価値が2回減少すると、ラフサーチとは逆向きに詳細なサーチステップ(約6パルス)で詳細サーチを行う。
【0087】
限定されたAFサーチ範囲とは、この詳細サーチのAFサーチ範囲のことである。本実施の形態では、推定被写体距離が算出されているため、推定被写体距離をラフサーチでのAF評価値の最大値の位置とすることで、ラフサーチを行うことなく、詳細サーチが可能である。詳細サーチの範囲は、例えば推定被写体距離の位置を中心にして詳細なサーチステップの5回分程度の範囲である。
【0088】
このように、AFサーチ範囲を限定してはAF制御を行うことにより、AF制御を高速化することができる。また、被写体が暗い場合や距離が近い場合などの条件が悪い場合においても、AF制御に要する時間を通常のAF制御に要する時間と同等にし、かつ安定したAF制御を行うことができる。例えば、被写体が暗い場合には、通常の方法ではAF制御に1〜2秒程度の時間を要するが、本実施の形態の方法を用いることでAF制御に要する時間を0.4〜0.6秒程度にまで短縮することができる。また、推定被写体距離に基づいて自動的にマクロ設定に切り替えられるため、ユーザーが近距離撮影用のマクロ設定に切り替えることなく、操作が容易となる。また、合焦制御に要する時間を短縮することで、シャッターチャンスを逃すことなく、操作者の意図に沿った画像を撮影することができる。なお、CPU110は、必要に応じてAF補助光ランプ20を発光させて、AF制御を実行する。
【0089】
撮影者は、モニタ28に表示されるスルー画像を見て撮影レンズ13のピント状態等を確認し、撮影を実行する。すなわち、シャッターボタン22を全押しする。
【0090】
シャッターボタン22が全押しされると、CPU110にS2ON信号が入力される。CPU110は、このS2ON信号に応動して、撮影、記録処理を実行する。
【0091】
まず、上記のAE処理で求めた絞り値、シャッタースピードで撮像素子128を露光し、記録用の画像を撮像する。この際、フラッシュ16を発光させる場合は、フラッシュ発光制御部156を介して、プリ発光の結果から求めたフラッシュ16の発光量に基づいてフラッシュ16を発光させる。
【0092】
撮像素子128から出力された記録用の画像信号は、画像信号処理部132に取り込まれ、RAM116に格納される。RAM116に格納された画像信号は、CPU110の制御の下、画像信号処理部132に加えられる。画像信号処理部132は、入力された画像信号に所定の信号処理を施して、輝度データと色差データとからなる画像データ(YUVデータ)を生成する。
【0093】
画像信号処理部132で生成された画像データは、一旦RAM116に格納されたのち、画像記録部146に加えられる。画像記録部146は、入力された画像データに対して所定の圧縮処理を施し、圧縮画像データを生成する。
【0094】
圧縮された画像データは、RAM116に格納され、所定フォーマットの静止画像ファイル(たとえば、Exif)として、画像記録部146を介してメモリカード148に記録される。なお、メモリカード148に画像ファイルが保存可能な空き領域が無い場合や、操作者が選択した場合等には、RAM116に格納された画像データは、所定フォーマットの静止画像ファイル(たとえば、Exif)としてROM114に保存される。なお、ROM114に画像データを保存する場合には、画像データは複数のクラスタ、通常は連続した複数のクラスタに保存される。
【0095】
このようにしてメモリカード148又はROM114に記録された画像データは、デジタルカメラ10のモードを再生モードに設定することにより、モニタ28に再生表示される。再生モードへの移行は、再生ボタン32を押下することにより行われる。
【0096】
再生ボタン32が押下されると、CPU110は最後に記録された画像ファイルの圧縮画像データを読み出す。最後に記録された画像ファイルがメモリカード148に記録されている場合には、CPU110は、画像記録部146を介してメモリカード148に最後に記録された画像ファイルの圧縮画像データを読み出す。最後に記録された画像ファイルがROM114に記録されている場合には、CPU110は直接ROM114から画像ファイルの圧縮画像データが読み取り可能である。
【0097】
メモリカード148又はROM114から読み出された圧縮画像データは、画像記録部146に加えられ、非圧縮の画像データとされたのちバッファメモリ118に加えられる。そして、バッファメモリ118から表示制御部150を介してモニタ28に出力される。これにより、メモリカード148又はROM114に記録されている画像が、モニタ28に再生表示される。
【0098】
画像のコマ送りは、十字ボタン36の左右のキー操作で行なわれ、右キーが操作されると、次の画像ファイルがメモリカード160から読み出され、モニタ28に再生表示される。また、十字ボタン36の左キーが操作されると、一つ前の画像ファイルがメモリカード148又はROM114から読み出され、モニタ28に再生表示される。
【0099】
モニタ28に再生表示された画像を確認しながら、必要に応じて、メモリカード148又はROM114に記録された画像を消去することができる。画像の消去は、画像がモニタ28に再生表示された状態でファンクションボタン34が押下されることによって行われる。
【0100】
ファンクションボタン34が押下されると、CPU110は表示制御部150を介して、モニタ28に「この写真を消去してよろしいですか」等の画像消去を伝えるメッセージを画像に重ねて表示する。MENU/OKボタン38が押下されると、その画像の消去が行われる。画像データがメモリカード148に記録されている場合には、CPU110は画像記録部146を介してメモリカード148に記録された画像ファイルを消去する。画像データがROM114に記録されている場合には、CPU110は直接ROM114から画像ファイルが消去可能である。
【0101】
本実施の形態によれば、スルー画像の画像データに基づいて被写体距離を算出するため、算出された測距情報をAF制御やフラッシュの発光制御などの撮影条件の設定に利用することができる。また、既存の機構である手ブレ補正機構を応用して推定被写体距離をさんしゅつすることで、コストをかけることなく測距情報を取得することができる。
【0102】
また、本実施の形態によれば、算出された被写体距離を用いて、焦点調節範囲を限定した合焦制御を行うことにより、合焦制御に要する時間を短縮することができる。また、合焦制御に要する時間を短縮することで、シャッターチャンスを逃すことなく、操作者の意図に沿った画像を撮影することができる。
【0103】
また、本実施の形態によれば、算出された被写体距離を用いて、フラッシュの発光量が適切となるような発光制御を行うことにより、適切なフラッシュ撮影を行うことができる。
【0104】
なお、本実施の形態では、コントラストAFを行う場合を例に説明したが、コントラストAFに限らず、例えば山登り探索など他のAF制御を行う場合においても適用が可能である。
【0105】
なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置、携帯音楽プレーヤー、PDA等のファームウェアがアップデート可能な電子機器にも同様に適用することができる。
【図面の簡単な説明】
【0106】
【図1】本発明が適用された電子機器(デジタルカメラ)10の第1の実施の形態の外観構成を示す正面斜視図である。
【図2】上記デジタルカメラ10の第1の実施の形態の外観構成を示す背面斜視図である。
【図3】上記デジタルカメラ10の第1の実施の形態の電気的構成を示すブロック図である。
【図4】動き量を算出する方法を説明する図である。
【図5】手ブレについて説明する図である。
【図6】推定被写体距離を算出する処理の流れを示すフローチャートである。
【図7】推定被写体距離を算出する処理のデータの流れを示す機能図である。
【図8】回転ブレと動き量との関係を示すグラフである。
【図9】シフトブレと動き量との関係を示すグラフである。
【図10】推定被写体距離を用いてフラッシュの適性光量を調整する処理の流れを示すフローチャートである。
【図11】推定被写体距離を用いてフラッシュの適性光量を調整する処理のデータの流れを示す機能図である。
【図12】被写体距離とフラッシュの適正光量との関係を示すグラフである。
【図13】推定被写体距離を用いてAFサーチ範囲を限定してAFを行う処理の流れを示すフローチャートである。
【図14】推定被写体距離を用いてAFサーチ範囲を限定してAFを行う処理のデータの流れを示す機能図である。
【図15】限定されたAFサーチ範囲を説明する図である。
【符号の説明】
【0107】
10…デジタルカメラ、11…スロットカバー、12…カメラボディ、13…撮影レンズ1、14…メモリカードスロット、16…フラッシュ、18…AF補助光ランプ、26…電源ボタン、28…モニタ、30…ズームボタン、32…再生ボタン、34…ファンクションボタン、36…十字ボタン、38…MENU/OKボタン、40…DISP/BACKボタン、110…CPU、114…ROM、116…RAM、118…バッファメモリ、124…撮影光学系、126…絞り/フォーカス/ズーム制御部、128…撮像素子、130…撮影制御部(タイミングジェネレータ)、132…画像信号処理部、134…被写体距離算出部、136…AE/AWB検出部、138…AF検出部、140…手ブレ補正制御部、142…フラッシュ制御部、144…AF補助光ランプ制御部、146…画像記録部、148…メモリカード、150…表示制御部、152…顔検出部

【特許請求の範囲】
【請求項1】
撮像装置の撮影光軸と直交する方向のシフト量を検出するシフト量検出手段と、
撮影光学系により撮像素子に結像された被写体像の画像データを取得する取得手段と、
前記取得手段により取得された画像データから前記シフト量検出手段によって検出された撮像装置のシフト量に伴う前記撮像素子上の画像の動き量を検出する動き量検出手段と、
前記動き量検出手段により検出された動き量と、前記シフト量検出手段により検出された撮像装置のシフト量と、前記撮影光学系の焦点距離とに基づいて、被写体距離を算出する被写体距離算出手段と、
を備えたことを特徴とする撮像装置。
【請求項2】
前記撮像装置の上下、左右方向の回転振れを検出する手ブレ検出手段と、
前記手ブレ検出手段によって検出された回転振れに基づいて前記撮影光学系の少なくとも一部の光学部材又は前記撮像素子を駆動し、前記撮像装置の手ブレを補正する手ブレ補正手段と、
前記手ブレ補正手段により前記撮像装置の手ブレが補正された画像データを前記取得手段に取得させる画像データ取得制御手段と、
を備えたことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記手ブレ検出手段は、前記シフト量検出手段を含むことを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
前記撮像素子により取得された画像データから人物の顔を検出する顔検出手段と、
前記顔検出手段により人物の顔が検出された領域の画像データを前記取得手段に取得させる画像データ取得制御手段と、
を備えたことを特徴とする請求項1から3のいずれかに記載の撮像装置。
【請求項5】
ライブビュー画像の画像データを前記取得手段に取得させる取得制御手段を備えたことを特徴とする請求項1から4のいずれかに記載の撮像装置。
【請求項6】
撮影光学系を焦点調節範囲にわたって移動させ、該撮影光学系が所定量移動するごとに前記撮像素子から画像信号を出力し、該出力された画像信号から求められる被写体のコントラスト成分に基づいて前記撮影光学系の合焦制御を行う自動合焦制御手段であって、前記被写体距離算出手段により算出された被写体距離に基づいて、前記撮影光学系を移動させる範囲を限定して合焦制御を行う自動合焦制御手段を備えたことを特徴とする請求項1から5のいずれかに記載の撮像装置。
【請求項7】
フラッシュ光源と、
前記被写体距離算出手段により算出された被写体距離に基づいて前記フラッシュ光源の発光を制御する発光制御手段と、
を備えたことを特徴とする請求項1から6のいずれかに記載の撮像装置。
【請求項8】
前記被写体距離算出手段により算出された被写体距離に基づいて前記フラッシュ光源からの光が被写体に届くか否かを判断する判断手段と、
前記判断手段により前記フラッシュ光源からの光が被写体に届かないと判断された場合に警告を行う警告手段と、
を備えたことを特徴とする請求項7に記載の撮像装置。
【請求項9】
撮像装置の平行移動及び回動の方向及び量を検出するステップと、
該撮像装置の平行移動及び回動の方向及び量の検出と同期して、撮影光学系により撮像素子に結像された被写体像の画像データを取得するステップと、
該検出された撮像装置の回動の方向及び量に基づいて、前記取得された画像データから前記撮像装置の回動による影響を除去するステップと、
前記撮像装置の回動による影響が除去された画像データの平行移動量であって、先行する画像に対する後続の画像の平行移動量を検出するステップと、
該検出された平行移動量と、前記検出された前記撮像装置の平行移動の方向及び量と、前記撮影光学系の焦点距離とに基づいて、被写体距離を算出するステップと、
を含むことを特徴とする被写体距離算出方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2009−139423(P2009−139423A)
【公開日】平成21年6月25日(2009.6.25)
【国際特許分類】
【出願番号】特願2007−312596(P2007−312596)
【出願日】平成19年12月3日(2007.12.3)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】