撮像装置
【課題】ユーザーの操作によるフォーカスレンズの位置調整をより簡単に行うことが可能な撮像装置を提供することを目的とする。
【解決手段】被写体像を瞳分割して得られる1対の撮像信号を出力する位相差センサ4と、位相差センサ4から出力される1対の撮像信号の位相差に基づいて、被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報を出力する波形生成部11と、波形生成部11から出力されるフォーカス情報を撮像画像に合成する合成部12と、合成部12により合成された撮像画像を表示する表示部13とを備えて撮像装置を構成する。
【解決手段】被写体像を瞳分割して得られる1対の撮像信号を出力する位相差センサ4と、位相差センサ4から出力される1対の撮像信号の位相差に基づいて、被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報を出力する波形生成部11と、波形生成部11から出力されるフォーカス情報を撮像画像に合成する合成部12と、合成部12により合成された撮像画像を表示する表示部13とを備えて撮像装置を構成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置に関する。
【背景技術】
【0002】
現在の撮像装置(例えば、デジタルカメラ)はオートフォーカス機能を有しており、簡単にフォーカスの合った画像が撮れるようになっている。
【0003】
オートフォーカスの方法に位相差方式がある。
【0004】
位相差方式の簡単な原理を、図12A〜図12Cを用いて説明する。
【0005】
図12A〜図12Cは、被写体から位相差センサへの光路を示した図である。なお、レンズ1で集光された光の一部が、図示していないハーフミラーにより、位相差センサ側に分岐しているものとする。また、撮像面は撮像用のエリアセンサの受光面と等距離であるものとする。
【0006】
図12Aにおいて、撮像面を通過した光は、コンデンサレンズ301で集光され、瞳分割用絞り302によって光路aと光路bとに分割された後、それぞれの光はレンズ303a,303bによりセンサ304a,304bに集光される。305a,305bは、合焦時のセンサ304a,304bの出力例である。
【0007】
図12Bは、前ピンの時の図であり、瞳分割用絞り302を介してレンズ303に入射する角度が浅くなる為、像の重心は合焦位置よりも内側に結像し、図12Cに示すように後ピンの場合は、入射角が深くなる為、像の重心が合焦位置よりも外側に結像する。
【0008】
合焦時のセンサ出力305a,305bを基準とした時、前ピンと後ピンではセンサ出力305a,305bの位相差(ずれ量)の方向が逆になり、その位相差の大きさはデフォーカス量によって決まる。その為、センサ出力305a,305bの位相差を検出することで、デフォーカス量が判り、それに応じてレンズ位置を変更することでフォーカス合わせができる。
【0009】
位相差の検出は、例えば、センサ出力305aに対しセンサ305bの出力をずらしながら相関演算を行い、最も相関が高くなったときのずらし量を位相差とする。更に正確な位置を求める場合は、相関の高いずらし量の前後何点かの相関値より近似式を算出し、相関値のピークとなる地点をサブピクセル単位で求める。
【0010】
図13A〜図13Cは、相関演算として、画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。
【0011】
図13Aは、被写体のコントラストが高い場合の相関演算結果の例で、Dの位置が最も相関が高く、この位置が位相差となる。
【0012】
図13Bは、被写体のコントラストが低い場合の相関演算結果の例で、相関演算結果の差が小さく、ノイズによって結果が変化してしまう。
【0013】
図13Cは、被写体が周期的な縞模様の相関演算結果の場合の例で、相関の高い所が離散的にあり、どの位置を位相差とするべきか判別が付かないことを示している。
【0014】
位相差方式は上述のように、幾つかの不得手なパターンは有るが、デフォーカス量が即座に判別できる為、高速なオートフォーカス動作が行えるという特徴が有る。
【0015】
また、最近では撮像用のエリアセンサの撮像画素の一部にオートフォーカス用の位相差センサとしての位相差検出用画素を内蔵したエリアセンサも作られてきている。
【0016】
図14は、位相差検出用画素を内蔵した撮像用のエリアセンサの撮像画素の一部を示す図である。
【0017】
白地の画素は撮像画素(撮影画素)を示し、縦縞の画素及び横縞の画素は位相差検出用画素を示している。
【0018】
図15Aに示すようにオンチップマイクロレンズの光軸の移動により撮像画素の感度領域を偏心させる方法、図15Bに示すように撮像素子内の配線層を利用して開口部をオンチップマイクロレンズの中心線に対して偏心させる方法、図15Cに示すようにオンチップマイクロレンズの外側に遮光マスクを貼り付けマイクロレンズの中心線に対して偏心させた位置に配線層の開口部を持たせる方法等により、位相差検出用画素に瞳分割機能を付与することができる。図14に示すように、これらの位相差検出用画素をエリアセンサにおける撮像素子群の間に所定の間隔で配置している。
【0019】
この位相差検出用画素から出力される信号に基づいて、撮影レンズの異なる位置を通過した光束による一対の像のずれ量を検出することにより、瞳分割位相差方式のデフォーカス量の検出を行う。
【0020】
このようなオートフォーカス機能を持った撮像装置でも、必ずしもユーザーの意図した部分にフォーカスが合うとは限らず、意図しない部分にフォーカスを合わせてしまう場合が有る。
【0021】
この対応として、マニュアルフォーカスモードを装備しユーザーが自分の意図する部分に自分でフォーカスを合わせができる撮像装置も出されている。
【0022】
この時、ユーザーはファインダーや撮像装置の背面のディスプレイ等を見ながらフォーカス合わせを行う事になる。
【0023】
しかし、画像の状態から合焦/非合焦の判断をするのは難しい為、判断の補助となる情報表示方法が各種提案されている。
【0024】
例えば、撮像装置に内蔵している位相差センサの出力からデフォーカス量を求め、そのデフォーカス量に応じてエリアセンサの複数の所定部分それぞれに対応する撮像画像を上下又は左右にずらす方法がある(例えば、特許文献1参照)。ユーザーは、意図する部分の撮像画像のずれが無くなるように、フォーカスレンズの位置の調整を行う。
【0025】
また、例えば、デフォーカス量をバーグラフとして撮像装置のディスプレイに表示する方法がある(例えば、特許文献2参照)。ユーザーは、バーグラフが大きくなる方向にフォーカスレンズの位置の調整を行う。
【0026】
また、例えば、位相差センサが存在する複数の所定部分それぞれに、合焦状態であるか否かを示す図形を撮像装置のディスプレイに表示し、デフォーカス量に応じて、その図形の色を変化させる方法がある(例えば、特許文献3参照)。ユーザーは、意図する部分の表示が合焦表示となるように、フォーカスレンズの位置の調整を行う。
【先行技術文献】
【特許文献】
【0027】
【特許文献1】特開2009−276426号公報
【特許文献2】特開2008−079124号公報
【特許文献3】特開2008−170645号公報
【発明の概要】
【発明が解決しようとする課題】
【0028】
しかしながら、上述したように、デフォーカス量に応じてエリアセンサの複数の所定部分それぞれに対応する撮像画像を上下又は左右にずらす方法では、撮像画像に写る被写体によって合焦状態が判りにくい場合がある。例えば、隣り合う撮像画像に写る被写体において、滑らかに変化している部分やエッジが斜めになっている部分が存在する場合、その隣り合う撮像画像がずれているのか、ずれていないのかが分り難い。
【0029】
また、上述したように、デフォーカス量をバーグラフとして撮像装置のディスプレイに表示する方法では、フォーカスレンズの合焦位置を知る為に、一旦合焦位置を超えないと認識できないのでフォーカスレンズの位置合わせに時間を要し、シャッタチャンスを逃す場合がある。
【0030】
また、上述したように、合焦状態であるか否かを示す図形を撮像装置のディスプレイに表示し、デフォーカス量に応じて、その図形の色を変化させる方法では、図形の色の変化の差だけで、実際のデフォーカス量を判断することが難しい。そのため、ユーザーは、どの位フォーカスレンズを移動させればよいか判らず、フォーカスレンズの位置合わせに時間を要し、シャッタチャンスを逃す場合がある。また、例えば、僅かにフォーカスレンズの位置を移動させて肌が滑らかに見えるように撮像する場合など、積極的にフォーカスレンズを合焦位置からずらすことで、柔らかな画質とすることもできるが、上述したように、合焦状態であるか否かを示す図や前ピンか後ピンかを示す図を撮像装置のディスプレイに表示する方法では、現在のフォーカスレンズの位置が合焦位置からどのくらい離れているかが判らない為、このような積極的にフォーカスレンズの位置をずらして撮像する方法には対応できない。
【0031】
そこで、本発明は、ユーザーの操作によるフォーカスレンズの位置調整をより簡単に行うことが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0032】
本発明の撮像装置は、被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置であって、位相差センサと、フォーカス情報出力手段と、合成手段と、表示手段とを備える。
【0033】
前記位相差センサは、前記被写体像を瞳分割して得られる1対の撮像信号を出力する。
【0034】
前記フォーカス情報出力手段は、前記位相差センサから出力される1対の撮像信号の位相差に基づいて、前記被写体像の合焦に必要なフォーカスレンズの操作量を示すフォーカス情報を出力する。
【0035】
前記合成手段は、前記フォーカス情報出力手段から出力されるフォーカス情報を前記撮像画像に合成する。
【0036】
前記表示手段は、前記合成手段により合成された撮像画像を表示する。
【発明の効果】
【0037】
本発明は、被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置において、ユーザーの操作によるフォーカスレンズの位置調整をより簡単に行うことができる。
【図面の簡単な説明】
【0038】
【図1】本発明の第1実施形態の撮像装置を示す図である。
【図2】第1実施形態の撮像装置の表示部に表示される画面例を示す図である。
【図3】本発明の第2実施形態の撮像装置を示す図である。
【図4】本発明の第3実施形態の撮像装置を示す図である。
【図5】第3実施形態の撮像装置の表示部に表示される画面例を示す図である。
【図6】本発明の第4実施形態の撮像装置を示す図である。
【図7】フォーカス情報としてのバーグラフの表示例を示す図である。
【図8】フォーカス情報としての数値の表示例を示す図である。
【図9】位相比較部の回路構成例を示す図である。
【図10】L画像とR画像を示す図である。
【図11】波形生成部の回路構成例を示す図である。
【図12A】合焦時の被写体から位相差センサへの光路を示した図である。
【図12B】前ピン時の被写体から位相差センサへの光路を示した図である。
【図12C】後ピン時の被写体から位相差センサへの光路を示した図である。
【図13A】画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。
【図13B】画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。
【図13C】画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。
【図14】位相差センサの画素を内蔵したエリアセンサの受光部の一部を示す図である。
【図15A】マイクロレンズの光軸に対して受光部の感度領域を偏心させる方法を示す図である。
【図15B】撮像素子内の配線層を利用して開口部をマイクロレンズの中心線に対して偏心させる方法を示す図である。
【図15C】マイクロレンズの外側に遮光マスクを貼り付け、マイクロレンズの中心線に対して偏心させた位置に開口部を持たせる方法を示す図である。
【発明を実施するための形態】
【0039】
<第1実施形態>
【0040】
図1は、本発明の第1実施形態の撮像装置を示す図である。なお、通常、撮像装置を構成する各ブロックは、処理結果をDRAM等の一次記憶部に書き込んだり、一次記憶部から必要なデータを読み出して処理したりするが、本実施例では各ブロックの繋がりを判りやすくする為一次記憶部への書き込み動作や一次記憶部からの読み出し動作を省略している。
【0041】
図1に示す第1実施形態の撮像装置は、レンズ1と、ハーフミラー2と、エリアセンサ3と、位相差センサ4と、Bayer補間部5と、圧縮部6と、記憶部7と、伸張部8と、位相比較部9と、レンズ駆動部10と、波形生成部11(フォーカス情報出力手段)と、合成部12(合成手段)と、表示部13(表示手段)と、表示位置指示部14(指定手段)とを備えている。
【0042】
レンズ1は、フォーカスレンズであって、図示していない被写体からの光を集光し、ハーフミラー2により分岐し、エリアセンサ3及び位相差センサ4にそれぞれ被写体像を結像させる。
【0043】
位相差センサ4は、表示部13において予め設定される複数の表示エリアに対応する位置にそれぞれ配置され、被写体像を瞳分割した1対の撮像信号を出力する。
【0044】
位相比較部9は、位相差センサ4から出力される1対の撮像信号の位相差に基づいて、被写体にフォーカスを合わせるために必要なレンズ1の移動量としてのデフォーカス量を算出する。
【0045】
オートフォーカスモードが設定されている場合、レンズ駆動部10は、デフォーカス量に応じてレンズ1を移動させて被写体にフォーカスを合わせる。
【0046】
エリアセンサ3は、前面にモザイクカラーフィルタが貼り付けられた単板エリアセンサである。
【0047】
Bayer補間部5は、エリアセンサ3から出力されるBayer画像を補間して3版カラー画像を生成する。この3版カラー画像は合成部12を介して表示部13に表示される。
【0048】
ユーザーは、表示部13に表示される画像を見ながら構図調整をし、好みのタイミングでシャッタを押して静止画を撮影する。また、ユーザーがシャッタを押し静止画撮影の指示をすると、Bayer補間部5から出力される3版カラー画像は圧縮部6にてデータ圧縮され、記憶部7に保存される。ユーザーの操作により不図示の操作部から3版カラー画像の再生指示が入力されると、記憶部7に保存された3版カラー画像は、伸張部8で伸張された後、表示部13に表示される。
【0049】
表示位置指示部14は、表示部13において予め設定される複数の表示エリアのうちユーザーにより指定される1以上の表示エリアの位置情報(デフォーカス量を知りたい表示エリアの位置情報)を波形生成部11に出力する。このユーザーによる表示エリアの指定方法としては、例えば、表示部13に備えられるタッチパネルにおいて、ユーザーが表示エリアをタッチする方法でもよいし、ダイヤルやプッシュスイッチ等で指定候補の表示エリアを順次移動させたり表示エリアの決定を行ったりする方法でもよい。
【0050】
波形生成部11は、位相差センサ4から出力される複数の1対の撮像信号のうち表示位置指示部14から出力される位置情報に対応する1対の撮像信号の位相差に基づいて、被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報を出力する。例えば、波形生成部11は、撮像信号の輝度を縦軸、撮像信号を出力する画素位置を横軸とする座標に撮像信号の位相差を示す目盛りを設け、一対の位相差センサ出力を表示する。尚、各波形は識別のために互いに異なる色で表示してもよい。
【0051】
合成部12は、波形生成部11から出力されるフォーカス情報と、Bayer補間部5から出力される3版カラー画像とを合成して、表示部13に表示する。
【0052】
図2は、表示部13に表示される画像100の例を示す図である。なお、図2中のA1〜A9の十字の位置にそれぞれ対応して位相差センサ4が配置されているものとする。
【0053】
図2に示す例ではA4の縦方向の表示エリア(以下、表示エリアA4という)とA8の横方向の表示エリア(以下、表示エリアA8という)とが強調表示されており、それら表示エリアがユーザーにより指定されていることを示している。
【0054】
1対の波形101(実線の波形101と破線の波形101)は表示エリアA4の波形であり、1対の波形102(実線の波形102と破線の波形101)は表示エリアA8の波形である。
【0055】
これらの波形には上述したように1対の波形の位相差(撮像信号の位相差)を示す目盛りが付いており、積極的にデフォーカスを利用する場合の目安として利用できる。
【0056】
目盛りのピッチは、例えば、エリアセンサ3の1画素単位としてもよいし、限界解像度に応じたピッチ(例えばレンズの限界解像度)としてもよい。なお、限界解像度は、レンズ情報、ズーム位置情報、及び、絞り位置情報などによって、予め定めたテーブルを参照して決める。また、目盛りのピッチは、例えば、撮像画像を記憶部7に保存する際の撮像画像の解像度での画素ピッチとしてもよい。また、目盛りのピッチは、ユーザーにより任意の値に設定されてもよい。また、目盛りの中央部と位相差センサ4の中央部とを一致させて1対の波形を表示させてもよい。また、目盛りの中央部に1対の波形のそれぞれの最大の振幅がくるように1対の波形を表示させてもよい。
【0057】
波形生成部11は、位相差センサ4から出力される1対の撮像信号をそのままグラフ化してもよいし、位相差センサ4から出力される1対の撮像信号に対して振幅調整やノイズ除去等を行った後でグラフ化してもよい。
また、レンズ操作をしていない場合は、位相差センサ出力を複数フレームを利用してノイズ除去を強く行い、レンズ操作中の場合やカメラが大きく動いている場合はフレーム間でのノイズ除去の強度を弱める、又はフレーム内でのノイズ除去のみとする。
更に、合焦或いはそれに近いエリアが有る場合は、フレーム間ノイズ除去の強度を強め、精度が高く変化の緩やかな表示を行う等、状況に応じてノイズ除去方法を変えても良い。
【0058】
ユーザーは、指定した表示エリアの被写体にフォーカスを合わせたい場合、その表示エリアに対応する1対の波形が互いに一致するように、表示部13を確認しながらレンズ1の位置調整の操作を行えばよい。また、ユーザーは、指定した表示エリアの被写体を若干ぼかしたい場合、その表示エリアに対応する1対の波形が所望な幅互いにずれるように、表示部13の目盛りを参考にしながらレンズ1の位置調整の操作を行えばよい。
【0059】
このように、第1実施形態の撮像装置では、位相差センサ4から出力される1対の撮像信号のそれぞれの波形を被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報として表示部13に表示させる構成であるため、ユーザーが表示部13に表示される1対の波形を確認しながらレンズ1の操作を簡単に行うことができる。そのため、ユーザーは、フォーカスを合わせるためのレンズ1の操作や積極的にデフォーカスさせるためのレンズ1の操作を簡単に行うことができる。
【0060】
<第2実施形態>
【0061】
図3は、本発明の第2実施形態の撮像装置を示す図である。なお、図3において、図1に示す構成と同じ構成には同一の符号を付し、その構成の説明を省略する。
【0062】
第2実施形態の撮像装置において、第1実施形態の撮像装置と異なる点は、エリアセンサ15に位相差センサを内蔵している点である。例えば、この位相差センサは、図15Aに示すように、入射光の角度を互いに反対方向に制限する遮光部を持った1対の画素を複数組備えて構成され、それら各1対の画素がエリアセンサ15の中に並べられている。なお、位相差センサの出力は入射光の角度を制限している為、撮像画像を生成するための撮像信号としては使えない。そこで、位相差センサの出力を、その位相差センサの周囲に位置するエリアセンサ15の画素から出力される撮像信号で補間する。すなわち、例えば、補間部16は、エリアセンサ15における位相差センサの位置を予め記憶部(不図示)に記憶させておき、位相差センサから撮像画像を生成するための撮像信号を出力する際、その位相差センサの周囲に位置する同色のエリアセンサ15の各画素の出力の平均値を、その位相差センサから出力される撮像画像生成用の撮像信号として出力する。なお、単純な平均値ではなく、周囲の画素からエッジ方向を検出し、各画素の重みを変更するような補間方法を採用してもよい。
【0063】
波形生成部11は、エリアセンサ15内の位相差センサから出力される複数の1対の撮像信号のうち表示位置指示部14から出力される位置情報に対応する1対の撮像信号のそれぞれの波形を、被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報として合成部12に出力する。
【0064】
その他の動作は、第1実施形態の撮像装置と同様である。
【0065】
このように構成される第2実施形態の撮像装置においても、ユーザーによるレンズ1の操作をより簡単に行うことができる。
【0066】
また、第2実施形態の撮像装置は、エリアセンサ15に位相差センサが内蔵されているため、第1実施形態の撮像装置に比べて、ハーフミラー2などを省略することできる分、構成を簡略化することができる。
【0067】
<第3実施形態>
【0068】
図4は、本発明の第3実施形態の撮像装置を示す図である。図4において、図1に示す構成と同じ構成には同一の符号を付し、その構成の説明を省略する。
【0069】
第1実施形態の撮像装置では位相差センサ4から出力される1対の撮像信号を示す波形を表示部13に表示する構成であるが、このときの波形は被写体に依存しており、場合によっては1対の波形の位相差が見難い場合もある。
【0070】
そこで、第3実施形態の撮像装置では、単純な1対の基本波形を予め用意しておき、その1対の基本波形を位相比較部9から出力されるデフォーカス量に応じて互いにずらして表示部13に表示する。
【0071】
波形解析部18(波形解析手段)は、位相差センサ4から出力される複数の1対の撮像信号のうち表示位置指示部14から出力される位置情報に対応する1対の撮像信号の特徴部分を解析し、その解析結果に応じた1対の基本波形を出力する。例えば、波形解析部18は、位相差センサ4から出力される撮像信号を2値化してエッジ(2値化後の値が切り替わるところ)を数えた後、そのエッジ数に基づいて、予め記憶部に記憶されている複数種類の1対の基本波形の中から1つを選択し波形生成部17に出力する。
【0072】
図5は、第3実施形態の撮像装置の表示部13の表示画面の一例を示す図である。
【0073】
図5に示す例において、表示エリアA4ではエッジ数が2,表示エリアA6ではエッジ数が1の為、それぞれ、エッジ数2に対応する1対の基本波形、エッジ数1に対応する1対の基本波形が選択され表示されている。
【0074】
基本波形のエッジ数を多くすると見難くなるので、エッジ数が2以上のときは、エッジを2つ有する基本波形が選択されるようにしてもよい。
【0075】
波形生成部17(位相比較手段)は、表示位置指示部14から出力される位置情報に対応する1対の撮像信号の位相差に応じたデフォーカス量を位相比較部9から受け取り、そのデフォーカス量に応じて、波形解析部18から出力される1対の基本波形を互いにずらし、その1対の基本波形を被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報として合成部12に出力する。
【0076】
その他の動作は、第1実施形態の撮像装置と同様である。
【0077】
なお、波形解析部18において予め用意される1対の基本波形は1種類であってもよい。
【0078】
また、波形解析部18において予め用意される1対の基本波形はユーザーにより設定されてもよい。
【0079】
また、位相比較部9において、位相差センサ4から出力される1対の撮像信号の信頼性(フォーカスを合わせるための情報として十分であるか否か)を評価し、信頼性が低い場合、その評価結果をフォーカス情報に含めて表示部13に表示させてもよい。これにより、表示部13に表示されるフォーカス情報がフォーカスを合わせるための情報として信頼性が低いことをユーザーに知らせることができる。
【0080】
例えば、位相比較部9は、位相差センサ4から出力される1対の撮像信号の振幅が予め設定されている閾値以下である場合、被写体が低コントラストであると判断して、信頼性が低い旨の評価結果を出力する。また、位相比較部9は、位相差センサ4から出力される1対の撮像信号に基づいて被写体像が縞模様であると判断した場合、例えば、図10Cに示すように、相関の高い位相が最も相関の高い位相に集中せず、離散的な位置にばらつく場合、被写体が縞模様であると判断して、信頼性が低い旨の評価結果を出力する。
【0081】
波形生成部17は、波形解析部18から信頼性が低い旨の評価結果が出力されると、その評価結果をフォーカス情報に含めて合成部12に出力する。例えば、波形生成部17は、1対の基本波形の色を変更する、1対の基本波形の振幅を小さくする、又は、1対の基本波形を点滅させる。
【0082】
このように、位相差センサ4から出力される1対の撮像信号の信頼性が低い場合にその旨を表示部13に表示することができるため、表示エリアの変更やフォーカス合わせに適した被写体が表示エリアに入るように撮像装置の向きを変えることをユーザーに促すことができる。
【0083】
なお、位相差センサ4は、第2実施形態の撮像装置のように、エリアセンサ3に内蔵されていてもよい。
【0084】
このように構成される第3実施形態の撮像装置においても、ユーザーによるレンズ1の操作をより簡単に行うことができる。
【0085】
<第4実施形態>
【0086】
図6は、本発明の第4実施形態の撮像装置を示す図である。図6において、図1に示す構成と同じ構成には同一の符号を付し、その構成の説明を省略する。
【0087】
第4実施形態の撮像装置において、第1実施形態の撮像装置と異なる点は、表示位置指示部14を省略している点である。そのため、第4実施形態の撮像装置では、例えば、図7に示すように、表示部13において予め設定される複数の表示エリア全てのフォーカス情報をバーグラフとして表示部13に表示する。また、例えば、図8に示すように、表示部13において予め設定される複数の表示エリア全てのフォーカス情報を数値として表示部13に表示してもよい。
【0088】
波形生成部19では、位相比較部9から出力されるデフォーカス量に応じて、バーグラフ又は数値を生成する。
【0089】
例えば、位相差センサ4から出力される撮像信号の振幅をS、許容値(許容錯乱円に相当)をR、倍率をT、結果(バーグラフにおけるバーの幅、又は、数値)をPとする場合、P=(S÷R)×倍率を計算することにより結果Pを求めることができる。なお、許容値Rは予め定めておく。結果Pは位相差センサ4の画素単位であるので、この単位での許容値Rを定めておく。また、許容値Rはレンズ1とその絞り値によって変更される。また、倍率を例えば「5」とする場合、合焦範囲は±5となる。
【0090】
バーグラフを表示部13に表示する際、最も位相差の小さいものを基準にバーグラフの表示範囲を統一してもよい。例えば、全てのバーグラフの表示範囲を±30とし、バーグラフの中央部の合焦範囲を±10としてもよい。これにより、表示エリア毎にバーグラフの表示範囲が異なる場合に比べて、ユーザーがデフォーカス量を勘違いしてレンズ1の駆動を制御してしまうことを防止することができる。
【0091】
また、例えば、バーグラフの表示範囲を±100とし、そのうち、±10の表示範囲を(エリアセンサ3の画素ピッチ):(バーグラフのバーのピッチ)=1:1で表示し、それ以外の表示範囲をバーのピッチの倍率を変えて表示する、又は、バーのピッチを対数スケールで変化させて表示する等、バーを不均一なスケールで表示してもよい。これにより、バーの先端が合焦範囲に近づく程、バーのスケールを拡大させることができるため、ユーザーはフォーカスの調整を細かく行うことができる。
【0092】
図7に示す例では、バーグラフの中央部の色をその他のところの色と異なるようにして、その部分を合焦範囲としている。バーはデフォーカス量の変化に伴ってバーグラフの左端から伸びるように変化し、バーの先端が合焦範囲に有るとき、フォーカスが合っていることを示す。また、バーの先端が、合焦範囲よりも左側に有れば前ピン、合焦範囲よりも右側に有れば後ピンであることを示す。
【0093】
なお、第4実施形態の撮像装置に上記波形解析部18を追加し、信頼性が低い評価結果が波形解析部18から波形生成部19に出力される場合、バーグラフのバーの色や数値の色を変えてユーザーにバーグラフや数値の信頼性が低いことを知らせるように構成してもよい。
【0094】
また、合焦状態、前ピン、後ピンでバーグラフや数値の色を変更してもよい。
【0095】
また、図8に示す例では、±5を合焦範囲105とし、前ピンのとき、数値が−5未満となるとき、前ピンであることを示し、数値が+5を超えるとき、後ピンであることを示し、数値が大きい程、合焦位置から離れていることを示している。
【0096】
なお、位相差センサ4は、第2実施形態の撮像装置のように、エリアセンサ3に内蔵されていてもよい。
【0097】
このように構成される第4実施形態の撮像装置においても、ユーザーによるレンズ1の操作をより簡単に行うことができる。
【0098】
次に、第1〜3実施形態の撮像装置における位相比較部9について説明する。
【0099】
図9は、位相比較部9の回路構成例を示す図である。なお、位相差センサにおいて、右側を遮光して左側から光が入射される画素群から出力される撮像信号をL(1対の撮像信号のうちの一方の撮像信号)、左側を遮光して右側から光が入射される画素群から出力される撮像信号をR(1対の撮像信号のうちの他方の撮像信号)とする。
【0100】
図9に示す位相比較部9は、RAM901と、複数のレジスタ902(902_1〜902_n)と、複数のレジスタ903(903_1〜903_n)と、複数の減算器904(904_1〜904_n)と、複数の絶対値演算部905(905_1〜905_n)と、加算部906と、最大値最小値保存部907と、遅延部908、909と、カウンタ910と、結合部911と、ソート保存部912とを備える。
【0101】
図9に示す位相比較部9は、図10に示すように、L撮像信号が示すL画像の中央のn画素からなる撮像画像を基準画像として、R撮像信号が示すR画像のn+2a画素からなる撮像画像との間で相関演算を行う。
【0102】
まず、位相差センサから出力されるR撮像信号(画素)は、一旦RAM901に保存され、位相差センサから出力されるL撮像信号(画素)は、レジスタ902_1〜902_nに順次保持される。また、最大値最小値保存部907は、L撮像信号の最大輝度値と最小輝度値を検出する。
【0103】
次に、不図示の制御回路(CPU)がこの最大輝度値と最小輝度値を読み込み、最大輝度値から最小輝度値を減算した値が予め定めた閾値以下である場合、信頼性が低いと見なす。
【0104】
次に、R撮像信号をRAM901から読み出され、レジスタ903_1〜903_nに順次保持される。新たなR撮像信号がレジスタ903_1に保持されると、レジスタ903_1に保持されていたR撮像信号がレジスタ903_2に保持される。また、レジスタ903_2に保持されていたR撮像信号がレジスタ903_3に保持される。このようにR撮像信号の転送が繰り返され、レジスタ903_nに保持されていたR撮像信号は捨てられる。L撮像信号についても同様である。
【0105】
カウンタ910は、L撮像信号及びR撮像信号がレジスタ902_1及びレジスタ903_1に転送された回数をカウントする。
【0106】
カウンタ910の初期値を−(n+a)としておけば、カウンタ910のカウント値を位相差とすることができる。カウント値がゼロになると、L撮像画像とR撮像画像との位相が一致したことを示す。
【0107】
減算部904でL撮像信号とR撮像信号との差分を算出し、絶対値演算部905で絶対値化する、更にその総和を加算部906で算出し相関値を算出する。この相関値を、遅延部908,909で遅延させ、結合部911で、前後のL撮像信号及びR撮像信号での相関値と位相差を示すカウンタ値を纏めたデータの組とし、ソート保存部912にて相関値の小さい順(高い順)にソートして保存する。
【0108】
また、不図示の制御回路は、このソート結果を読み込み、例えば、上位10個のカウンタ値(位相差)の相関値の最大と最小の差分を計算し、その結果が予め定めた閾値以上の場合、信頼性が低いと見なす。
【0109】
また、位相比較部9は、ソート保存部912に保存される相関値が高いデータの組における、その相関値と前後の相関値と近似式とを用いて、相関値の最も高くなる位相差を算出する。例えば、近似式として2次曲線を用いる場合、相関値の最も高い値をC、1つ前の撮像信号の相関値をA、1つ後の撮像信号の相関値をBとし、ΔA=A−C、ΔB=B−Cとすると、近似式から相関値がピークとなる位置ΔX(相関値の最も高かった位置からのずれ量:デフォーカス量)は、下記数1により求められる。
【0110】
【数1】
【0111】
なお、相関演算の精度向上の為に、L撮像信号及びR撮像信号にそれぞれ予めフィルタ処理を行ってもよい。また、R画像に対してL画像の位置をずらしながら相関演算を行ってもよい。更に、L画像も一度RAM901に保存し、L画像の中で高周波成分の高い部分を基準画像とし、その前後のR画像との相関を取るようにしてもよい。高周波成分の高い部分の検出方法は、例えば、L画像にハイパスフィルタ処理を行い、その絶対値、又は、絶対値の前後n画素の加算値の最も高い部分を中心に基準領域を設定する等により検出できる。
【0112】
次に、第1及び第2実施形態の撮像装置における波形生成部11について説明する。
【0113】
まず、位相差センサ4から出力される1対の撮像信号を1対の波形として直接合成部12に出力する場合の波形生成部11について説明する。
【0114】
例えば、波形生成部11は、表示部13の表示エリアの画素数と等しい数の画素を、その表示エリアに対応する位相差センサ4の中央部から抜き出して、その抜き出した各画素を1対の波形として合成部12に出力するように構成してもよい。
【0115】
また、例えば、波形生成部11は、位相差センサ4から出力される1対の撮像信号において、相関演算値の傾きの大きな部分の前後を1対の波形として合成部12に出力するように構成してもよい。
【0116】
図11は、1対の撮像信号において、相関演算値の傾きの大きな部分の前後を1対の波形として出力する場合の波形生成部11の回路構成例を示す図である。
【0117】
図11に示す波形生成部11は、データ遅延部200と、減算部201と、絶対値演算部202と、閾値比較部203と、読み出し位置制御部204と、RAM205、206と、波形生成部207、208とを備える。
【0118】
まず、データ遅延部200、減算部201、及び絶対値演算部202により、順次入力されるL撮像信号(L Data)の傾きの絶対値を求める。
【0119】
次に、閾値比較部203は、求められた絶対値が予め定めた閾値を超えたか否かを判断する。
【0120】
次に、絶対値が閾値を超えたと判断されると、読み出し位置制御部204は、そのとき入力されたL撮像信号を中心にしてその前後のL撮像信号をRAM205に書き込むとともに、そのとき入力されたR撮像信号を中心にしてその前後のR撮像信号をRAM206に書き込む。
【0121】
そして、波形生成部207、208は、RAM205、206にそれぞれ書き込まれたL撮像信号及びR撮像信号(1対の撮像信号において、傾きの大きな部分の前後)を1対の波形として合成部12に出力する。
【0122】
合成部12は、例えば、R撮像信号を青、L撮像信号を緑、L撮像信号とR撮像信号とが重なった部分を黄色として、表示部13に表示する。これにより、重なった部分の視認性を向上させることができる。
【0123】
また、例えば、波形生成部11は、L撮像信号の予め設定される範囲(例えば、L撮像信号全体の1/3)において振幅の最大値と最小値を検索し、それらを結ぶ傾きが最も大きい部分を中心にしてその前後を1対の波形として合成部12に出力するように構成してもよい。なお、表示部13に表示される1対の波形の振幅の調整方法としては、波形の相関演算値の最大値、最小値を抽出し、その最大値、最小値が表示部13における1対の波形の表示スペースの上端、下端となるように、1対の波形の振幅のゲインとオフセットを調整する。信頼性が低い場合は、1対の波形の振幅を小さくして表示する。また、表示部13に表示される1対の波形は、あまり頻繁に更新されると見づらい為、波形生成部11に入力される1対の撮像信号をフレーム単位で間引いてもよい。
【0124】
次に、表示部13に表示される1対の波形の表示スケールを、位相比較部9から出力されるデフォーカス量に基づいて変更する場合の波形生成部11について説明する。
【0125】
例えば、波形生成部11は、1対の波形の表示スケールを、デフォーカス量に基づいて詳細スケール又は広域スケールに変更する。なお、頻繁に表示スケールが変わると見づらいため、デフォーカス量に一定のヒステリシスを設けた範囲の閾値で表示スケールを変更してもよい。
【0126】
なお、このとき表示部13に表示される1対の波形は、上述したように、1対の波形において、相関演算値の変化の大きい部分としてもよい。
【0127】
また、このとき表示部13に表示される1対の波形の振幅の調整方法としては、上述したように、波形の相関演算値の最大値、最小値が表示部13における1対の波形の表示スペースの上端、下端となるように、1対の波形の振幅のゲインとオフセットを調整する。
【0128】
また、このとき表示部13に表示される1対の波形の更新レートも、上述したように、フレーム単位で間引いてもよいが、表示スケールに応じて更新レートを変更してもよい。例えば、表示スケールが詳細スケールの場合、レンズ1の位置調整が微調整となるので更新レートを早くする。
【0129】
次に、データ遅延部200、減算部201、及び絶対値演算部202により求められる相関演算値をフォーカス情報として合成部12に出力する場合の波形生成部11について説明する。
【0130】
例えば、波形生成部11は、相関演算値を、位相差がゼロとなるときの相関演算値データを中心にしてその前後の相関演算値を1対の波形として合成部12に出力する。
【0131】
このとき表示部12に表示される波形の表示スケールは不均一とすることがよい。位相差ゼロ付近は細かいピッチで、位相差ゼロ付近から離れた部分は荒いピッチで波形表示する。例えば、上述したバーグラフのように、表示スケールを変化させる。なお、ピッチが細かく、画素単位以下のピッチとなる場合、波形生成部11に入力されるデータのピッチは画素のピッチとなるが、その間のデータは、例えば、スプライン補間で補間してもよい。
【0132】
次に、第3実施形態の撮像装置における波形生成部17について説明する。
【0133】
例えば、波形生成部17は、デフォーカス量に基づいて、表示部13に表示させる1対の基本波形の表示スケールや振幅を変更してもよい。
【0134】
また、例えば、波形生成部17は、前回のフレームにおけるデフォーカス量と今回のフレームにおけるデフォーカス量との差分が予め設定される閾値よりも大きい場合、フレームを間引くことにより表示部12に表示される1対の基本波形の更新レートを落としてもよい。また、例えば、波形生成部17は、前回のフレームにおけるデフォーカス量と今回のフレームにおけるデフォーカス量との差分が予め設定される閾値よりも小さい場合、前回のフレームにおけるデフォーカス量と今回のフレームにおけるデフォーカス量との加算平均をした結果に基づいて1対の基本波形を互いにずらすようにしてもよい。これにより、安定した波形表示を行うことができる。
【0135】
また、例えば、波形生成部17は、上述したように、1対の基本波形の更新レートを表示スケールに応じて変更してもよい。
【0136】
また、例えば、波形生成部17は、1対の基本波形の一方の基本波形を基準として他方の基本波形をずらしてもよいし、1対の基本波形の中間位置を基準にそれぞれの基本波形をずらしてもよい。
【0137】
なお、第1〜第4実施形態の撮像装置は、例えば、デジタルカメラなどとして構成されてもよいし、顕微鏡用の撮像装置や内視鏡用の撮像装置として構成されてもよい。
【0138】
また、第1〜第4実施形態の撮像装置では、瞳分割を左右にマスクした場合において、位相差センサが水平方向に並んでいる場合を説明したが、瞳分割を上下にマスクした場合において、位相差センサが垂直方向に並んでいるものを採用してもよい。
【符号の説明】
【0139】
1 レンズ
2 ハーフミラー
3 エリアセンサ
4 位相差センサ
5 Bayer補間部
6 圧縮部
7 記憶部
8 伸張部
9 位相比較部
10 レンズ駆動部
11 波形生成部
12 合成部
13 表示部
14 表示位置指示部
15 エリアセンサ
16 補間部
17 波形生成部
18 波形解析部
19 波形生成部
【技術分野】
【0001】
本発明は、被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置に関する。
【背景技術】
【0002】
現在の撮像装置(例えば、デジタルカメラ)はオートフォーカス機能を有しており、簡単にフォーカスの合った画像が撮れるようになっている。
【0003】
オートフォーカスの方法に位相差方式がある。
【0004】
位相差方式の簡単な原理を、図12A〜図12Cを用いて説明する。
【0005】
図12A〜図12Cは、被写体から位相差センサへの光路を示した図である。なお、レンズ1で集光された光の一部が、図示していないハーフミラーにより、位相差センサ側に分岐しているものとする。また、撮像面は撮像用のエリアセンサの受光面と等距離であるものとする。
【0006】
図12Aにおいて、撮像面を通過した光は、コンデンサレンズ301で集光され、瞳分割用絞り302によって光路aと光路bとに分割された後、それぞれの光はレンズ303a,303bによりセンサ304a,304bに集光される。305a,305bは、合焦時のセンサ304a,304bの出力例である。
【0007】
図12Bは、前ピンの時の図であり、瞳分割用絞り302を介してレンズ303に入射する角度が浅くなる為、像の重心は合焦位置よりも内側に結像し、図12Cに示すように後ピンの場合は、入射角が深くなる為、像の重心が合焦位置よりも外側に結像する。
【0008】
合焦時のセンサ出力305a,305bを基準とした時、前ピンと後ピンではセンサ出力305a,305bの位相差(ずれ量)の方向が逆になり、その位相差の大きさはデフォーカス量によって決まる。その為、センサ出力305a,305bの位相差を検出することで、デフォーカス量が判り、それに応じてレンズ位置を変更することでフォーカス合わせができる。
【0009】
位相差の検出は、例えば、センサ出力305aに対しセンサ305bの出力をずらしながら相関演算を行い、最も相関が高くなったときのずらし量を位相差とする。更に正確な位置を求める場合は、相関の高いずらし量の前後何点かの相関値より近似式を算出し、相関値のピークとなる地点をサブピクセル単位で求める。
【0010】
図13A〜図13Cは、相関演算として、画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。
【0011】
図13Aは、被写体のコントラストが高い場合の相関演算結果の例で、Dの位置が最も相関が高く、この位置が位相差となる。
【0012】
図13Bは、被写体のコントラストが低い場合の相関演算結果の例で、相関演算結果の差が小さく、ノイズによって結果が変化してしまう。
【0013】
図13Cは、被写体が周期的な縞模様の相関演算結果の場合の例で、相関の高い所が離散的にあり、どの位置を位相差とするべきか判別が付かないことを示している。
【0014】
位相差方式は上述のように、幾つかの不得手なパターンは有るが、デフォーカス量が即座に判別できる為、高速なオートフォーカス動作が行えるという特徴が有る。
【0015】
また、最近では撮像用のエリアセンサの撮像画素の一部にオートフォーカス用の位相差センサとしての位相差検出用画素を内蔵したエリアセンサも作られてきている。
【0016】
図14は、位相差検出用画素を内蔵した撮像用のエリアセンサの撮像画素の一部を示す図である。
【0017】
白地の画素は撮像画素(撮影画素)を示し、縦縞の画素及び横縞の画素は位相差検出用画素を示している。
【0018】
図15Aに示すようにオンチップマイクロレンズの光軸の移動により撮像画素の感度領域を偏心させる方法、図15Bに示すように撮像素子内の配線層を利用して開口部をオンチップマイクロレンズの中心線に対して偏心させる方法、図15Cに示すようにオンチップマイクロレンズの外側に遮光マスクを貼り付けマイクロレンズの中心線に対して偏心させた位置に配線層の開口部を持たせる方法等により、位相差検出用画素に瞳分割機能を付与することができる。図14に示すように、これらの位相差検出用画素をエリアセンサにおける撮像素子群の間に所定の間隔で配置している。
【0019】
この位相差検出用画素から出力される信号に基づいて、撮影レンズの異なる位置を通過した光束による一対の像のずれ量を検出することにより、瞳分割位相差方式のデフォーカス量の検出を行う。
【0020】
このようなオートフォーカス機能を持った撮像装置でも、必ずしもユーザーの意図した部分にフォーカスが合うとは限らず、意図しない部分にフォーカスを合わせてしまう場合が有る。
【0021】
この対応として、マニュアルフォーカスモードを装備しユーザーが自分の意図する部分に自分でフォーカスを合わせができる撮像装置も出されている。
【0022】
この時、ユーザーはファインダーや撮像装置の背面のディスプレイ等を見ながらフォーカス合わせを行う事になる。
【0023】
しかし、画像の状態から合焦/非合焦の判断をするのは難しい為、判断の補助となる情報表示方法が各種提案されている。
【0024】
例えば、撮像装置に内蔵している位相差センサの出力からデフォーカス量を求め、そのデフォーカス量に応じてエリアセンサの複数の所定部分それぞれに対応する撮像画像を上下又は左右にずらす方法がある(例えば、特許文献1参照)。ユーザーは、意図する部分の撮像画像のずれが無くなるように、フォーカスレンズの位置の調整を行う。
【0025】
また、例えば、デフォーカス量をバーグラフとして撮像装置のディスプレイに表示する方法がある(例えば、特許文献2参照)。ユーザーは、バーグラフが大きくなる方向にフォーカスレンズの位置の調整を行う。
【0026】
また、例えば、位相差センサが存在する複数の所定部分それぞれに、合焦状態であるか否かを示す図形を撮像装置のディスプレイに表示し、デフォーカス量に応じて、その図形の色を変化させる方法がある(例えば、特許文献3参照)。ユーザーは、意図する部分の表示が合焦表示となるように、フォーカスレンズの位置の調整を行う。
【先行技術文献】
【特許文献】
【0027】
【特許文献1】特開2009−276426号公報
【特許文献2】特開2008−079124号公報
【特許文献3】特開2008−170645号公報
【発明の概要】
【発明が解決しようとする課題】
【0028】
しかしながら、上述したように、デフォーカス量に応じてエリアセンサの複数の所定部分それぞれに対応する撮像画像を上下又は左右にずらす方法では、撮像画像に写る被写体によって合焦状態が判りにくい場合がある。例えば、隣り合う撮像画像に写る被写体において、滑らかに変化している部分やエッジが斜めになっている部分が存在する場合、その隣り合う撮像画像がずれているのか、ずれていないのかが分り難い。
【0029】
また、上述したように、デフォーカス量をバーグラフとして撮像装置のディスプレイに表示する方法では、フォーカスレンズの合焦位置を知る為に、一旦合焦位置を超えないと認識できないのでフォーカスレンズの位置合わせに時間を要し、シャッタチャンスを逃す場合がある。
【0030】
また、上述したように、合焦状態であるか否かを示す図形を撮像装置のディスプレイに表示し、デフォーカス量に応じて、その図形の色を変化させる方法では、図形の色の変化の差だけで、実際のデフォーカス量を判断することが難しい。そのため、ユーザーは、どの位フォーカスレンズを移動させればよいか判らず、フォーカスレンズの位置合わせに時間を要し、シャッタチャンスを逃す場合がある。また、例えば、僅かにフォーカスレンズの位置を移動させて肌が滑らかに見えるように撮像する場合など、積極的にフォーカスレンズを合焦位置からずらすことで、柔らかな画質とすることもできるが、上述したように、合焦状態であるか否かを示す図や前ピンか後ピンかを示す図を撮像装置のディスプレイに表示する方法では、現在のフォーカスレンズの位置が合焦位置からどのくらい離れているかが判らない為、このような積極的にフォーカスレンズの位置をずらして撮像する方法には対応できない。
【0031】
そこで、本発明は、ユーザーの操作によるフォーカスレンズの位置調整をより簡単に行うことが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0032】
本発明の撮像装置は、被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置であって、位相差センサと、フォーカス情報出力手段と、合成手段と、表示手段とを備える。
【0033】
前記位相差センサは、前記被写体像を瞳分割して得られる1対の撮像信号を出力する。
【0034】
前記フォーカス情報出力手段は、前記位相差センサから出力される1対の撮像信号の位相差に基づいて、前記被写体像の合焦に必要なフォーカスレンズの操作量を示すフォーカス情報を出力する。
【0035】
前記合成手段は、前記フォーカス情報出力手段から出力されるフォーカス情報を前記撮像画像に合成する。
【0036】
前記表示手段は、前記合成手段により合成された撮像画像を表示する。
【発明の効果】
【0037】
本発明は、被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置において、ユーザーの操作によるフォーカスレンズの位置調整をより簡単に行うことができる。
【図面の簡単な説明】
【0038】
【図1】本発明の第1実施形態の撮像装置を示す図である。
【図2】第1実施形態の撮像装置の表示部に表示される画面例を示す図である。
【図3】本発明の第2実施形態の撮像装置を示す図である。
【図4】本発明の第3実施形態の撮像装置を示す図である。
【図5】第3実施形態の撮像装置の表示部に表示される画面例を示す図である。
【図6】本発明の第4実施形態の撮像装置を示す図である。
【図7】フォーカス情報としてのバーグラフの表示例を示す図である。
【図8】フォーカス情報としての数値の表示例を示す図である。
【図9】位相比較部の回路構成例を示す図である。
【図10】L画像とR画像を示す図である。
【図11】波形生成部の回路構成例を示す図である。
【図12A】合焦時の被写体から位相差センサへの光路を示した図である。
【図12B】前ピン時の被写体から位相差センサへの光路を示した図である。
【図12C】後ピン時の被写体から位相差センサへの光路を示した図である。
【図13A】画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。
【図13B】画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。
【図13C】画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。
【図14】位相差センサの画素を内蔵したエリアセンサの受光部の一部を示す図である。
【図15A】マイクロレンズの光軸に対して受光部の感度領域を偏心させる方法を示す図である。
【図15B】撮像素子内の配線層を利用して開口部をマイクロレンズの中心線に対して偏心させる方法を示す図である。
【図15C】マイクロレンズの外側に遮光マスクを貼り付け、マイクロレンズの中心線に対して偏心させた位置に開口部を持たせる方法を示す図である。
【発明を実施するための形態】
【0039】
<第1実施形態>
【0040】
図1は、本発明の第1実施形態の撮像装置を示す図である。なお、通常、撮像装置を構成する各ブロックは、処理結果をDRAM等の一次記憶部に書き込んだり、一次記憶部から必要なデータを読み出して処理したりするが、本実施例では各ブロックの繋がりを判りやすくする為一次記憶部への書き込み動作や一次記憶部からの読み出し動作を省略している。
【0041】
図1に示す第1実施形態の撮像装置は、レンズ1と、ハーフミラー2と、エリアセンサ3と、位相差センサ4と、Bayer補間部5と、圧縮部6と、記憶部7と、伸張部8と、位相比較部9と、レンズ駆動部10と、波形生成部11(フォーカス情報出力手段)と、合成部12(合成手段)と、表示部13(表示手段)と、表示位置指示部14(指定手段)とを備えている。
【0042】
レンズ1は、フォーカスレンズであって、図示していない被写体からの光を集光し、ハーフミラー2により分岐し、エリアセンサ3及び位相差センサ4にそれぞれ被写体像を結像させる。
【0043】
位相差センサ4は、表示部13において予め設定される複数の表示エリアに対応する位置にそれぞれ配置され、被写体像を瞳分割した1対の撮像信号を出力する。
【0044】
位相比較部9は、位相差センサ4から出力される1対の撮像信号の位相差に基づいて、被写体にフォーカスを合わせるために必要なレンズ1の移動量としてのデフォーカス量を算出する。
【0045】
オートフォーカスモードが設定されている場合、レンズ駆動部10は、デフォーカス量に応じてレンズ1を移動させて被写体にフォーカスを合わせる。
【0046】
エリアセンサ3は、前面にモザイクカラーフィルタが貼り付けられた単板エリアセンサである。
【0047】
Bayer補間部5は、エリアセンサ3から出力されるBayer画像を補間して3版カラー画像を生成する。この3版カラー画像は合成部12を介して表示部13に表示される。
【0048】
ユーザーは、表示部13に表示される画像を見ながら構図調整をし、好みのタイミングでシャッタを押して静止画を撮影する。また、ユーザーがシャッタを押し静止画撮影の指示をすると、Bayer補間部5から出力される3版カラー画像は圧縮部6にてデータ圧縮され、記憶部7に保存される。ユーザーの操作により不図示の操作部から3版カラー画像の再生指示が入力されると、記憶部7に保存された3版カラー画像は、伸張部8で伸張された後、表示部13に表示される。
【0049】
表示位置指示部14は、表示部13において予め設定される複数の表示エリアのうちユーザーにより指定される1以上の表示エリアの位置情報(デフォーカス量を知りたい表示エリアの位置情報)を波形生成部11に出力する。このユーザーによる表示エリアの指定方法としては、例えば、表示部13に備えられるタッチパネルにおいて、ユーザーが表示エリアをタッチする方法でもよいし、ダイヤルやプッシュスイッチ等で指定候補の表示エリアを順次移動させたり表示エリアの決定を行ったりする方法でもよい。
【0050】
波形生成部11は、位相差センサ4から出力される複数の1対の撮像信号のうち表示位置指示部14から出力される位置情報に対応する1対の撮像信号の位相差に基づいて、被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報を出力する。例えば、波形生成部11は、撮像信号の輝度を縦軸、撮像信号を出力する画素位置を横軸とする座標に撮像信号の位相差を示す目盛りを設け、一対の位相差センサ出力を表示する。尚、各波形は識別のために互いに異なる色で表示してもよい。
【0051】
合成部12は、波形生成部11から出力されるフォーカス情報と、Bayer補間部5から出力される3版カラー画像とを合成して、表示部13に表示する。
【0052】
図2は、表示部13に表示される画像100の例を示す図である。なお、図2中のA1〜A9の十字の位置にそれぞれ対応して位相差センサ4が配置されているものとする。
【0053】
図2に示す例ではA4の縦方向の表示エリア(以下、表示エリアA4という)とA8の横方向の表示エリア(以下、表示エリアA8という)とが強調表示されており、それら表示エリアがユーザーにより指定されていることを示している。
【0054】
1対の波形101(実線の波形101と破線の波形101)は表示エリアA4の波形であり、1対の波形102(実線の波形102と破線の波形101)は表示エリアA8の波形である。
【0055】
これらの波形には上述したように1対の波形の位相差(撮像信号の位相差)を示す目盛りが付いており、積極的にデフォーカスを利用する場合の目安として利用できる。
【0056】
目盛りのピッチは、例えば、エリアセンサ3の1画素単位としてもよいし、限界解像度に応じたピッチ(例えばレンズの限界解像度)としてもよい。なお、限界解像度は、レンズ情報、ズーム位置情報、及び、絞り位置情報などによって、予め定めたテーブルを参照して決める。また、目盛りのピッチは、例えば、撮像画像を記憶部7に保存する際の撮像画像の解像度での画素ピッチとしてもよい。また、目盛りのピッチは、ユーザーにより任意の値に設定されてもよい。また、目盛りの中央部と位相差センサ4の中央部とを一致させて1対の波形を表示させてもよい。また、目盛りの中央部に1対の波形のそれぞれの最大の振幅がくるように1対の波形を表示させてもよい。
【0057】
波形生成部11は、位相差センサ4から出力される1対の撮像信号をそのままグラフ化してもよいし、位相差センサ4から出力される1対の撮像信号に対して振幅調整やノイズ除去等を行った後でグラフ化してもよい。
また、レンズ操作をしていない場合は、位相差センサ出力を複数フレームを利用してノイズ除去を強く行い、レンズ操作中の場合やカメラが大きく動いている場合はフレーム間でのノイズ除去の強度を弱める、又はフレーム内でのノイズ除去のみとする。
更に、合焦或いはそれに近いエリアが有る場合は、フレーム間ノイズ除去の強度を強め、精度が高く変化の緩やかな表示を行う等、状況に応じてノイズ除去方法を変えても良い。
【0058】
ユーザーは、指定した表示エリアの被写体にフォーカスを合わせたい場合、その表示エリアに対応する1対の波形が互いに一致するように、表示部13を確認しながらレンズ1の位置調整の操作を行えばよい。また、ユーザーは、指定した表示エリアの被写体を若干ぼかしたい場合、その表示エリアに対応する1対の波形が所望な幅互いにずれるように、表示部13の目盛りを参考にしながらレンズ1の位置調整の操作を行えばよい。
【0059】
このように、第1実施形態の撮像装置では、位相差センサ4から出力される1対の撮像信号のそれぞれの波形を被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報として表示部13に表示させる構成であるため、ユーザーが表示部13に表示される1対の波形を確認しながらレンズ1の操作を簡単に行うことができる。そのため、ユーザーは、フォーカスを合わせるためのレンズ1の操作や積極的にデフォーカスさせるためのレンズ1の操作を簡単に行うことができる。
【0060】
<第2実施形態>
【0061】
図3は、本発明の第2実施形態の撮像装置を示す図である。なお、図3において、図1に示す構成と同じ構成には同一の符号を付し、その構成の説明を省略する。
【0062】
第2実施形態の撮像装置において、第1実施形態の撮像装置と異なる点は、エリアセンサ15に位相差センサを内蔵している点である。例えば、この位相差センサは、図15Aに示すように、入射光の角度を互いに反対方向に制限する遮光部を持った1対の画素を複数組備えて構成され、それら各1対の画素がエリアセンサ15の中に並べられている。なお、位相差センサの出力は入射光の角度を制限している為、撮像画像を生成するための撮像信号としては使えない。そこで、位相差センサの出力を、その位相差センサの周囲に位置するエリアセンサ15の画素から出力される撮像信号で補間する。すなわち、例えば、補間部16は、エリアセンサ15における位相差センサの位置を予め記憶部(不図示)に記憶させておき、位相差センサから撮像画像を生成するための撮像信号を出力する際、その位相差センサの周囲に位置する同色のエリアセンサ15の各画素の出力の平均値を、その位相差センサから出力される撮像画像生成用の撮像信号として出力する。なお、単純な平均値ではなく、周囲の画素からエッジ方向を検出し、各画素の重みを変更するような補間方法を採用してもよい。
【0063】
波形生成部11は、エリアセンサ15内の位相差センサから出力される複数の1対の撮像信号のうち表示位置指示部14から出力される位置情報に対応する1対の撮像信号のそれぞれの波形を、被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報として合成部12に出力する。
【0064】
その他の動作は、第1実施形態の撮像装置と同様である。
【0065】
このように構成される第2実施形態の撮像装置においても、ユーザーによるレンズ1の操作をより簡単に行うことができる。
【0066】
また、第2実施形態の撮像装置は、エリアセンサ15に位相差センサが内蔵されているため、第1実施形態の撮像装置に比べて、ハーフミラー2などを省略することできる分、構成を簡略化することができる。
【0067】
<第3実施形態>
【0068】
図4は、本発明の第3実施形態の撮像装置を示す図である。図4において、図1に示す構成と同じ構成には同一の符号を付し、その構成の説明を省略する。
【0069】
第1実施形態の撮像装置では位相差センサ4から出力される1対の撮像信号を示す波形を表示部13に表示する構成であるが、このときの波形は被写体に依存しており、場合によっては1対の波形の位相差が見難い場合もある。
【0070】
そこで、第3実施形態の撮像装置では、単純な1対の基本波形を予め用意しておき、その1対の基本波形を位相比較部9から出力されるデフォーカス量に応じて互いにずらして表示部13に表示する。
【0071】
波形解析部18(波形解析手段)は、位相差センサ4から出力される複数の1対の撮像信号のうち表示位置指示部14から出力される位置情報に対応する1対の撮像信号の特徴部分を解析し、その解析結果に応じた1対の基本波形を出力する。例えば、波形解析部18は、位相差センサ4から出力される撮像信号を2値化してエッジ(2値化後の値が切り替わるところ)を数えた後、そのエッジ数に基づいて、予め記憶部に記憶されている複数種類の1対の基本波形の中から1つを選択し波形生成部17に出力する。
【0072】
図5は、第3実施形態の撮像装置の表示部13の表示画面の一例を示す図である。
【0073】
図5に示す例において、表示エリアA4ではエッジ数が2,表示エリアA6ではエッジ数が1の為、それぞれ、エッジ数2に対応する1対の基本波形、エッジ数1に対応する1対の基本波形が選択され表示されている。
【0074】
基本波形のエッジ数を多くすると見難くなるので、エッジ数が2以上のときは、エッジを2つ有する基本波形が選択されるようにしてもよい。
【0075】
波形生成部17(位相比較手段)は、表示位置指示部14から出力される位置情報に対応する1対の撮像信号の位相差に応じたデフォーカス量を位相比較部9から受け取り、そのデフォーカス量に応じて、波形解析部18から出力される1対の基本波形を互いにずらし、その1対の基本波形を被写体像の合焦に必要なレンズ1の操作量を示すフォーカス情報として合成部12に出力する。
【0076】
その他の動作は、第1実施形態の撮像装置と同様である。
【0077】
なお、波形解析部18において予め用意される1対の基本波形は1種類であってもよい。
【0078】
また、波形解析部18において予め用意される1対の基本波形はユーザーにより設定されてもよい。
【0079】
また、位相比較部9において、位相差センサ4から出力される1対の撮像信号の信頼性(フォーカスを合わせるための情報として十分であるか否か)を評価し、信頼性が低い場合、その評価結果をフォーカス情報に含めて表示部13に表示させてもよい。これにより、表示部13に表示されるフォーカス情報がフォーカスを合わせるための情報として信頼性が低いことをユーザーに知らせることができる。
【0080】
例えば、位相比較部9は、位相差センサ4から出力される1対の撮像信号の振幅が予め設定されている閾値以下である場合、被写体が低コントラストであると判断して、信頼性が低い旨の評価結果を出力する。また、位相比較部9は、位相差センサ4から出力される1対の撮像信号に基づいて被写体像が縞模様であると判断した場合、例えば、図10Cに示すように、相関の高い位相が最も相関の高い位相に集中せず、離散的な位置にばらつく場合、被写体が縞模様であると判断して、信頼性が低い旨の評価結果を出力する。
【0081】
波形生成部17は、波形解析部18から信頼性が低い旨の評価結果が出力されると、その評価結果をフォーカス情報に含めて合成部12に出力する。例えば、波形生成部17は、1対の基本波形の色を変更する、1対の基本波形の振幅を小さくする、又は、1対の基本波形を点滅させる。
【0082】
このように、位相差センサ4から出力される1対の撮像信号の信頼性が低い場合にその旨を表示部13に表示することができるため、表示エリアの変更やフォーカス合わせに適した被写体が表示エリアに入るように撮像装置の向きを変えることをユーザーに促すことができる。
【0083】
なお、位相差センサ4は、第2実施形態の撮像装置のように、エリアセンサ3に内蔵されていてもよい。
【0084】
このように構成される第3実施形態の撮像装置においても、ユーザーによるレンズ1の操作をより簡単に行うことができる。
【0085】
<第4実施形態>
【0086】
図6は、本発明の第4実施形態の撮像装置を示す図である。図6において、図1に示す構成と同じ構成には同一の符号を付し、その構成の説明を省略する。
【0087】
第4実施形態の撮像装置において、第1実施形態の撮像装置と異なる点は、表示位置指示部14を省略している点である。そのため、第4実施形態の撮像装置では、例えば、図7に示すように、表示部13において予め設定される複数の表示エリア全てのフォーカス情報をバーグラフとして表示部13に表示する。また、例えば、図8に示すように、表示部13において予め設定される複数の表示エリア全てのフォーカス情報を数値として表示部13に表示してもよい。
【0088】
波形生成部19では、位相比較部9から出力されるデフォーカス量に応じて、バーグラフ又は数値を生成する。
【0089】
例えば、位相差センサ4から出力される撮像信号の振幅をS、許容値(許容錯乱円に相当)をR、倍率をT、結果(バーグラフにおけるバーの幅、又は、数値)をPとする場合、P=(S÷R)×倍率を計算することにより結果Pを求めることができる。なお、許容値Rは予め定めておく。結果Pは位相差センサ4の画素単位であるので、この単位での許容値Rを定めておく。また、許容値Rはレンズ1とその絞り値によって変更される。また、倍率を例えば「5」とする場合、合焦範囲は±5となる。
【0090】
バーグラフを表示部13に表示する際、最も位相差の小さいものを基準にバーグラフの表示範囲を統一してもよい。例えば、全てのバーグラフの表示範囲を±30とし、バーグラフの中央部の合焦範囲を±10としてもよい。これにより、表示エリア毎にバーグラフの表示範囲が異なる場合に比べて、ユーザーがデフォーカス量を勘違いしてレンズ1の駆動を制御してしまうことを防止することができる。
【0091】
また、例えば、バーグラフの表示範囲を±100とし、そのうち、±10の表示範囲を(エリアセンサ3の画素ピッチ):(バーグラフのバーのピッチ)=1:1で表示し、それ以外の表示範囲をバーのピッチの倍率を変えて表示する、又は、バーのピッチを対数スケールで変化させて表示する等、バーを不均一なスケールで表示してもよい。これにより、バーの先端が合焦範囲に近づく程、バーのスケールを拡大させることができるため、ユーザーはフォーカスの調整を細かく行うことができる。
【0092】
図7に示す例では、バーグラフの中央部の色をその他のところの色と異なるようにして、その部分を合焦範囲としている。バーはデフォーカス量の変化に伴ってバーグラフの左端から伸びるように変化し、バーの先端が合焦範囲に有るとき、フォーカスが合っていることを示す。また、バーの先端が、合焦範囲よりも左側に有れば前ピン、合焦範囲よりも右側に有れば後ピンであることを示す。
【0093】
なお、第4実施形態の撮像装置に上記波形解析部18を追加し、信頼性が低い評価結果が波形解析部18から波形生成部19に出力される場合、バーグラフのバーの色や数値の色を変えてユーザーにバーグラフや数値の信頼性が低いことを知らせるように構成してもよい。
【0094】
また、合焦状態、前ピン、後ピンでバーグラフや数値の色を変更してもよい。
【0095】
また、図8に示す例では、±5を合焦範囲105とし、前ピンのとき、数値が−5未満となるとき、前ピンであることを示し、数値が+5を超えるとき、後ピンであることを示し、数値が大きい程、合焦位置から離れていることを示している。
【0096】
なお、位相差センサ4は、第2実施形態の撮像装置のように、エリアセンサ3に内蔵されていてもよい。
【0097】
このように構成される第4実施形態の撮像装置においても、ユーザーによるレンズ1の操作をより簡単に行うことができる。
【0098】
次に、第1〜3実施形態の撮像装置における位相比較部9について説明する。
【0099】
図9は、位相比較部9の回路構成例を示す図である。なお、位相差センサにおいて、右側を遮光して左側から光が入射される画素群から出力される撮像信号をL(1対の撮像信号のうちの一方の撮像信号)、左側を遮光して右側から光が入射される画素群から出力される撮像信号をR(1対の撮像信号のうちの他方の撮像信号)とする。
【0100】
図9に示す位相比較部9は、RAM901と、複数のレジスタ902(902_1〜902_n)と、複数のレジスタ903(903_1〜903_n)と、複数の減算器904(904_1〜904_n)と、複数の絶対値演算部905(905_1〜905_n)と、加算部906と、最大値最小値保存部907と、遅延部908、909と、カウンタ910と、結合部911と、ソート保存部912とを備える。
【0101】
図9に示す位相比較部9は、図10に示すように、L撮像信号が示すL画像の中央のn画素からなる撮像画像を基準画像として、R撮像信号が示すR画像のn+2a画素からなる撮像画像との間で相関演算を行う。
【0102】
まず、位相差センサから出力されるR撮像信号(画素)は、一旦RAM901に保存され、位相差センサから出力されるL撮像信号(画素)は、レジスタ902_1〜902_nに順次保持される。また、最大値最小値保存部907は、L撮像信号の最大輝度値と最小輝度値を検出する。
【0103】
次に、不図示の制御回路(CPU)がこの最大輝度値と最小輝度値を読み込み、最大輝度値から最小輝度値を減算した値が予め定めた閾値以下である場合、信頼性が低いと見なす。
【0104】
次に、R撮像信号をRAM901から読み出され、レジスタ903_1〜903_nに順次保持される。新たなR撮像信号がレジスタ903_1に保持されると、レジスタ903_1に保持されていたR撮像信号がレジスタ903_2に保持される。また、レジスタ903_2に保持されていたR撮像信号がレジスタ903_3に保持される。このようにR撮像信号の転送が繰り返され、レジスタ903_nに保持されていたR撮像信号は捨てられる。L撮像信号についても同様である。
【0105】
カウンタ910は、L撮像信号及びR撮像信号がレジスタ902_1及びレジスタ903_1に転送された回数をカウントする。
【0106】
カウンタ910の初期値を−(n+a)としておけば、カウンタ910のカウント値を位相差とすることができる。カウント値がゼロになると、L撮像画像とR撮像画像との位相が一致したことを示す。
【0107】
減算部904でL撮像信号とR撮像信号との差分を算出し、絶対値演算部905で絶対値化する、更にその総和を加算部906で算出し相関値を算出する。この相関値を、遅延部908,909で遅延させ、結合部911で、前後のL撮像信号及びR撮像信号での相関値と位相差を示すカウンタ値を纏めたデータの組とし、ソート保存部912にて相関値の小さい順(高い順)にソートして保存する。
【0108】
また、不図示の制御回路は、このソート結果を読み込み、例えば、上位10個のカウンタ値(位相差)の相関値の最大と最小の差分を計算し、その結果が予め定めた閾値以上の場合、信頼性が低いと見なす。
【0109】
また、位相比較部9は、ソート保存部912に保存される相関値が高いデータの組における、その相関値と前後の相関値と近似式とを用いて、相関値の最も高くなる位相差を算出する。例えば、近似式として2次曲線を用いる場合、相関値の最も高い値をC、1つ前の撮像信号の相関値をA、1つ後の撮像信号の相関値をBとし、ΔA=A−C、ΔB=B−Cとすると、近似式から相関値がピークとなる位置ΔX(相関値の最も高かった位置からのずれ量:デフォーカス量)は、下記数1により求められる。
【0110】
【数1】
【0111】
なお、相関演算の精度向上の為に、L撮像信号及びR撮像信号にそれぞれ予めフィルタ処理を行ってもよい。また、R画像に対してL画像の位置をずらしながら相関演算を行ってもよい。更に、L画像も一度RAM901に保存し、L画像の中で高周波成分の高い部分を基準画像とし、その前後のR画像との相関を取るようにしてもよい。高周波成分の高い部分の検出方法は、例えば、L画像にハイパスフィルタ処理を行い、その絶対値、又は、絶対値の前後n画素の加算値の最も高い部分を中心に基準領域を設定する等により検出できる。
【0112】
次に、第1及び第2実施形態の撮像装置における波形生成部11について説明する。
【0113】
まず、位相差センサ4から出力される1対の撮像信号を1対の波形として直接合成部12に出力する場合の波形生成部11について説明する。
【0114】
例えば、波形生成部11は、表示部13の表示エリアの画素数と等しい数の画素を、その表示エリアに対応する位相差センサ4の中央部から抜き出して、その抜き出した各画素を1対の波形として合成部12に出力するように構成してもよい。
【0115】
また、例えば、波形生成部11は、位相差センサ4から出力される1対の撮像信号において、相関演算値の傾きの大きな部分の前後を1対の波形として合成部12に出力するように構成してもよい。
【0116】
図11は、1対の撮像信号において、相関演算値の傾きの大きな部分の前後を1対の波形として出力する場合の波形生成部11の回路構成例を示す図である。
【0117】
図11に示す波形生成部11は、データ遅延部200と、減算部201と、絶対値演算部202と、閾値比較部203と、読み出し位置制御部204と、RAM205、206と、波形生成部207、208とを備える。
【0118】
まず、データ遅延部200、減算部201、及び絶対値演算部202により、順次入力されるL撮像信号(L Data)の傾きの絶対値を求める。
【0119】
次に、閾値比較部203は、求められた絶対値が予め定めた閾値を超えたか否かを判断する。
【0120】
次に、絶対値が閾値を超えたと判断されると、読み出し位置制御部204は、そのとき入力されたL撮像信号を中心にしてその前後のL撮像信号をRAM205に書き込むとともに、そのとき入力されたR撮像信号を中心にしてその前後のR撮像信号をRAM206に書き込む。
【0121】
そして、波形生成部207、208は、RAM205、206にそれぞれ書き込まれたL撮像信号及びR撮像信号(1対の撮像信号において、傾きの大きな部分の前後)を1対の波形として合成部12に出力する。
【0122】
合成部12は、例えば、R撮像信号を青、L撮像信号を緑、L撮像信号とR撮像信号とが重なった部分を黄色として、表示部13に表示する。これにより、重なった部分の視認性を向上させることができる。
【0123】
また、例えば、波形生成部11は、L撮像信号の予め設定される範囲(例えば、L撮像信号全体の1/3)において振幅の最大値と最小値を検索し、それらを結ぶ傾きが最も大きい部分を中心にしてその前後を1対の波形として合成部12に出力するように構成してもよい。なお、表示部13に表示される1対の波形の振幅の調整方法としては、波形の相関演算値の最大値、最小値を抽出し、その最大値、最小値が表示部13における1対の波形の表示スペースの上端、下端となるように、1対の波形の振幅のゲインとオフセットを調整する。信頼性が低い場合は、1対の波形の振幅を小さくして表示する。また、表示部13に表示される1対の波形は、あまり頻繁に更新されると見づらい為、波形生成部11に入力される1対の撮像信号をフレーム単位で間引いてもよい。
【0124】
次に、表示部13に表示される1対の波形の表示スケールを、位相比較部9から出力されるデフォーカス量に基づいて変更する場合の波形生成部11について説明する。
【0125】
例えば、波形生成部11は、1対の波形の表示スケールを、デフォーカス量に基づいて詳細スケール又は広域スケールに変更する。なお、頻繁に表示スケールが変わると見づらいため、デフォーカス量に一定のヒステリシスを設けた範囲の閾値で表示スケールを変更してもよい。
【0126】
なお、このとき表示部13に表示される1対の波形は、上述したように、1対の波形において、相関演算値の変化の大きい部分としてもよい。
【0127】
また、このとき表示部13に表示される1対の波形の振幅の調整方法としては、上述したように、波形の相関演算値の最大値、最小値が表示部13における1対の波形の表示スペースの上端、下端となるように、1対の波形の振幅のゲインとオフセットを調整する。
【0128】
また、このとき表示部13に表示される1対の波形の更新レートも、上述したように、フレーム単位で間引いてもよいが、表示スケールに応じて更新レートを変更してもよい。例えば、表示スケールが詳細スケールの場合、レンズ1の位置調整が微調整となるので更新レートを早くする。
【0129】
次に、データ遅延部200、減算部201、及び絶対値演算部202により求められる相関演算値をフォーカス情報として合成部12に出力する場合の波形生成部11について説明する。
【0130】
例えば、波形生成部11は、相関演算値を、位相差がゼロとなるときの相関演算値データを中心にしてその前後の相関演算値を1対の波形として合成部12に出力する。
【0131】
このとき表示部12に表示される波形の表示スケールは不均一とすることがよい。位相差ゼロ付近は細かいピッチで、位相差ゼロ付近から離れた部分は荒いピッチで波形表示する。例えば、上述したバーグラフのように、表示スケールを変化させる。なお、ピッチが細かく、画素単位以下のピッチとなる場合、波形生成部11に入力されるデータのピッチは画素のピッチとなるが、その間のデータは、例えば、スプライン補間で補間してもよい。
【0132】
次に、第3実施形態の撮像装置における波形生成部17について説明する。
【0133】
例えば、波形生成部17は、デフォーカス量に基づいて、表示部13に表示させる1対の基本波形の表示スケールや振幅を変更してもよい。
【0134】
また、例えば、波形生成部17は、前回のフレームにおけるデフォーカス量と今回のフレームにおけるデフォーカス量との差分が予め設定される閾値よりも大きい場合、フレームを間引くことにより表示部12に表示される1対の基本波形の更新レートを落としてもよい。また、例えば、波形生成部17は、前回のフレームにおけるデフォーカス量と今回のフレームにおけるデフォーカス量との差分が予め設定される閾値よりも小さい場合、前回のフレームにおけるデフォーカス量と今回のフレームにおけるデフォーカス量との加算平均をした結果に基づいて1対の基本波形を互いにずらすようにしてもよい。これにより、安定した波形表示を行うことができる。
【0135】
また、例えば、波形生成部17は、上述したように、1対の基本波形の更新レートを表示スケールに応じて変更してもよい。
【0136】
また、例えば、波形生成部17は、1対の基本波形の一方の基本波形を基準として他方の基本波形をずらしてもよいし、1対の基本波形の中間位置を基準にそれぞれの基本波形をずらしてもよい。
【0137】
なお、第1〜第4実施形態の撮像装置は、例えば、デジタルカメラなどとして構成されてもよいし、顕微鏡用の撮像装置や内視鏡用の撮像装置として構成されてもよい。
【0138】
また、第1〜第4実施形態の撮像装置では、瞳分割を左右にマスクした場合において、位相差センサが水平方向に並んでいる場合を説明したが、瞳分割を上下にマスクした場合において、位相差センサが垂直方向に並んでいるものを採用してもよい。
【符号の説明】
【0139】
1 レンズ
2 ハーフミラー
3 エリアセンサ
4 位相差センサ
5 Bayer補間部
6 圧縮部
7 記憶部
8 伸張部
9 位相比較部
10 レンズ駆動部
11 波形生成部
12 合成部
13 表示部
14 表示位置指示部
15 エリアセンサ
16 補間部
17 波形生成部
18 波形解析部
19 波形生成部
【特許請求の範囲】
【請求項1】
被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置であって、
前記被写体像を瞳分割して得られる1対の撮像信号を出力する位相差センサと、
前記位相差センサから出力される1対の撮像信号の位相差に基づいて、前記被写体像の合焦に必要なフォーカスレンズの操作量を示すフォーカス情報を出力するフォーカス情報出力手段と、
前記フォーカス情報出力手段から出力されるフォーカス情報を前記撮像画像に合成する合成手段と、
前記合成手段により合成された撮像画像を表示する表示手段と、
を備える撮像装置。
【請求項2】
請求項1に記載の撮像装置であって、
前記表示手段において予め設定される複数の表示エリアのうちユーザーにより指定される1以上の表示エリアの位置情報を出力する指定手段をさらに備え、
前記位相差センサは、前記複数の表示エリアにそれぞれにおいて前記1対の撮像信号を出力し、
前記フォーカス情報出力手段は、前記位相差センサから出力される複数の前記1対の撮像信号のうち前記指定手段から出力される位置情報に対応する前記1対の撮像信号の位相差に基づいて、フォーカスが合うまでに必要なフォーカスレンズの操作量を示すフォーカス情報を出力する
ことを特徴とする撮像装置。
【請求項3】
請求項1に記載の撮像装置であって、
予め記憶手段に記憶される複数の1対の基本波形のうち前記位相差センサから出力される1対の撮像信号の特徴部分の評価結果に基づく1対の基本波形を選択し、その選択した1対の基本波形を前記位相差センサから出力される1対の撮像信号の代わりに前記フォーカス情報出力手段に出力する波形解析手段と、
前記位相差センサから出力される1対の撮像信号に基づいて、フォーカスレンズの位置を調整するためのデフォーカス量を求めて出力する位相比較手段と、
を備え、
前記フォーカス情報出力手段は、前記波形解析手段から出力される1対の基本波形の位相を前記位相比較手段から出力されるデフォーカス量に応じて互いにずらし、その1対の基本波形を前記フォーカス情報として前記合成手段に出力することを特徴とする撮像装置。
【請求項4】
請求項1に記載の撮像装置であって、
前記位相差センサから出力される1対の撮像信号の振幅が閾値以下である場合、又は、前記位相差センサから出力される1対の撮像信号に基づいて前記被写体像が縞模様であると判断した場合、前記1対の撮像信号の信頼性が低い旨を示す評価結果を出力する波形解析手段を備え、
前記フォーカス情報出力手段は、前記波形解析手段から出力される評価結果を前記フォーカス情報に含めて前記合成手段に出力することを特徴とする撮像装置。
【請求項5】
請求項1に記載の撮像装置であって、
前記フォーカス情報出力手段は、前記撮像信号の輝度を縦軸、前記撮像信号を出力する画素位置を横軸とする座標により表される前記1対の撮像信号それぞれの波形を、前記1対の撮像信号の位相差を示す目盛り上に並べたものを前記フォーカス情報として前記合成手段に出力することを特徴とする撮像装置。
【請求項6】
請求項1に記載の撮像装置であって、
前記フォーカス情報出力手段は、前記1対の撮像信号の位相差を示す数値及び前記被写体像の合焦時の前記1対の撮像信号の位相差の数値の範囲を前記フォーカス情報として前記合成手段に出力することを特徴とする撮像装置。
【請求項1】
被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置であって、
前記被写体像を瞳分割して得られる1対の撮像信号を出力する位相差センサと、
前記位相差センサから出力される1対の撮像信号の位相差に基づいて、前記被写体像の合焦に必要なフォーカスレンズの操作量を示すフォーカス情報を出力するフォーカス情報出力手段と、
前記フォーカス情報出力手段から出力されるフォーカス情報を前記撮像画像に合成する合成手段と、
前記合成手段により合成された撮像画像を表示する表示手段と、
を備える撮像装置。
【請求項2】
請求項1に記載の撮像装置であって、
前記表示手段において予め設定される複数の表示エリアのうちユーザーにより指定される1以上の表示エリアの位置情報を出力する指定手段をさらに備え、
前記位相差センサは、前記複数の表示エリアにそれぞれにおいて前記1対の撮像信号を出力し、
前記フォーカス情報出力手段は、前記位相差センサから出力される複数の前記1対の撮像信号のうち前記指定手段から出力される位置情報に対応する前記1対の撮像信号の位相差に基づいて、フォーカスが合うまでに必要なフォーカスレンズの操作量を示すフォーカス情報を出力する
ことを特徴とする撮像装置。
【請求項3】
請求項1に記載の撮像装置であって、
予め記憶手段に記憶される複数の1対の基本波形のうち前記位相差センサから出力される1対の撮像信号の特徴部分の評価結果に基づく1対の基本波形を選択し、その選択した1対の基本波形を前記位相差センサから出力される1対の撮像信号の代わりに前記フォーカス情報出力手段に出力する波形解析手段と、
前記位相差センサから出力される1対の撮像信号に基づいて、フォーカスレンズの位置を調整するためのデフォーカス量を求めて出力する位相比較手段と、
を備え、
前記フォーカス情報出力手段は、前記波形解析手段から出力される1対の基本波形の位相を前記位相比較手段から出力されるデフォーカス量に応じて互いにずらし、その1対の基本波形を前記フォーカス情報として前記合成手段に出力することを特徴とする撮像装置。
【請求項4】
請求項1に記載の撮像装置であって、
前記位相差センサから出力される1対の撮像信号の振幅が閾値以下である場合、又は、前記位相差センサから出力される1対の撮像信号に基づいて前記被写体像が縞模様であると判断した場合、前記1対の撮像信号の信頼性が低い旨を示す評価結果を出力する波形解析手段を備え、
前記フォーカス情報出力手段は、前記波形解析手段から出力される評価結果を前記フォーカス情報に含めて前記合成手段に出力することを特徴とする撮像装置。
【請求項5】
請求項1に記載の撮像装置であって、
前記フォーカス情報出力手段は、前記撮像信号の輝度を縦軸、前記撮像信号を出力する画素位置を横軸とする座標により表される前記1対の撮像信号それぞれの波形を、前記1対の撮像信号の位相差を示す目盛り上に並べたものを前記フォーカス情報として前記合成手段に出力することを特徴とする撮像装置。
【請求項6】
請求項1に記載の撮像装置であって、
前記フォーカス情報出力手段は、前記1対の撮像信号の位相差を示す数値及び前記被写体像の合焦時の前記1対の撮像信号の位相差の数値の範囲を前記フォーカス情報として前記合成手段に出力することを特徴とする撮像装置。
【図1】
【図3】
【図4】
【図6】
【図11】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図13C】
【図14】
【図2】
【図5】
【図7】
【図8】
【図9】
【図10】
【図15A】
【図15B】
【図15C】
【図3】
【図4】
【図6】
【図11】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図13C】
【図14】
【図2】
【図5】
【図7】
【図8】
【図9】
【図10】
【図15A】
【図15B】
【図15C】
【公開番号】特開2012−145840(P2012−145840A)
【公開日】平成24年8月2日(2012.8.2)
【国際特許分類】
【出願番号】特願2011−5293(P2011−5293)
【出願日】平成23年1月13日(2011.1.13)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年8月2日(2012.8.2)
【国際特許分類】
【出願日】平成23年1月13日(2011.1.13)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]