測距装置、測距方法、測距プログラム又は撮像装置
【課題】被写体距離が空間変動する場合でも、高い精度で測距を行う。
【解決部】異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距対象画素を含有する処理対象領域（k1、k2）毎に、ぼけの相関量を演算するぼけ相関量演算部（１０３）と、前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定部（１０９）と、を有する測距装置であって、前記ぼけ相関量演算部（１０３）は、前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算部（１０６）と、前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御部（１０７）と、前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算部（１０８）と、を備える。
【解決部】異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距対象画素を含有する処理対象領域（k1、k2）毎に、ぼけの相関量を演算するぼけ相関量演算部（１０３）と、前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定部（１０９）と、を有する測距装置であって、前記ぼけ相関量演算部（１０３）は、前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算部（１０６）と、前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御部（１０７）と、前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算部（１０８）と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報を用いて被写体の距離の測定を行う技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像装置において撮影するシーンの距離情報を安価に取得できるシステムとして、Depth from Defocus（ＤＦＤ）方式が提案されている。ＤＦＤ方式では、撮影レンズ等の撮影パラメータの制御によりぼけの異なる複数の画像が、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）などの撮像素子で捉えられる。さらに、各画像間のぼけの相関量が所定の対象画素毎に算出される。このぼけの相関量と被写体距離の関係を定める参照テーブルを参照することで、そのぼけの相関量に対応する被写体距離を求めて、対象画素に関して測距を行う（非特許文献１参照）。
【０００３】
ここで、ぼけの相関量とは、各画像間のぼけの相関の程度を示すものであり、各画像における光学系の点像分布関数(ＰＳＦ)の分散と相関のある値である。例えば、ぼけの相関量は、各画像の点像分布関数(ＰＳＦ)の分散の差分で表される。また、ＰＳＦとは、理想的な点像が光学系を通過した場合の光線の広がり（即ち、ぼけ方）を表す関数である。
【０００４】
ＤＦＤ方式では、理論上は一画素単位での測距が可能である。測距精度を安定化させるために、測距対象画素の近傍の画素領域（ＤＦＤカーネルとも呼ぶ）のぼけの相関量も考慮して、測距対象画素についての被写体距離を算出する必要があった。
【非特許文献１】M. Subbarao and G. Surya, "Depth from Defocus: A Spatial Domain Approach," International Journal of Computer Vision, Vol. 13, No. 3, pp. 271-294, 1994
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ＤＦＤカーネル内で被写体距離が空間変動する場合、遠距離の画素と近距離の画素の両方が考慮されるため、測距対象画素の位置に結像する物体に対して測距精度の信頼性が低下する可能性がある。具体的には遠方の物体と近点の物体の境界がＤＦＤカーネル内に存在する場合には、測距精度が低い可能性がある。
【０００６】
本発明は、被写体距離が空間変動する場合でも、高い精度で測距を行うことを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様に係る測距装置は、異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算部と、前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定部と、を有する測距装置であって、前記ぼけ相関量演算部は、前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算部と、前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御部と、前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算部と、を備えることを特徴とする。
【０００８】
本発明の別の態様に係る測距方法は、異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算ステップと、前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定ステップと、を有する測距方法であって、前記ぼけ相関量演算ステップは、前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算ステップと、前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御ステップと、前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算ステップと、を備えることを特徴とする。
【０００９】
本発明のさらに別の態様に係る測距プログラムは、異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算手順と、前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定手順と、を有する測距プログラムであって、前記ぼけ相関量演算手順は、前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算手順と、前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御手順と、前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算手順と、を備えることを特徴とする。
【００１０】
これら態様によれば、処理対象領域内の各画素での画素単位のぼけの相関量が算出される。さらに、画素単位のぼけの相関量の加重平均の値を処理対象領域のぼけ相関量として算出して、この加重平均の値から処理対象領域毎に被写体距離が算出できる。これにより、処理対象領域内の被写体距離の変動が存在しても、算出される被写体距離は処理対象領域内で加重平均を取ったものに相当する。従って、処理対象領域を設定することにより測距精度の安定性を保ちつつ、さらに処理対象領域内の被写体距離の変動の測距精度に対する影響が小さくなる。
【発明の効果】
【００１１】
本発明によれば、測距精度の安定性を保ちつつ、処理対象領域内の被写体距離の変動が、測距対象画素の測距精度に及ぼす影響を低減させることが可能となる。
【発明を実施するための最良の形態】
【００１２】
［第一実施形態］
図１を参照して、第一実施形態に係る測距装置について説明する。なお、測距装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第一実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
【００１３】
図１は、第一実施形態に係る測距装置を搭載する撮像装置を示す。撮像装置は、光学系１０、光学系制御部２０、撮像素子１０１、輝度信号制御部１０２、ぼけ相関量演算部１０３、被写体距離決定部１０９、ＬＵＴ記憶部１１０、メモリ１１１、から構成される。輝度信号制御部１０２、ぼけ相関量演算部１０３、被写体距離決定部１０９（又はこれら全体）を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と演算プログラムを格納するメモリ等から構成してもよい。測距装置は、ぼけ相関量演算部１０３、被写体距離決定部１０９、ＬＵＴ記憶部１１０等から構成される。
【００１４】
ぼけ相関量演算部１０３は、バッファ１０４、カーネル位置制御部１０５、画素単位ぼけ相関量演算部１０６、加重制御部１０７、加重平均ぼけ相関量演算部１０８で構成される。以後、「カーネル位置制御部」をカーネル制御部と、「被写体距離決定部」を距離決定部と、「画素単位ぼけ相関量演算部」を画素相関量演算部と、「加重平均ぼけ相関量演算部」を加重平均演算部と呼ぶ。
【００１５】
光学系１０は、複数のレンズ群３０１及び絞り３０３等から構成され、外部から取り込んだ光を結像する撮影レンズとして機能する。なお、図１において、光学系１０は、単焦点レンズとして示されているが、光学系１０の構成は、図１に示したものに限られるものではない。例えば、光学系１０は、ズームレンズを構成するものであってよい。又、例えば、レンズ群３０１の数は何枚でもよいし、絞り３０３の位置も適宜変更可能である。光学系１０の焦点位置は、光学系制御部２０によって可変である。
【００１６】
光学系制御部２０は、撮影パラメータ(カメラパラメータ）を変更する撮影パラメータ制御部として機能する。撮影パラメータには、光学系１０の焦点位置（又はフォーカスレンズの位置）、絞り３０３の開口径、光学系１０の焦点距離等が含まれる。なお、以後、本実施形態では、撮影パラメータが、光学系１０の焦点位置である場合について説明される。
【００１７】
光学系制御部２０は、光学系１０の焦点位置を変更するために一つ以上のレンズ群３０１を移動させるレンズ駆動機構を含む。なお、レンズ群は、単一のレンズから構成されてもよい。以後、光学系１０の焦点位置の変更のために移動する一つ以上のレンズ群３０１をフォーカスレンズと呼ぶ。レンズ駆動機構は、電気モータや超音波モータ等のモータ(又はアクチュエータ）を有する。レンズ駆動機構は、全群移動方式により全てのレンズ群３０１を一括して動かしてよい。或いは、レンズ駆動機構は、フロントフォーカシングやバックフォーカシング方式等により、一つのレンズ群を移動させてもよい。また、光学系制御部２０は、絞り３０３の開口径を調整するための絞り制御機構を含む。絞り制御機構は、電気モータ等のモータ(又はアクチュエータ）などからなる。
【００１８】
フォーカスレンズの位置（以後、フォーカスレンズ位置と呼ぶ）は、レンズ位置検出部４０１により検出される。検出されたフォーカスレンズ位置は、必要に応じて、光学系制御部２０、ぼけ相関量演算部１０３、距離決定部１０９等で利用できるようにしてよい。レンズ位置検出部４０１は、焦点位置の変更のために移動するレンズ群の移動量を検出するセンサを有する。絞り３０３の開口径は、開口径検出部４０３により検出される。検出された開口径は、必要に応じて、光学系制御部２０、ぼけ相関量演算部１０３、距離決定部１０９等で利用できるようにしてよい。開口径検出部４０３は、絞り制御機構のモータの動作量（回転量等）を開口径の指標として検出するものでよい。
【００１９】
光学系１０を通過し結像する光束は、撮像素子１０１上で電気信号に変換される。撮像素子１０１は、ＣＣＤ（電荷結合素子）又はＣＭＯＳ（相補型金属酸化膜半導体）から構成される。この電気信号は、撮像素子１０１から画像データとして送出される。
【００２０】
輝度信号制御部１０２は、撮像素子１０１で撮影した画像データをデジタル信号に変換する。このデジタル信号を輝度信号と呼ぶ。輝度信号制御部１０２は、輝度信号に変換した画像データに対して像倍率補正処理や輝度分布の正規化処理などの処理を施す。像倍率補正処理は、異なる画像間の異なる倍率を補正する処理である。
【００２１】
バッファ１０４は、輝度信号制御部１０２で輝度信号に変換された画像データを保持する。ここで、バッファ１０４は、少なくとも２枚以上の画像データを保持するメモリ空間を有するメモリである。バッファ１０４は、同一被写体に対して同一位置から撮影した２枚の画像データから変換された輝度信号を保持する。２枚の画像データは、異なる撮影パラメータで撮影、取得されたもので、ぼけ方が異なる。本実施形態では、撮影パラメータは光学系１０の焦点位置であり、フォーカスレンズ位置を変えることにより焦点位置が互いに異なる２枚の画像データが撮影される。このため、光学系制御部２０が、フォーカスレンズ（少なくとも一つのレンズ群）を移動させ、光学系１０の焦点位置を変化させる。
【００２２】
カーネル制御部１０５は、バッファ１０４に保持された複数の画像において、測距対象となる測距対象画素の位置とその近傍領域を為す画素群をＤＦＤカーネルとして設定する。このＤＦＤカーネルが測距装置の測距処理の対象となり、ＤＦＤカーネルを処理対象領域と呼ぶことがある。ＤＦＤカーネルは、所定画素数を含有し、画像中の所定位置に設定される。所定位置は、例えば画像の中心付近であるが、特に限定されるものではない。ＤＦＤカーネルは、複数設定されてもよい。ＤＦＤカーネルの形状も特に制限されるものではないが、本実施形態では、測距対象画素を中心画素（又は中心付近画素）とした矩形領域で設定する。また、ＤＦＤカーネルの所定画素数が１００個（１０×１０個）である場合を説明するが、所定画素数はこれに限定されるものではない。測距対象画素は、ＤＦＤカーネル内のどの位置に設定してもよいが、本実施形態ではＤＦＤカーネルの中心位置（又は中心付近）に測距対象画素を配置する。
【００２３】
画素相関量演算部１０６（画素単位ぼけ相関量演算部）は、ＤＦＤカーネルとして設定された画素領域を、バッファ１０４に保持された２枚の画像データからそれぞれ抽出する。続いて、画素相関量演算部１０６は、ＤＦＤカーネル内の画素毎に画素単位のぼけ相関量を演算する。
【００２４】
加重制御部１０７は、画素毎のぼけ相関量にそれぞれ対応する重み係数を設定する。画素相関量演算部１０６には、加重制御部１０７から重み係数が入力される。画素相関量演算部１０６は、画素毎のぼけ相関量に重み係数を掛け合わせた値を加重平均演算部１０８に出力する。なお、加重平均演算部１０８に加重制御部１０７から重み係数を入力し、加重平均演算部１０８が、画素毎のぼけ相関量に重み係数を掛け合わせてもよい。
【００２５】
加重平均演算部１０８は、重み付けしたＤＦＤカーネル内の画素毎のぼけ相関量の和をＤＦＤカーネルのぼけ相関量として出力する。即ち、加重平均演算部１０８は、ＤＦＤカーネル内の各画素のぼけ相関量の加重平均（又は重み付け加算）の値を算出する。
【００２６】
距離決定部１０９（被写体距離決定部）は、加重平均演算部１０８から入力された画素単位のぼけ相関量の加重平均値からルックアップテーブル（ＬＵＴ）に基づいて被写体距離を算出し、メモリ１１１に格納する。ＬＵＴ記憶部１１０は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み出し専用メモリ）等のメモリから構成され、ルックアップテーブルを記憶する。距離決定部１０９がメモリ１１１に被写体距離情報を格納すると、カーネル制御部１０５は測距点を変更し、バッファ１０４から新たなＤＦＤカーネルを選択するかどうかの判断を行う。
【００２７】
ルックアップテーブルは、図２のように、被写体距離Ｕとぼけ相関量σの関係を定めるものである。ぼけ相関量σは、被写体距離Ｕの逆数に対して、線形な関係がある（非特許文献１参照）。ルックアップテーブルにおいて、対応するぼけ相関量σがない場合には、補間によって被写体距離Ｕを求められる。ルックアップテーブルは、光学系１０の状態（例えば、絞りの開口径Ｄや焦点距離ｆ）ごとに設けられてよい。これは、被写体距離とぼけ相関量の関係は、光学系１０の状態に依存し、光学系１０の状態によってそれぞれ個別の関係式で表わされるためである。この場合、距離決定部１０９は、光学系１０の状態に応じて、使用するルックアップテーブルを選択してよい。例えば、絞り３０３の開口径Ｄと光学系１０の焦点距離ｆが可変の場合には、絞りの開口径Ｄや焦点距離ｆに応じて、使用するルックアップテーブルを選択してよい。
【００２８】
なお、焦点距離ｆが可変の場合とは、光学系１０が交換レンズの場合や光学系１０がズームレンズの場合である。この場合、焦点距離検出部４０５が設けられ、焦点距離検出部４０５は、焦点距離ｆを検出する。光学系１０が交換レンズの場合、焦点距離検出部４０５は、交換レンズのメモリに格納される焦点距離ｆを読み出せる。光学系１０がズームレンズの場合、焦点距離検出部４０５は、ズームのためにレンズ群を動かす光学系制御部２０のモータの動作量（回転量等）を焦点距離ｆの指標として検出できる。距離決定部１０９は、検出された焦点距離ｆから、使用するルックアップテーブルを特定できる。
【００２９】
又、フォーカスレンズの合焦位置と被写体距離は、一対一の対応関係があるので、ルックアップテーブルにおいて、被写体距離の代わりに、光学系１０が合焦するフォーカスレンズの合焦位置を使用してよい。即ち、ルックアップテーブルは、フォーカスレンズの合焦位置（フォーカスレンズ合焦位置）とぼけ相関量との関係を定めるものであってもよい。
【００３０】
次に本実施形態におけるぼけ相関量演算部１０３での具体的な処理について説明する。
【００３１】
先ず異なる焦点位置で取得された輝度信号を、ぼけの異なる２つの画像データＧ１、Ｇ２としてバッファ１０４に保持する。続いて、カーネル制御部１０５は、撮影したシーンから被写体距離を計測する測距対象画素を選択する。次に、カーネル制御部１０５は、測距対象画素の近傍のＭ×Ｍ矩形領域の輝度値（画素値）をＤＦＤカーネルとして画像Ｇ１、Ｇ２に設定する。ここで、画像Ｇ１、Ｇ２それぞれにおけるＤＦＤカーネル内の輝度値をg1(u,v)、g2(u,v)｛u,v:1,2,3…M｝、測距対象画素の座標を(cu,cv)と表記する。ＤＦＤカーネル内の任意の画素位置(u,v)における画素毎のぼけ相関量G(u,v)の演算式を式（１）に示す。
【００３２】
【数１】
【００３３】
ここで、Ｃは実験値より導かれる定数、は輝度値の２次微分（ラプラシアン）を表す数学記号である。
【００３４】
画素毎のぼけの相関量は、式（１）のように、ぼけの異なる２つの画像において、所定画素での輝度値の差分と２次微分とを計算し、この差分を２つの画像の所定画素での２次微分の平均値で除算して計算される。このぼけの相関量は、画像間の画素単位でのぼけの相関の程度を示す。
【００３５】
加重平均演算部１０８が、ＤＦＤカーネルに対して算出するぼけ相関量の出力Gkは式（２）で与えられる。
【００３６】
【数２】
【００３７】
ＤＦＤカーネルに対して算出するぼけ相関量Gkは、画素単位のぼけ相関量G(u,v)の加重平均値で与えられる。加重平均値は、重み係数W(u,v)とぼけ相関量G(u,v)の積の合計から算出される。単位画素毎のぼけ相関量G(u,v)の重み係数W(u,v)は、Wi(u,v)とWg(u,v)の積で与えられる。ここでWi(u,v)、Wg(u,v)は、それぞれ、測距対象画素との画素間の距離差に応じた重み係数、測距対象画素との輝度差に応じた重み係数を示す。また、σi、σgは正規分布の標準偏差を示す。標準偏差σi、σgは実験データにより適切に与えられる。また、重み係数の総和は１に正規化されている。
【００３８】
例えば、図３（ａ）に示すように、重み係数Wi(u,v)は、ぼけ相関量を算出する画素(u,v)と測距対象画素(cu,cv)との座標間距離[(cu-u)2+(cv-v)2]1/2に対して正規分布関数で与えられてよい。このような確率密度関数に従って重み係数を与えることで、測距対象画素に近い画素に対して算出するぼけ相関量ほど重みが高く設定できる。また、例えば、図３（ｂ）に示すように、重み係数Wg(u,v)は、ぼけ相関量を算出する画素と測距対象画素に関する画素単位のぼけ相関量の差分G(cu,cv)-G(u,v)に対して正規分布関数で与えられてよい。差分G(cu,cv)-G(u,v)は、ぼけ相関量を算出する画素と測距対象画素の輝度差の指標となっている。このような確率密度関数に従って重み係数を与えることで、測距対象画素との輝度差が小さい画素ほど、算出するぼけ相関量の重みが高く設定できる。このような重み係数W(u,v)を用いて、測距対象画素との被写体距離の差が小さくなる可能性の高い画素のぼけ相関量の影響が、被写体距離算出において大きくなる。
【００３９】
なお、重み係数Wi(u,v)は、正規分布関数以外でも、(cu,cv)と(u,v)の距離[(cu-u)2+(cv-v)2]1/2の増加に応じて小さくなる関数であれば使用できる。重み係数Wg(u,v)は、正規分布関数以外でも、G(cu,cv)-G(u,v)の増加に応じて小さくなる関数であれば使用できる。また、重み係数Wg(u,v)として、以下の式（３)のように、輝度差に関する正規分布関数をより直接的に計算してもよい。式（３)では、２つの画像Ｇ１、Ｇ２において、ぼけ相関量を算出する画素と測距対象画素との輝度差を合計して平均化したものg1(cu,cv)-g1(u,v)+g2(cu,cv)-g2(u,v)に対する正規分布関数を使用する。
【００４０】
【数３】
【００４１】
次に、本実施形態の測距装置における被写体距離の算出手順を図４、図５を用いて説明する。
【００４２】
図４のフローチャートにおいて、ステップＳ１で、光学系制御部２０は、光学系１０のフォーカスレンズを予め決められた第一のフォーカスレンズ位置Ｌ１に移動する。光学系１０の焦点位置は、第一のフォーカスレンズ位置Ｌ１に対応する第一の焦点位置になる。このように、撮影パラメータとしての光学系１０の焦点位置を第一の焦点位置に設定する。図５（ａ）は、光学系１０のフォーカスレンズが予め決められた第一のフォーカスレンズ位置Ｌ１に移動した様子を示す。
【００４３】
ステップＳ２で、光学系１０の第一の焦点位置（第一の撮影パラメータ）において、第一の画像Ｇ１を取得する。
【００４４】
ステップＳ３で、輝度信号制御部１０２は、取得した第一の画像Ｇ１の輝度信号に対して、像倍率補正処理、輝度分布の正規化処理などの処理を行って画像データとしてバッファ１０４に保持する。像倍率補正処理は、第一及び第二の画像間で異なる倍率を補正する処理である。
【００４５】
ステップＳ４で、カーネル制御部１０５は、測距対象画素の座標位置(cu,cv)を設定する。カーネル制御部１０５は、バッファ１０４に保持されている画像Ｇ１から測距対象画素を含む画素領域をＤＦＤカーネル（処理対象領域）として読み出す。
【００４６】
ステップＳ５で、光学系制御部２０は、光学系１０のフォーカスレンズを予め決められた第二のフォーカスレンズ位置Ｌ２に移動する。光学系１０の焦点位置は、第二のフォーカスレンズ位置Ｌ２に対応する第二の焦点位置になる。このように、撮影パラメータとしての光学系１０の焦点位置を第二の焦点位置に設定する。図５（ｂ）は、光学系１０のフォーカスレンズが予め決められた第二のフォーカスレンズ位置Ｌ２に移動した様子を示す。
【００４７】
ステップＳ６で、光学系１０の第二の焦点位置（第二の撮影パラメータ）において、第二の画像Ｇ２を取得する。
【００４８】
ステップＳ７で、輝度信号制御部１０２は、取得した第二の画像Ｇ２の輝度信号に対して、像倍率補正処理、輝度分布の正規化処理などの処理を行って画像データとしてバッファ１０４に保持する。
【００４９】
ステップＳ８で、カーネル制御部１０５は、Ｓ４と同様に測距対象画素の座標位置(cu,cv)を設定する。カーネル制御部１０５は、バッファ１０４に保持されている画像Ｇ２から測距対象画素を含む画素領域をＤＦＤカーネル（処理対象領域）として読み出す。画像Ｇ２のＤＦＤカーネルの領域は、画像Ｇ１のＤＦＤカーネルの領域に対応するものである。ＤＦＤカーネルの位置は、画像Ｇ１、Ｇ２内で画像中心に関して基本的に同じ位置にある。
【００５０】
ステップＳ９で、画素相関量演算部１０６は、ＤＦＤカーネル内の画素毎にぼけ相関量を演算する。
【００５１】
ステップＳ１０で、画素相関量演算部１０６は、ＤＦＤカーネルに対し、予め正規分布関数として規定された重み係数を用いて、Ｓ９で算出された画素毎のぼけ相関量に重み付けする。画素相関量演算部１０６は、重み付きぼけ相関量として、画素毎のぼけ相関量と重み係数の積を算出する。
【００５２】
ステップＳ１１で、加重平均演算部１０８は、Ｓ１０で算出された重み付きぼけ相関量の総和を求め、ＤＦＤカーネル内で、画素単位のぼけ相関量G(u,v)の加重平均値を算出する。
【００５３】
ステップＳ１２で、距離決定部１０９は、ＬＵＴ記憶部１１０のルックアップテーブルを参照し、画素単位のぼけ相関量G(u,v)の加重平均値（即ち、ＤＦＤカーネルのぼけ相関量）に対応する被写体距離を算出する。
【００５４】
ステップＳ１３で、距離決定部１０９は、現在の測距対象画素に関する被写体距離をメモリ１１１に格納する。
【００５５】
ステップＳ１４で、バッファに格納されている画像データに対する測距対象画素が他にも存在するかどうか判断する。測距対象画素が他に存在しなければ処理を終了する。
【００５６】
ステップＳ１５で、測距対象画素が他にも存在すれば、測距対象画素を更新した後、Ｓ４、Ｓ８以後の処理を繰り返す。
【００５７】
このように算出した被写体距離は、自動焦点制御におけるフォーカスレンズの合焦位置を求めるために利用される他、フラッシュ撮影時の調光制御等にも利用できる。また、測距対象画素毎に得られた被写体距離から、画像内における被写体距離の違いを表す距離マップを作成することもできる。
【００５８】
次に、第一実施形態の作用、効果を説明する。
【００５９】
画素単位のぼけの相関量の加重平均値をＤＦＤカーネルのぼけ相関量として算出して、この加重平均値からＤＦＤカーネル毎に被写体距離が算出できる。これにより、ＤＦＤカーネル内の被写体距離の変動が存在しても、算出される被写体距離はＤＦＤカーネル内で加重平均を取ったものに相当する。従って、ＤＦＤカーネルを設定することにより測距精度の安定性を保ちつつ、ＤＦＤカーネル内の被写体距離の変動の測距精度に対する影響が小さくなる。
【００６０】
さらに、ＤＦＤカーネル内での画素単位ぼけ相関量の加重平均値を算出する際に、測距対象画素を基準として画素間距離、輝度差に応じた重み係数を用いる。重み係数は、測距対象画素と画素単位ぼけ相関量を算出する画素との画素間距離、輝度差の増加に応じて小さくなる関数、例えば、正規分布関数で与えられる。これにより、測距対象画素位置に近く、測距対象画素との被写体距離差が小さくなる可能性の高い画素から算出されたぼけ相関量が、被写体距離算出において重視される。従って、測距対象画素位置に結像する被写体の距離情報を高い精度で算出することが可能となる。
【００６１】
［第一実施形態の変形例］
上記の第一実施形態において、撮影パラメータが光学系１０の焦点位置である場合を説明した。しかし、撮影パラメータは、絞り３０３の開口径Ｄや光学系１０の焦点距離ｆであってもよい。
【００６２】
撮影パラメータが開口径Ｄである場合、図４のステップＳ１において、光学系制御部２０は、フォーカスレンズ位置を設定する代わりに、絞り制御機構により開口径Ｄを予め決められた第一の開口径Ｄ１に設定する。ステップＳ２において、光学系１０の第一の開口径Ｄ１（第一の撮影パラメータ）において、第一の画像Ｇ１を取得する。ステップＳ５において、光学系制御部２０は、絞り制御機構により開口径Ｄを予め決められた第二の開口径Ｄ２に設定する。ステップＳ６において、光学系１０の第二の開口径Ｄ１（第二の撮影パラメータ）において、第二の画像Ｇ２を取得する。図４の他のステップは、上記の第一実施形態と同様である。
【００６３】
光学系１０がズームレンズであり、撮影パラメータが光学系１０の焦点距離ｆである場合、ステップＳ１において、光学系制御部２０は、焦点距離ｆを予め決められた第一の焦点距離ｆ１に設定する。ステップＳ２において、光学系１０の第一の焦点距離ｆ１（第一の撮影パラメータ）において、第一の画像Ｇ１を取得する。ステップＳ５において、光学系制御部２０は、焦点距離ｆを予め決められた第二の焦点距離ｆ２に設定する。ステップＳ６において、光学系１０の第二の焦点距離ｆ２（第二の撮影パラメータ）において、第二の画像Ｇ２を取得する。図４の他のステップは、上記の第一実施形態と同様である。
【００６４】
この変形例においても、ＤＦＤカーネルの使用による測距精度の安定性を保ち、且つＤＦＤカーネル内の被写体距離の変動の測距精度に対する影響が小さくなる。このため、測距対象画素位置に結像する被写体の距離情報を高い精度で算出することが可能となる。
【００６５】
［第二実施形態］
図６と図７を参照して、第二実施形態に係る測距装置又は撮像装置について説明する。図６に示すような測距装置又は撮像装置の構成において、第一実施形態と同様である部分については説明を省略し、主として構造の異なる点についてのみ説明する。
【００６６】
本実施形態では、第一実施形態と加重制御部１０７の構成が異なる。本実施形態において、加重制御部１０７は、領域分割部１１３、測距対象画素属性判定部１１４（属性判定部とも呼ぶ）、有効領域設定部１１５を備える。
【００６７】
領域分割部１１３は、ＤＦＤカーネルの領域を複数の領域に分割する。領域分割部１１３は、撮影シーンの像情報から、所定の特徴量として主要被写体領域（所定の画素領域）の位置座標を決定する位置座標決定部を有し、この位置座標情報を保持する。領域分割部１１３は、主要被写体領域の位置座標に基づいて、ＤＦＤカーネルを主要被写体領域と非主要被写体領域に分割する。ＤＦＤカーネル内における両分割領域にはラベル（識別記号）が付与される。ここで、主要被写体領域とは、主要被写体が存在するおよその領域を示すものであり、非主要被写体領域は、主要被写体領域以外の領域である。なお、主要被写体領域と非主要被写体領域を分割領域と総称する。
【００６８】
撮影シーンの像情報から、所定の画素領域としての主要被写体領域の位置座標を決定する位置座標決定部は、公知の顔認識技術を利用できる。本実施形態では、説明の簡単化のため主要被写体領域を矩形領域として保持する顔認識技術の場合について説明を行うが、主要被写体領域がどの様な形状の領域で形成されていても本実施形態を適用可能である。
【００６９】
属性判定部１１４は、測距対象画素が主要被写体領域と非主要被写体領域のどちらに含まれるかを判定する。有効領域設定部１１５は、ＤＦＤカーネルにおいて、測距対象画素を含む領域を有効領域として設定する。有効領域設定部１１５は、主要被写体領域と非主要被写体領域のうちで、測距対象画素を含まない分割領域で重み係数W(u,v)を０に設定し、測距対象画素を含む分割領域の重み係数W(u,v)を１／Ｎに設定する。ここで、Ｎは、ＤＦＤカーネル内で測距対象画素を含む分割領域の画素数である。有効領域設定部１１５は、重み係数W(u,v)が０の領域、即ち測距対象画素を含まない領域をＤＦＤカーネルから除外する。これにより、画素相関量演算部１０６は、測距対象画素を含む領域を構成する画素についてのみ単位画素毎のぼけ相関量G(u,v)の演算を行う。
【００７０】
ＤＦＤカーネル内の有効領域指定の具体例について図７（ａ）、図７（ｂ）を用いて説明する。図７（ａ）は、被写体として人と背景を撮像した画像データと、測距対象画素に対応するＤＦＤカーネルの拡大図を示している。測距対象画素の例をkg1、kg2を、またそれらに対応するＤＦＤカーネルをk1、k2とする。また、被写体として撮像された人の顔領域Ｆは、主要被写体認識手段として公知の顔認識手段を用いて、主要被写体領域として予め認識される。その認識結果が、矩形の顔領域Ｆの画像座標として保持されている。
【００７１】
この場合の被写体距離の算出手順を図８のフローチャートに示す。この算出手順は、図４の第一実施形態のフローチャートにおける画素単位ぼけ相関量演算（Ｓ９）の前に、ＤＦＤカーネルの有効領域指定（Ｓ２１、Ｓ２２）を追加したものとなる。
【００７２】
図８のステップＳ２１、Ｓ２２における有効領域指定の手順（サブルーチン）を図９のフローチャートに示す。
【００７３】
ステップＳ３１で、領域分割部１１３は、ＤＦＤカーネルの画像座標と顔認識領域Ｆの画像座標を比較し、両方の画像座標が一致する画素に、主要被写体領域の画素を表示するラベルを付与する。ＤＦＤカーネルの画像座標と顔認識領域Ｆの画像座標が一致しない画素に、非主要被写体領域の画素を表示するラベルを付与する。これにより、主要被写体領域の位置座標に基づいて、ＤＦＤカーネルの領域が主要被写体領域と非主要被写体領域に分割される。
【００７４】
ステップＳ３２において、属性判定部１１４は、測距対象画素kgが主要被写体領域又は非主要被写体領域のどちらに属するかを、その座標位置より判定する。図７（ａ）の例では、測距対象画素Kg1は非主要被写体、測距対象画素kg2は主要被写体に属すると判定される。
【００７５】
ステップＳ３３において、有効領域設定部１１５は、測距対象画素kgが属しない分割領域の重み係数を０に設定する。有効領域設定部１１５は、測距対象画素kgが属する分割領域の画素数がＮの場合、この分割領域で計算される画素単位のぼけ相関量の重み係数を１/Ｎに設定する。これにより、測距対象画素が属する分割領域でのぼけ相関量の平均値を演算できる。
【００７６】
測距対象画素Kg1の属する領域の画素数がN1であった場合、ＤＦＤカーネルk1に対応する重み係数テーブルは図７（ｂ）のwt1となる。測距対象画素kg2の属する領域の画素数がN2であった場合、ＤＦＤカーネルk2に対応する重み係数テーブルは図７（ｂ）のwt2となる。
【００７７】
ステップＳ３４において、重み係数が０の画素をＤＦＤカーネルから除外する。
【００７８】
なお、画素を除外せずにＤＦＤカーネルの全ての画素のぼけ相関量を算出してから、重み係数W(u,v)を画素単位のぼけ相関量G(u,v)に掛けて加重平均値を計算してもよい。この場合、測距対象画素を含まない領域の重み係数W(u,v)は０であるため、測距対象画素を含む領域の画素のみを考慮して、加重平均値が計算される。
【００７９】
また、重み係数を０以外の値に設定することにより測距対象画素を含まない分割領域を特定してＤＦＤカーネルから除外することもできる。測距対象画素を含む領域と含まない領域の重み係数が異なる値であれば、両領域を特定できるためである。さらに、測距対象画素が属する分割領域での重み係数を前述の正規分布関数を用いて設定することもできる。
【００８０】
次に、第二実施形態の作用、効果を説明する。
【００８１】
ＤＦＤカーネル内の各画素位置でのぼけ相関量平均を算出する際に、ＤＦＤカーネルの領域は、主要被写体領域と非主要被写体領域に分割される。主要被写体領域（所定の画素領域）の位置座標を用いることにより、明確にＤＦＤカーネルの領域を分割できる。測距対象画素を含む領域と含まない領域に異なる重み係数を付与するので、重み係数の設定と同時に測距対象画素を含まない領域を特定でき簡便である。測距対象画素の属さない分割領域は、ＤＦＤカーネルから除外されるか、重み係数が０に設定される。これにより測距対象画素位置の像と被写体距離差が小さい像が結像するような分割領域の画素のみを用いて、ぼけ相関量の平均値を演算することが可能となる。従って、高精度に測距対象画素の被写体距離を算出することができる。
【００８２】
［第三実施形態］
図１０―１３を参照して、第三実施形態に係る測距装置又は撮像装置について説明する。本実施形態は、第二実施形態の変形例である。図１０の第三実施形態に係る撮像装置において、第二実施形態と同様である部分については説明を省略し、主として構造の異なる点についてのみ説明する。
【００８３】
第三実施形態では、第二実施形態の構成に加えて、加重制御部１０７において、カーネル領域制御部１１６を備える。有効領域設定部１１５は、重み係数W(u,v)が０の分割領域をＤＦＤカーネルから除外する。しかし、カーネル領域制御部１１６は、画素単位のぼけ相関量の演算対象から除外された分割領域の画素数分の領域を、ＤＦＤカーネルの周囲に設けて、画素単位のぼけ相関量の演算対象とする。
【００８４】
第三実施形態に係る図１１のフローチャートのステップＳ２１、Ｓ２２における有効領域指定の手順（サブルーチン）は、図９のフローチャートを改良したものである。図１１のフローチャートは、図９のフローチャートにステップＳ３５が追加されている。ステップＳ３１−Ｓ３４の処理は、第二実施形態と同様である。
【００８５】
第二実施形態において、重み係数テーブルがwt1またはwt2であるので、測距精度安定性のために抽出したＤＦＤカーネルの一部の画素しか有効領域として利用されない。
【００８６】
図１２を参照すると、第三実施形態では、ステップＳ３５で、カーネル領域制御部１１６は、画素単位のぼけ相関量の演算対象となるＤＦＤカーネルを拡張する。このため、カーネル領域制御部１１６は、ＤＦＤカーネルの近傍（又は周囲）の画素を新たにＤＦＤカーネルの一部として設定する。次に、カーネル領域制御部１１６は、測距対象画素が存在する分割領域と同じ重み係数を、この近傍の画素に付与する。
【００８７】
以下に、図１２の例を参照して、ＤＦＤカーネルを拡張する具体的手法について説明する。
【００８８】
カーネル領域制御部１１６は、測距対象画素が属する分割領域のＤＦＤカーネル内での配置に応じて、ＤＦＤカーネルの周囲の画素を新たにＤＦＤカーネルに組み込む。カーネル領域制御部１１６は、ＤＦＤカーネルの辺のうち測距対象画素の属する分割領域を画定する辺の周囲画素を、新たにＤＦＤカーネルの領域として設定する。具体的には、カーネル領域制御部１１６は、測距対象画素の属する分割領域のラベルに着目し、ＤＦＤカーネルを画定する辺のうち、最も長く同じラベル番号が連なる辺を検出する。続いて、ＤＦＤカーネルの周囲において、検出した辺の法線方向にある画素領域をＤＦＤカーネルの一部に組み込む。この画素領域は、除外した画素の画素数と同じ又は同等の画素数を有する。
【００８９】
図１２では、ＤＦＤカーネルk1の左辺に測距対象領域と同一ラベルの画素が最も長く並ぶ。このため、除外した３列の画素領域に相当する画素領域を左辺の法線方向に設けて、ＤＦＤカーネルを拡張している。拡張された新たなＤＦＤカーネルk1'に対応する重み付けテーブルwt1'が規定されている。
【００９０】
また、ＤＦＤカーネルk2は、カーネルの右辺と下辺に同一ラベルの画素が最も長く並ぶ。このため、両辺の法線方向にそれぞれ除外した画素数分だけＤＦＤカーネルを拡張している。拡張された新たなＤＦＤカーネルk2'に対応する重み付けテーブルwt2'が規定されている。重み付けテーブルwt1'、wt2'の重み付け係数は全て同値であり、ＤＦＤカーネルの画素数がNaであれば、重み付け係数は1/Naに設定される。
【００９１】
新しいＤＦＤカーネルと対応する重み付け係数を用いて、バッファから画像データを読み出し、画素単位のぼけ相関量の演算と加重平均演算が行われる。
【００９２】
次に、第三実施形態の作用、効果を説明する。
【００９３】
ＤＦＤカーネル内の各画素位置でのぼけ相関量平均を算出する際に、ＤＦＤカーネル内を分割し、測距対象画素の属さない分割領域の重みを０とする。また、重みを０としてＤＦＤカーネルから除外した画素分を補完するため、画素領域をＤＦＤカーネルの周囲の近傍領域から選択し、新しいＤＦＤカーネルとして用いる。これにより測距対象画素位置の像と被写体距離差が小さい像が結像する分割領域の画素のみを用い、かつＤＦＤカーネル内の有効画素数を維持した状態でぼけ相関量の平均値を演算することが可能となる。従って、より高精度に測距対象画素の被写体距離を算出することができる。
【００９４】
さらに、測距対象画素の属する分割領域のＤＦＤカーネル内の配置特性に従って、ＤＦＤカーネルとして新たに用いる画素領域を選択するため、適切に新たなＤＦＤカーネルが構成できる。
【００９５】
［第四実施形態］
図１３と図１４を参照して、第四実施形態に係る測距装置又は撮像装置について説明する。
【００９６】
第四実施形態は、第二実施形態の変形例であり第二実施形態と同様である部分については説明を省略し、主として動作の異なる点についてのみ説明する。
【００９７】
第四実施形態は、第二実施形態とＤＦＤカーネルの領域分割手法が異なる。第四実施形態では、ＤＦＤカーネルの画素の所定の特徴量を用いて、ＤＦＤカーネルの領域分割を行う。所定の特徴量として、画素の輝度、ＲＧＢ色情報、色の濃度、彩度、明度などが用いることができる。なお、ＲＧＢ色情報、色の濃度、彩度、明度を、まとめて色情報と呼ぶ。
【００９８】
以下に、所定の特徴量としてのＲＧＢ色情報（特に、肌色情報）を用いた例を説明する。
【００９９】
領域分割部１１３は、ＤＦＤカーネル内の領域を特定色領域と不特定色領域に分割して、画素にラベル（識別記号）を付与する。ここで、特定色領域は、ある特定の色を有する領域を示し、不特定色領域は、特定色領域以外の領域である。属性判定部１１４は、測距対象画素が特定色領域と不特定色領域のどちらに含まれるかを判定する。なお、特定色領域と不特定色領域を分割領域と総称する。
【０１００】
有効領域設定部１１５は、特定色領域と不特定色領域のうちで、測距対象画素を含まない分割領域で重み係数W(u,v)を０に設定し、測距対象画素を含む分割領域の重み係数W(u,v)を１／Ｎに設定する。ここで、Ｎは、ＤＦＤカーネル内で測距対象画素を含む領域の画素数である。有効領域設定部１１５は、重み係数W(u,v)が０の領域をＤＦＤカーネルから除外する。これにより、画素相関量演算部１０６は、測距対象画素を含む領域を構成する画素についてのみ単位画素毎のぼけ相関量G(u,v)の演算を行う。
【０１０１】
なお、画素を除外せずにＤＦＤカーネルの全ての画素のぼけ相関量を算出してから、重み係数W(u,v)を画素単位のぼけ相関量G(u,v)に掛けて加重平均値を計算してもよい。この場合、測距対象画素を含まない領域の重み係数W(u,v)は０であるため、測距対象画素を含む領域の画素のみを考慮して、加重平均値が計算される。
【０１０２】
ＤＦＤカーネル内の有効領域指定の具体例について図１３（ａ）、図１３（ｂ）を用いて説明する。図１３（ａ）は、被写体として人と背景を撮像した画像データと、測距対象画素に対応するＤＦＤカーネルの拡大図を示している。測距対象画素の例をkg1、kg2を、またそれらに対応するＤＦＤカーネルをk1、k2とする。また、被写体として撮像される人の顔に相当する肌色領域Ｓに対応する肌色情報が予め設定されている。
【０１０３】
図１４を参照して、第四実施形態でのＤＦＤカーネルの有効領域指定（Ｓ２１、Ｓ２２）の手順を示すサブルーチンについて説明する。
【０１０４】
ステップＳ４１において、領域分割部１１３は、ＤＦＤカーネルの各画素の色情報と肌色情報とを比較する。各画素の色情報と肌色情報との差異が所定範囲内であれば、各画素に特定色領域（肌色領域）を示すラベルを付与する。各画素の色情報と肌色情報との差異が所定範囲外であれば、各画素に不特定色領域（非肌色領域）を示すラベルを付与する。
【０１０５】
ステップＳ４２において、属性判定部１１４は、測距対象画素kgが、特定色領域と不特定色領域のどちらに属するかを、測距対象画素kgの色情報と肌色情報の類似度により判定する。測距対象画素kgの色情報と肌色情報との差異が所定範囲内であれば、測距対象画素kgは特定色領域に属する。図１３（ａ）の例では、測距対象画素Kg1は不特定色領域、測距対象画素kg2は特定色領域に属すると判定される。
【０１０６】
ステップＳ４３において、有効領域設定部１１５は、測距対象画素kgが属しない分割領域の重み係数を０に設定する。一方、有効領域設定部１１５は、測距対象画素kgが属する分割領域の画素数がＮの場合、この分割領域の重み係数を１/Ｎに設定する。これにより、測距対象画素が属する分割領域でのぼけ相関量の平均値を演算できる。
【０１０７】
測距対象画素Kg1の属する領域の画素数がN1であった場合、ＤＦＤカーネルk1に対応する重み係数テーブルは図１３（ｂ）のwt1となる。測距対象画素kg2の属する領域の画素数がN2であった場合、ＤＦＤカーネルk2に対応する重み係数テーブルは図１３（ｂ）のwt2となる。
【０１０８】
ステップＳ４４において、重み係数が０の画素をＤＦＤカーネルから除外して、画素単位ぼけ相関量を演算する。
【０１０９】
なお、ＤＦＤカーネルの全画素のぼけ相関量を算出してから、重み係数W(u,v)を画素単位のぼけ相関量G(u,v)に掛けて加重平均値を計算してもよい。
【０１１０】
また、重み係数を０以外の値に設定することにより測距対象画素を含まない分割領域を特定してＤＦＤカーネルから除外することもできる。測距対象画素を含む領域と含まない領域の重み係数が異なる値であれば、両領域を特定できるためである。さらに、測距対象画素が属する分割領域での重み係数を前述の正規分布関数を用いて設定することもできる。
【０１１１】
なお、所定の特徴量として画素の輝度を用いる場合には、領域分割部１１３は、ＤＦＤカーネルの各画素の輝度と基準の輝度とを比較する。画素の輝度と基準の輝度との差異が所定の閾値以内であれば、その画素が、略特定の輝度を示す特定輝度領域に属する。画素の輝度と基準の輝度との差異が所定の閾値より大きければ、その画素が不特定輝度領域に属するとする。このように、明暗によってもＤＦＤカーネルを分割でき、有効領域設定部１１５は、測距対象画素が属しない分割領域の重み係数を０に設定する。
【０１１２】
次に、第四実施形態の作用、効果を説明する。
【０１１３】
ＤＦＤカーネル内の各画素位置でのぼけ相関量平均を算出する際に、ＤＦＤカーネルを画素の所定の特徴量を用いて分割し、測距対象画素の属する分割領域以外の重みを０とするかＤＦＤカーネルから除外する。このように画素の特徴量のみを使用して、簡便にＤＦＤカーネルを分割できる。さらに、測距対象画素位置の像と被写体距離差が小さい像が結像する分割領域の画素のみを用いてぼけ相関量の平均値を演算することが可能となる。従って、高精度に測距対象画素の被写体距離を算出することができる。
【０１１４】
［その他の実施形態］
上述した各実施形態の説明では、測距装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、測距装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを測距プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている測距プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の処理を実現させる。
【０１１５】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この測距プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該測距プログラムを実行するようにしても良い。
【０１１６】
本発明は上記の実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【図面の簡単な説明】
【０１１７】
【図１】第一実施形態に係る測距装置を搭載する撮像装置を示す概略構成図である。
【図２】被写体距離Ｕとぼけ相関量σの関係を示す図である。
【図３】（ａ）重み係数と、ぼけ相関量を算出する画素と測距対象画素との距離の関係を示すグラフである。（ｂ）重み係数と、ぼけ相関量を算出する画素と測距対象画素の輝度差の関係を示すグラフである。
【図４】第一実施形態に係る被写体距離の算出手順を示すフローチャートである。
【図５】（ａ）第一のフォーカスレンズ位置Ｌ１を示す図である。（ｂ）第二のフォーカスレンズ位置Ｌ２を示す図である。
【図６】第二実施形態に係る測距装置を搭載する撮像装置を示す概略構成図である。
【図７】（ａ）被写体の画像と、測距対象画素に対応するＤＦＤカーネルの拡大図を示している。（ｂ）第二実施形態に係る重み係数テーブルを示す図である。
【図８】第二実施形態に係る被写体距離の算出手順を示すフローチャートである。
【図９】第二実施形態に係る有効領域指定の手順を示すフローチャートである。
【図１０】第三実施形態に係る測距装置を搭載する撮像装置を示す概略構成図である。
【図１１】第三実施形態に係る有効領域指定の手順を示すフローチャートである。
【図１２】第三実施形態に係る重み係数テーブルを示す図である。
【図１３】（ａ）第四実施形態に係る被写体の画像と、測距対象画素に対応するＤＦＤカーネルの拡大図を示している。（ｂ）第四実施形態に係る重み係数テーブルを示す図である。
【図１４】第四実施形態に係る有効領域指定の手順を示すフローチャートである。
【符号の説明】
【０１１８】
１０ 光学系
２０ 光学系制御部
１０１ 撮像素子
１０２ 輝度信号制御部
１０３ ぼけ相関量演算部
１０４ バッファ
１０５ カーネル制御部
１０６ 画素相関量演算部
１０７ 加重制御部
１０８ 加重平均演算部
１０９ 被写体距離決定部
１１０ ＬＵＴ記憶部
１１１ メモリ
３０１ レンズ群
３０３ 絞り
４０１ レンズ位置検出部
４０３ 開口径検出部
４０５ 焦点距離検出部
k1、k2 処理対象領域
【技術分野】
【０００１】
本発明は、画像情報を用いて被写体の距離の測定を行う技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像装置において撮影するシーンの距離情報を安価に取得できるシステムとして、Depth from Defocus（ＤＦＤ）方式が提案されている。ＤＦＤ方式では、撮影レンズ等の撮影パラメータの制御によりぼけの異なる複数の画像が、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）などの撮像素子で捉えられる。さらに、各画像間のぼけの相関量が所定の対象画素毎に算出される。このぼけの相関量と被写体距離の関係を定める参照テーブルを参照することで、そのぼけの相関量に対応する被写体距離を求めて、対象画素に関して測距を行う（非特許文献１参照）。
【０００３】
ここで、ぼけの相関量とは、各画像間のぼけの相関の程度を示すものであり、各画像における光学系の点像分布関数(ＰＳＦ)の分散と相関のある値である。例えば、ぼけの相関量は、各画像の点像分布関数(ＰＳＦ)の分散の差分で表される。また、ＰＳＦとは、理想的な点像が光学系を通過した場合の光線の広がり（即ち、ぼけ方）を表す関数である。
【０００４】
ＤＦＤ方式では、理論上は一画素単位での測距が可能である。測距精度を安定化させるために、測距対象画素の近傍の画素領域（ＤＦＤカーネルとも呼ぶ）のぼけの相関量も考慮して、測距対象画素についての被写体距離を算出する必要があった。
【非特許文献１】M. Subbarao and G. Surya, "Depth from Defocus: A Spatial Domain Approach," International Journal of Computer Vision, Vol. 13, No. 3, pp. 271-294, 1994
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ＤＦＤカーネル内で被写体距離が空間変動する場合、遠距離の画素と近距離の画素の両方が考慮されるため、測距対象画素の位置に結像する物体に対して測距精度の信頼性が低下する可能性がある。具体的には遠方の物体と近点の物体の境界がＤＦＤカーネル内に存在する場合には、測距精度が低い可能性がある。
【０００６】
本発明は、被写体距離が空間変動する場合でも、高い精度で測距を行うことを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様に係る測距装置は、異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算部と、前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定部と、を有する測距装置であって、前記ぼけ相関量演算部は、前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算部と、前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御部と、前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算部と、を備えることを特徴とする。
【０００８】
本発明の別の態様に係る測距方法は、異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算ステップと、前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定ステップと、を有する測距方法であって、前記ぼけ相関量演算ステップは、前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算ステップと、前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御ステップと、前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算ステップと、を備えることを特徴とする。
【０００９】
本発明のさらに別の態様に係る測距プログラムは、異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算手順と、前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定手順と、を有する測距プログラムであって、前記ぼけ相関量演算手順は、前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算手順と、前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御手順と、前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算手順と、を備えることを特徴とする。
【００１０】
これら態様によれば、処理対象領域内の各画素での画素単位のぼけの相関量が算出される。さらに、画素単位のぼけの相関量の加重平均の値を処理対象領域のぼけ相関量として算出して、この加重平均の値から処理対象領域毎に被写体距離が算出できる。これにより、処理対象領域内の被写体距離の変動が存在しても、算出される被写体距離は処理対象領域内で加重平均を取ったものに相当する。従って、処理対象領域を設定することにより測距精度の安定性を保ちつつ、さらに処理対象領域内の被写体距離の変動の測距精度に対する影響が小さくなる。
【発明の効果】
【００１１】
本発明によれば、測距精度の安定性を保ちつつ、処理対象領域内の被写体距離の変動が、測距対象画素の測距精度に及ぼす影響を低減させることが可能となる。
【発明を実施するための最良の形態】
【００１２】
［第一実施形態］
図１を参照して、第一実施形態に係る測距装置について説明する。なお、測距装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第一実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
【００１３】
図１は、第一実施形態に係る測距装置を搭載する撮像装置を示す。撮像装置は、光学系１０、光学系制御部２０、撮像素子１０１、輝度信号制御部１０２、ぼけ相関量演算部１０３、被写体距離決定部１０９、ＬＵＴ記憶部１１０、メモリ１１１、から構成される。輝度信号制御部１０２、ぼけ相関量演算部１０３、被写体距離決定部１０９（又はこれら全体）を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と演算プログラムを格納するメモリ等から構成してもよい。測距装置は、ぼけ相関量演算部１０３、被写体距離決定部１０９、ＬＵＴ記憶部１１０等から構成される。
【００１４】
ぼけ相関量演算部１０３は、バッファ１０４、カーネル位置制御部１０５、画素単位ぼけ相関量演算部１０６、加重制御部１０７、加重平均ぼけ相関量演算部１０８で構成される。以後、「カーネル位置制御部」をカーネル制御部と、「被写体距離決定部」を距離決定部と、「画素単位ぼけ相関量演算部」を画素相関量演算部と、「加重平均ぼけ相関量演算部」を加重平均演算部と呼ぶ。
【００１５】
光学系１０は、複数のレンズ群３０１及び絞り３０３等から構成され、外部から取り込んだ光を結像する撮影レンズとして機能する。なお、図１において、光学系１０は、単焦点レンズとして示されているが、光学系１０の構成は、図１に示したものに限られるものではない。例えば、光学系１０は、ズームレンズを構成するものであってよい。又、例えば、レンズ群３０１の数は何枚でもよいし、絞り３０３の位置も適宜変更可能である。光学系１０の焦点位置は、光学系制御部２０によって可変である。
【００１６】
光学系制御部２０は、撮影パラメータ(カメラパラメータ）を変更する撮影パラメータ制御部として機能する。撮影パラメータには、光学系１０の焦点位置（又はフォーカスレンズの位置）、絞り３０３の開口径、光学系１０の焦点距離等が含まれる。なお、以後、本実施形態では、撮影パラメータが、光学系１０の焦点位置である場合について説明される。
【００１７】
光学系制御部２０は、光学系１０の焦点位置を変更するために一つ以上のレンズ群３０１を移動させるレンズ駆動機構を含む。なお、レンズ群は、単一のレンズから構成されてもよい。以後、光学系１０の焦点位置の変更のために移動する一つ以上のレンズ群３０１をフォーカスレンズと呼ぶ。レンズ駆動機構は、電気モータや超音波モータ等のモータ(又はアクチュエータ）を有する。レンズ駆動機構は、全群移動方式により全てのレンズ群３０１を一括して動かしてよい。或いは、レンズ駆動機構は、フロントフォーカシングやバックフォーカシング方式等により、一つのレンズ群を移動させてもよい。また、光学系制御部２０は、絞り３０３の開口径を調整するための絞り制御機構を含む。絞り制御機構は、電気モータ等のモータ(又はアクチュエータ）などからなる。
【００１８】
フォーカスレンズの位置（以後、フォーカスレンズ位置と呼ぶ）は、レンズ位置検出部４０１により検出される。検出されたフォーカスレンズ位置は、必要に応じて、光学系制御部２０、ぼけ相関量演算部１０３、距離決定部１０９等で利用できるようにしてよい。レンズ位置検出部４０１は、焦点位置の変更のために移動するレンズ群の移動量を検出するセンサを有する。絞り３０３の開口径は、開口径検出部４０３により検出される。検出された開口径は、必要に応じて、光学系制御部２０、ぼけ相関量演算部１０３、距離決定部１０９等で利用できるようにしてよい。開口径検出部４０３は、絞り制御機構のモータの動作量（回転量等）を開口径の指標として検出するものでよい。
【００１９】
光学系１０を通過し結像する光束は、撮像素子１０１上で電気信号に変換される。撮像素子１０１は、ＣＣＤ（電荷結合素子）又はＣＭＯＳ（相補型金属酸化膜半導体）から構成される。この電気信号は、撮像素子１０１から画像データとして送出される。
【００２０】
輝度信号制御部１０２は、撮像素子１０１で撮影した画像データをデジタル信号に変換する。このデジタル信号を輝度信号と呼ぶ。輝度信号制御部１０２は、輝度信号に変換した画像データに対して像倍率補正処理や輝度分布の正規化処理などの処理を施す。像倍率補正処理は、異なる画像間の異なる倍率を補正する処理である。
【００２１】
バッファ１０４は、輝度信号制御部１０２で輝度信号に変換された画像データを保持する。ここで、バッファ１０４は、少なくとも２枚以上の画像データを保持するメモリ空間を有するメモリである。バッファ１０４は、同一被写体に対して同一位置から撮影した２枚の画像データから変換された輝度信号を保持する。２枚の画像データは、異なる撮影パラメータで撮影、取得されたもので、ぼけ方が異なる。本実施形態では、撮影パラメータは光学系１０の焦点位置であり、フォーカスレンズ位置を変えることにより焦点位置が互いに異なる２枚の画像データが撮影される。このため、光学系制御部２０が、フォーカスレンズ（少なくとも一つのレンズ群）を移動させ、光学系１０の焦点位置を変化させる。
【００２２】
カーネル制御部１０５は、バッファ１０４に保持された複数の画像において、測距対象となる測距対象画素の位置とその近傍領域を為す画素群をＤＦＤカーネルとして設定する。このＤＦＤカーネルが測距装置の測距処理の対象となり、ＤＦＤカーネルを処理対象領域と呼ぶことがある。ＤＦＤカーネルは、所定画素数を含有し、画像中の所定位置に設定される。所定位置は、例えば画像の中心付近であるが、特に限定されるものではない。ＤＦＤカーネルは、複数設定されてもよい。ＤＦＤカーネルの形状も特に制限されるものではないが、本実施形態では、測距対象画素を中心画素（又は中心付近画素）とした矩形領域で設定する。また、ＤＦＤカーネルの所定画素数が１００個（１０×１０個）である場合を説明するが、所定画素数はこれに限定されるものではない。測距対象画素は、ＤＦＤカーネル内のどの位置に設定してもよいが、本実施形態ではＤＦＤカーネルの中心位置（又は中心付近）に測距対象画素を配置する。
【００２３】
画素相関量演算部１０６（画素単位ぼけ相関量演算部）は、ＤＦＤカーネルとして設定された画素領域を、バッファ１０４に保持された２枚の画像データからそれぞれ抽出する。続いて、画素相関量演算部１０６は、ＤＦＤカーネル内の画素毎に画素単位のぼけ相関量を演算する。
【００２４】
加重制御部１０７は、画素毎のぼけ相関量にそれぞれ対応する重み係数を設定する。画素相関量演算部１０６には、加重制御部１０７から重み係数が入力される。画素相関量演算部１０６は、画素毎のぼけ相関量に重み係数を掛け合わせた値を加重平均演算部１０８に出力する。なお、加重平均演算部１０８に加重制御部１０７から重み係数を入力し、加重平均演算部１０８が、画素毎のぼけ相関量に重み係数を掛け合わせてもよい。
【００２５】
加重平均演算部１０８は、重み付けしたＤＦＤカーネル内の画素毎のぼけ相関量の和をＤＦＤカーネルのぼけ相関量として出力する。即ち、加重平均演算部１０８は、ＤＦＤカーネル内の各画素のぼけ相関量の加重平均（又は重み付け加算）の値を算出する。
【００２６】
距離決定部１０９（被写体距離決定部）は、加重平均演算部１０８から入力された画素単位のぼけ相関量の加重平均値からルックアップテーブル（ＬＵＴ）に基づいて被写体距離を算出し、メモリ１１１に格納する。ＬＵＴ記憶部１１０は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み出し専用メモリ）等のメモリから構成され、ルックアップテーブルを記憶する。距離決定部１０９がメモリ１１１に被写体距離情報を格納すると、カーネル制御部１０５は測距点を変更し、バッファ１０４から新たなＤＦＤカーネルを選択するかどうかの判断を行う。
【００２７】
ルックアップテーブルは、図２のように、被写体距離Ｕとぼけ相関量σの関係を定めるものである。ぼけ相関量σは、被写体距離Ｕの逆数に対して、線形な関係がある（非特許文献１参照）。ルックアップテーブルにおいて、対応するぼけ相関量σがない場合には、補間によって被写体距離Ｕを求められる。ルックアップテーブルは、光学系１０の状態（例えば、絞りの開口径Ｄや焦点距離ｆ）ごとに設けられてよい。これは、被写体距離とぼけ相関量の関係は、光学系１０の状態に依存し、光学系１０の状態によってそれぞれ個別の関係式で表わされるためである。この場合、距離決定部１０９は、光学系１０の状態に応じて、使用するルックアップテーブルを選択してよい。例えば、絞り３０３の開口径Ｄと光学系１０の焦点距離ｆが可変の場合には、絞りの開口径Ｄや焦点距離ｆに応じて、使用するルックアップテーブルを選択してよい。
【００２８】
なお、焦点距離ｆが可変の場合とは、光学系１０が交換レンズの場合や光学系１０がズームレンズの場合である。この場合、焦点距離検出部４０５が設けられ、焦点距離検出部４０５は、焦点距離ｆを検出する。光学系１０が交換レンズの場合、焦点距離検出部４０５は、交換レンズのメモリに格納される焦点距離ｆを読み出せる。光学系１０がズームレンズの場合、焦点距離検出部４０５は、ズームのためにレンズ群を動かす光学系制御部２０のモータの動作量（回転量等）を焦点距離ｆの指標として検出できる。距離決定部１０９は、検出された焦点距離ｆから、使用するルックアップテーブルを特定できる。
【００２９】
又、フォーカスレンズの合焦位置と被写体距離は、一対一の対応関係があるので、ルックアップテーブルにおいて、被写体距離の代わりに、光学系１０が合焦するフォーカスレンズの合焦位置を使用してよい。即ち、ルックアップテーブルは、フォーカスレンズの合焦位置（フォーカスレンズ合焦位置）とぼけ相関量との関係を定めるものであってもよい。
【００３０】
次に本実施形態におけるぼけ相関量演算部１０３での具体的な処理について説明する。
【００３１】
先ず異なる焦点位置で取得された輝度信号を、ぼけの異なる２つの画像データＧ１、Ｇ２としてバッファ１０４に保持する。続いて、カーネル制御部１０５は、撮影したシーンから被写体距離を計測する測距対象画素を選択する。次に、カーネル制御部１０５は、測距対象画素の近傍のＭ×Ｍ矩形領域の輝度値（画素値）をＤＦＤカーネルとして画像Ｇ１、Ｇ２に設定する。ここで、画像Ｇ１、Ｇ２それぞれにおけるＤＦＤカーネル内の輝度値をg1(u,v)、g2(u,v)｛u,v:1,2,3…M｝、測距対象画素の座標を(cu,cv)と表記する。ＤＦＤカーネル内の任意の画素位置(u,v)における画素毎のぼけ相関量G(u,v)の演算式を式（１）に示す。
【００３２】
【数１】
【００３３】
ここで、Ｃは実験値より導かれる定数、は輝度値の２次微分（ラプラシアン）を表す数学記号である。
【００３４】
画素毎のぼけの相関量は、式（１）のように、ぼけの異なる２つの画像において、所定画素での輝度値の差分と２次微分とを計算し、この差分を２つの画像の所定画素での２次微分の平均値で除算して計算される。このぼけの相関量は、画像間の画素単位でのぼけの相関の程度を示す。
【００３５】
加重平均演算部１０８が、ＤＦＤカーネルに対して算出するぼけ相関量の出力Gkは式（２）で与えられる。
【００３６】
【数２】
【００３７】
ＤＦＤカーネルに対して算出するぼけ相関量Gkは、画素単位のぼけ相関量G(u,v)の加重平均値で与えられる。加重平均値は、重み係数W(u,v)とぼけ相関量G(u,v)の積の合計から算出される。単位画素毎のぼけ相関量G(u,v)の重み係数W(u,v)は、Wi(u,v)とWg(u,v)の積で与えられる。ここでWi(u,v)、Wg(u,v)は、それぞれ、測距対象画素との画素間の距離差に応じた重み係数、測距対象画素との輝度差に応じた重み係数を示す。また、σi、σgは正規分布の標準偏差を示す。標準偏差σi、σgは実験データにより適切に与えられる。また、重み係数の総和は１に正規化されている。
【００３８】
例えば、図３（ａ）に示すように、重み係数Wi(u,v)は、ぼけ相関量を算出する画素(u,v)と測距対象画素(cu,cv)との座標間距離[(cu-u)2+(cv-v)2]1/2に対して正規分布関数で与えられてよい。このような確率密度関数に従って重み係数を与えることで、測距対象画素に近い画素に対して算出するぼけ相関量ほど重みが高く設定できる。また、例えば、図３（ｂ）に示すように、重み係数Wg(u,v)は、ぼけ相関量を算出する画素と測距対象画素に関する画素単位のぼけ相関量の差分G(cu,cv)-G(u,v)に対して正規分布関数で与えられてよい。差分G(cu,cv)-G(u,v)は、ぼけ相関量を算出する画素と測距対象画素の輝度差の指標となっている。このような確率密度関数に従って重み係数を与えることで、測距対象画素との輝度差が小さい画素ほど、算出するぼけ相関量の重みが高く設定できる。このような重み係数W(u,v)を用いて、測距対象画素との被写体距離の差が小さくなる可能性の高い画素のぼけ相関量の影響が、被写体距離算出において大きくなる。
【００３９】
なお、重み係数Wi(u,v)は、正規分布関数以外でも、(cu,cv)と(u,v)の距離[(cu-u)2+(cv-v)2]1/2の増加に応じて小さくなる関数であれば使用できる。重み係数Wg(u,v)は、正規分布関数以外でも、G(cu,cv)-G(u,v)の増加に応じて小さくなる関数であれば使用できる。また、重み係数Wg(u,v)として、以下の式（３)のように、輝度差に関する正規分布関数をより直接的に計算してもよい。式（３)では、２つの画像Ｇ１、Ｇ２において、ぼけ相関量を算出する画素と測距対象画素との輝度差を合計して平均化したものg1(cu,cv)-g1(u,v)+g2(cu,cv)-g2(u,v)に対する正規分布関数を使用する。
【００４０】
【数３】
【００４１】
次に、本実施形態の測距装置における被写体距離の算出手順を図４、図５を用いて説明する。
【００４２】
図４のフローチャートにおいて、ステップＳ１で、光学系制御部２０は、光学系１０のフォーカスレンズを予め決められた第一のフォーカスレンズ位置Ｌ１に移動する。光学系１０の焦点位置は、第一のフォーカスレンズ位置Ｌ１に対応する第一の焦点位置になる。このように、撮影パラメータとしての光学系１０の焦点位置を第一の焦点位置に設定する。図５（ａ）は、光学系１０のフォーカスレンズが予め決められた第一のフォーカスレンズ位置Ｌ１に移動した様子を示す。
【００４３】
ステップＳ２で、光学系１０の第一の焦点位置（第一の撮影パラメータ）において、第一の画像Ｇ１を取得する。
【００４４】
ステップＳ３で、輝度信号制御部１０２は、取得した第一の画像Ｇ１の輝度信号に対して、像倍率補正処理、輝度分布の正規化処理などの処理を行って画像データとしてバッファ１０４に保持する。像倍率補正処理は、第一及び第二の画像間で異なる倍率を補正する処理である。
【００４５】
ステップＳ４で、カーネル制御部１０５は、測距対象画素の座標位置(cu,cv)を設定する。カーネル制御部１０５は、バッファ１０４に保持されている画像Ｇ１から測距対象画素を含む画素領域をＤＦＤカーネル（処理対象領域）として読み出す。
【００４６】
ステップＳ５で、光学系制御部２０は、光学系１０のフォーカスレンズを予め決められた第二のフォーカスレンズ位置Ｌ２に移動する。光学系１０の焦点位置は、第二のフォーカスレンズ位置Ｌ２に対応する第二の焦点位置になる。このように、撮影パラメータとしての光学系１０の焦点位置を第二の焦点位置に設定する。図５（ｂ）は、光学系１０のフォーカスレンズが予め決められた第二のフォーカスレンズ位置Ｌ２に移動した様子を示す。
【００４７】
ステップＳ６で、光学系１０の第二の焦点位置（第二の撮影パラメータ）において、第二の画像Ｇ２を取得する。
【００４８】
ステップＳ７で、輝度信号制御部１０２は、取得した第二の画像Ｇ２の輝度信号に対して、像倍率補正処理、輝度分布の正規化処理などの処理を行って画像データとしてバッファ１０４に保持する。
【００４９】
ステップＳ８で、カーネル制御部１０５は、Ｓ４と同様に測距対象画素の座標位置(cu,cv)を設定する。カーネル制御部１０５は、バッファ１０４に保持されている画像Ｇ２から測距対象画素を含む画素領域をＤＦＤカーネル（処理対象領域）として読み出す。画像Ｇ２のＤＦＤカーネルの領域は、画像Ｇ１のＤＦＤカーネルの領域に対応するものである。ＤＦＤカーネルの位置は、画像Ｇ１、Ｇ２内で画像中心に関して基本的に同じ位置にある。
【００５０】
ステップＳ９で、画素相関量演算部１０６は、ＤＦＤカーネル内の画素毎にぼけ相関量を演算する。
【００５１】
ステップＳ１０で、画素相関量演算部１０６は、ＤＦＤカーネルに対し、予め正規分布関数として規定された重み係数を用いて、Ｓ９で算出された画素毎のぼけ相関量に重み付けする。画素相関量演算部１０６は、重み付きぼけ相関量として、画素毎のぼけ相関量と重み係数の積を算出する。
【００５２】
ステップＳ１１で、加重平均演算部１０８は、Ｓ１０で算出された重み付きぼけ相関量の総和を求め、ＤＦＤカーネル内で、画素単位のぼけ相関量G(u,v)の加重平均値を算出する。
【００５３】
ステップＳ１２で、距離決定部１０９は、ＬＵＴ記憶部１１０のルックアップテーブルを参照し、画素単位のぼけ相関量G(u,v)の加重平均値（即ち、ＤＦＤカーネルのぼけ相関量）に対応する被写体距離を算出する。
【００５４】
ステップＳ１３で、距離決定部１０９は、現在の測距対象画素に関する被写体距離をメモリ１１１に格納する。
【００５５】
ステップＳ１４で、バッファに格納されている画像データに対する測距対象画素が他にも存在するかどうか判断する。測距対象画素が他に存在しなければ処理を終了する。
【００５６】
ステップＳ１５で、測距対象画素が他にも存在すれば、測距対象画素を更新した後、Ｓ４、Ｓ８以後の処理を繰り返す。
【００５７】
このように算出した被写体距離は、自動焦点制御におけるフォーカスレンズの合焦位置を求めるために利用される他、フラッシュ撮影時の調光制御等にも利用できる。また、測距対象画素毎に得られた被写体距離から、画像内における被写体距離の違いを表す距離マップを作成することもできる。
【００５８】
次に、第一実施形態の作用、効果を説明する。
【００５９】
画素単位のぼけの相関量の加重平均値をＤＦＤカーネルのぼけ相関量として算出して、この加重平均値からＤＦＤカーネル毎に被写体距離が算出できる。これにより、ＤＦＤカーネル内の被写体距離の変動が存在しても、算出される被写体距離はＤＦＤカーネル内で加重平均を取ったものに相当する。従って、ＤＦＤカーネルを設定することにより測距精度の安定性を保ちつつ、ＤＦＤカーネル内の被写体距離の変動の測距精度に対する影響が小さくなる。
【００６０】
さらに、ＤＦＤカーネル内での画素単位ぼけ相関量の加重平均値を算出する際に、測距対象画素を基準として画素間距離、輝度差に応じた重み係数を用いる。重み係数は、測距対象画素と画素単位ぼけ相関量を算出する画素との画素間距離、輝度差の増加に応じて小さくなる関数、例えば、正規分布関数で与えられる。これにより、測距対象画素位置に近く、測距対象画素との被写体距離差が小さくなる可能性の高い画素から算出されたぼけ相関量が、被写体距離算出において重視される。従って、測距対象画素位置に結像する被写体の距離情報を高い精度で算出することが可能となる。
【００６１】
［第一実施形態の変形例］
上記の第一実施形態において、撮影パラメータが光学系１０の焦点位置である場合を説明した。しかし、撮影パラメータは、絞り３０３の開口径Ｄや光学系１０の焦点距離ｆであってもよい。
【００６２】
撮影パラメータが開口径Ｄである場合、図４のステップＳ１において、光学系制御部２０は、フォーカスレンズ位置を設定する代わりに、絞り制御機構により開口径Ｄを予め決められた第一の開口径Ｄ１に設定する。ステップＳ２において、光学系１０の第一の開口径Ｄ１（第一の撮影パラメータ）において、第一の画像Ｇ１を取得する。ステップＳ５において、光学系制御部２０は、絞り制御機構により開口径Ｄを予め決められた第二の開口径Ｄ２に設定する。ステップＳ６において、光学系１０の第二の開口径Ｄ１（第二の撮影パラメータ）において、第二の画像Ｇ２を取得する。図４の他のステップは、上記の第一実施形態と同様である。
【００６３】
光学系１０がズームレンズであり、撮影パラメータが光学系１０の焦点距離ｆである場合、ステップＳ１において、光学系制御部２０は、焦点距離ｆを予め決められた第一の焦点距離ｆ１に設定する。ステップＳ２において、光学系１０の第一の焦点距離ｆ１（第一の撮影パラメータ）において、第一の画像Ｇ１を取得する。ステップＳ５において、光学系制御部２０は、焦点距離ｆを予め決められた第二の焦点距離ｆ２に設定する。ステップＳ６において、光学系１０の第二の焦点距離ｆ２（第二の撮影パラメータ）において、第二の画像Ｇ２を取得する。図４の他のステップは、上記の第一実施形態と同様である。
【００６４】
この変形例においても、ＤＦＤカーネルの使用による測距精度の安定性を保ち、且つＤＦＤカーネル内の被写体距離の変動の測距精度に対する影響が小さくなる。このため、測距対象画素位置に結像する被写体の距離情報を高い精度で算出することが可能となる。
【００６５】
［第二実施形態］
図６と図７を参照して、第二実施形態に係る測距装置又は撮像装置について説明する。図６に示すような測距装置又は撮像装置の構成において、第一実施形態と同様である部分については説明を省略し、主として構造の異なる点についてのみ説明する。
【００６６】
本実施形態では、第一実施形態と加重制御部１０７の構成が異なる。本実施形態において、加重制御部１０７は、領域分割部１１３、測距対象画素属性判定部１１４（属性判定部とも呼ぶ）、有効領域設定部１１５を備える。
【００６７】
領域分割部１１３は、ＤＦＤカーネルの領域を複数の領域に分割する。領域分割部１１３は、撮影シーンの像情報から、所定の特徴量として主要被写体領域（所定の画素領域）の位置座標を決定する位置座標決定部を有し、この位置座標情報を保持する。領域分割部１１３は、主要被写体領域の位置座標に基づいて、ＤＦＤカーネルを主要被写体領域と非主要被写体領域に分割する。ＤＦＤカーネル内における両分割領域にはラベル（識別記号）が付与される。ここで、主要被写体領域とは、主要被写体が存在するおよその領域を示すものであり、非主要被写体領域は、主要被写体領域以外の領域である。なお、主要被写体領域と非主要被写体領域を分割領域と総称する。
【００６８】
撮影シーンの像情報から、所定の画素領域としての主要被写体領域の位置座標を決定する位置座標決定部は、公知の顔認識技術を利用できる。本実施形態では、説明の簡単化のため主要被写体領域を矩形領域として保持する顔認識技術の場合について説明を行うが、主要被写体領域がどの様な形状の領域で形成されていても本実施形態を適用可能である。
【００６９】
属性判定部１１４は、測距対象画素が主要被写体領域と非主要被写体領域のどちらに含まれるかを判定する。有効領域設定部１１５は、ＤＦＤカーネルにおいて、測距対象画素を含む領域を有効領域として設定する。有効領域設定部１１５は、主要被写体領域と非主要被写体領域のうちで、測距対象画素を含まない分割領域で重み係数W(u,v)を０に設定し、測距対象画素を含む分割領域の重み係数W(u,v)を１／Ｎに設定する。ここで、Ｎは、ＤＦＤカーネル内で測距対象画素を含む分割領域の画素数である。有効領域設定部１１５は、重み係数W(u,v)が０の領域、即ち測距対象画素を含まない領域をＤＦＤカーネルから除外する。これにより、画素相関量演算部１０６は、測距対象画素を含む領域を構成する画素についてのみ単位画素毎のぼけ相関量G(u,v)の演算を行う。
【００７０】
ＤＦＤカーネル内の有効領域指定の具体例について図７（ａ）、図７（ｂ）を用いて説明する。図７（ａ）は、被写体として人と背景を撮像した画像データと、測距対象画素に対応するＤＦＤカーネルの拡大図を示している。測距対象画素の例をkg1、kg2を、またそれらに対応するＤＦＤカーネルをk1、k2とする。また、被写体として撮像された人の顔領域Ｆは、主要被写体認識手段として公知の顔認識手段を用いて、主要被写体領域として予め認識される。その認識結果が、矩形の顔領域Ｆの画像座標として保持されている。
【００７１】
この場合の被写体距離の算出手順を図８のフローチャートに示す。この算出手順は、図４の第一実施形態のフローチャートにおける画素単位ぼけ相関量演算（Ｓ９）の前に、ＤＦＤカーネルの有効領域指定（Ｓ２１、Ｓ２２）を追加したものとなる。
【００７２】
図８のステップＳ２１、Ｓ２２における有効領域指定の手順（サブルーチン）を図９のフローチャートに示す。
【００７３】
ステップＳ３１で、領域分割部１１３は、ＤＦＤカーネルの画像座標と顔認識領域Ｆの画像座標を比較し、両方の画像座標が一致する画素に、主要被写体領域の画素を表示するラベルを付与する。ＤＦＤカーネルの画像座標と顔認識領域Ｆの画像座標が一致しない画素に、非主要被写体領域の画素を表示するラベルを付与する。これにより、主要被写体領域の位置座標に基づいて、ＤＦＤカーネルの領域が主要被写体領域と非主要被写体領域に分割される。
【００７４】
ステップＳ３２において、属性判定部１１４は、測距対象画素kgが主要被写体領域又は非主要被写体領域のどちらに属するかを、その座標位置より判定する。図７（ａ）の例では、測距対象画素Kg1は非主要被写体、測距対象画素kg2は主要被写体に属すると判定される。
【００７５】
ステップＳ３３において、有効領域設定部１１５は、測距対象画素kgが属しない分割領域の重み係数を０に設定する。有効領域設定部１１５は、測距対象画素kgが属する分割領域の画素数がＮの場合、この分割領域で計算される画素単位のぼけ相関量の重み係数を１/Ｎに設定する。これにより、測距対象画素が属する分割領域でのぼけ相関量の平均値を演算できる。
【００７６】
測距対象画素Kg1の属する領域の画素数がN1であった場合、ＤＦＤカーネルk1に対応する重み係数テーブルは図７（ｂ）のwt1となる。測距対象画素kg2の属する領域の画素数がN2であった場合、ＤＦＤカーネルk2に対応する重み係数テーブルは図７（ｂ）のwt2となる。
【００７７】
ステップＳ３４において、重み係数が０の画素をＤＦＤカーネルから除外する。
【００７８】
なお、画素を除外せずにＤＦＤカーネルの全ての画素のぼけ相関量を算出してから、重み係数W(u,v)を画素単位のぼけ相関量G(u,v)に掛けて加重平均値を計算してもよい。この場合、測距対象画素を含まない領域の重み係数W(u,v)は０であるため、測距対象画素を含む領域の画素のみを考慮して、加重平均値が計算される。
【００７９】
また、重み係数を０以外の値に設定することにより測距対象画素を含まない分割領域を特定してＤＦＤカーネルから除外することもできる。測距対象画素を含む領域と含まない領域の重み係数が異なる値であれば、両領域を特定できるためである。さらに、測距対象画素が属する分割領域での重み係数を前述の正規分布関数を用いて設定することもできる。
【００８０】
次に、第二実施形態の作用、効果を説明する。
【００８１】
ＤＦＤカーネル内の各画素位置でのぼけ相関量平均を算出する際に、ＤＦＤカーネルの領域は、主要被写体領域と非主要被写体領域に分割される。主要被写体領域（所定の画素領域）の位置座標を用いることにより、明確にＤＦＤカーネルの領域を分割できる。測距対象画素を含む領域と含まない領域に異なる重み係数を付与するので、重み係数の設定と同時に測距対象画素を含まない領域を特定でき簡便である。測距対象画素の属さない分割領域は、ＤＦＤカーネルから除外されるか、重み係数が０に設定される。これにより測距対象画素位置の像と被写体距離差が小さい像が結像するような分割領域の画素のみを用いて、ぼけ相関量の平均値を演算することが可能となる。従って、高精度に測距対象画素の被写体距離を算出することができる。
【００８２】
［第三実施形態］
図１０―１３を参照して、第三実施形態に係る測距装置又は撮像装置について説明する。本実施形態は、第二実施形態の変形例である。図１０の第三実施形態に係る撮像装置において、第二実施形態と同様である部分については説明を省略し、主として構造の異なる点についてのみ説明する。
【００８３】
第三実施形態では、第二実施形態の構成に加えて、加重制御部１０７において、カーネル領域制御部１１６を備える。有効領域設定部１１５は、重み係数W(u,v)が０の分割領域をＤＦＤカーネルから除外する。しかし、カーネル領域制御部１１６は、画素単位のぼけ相関量の演算対象から除外された分割領域の画素数分の領域を、ＤＦＤカーネルの周囲に設けて、画素単位のぼけ相関量の演算対象とする。
【００８４】
第三実施形態に係る図１１のフローチャートのステップＳ２１、Ｓ２２における有効領域指定の手順（サブルーチン）は、図９のフローチャートを改良したものである。図１１のフローチャートは、図９のフローチャートにステップＳ３５が追加されている。ステップＳ３１−Ｓ３４の処理は、第二実施形態と同様である。
【００８５】
第二実施形態において、重み係数テーブルがwt1またはwt2であるので、測距精度安定性のために抽出したＤＦＤカーネルの一部の画素しか有効領域として利用されない。
【００８６】
図１２を参照すると、第三実施形態では、ステップＳ３５で、カーネル領域制御部１１６は、画素単位のぼけ相関量の演算対象となるＤＦＤカーネルを拡張する。このため、カーネル領域制御部１１６は、ＤＦＤカーネルの近傍（又は周囲）の画素を新たにＤＦＤカーネルの一部として設定する。次に、カーネル領域制御部１１６は、測距対象画素が存在する分割領域と同じ重み係数を、この近傍の画素に付与する。
【００８７】
以下に、図１２の例を参照して、ＤＦＤカーネルを拡張する具体的手法について説明する。
【００８８】
カーネル領域制御部１１６は、測距対象画素が属する分割領域のＤＦＤカーネル内での配置に応じて、ＤＦＤカーネルの周囲の画素を新たにＤＦＤカーネルに組み込む。カーネル領域制御部１１６は、ＤＦＤカーネルの辺のうち測距対象画素の属する分割領域を画定する辺の周囲画素を、新たにＤＦＤカーネルの領域として設定する。具体的には、カーネル領域制御部１１６は、測距対象画素の属する分割領域のラベルに着目し、ＤＦＤカーネルを画定する辺のうち、最も長く同じラベル番号が連なる辺を検出する。続いて、ＤＦＤカーネルの周囲において、検出した辺の法線方向にある画素領域をＤＦＤカーネルの一部に組み込む。この画素領域は、除外した画素の画素数と同じ又は同等の画素数を有する。
【００８９】
図１２では、ＤＦＤカーネルk1の左辺に測距対象領域と同一ラベルの画素が最も長く並ぶ。このため、除外した３列の画素領域に相当する画素領域を左辺の法線方向に設けて、ＤＦＤカーネルを拡張している。拡張された新たなＤＦＤカーネルk1'に対応する重み付けテーブルwt1'が規定されている。
【００９０】
また、ＤＦＤカーネルk2は、カーネルの右辺と下辺に同一ラベルの画素が最も長く並ぶ。このため、両辺の法線方向にそれぞれ除外した画素数分だけＤＦＤカーネルを拡張している。拡張された新たなＤＦＤカーネルk2'に対応する重み付けテーブルwt2'が規定されている。重み付けテーブルwt1'、wt2'の重み付け係数は全て同値であり、ＤＦＤカーネルの画素数がNaであれば、重み付け係数は1/Naに設定される。
【００９１】
新しいＤＦＤカーネルと対応する重み付け係数を用いて、バッファから画像データを読み出し、画素単位のぼけ相関量の演算と加重平均演算が行われる。
【００９２】
次に、第三実施形態の作用、効果を説明する。
【００９３】
ＤＦＤカーネル内の各画素位置でのぼけ相関量平均を算出する際に、ＤＦＤカーネル内を分割し、測距対象画素の属さない分割領域の重みを０とする。また、重みを０としてＤＦＤカーネルから除外した画素分を補完するため、画素領域をＤＦＤカーネルの周囲の近傍領域から選択し、新しいＤＦＤカーネルとして用いる。これにより測距対象画素位置の像と被写体距離差が小さい像が結像する分割領域の画素のみを用い、かつＤＦＤカーネル内の有効画素数を維持した状態でぼけ相関量の平均値を演算することが可能となる。従って、より高精度に測距対象画素の被写体距離を算出することができる。
【００９４】
さらに、測距対象画素の属する分割領域のＤＦＤカーネル内の配置特性に従って、ＤＦＤカーネルとして新たに用いる画素領域を選択するため、適切に新たなＤＦＤカーネルが構成できる。
【００９５】
［第四実施形態］
図１３と図１４を参照して、第四実施形態に係る測距装置又は撮像装置について説明する。
【００９６】
第四実施形態は、第二実施形態の変形例であり第二実施形態と同様である部分については説明を省略し、主として動作の異なる点についてのみ説明する。
【００９７】
第四実施形態は、第二実施形態とＤＦＤカーネルの領域分割手法が異なる。第四実施形態では、ＤＦＤカーネルの画素の所定の特徴量を用いて、ＤＦＤカーネルの領域分割を行う。所定の特徴量として、画素の輝度、ＲＧＢ色情報、色の濃度、彩度、明度などが用いることができる。なお、ＲＧＢ色情報、色の濃度、彩度、明度を、まとめて色情報と呼ぶ。
【００９８】
以下に、所定の特徴量としてのＲＧＢ色情報（特に、肌色情報）を用いた例を説明する。
【００９９】
領域分割部１１３は、ＤＦＤカーネル内の領域を特定色領域と不特定色領域に分割して、画素にラベル（識別記号）を付与する。ここで、特定色領域は、ある特定の色を有する領域を示し、不特定色領域は、特定色領域以外の領域である。属性判定部１１４は、測距対象画素が特定色領域と不特定色領域のどちらに含まれるかを判定する。なお、特定色領域と不特定色領域を分割領域と総称する。
【０１００】
有効領域設定部１１５は、特定色領域と不特定色領域のうちで、測距対象画素を含まない分割領域で重み係数W(u,v)を０に設定し、測距対象画素を含む分割領域の重み係数W(u,v)を１／Ｎに設定する。ここで、Ｎは、ＤＦＤカーネル内で測距対象画素を含む領域の画素数である。有効領域設定部１１５は、重み係数W(u,v)が０の領域をＤＦＤカーネルから除外する。これにより、画素相関量演算部１０６は、測距対象画素を含む領域を構成する画素についてのみ単位画素毎のぼけ相関量G(u,v)の演算を行う。
【０１０１】
なお、画素を除外せずにＤＦＤカーネルの全ての画素のぼけ相関量を算出してから、重み係数W(u,v)を画素単位のぼけ相関量G(u,v)に掛けて加重平均値を計算してもよい。この場合、測距対象画素を含まない領域の重み係数W(u,v)は０であるため、測距対象画素を含む領域の画素のみを考慮して、加重平均値が計算される。
【０１０２】
ＤＦＤカーネル内の有効領域指定の具体例について図１３（ａ）、図１３（ｂ）を用いて説明する。図１３（ａ）は、被写体として人と背景を撮像した画像データと、測距対象画素に対応するＤＦＤカーネルの拡大図を示している。測距対象画素の例をkg1、kg2を、またそれらに対応するＤＦＤカーネルをk1、k2とする。また、被写体として撮像される人の顔に相当する肌色領域Ｓに対応する肌色情報が予め設定されている。
【０１０３】
図１４を参照して、第四実施形態でのＤＦＤカーネルの有効領域指定（Ｓ２１、Ｓ２２）の手順を示すサブルーチンについて説明する。
【０１０４】
ステップＳ４１において、領域分割部１１３は、ＤＦＤカーネルの各画素の色情報と肌色情報とを比較する。各画素の色情報と肌色情報との差異が所定範囲内であれば、各画素に特定色領域（肌色領域）を示すラベルを付与する。各画素の色情報と肌色情報との差異が所定範囲外であれば、各画素に不特定色領域（非肌色領域）を示すラベルを付与する。
【０１０５】
ステップＳ４２において、属性判定部１１４は、測距対象画素kgが、特定色領域と不特定色領域のどちらに属するかを、測距対象画素kgの色情報と肌色情報の類似度により判定する。測距対象画素kgの色情報と肌色情報との差異が所定範囲内であれば、測距対象画素kgは特定色領域に属する。図１３（ａ）の例では、測距対象画素Kg1は不特定色領域、測距対象画素kg2は特定色領域に属すると判定される。
【０１０６】
ステップＳ４３において、有効領域設定部１１５は、測距対象画素kgが属しない分割領域の重み係数を０に設定する。一方、有効領域設定部１１５は、測距対象画素kgが属する分割領域の画素数がＮの場合、この分割領域の重み係数を１/Ｎに設定する。これにより、測距対象画素が属する分割領域でのぼけ相関量の平均値を演算できる。
【０１０７】
測距対象画素Kg1の属する領域の画素数がN1であった場合、ＤＦＤカーネルk1に対応する重み係数テーブルは図１３（ｂ）のwt1となる。測距対象画素kg2の属する領域の画素数がN2であった場合、ＤＦＤカーネルk2に対応する重み係数テーブルは図１３（ｂ）のwt2となる。
【０１０８】
ステップＳ４４において、重み係数が０の画素をＤＦＤカーネルから除外して、画素単位ぼけ相関量を演算する。
【０１０９】
なお、ＤＦＤカーネルの全画素のぼけ相関量を算出してから、重み係数W(u,v)を画素単位のぼけ相関量G(u,v)に掛けて加重平均値を計算してもよい。
【０１１０】
また、重み係数を０以外の値に設定することにより測距対象画素を含まない分割領域を特定してＤＦＤカーネルから除外することもできる。測距対象画素を含む領域と含まない領域の重み係数が異なる値であれば、両領域を特定できるためである。さらに、測距対象画素が属する分割領域での重み係数を前述の正規分布関数を用いて設定することもできる。
【０１１１】
なお、所定の特徴量として画素の輝度を用いる場合には、領域分割部１１３は、ＤＦＤカーネルの各画素の輝度と基準の輝度とを比較する。画素の輝度と基準の輝度との差異が所定の閾値以内であれば、その画素が、略特定の輝度を示す特定輝度領域に属する。画素の輝度と基準の輝度との差異が所定の閾値より大きければ、その画素が不特定輝度領域に属するとする。このように、明暗によってもＤＦＤカーネルを分割でき、有効領域設定部１１５は、測距対象画素が属しない分割領域の重み係数を０に設定する。
【０１１２】
次に、第四実施形態の作用、効果を説明する。
【０１１３】
ＤＦＤカーネル内の各画素位置でのぼけ相関量平均を算出する際に、ＤＦＤカーネルを画素の所定の特徴量を用いて分割し、測距対象画素の属する分割領域以外の重みを０とするかＤＦＤカーネルから除外する。このように画素の特徴量のみを使用して、簡便にＤＦＤカーネルを分割できる。さらに、測距対象画素位置の像と被写体距離差が小さい像が結像する分割領域の画素のみを用いてぼけ相関量の平均値を演算することが可能となる。従って、高精度に測距対象画素の被写体距離を算出することができる。
【０１１４】
［その他の実施形態］
上述した各実施形態の説明では、測距装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、測距装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを測距プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている測距プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の処理を実現させる。
【０１１５】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この測距プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該測距プログラムを実行するようにしても良い。
【０１１６】
本発明は上記の実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【図面の簡単な説明】
【０１１７】
【図１】第一実施形態に係る測距装置を搭載する撮像装置を示す概略構成図である。
【図２】被写体距離Ｕとぼけ相関量σの関係を示す図である。
【図３】（ａ）重み係数と、ぼけ相関量を算出する画素と測距対象画素との距離の関係を示すグラフである。（ｂ）重み係数と、ぼけ相関量を算出する画素と測距対象画素の輝度差の関係を示すグラフである。
【図４】第一実施形態に係る被写体距離の算出手順を示すフローチャートである。
【図５】（ａ）第一のフォーカスレンズ位置Ｌ１を示す図である。（ｂ）第二のフォーカスレンズ位置Ｌ２を示す図である。
【図６】第二実施形態に係る測距装置を搭載する撮像装置を示す概略構成図である。
【図７】（ａ）被写体の画像と、測距対象画素に対応するＤＦＤカーネルの拡大図を示している。（ｂ）第二実施形態に係る重み係数テーブルを示す図である。
【図８】第二実施形態に係る被写体距離の算出手順を示すフローチャートである。
【図９】第二実施形態に係る有効領域指定の手順を示すフローチャートである。
【図１０】第三実施形態に係る測距装置を搭載する撮像装置を示す概略構成図である。
【図１１】第三実施形態に係る有効領域指定の手順を示すフローチャートである。
【図１２】第三実施形態に係る重み係数テーブルを示す図である。
【図１３】（ａ）第四実施形態に係る被写体の画像と、測距対象画素に対応するＤＦＤカーネルの拡大図を示している。（ｂ）第四実施形態に係る重み係数テーブルを示す図である。
【図１４】第四実施形態に係る有効領域指定の手順を示すフローチャートである。
【符号の説明】
【０１１８】
１０ 光学系
２０ 光学系制御部
１０１ 撮像素子
１０２ 輝度信号制御部
１０３ ぼけ相関量演算部
１０４ バッファ
１０５ カーネル制御部
１０６ 画素相関量演算部
１０７ 加重制御部
１０８ 加重平均演算部
１０９ 被写体距離決定部
１１０ ＬＵＴ記憶部
１１１ メモリ
３０１ レンズ群
３０３ 絞り
４０１ レンズ位置検出部
４０３ 開口径検出部
４０５ 焦点距離検出部
k1、k2 処理対象領域
【特許請求の範囲】
【請求項１】
異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算部と、
前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定部と、を有する測距装置であって、
前記ぼけ相関量演算部は、
前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算部と、
前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御部と、
前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算部と、を備えることを特徴とする測距装置。
【請求項２】
前記加重制御部は、前記測距対象画素と前記画素単位のぼけの相関量が演算される画素との画素間距離に応じて、前記重み係数を設定することを特徴とする請求項１に記載の測距装置。
【請求項３】
前記加重制御部は、前記測距対象画素と前記画素単位のぼけの相関量が演算される画素との輝度の差分に応じて、前記重み係数を設定することを特徴とする請求項１に記載の測距装置。
【請求項４】
前記加重制御部は、
前記処理対象領域を複数の分割領域に分割する領域分割部と、
前記測距対象画素が前記複数の分割領域のいずれに含有されるかを判定する属性判定部と、
前記測距対象画素が属さない分割領域を前記処理対象領域から除外する有効領域設定部と、を備えることを特徴とする請求項１に記載の測距装置。
【請求項５】
前記加重制御部は、
前記処理対象領域を複数の分割領域に分割する領域分割部と、
前記測距対象画素が前記複数の分割領域のいずれに含有されるかを判定する属性判定部と、
前記測距対象画素が属さない分割領域の画素に対して前記重み係数を０に設定する有効領域設定部と、を備えることを特徴とする請求項１に記載の測距装置。
【請求項６】
前記加重制御部は、前記測距対象画素が属さない分割領域の画素数に基づいて、前記処理対象領域の周囲の画素を組み込むように前記処理対象領域を拡張する領域制御部を備えることを特徴とする請求項４又は５に記載の測距装置。
【請求項７】
前記領域制御部は、前記測距対象画素が属する分割領域の前記処理対象領域内での配置に応じて、前記処理対象領域に組み込む画素を選択することを特徴とする請求項６に記載の測距装置。
【請求項８】
前記領域分割部は、前記画像内で所定の画素領域の位置座標を決定し、前記所定の画素領域の位置座標に基づいて、前記処理対象領域を前記所定の画素領域とそれ以外の領域に分割することを特徴とする請求項４又は５に記載の測距装置。
【請求項９】
前記領域分割部は、前記処理対象領域内の画素の輝度情報または色情報に基づいて、前記処理対象領域を分割することを特徴とする請求項４又は５に記載の測距装置。
【請求項１０】
被写体を結像させる光学系と、
前記光学系により結像した像を電気信号に変換する撮像素子と、
請求項１に記載の測距装置と、を備えることを特徴とする撮像装置。
【請求項１１】
異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算ステップと、
前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定ステップと、を有する測距方法であって、
前記ぼけ相関量演算ステップは、
前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算ステップと、
前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御ステップと、
前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算ステップと、を備えることを特徴とする測距方法。
【請求項１２】
異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算手順と、
前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定手順と、を有する測距プログラムであって、
前記ぼけ相関量演算手順は、
前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算手順と、
前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御手順と、
前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算手順と、を備えることを特徴とする測距プログラム。
【請求項１】
異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算部と、
前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定部と、を有する測距装置であって、
前記ぼけ相関量演算部は、
前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算部と、
前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御部と、
前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算部と、を備えることを特徴とする測距装置。
【請求項２】
前記加重制御部は、前記測距対象画素と前記画素単位のぼけの相関量が演算される画素との画素間距離に応じて、前記重み係数を設定することを特徴とする請求項１に記載の測距装置。
【請求項３】
前記加重制御部は、前記測距対象画素と前記画素単位のぼけの相関量が演算される画素との輝度の差分に応じて、前記重み係数を設定することを特徴とする請求項１に記載の測距装置。
【請求項４】
前記加重制御部は、
前記処理対象領域を複数の分割領域に分割する領域分割部と、
前記測距対象画素が前記複数の分割領域のいずれに含有されるかを判定する属性判定部と、
前記測距対象画素が属さない分割領域を前記処理対象領域から除外する有効領域設定部と、を備えることを特徴とする請求項１に記載の測距装置。
【請求項５】
前記加重制御部は、
前記処理対象領域を複数の分割領域に分割する領域分割部と、
前記測距対象画素が前記複数の分割領域のいずれに含有されるかを判定する属性判定部と、
前記測距対象画素が属さない分割領域の画素に対して前記重み係数を０に設定する有効領域設定部と、を備えることを特徴とする請求項１に記載の測距装置。
【請求項６】
前記加重制御部は、前記測距対象画素が属さない分割領域の画素数に基づいて、前記処理対象領域の周囲の画素を組み込むように前記処理対象領域を拡張する領域制御部を備えることを特徴とする請求項４又は５に記載の測距装置。
【請求項７】
前記領域制御部は、前記測距対象画素が属する分割領域の前記処理対象領域内での配置に応じて、前記処理対象領域に組み込む画素を選択することを特徴とする請求項６に記載の測距装置。
【請求項８】
前記領域分割部は、前記画像内で所定の画素領域の位置座標を決定し、前記所定の画素領域の位置座標に基づいて、前記処理対象領域を前記所定の画素領域とそれ以外の領域に分割することを特徴とする請求項４又は５に記載の測距装置。
【請求項９】
前記領域分割部は、前記処理対象領域内の画素の輝度情報または色情報に基づいて、前記処理対象領域を分割することを特徴とする請求項４又は５に記載の測距装置。
【請求項１０】
被写体を結像させる光学系と、
前記光学系により結像した像を電気信号に変換する撮像素子と、
請求項１に記載の測距装置と、を備えることを特徴とする撮像装置。
【請求項１１】
異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算ステップと、
前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定ステップと、を有する測距方法であって、
前記ぼけ相関量演算ステップは、
前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算ステップと、
前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御ステップと、
前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算ステップと、を備えることを特徴とする測距方法。
【請求項１２】
異なる撮影パラメータで撮影したぼけの異なる複数の画像間において、測距の対象となる測距対象画素を含有する処理対象領域毎に、ぼけの相関量を演算するぼけ相関量演算手順と、
前記処理対象領域毎に演算したぼけの相関量から、前記処理対象領域毎に被写体距離を算出する被写体距離決定手順と、を有する測距プログラムであって、
前記ぼけ相関量演算手順は、
前記処理対象領域内の画素毎に、画素単位のぼけの相関量を演算する画素相関量演算手順と、
前記処理対象領域内の画素毎に、前記画素単位のぼけの相関量の重み係数を設定する加重制御手順と、
前記重み係数に基づいて、前記画素単位のぼけの相関量の加重平均を行い、前記加重平均の値を前記処理対象領域のぼけ相関量として演算する加重平均演算手順と、を備えることを特徴とする測距プログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図５】
【公開番号】特開２０１０−１６７４３（Ｐ２０１０−１６７４３Ａ）
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願番号】特願２００８−１７６７５１（Ｐ２００８−１７６７５１）
【出願日】平成２０年７月７日（２００８．７．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願日】平成２０年７月７日（２００８．７．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]