画像処理装置及びその制御方法
【課題】 レンズの周辺光量落ちの影響が被写体の追尾結果に与える影響を低減し、精度のよい被写体追尾を実現する画像処理装置及びその制御方法を提供する。
【解決手段】 基準画像と、比較先画像における探索領域を構成する複数の部分画像との相関度に基づいて、比較先画像での被写体領域を探索して被写体追尾を行う。基準画像と部分画像との相関度を算出する前に、基準画像と部分画像における、画素の最大輝度値が予め定められた同一の輝度値となるように、各画素の輝度値を補正する。
【解決手段】 基準画像と、比較先画像における探索領域を構成する複数の部分画像との相関度に基づいて、比較先画像での被写体領域を探索して被写体追尾を行う。基準画像と部分画像との相関度を算出する前に、基準画像と部分画像における、画素の最大輝度値が予め定められた同一の輝度値となるように、各画素の輝度値を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関し、特には複数の画像間で被写体を追尾可能な画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、画像間の相関演算を利用した被写体追尾の精度を向上させるために、画像の明るさの違いを補正してから画像間の相関演算を行うことが提案されている。
【０００３】
例えば特許文献１では、類似度を算出する２つの画像について、複数のブロックに分割した後、各ブロックの輝度平均値から、基準領域として設定されたブロックの平均輝度値を減じてから、画像間の輝度及び色差の類似度を算出することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０１５５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像レンズには、結像面においてレンズの光軸から離れるほど光量が低下する周辺光量落ち（シェーディング）という特性がある。そのため、被写体がレンズの光軸付近（撮像画像の中央付近）で撮像された画像と、レンズの周辺（撮像画像の周辺）で撮像された画像とで被写体追尾処理を行う場合、画像の全体的な明るさに変化が無くても、被写体の明るさが変化する場合がある。この場合、正しい追尾ができないおそれがある。
【０００６】
しかしながら、特許文献１では、日が当たっている場合と当たっていない場合のように類似度を算出する２つの画像の明るさが全体的に大きく変わった場合への対処を想定したものである。特許文献１の方法では、レンズの周辺光量落ちが被写体追尾結果に与える影響を低減することはできない。
【０００７】
本発明はこのような従来技術の課題に鑑みてなされたものであり、レンズの周辺光量落ちの影響が被写体の追尾結果に与える影響を低減し、精度のよい被写体追尾を実現する画像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的は、比較元画像の部分画像である基準画像を比較先画像で探索することにより被写体追尾を行う画像処理装置であって、基準画像と、比較先画像における、基準画像に対応する領域の部分画像を含む複数の部分画像の各々とについて、各画素の輝度値を補正する補正手段と、補正手段が補正した複数の部分画像のうち、補正手段が補正した基準画像との相関度が最も高いものを比較先画像における被写体領域として選択する選択手段と、を有し、補正手段は、基準画像および複数の部分画像の各々について、画素の最大輝度値が予め定められた同一の輝度値となるように、各画素の輝度値を補正することを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００９】
本発明によれば、レンズの周辺光量落ちの影響が被写体の追尾結果に与える影響を低減し、精度のよい被写体追尾を実現する画像処理装置及びその制御方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの構成例を示すブロック図。
【図２】図１における被写体追尾部の構成例を示すブロック図。
【図３】本発明の第１の実施形態に係るデジタルカメラにおける、被写体追尾処理を説明するためのフローチャート。
【図４】本発明の実施形態における比較元画像、比較先画像、基準画像および部分画像を説明するための模式図。
【図５】本発明の第１の実施形態に係るデジタルカメラにおける、補正実行判定処理を説明するためのフローチャート。
【図６】本発明の第１の実施形態に係るデジタルカメラにおける、補正実行判定処理の具体例を説明するための模式図。
【図７】本発明の第１の実施形態に係るデジタルカメラにおける、補正画像生成処理を説明するためのフローチャート。
【図８】本発明の第２の実施形態に係るデジタルカメラにおける、ゲインの決定処理を説明するための模式図。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の第１の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の構成例を示すブロック図である。
【００１２】
（デジタルカメラ１００の構成）
図１において、撮像レンズ１０３はフォーカスレンズとその駆動機構を含み、駆動機構はシステム制御部５０の制御に従ってフォーカスレンズを駆動する。シャッター１０１は絞り機能を備えたメカニカルシャッターである。撮像部２２は、光学像を電気信号に変換するＣＣＤイメージセンサやＣＭＯＳイメージセンサである。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ画像信号をデジタル画像データに変換するために用いられる。バリア１０２はカメラ１００の未使用時に撮像レンズ１０３の前面を覆うことにより、撮像レンズ１０３の汚れや破損を防止する。バリア１０２は電動であっても手動であってもよい。
【００１３】
画像処理部２４は、Ａ／Ｄ変換器２３が出力する画像データ又はメモリ制御部１５が出力する画像データに対し、画素補間、縮小といった所定のリサイズ処理や色変換処理を実行する。また、画像処理部２４では、撮像した画像データを用いて輝度やコントラストなどを求める所定の演算処理を行う。システム制御部５０は、これらの演算結果に基づいて絞りやフォーカスレンズを駆動して、自動露光制御（ＡＥ）や自動焦点検出（ＡＦ）を実現する。画像処理部２４では更に、撮像した画像データに対して所定の演算処理を行ってホワイトバランスゲインを算出して画像データに適用するＡＷＢ（オートホワイトバランス）処理も行う。
【００１４】
Ａ／Ｄ変換器２３の出力する画像データは画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１５】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている表示用の画像データをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。
【００１６】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００１７】
システム制御部５０は、例えばＣＰＵやマイクロプロセッサであってよく、不揮発性メモリ５６に記録されたプログラムを実行して各機能ブロックを制御することによりカメラ１００全体の機能を実現する。システムメモリ５２は例えばＲＡＭであり、システム制御部５０は動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００１８】
モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００１９】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。第１シャッタースイッチ６２は、いわゆる半押し（撮像準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００２０】
第２シャッタースイッチ６４は、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２５に画像データを書き込むまでの一連の撮像処理の動作を開始する。
【００２１】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２２】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２５を含む各部へ供給する。
【００２３】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源スイッチ７２は、電源部３０からカメラ１００への電源供給をON／OFFする。インタフェース１８はメモリカードやハードディスク等の記録媒体２５にアクセスするためのインターフェースである。
【００２４】
被写体追尾部２００は、メモリ３２から読み出した２つ（２フレーム）の画像データに対し、後述する被写体追尾処理を適用する。
【００２５】
図２は被写体追尾部２００の構成例を示すブロック図である。切り出し部２０１は、メモリ３２から読み出した２フレーム分の画像データから、相関演算に用いる複数の領域の画像データを切り出す。補正値算出部２０２は、切り出し部２０１が切り出した複数の領域の画像データ等を用いて補正値を算出する。補正部２０３は、補正値算出部２０２が算出した補正値を用いて、切り出し部２０１が切り出した複数の領域の画像データを補正する。相関演算部２０４は、補正部２０３が補正した複数領域の画像データを用い、２フレームの画像の相関度を表す情報として、例えば累積絶対値誤差（ＳＡＤ：Sum of Absolute Difference）を求める。また相関演算部２０４は、相関演算を複数回繰り返し、その中から最もＳＡＤが小さい（相関度が高い）画像データと、その画像データの画像中の位置（座標）をメモリ３２に書き込む。
【００２６】
なお、図１においては、画像処理部２４及び被写体追尾部２００を独立した機能ブロックとして記載しているが、その一部又は全部をシステム制御部５０がソフトウェア的に実現してもよい。
【００２７】
（被写体追尾処理）
被写体追尾部２００における被写体追尾処理の詳細を、図３及び図４を参照して説明する。ここでは、例えばデジタルカメラ１００が撮像スタンバイ状態において表示部２８を電子ビューファインダとして機能させるために、撮像部２２で動画像を撮像し、動画像の各フレームが、メモリ３２のビデオメモリ領域に順次書き込まれているものとする。あるいは、記録媒体２５に記録されている動画ファイルから再生されている各フレームであってもよい。
【００２８】
まず、Ｓ１００でシステム制御部５０は、操作部７０を通じた座標の指定を受け付ける。例えばユーザは、表示部２８に表示されている動画像を見ながら、追尾したい被写体を指定する。指定は例えば操作部７０に含まれる、表示部２８のタッチパネルを用いて被写体領域（例えば顔領域）を指定したり、被写体領域の中心を指定したり、任意の方法で行うことができる。システム制御部５０は、指定された座標を基準画像切り出し座標として記憶する。なお、座標の指定が１点であれば、指定された座標を中心とした所定の形状及び大きさの領域を特定する座標を基準切り出し座標とする。基準切り出し座標は例えば矩形領域の１組の対角頂点の座標であってよい。
【００２９】
Ｓ１０１で切り出し部２０１は、メモリ３２のビデオメモリ領域から、現在（座標指定時に）表示されている画像データを比較元画像データとして読み出し、メモリ３２の別の領域に書き込む。
【００３０】
図４（ａ）に示すように比較元画像３００の読み出しが完了すると、Ｓ１０２で切り出し部２０１が比較元画像３００のうち、被写体領域３０２ａに対応する基準画像切り出し座標３０３に対応する基準画像３０５（図４（ｃ））を切り出す。そして、切り出し部２０１は基準画像３０５をメモリ３２に保存する。
【００３１】
Ｓ１０３で、切り出し部２０１は、メモリ３２のビデオメモリ領域から比較先画像３０１（図４（ｂ））を読み出し、別の領域に書き込む。比較先画像３０１は、例えば動画像において比較元画像３００の次に撮像されたフレームであってよい。ここでは、比較元画像３００が撮像されてから比較先画像３０１が撮像されるまでの間に、被写体領域３０２ａが被写体領域３０２ｂに移動している。
【００３２】
Ｓ１０４で切り出し部２０１は、比較先画像３０１から、基準画像切り出し座標３０３に対応する座標３０４ｃを中心として、その周囲に隣接する同一サイズの領域を特定する部分画像切り出し座標３０４ａ〜ｉを決定する。そして、切り出し部２０１は、部分画像切り出し座標３０４ａ〜ｉに対応する９つの部分画像３０６ａ〜ｉ（図４（ｄ））を切り出す。切り出し部２０１は、部分画像切り出し座標３０４ａ〜ｉと部分画像３０６ａ〜ｉをメモリ３２に保存する。部分画像切り出し座標は、個々の部分画像３０６ａ〜ｉを特定可能な座標値である。
【００３３】
なお、基準画像３０５と部分画像３０６ａ〜ｉは同サイズとする。例えば図４に示すように、基準画像３０５および部分画像３０６ａ〜ｉをｎ画素×ｎ画素（ｎは予め定めた３以上の整数）の正方形領域とする。そして、基準画像３０５と対応する部分画像３０６ｅを中心とする、３ｎ×３ｎ画素の領域（探索領域）を９等分した領域を部分画像３０６ａ〜ｉとする。なお、切り出す部分画像の大きさや数は、動画のフレームレートもしくは比較元画像と比較先画像の撮像タイミングの差（時間差）に応じて決定することができる。つまり、一般的と考えられる移動速度の被写体が、いずれかの部分画像に含まれるように部分画像の切り出し範囲を決定する。
【００３４】
部分画像３０６ａ〜ｉの切り出しが完了すると、Ｓ１０５で補正値算出部２０２が、メモリ３２に保存された基準画像切り出し座標３０３、部分画像切り出し座標３０４ａ〜ｉおよびゲインマップを用いて補正実行判定を行う。
【００３５】
ゲインマップは、撮像レンズ１０３の周辺光量落ち特性を示す情報である。具体的には、撮像レンズ１０３の周辺光量落ちを補正するための最大ゲインを、撮像レンズ１０３の視野もしくは撮像部２２内の座標と対応付けて記憶した情報である。図６（ａ）に、ゲインマップ５００の例を模式的に示す。図６（ａ）においてゲインマップ５００は、撮像レンズ１０３の視野もしくは撮像部２２の画素領域を複数の領域５０１〜５０５に分割し、個々の領域とゲイン１，２，４，８，１６とを対応付けた構成を有している。なお、一般に撮像レンズ１０３の周辺光量落ちは光軸を中心として上下方向、左右方向にそれぞれ対称的な分布を有する。そのため、例えば視野もしくは画素領域を上下又は左右に２等分した範囲、あるいは光軸を中心として上下左右に４等分した範囲の１つについて、領域とゲインとを対応付けたゲインマップがあれば足りる。図６（ａ）では、上下に２分割した範囲の下半分についてのゲインマップ５００を示している。
【００３６】
ゲインマップ５００は、撮像レンズ１０３の周辺光量落ち特性に基づいて予め記憶しておくことができる。なお、ゲインマップ５００は撮像レンズ１０３の周辺光量落ちが撮像画像に与える影響を厳密に補正するためのものではない。本実施形態では、基準画像と、相関を求める補正部分画像との間に、周辺光量落ちに起因し、かつ補正すべき明るさの差がありそうかどうかを大まかに判断するために用いる。従って、周辺光量落ちの相対的な程度を、レンズ光軸からの複数の略同心円領域ごとに大まかに示したもので足りる。その結果、撮像レンズ１０３の種類に応じてゲインマップを保存する場合も、例えば中心からの距離の範囲と対応するゲインとの組み合わせを複数組有すればよく、ゲインマップ当たりのデータ量は少ない。
【００３７】
また、ゲインは、視野もしくは画素領域の中央に対応する領域５０１に対する値を１（補正無し）とした場合の値が対応付けられている。図６（ａ）に例示したゲインマップ５００は単なる例示であり、分割する領域の数、形状、大きさについては、適宜変更可能である。
【００３８】
次に、図５に示すフローチャート及び図６を参照して、Ｓ１０５における補正実行判定処理についてさらに説明する。図５に示す処理は、基準画像切り出し座標３０３（基準画像３０５）と部分画像切り出し座標３０４（部分画像３０６ａ〜３０６ｉ）の各々との組み合わせにについて実施する。
【００３９】
まず、補正値算出部２０２は、基準画像切り出し座標３０３と部分画像切り出し座標（ここでは３０４ｈとする）に対応する最大ゲインがいずれも１か判別する（Ｓ１０５１）。両者の最大ゲインが１であれば、補正値算出部２０２はそれら切り出し座標（に対応する画像）に対する補正は行わないと決定する。
【００４０】
一方、いずれかの最大ゲインが１でなければ、補正値算出部２０２は、判別の対象である部分画像切り出し座標と基準画像切り出し座標とが、ゲインマップの同じ領域に存在するか（又は両者の最大ゲインが等しいか）判別する（Ｓ１０５２）。両者がゲインマップの同じ領域に存在しない場合（両者の最大ゲインが異なる場合）、補正値算出部２０２は基準画像および判別の対象である部分画像切り出し座標に対応する部分画像を補正すると判定する（Ｓ１０５４）。補正値算出部２０２は、補正する切り出し座標又は画像の補正実行判定フラグをＯＮとする。
【００４１】
Ｓ１０５２において、部分画像切り出し座標と基準画像切り出し座標とがゲインマップの同じ領域に存在している（両者の最大ゲインが等しい）場合、補正値算出部２０２は、最大ゲインが予め定められたしきい値より大きいかどうか判別する（Ｓ１０５３）。そして、部分画像（および基準画像）切り出し座標の最大ゲインが予め定められたしきい値より大きい場合、補正値算出部２０２は基準画像および判別の対象である部分画像切り出し座標に対応する部分画像を補正すると判定する（Ｓ１０５４）。補正値算出部２０２は、補正する切り出し座標又は画像の補正実行判定フラグをＯＮとする。
【００４２】
部分画像（および基準画像）切り出し座標の最大ゲインが予め定められたしきい値以下の場合、補正値算出部２０２は部分画像切り出し座標に対応する部分画像と基準画像を補正しないと判定する（補正実行判定フラグはＯＦＦのまま）。なお、画像切り出し座標が複数の領域にまたがっている場合、補正値算出部２０２は最も小さい最大ゲインを、その切り出し座標についての最大ゲインとしてメモリ３２に保存する。
【００４３】
例えば図６（ａ）では、基準画像切り出し座標３０３が、最大ゲインが１の領域５０１内にあるため、補正値算出部２０２は基準画像３０５を補正しないと判定する。図６（ｂ）では、基準画像切り出し座標３０３および部分画像切り出し座標３０４ｈが、共に最大ゲインが２の領域５０２にあり、かつ最大ゲインが、予め用意したしきい値（ここでは４とする）よりも小さい。そのため、基準画像と部分画像とに信号レベルの差はなく、補正値算出部２０２は両画像を補正しないと判定する。
【００４４】
図６（ｃ）では、基準画像切り出し座標３０３および部分画像切り出し座標３０４ｉの両方が最大ゲインが１の領域５０１内になく、かつそれぞれ最大ゲインが異なる領域内にある。この場合、補正値算出部２０２は、信号レベルを統一するために両画像を補正すると判定する。
【００４５】
図６（ｄ）は基準画像切り出し座標３０３および部分画像切り出し座標３０４ｈの両方が最大ゲインが８の領域５０４内にあるが、領域５０４の最大ゲインは予め用意したしきい値の４よりも大きい。そのため、補正値算出部２０２は両画像の信号レベルを上げるために、両画像を補正すると判定する。
【００４６】
補正実行判定が完了すると、Ｓ１０６で補正部２０３が、Ｓ１０５の補正実行判定に基づいて、基準画像３０５と部分画像３０６ａ〜ｉのうち補正実行判定フラグがＯＮであるものを補正して、生成した補正基準画像と補正部分画像をメモリ３２に保存する。なお、補正実行判定より補正しないと判定された場合は、基準画像３０５もしくは部分画像３０６ａ〜ｉをそのまま補正基準画像もしくは補正部分画像とする。
【００４７】
ここで、図７に示すフローチャートを参照して、Ｓ１０６における補正画像生成処理について詳細に説明する。
基準画像３０５と部分画像３０６ａ〜ｉのうち、補正を実行すると判定された（補正実行判定フラグがＯＮである）ものに対して、図７に示す処理を適用して補正画像を生成する。ここでは、一例として基準画像３０５を補正する場合を説明する。
【００４８】
Ｓ１０６１で補正値算出部２０２は、基準画像３０５に含まれる画素の最大輝度値を検出する。そして、Ｓ１０６２で補正値算出部２０２は、次式（１）を用いてゲインを算出する。
【数１】
【００４９】
ここで式（１）において、Ｇａｉｎはゲイン、Ｙdata_maxは輝度データがとり得る最大値、ＹmaxはＳ１０６１で検出した基準画像３０５の最大輝度値である。例えば輝度が８bitの数値で表現される場合、Ｙdata_maxは２５５となる。
【００５０】
Ｓ１０６３で補正部２０３は、Ｓ１０６２で算出したゲインを用いて基準画像３０５の信号レベルを補正して補正基準画像を生成する。補正基準画像は基準画像３０５と同じ画素サイズとし、補正基準画像の各画素における輝度値は、基準画像３０５の対応する各画素における輝度値に、ゲインを乗算して求める。
【００５１】
以上、一連の処理によって補正基準画像を生成する。補正部２０４は、部分画像３０６ａ〜３０６ｉに対しても同様にして補正部分画像を生成する。なお、上述のように、補正実行判定フラグがＯＦＦの画像については、補正を行なわずに、元の画像をそのまま補正後の画像として保存する。
【００５２】
このように、本実施形態では、
・相関度を求める２つの画像（基準画像と部分画像）の少なくとも一方が、周辺光量落ちに起因して所定以上の輝度低下していると考えられる場合に、
相関度を求める２つの画像（基準画像と部分画像）の両方を、画素の最大輝度が予め定められた同一の輝度値となるよう、各画素の輝度値を補正する。なお、ここでは輝度データの取りうる最大値となるように補正したが、輝度レベルを正規化することができれば必ずしも最大値でなくてもよい。ただし、被写体追尾の精度を向上させるという観点からは、画素の輝度値が補正前よりも小さくならないように補正後の最大輝度値を決定することが有利である。
【００５３】
このような補正を行ってから補正基準画像と補正部分画像との相関度を算出することにより、画像全体の明るさに変化が無く、周辺光量落ちによって画像間で被写体の明るさが変わった場合でも、精度のよい被写体追尾が可能となる。
【００５４】
図３に戻って、補正画像の生成が完了すると、Ｓ１０７で相関演算部２０４が、Ｓ１０６で生成した補正基準画像と補正部分画像の相関値として、例えば次式（２）の演算式で表されるＳＡＤ値を算出する。
【数２】
【００５５】
式（２）において、ＳＡＤは補正基準画像と補正部分画像間の相関値を、Ｙ1_HVは補正部分画像における画素（Ｈ，Ｖ）の輝度値を、Ｙ2_HVは補正基準画像における画素（Ｈ，Ｖ）における輝度値をそれぞれ示す。また、Ｈは画像の水平方向における座標、Ｖは垂直方向における座標をそれぞれ示す。また、式（１）により得られるＳＡＤは、値が小さい程、両画像が似ている（相関が高い）ことを示し、値が大きい程両画像が似ていない（相関が低い）ことを示す。
【００５６】
相関演算が終了すると、Ｓ１０８に移り、部分画像３０６ａ〜ｉのうち、相関値を求めていないものが残っているかどうかを判定する。相関値を見算出の部分画像が残っている場合、その部分画像の１つに対してＳ１０４からの処理を適用する。
【００５７】
部分画像３０６ａ〜ｉの全てに対して相関値を求めていれば、Ｓ１０９で相関演算部２０４が、部分画像３０６ａ〜ｉのうち、基準画像３０５との相関が最も高いもの（ＳＡＤ値が最も小さいもの）を、基準画像３０５（移動した被写体領域）として選択する。そして、相関演算部２０４は、対応する部分画像切り出し座標と部分画像３０６のいずれかをメモリ３２に保存する。例えば、図４の例では、部分画像３０６ｉが選択される。
【００５８】
これにより、比較元画像３００の基準画像３０５に対応する被写体を、比較先画像３０１において追尾することができる。なお、ここでは最初に設定した探索領域での処理のみを説明したが、例えば、相関度が所定の閾値以上の部分画像が存在しない場合には、異なる位置の探索領域を設定して、基準画像３０５と相関度が所定の閾値以上の部分画像を探索してもよい。相関度が所定の閾値以上の部分画像が見つかるまで、比較先画像３０１における探索領域を順次移動させるようにしてもよい。
【００５９】
部分画像の選択が完了すると、Ｓ１１０でシステム制御部５０は、操作部７０から被写体追尾処理の終了指示があったか否か判定する。終了指示があった場合には被写体追尾処理を終了する。終了指示がなければ、Ｓ１１２において、相関演算部２０４は、Ｓ１０９で選択した部分画像切り出し座標３０４ａ〜ｉ又は部分画像３０６ａ〜ｉのいずれかを、新たな基準画像切り出し座標３０３又は基準画像３０５として、メモリ３２に保存する。新たな基準画像切り出し座標３０３又は基準画像３０５の保存が完了すると、Ｓ１０３からの処理を繰り返す。
【００６０】
以上説明したように、本実施形態によれば、相関度を求める基準画像と部分画像の少なくとも一方が、周辺光量落ちに起因して所定以上の輝度低下していると考えられる場合に、基準画像と部分画像の両方について、画像内の最大輝度が予め定められた同一の輝度値となるように各画素の輝度値を補正する。
そして、このような補正を行ってから補正基準画像と補正部分画像との相関度を算出することにより、画像全体の明るさに変化が無く、周辺光量落ちによって画像間で被写体の明るさが変わった場合でも、精度のよい被写体追尾が可能となる。
【００６１】
（変形例）
なお、本実施形態においては、基準画像と部分画像との組み合わせ毎に、補正を行うか否かを判定した。しかし、補正を行うか否かの判定を行わずに、全ての基準画像及び部分画像に対して輝度の補正を適用するようにしてもよい。このような構成によっても、同様の効果を実現することができる。
【００６２】
（第２の実施形態）
次に、本発明の第２実施形態に係る画像処理装置について説明する。本実施形態の画像処理装置は、被写体追尾処理の詳細以外は第１の実施形態に係る画像処理装置（デジタルカメラ）と同様であってよい。従って、被写体追尾処理の相異点のみを説明する。
【００６３】
より具体的には、本実施形態のデジタルカメラにおける被写体追尾処理は、図３に示したフローチャートにおいて、補正実行判定処理Ｓ１０５を省略し、補正画像生成処理Ｓ１０６の処理におけるゲインの決定処理を簡略化したものである。本実施形態では、基準画像切り出し座標３０３および部分画像切り出し座標３０４ａ〜ｉの全てに対してゲインを適用する。そして、各々の切り出し座標に適用するゲインとして、各々の切り出し座標が存在する、ゲインマップ５００中の領域に関連付けられたゲインを使用する。
【００６４】
例えば、図８（ａ）に示すように、基準画像切り出し座標３０３がゲインマップ５００において、最大ゲインが２の領域５０２に存在する場合、補正値算出部２０２は基準画像３０５のゲインを２と決定する。
【００６５】
一方、図８（ｂ）では、基準画像切り出し座標３０３がゲインマップ５００において、最大ゲインが４の領域５０３と最大ゲインが８の領域５０４の両方に存在している。この場合、補正値算出部２０２は値が小さい最大ゲインを採用し、ゲインを４と決定する。補正値算出部２０２は、部分画像切り出し座標３０４ａ〜ｉについても同様にゲインを決定する。
【００６６】
そして、補正部２０３は、基準画像３０５と部分画像３０６ａ〜ｉの対応する各画素の輝度値にゲインを乗算して補正基準画像と補正部分画像を求める。以下、第１の実施形態で説明したように補正基準画像と補正部分画像との組み合わせについて相関演算部２０４で相関を算出し、補正部分画像を選択する。
【００６７】
本実施形態では、第１の実施形態ほどの追尾精度向上ではないが、簡便な方法でゲインを決定することができ、周辺光量落ちに起因する追尾精度の低下を抑制することが可能であり、ゲインの算出に要する計算負荷を軽減したい場合に有効である。
【００６８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【００６９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関し、特には複数の画像間で被写体を追尾可能な画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、画像間の相関演算を利用した被写体追尾の精度を向上させるために、画像の明るさの違いを補正してから画像間の相関演算を行うことが提案されている。
【０００３】
例えば特許文献１では、類似度を算出する２つの画像について、複数のブロックに分割した後、各ブロックの輝度平均値から、基準領域として設定されたブロックの平均輝度値を減じてから、画像間の輝度及び色差の類似度を算出することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０１５５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像レンズには、結像面においてレンズの光軸から離れるほど光量が低下する周辺光量落ち（シェーディング）という特性がある。そのため、被写体がレンズの光軸付近（撮像画像の中央付近）で撮像された画像と、レンズの周辺（撮像画像の周辺）で撮像された画像とで被写体追尾処理を行う場合、画像の全体的な明るさに変化が無くても、被写体の明るさが変化する場合がある。この場合、正しい追尾ができないおそれがある。
【０００６】
しかしながら、特許文献１では、日が当たっている場合と当たっていない場合のように類似度を算出する２つの画像の明るさが全体的に大きく変わった場合への対処を想定したものである。特許文献１の方法では、レンズの周辺光量落ちが被写体追尾結果に与える影響を低減することはできない。
【０００７】
本発明はこのような従来技術の課題に鑑みてなされたものであり、レンズの周辺光量落ちの影響が被写体の追尾結果に与える影響を低減し、精度のよい被写体追尾を実現する画像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的は、比較元画像の部分画像である基準画像を比較先画像で探索することにより被写体追尾を行う画像処理装置であって、基準画像と、比較先画像における、基準画像に対応する領域の部分画像を含む複数の部分画像の各々とについて、各画素の輝度値を補正する補正手段と、補正手段が補正した複数の部分画像のうち、補正手段が補正した基準画像との相関度が最も高いものを比較先画像における被写体領域として選択する選択手段と、を有し、補正手段は、基準画像および複数の部分画像の各々について、画素の最大輝度値が予め定められた同一の輝度値となるように、各画素の輝度値を補正することを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００９】
本発明によれば、レンズの周辺光量落ちの影響が被写体の追尾結果に与える影響を低減し、精度のよい被写体追尾を実現する画像処理装置及びその制御方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの構成例を示すブロック図。
【図２】図１における被写体追尾部の構成例を示すブロック図。
【図３】本発明の第１の実施形態に係るデジタルカメラにおける、被写体追尾処理を説明するためのフローチャート。
【図４】本発明の実施形態における比較元画像、比較先画像、基準画像および部分画像を説明するための模式図。
【図５】本発明の第１の実施形態に係るデジタルカメラにおける、補正実行判定処理を説明するためのフローチャート。
【図６】本発明の第１の実施形態に係るデジタルカメラにおける、補正実行判定処理の具体例を説明するための模式図。
【図７】本発明の第１の実施形態に係るデジタルカメラにおける、補正画像生成処理を説明するためのフローチャート。
【図８】本発明の第２の実施形態に係るデジタルカメラにおける、ゲインの決定処理を説明するための模式図。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の第１の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の構成例を示すブロック図である。
【００１２】
（デジタルカメラ１００の構成）
図１において、撮像レンズ１０３はフォーカスレンズとその駆動機構を含み、駆動機構はシステム制御部５０の制御に従ってフォーカスレンズを駆動する。シャッター１０１は絞り機能を備えたメカニカルシャッターである。撮像部２２は、光学像を電気信号に変換するＣＣＤイメージセンサやＣＭＯＳイメージセンサである。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ画像信号をデジタル画像データに変換するために用いられる。バリア１０２はカメラ１００の未使用時に撮像レンズ１０３の前面を覆うことにより、撮像レンズ１０３の汚れや破損を防止する。バリア１０２は電動であっても手動であってもよい。
【００１３】
画像処理部２４は、Ａ／Ｄ変換器２３が出力する画像データ又はメモリ制御部１５が出力する画像データに対し、画素補間、縮小といった所定のリサイズ処理や色変換処理を実行する。また、画像処理部２４では、撮像した画像データを用いて輝度やコントラストなどを求める所定の演算処理を行う。システム制御部５０は、これらの演算結果に基づいて絞りやフォーカスレンズを駆動して、自動露光制御（ＡＥ）や自動焦点検出（ＡＦ）を実現する。画像処理部２４では更に、撮像した画像データに対して所定の演算処理を行ってホワイトバランスゲインを算出して画像データに適用するＡＷＢ（オートホワイトバランス）処理も行う。
【００１４】
Ａ／Ｄ変換器２３の出力する画像データは画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１５】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている表示用の画像データをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。
【００１６】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００１７】
システム制御部５０は、例えばＣＰＵやマイクロプロセッサであってよく、不揮発性メモリ５６に記録されたプログラムを実行して各機能ブロックを制御することによりカメラ１００全体の機能を実現する。システムメモリ５２は例えばＲＡＭであり、システム制御部５０は動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００１８】
モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００１９】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。第１シャッタースイッチ６２は、いわゆる半押し（撮像準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００２０】
第２シャッタースイッチ６４は、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２５に画像データを書き込むまでの一連の撮像処理の動作を開始する。
【００２１】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２２】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２５を含む各部へ供給する。
【００２３】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源スイッチ７２は、電源部３０からカメラ１００への電源供給をON／OFFする。インタフェース１８はメモリカードやハードディスク等の記録媒体２５にアクセスするためのインターフェースである。
【００２４】
被写体追尾部２００は、メモリ３２から読み出した２つ（２フレーム）の画像データに対し、後述する被写体追尾処理を適用する。
【００２５】
図２は被写体追尾部２００の構成例を示すブロック図である。切り出し部２０１は、メモリ３２から読み出した２フレーム分の画像データから、相関演算に用いる複数の領域の画像データを切り出す。補正値算出部２０２は、切り出し部２０１が切り出した複数の領域の画像データ等を用いて補正値を算出する。補正部２０３は、補正値算出部２０２が算出した補正値を用いて、切り出し部２０１が切り出した複数の領域の画像データを補正する。相関演算部２０４は、補正部２０３が補正した複数領域の画像データを用い、２フレームの画像の相関度を表す情報として、例えば累積絶対値誤差（ＳＡＤ：Sum of Absolute Difference）を求める。また相関演算部２０４は、相関演算を複数回繰り返し、その中から最もＳＡＤが小さい（相関度が高い）画像データと、その画像データの画像中の位置（座標）をメモリ３２に書き込む。
【００２６】
なお、図１においては、画像処理部２４及び被写体追尾部２００を独立した機能ブロックとして記載しているが、その一部又は全部をシステム制御部５０がソフトウェア的に実現してもよい。
【００２７】
（被写体追尾処理）
被写体追尾部２００における被写体追尾処理の詳細を、図３及び図４を参照して説明する。ここでは、例えばデジタルカメラ１００が撮像スタンバイ状態において表示部２８を電子ビューファインダとして機能させるために、撮像部２２で動画像を撮像し、動画像の各フレームが、メモリ３２のビデオメモリ領域に順次書き込まれているものとする。あるいは、記録媒体２５に記録されている動画ファイルから再生されている各フレームであってもよい。
【００２８】
まず、Ｓ１００でシステム制御部５０は、操作部７０を通じた座標の指定を受け付ける。例えばユーザは、表示部２８に表示されている動画像を見ながら、追尾したい被写体を指定する。指定は例えば操作部７０に含まれる、表示部２８のタッチパネルを用いて被写体領域（例えば顔領域）を指定したり、被写体領域の中心を指定したり、任意の方法で行うことができる。システム制御部５０は、指定された座標を基準画像切り出し座標として記憶する。なお、座標の指定が１点であれば、指定された座標を中心とした所定の形状及び大きさの領域を特定する座標を基準切り出し座標とする。基準切り出し座標は例えば矩形領域の１組の対角頂点の座標であってよい。
【００２９】
Ｓ１０１で切り出し部２０１は、メモリ３２のビデオメモリ領域から、現在（座標指定時に）表示されている画像データを比較元画像データとして読み出し、メモリ３２の別の領域に書き込む。
【００３０】
図４（ａ）に示すように比較元画像３００の読み出しが完了すると、Ｓ１０２で切り出し部２０１が比較元画像３００のうち、被写体領域３０２ａに対応する基準画像切り出し座標３０３に対応する基準画像３０５（図４（ｃ））を切り出す。そして、切り出し部２０１は基準画像３０５をメモリ３２に保存する。
【００３１】
Ｓ１０３で、切り出し部２０１は、メモリ３２のビデオメモリ領域から比較先画像３０１（図４（ｂ））を読み出し、別の領域に書き込む。比較先画像３０１は、例えば動画像において比較元画像３００の次に撮像されたフレームであってよい。ここでは、比較元画像３００が撮像されてから比較先画像３０１が撮像されるまでの間に、被写体領域３０２ａが被写体領域３０２ｂに移動している。
【００３２】
Ｓ１０４で切り出し部２０１は、比較先画像３０１から、基準画像切り出し座標３０３に対応する座標３０４ｃを中心として、その周囲に隣接する同一サイズの領域を特定する部分画像切り出し座標３０４ａ〜ｉを決定する。そして、切り出し部２０１は、部分画像切り出し座標３０４ａ〜ｉに対応する９つの部分画像３０６ａ〜ｉ（図４（ｄ））を切り出す。切り出し部２０１は、部分画像切り出し座標３０４ａ〜ｉと部分画像３０６ａ〜ｉをメモリ３２に保存する。部分画像切り出し座標は、個々の部分画像３０６ａ〜ｉを特定可能な座標値である。
【００３３】
なお、基準画像３０５と部分画像３０６ａ〜ｉは同サイズとする。例えば図４に示すように、基準画像３０５および部分画像３０６ａ〜ｉをｎ画素×ｎ画素（ｎは予め定めた３以上の整数）の正方形領域とする。そして、基準画像３０５と対応する部分画像３０６ｅを中心とする、３ｎ×３ｎ画素の領域（探索領域）を９等分した領域を部分画像３０６ａ〜ｉとする。なお、切り出す部分画像の大きさや数は、動画のフレームレートもしくは比較元画像と比較先画像の撮像タイミングの差（時間差）に応じて決定することができる。つまり、一般的と考えられる移動速度の被写体が、いずれかの部分画像に含まれるように部分画像の切り出し範囲を決定する。
【００３４】
部分画像３０６ａ〜ｉの切り出しが完了すると、Ｓ１０５で補正値算出部２０２が、メモリ３２に保存された基準画像切り出し座標３０３、部分画像切り出し座標３０４ａ〜ｉおよびゲインマップを用いて補正実行判定を行う。
【００３５】
ゲインマップは、撮像レンズ１０３の周辺光量落ち特性を示す情報である。具体的には、撮像レンズ１０３の周辺光量落ちを補正するための最大ゲインを、撮像レンズ１０３の視野もしくは撮像部２２内の座標と対応付けて記憶した情報である。図６（ａ）に、ゲインマップ５００の例を模式的に示す。図６（ａ）においてゲインマップ５００は、撮像レンズ１０３の視野もしくは撮像部２２の画素領域を複数の領域５０１〜５０５に分割し、個々の領域とゲイン１，２，４，８，１６とを対応付けた構成を有している。なお、一般に撮像レンズ１０３の周辺光量落ちは光軸を中心として上下方向、左右方向にそれぞれ対称的な分布を有する。そのため、例えば視野もしくは画素領域を上下又は左右に２等分した範囲、あるいは光軸を中心として上下左右に４等分した範囲の１つについて、領域とゲインとを対応付けたゲインマップがあれば足りる。図６（ａ）では、上下に２分割した範囲の下半分についてのゲインマップ５００を示している。
【００３６】
ゲインマップ５００は、撮像レンズ１０３の周辺光量落ち特性に基づいて予め記憶しておくことができる。なお、ゲインマップ５００は撮像レンズ１０３の周辺光量落ちが撮像画像に与える影響を厳密に補正するためのものではない。本実施形態では、基準画像と、相関を求める補正部分画像との間に、周辺光量落ちに起因し、かつ補正すべき明るさの差がありそうかどうかを大まかに判断するために用いる。従って、周辺光量落ちの相対的な程度を、レンズ光軸からの複数の略同心円領域ごとに大まかに示したもので足りる。その結果、撮像レンズ１０３の種類に応じてゲインマップを保存する場合も、例えば中心からの距離の範囲と対応するゲインとの組み合わせを複数組有すればよく、ゲインマップ当たりのデータ量は少ない。
【００３７】
また、ゲインは、視野もしくは画素領域の中央に対応する領域５０１に対する値を１（補正無し）とした場合の値が対応付けられている。図６（ａ）に例示したゲインマップ５００は単なる例示であり、分割する領域の数、形状、大きさについては、適宜変更可能である。
【００３８】
次に、図５に示すフローチャート及び図６を参照して、Ｓ１０５における補正実行判定処理についてさらに説明する。図５に示す処理は、基準画像切り出し座標３０３（基準画像３０５）と部分画像切り出し座標３０４（部分画像３０６ａ〜３０６ｉ）の各々との組み合わせにについて実施する。
【００３９】
まず、補正値算出部２０２は、基準画像切り出し座標３０３と部分画像切り出し座標（ここでは３０４ｈとする）に対応する最大ゲインがいずれも１か判別する（Ｓ１０５１）。両者の最大ゲインが１であれば、補正値算出部２０２はそれら切り出し座標（に対応する画像）に対する補正は行わないと決定する。
【００４０】
一方、いずれかの最大ゲインが１でなければ、補正値算出部２０２は、判別の対象である部分画像切り出し座標と基準画像切り出し座標とが、ゲインマップの同じ領域に存在するか（又は両者の最大ゲインが等しいか）判別する（Ｓ１０５２）。両者がゲインマップの同じ領域に存在しない場合（両者の最大ゲインが異なる場合）、補正値算出部２０２は基準画像および判別の対象である部分画像切り出し座標に対応する部分画像を補正すると判定する（Ｓ１０５４）。補正値算出部２０２は、補正する切り出し座標又は画像の補正実行判定フラグをＯＮとする。
【００４１】
Ｓ１０５２において、部分画像切り出し座標と基準画像切り出し座標とがゲインマップの同じ領域に存在している（両者の最大ゲインが等しい）場合、補正値算出部２０２は、最大ゲインが予め定められたしきい値より大きいかどうか判別する（Ｓ１０５３）。そして、部分画像（および基準画像）切り出し座標の最大ゲインが予め定められたしきい値より大きい場合、補正値算出部２０２は基準画像および判別の対象である部分画像切り出し座標に対応する部分画像を補正すると判定する（Ｓ１０５４）。補正値算出部２０２は、補正する切り出し座標又は画像の補正実行判定フラグをＯＮとする。
【００４２】
部分画像（および基準画像）切り出し座標の最大ゲインが予め定められたしきい値以下の場合、補正値算出部２０２は部分画像切り出し座標に対応する部分画像と基準画像を補正しないと判定する（補正実行判定フラグはＯＦＦのまま）。なお、画像切り出し座標が複数の領域にまたがっている場合、補正値算出部２０２は最も小さい最大ゲインを、その切り出し座標についての最大ゲインとしてメモリ３２に保存する。
【００４３】
例えば図６（ａ）では、基準画像切り出し座標３０３が、最大ゲインが１の領域５０１内にあるため、補正値算出部２０２は基準画像３０５を補正しないと判定する。図６（ｂ）では、基準画像切り出し座標３０３および部分画像切り出し座標３０４ｈが、共に最大ゲインが２の領域５０２にあり、かつ最大ゲインが、予め用意したしきい値（ここでは４とする）よりも小さい。そのため、基準画像と部分画像とに信号レベルの差はなく、補正値算出部２０２は両画像を補正しないと判定する。
【００４４】
図６（ｃ）では、基準画像切り出し座標３０３および部分画像切り出し座標３０４ｉの両方が最大ゲインが１の領域５０１内になく、かつそれぞれ最大ゲインが異なる領域内にある。この場合、補正値算出部２０２は、信号レベルを統一するために両画像を補正すると判定する。
【００４５】
図６（ｄ）は基準画像切り出し座標３０３および部分画像切り出し座標３０４ｈの両方が最大ゲインが８の領域５０４内にあるが、領域５０４の最大ゲインは予め用意したしきい値の４よりも大きい。そのため、補正値算出部２０２は両画像の信号レベルを上げるために、両画像を補正すると判定する。
【００４６】
補正実行判定が完了すると、Ｓ１０６で補正部２０３が、Ｓ１０５の補正実行判定に基づいて、基準画像３０５と部分画像３０６ａ〜ｉのうち補正実行判定フラグがＯＮであるものを補正して、生成した補正基準画像と補正部分画像をメモリ３２に保存する。なお、補正実行判定より補正しないと判定された場合は、基準画像３０５もしくは部分画像３０６ａ〜ｉをそのまま補正基準画像もしくは補正部分画像とする。
【００４７】
ここで、図７に示すフローチャートを参照して、Ｓ１０６における補正画像生成処理について詳細に説明する。
基準画像３０５と部分画像３０６ａ〜ｉのうち、補正を実行すると判定された（補正実行判定フラグがＯＮである）ものに対して、図７に示す処理を適用して補正画像を生成する。ここでは、一例として基準画像３０５を補正する場合を説明する。
【００４８】
Ｓ１０６１で補正値算出部２０２は、基準画像３０５に含まれる画素の最大輝度値を検出する。そして、Ｓ１０６２で補正値算出部２０２は、次式（１）を用いてゲインを算出する。
【数１】
【００４９】
ここで式（１）において、Ｇａｉｎはゲイン、Ｙdata_maxは輝度データがとり得る最大値、ＹmaxはＳ１０６１で検出した基準画像３０５の最大輝度値である。例えば輝度が８bitの数値で表現される場合、Ｙdata_maxは２５５となる。
【００５０】
Ｓ１０６３で補正部２０３は、Ｓ１０６２で算出したゲインを用いて基準画像３０５の信号レベルを補正して補正基準画像を生成する。補正基準画像は基準画像３０５と同じ画素サイズとし、補正基準画像の各画素における輝度値は、基準画像３０５の対応する各画素における輝度値に、ゲインを乗算して求める。
【００５１】
以上、一連の処理によって補正基準画像を生成する。補正部２０４は、部分画像３０６ａ〜３０６ｉに対しても同様にして補正部分画像を生成する。なお、上述のように、補正実行判定フラグがＯＦＦの画像については、補正を行なわずに、元の画像をそのまま補正後の画像として保存する。
【００５２】
このように、本実施形態では、
・相関度を求める２つの画像（基準画像と部分画像）の少なくとも一方が、周辺光量落ちに起因して所定以上の輝度低下していると考えられる場合に、
相関度を求める２つの画像（基準画像と部分画像）の両方を、画素の最大輝度が予め定められた同一の輝度値となるよう、各画素の輝度値を補正する。なお、ここでは輝度データの取りうる最大値となるように補正したが、輝度レベルを正規化することができれば必ずしも最大値でなくてもよい。ただし、被写体追尾の精度を向上させるという観点からは、画素の輝度値が補正前よりも小さくならないように補正後の最大輝度値を決定することが有利である。
【００５３】
このような補正を行ってから補正基準画像と補正部分画像との相関度を算出することにより、画像全体の明るさに変化が無く、周辺光量落ちによって画像間で被写体の明るさが変わった場合でも、精度のよい被写体追尾が可能となる。
【００５４】
図３に戻って、補正画像の生成が完了すると、Ｓ１０７で相関演算部２０４が、Ｓ１０６で生成した補正基準画像と補正部分画像の相関値として、例えば次式（２）の演算式で表されるＳＡＤ値を算出する。
【数２】
【００５５】
式（２）において、ＳＡＤは補正基準画像と補正部分画像間の相関値を、Ｙ1_HVは補正部分画像における画素（Ｈ，Ｖ）の輝度値を、Ｙ2_HVは補正基準画像における画素（Ｈ，Ｖ）における輝度値をそれぞれ示す。また、Ｈは画像の水平方向における座標、Ｖは垂直方向における座標をそれぞれ示す。また、式（１）により得られるＳＡＤは、値が小さい程、両画像が似ている（相関が高い）ことを示し、値が大きい程両画像が似ていない（相関が低い）ことを示す。
【００５６】
相関演算が終了すると、Ｓ１０８に移り、部分画像３０６ａ〜ｉのうち、相関値を求めていないものが残っているかどうかを判定する。相関値を見算出の部分画像が残っている場合、その部分画像の１つに対してＳ１０４からの処理を適用する。
【００５７】
部分画像３０６ａ〜ｉの全てに対して相関値を求めていれば、Ｓ１０９で相関演算部２０４が、部分画像３０６ａ〜ｉのうち、基準画像３０５との相関が最も高いもの（ＳＡＤ値が最も小さいもの）を、基準画像３０５（移動した被写体領域）として選択する。そして、相関演算部２０４は、対応する部分画像切り出し座標と部分画像３０６のいずれかをメモリ３２に保存する。例えば、図４の例では、部分画像３０６ｉが選択される。
【００５８】
これにより、比較元画像３００の基準画像３０５に対応する被写体を、比較先画像３０１において追尾することができる。なお、ここでは最初に設定した探索領域での処理のみを説明したが、例えば、相関度が所定の閾値以上の部分画像が存在しない場合には、異なる位置の探索領域を設定して、基準画像３０５と相関度が所定の閾値以上の部分画像を探索してもよい。相関度が所定の閾値以上の部分画像が見つかるまで、比較先画像３０１における探索領域を順次移動させるようにしてもよい。
【００５９】
部分画像の選択が完了すると、Ｓ１１０でシステム制御部５０は、操作部７０から被写体追尾処理の終了指示があったか否か判定する。終了指示があった場合には被写体追尾処理を終了する。終了指示がなければ、Ｓ１１２において、相関演算部２０４は、Ｓ１０９で選択した部分画像切り出し座標３０４ａ〜ｉ又は部分画像３０６ａ〜ｉのいずれかを、新たな基準画像切り出し座標３０３又は基準画像３０５として、メモリ３２に保存する。新たな基準画像切り出し座標３０３又は基準画像３０５の保存が完了すると、Ｓ１０３からの処理を繰り返す。
【００６０】
以上説明したように、本実施形態によれば、相関度を求める基準画像と部分画像の少なくとも一方が、周辺光量落ちに起因して所定以上の輝度低下していると考えられる場合に、基準画像と部分画像の両方について、画像内の最大輝度が予め定められた同一の輝度値となるように各画素の輝度値を補正する。
そして、このような補正を行ってから補正基準画像と補正部分画像との相関度を算出することにより、画像全体の明るさに変化が無く、周辺光量落ちによって画像間で被写体の明るさが変わった場合でも、精度のよい被写体追尾が可能となる。
【００６１】
（変形例）
なお、本実施形態においては、基準画像と部分画像との組み合わせ毎に、補正を行うか否かを判定した。しかし、補正を行うか否かの判定を行わずに、全ての基準画像及び部分画像に対して輝度の補正を適用するようにしてもよい。このような構成によっても、同様の効果を実現することができる。
【００６２】
（第２の実施形態）
次に、本発明の第２実施形態に係る画像処理装置について説明する。本実施形態の画像処理装置は、被写体追尾処理の詳細以外は第１の実施形態に係る画像処理装置（デジタルカメラ）と同様であってよい。従って、被写体追尾処理の相異点のみを説明する。
【００６３】
より具体的には、本実施形態のデジタルカメラにおける被写体追尾処理は、図３に示したフローチャートにおいて、補正実行判定処理Ｓ１０５を省略し、補正画像生成処理Ｓ１０６の処理におけるゲインの決定処理を簡略化したものである。本実施形態では、基準画像切り出し座標３０３および部分画像切り出し座標３０４ａ〜ｉの全てに対してゲインを適用する。そして、各々の切り出し座標に適用するゲインとして、各々の切り出し座標が存在する、ゲインマップ５００中の領域に関連付けられたゲインを使用する。
【００６４】
例えば、図８（ａ）に示すように、基準画像切り出し座標３０３がゲインマップ５００において、最大ゲインが２の領域５０２に存在する場合、補正値算出部２０２は基準画像３０５のゲインを２と決定する。
【００６５】
一方、図８（ｂ）では、基準画像切り出し座標３０３がゲインマップ５００において、最大ゲインが４の領域５０３と最大ゲインが８の領域５０４の両方に存在している。この場合、補正値算出部２０２は値が小さい最大ゲインを採用し、ゲインを４と決定する。補正値算出部２０２は、部分画像切り出し座標３０４ａ〜ｉについても同様にゲインを決定する。
【００６６】
そして、補正部２０３は、基準画像３０５と部分画像３０６ａ〜ｉの対応する各画素の輝度値にゲインを乗算して補正基準画像と補正部分画像を求める。以下、第１の実施形態で説明したように補正基準画像と補正部分画像との組み合わせについて相関演算部２０４で相関を算出し、補正部分画像を選択する。
【００６７】
本実施形態では、第１の実施形態ほどの追尾精度向上ではないが、簡便な方法でゲインを決定することができ、周辺光量落ちに起因する追尾精度の低下を抑制することが可能であり、ゲインの算出に要する計算負荷を軽減したい場合に有効である。
【００６８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【００６９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
比較元画像の部分画像である基準画像を比較先画像で探索することにより被写体追尾を行う画像処理装置であって、
前記基準画像と、前記比較先画像における、前記基準画像に対応する領域の部分画像を含む複数の部分画像の各々とについて、各画素の輝度値を補正する補正手段と、
前記補正手段が補正した前記複数の部分画像のうち、前記補正手段が補正した前記基準画像との相関度が最も高いものを前記比較先画像における被写体領域として選択する選択手段と、を有し、
前記補正手段は、前記基準画像および前記複数の部分画像の各々について、画素の最大輝度値が予め定められた同一の輝度値となるように、各画素の輝度値を補正することを特徴とする画像処理装置。
【請求項２】
前記補正手段が、前記基準画像および前記複数の部分画像の各々について、画素の最大輝度値が、輝度データの取りうる最大値となるように、各画素の輝度値を補正することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記比較元画像及び比較先画像を撮像した撮像レンズの周辺光量落ち特性を示す情報を用いて、前記基準画像と前記複数の部分画像の各々とについて、前記補正手段による補正を行うか否かを判定する判定手段をさらに有し、
前記補正手段は、前記基準画像と前記複数の部分画像のうち、前記判定手段により補正を行うと判定された画像に対して前記補正を行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記撮像レンズの周辺光量落ち特性を示す情報が、前記撮像レンズの視野を分割した複数の領域の各々と、周辺光量落ちを補正するための最大ゲインとを対応付けた情報であり、
前記判定手段は、前記基準画像と前記複数の部分画像の各々との組み合わせについて、前記基準画像と前記部分画像とが前記複数の領域のうち同じ領域に存在するが、該領域に対応付けられた前記最大ゲインが予め定めたしきい値を超える場合に、前記基準画像と該部分画像に対して補正を行うと判定することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記比較元画像及び比較先画像を撮像した撮像レンズの視野を分割した複数の領域の各々と、周辺光量落ちを補正するための最大ゲインとを対応付けた情報を記憶する記憶手段をさらに有し、
前記補正手段は、前記基準画像および前記複数の部分画像の各々について、画素の最大輝度値が予め定められた同一の輝度値となるように各画素の輝度値を補正する代わりに、前記複数の領域のうち前記基準画像と前記複数の部分画像が存在する領域に対応付けられた前記最大ゲインを用いて各画素の輝度値を補正することを特徴とする請求項１記載の画像処理装置。
【請求項６】
比較元画像の部分画像である基準画像を比較先画像で探索することにより被写体追尾を行う画像処理装置の制御方法であって、
前記画像処理装置の補正手段が、前記基準画像と、前記比較先画像における、前記基準画像に対応する領域の部分画像を含む複数の部分画像の各々とについて、各画素の輝度値を補正する補正工程と、
前記画像処理装置の選択手段が、前記補正工程において補正された前記複数の部分画像のうち、前記補正工程において補正された前記基準画像との相関度が最も高いものを前記比較先画像における被写体領域として選択する選択工程と、を有し、
前記補正工程において前記補正手段は、前記基準画像および前記複数の部分画像の各々について、画素の最大輝度値が予め定められた同一の輝度値となるように、各画素の輝度値を補正することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
比較元画像の部分画像である基準画像を比較先画像で探索することにより被写体追尾を行う画像処理装置であって、
前記基準画像と、前記比較先画像における、前記基準画像に対応する領域の部分画像を含む複数の部分画像の各々とについて、各画素の輝度値を補正する補正手段と、
前記補正手段が補正した前記複数の部分画像のうち、前記補正手段が補正した前記基準画像との相関度が最も高いものを前記比較先画像における被写体領域として選択する選択手段と、を有し、
前記補正手段は、前記基準画像および前記複数の部分画像の各々について、画素の最大輝度値が予め定められた同一の輝度値となるように、各画素の輝度値を補正することを特徴とする画像処理装置。
【請求項２】
前記補正手段が、前記基準画像および前記複数の部分画像の各々について、画素の最大輝度値が、輝度データの取りうる最大値となるように、各画素の輝度値を補正することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記比較元画像及び比較先画像を撮像した撮像レンズの周辺光量落ち特性を示す情報を用いて、前記基準画像と前記複数の部分画像の各々とについて、前記補正手段による補正を行うか否かを判定する判定手段をさらに有し、
前記補正手段は、前記基準画像と前記複数の部分画像のうち、前記判定手段により補正を行うと判定された画像に対して前記補正を行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記撮像レンズの周辺光量落ち特性を示す情報が、前記撮像レンズの視野を分割した複数の領域の各々と、周辺光量落ちを補正するための最大ゲインとを対応付けた情報であり、
前記判定手段は、前記基準画像と前記複数の部分画像の各々との組み合わせについて、前記基準画像と前記部分画像とが前記複数の領域のうち同じ領域に存在するが、該領域に対応付けられた前記最大ゲインが予め定めたしきい値を超える場合に、前記基準画像と該部分画像に対して補正を行うと判定することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記比較元画像及び比較先画像を撮像した撮像レンズの視野を分割した複数の領域の各々と、周辺光量落ちを補正するための最大ゲインとを対応付けた情報を記憶する記憶手段をさらに有し、
前記補正手段は、前記基準画像および前記複数の部分画像の各々について、画素の最大輝度値が予め定められた同一の輝度値となるように各画素の輝度値を補正する代わりに、前記複数の領域のうち前記基準画像と前記複数の部分画像が存在する領域に対応付けられた前記最大ゲインを用いて各画素の輝度値を補正することを特徴とする請求項１記載の画像処理装置。
【請求項６】
比較元画像の部分画像である基準画像を比較先画像で探索することにより被写体追尾を行う画像処理装置の制御方法であって、
前記画像処理装置の補正手段が、前記基準画像と、前記比較先画像における、前記基準画像に対応する領域の部分画像を含む複数の部分画像の各々とについて、各画素の輝度値を補正する補正工程と、
前記画像処理装置の選択手段が、前記補正工程において補正された前記複数の部分画像のうち、前記補正工程において補正された前記基準画像との相関度が最も高いものを前記比較先画像における被写体領域として選択する選択工程と、を有し、
前記補正工程において前記補正手段は、前記基準画像および前記複数の部分画像の各々について、画素の最大輝度値が予め定められた同一の輝度値となるように、各画素の輝度値を補正することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図５】
【図７】
【図４】
【図６】
【図８】
【図２】
【図３】
【図５】
【図７】
【図４】
【図６】
【図８】
【公開番号】特開２０１２−２３５３０５（Ｐ２０１２−２３５３０５Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０２３４１（Ｐ２０１１−１０２３４１）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]