画像信号処理装置
【課題】一般的なデジタルカメラやビデオカメラに搭載されているAF機能は、点光源の存在するシーンにおいて正常に合焦しないことがある。
【解決手段】焦点評価値を算出する対象となる領域を設定する焦点評価値算出対象領域設定手段と、前記焦点評価値算出対象領域設定手段によって設定された焦点評価値算出対象領域内の点光源の有無を判定する点光源検出手段と、前記点光源検出手段から得た情報を用いて点光源の存在する領域を特定し、該領域を焦点評価値算出対象から除外して焦点評価値を算出する点光源対応焦点評価値算出手段とを備え、前記点光源検出手段によって一度点光源を検出した後は、所定の期間点光源検出手段を再び動作させないことを特徴とする画像信号処理装置。
【解決手段】焦点評価値を算出する対象となる領域を設定する焦点評価値算出対象領域設定手段と、前記焦点評価値算出対象領域設定手段によって設定された焦点評価値算出対象領域内の点光源の有無を判定する点光源検出手段と、前記点光源検出手段から得た情報を用いて点光源の存在する領域を特定し、該領域を焦点評価値算出対象から除外して焦点評価値を算出する点光源対応焦点評価値算出手段とを備え、前記点光源検出手段によって一度点光源を検出した後は、所定の期間点光源検出手段を再び動作させないことを特徴とする画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像信号処理装置に関する。
【背景技術】
【0002】
本技術分野の背景技術として、例えば、特許文献1がある。特許文献1には、「[課題] 点光源がある場面でも合焦位置を正しく且つ容易に判定して合焦すること。[解決手段] 互いに大きさが異なる複数の焦点評価値算出エリアを画像に対して設定し、レンズドライバ55によりフォーカスレンズ52を移動させながら、各焦点評価値算出エリアごとに画像のコントラストの焦点評価値を算出する焦点評価値算出手段、フォーカスレンズ52の合焦位置を判定するための合焦判定エリアを、画像における点光源の有無に基づいて複数の焦点評価値算出エリアから選択するエリア選択手段、および、合焦判定エリアにおける焦点評価値に基づいてフォーカスレンズ52の合焦位置を判定し、レンズドライバ55により合焦位置にフォーカスレンズ52を移動させる合焦制御手段としてCPU70を備えた。」と記載されている(要約参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−286791号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1(特開2010−286791号公報)では、点光源下におけるAF動作性能を向上する手法が述べられているが、AF制御中にフォーカスレンズの位置によって飽和画素の位置や大きさが刻々と変化した場合に、選択される合焦判定エリアが頻繁に切り替わってしまい、焦点評価値が安定して得られず正確に合焦できない可能性がある。
【0005】
本発明は、上記課題を解決し、点光源のあるシーンにおいても精度よくAFを実現する画像信号処理装置を提供するものである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
(1)フォーカスレンズを備える撮像手段と、前記フォーカスレンズを合焦点に移動させるために用いる焦点評価値を算出する対象となる領域内の点光源を検出する点光源検出手段と、前記点光源検出手段により検出された点光源の存在する領域を特定し、前記焦点評価値を算出する対象となる領域から前記特定した点光源の存在する領域を除外した領域に対して焦点評価値を算出する評価値算出手段と、前記評価値算出手段により算出された焦点評価値に基づいて前記フォーカスレンズを制御して、AF制御開始から合焦までを制御するシステム制御手段と、を有し、前記システム制御手段は、前記AF制御開始から合焦まで、前記評価値算出手段が前記特定した点光源の存在する領域を変更しないように制御することを特徴とする画像信号処理装置である。
(2)(1)記載の画像信号処理装置であって、さらに、前記焦点評価値を算出する対象となる領域を複数の領域に分割して設定する領域設定手段を備え、前記評価値算出手段では、前記点光源の存在する領域は、前記領域設定手段により設定された分割領域単位で設定されることを特徴とする画像信号処理装置である。
(3)(2)記載の画像信号処理装置であって、前記評価値算出手段は、前記領域設定手段により設定された複数の分割領域ごとに重み係数を付加して前記焦点評価値を算出することを特徴とする画像信号処理装置である。
【発明の効果】
【0007】
本発明によれば、点光源のあるシーンにおいても精度よくAFを実現することが可能な画像信号処理装置を提供できる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る画像信号処理装置の第一の基本構成例を示す図である。
【図2】点光源が存在しない一般的な被写体におけるコントラストの強弱を判定するための焦点評価値の一例を示す図である。
【図3】点光源が存在する被写体における焦点評価値の一例を説明する図である。
【図4】画面内に設定された領域の一例を説明する図である。
【図5】点光源のある領域を特定することによる点光源対応AF制御の第一例を示す図である。
【図6】点光源のある領域を特定することによる点光源対応AF制御の第二例を示す図である。
【図7】画面内にタイル状に設定した領域を用いた点光源対応AF制御の処理の流れの一例を示す図である。
【図8】領域設定・点光源検出処理の詳細な流れの一例を示す図である。
【図9】点光源に対応したAF制御においてパン・チルト・ズームによる被写体の変化が発生した場合の処理の流れの一例を示す図である。
【図10】点光源に対応したAF制御において高輝度画素数が大幅に変動した場合の処理の流れの一例を示す図である。
【図11】焦点評価値を算出する際に領域の位置に対応した重み係数を用いる方法の一例について説明する図である。
【図12】重み係数を用いるAF制御全体の処理の流れを示すフロー図である。
【図13】重み係数を用いて焦点評価値を算出する処理の詳細を示すフロー図である。
【図14】本実施形態に係る画像信号処理装置の第ニの基本構成例を示す図である。
【図15】大領域内に点光源が存在した場合の小領域設定方法の一例を示す図である。
【図16】AF枠内に点光源が複数ある場合の小領域設定方法の一例を示す図である。
【図17】点光源の位置及び大きさに合わせて小領域を設定する点光源対応AFの一例を説明するフロー図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
(1)エリア分割方式の説明
ここでは、焦点評価値を算出する対象となる撮像領域を縦横任意の数でタイル状に設定し、領域ごとに点光源を検出し、点光源のある領域を、焦点評価値を算出する対象から除外する手段について説明する。本実施例では、これをエリア分割方式と呼ぶ。
エリア分割方式について詳細に説明する。図1は、本実施形態に係る画像信号処理装置の第一の基本構成例を示す図である。撮像部101は、被写体からの入射光の光量を調整する絞りD101と、絞りD101を通った光の焦点を調節するためのフォーカスレンズD102と、フォーカスレンズD102を通った光を光電変換し画像信号として出力する撮像素子D103などを適宜用いて構成され、それぞれシステム制御部107により、絞り制御C101、レンズ制御C102、シャッタ・利得制御C103がなされる。領域設定部102は、システム制御部107からの命令で、焦点評価値を算出する対象となる領域を、任意の数、大きさ、位置に設定する。点光源検出部103は、システム制御部107からの命令で、撮像部101から得た画像信号のうち、領域設定部102が設定した領域内の画像信号を閾値と比較することで、領域ごとに閾値以上の画素信号を点光源として、点光源の有無を検出する。焦点評価値算出部104は、システム制御部107からの命令で、点光源検出部103によって得た領域ごとの点光源の有無の情報を用いて、点光源が存在する領域を除外した領域の画像信号を用いて焦点評価値を算出する。ここで、焦点評価値とは、例えば、指定された領域の画像信号の輪郭部分の強さを検出するための、画像信号のラインごとに高周波成分を積算した信号である。画像処理部105は、システム制御部107からの命令で、撮像部101から得た画像信号に対して、ノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、TVやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理を適宜行う。出力インタフェース処理とは、例えば、NTSCやPALのビデオ出力に変換するものであり、例えば、HDMI信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。外部装置106は、例えば、各種設定を保存するために用いるEEPROM(Electrically Erasable Programmable Read-Only Memory)や、各種センサ、フラッシュメモリなどの外部装置であり、システム制御部107によって制御される。システム制御部107は、撮像部101、領域設定部102、点光源検出部103、焦点評価値算出部104、画像処理部105、外部装置106を制御する。AF部108は、領域設定部102、点光源検出部103、評価値算出部104を含む、AF制御に必要なブロック群を示す。以上の構成により、点光源検出部103が、点光源が存在する領域を特定し、特定結果を用いて焦点評価値算出部104が焦点評価値算出対象領域から点光源が存在する領域を除外して焦点評価値を算出することができるため、点光源のあるシーンにおいても精度よくAFを実現することができる。
【0010】
図2は、点光源が存在しない一般的な被写体におけるコントラストの強弱を判定するための焦点評価値の一例を示す図である。横軸はフォーカスレンズの位置を表わし、縦軸は焦点評価値を表わす。以下では、被写体に焦点が合うフォーカスレンズ位置を合焦点と呼ぶ。一般的な被写体では、フォーカスレンズが合焦点に近づくほど輪郭部分が強くなるため焦点評価値のレベルが増加し、離れるほど輪郭部分が弱くなり減少する。そのため、焦点評価値のピークを検出し、フォーカスレンズをその点に移動制御することで、正確に被写体に合焦させることができる。
【0011】
図3は、点光源が存在する被写体における焦点評価値の一例を説明する図である。本来の合焦点は図の(A)に示すフォーカスレンズ位置だが、(A)の焦点評価値がピークになっていない。これは、点光源は合焦点から遠いほどぼやけて大きく見えるため、合焦点から遠いほど輪郭部分が強くなり、その結果焦点評価値が合焦点よりも大きな値となってしまうためである。そのため、点光源が存在する被写体に対して焦点評価値が最大の位置にフォーカスレンズを動かすAF制御を行うと(B)の偽合焦点を合焦点としてフォーカスレンズを停止させることになる。なお、ここで用いた偽合焦点とは、本実施例では、本来の合焦点ではないにもかかわらずAF制御によってフォーカスレンズが止まるフォーカスレンズ位置をいう。フォーカスレンズが偽合焦点で止まることにより、いわゆるピンボケが発生する。
【0012】
図4は、被写体の撮像画像を表示する撮像画面内に設定された領域の一例を示す図である。401で示す一番外側の枠は、合焦させたい被写体ではなく背景に合焦してしまういわゆる後ピンを防ぐために、撮像画面よりも小さくなるよう設定する。402は、401の枠を分割した領域のひとつを示す。本実施例では、401の枠を縦横に八分割した場合を例に説明するが分割数はこれに限られない。また、分割領域はタイル状としたが、正方形等適宜変更しても構わない。なお、領域設定部102をハードウェアで実現する場合、分割数が多すぎるとハードウェアコストが増加するが、性能向上のために分割数を増やしても構わないし、処理コスト削減のために分割数を減らしても構わない。
【0013】
図5及び図6は、点光源のある領域を特定することによる点光源対応AF制御の一例を説明する図である。図5は、AF制御開始直後の状態であるとする。501は、図4の401と同じ枠を示す。502は、501の枠内に存在する点光源を示す。また、フォーカスレンズの位置が合焦点から遠いため、点光源がぼやけて大きく見えている。この状態において点光源がある領域は、例えば503で示した通りになる。図6は、AF制御によって図5よりもフォーカスレンズが合焦点に近づいた状態であるとする。601は、501と同じ枠を示す。602は、601の枠内に存在する点光源を示す。フォーカスレンズが合焦点に近づいたため、AF枠に対する点光源の面積は図5よりも減少する。そのため、図5では点光源が存在していた領域でも、図6では点光源が存在しなくなる場合がある。図5の状態では603に示す領域に点光源が存在していたのに対し、図6の状態では604の枠内の領域にしか点光源が存在しない。しかし、フォーカスレンズの位置によって拡大・縮小する点光源に合わせて、点光源が存在すると判定する領域を頻繁に変えると、焦点評価値を算出する際に使用する領域数が変動するため、図2に示すような実際の合焦点に向かって単調増加となる安定した高精度の焦点評価値を得ることができない。そこで、本実施例では、フォーカスレンズの制御開始からフォーカスレンズが合焦点で停止するまでは、点光源が存在すると判定される領域を固定することとする。これにより、フォーカスレンズの移動に伴う点光源の大きさの変動の影響を受けない、安定した高精度の焦点評価値を得ることができる。
【0014】
図7は、図4から図6で説明した、画面内にタイル状に設定した領域を用いた点光源対応AF制御の処理の流れの一例を示す図である。図7の処理は、システム制御部107によって実行される。本手法は、画面内に、任意の大きさの領域をタイル状に並べるように設定し、各領域に対して点光源の有無を判定し、点光源が存在する領域を焦点評価値算出対象から除外するものである。AF制御が開始されると、ステップS701で、システム制御部107は、画面内に設定する領域の数を取得する。このとき、領域の数はEEPROM(外部装置106)などに縦方向横方向それぞれの値を保存し、それを用いても構わないし、定数を用いても構わない。また、画面内に設定する領域の総数を、n0として保持しておく。ステップS702で、システム制御部107は、領域設定部102が画面内に例えば図4のように領域を設定するよう命令し、点光源検出部103が、設定された領域ごとに点光源の有無を検出するよう命令する。ステップS702の処理の詳細については後述する。ステップS703では、システム制御部107は、点光源検出部103から、点光源が存在する領域に関する情報を取得する。このとき、点光源が存在する領域数をn1として保持しておく。ステップS704では、システム制御部107は、ステップS703で得た点光源存在領域情報を焦点評価値算出部104に設定し、焦点評価値算出対象から点光源が存在する領域を除外して焦点評価値を算出するよう命令する。ステップS705では、ステップS704で算出した焦点評価値を用いてフォーカスレンズを一定量制御する。ステップS706では、フォーカスレンズが合焦点にあるか否かを判定し、合焦点にある場合は処理を終了する。合焦点に無い場合は、ステップS703に戻り、一連の処理を行う。本実施例では、領域内の点光源を検出するのはステップS702の1回のみであるため、合焦するまで、焦点評価値を算出する対象となる領域の数は一定となる。そのため、一度フォーカスレンズの制御が開始したら、合焦点でフォーカスレンズが停止するまで、先の図2で示したような安定した高精度の焦点評価値を得ることができる。以上の処理により、点光源のあるシーンにおいても精度よくAFを実現することができる。
【0015】
図8は、図7のステップS702での、領域設定部102及び点光源検出部103による領域設定・点光源検出処理の詳細な流れの一例を示す図である。ステップS801では、領域設定部102が画面内にシステム制御部107によって設定された情報を用いて、例えば図4のように領域を設定する。ステップS802では、点光源検出部103が、画素ごとに信号レベルを閾値1と比較し、閾値1よりも値が大きければ該画素は点光源の一部であると判定し、ステップS803で高輝度画素カウンタを1インクリメントする。このとき、高輝度画素カウンタは例えばステップS801で設定した領域ごとに用意しておき、各画素が所属する領域の高輝度画素カウンタをインクリメントする。ステップS802で信号レベルが閾値1よりも小さければステップS804の判定を行う。ステップS804では、点光源検出部103が、ステップS801で設定した全ての領域の画素についてステップS802の判定をしたか否かを判定し、していない場合はステップS802に戻り、一連の処理を行う。全ての画素について判定が完了している場合は、ステップS805に進む。ステップS805では、点光源検出部103が、領域ごとの高輝度画素カウンタの値と閾値2の値を比較し、カウンタの値が閾値2よりも大きければステップS806に進む。ステップS806では、点光源検出部103が、注目領域に点光源が存在すると判定する。ステップS805で、カウンタの値が閾値2よりも小さければステップS807に進む。ステップS807では、点光源検出部103が、全ての領域についてステップS805の判定をしたか否かを判定し、していない場合にはステップS805に戻り、一連の処理を行う。全ての領域について判定が完了している場合は処理を終了する。なお、前記閾値1及び前記閾値2はEEPROM(外部装置106)などに値を保存し、それを用いても構わない。また、ステップS802の判定で、注目画素のみの信号レベルを閾値1と比較するのではなく、隣接画素との重みづけ平均によって算出した値を閾値1と比較しても構わない。本実施例では、図8の処理をハードウェアで行うことを想定しているが、ソフトウェアで行ってももちろん構わない。これにより、ランダムノイズの影響を軽減することができる。以上の処理により、領域ごとに点光源の有無を判定し、点光源が存在する領域を特定することができる。
【0016】
図9は、点光源に対応したAF制御においてパン・チルト・ズームによる被写体の変化が発生した場合の処理の流れの一例を示す図である。図9の処理は、システム制御部107によって実行される。ステップS906以外は、図7の対応する処理と同様の処理のため、適宜説明を省略する。ステップS906では、カメラがパン・チルト・ズームなどして被写体が変化した場合にYesと判定し、ステップS902に戻り、一連の処理を行う。ステップS906でNoと判定した場合は、ステップS907に進む。図9の処理が図7と異なるのは、フォーカスレンズの制御が開始してからフォーカスレンズが合焦点で止まるまでの間に、パン・チルト・ズームを検出した場合に、点光源の検出を行うことである。これは、カメラのパン・チルト・ズームによって点光源の位置が変化するため、その変化にAF制御を対応させるためである。なお、パン・チルト・ズームの検出は、例えば、焦点評価値の変化が一定以上であればパン・チルト・ズーム発生とする。その他にもジャイロセンサ(外部装置106)を用いても良いし、図1のAF部108内にヒストグラム算出部を加えてヒストグラムの変化を用いて行っても良い。これにより、例えば、カメラが移動して点光源の位置が変化した場合に、即座に最適な焦点評価値を算出することができるため、高精度にAF制御することができる。以上の処理により、フォーカスレンズ制御中であっても、点光源の位置や大きさなどが変化した場合は即座に点光源検出情報を更新することで、被写体の変化に迅速に対応した精度よいAF制御を実現することができる。
【0017】
図10は、点光源に対応したAF制御において高輝度画素数が大幅に変動した場合の処理の流れの一例を示す図である。図10の処理は、システム制御部107によって実行される。図10の処理では、点光源検出部103が、領域内の高輝度画素数の積算値を算出する。高輝度画素とは、8ビットデータの場合、例えば、信号レベルが230以上の画素である。ステップS1003及びステップS1006以外は、図7と同様の処理のため、適宜説明を省略する。ステップS1003では、点光源検出部103から、点光源が存在する領域に関する情報を取得する。このとき、点光源が存在する領域数n1及び高輝度画素数hlを設定する。ステップS1006では、例えば、点光源が消灯するなどして高輝度画素が大幅に減少した場合にYesと判定し、ステップS1002に戻り、一連の処理を行う。このとき、高輝度画素が大幅に変動したか否かの判定には、前回の高輝度画素数と最新の高輝度画素数の差分をとり、該差分が閾値よりも大きければYesと判定しても良い。そのほかにも、最新の高輝度画素数自体を閾値(暗)及び閾値(明)と比較し、該画素数が閾値(暗)よりも小さい、もしくは、該画素数が閾値(明)大きい場合に、Yesと判定しても構わない。ステップS1006でNoと判定した場合は、ステップS1007に進む。図10の処理が図7と異なるのは、フォーカスレンズの制御が開始してからフォーカスレンズが合焦点で止まるまでの間に、高輝度画素数が大幅に変動した場合に、点光源の検出を行うことである。これにより、例えば、光源が消灯するなどして点光源の影響がなくなった場合や、光源が点灯するなどして点光源の影響が新たに発生した場合に、即座に最適な焦点評価値を算出することができるため、高精度にAF制御することができる。以上の処理により、フォーカスレンズ制御中であっても、点光源の点灯状況などが変化した場合は即座に点光源検出情報を更新することで、被写体の変化に迅速に対応した精度よいAF制御を実現することができる。
(2)重み係数を用いたAF制御
ここでは、画面内に縦横任意の数の領域をタイル状に設定し、点光源の存在しない領域の焦点評価値に、領域の位置に応じた重み係数を乗算することによって、重み係数を大きく設定した領域内の被写体に合焦しやすく、かつ図2に示すような安定した焦点評価値を算出する手法について説明する。
【0018】
図11は、焦点評価値を算出する際に領域の位置に対応した重み係数を用いる方法の一例について示す図である。例えば、画面内に設定された外枠内の各領域のうち中心に近い領域ほど重み係数が大きいとし、1101に所属する領域の重み係数を1、1102に所属する領域の重み係数を2、1103に所属する領域の重み係数を3、1104に所属する領域の重み係数を4とする。
【0019】
図12及び図13は、図11に示した重み係数を用いて焦点評価値を算出する処理の流れの一例を示す図である。図12は、重み係数を用いるAF制御全体の処理の流れを示すフロー図である。図12の処理は、システム制御部107によって実行される。領域ごとの重み係数は、ステップS1202の前に、システム制御部107が、領域設定部102に対して設定しているものとする。この領域ごとの重み係数の設定及びステップS1204以外は、図7の対応する処理と同様の処理であるため、適宜説明を省略する。ステップS1204の処理は、図13を用いて説明する。図13は、図12のステップS1204で焦点評価値算出部104が、重み係数を用いて焦点評価値を算出する処理の詳細を示すフロー図である。ここでは、領域数カウンタをn、点光源が存在しない領域のうちn番目の領域の焦点評価値をAn、点光源が存在しない領域のうちn番目の領域の重み係数をWn、重み係数の合計値をWT、領域ごとの焦点評価値の積算値をATとする。また、n、WT及びATはステップS1301の前に値をゼロで初期化しておく。ステップS1301では、焦点評価値算出部104により点光源が存在しない領域の焦点評価値を領域ごとに算出する(An)。ステップS1302で、図12の処理で得られた領域設定数n0及び点光源が存在する領域数n1を用いて、点光源が存在しない領域数n3(n3=n0−n1)を算出し、n3とカウンタnを比較し、nが小さければステップS1303に、大きければステップS1307に進む。ステップS1303では、焦点評価値算出部104が、n番目の領域の焦点評価値に重み係数を乗算する(An=An*Wn)。ステップS1304では、焦点評価値算出部104が、n番目の領域に対応する重み係数を重み係数合計値に加算する(WT=WT+Wn)。ステップS1305では、焦点評価値算出部104が、n番目の領域の焦点評価値を積算する(AT=AT+An)。ステップS1306では、カウンタnを1インクリメントし、再びステップS1302に進む。ステップS1307では、焦点評価値算出部104が、焦点評価値積算値を重み係数合計値で除算し(AT=AT/WT)、これを最終的な焦点評価値とし、処理を終了する。本実施例では、図13の処理をハードウェアで行うことを想定しているが、ソフトウェアで行ってももちろん構わない。以上の処理により、点光源の存在しない領域の焦点評価値に、領域の位置に応じた重み係数を適用して最終的な焦点評価値を算出するため、注目被写体に合焦しやすく、かつ、先の図2のように安定した焦点評価値を得ることができる。これにより、点光源のあるシーンにおいても精度よくAFを実現することができる。なお、各領域の重み係数の値については、図11の限りではない。例えば、画面の中心以外に存在する被写体に重点を置いたAF制御を行う場合は、被写体が存在する任意の領域の重み係数が最も大きくなるように設定し、該領域からの距離に応じてその他の領域の重み係数を決定してももちろん構わない。また、全ての重み係数を等しくすれば、図7と同等の焦点評価値を得ることができる。
(3)点光源領域減算方式
ここでは、画面内に大領域を設定し、大領域内の点光源が存在する部分に、点光源全体を覆うように小領域を設定し、大領域の焦点評価値から小領域の焦点評価値の積算値を減算することによって焦点評価値を算出する手法について説明する。本実施例では、これを点光源領域減算方式と呼ぶ。
【0020】
点光源領域減算方式について詳細に説明する。図14は、本実施形態に係る画像信号処理装置の第二の基本構成例を示す図である。なお、図1で示した構成と同様の構成については適宜説明を省略する。撮像部1401は、絞りD1401、フォーカスレンズD1402、撮像素子D1403を適宜用いて構成され、図1の101と同様の機能を持ち、それぞれシステム制御部1408により、絞り制御C1401、レンズ制御C1402、シャッタ・利得制御C1403がなされる。大領域設定部1402は、システム制御部1408からの命令で、被写体ではなく背景に合焦してしまういわゆる後ピンを防ぐために、画面よりも小さく、小領域設定部1403よりも大きい領域を設定する。小領域設定部1403は、システム制御部1408からの命令で、任意の数、大きさ、位置に小領域を設定する。点光源検出部1404は、システム制御部1408からの命令で、撮像部101から得た画像信号のうち、大領域設定部1402が設定した大領域の画像信号を閾値と比較することで、大領域内の点光源の有無を判定及び検出し、点光源の位置や大きさなどの情報を得る。焦点評価値算出部1405は、システム制御部1408からの命令で、システム制御部1408によって指定された領域の画像信号を用いて焦点評価値を算出する。焦点評価値とは、例えば、指定された領域の画像信号に対してラインごとにBPF(Band Path Filter)をかけた値を積算した信号である。画像処理部1406は、システム制御部1408からの命令で、画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、TVやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理を行う。出力インタフェース処理とは、例えば、NTSCやPALのビデオ出力に変換するものであり、例えば、HDMI信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。外部装置1407は、例えば、各種設定を保存するために用いるEEPROM(Electrically Erasable Programmable Read-Only Memory)や、各種センサ、フラッシュメモリなどの外部装置であり、システム制御部1408によって制御される。システム制御部1408は、撮像部1401、大領域設定部1402、小領域設定部1403、点光源検出部1404、焦点評価値算出部1405、画像処理部1406、外部装置1407を制御する。AF部1409は、AF制御に必要なブロック群を示す。以上の構成により、点光源検出部1404が、大領域設定部1402が設定した大領域内の点光源の位置及び大きさを算出し、算出結果を用いて、システム制御部1408が、小領域設定部1403に、点光源を覆うように小領域を設定するよう命令する。焦点評価値算出部1405が、大領域内の画像信号から焦点評価値(大)及び小領域内の画像信号から焦点評価値(小)を算出する。システム制御部1408は、焦点評価値(大)から焦点評価値(小)を減算することで、最終的な焦点評価値を得る。得られた焦点評価値は、点光源が存在しない領域の画像信号から得た焦点評価値と同等であるため、点光源のあるシーンにおいても点光源の影響を受けない精度よいAF制御を実現することができる。また、本手法は、ハードウェアは、システム制御部1408(図14)から指定された領域の焦点評価値を算出すれば良く、点光源対応の焦点評価値を算出する処理はシステム制御部1408(図14)によってソフトウェア処理されるため、ソフトウェアによる柔軟な制御が可能となる。
【0021】
図15は、大領域内に点光源が存在した場合の小領域設定方法の一例を示す図である。1501は大領域を示す。1502は大領域内の点光源を示す。1503は、大領域内の点光源を覆うような大きさ及び位置で設定された小領域を示す。図16は、大領域内に点光源が複数ある場合の小領域設定方法の一例を示す図である。1601は大領域を示す。1602及び1603は、大領域内の点光源を示す。1604及び1605は、点光源を覆うような大きさ及び位置で複数設定された小領域を示す。
【0022】
図17は、点光源の位置及び大きさに合わせて小領域を設定する点光源対応AFの一例を説明するフロー図である。図17の処理は、システム制御部1408(図14)によって実行される。ステップS1701では、システム制御部1408(図14)が大領域の位置及び大きさを指定し、大領域設定部1402(図14)は大領域を設定する。ステップS1702では、点光源検出部1404(図14)が、ステップS1701で設定された大領域内の点光源を検出する。ステップS1703では、システム制御部1408(図14)は、点光源検出部1404(図14)から点光源の位置及び大きさなどの情報を得る。ステップS1704では、システム制御部1408(図14)がステップS1703で得た情報を用いて、小領域設定部1403(図14)が点光源を覆うように小領域を設定するよう命令する。ステップS1705では、大領域設定部1402(図14)が設定した領域内の画像信号を用いて、焦点評価値算出部1405(図14)が焦点評価値を算出する(AT)。ステップS1706では、小領域設定部1402(図14)が設定した領域内の画像信号を用いて、焦点評価値算出部1405(図4)が焦点評価値を算出する(ST)。小領域が複数ある場合は、小領域ごとの焦点評価値の積算値をSTとする。ステップS1707では、システム制御部1408(図14)が、大領域の焦点評価値(AT)から小領域の焦点評価値(ST)を減算し、最終的な焦点評価値とする。ステップS1708では、ステップS1707で算出した焦点評価値を用いてフォーカスレンズを一定量制御する。ステップS1709では、フォーカスレンズが合焦点にあるか否かを判定し、合焦点にある場合は処理を終了する。合焦点に無い場合は、ステップS1705に戻り、一連の処理を行う。以上の処理により、大領域の焦点評価値から小領域の焦点評価値を減算することによって、点光源が存在しない領域の画像信号から得た焦点評価値と同等の焦点評価値を得ることができるため、点光源のあるシーンにおいても点光源の影響を受けない精度よいAF制御を実現することができる。
【0023】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0024】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0025】
401…外枠、402…401の枠を分割した領域のひとつ、501…外枠、502…点光源、503…点光源が存在する領域、601…外枠、602…点光源、603…図5の点光源が存在する領域、604…点光源が存在する領域、1101…重み係数が最も小さい小領域、1102…重み係数が二番目に小さい小領域、1103…重み係数が三番目に小さい小領域、1104…重み係数が最も大きい小領域、1501…AF枠、1502…点光源、1503…小領域、1601…AF枠、1602…点光源、1603…点光源、1604…小領域、1605…小領域
【技術分野】
【0001】
本発明は、画像信号処理装置に関する。
【背景技術】
【0002】
本技術分野の背景技術として、例えば、特許文献1がある。特許文献1には、「[課題] 点光源がある場面でも合焦位置を正しく且つ容易に判定して合焦すること。[解決手段] 互いに大きさが異なる複数の焦点評価値算出エリアを画像に対して設定し、レンズドライバ55によりフォーカスレンズ52を移動させながら、各焦点評価値算出エリアごとに画像のコントラストの焦点評価値を算出する焦点評価値算出手段、フォーカスレンズ52の合焦位置を判定するための合焦判定エリアを、画像における点光源の有無に基づいて複数の焦点評価値算出エリアから選択するエリア選択手段、および、合焦判定エリアにおける焦点評価値に基づいてフォーカスレンズ52の合焦位置を判定し、レンズドライバ55により合焦位置にフォーカスレンズ52を移動させる合焦制御手段としてCPU70を備えた。」と記載されている(要約参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−286791号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1(特開2010−286791号公報)では、点光源下におけるAF動作性能を向上する手法が述べられているが、AF制御中にフォーカスレンズの位置によって飽和画素の位置や大きさが刻々と変化した場合に、選択される合焦判定エリアが頻繁に切り替わってしまい、焦点評価値が安定して得られず正確に合焦できない可能性がある。
【0005】
本発明は、上記課題を解決し、点光源のあるシーンにおいても精度よくAFを実現する画像信号処理装置を提供するものである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
(1)フォーカスレンズを備える撮像手段と、前記フォーカスレンズを合焦点に移動させるために用いる焦点評価値を算出する対象となる領域内の点光源を検出する点光源検出手段と、前記点光源検出手段により検出された点光源の存在する領域を特定し、前記焦点評価値を算出する対象となる領域から前記特定した点光源の存在する領域を除外した領域に対して焦点評価値を算出する評価値算出手段と、前記評価値算出手段により算出された焦点評価値に基づいて前記フォーカスレンズを制御して、AF制御開始から合焦までを制御するシステム制御手段と、を有し、前記システム制御手段は、前記AF制御開始から合焦まで、前記評価値算出手段が前記特定した点光源の存在する領域を変更しないように制御することを特徴とする画像信号処理装置である。
(2)(1)記載の画像信号処理装置であって、さらに、前記焦点評価値を算出する対象となる領域を複数の領域に分割して設定する領域設定手段を備え、前記評価値算出手段では、前記点光源の存在する領域は、前記領域設定手段により設定された分割領域単位で設定されることを特徴とする画像信号処理装置である。
(3)(2)記載の画像信号処理装置であって、前記評価値算出手段は、前記領域設定手段により設定された複数の分割領域ごとに重み係数を付加して前記焦点評価値を算出することを特徴とする画像信号処理装置である。
【発明の効果】
【0007】
本発明によれば、点光源のあるシーンにおいても精度よくAFを実現することが可能な画像信号処理装置を提供できる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る画像信号処理装置の第一の基本構成例を示す図である。
【図2】点光源が存在しない一般的な被写体におけるコントラストの強弱を判定するための焦点評価値の一例を示す図である。
【図3】点光源が存在する被写体における焦点評価値の一例を説明する図である。
【図4】画面内に設定された領域の一例を説明する図である。
【図5】点光源のある領域を特定することによる点光源対応AF制御の第一例を示す図である。
【図6】点光源のある領域を特定することによる点光源対応AF制御の第二例を示す図である。
【図7】画面内にタイル状に設定した領域を用いた点光源対応AF制御の処理の流れの一例を示す図である。
【図8】領域設定・点光源検出処理の詳細な流れの一例を示す図である。
【図9】点光源に対応したAF制御においてパン・チルト・ズームによる被写体の変化が発生した場合の処理の流れの一例を示す図である。
【図10】点光源に対応したAF制御において高輝度画素数が大幅に変動した場合の処理の流れの一例を示す図である。
【図11】焦点評価値を算出する際に領域の位置に対応した重み係数を用いる方法の一例について説明する図である。
【図12】重み係数を用いるAF制御全体の処理の流れを示すフロー図である。
【図13】重み係数を用いて焦点評価値を算出する処理の詳細を示すフロー図である。
【図14】本実施形態に係る画像信号処理装置の第ニの基本構成例を示す図である。
【図15】大領域内に点光源が存在した場合の小領域設定方法の一例を示す図である。
【図16】AF枠内に点光源が複数ある場合の小領域設定方法の一例を示す図である。
【図17】点光源の位置及び大きさに合わせて小領域を設定する点光源対応AFの一例を説明するフロー図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
(1)エリア分割方式の説明
ここでは、焦点評価値を算出する対象となる撮像領域を縦横任意の数でタイル状に設定し、領域ごとに点光源を検出し、点光源のある領域を、焦点評価値を算出する対象から除外する手段について説明する。本実施例では、これをエリア分割方式と呼ぶ。
エリア分割方式について詳細に説明する。図1は、本実施形態に係る画像信号処理装置の第一の基本構成例を示す図である。撮像部101は、被写体からの入射光の光量を調整する絞りD101と、絞りD101を通った光の焦点を調節するためのフォーカスレンズD102と、フォーカスレンズD102を通った光を光電変換し画像信号として出力する撮像素子D103などを適宜用いて構成され、それぞれシステム制御部107により、絞り制御C101、レンズ制御C102、シャッタ・利得制御C103がなされる。領域設定部102は、システム制御部107からの命令で、焦点評価値を算出する対象となる領域を、任意の数、大きさ、位置に設定する。点光源検出部103は、システム制御部107からの命令で、撮像部101から得た画像信号のうち、領域設定部102が設定した領域内の画像信号を閾値と比較することで、領域ごとに閾値以上の画素信号を点光源として、点光源の有無を検出する。焦点評価値算出部104は、システム制御部107からの命令で、点光源検出部103によって得た領域ごとの点光源の有無の情報を用いて、点光源が存在する領域を除外した領域の画像信号を用いて焦点評価値を算出する。ここで、焦点評価値とは、例えば、指定された領域の画像信号の輪郭部分の強さを検出するための、画像信号のラインごとに高周波成分を積算した信号である。画像処理部105は、システム制御部107からの命令で、撮像部101から得た画像信号に対して、ノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、TVやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理を適宜行う。出力インタフェース処理とは、例えば、NTSCやPALのビデオ出力に変換するものであり、例えば、HDMI信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。外部装置106は、例えば、各種設定を保存するために用いるEEPROM(Electrically Erasable Programmable Read-Only Memory)や、各種センサ、フラッシュメモリなどの外部装置であり、システム制御部107によって制御される。システム制御部107は、撮像部101、領域設定部102、点光源検出部103、焦点評価値算出部104、画像処理部105、外部装置106を制御する。AF部108は、領域設定部102、点光源検出部103、評価値算出部104を含む、AF制御に必要なブロック群を示す。以上の構成により、点光源検出部103が、点光源が存在する領域を特定し、特定結果を用いて焦点評価値算出部104が焦点評価値算出対象領域から点光源が存在する領域を除外して焦点評価値を算出することができるため、点光源のあるシーンにおいても精度よくAFを実現することができる。
【0010】
図2は、点光源が存在しない一般的な被写体におけるコントラストの強弱を判定するための焦点評価値の一例を示す図である。横軸はフォーカスレンズの位置を表わし、縦軸は焦点評価値を表わす。以下では、被写体に焦点が合うフォーカスレンズ位置を合焦点と呼ぶ。一般的な被写体では、フォーカスレンズが合焦点に近づくほど輪郭部分が強くなるため焦点評価値のレベルが増加し、離れるほど輪郭部分が弱くなり減少する。そのため、焦点評価値のピークを検出し、フォーカスレンズをその点に移動制御することで、正確に被写体に合焦させることができる。
【0011】
図3は、点光源が存在する被写体における焦点評価値の一例を説明する図である。本来の合焦点は図の(A)に示すフォーカスレンズ位置だが、(A)の焦点評価値がピークになっていない。これは、点光源は合焦点から遠いほどぼやけて大きく見えるため、合焦点から遠いほど輪郭部分が強くなり、その結果焦点評価値が合焦点よりも大きな値となってしまうためである。そのため、点光源が存在する被写体に対して焦点評価値が最大の位置にフォーカスレンズを動かすAF制御を行うと(B)の偽合焦点を合焦点としてフォーカスレンズを停止させることになる。なお、ここで用いた偽合焦点とは、本実施例では、本来の合焦点ではないにもかかわらずAF制御によってフォーカスレンズが止まるフォーカスレンズ位置をいう。フォーカスレンズが偽合焦点で止まることにより、いわゆるピンボケが発生する。
【0012】
図4は、被写体の撮像画像を表示する撮像画面内に設定された領域の一例を示す図である。401で示す一番外側の枠は、合焦させたい被写体ではなく背景に合焦してしまういわゆる後ピンを防ぐために、撮像画面よりも小さくなるよう設定する。402は、401の枠を分割した領域のひとつを示す。本実施例では、401の枠を縦横に八分割した場合を例に説明するが分割数はこれに限られない。また、分割領域はタイル状としたが、正方形等適宜変更しても構わない。なお、領域設定部102をハードウェアで実現する場合、分割数が多すぎるとハードウェアコストが増加するが、性能向上のために分割数を増やしても構わないし、処理コスト削減のために分割数を減らしても構わない。
【0013】
図5及び図6は、点光源のある領域を特定することによる点光源対応AF制御の一例を説明する図である。図5は、AF制御開始直後の状態であるとする。501は、図4の401と同じ枠を示す。502は、501の枠内に存在する点光源を示す。また、フォーカスレンズの位置が合焦点から遠いため、点光源がぼやけて大きく見えている。この状態において点光源がある領域は、例えば503で示した通りになる。図6は、AF制御によって図5よりもフォーカスレンズが合焦点に近づいた状態であるとする。601は、501と同じ枠を示す。602は、601の枠内に存在する点光源を示す。フォーカスレンズが合焦点に近づいたため、AF枠に対する点光源の面積は図5よりも減少する。そのため、図5では点光源が存在していた領域でも、図6では点光源が存在しなくなる場合がある。図5の状態では603に示す領域に点光源が存在していたのに対し、図6の状態では604の枠内の領域にしか点光源が存在しない。しかし、フォーカスレンズの位置によって拡大・縮小する点光源に合わせて、点光源が存在すると判定する領域を頻繁に変えると、焦点評価値を算出する際に使用する領域数が変動するため、図2に示すような実際の合焦点に向かって単調増加となる安定した高精度の焦点評価値を得ることができない。そこで、本実施例では、フォーカスレンズの制御開始からフォーカスレンズが合焦点で停止するまでは、点光源が存在すると判定される領域を固定することとする。これにより、フォーカスレンズの移動に伴う点光源の大きさの変動の影響を受けない、安定した高精度の焦点評価値を得ることができる。
【0014】
図7は、図4から図6で説明した、画面内にタイル状に設定した領域を用いた点光源対応AF制御の処理の流れの一例を示す図である。図7の処理は、システム制御部107によって実行される。本手法は、画面内に、任意の大きさの領域をタイル状に並べるように設定し、各領域に対して点光源の有無を判定し、点光源が存在する領域を焦点評価値算出対象から除外するものである。AF制御が開始されると、ステップS701で、システム制御部107は、画面内に設定する領域の数を取得する。このとき、領域の数はEEPROM(外部装置106)などに縦方向横方向それぞれの値を保存し、それを用いても構わないし、定数を用いても構わない。また、画面内に設定する領域の総数を、n0として保持しておく。ステップS702で、システム制御部107は、領域設定部102が画面内に例えば図4のように領域を設定するよう命令し、点光源検出部103が、設定された領域ごとに点光源の有無を検出するよう命令する。ステップS702の処理の詳細については後述する。ステップS703では、システム制御部107は、点光源検出部103から、点光源が存在する領域に関する情報を取得する。このとき、点光源が存在する領域数をn1として保持しておく。ステップS704では、システム制御部107は、ステップS703で得た点光源存在領域情報を焦点評価値算出部104に設定し、焦点評価値算出対象から点光源が存在する領域を除外して焦点評価値を算出するよう命令する。ステップS705では、ステップS704で算出した焦点評価値を用いてフォーカスレンズを一定量制御する。ステップS706では、フォーカスレンズが合焦点にあるか否かを判定し、合焦点にある場合は処理を終了する。合焦点に無い場合は、ステップS703に戻り、一連の処理を行う。本実施例では、領域内の点光源を検出するのはステップS702の1回のみであるため、合焦するまで、焦点評価値を算出する対象となる領域の数は一定となる。そのため、一度フォーカスレンズの制御が開始したら、合焦点でフォーカスレンズが停止するまで、先の図2で示したような安定した高精度の焦点評価値を得ることができる。以上の処理により、点光源のあるシーンにおいても精度よくAFを実現することができる。
【0015】
図8は、図7のステップS702での、領域設定部102及び点光源検出部103による領域設定・点光源検出処理の詳細な流れの一例を示す図である。ステップS801では、領域設定部102が画面内にシステム制御部107によって設定された情報を用いて、例えば図4のように領域を設定する。ステップS802では、点光源検出部103が、画素ごとに信号レベルを閾値1と比較し、閾値1よりも値が大きければ該画素は点光源の一部であると判定し、ステップS803で高輝度画素カウンタを1インクリメントする。このとき、高輝度画素カウンタは例えばステップS801で設定した領域ごとに用意しておき、各画素が所属する領域の高輝度画素カウンタをインクリメントする。ステップS802で信号レベルが閾値1よりも小さければステップS804の判定を行う。ステップS804では、点光源検出部103が、ステップS801で設定した全ての領域の画素についてステップS802の判定をしたか否かを判定し、していない場合はステップS802に戻り、一連の処理を行う。全ての画素について判定が完了している場合は、ステップS805に進む。ステップS805では、点光源検出部103が、領域ごとの高輝度画素カウンタの値と閾値2の値を比較し、カウンタの値が閾値2よりも大きければステップS806に進む。ステップS806では、点光源検出部103が、注目領域に点光源が存在すると判定する。ステップS805で、カウンタの値が閾値2よりも小さければステップS807に進む。ステップS807では、点光源検出部103が、全ての領域についてステップS805の判定をしたか否かを判定し、していない場合にはステップS805に戻り、一連の処理を行う。全ての領域について判定が完了している場合は処理を終了する。なお、前記閾値1及び前記閾値2はEEPROM(外部装置106)などに値を保存し、それを用いても構わない。また、ステップS802の判定で、注目画素のみの信号レベルを閾値1と比較するのではなく、隣接画素との重みづけ平均によって算出した値を閾値1と比較しても構わない。本実施例では、図8の処理をハードウェアで行うことを想定しているが、ソフトウェアで行ってももちろん構わない。これにより、ランダムノイズの影響を軽減することができる。以上の処理により、領域ごとに点光源の有無を判定し、点光源が存在する領域を特定することができる。
【0016】
図9は、点光源に対応したAF制御においてパン・チルト・ズームによる被写体の変化が発生した場合の処理の流れの一例を示す図である。図9の処理は、システム制御部107によって実行される。ステップS906以外は、図7の対応する処理と同様の処理のため、適宜説明を省略する。ステップS906では、カメラがパン・チルト・ズームなどして被写体が変化した場合にYesと判定し、ステップS902に戻り、一連の処理を行う。ステップS906でNoと判定した場合は、ステップS907に進む。図9の処理が図7と異なるのは、フォーカスレンズの制御が開始してからフォーカスレンズが合焦点で止まるまでの間に、パン・チルト・ズームを検出した場合に、点光源の検出を行うことである。これは、カメラのパン・チルト・ズームによって点光源の位置が変化するため、その変化にAF制御を対応させるためである。なお、パン・チルト・ズームの検出は、例えば、焦点評価値の変化が一定以上であればパン・チルト・ズーム発生とする。その他にもジャイロセンサ(外部装置106)を用いても良いし、図1のAF部108内にヒストグラム算出部を加えてヒストグラムの変化を用いて行っても良い。これにより、例えば、カメラが移動して点光源の位置が変化した場合に、即座に最適な焦点評価値を算出することができるため、高精度にAF制御することができる。以上の処理により、フォーカスレンズ制御中であっても、点光源の位置や大きさなどが変化した場合は即座に点光源検出情報を更新することで、被写体の変化に迅速に対応した精度よいAF制御を実現することができる。
【0017】
図10は、点光源に対応したAF制御において高輝度画素数が大幅に変動した場合の処理の流れの一例を示す図である。図10の処理は、システム制御部107によって実行される。図10の処理では、点光源検出部103が、領域内の高輝度画素数の積算値を算出する。高輝度画素とは、8ビットデータの場合、例えば、信号レベルが230以上の画素である。ステップS1003及びステップS1006以外は、図7と同様の処理のため、適宜説明を省略する。ステップS1003では、点光源検出部103から、点光源が存在する領域に関する情報を取得する。このとき、点光源が存在する領域数n1及び高輝度画素数hlを設定する。ステップS1006では、例えば、点光源が消灯するなどして高輝度画素が大幅に減少した場合にYesと判定し、ステップS1002に戻り、一連の処理を行う。このとき、高輝度画素が大幅に変動したか否かの判定には、前回の高輝度画素数と最新の高輝度画素数の差分をとり、該差分が閾値よりも大きければYesと判定しても良い。そのほかにも、最新の高輝度画素数自体を閾値(暗)及び閾値(明)と比較し、該画素数が閾値(暗)よりも小さい、もしくは、該画素数が閾値(明)大きい場合に、Yesと判定しても構わない。ステップS1006でNoと判定した場合は、ステップS1007に進む。図10の処理が図7と異なるのは、フォーカスレンズの制御が開始してからフォーカスレンズが合焦点で止まるまでの間に、高輝度画素数が大幅に変動した場合に、点光源の検出を行うことである。これにより、例えば、光源が消灯するなどして点光源の影響がなくなった場合や、光源が点灯するなどして点光源の影響が新たに発生した場合に、即座に最適な焦点評価値を算出することができるため、高精度にAF制御することができる。以上の処理により、フォーカスレンズ制御中であっても、点光源の点灯状況などが変化した場合は即座に点光源検出情報を更新することで、被写体の変化に迅速に対応した精度よいAF制御を実現することができる。
(2)重み係数を用いたAF制御
ここでは、画面内に縦横任意の数の領域をタイル状に設定し、点光源の存在しない領域の焦点評価値に、領域の位置に応じた重み係数を乗算することによって、重み係数を大きく設定した領域内の被写体に合焦しやすく、かつ図2に示すような安定した焦点評価値を算出する手法について説明する。
【0018】
図11は、焦点評価値を算出する際に領域の位置に対応した重み係数を用いる方法の一例について示す図である。例えば、画面内に設定された外枠内の各領域のうち中心に近い領域ほど重み係数が大きいとし、1101に所属する領域の重み係数を1、1102に所属する領域の重み係数を2、1103に所属する領域の重み係数を3、1104に所属する領域の重み係数を4とする。
【0019】
図12及び図13は、図11に示した重み係数を用いて焦点評価値を算出する処理の流れの一例を示す図である。図12は、重み係数を用いるAF制御全体の処理の流れを示すフロー図である。図12の処理は、システム制御部107によって実行される。領域ごとの重み係数は、ステップS1202の前に、システム制御部107が、領域設定部102に対して設定しているものとする。この領域ごとの重み係数の設定及びステップS1204以外は、図7の対応する処理と同様の処理であるため、適宜説明を省略する。ステップS1204の処理は、図13を用いて説明する。図13は、図12のステップS1204で焦点評価値算出部104が、重み係数を用いて焦点評価値を算出する処理の詳細を示すフロー図である。ここでは、領域数カウンタをn、点光源が存在しない領域のうちn番目の領域の焦点評価値をAn、点光源が存在しない領域のうちn番目の領域の重み係数をWn、重み係数の合計値をWT、領域ごとの焦点評価値の積算値をATとする。また、n、WT及びATはステップS1301の前に値をゼロで初期化しておく。ステップS1301では、焦点評価値算出部104により点光源が存在しない領域の焦点評価値を領域ごとに算出する(An)。ステップS1302で、図12の処理で得られた領域設定数n0及び点光源が存在する領域数n1を用いて、点光源が存在しない領域数n3(n3=n0−n1)を算出し、n3とカウンタnを比較し、nが小さければステップS1303に、大きければステップS1307に進む。ステップS1303では、焦点評価値算出部104が、n番目の領域の焦点評価値に重み係数を乗算する(An=An*Wn)。ステップS1304では、焦点評価値算出部104が、n番目の領域に対応する重み係数を重み係数合計値に加算する(WT=WT+Wn)。ステップS1305では、焦点評価値算出部104が、n番目の領域の焦点評価値を積算する(AT=AT+An)。ステップS1306では、カウンタnを1インクリメントし、再びステップS1302に進む。ステップS1307では、焦点評価値算出部104が、焦点評価値積算値を重み係数合計値で除算し(AT=AT/WT)、これを最終的な焦点評価値とし、処理を終了する。本実施例では、図13の処理をハードウェアで行うことを想定しているが、ソフトウェアで行ってももちろん構わない。以上の処理により、点光源の存在しない領域の焦点評価値に、領域の位置に応じた重み係数を適用して最終的な焦点評価値を算出するため、注目被写体に合焦しやすく、かつ、先の図2のように安定した焦点評価値を得ることができる。これにより、点光源のあるシーンにおいても精度よくAFを実現することができる。なお、各領域の重み係数の値については、図11の限りではない。例えば、画面の中心以外に存在する被写体に重点を置いたAF制御を行う場合は、被写体が存在する任意の領域の重み係数が最も大きくなるように設定し、該領域からの距離に応じてその他の領域の重み係数を決定してももちろん構わない。また、全ての重み係数を等しくすれば、図7と同等の焦点評価値を得ることができる。
(3)点光源領域減算方式
ここでは、画面内に大領域を設定し、大領域内の点光源が存在する部分に、点光源全体を覆うように小領域を設定し、大領域の焦点評価値から小領域の焦点評価値の積算値を減算することによって焦点評価値を算出する手法について説明する。本実施例では、これを点光源領域減算方式と呼ぶ。
【0020】
点光源領域減算方式について詳細に説明する。図14は、本実施形態に係る画像信号処理装置の第二の基本構成例を示す図である。なお、図1で示した構成と同様の構成については適宜説明を省略する。撮像部1401は、絞りD1401、フォーカスレンズD1402、撮像素子D1403を適宜用いて構成され、図1の101と同様の機能を持ち、それぞれシステム制御部1408により、絞り制御C1401、レンズ制御C1402、シャッタ・利得制御C1403がなされる。大領域設定部1402は、システム制御部1408からの命令で、被写体ではなく背景に合焦してしまういわゆる後ピンを防ぐために、画面よりも小さく、小領域設定部1403よりも大きい領域を設定する。小領域設定部1403は、システム制御部1408からの命令で、任意の数、大きさ、位置に小領域を設定する。点光源検出部1404は、システム制御部1408からの命令で、撮像部101から得た画像信号のうち、大領域設定部1402が設定した大領域の画像信号を閾値と比較することで、大領域内の点光源の有無を判定及び検出し、点光源の位置や大きさなどの情報を得る。焦点評価値算出部1405は、システム制御部1408からの命令で、システム制御部1408によって指定された領域の画像信号を用いて焦点評価値を算出する。焦点評価値とは、例えば、指定された領域の画像信号に対してラインごとにBPF(Band Path Filter)をかけた値を積算した信号である。画像処理部1406は、システム制御部1408からの命令で、画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、TVやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理を行う。出力インタフェース処理とは、例えば、NTSCやPALのビデオ出力に変換するものであり、例えば、HDMI信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。外部装置1407は、例えば、各種設定を保存するために用いるEEPROM(Electrically Erasable Programmable Read-Only Memory)や、各種センサ、フラッシュメモリなどの外部装置であり、システム制御部1408によって制御される。システム制御部1408は、撮像部1401、大領域設定部1402、小領域設定部1403、点光源検出部1404、焦点評価値算出部1405、画像処理部1406、外部装置1407を制御する。AF部1409は、AF制御に必要なブロック群を示す。以上の構成により、点光源検出部1404が、大領域設定部1402が設定した大領域内の点光源の位置及び大きさを算出し、算出結果を用いて、システム制御部1408が、小領域設定部1403に、点光源を覆うように小領域を設定するよう命令する。焦点評価値算出部1405が、大領域内の画像信号から焦点評価値(大)及び小領域内の画像信号から焦点評価値(小)を算出する。システム制御部1408は、焦点評価値(大)から焦点評価値(小)を減算することで、最終的な焦点評価値を得る。得られた焦点評価値は、点光源が存在しない領域の画像信号から得た焦点評価値と同等であるため、点光源のあるシーンにおいても点光源の影響を受けない精度よいAF制御を実現することができる。また、本手法は、ハードウェアは、システム制御部1408(図14)から指定された領域の焦点評価値を算出すれば良く、点光源対応の焦点評価値を算出する処理はシステム制御部1408(図14)によってソフトウェア処理されるため、ソフトウェアによる柔軟な制御が可能となる。
【0021】
図15は、大領域内に点光源が存在した場合の小領域設定方法の一例を示す図である。1501は大領域を示す。1502は大領域内の点光源を示す。1503は、大領域内の点光源を覆うような大きさ及び位置で設定された小領域を示す。図16は、大領域内に点光源が複数ある場合の小領域設定方法の一例を示す図である。1601は大領域を示す。1602及び1603は、大領域内の点光源を示す。1604及び1605は、点光源を覆うような大きさ及び位置で複数設定された小領域を示す。
【0022】
図17は、点光源の位置及び大きさに合わせて小領域を設定する点光源対応AFの一例を説明するフロー図である。図17の処理は、システム制御部1408(図14)によって実行される。ステップS1701では、システム制御部1408(図14)が大領域の位置及び大きさを指定し、大領域設定部1402(図14)は大領域を設定する。ステップS1702では、点光源検出部1404(図14)が、ステップS1701で設定された大領域内の点光源を検出する。ステップS1703では、システム制御部1408(図14)は、点光源検出部1404(図14)から点光源の位置及び大きさなどの情報を得る。ステップS1704では、システム制御部1408(図14)がステップS1703で得た情報を用いて、小領域設定部1403(図14)が点光源を覆うように小領域を設定するよう命令する。ステップS1705では、大領域設定部1402(図14)が設定した領域内の画像信号を用いて、焦点評価値算出部1405(図14)が焦点評価値を算出する(AT)。ステップS1706では、小領域設定部1402(図14)が設定した領域内の画像信号を用いて、焦点評価値算出部1405(図4)が焦点評価値を算出する(ST)。小領域が複数ある場合は、小領域ごとの焦点評価値の積算値をSTとする。ステップS1707では、システム制御部1408(図14)が、大領域の焦点評価値(AT)から小領域の焦点評価値(ST)を減算し、最終的な焦点評価値とする。ステップS1708では、ステップS1707で算出した焦点評価値を用いてフォーカスレンズを一定量制御する。ステップS1709では、フォーカスレンズが合焦点にあるか否かを判定し、合焦点にある場合は処理を終了する。合焦点に無い場合は、ステップS1705に戻り、一連の処理を行う。以上の処理により、大領域の焦点評価値から小領域の焦点評価値を減算することによって、点光源が存在しない領域の画像信号から得た焦点評価値と同等の焦点評価値を得ることができるため、点光源のあるシーンにおいても点光源の影響を受けない精度よいAF制御を実現することができる。
【0023】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0024】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0025】
401…外枠、402…401の枠を分割した領域のひとつ、501…外枠、502…点光源、503…点光源が存在する領域、601…外枠、602…点光源、603…図5の点光源が存在する領域、604…点光源が存在する領域、1101…重み係数が最も小さい小領域、1102…重み係数が二番目に小さい小領域、1103…重み係数が三番目に小さい小領域、1104…重み係数が最も大きい小領域、1501…AF枠、1502…点光源、1503…小領域、1601…AF枠、1602…点光源、1603…点光源、1604…小領域、1605…小領域
【特許請求の範囲】
【請求項1】
フォーカスレンズを備える撮像手段と、
前記フォーカスレンズを合焦点に移動させるために用いる焦点評価値を算出する対象となる領域内の点光源を検出する点光源検出手段と、
前記点光源検出手段により検出された点光源の存在する領域を特定し、前記焦点評価値を算出する対象となる領域から前記特定した点光源の存在する領域を除外した領域に対して焦点評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された焦点評価値に基づいて前記フォーカスレンズを制御して、AF制御開始から合焦までを制御するシステム制御手段と、
を有し、
前記システム制御手段は、前記AF制御開始から合焦まで、前記評価値算出手段が前記特定した点光源の存在する領域を変更しないように制御することを特徴とする画像信号処理装置。
【請求項2】
請求項1記載の画像信号処理装置であって、
さらに、前記焦点評価値を算出する対象となる領域を複数の領域に分割して設定する領域設定手段を備え、
前記評価値算出手段では、前記点光源の存在する領域は、前記領域設定手段により設定された分割領域単位で設定されることを特徴とする画像信号処理装置。
【請求項3】
請求項2記載の画像信号処理装置であって、
前記評価値算出手段は、前記領域設定手段により設定された複数の分割領域ごとに重み係数を付加して前記焦点評価値を算出することを特徴とする画像信号処理装置。
【請求項4】
請求項2又は3に記載の画像信号処理装置であって、
前記領域設定手段により分割して設定された複数の領域は、任意の大きさの領域であって縦横任意の数でタイル状であることを特徴とする画像信号処理装置。
【請求項5】
請求項1記載の画像信号処理装置であって、
さらに、前記焦点評価値を算出する対象となる領域を任意の大きさ、位置に設定する任意領域設定手段を有することを特徴とする画像信号処理装置。
【請求項6】
請求項5記載の画像信号処理装置であって、
さらに、前記任意領域設定手段により設定された領域内に、さらに、任意の数、大きさ、位置の小領域を設定する小領域設定手段を備え、
前記システム制御手段は、前記小領域設定手段が設定する小領域の位置及び大きさを、前記点光源検出手段により検出された点光源の存在する領域の情報に基づいて制御することを特徴とする画像信号処理装置。
【請求項7】
請求項6記載の画像信号処理装置であって、
前記任意領域設定手段により設定された領域の画像信号から算出した焦点評価値から、前記小領域設定手段により設定された小領域の画像信号から算出した焦点評価値を減算することで、前記フォーカスレンズの制御に用いる焦点評価値を得ることを特徴とする画像信号処理装置。
【請求項8】
請求項5乃至7のいずれかに記載の画像信号処理装置であって、
前記任意領域設定手段は、領域の数も任意に設定可能であることを特徴とする画像信号処理装置。
【請求項9】
請求項1乃至8のいずれかに記載の画像信号処理装置であって、
さらに、パン・チルト検出手段を有し、
前記パン・チルト検出手段によりパン又はチルト動作が確認されると、前記AF制御開始から合焦までの間であっても、前記点光源検出手段により点光源を再検出することを特徴とする画像信号処理装置。
【請求項10】
請求項1乃至8のいずれかに記載の画像信号処理装置であって、
高輝度画素数が所定値以上に変動した場合には、前記AF制御開始から合焦までの間であっても、前記点光源検出手段により点光源を再検出することを特徴とする画像信号処理装置。
【請求項1】
フォーカスレンズを備える撮像手段と、
前記フォーカスレンズを合焦点に移動させるために用いる焦点評価値を算出する対象となる領域内の点光源を検出する点光源検出手段と、
前記点光源検出手段により検出された点光源の存在する領域を特定し、前記焦点評価値を算出する対象となる領域から前記特定した点光源の存在する領域を除外した領域に対して焦点評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された焦点評価値に基づいて前記フォーカスレンズを制御して、AF制御開始から合焦までを制御するシステム制御手段と、
を有し、
前記システム制御手段は、前記AF制御開始から合焦まで、前記評価値算出手段が前記特定した点光源の存在する領域を変更しないように制御することを特徴とする画像信号処理装置。
【請求項2】
請求項1記載の画像信号処理装置であって、
さらに、前記焦点評価値を算出する対象となる領域を複数の領域に分割して設定する領域設定手段を備え、
前記評価値算出手段では、前記点光源の存在する領域は、前記領域設定手段により設定された分割領域単位で設定されることを特徴とする画像信号処理装置。
【請求項3】
請求項2記載の画像信号処理装置であって、
前記評価値算出手段は、前記領域設定手段により設定された複数の分割領域ごとに重み係数を付加して前記焦点評価値を算出することを特徴とする画像信号処理装置。
【請求項4】
請求項2又は3に記載の画像信号処理装置であって、
前記領域設定手段により分割して設定された複数の領域は、任意の大きさの領域であって縦横任意の数でタイル状であることを特徴とする画像信号処理装置。
【請求項5】
請求項1記載の画像信号処理装置であって、
さらに、前記焦点評価値を算出する対象となる領域を任意の大きさ、位置に設定する任意領域設定手段を有することを特徴とする画像信号処理装置。
【請求項6】
請求項5記載の画像信号処理装置であって、
さらに、前記任意領域設定手段により設定された領域内に、さらに、任意の数、大きさ、位置の小領域を設定する小領域設定手段を備え、
前記システム制御手段は、前記小領域設定手段が設定する小領域の位置及び大きさを、前記点光源検出手段により検出された点光源の存在する領域の情報に基づいて制御することを特徴とする画像信号処理装置。
【請求項7】
請求項6記載の画像信号処理装置であって、
前記任意領域設定手段により設定された領域の画像信号から算出した焦点評価値から、前記小領域設定手段により設定された小領域の画像信号から算出した焦点評価値を減算することで、前記フォーカスレンズの制御に用いる焦点評価値を得ることを特徴とする画像信号処理装置。
【請求項8】
請求項5乃至7のいずれかに記載の画像信号処理装置であって、
前記任意領域設定手段は、領域の数も任意に設定可能であることを特徴とする画像信号処理装置。
【請求項9】
請求項1乃至8のいずれかに記載の画像信号処理装置であって、
さらに、パン・チルト検出手段を有し、
前記パン・チルト検出手段によりパン又はチルト動作が確認されると、前記AF制御開始から合焦までの間であっても、前記点光源検出手段により点光源を再検出することを特徴とする画像信号処理装置。
【請求項10】
請求項1乃至8のいずれかに記載の画像信号処理装置であって、
高輝度画素数が所定値以上に変動した場合には、前記AF制御開始から合焦までの間であっても、前記点光源検出手段により点光源を再検出することを特徴とする画像信号処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2013−97082(P2013−97082A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−238188(P2011−238188)
【出願日】平成23年10月31日(2011.10.31)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願日】平成23年10月31日(2011.10.31)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]