被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
【課題】画像中の任意の被写体が指定された場合に、指定された領域から目的とする被写体領域を判定し抽出する。
【解決手段】画像中から所定の被写体領域を抽出する被写体領域抽出装置であって、前記画像中から前記所定の被写体を含む領域を指定する指定手段と、前記指定手段により指定された領域から前記所定の被写体が持つ特徴量を抽出する抽出手段と、前記指定された領域に含まれる前記所定の被写体が持つ特徴量と一致する特徴画素の分布状況に基づいて当該指定された領域における前記所定の被写体の位置の偏りを検出する検出手段と、前記指定された領域における前記所定の被写体の位置の偏りが小さくなるように当該指定された領域の位置を補正する補正手段と、を備え、前記抽出手段は、前記指定された領域内の各画素の色相成分および明度成分の少なくともいずれかを用いて前記特徴量を抽出すると共に、被写体から得られる色情報に応じて前記色相成分と明度成分の重み付けを変えて前記特徴量を抽出する。
【解決手段】画像中から所定の被写体領域を抽出する被写体領域抽出装置であって、前記画像中から前記所定の被写体を含む領域を指定する指定手段と、前記指定手段により指定された領域から前記所定の被写体が持つ特徴量を抽出する抽出手段と、前記指定された領域に含まれる前記所定の被写体が持つ特徴量と一致する特徴画素の分布状況に基づいて当該指定された領域における前記所定の被写体の位置の偏りを検出する検出手段と、前記指定された領域における前記所定の被写体の位置の偏りが小さくなるように当該指定された領域の位置を補正する補正手段と、を備え、前記抽出手段は、前記指定された領域内の各画素の色相成分および明度成分の少なくともいずれかを用いて前記特徴量を抽出すると共に、被写体から得られる色情報に応じて前記色相成分と明度成分の重み付けを変えて前記特徴量を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体領域抽出装置およびその制御方法、並びに被写体追跡装置、並びにプログラムに関する。
【背景技術】
【０００２】
時系列的に逐次供給される画像から特定の被写体を検出し、その検出した被写体を追跡する画像処理方法は非常に有用であり、例えば動画像における人間の顔領域の人体領域の特定に利用されている。この画像処理方法は、通信会議、マン・マシン・インタフェース、セキュリティ、特定の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。また、デジタルカメラやデジタルビデオカメラでは、撮影画像からタッチパネルなどを用いて任意の被写体を指定し追跡することにより、時系列的に逐次供給される画像から特定の被写体を検出し、その結果を制御対象として焦点や露出を最適化させている。
【０００３】
例えば、特許文献１には、画像中の顔の位置を検出し、顔に焦点を合わせると共に、顔に最適な露出で撮影する撮影装置が開示されている。また、検出された顔を追跡することにより、時系列的に安定した制御が可能になる。また、特許文献２には、自動で特定の被写体を追跡する技術として、テンプレートマッチングの手法を利用した技術が記載されている。テンプレートマッチングは、追跡対象の画像領域を切り出した部分画像を基準画像（テンプレート画像）として登録し、画像内で基準画像と最も相関度が高い領域を推定し、特定の被写体を追跡する手法である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３１８５５４号公報
【特許文献２】特開２００１−０６０２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献２では、基準画像（テンプレート画像）と供給された画像との相関度に基づき、被写体を追跡する。この被写体追跡における基準画像の登録方法としては、タッチパネルなどを用いて画像中の任意の領域を指定し、この指定領域を基準として基準画像を登録する。タッチパネルなどを用いて画像中の任意の領域を指定することにより、任意の被写体を追跡することができる。
【０００６】
ここで、指定領域が目的とする追跡対象の重心からずれていた場合などでは、基準画像内に背景などの目的とする追跡対象とは異なる画像が含まれる。背景などの目的とする追跡対象とは異なる画像が混在した基準画像を用いた場合、追跡対象とは異なる画像の影響により誤った領域を追跡してしまう場合がある。
【０００７】
本発明は、上記課題に鑑みてなされ、画像中の任意の被写体が指定された場合に、指定された領域から目的とする被写体領域を判定し抽出する技術を実現する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の被写体領域抽出装置は、画像中から所定の被写体領域を抽出する被写体領域抽出装置であって、前記画像中から前記所定の被写体を含む領域を指定する指定手段と、前記指定手段により指定された領域から前記所定の被写体が持つ特徴量を抽出する抽出手段と、前記指定された領域に含まれる前記所定の被写体が持つ特徴量と一致する特徴画素の分布状況に基づいて当該指定された領域における前記所定の被写体の位置の偏りを検出する検出手段と、前記指定された領域における前記所定の被写体の位置の偏りが小さくなるように当該指定された領域の位置を補正する補正手段と、を備え、前記抽出手段は、前記指定された領域内の各画素の色相成分および明度成分の少なくともいずれかを用いて前記特徴量を抽出すると共に、被写体から得られる色情報に応じて前記色相成分と明度成分の重み付けを変えて前記特徴量を抽出する。
【発明の効果】
【０００９】
本発明によれば、画像中の被写体が指定された領域と、画像中の目的とする被写体の位置とにずれがあった場合などでも、目的とする被写体を抽出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る実施形態の撮像装置の構成を示すブロック図である。
【図２】図１の特徴量抽出部および偏り検出部の構成を示すブロック図である。
【図３】本実施形態の被写体領域抽出処理を示すフローチャートである。
【図４】本実施形態の特徴量抽出処理を示すフローチャートである。
【図５】本実施形態の偏り検出処理を示すフローチャートである。
【図６】本実施形態の被写体領域抽出処理を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１２】
＜撮像装置の構成および動作＞先ず、図１を参照して、本発明の被写体領域抽出装置として機能する実施形態の撮像装置の構成および動作について説明する。図１に示すように、撮像装置１００では、撮像レンズ１０１によって被写体像を表す光線が集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどである撮像素子１０２に入射する。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号は、撮像素子１０２で撮像された被写体像を示すアナログの映像信号である。
【００１３】
撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、制御部１０５および画像処理部１０６に入力される。
【００１４】
制御部１０５は、ＣＰＵ（Central Processing Unit）やマイクロコントローラなどであり、撮像装置１００の動作を中央制御する。具体的には、制御部１０５は、ＲＯＭ（Read Only Memory）に記憶されたプログラムコードをＲＡＭ（Random Access Memory）の作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。
【００１５】
画像処理部１０６においては、入力されたデジタル形式の映像信号に対して、ガンマ補正、ホワイトバランス処理などの画像処理が行われる。なお、画像処理部１０６は、通常の画像処理に加え、後述する被写体領域抽出部１１０から供給される画像中の特定の被写体領域に関する情報を用いた画像処理を行う機能も有する。
【００１６】
画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。撮像装置１００は、撮像素子１０２で時系列的に逐次撮像した画像を表示部１０７に逐次表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、後述する被写体領域抽出部１１０により抽出された被写体領域の位置などを表示可能とする。
【００１７】
また、画像処理部１０６から出力された映像信号は、記録媒体１０８、例えば着脱可能なメモリーカードに記録される。なお、映像信号の記録先は、撮像装置１００の内蔵メモリであっても、通信インタフェースにより通信可能に接続された外部装置（いずれも図示しない）であってもよい。
【００１８】
被写体指定部１０９は、例えばユーザが操作可能なタッチパネルやボタン等の入力インタフェースからなり、被写体領域抽出部１１０によって抽出するための任意の被写体を指定する。
【００１９】
被写体領域抽出部１１０では、画像処理部１０６から供給される画像中において被写体指定部１０９により指定された領域から目的とする被写体領域を抽出する。被写体領域抽出部１１０は後述する特徴量抽出部１１１、偏り検出部１１２、領域補正部１１３を備える。
【００２０】
特徴量抽出部１１１は、画像処理部１０６から供給される画像中の所定の領域内から目的とする被写体の特徴を示す特徴量を抽出する。なお、上記所定の領域とは、被写体指定部１０９により指定された領域に対応している。特徴量抽出部１１１の詳細については後述する。
【００２１】
偏り検出部１１２は、画像処理部１０６から供給される画像中の指定領域内の、特徴量抽出部１１１により抽出された特徴量と一致する特徴画素の分布状況に基づき、当該指定領域内の目的とする被写体領域の偏りを検出する。偏り検出部１１２の詳細については後述する。
【００２２】
領域補正部１１３は、偏り検出部１１２により検出される偏りの量および方向に応じて、被写体指定部１０９により指定された領域を補正する。被写体領域抽出部１１０では、上記補正された指定領域を被写体領域として被写体を抽出する。
【００２３】
制御部１０５は、撮像素子１０２で撮像する際の焦点状況や露出状況などの撮像条件を制御する。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズ１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば、焦点制御機構は撮像レンズ１０１を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッタを駆動させるアクチュエータなどである。
【００２４】
制御部１０５は、上記焦点制御や露出制御に、被写体領域抽出部１１０により抽出された被写体領域の抽出結果としての情報を使用することができる。具体的には、被写体領域のコントラスト値を用いた焦点制御や、被写体領域の輝度値を用いた露出制御を行うことができる。したがって、撮像装置１００は、撮像画像における特定の被写体領域を考慮した撮像処理を行うことができる。また、制御部１０５は、撮像素子１０２の出力タイミングや出力画素など、撮像素子１０２の読み出し制御も行う。
【００２５】
＜特徴量抽出部１１１の構成および動作＞ここで、図２（ａ）を参照して、図１の特徴量抽出部１１１の構成および動作について説明する。図２（ａ）において、特徴量抽出部１１１は、ヒストグラム生成部２０１、特徴空間設定部２０２、彩度値算出部２０３、特徴成分重み付け部２０４を有する。
【００２６】
特徴量抽出部１１１は、画像処理部１０６から供給される画像中の指定領域から目的とする被写体の特徴を示す特徴量を抽出する。ここでは、画像処理部１０６から供給される画像は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）からなるＨＳＶ色空間により表現された画像とするが、これらに限定されるものではなく、例えば色相（Ｈ）、彩度（Ｓ）、輝度（Ｌ）からなるＨＬＳ色空間でもよい。先ず、ヒストグラム生成部２０１が、被写体指定部１０９により指定された領域内の各画素から色相成分および明度成分のヒストグラムを生成する。
【００２７】
特徴空間設定部２０２は、ヒストグラム生成部２０１により生成された色相成分および明度成分のヒストグラムから特徴空間を設定する。なお、色相成分および明度成分の各ヒストグラムの最大値を特徴空間とする。なお、色相成分および明度成分において所定の閾値以上となるヒスグラムが示す空間を特徴空間としてもよい。あるいは、色相成分および明度成分において、被写体指定部１０９により指定された領域外に存在する画素数に対する、領域内に存在する画素数の割合が、所定の閾値以上となる空間を特徴空間としてもよい。
【００２８】
彩度値算出部２０３は、被写体指定部１０９により指定された領域内の各画素について、特徴空間設定部２０２により設定された色相成分の特徴空間に属する画素を判定し、その画素群から彩度の平均値を算出する。なお、色相成分の特徴空間に属する画素から彩度の値を計算する方法は、中央値などの他の算出方法であってもよい。
【００２９】
特徴成分重み付け部２０４は、特徴空間設定部２０２により設定された特徴空間の色相成分および明度成分を特徴量とする各成分の重み付けを行う。具体的には、彩度値算出部２０３により算出された彩度の平均値と閾値とを比較し、閾値以上ならば、色相成分の特徴空間を主として重み付けをする一方、彩度の平均値が閾値未満ならば、明度成分の特徴空間を主として重み付けをする。
【００３０】
＜偏り検出部の構成および動作＞次に、図２（ｂ）を参照して、図１の偏り検出部１１２の構成および動作について説明する。図２（ｂ）において、偏り検出部１１２は、領域分割部２０５、特徴分布判定部２０６、偏り算出部２０７を有する。
【００３１】
偏り検出部１１２は、特徴量抽出部１１１により抽出された特徴量と一致する特徴画素の分布状況に基づき、指定領域内の目的とする被写体領域の位置の偏りを検出する。領域分割部２０５は、被写体指定部１０９により指定された領域において、その領域の中心を通る対称軸を垂直方向および水平方向それぞれに対して設定し領域を分割する。すなわち、対称軸は指定された領域を垂直方向および水平方向にそれぞれ二等分する直線である。特徴分布判定部２０６は、指定領域内の各画素において、特徴量抽出部１１１により抽出された特徴量に属する画素を特徴画素として判定する。そして、領域分割部２０５により分割された各領域において特徴画素数の和を算出する。
【００３２】
偏り算出部２０７は、特徴分布判定部２０６による領域分割部２０５により分割された各領域の特徴画素数に応じて、指定領域内の目的とする被写体領域の偏りの量および方向を算出する。偏り方向は、対称軸と直交し、対称軸を境に分割された二つの領域における特徴画素数の多い領域の方向とする。また、補正量は、被写体領域の位置を補正した際に、対称軸を中心とした特徴画素の分布状況の偏りが小さくなるように、分割された二つの領域の特徴画素数の差に応じた値とする。つまり、水平方向の偏り量は、垂直方向の軸により分割された二つ領域の特徴画素数の差に応じて決定され、垂直方向の偏り量は、水平方向の軸に分割された二つ領域の特徴画素数の差に応じて決定される。なお、ここでは、被写体領域を水平方向および垂直方向にそれぞれ２つの領域に分割する例を挙げて説明を行ったが、被写体領域における特徴画素の分布の偏りを検出できるように対称な複数の領域に分割するであれば、どのように分割してもよい。
【００３３】
なお、本実施形態では、被写体指定部１０９により指定された領域に基づき目的とする被写体領域を抽出する被写体領域抽出部１１０を有する撮像装置１００を例示した。しかしながら、撮像装置１００の被写体指定部１０９が入力インタフェースではなく、焦点制御機構や露出制御機構に利用される画像中の所定の領域（ＡＦ枠や測光枠など）に応じて目的する被写体領域を指定する構成であってもよい。
【００３４】
＜被写体領域抽出処理＞ここで、図３から図６を参照して、本実施形態の被写体領域抽出部１１０が実行する被写体領域抽出処理について説明する。図３に示すように、被写体領域抽出部１１０は、Ｓ３０１からＳ３０５の処理を行う。Ｓ３０２は特徴量抽出部１１１、Ｓ３０３は偏り検出部１１２、Ｓ３０４は領域補正部１１３による処理である。また図４に示すように、特徴量抽出部１１１は、Ｓ４０１からＳ４０６の処理を行う。Ｓ４０１はヒストグラム生成部２０１、Ｓ４０２は特徴空間設定部２０２、Ｓ４０３は彩度値算出部２０３、Ｓ４０４からＳ４０６は特徴成分重み付け部２０４による処理である。さらに図５に示すように、偏り検出部１１２は、Ｓ５０１からＳ５０９の処理を行う。Ｓ５０１は領域分割部２０５、Ｓ５０２およびＳ５０３は特徴分布判定部２０６、Ｓ５０４からＳ５０９は偏り算出部２０７による処理である。
【００３５】
また図６において、入力画像６０１は、点線の矩形で囲まれた領域が被写体指定部１０９により指定された領域に対応する。画像６０２は、特徴量抽出部１１１において抽出された特徴量に属する画素を白、特徴量に属さない画素を黒で表現した２値化画像である。画像６０３は指定領域を水平方向および垂直方向に分割した画像を示す。画像６０４は指定領域を領域補正部１１３により補正し、補正された領域を被写体領域として抽出した被写体抽出結果画像を示す。
【００３６】
図３のＳ３０１では、被写体領域抽出部１１０は、撮像素子１０２で逐次撮像された撮像画像を入力画像として読み込み、入力画像６０１に対して被写体指定部１０９により指定された領域を、例えば図６の入力画像６０１に示す点線の矩形のように設定する。次に、Ｓ３０２において、特徴量抽出部１１２は、Ｓ３０１で指定された領域内の画素から目的とする被写体を示す特徴量を抽出する。
【００３７】
ここで、特徴量を抽出する処理について図４を参照して説明する。まず、図４に示すＳ４０１において、指定領域内の各画素から色相成分および明度成分のヒストグラムを生成する。次に、Ｓ４０２において、色相成分および明度成分のヒストグラムの最大値を各成分の特徴空間として設定する。次に、Ｓ４０３において、指定領域内の各画素について色相成分の特徴空間に属する画素を判定し、属すると判定された画素の示す彩度の平均値を算出する。
【００３８】
次に、Ｓ４０４において、算出された彩度の平均値が所定の閾値以上か判定する。彩度の平均値が所定の閾値以上の場合（Ｓ４０４でＹＥＳ）、被写体が有彩色であるため、Ｓ４０５において、特徴量を色相成分の特徴空間を主とした特徴量とする。一方で、彩度の平均値が所定の閾値未満の場合（Ｓ４０４でＮＯ）、被写体が無彩色であるため、Ｓ４０６において、特徴量を明度成分の特徴空間を主とした特徴量とする。
【００３９】
ここで、特徴成分重み付け部２０４による彩度の平均値に応じて特徴量を抽出する際に用いる特徴成分の重み付けを変える処理（Ｓ４０４からＳ４０６）について説明する。抽出される特徴量としては、目的とする被写体領域とその他の背景などの領域とを分離できる特徴量が望ましい。色相成分は、照明変動の影響を受けにくく、被写体領域とその他の領域を分離する成分として優れている。但し、目的とする被写体が無彩色（彩度の値が小さい）の場合は、色相成分により被写体領域とその他の領域を分離することが困難な場合が多い。一方で、明度成分は、照明変動の影響を受けやすく、被写体領域とその他の領域を分離する精度は、目的とする被写体が有彩色（彩度の値が大きい）の場合では、色相成分による分離精度よりも劣る傾向がある。これらの傾向を踏まえ、特徴成分重み付け部２０４において彩度の平均値に応じて特徴成分に重み付けを行う。
【００４０】
上記重み付けの例としては、彩度の平均値が所定の閾値以上の場合は、色相成分の特徴空間のみを特徴量とし、彩度の平均値が所定の閾値未満の場合には、明度成分の特徴空間のみを特徴量とする。また、彩度の平均値が所定の閾値以上の場合は、色相成分の特徴空間は狭い範囲を設定し、明度成分の特徴空間は広い範囲を設定し、色相成分および明度成分の特徴空間に共に属する画素を特徴画素とする。これは、目的とする被写体が有彩色（彩度の値が大きい）の場合には、被写体領域において、色相の分散は小さく、明度の分散は大きいという傾向に基づいている。一方で、彩度の平均値が所定の閾値未満の場合は、色相成分の特徴空間は広い範囲を設定し、明度成分の特徴空間は狭い範囲を設定し、色相成分および明度成分の特徴空間に共に属する画素を特徴画素とする。これは、目的とする被写体が無彩色（彩度の値が小さい）の場合には、被写体領域において、色相の分散は大きいという傾向に基づいている。
【００４１】
上述した特徴成分重み付け部２０４による重み付けは一例であり、これらに限定されるものではなく、例えば彩度に代えて又は加えて、色相や明度以外の被写体領域から得られる輝度や色差などの色情報に応じて重み付けを変えるように構成してもよい。また、本実施形態では、明度成分および色相成分の特徴空間の少なくともいずれかを用いて特徴量を抽出する処理を例示したが、特徴量抽出方法は上述した処理に限定されない。例えば、特徴空間において、被写体とその他の領域との分離性能を高めるため、彩度による最大値および最小値を設定し、特徴空間を絞り込んでもよい。また、色相成分の特徴空間と明度成分の特徴空間の両方を用いるが、彩度の平均値が所定の閾値以上であるか、閾値未満であるかに応じて、それらの重み付けの比を変更するようにしてもよい。例えば、彩度の平均値が所定の閾値以上であれば、色相成分の特徴空間に含まれる画素と明度成分の特徴空間に含まれる画素の重み付けを２対１にして、後述のＳ３０３にて被写体領域の位置の偏りを検出すればよい。反対に、彩度の平均値が所定の閾値未満であれば、色相成分の特徴空間に含まれる画素と明度成分の特徴空間に含まれる画素の重み付けの比を１対２にして、後述のＳ３０３にて被写体領域の位置の偏りを検出すればよい。もしくは、彩度の平均値に応じて、この色相成分の特徴空間に含まれる画素と明度成分の特徴空間に含まれる画素の重み付けの比を、連続的に変化させるようにしてもよい。
【００４２】
図３の説明に戻り、Ｓ３０３において、偏り検出部１１３は、Ｓ３０２で抽出された特徴量に属する画素を特徴画素として判定し、特徴画素の分布状況から、指定領域内において目的とする被写体領域の位置の偏りを検出する。ここで、偏りを検出する処理について図５を参照して説明する。まず、図５に示すＳ５０１において、図６の画像６０３に示すように、垂直方向および水平方向に軸を設定し、それぞれ等分となるように、指定領域を四分割する。次に、Ｓ５０２において、指定領域内の各画素が、抽出された特徴量に属する画素を判定し、特徴量と属する画素を特徴画素とする。指定領域分割画像６０３は、特徴画素を白、非特徴画素を黒で表現した画像である。
【００４３】
次に、Ｓ５０３において、各分割領域において特徴画素数の和を算出する。次に、Ｓ５０４において、水平方向の軸により分割された領域間の特徴画素数の差（指定領域分割画像６０３における上２つの領域と下２つの領域との特徴画素数の差）が所定の閾値以上か判定する。閾値以上であれば（Ｓ５０４でＹＥＳ）、Ｓ５０５において垂直方向の偏りが検出される。一方で、閾値未満であれば（Ｓ５０４でＮＯ）、Ｓ５０６において、垂直方向の偏りは検出されない。指定領域分割画像６０３の場合では、垂直方向の偏りは検出されない（Ｓ５０６）。
【００４４】
次に、Ｓ５０７において、垂直方向の軸により分割された領域間の特徴画素数の差（指定領域分割画像６０３における左２つの領域と右２つの領域との特徴画素数の差）が所定の閾値以上か判定する。閾値以上であれば（Ｓ５０７でＹＥＳ）、Ｓ５０８において水平方向の偏りが検出される。一方で、閾値未満であれば（Ｓ５０７でＮＯ）、Ｓ５０９において、水平方向の偏りは検出されない。指定領域分割画像６０３の場合には水平方向の偏りは検出される（Ｓ５０８）。なお、特徴画素数の差分量に基づき補正量が決定される。
【００４５】
図３の説明に戻り、Ｓ３０４において、検出された偏りの量および方向に応じて、偏りが小さくなるように指定領域を補正する。次に、Ｓ３０５において、被写体抽出結果画像６０４に示す点線の矩形に囲まれた領域のように、補正された領域が被写体領域として抽出される。図６の被写体抽出結果画像６０４では、指定領域を右方向に補正した結果を示す。
【００４６】
なお、上述した処理では、補正された指定領域を被写体領域として被写体を抽出するように説明したが、以下のような処理を行ってもよい。すなわち、補正された指定領域において、再度偏り検出部１１２により偏りを検出し、偏りが検出された場合には、検出された偏りの量および方向に基づき、領域補正部１１３により指定領域を補正する。一方、偏りが検出されなかった場合には、その領域を被写体領域として抽出する。つまり、偏りが安定するまで、偏り検出部１１２および領域補正部１１３による処理を繰り返し実行する。
【００４７】
上述した実施形態によれば、画像中の指定領域と、画像中の目的とする被写体の位置とがずれていた場合でも、指定領域内から特徴量を抽出し、指定領域内における特徴画素の分布状況から目的とする被写体の位置の偏りを検出し、指定領域を補正する。これにより、目的とする被写体領域を抽出することができる。
【００４８】
なお、上述した実施形態では画像中から被写体領域を抽出する処理を行う被写体領域抽出装置について説明した。しかしながら、本発明を、被写体領域を抽出した結果を基準として、時系列的に逐次供給される画像から被写体領域を抽出し、被写体を時系列的に追跡する被写体追跡装置に適用してもよい。例えば、抽出された被写体領域を基準画像として登録し、時系列的に逐次供給される画像の部分領域と基準画像との相関度が最も高い領域を抽出することにより、被写体を追跡できる。
【００４９】
また、上述した実施形態では撮像装置に被写体領域抽出処理を行う被写体領域抽出装置を適用した場合を例示したが、被写体領域抽出装置を適用する機器は撮像装置に限定されない。例えば、外部機器や記録媒体などから供給される画像（再生データ）を表示する表示装置に被写体領域抽出を行う被写体領域抽出装置を適用してもよい。この表示装置では、再生データを被写体領域抽出処理のデータとし、被写体領域抽出処理が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体領域抽出処理により抽出された被写体の情報（画像中の被写体の位置、大きさなど）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。
【００５０】
また、上述した実施の形態は一例であり、これに限定されるものではない。上述した実施の形態における構成および動作に関しては適宜変更が可能である。例えば、領域補正部１１３は、被写体領域の位置補正だけでなく、被写体領域のサイズや形状を補正してもよい。被写体領域のサイズを補正する場合は、例えば、位置補正された領域の外周方向の各辺において、特徴画素の存在する度合いを判定し、特徴画素の存在する度合いが大きければ、その辺の領域を含めて被写体領域として抽出する。また、位置補正された領域の内周方向の各辺において、特徴画素の存在する度合いを判定し、特徴画素の存在する度合いが小さければ、その辺の領域を除いた領域を被写体領域として抽出する。これにより、適切な被写体領域を抽出することができる。
【００５１】
［他の実施形態］また、本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、および該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、被写体領域抽出装置およびその制御方法、並びに被写体追跡装置、並びにプログラムに関する。
【背景技術】
【０００２】
時系列的に逐次供給される画像から特定の被写体を検出し、その検出した被写体を追跡する画像処理方法は非常に有用であり、例えば動画像における人間の顔領域の人体領域の特定に利用されている。この画像処理方法は、通信会議、マン・マシン・インタフェース、セキュリティ、特定の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。また、デジタルカメラやデジタルビデオカメラでは、撮影画像からタッチパネルなどを用いて任意の被写体を指定し追跡することにより、時系列的に逐次供給される画像から特定の被写体を検出し、その結果を制御対象として焦点や露出を最適化させている。
【０００３】
例えば、特許文献１には、画像中の顔の位置を検出し、顔に焦点を合わせると共に、顔に最適な露出で撮影する撮影装置が開示されている。また、検出された顔を追跡することにより、時系列的に安定した制御が可能になる。また、特許文献２には、自動で特定の被写体を追跡する技術として、テンプレートマッチングの手法を利用した技術が記載されている。テンプレートマッチングは、追跡対象の画像領域を切り出した部分画像を基準画像（テンプレート画像）として登録し、画像内で基準画像と最も相関度が高い領域を推定し、特定の被写体を追跡する手法である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３１８５５４号公報
【特許文献２】特開２００１−０６０２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献２では、基準画像（テンプレート画像）と供給された画像との相関度に基づき、被写体を追跡する。この被写体追跡における基準画像の登録方法としては、タッチパネルなどを用いて画像中の任意の領域を指定し、この指定領域を基準として基準画像を登録する。タッチパネルなどを用いて画像中の任意の領域を指定することにより、任意の被写体を追跡することができる。
【０００６】
ここで、指定領域が目的とする追跡対象の重心からずれていた場合などでは、基準画像内に背景などの目的とする追跡対象とは異なる画像が含まれる。背景などの目的とする追跡対象とは異なる画像が混在した基準画像を用いた場合、追跡対象とは異なる画像の影響により誤った領域を追跡してしまう場合がある。
【０００７】
本発明は、上記課題に鑑みてなされ、画像中の任意の被写体が指定された場合に、指定された領域から目的とする被写体領域を判定し抽出する技術を実現する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の被写体領域抽出装置は、画像中から所定の被写体領域を抽出する被写体領域抽出装置であって、前記画像中から前記所定の被写体を含む領域を指定する指定手段と、前記指定手段により指定された領域から前記所定の被写体が持つ特徴量を抽出する抽出手段と、前記指定された領域に含まれる前記所定の被写体が持つ特徴量と一致する特徴画素の分布状況に基づいて当該指定された領域における前記所定の被写体の位置の偏りを検出する検出手段と、前記指定された領域における前記所定の被写体の位置の偏りが小さくなるように当該指定された領域の位置を補正する補正手段と、を備え、前記抽出手段は、前記指定された領域内の各画素の色相成分および明度成分の少なくともいずれかを用いて前記特徴量を抽出すると共に、被写体から得られる色情報に応じて前記色相成分と明度成分の重み付けを変えて前記特徴量を抽出する。
【発明の効果】
【０００９】
本発明によれば、画像中の被写体が指定された領域と、画像中の目的とする被写体の位置とにずれがあった場合などでも、目的とする被写体を抽出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る実施形態の撮像装置の構成を示すブロック図である。
【図２】図１の特徴量抽出部および偏り検出部の構成を示すブロック図である。
【図３】本実施形態の被写体領域抽出処理を示すフローチャートである。
【図４】本実施形態の特徴量抽出処理を示すフローチャートである。
【図５】本実施形態の偏り検出処理を示すフローチャートである。
【図６】本実施形態の被写体領域抽出処理を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１２】
＜撮像装置の構成および動作＞先ず、図１を参照して、本発明の被写体領域抽出装置として機能する実施形態の撮像装置の構成および動作について説明する。図１に示すように、撮像装置１００では、撮像レンズ１０１によって被写体像を表す光線が集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどである撮像素子１０２に入射する。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号は、撮像素子１０２で撮像された被写体像を示すアナログの映像信号である。
【００１３】
撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、制御部１０５および画像処理部１０６に入力される。
【００１４】
制御部１０５は、ＣＰＵ（Central Processing Unit）やマイクロコントローラなどであり、撮像装置１００の動作を中央制御する。具体的には、制御部１０５は、ＲＯＭ（Read Only Memory）に記憶されたプログラムコードをＲＡＭ（Random Access Memory）の作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。
【００１５】
画像処理部１０６においては、入力されたデジタル形式の映像信号に対して、ガンマ補正、ホワイトバランス処理などの画像処理が行われる。なお、画像処理部１０６は、通常の画像処理に加え、後述する被写体領域抽出部１１０から供給される画像中の特定の被写体領域に関する情報を用いた画像処理を行う機能も有する。
【００１６】
画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。撮像装置１００は、撮像素子１０２で時系列的に逐次撮像した画像を表示部１０７に逐次表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、後述する被写体領域抽出部１１０により抽出された被写体領域の位置などを表示可能とする。
【００１７】
また、画像処理部１０６から出力された映像信号は、記録媒体１０８、例えば着脱可能なメモリーカードに記録される。なお、映像信号の記録先は、撮像装置１００の内蔵メモリであっても、通信インタフェースにより通信可能に接続された外部装置（いずれも図示しない）であってもよい。
【００１８】
被写体指定部１０９は、例えばユーザが操作可能なタッチパネルやボタン等の入力インタフェースからなり、被写体領域抽出部１１０によって抽出するための任意の被写体を指定する。
【００１９】
被写体領域抽出部１１０では、画像処理部１０６から供給される画像中において被写体指定部１０９により指定された領域から目的とする被写体領域を抽出する。被写体領域抽出部１１０は後述する特徴量抽出部１１１、偏り検出部１１２、領域補正部１１３を備える。
【００２０】
特徴量抽出部１１１は、画像処理部１０６から供給される画像中の所定の領域内から目的とする被写体の特徴を示す特徴量を抽出する。なお、上記所定の領域とは、被写体指定部１０９により指定された領域に対応している。特徴量抽出部１１１の詳細については後述する。
【００２１】
偏り検出部１１２は、画像処理部１０６から供給される画像中の指定領域内の、特徴量抽出部１１１により抽出された特徴量と一致する特徴画素の分布状況に基づき、当該指定領域内の目的とする被写体領域の偏りを検出する。偏り検出部１１２の詳細については後述する。
【００２２】
領域補正部１１３は、偏り検出部１１２により検出される偏りの量および方向に応じて、被写体指定部１０９により指定された領域を補正する。被写体領域抽出部１１０では、上記補正された指定領域を被写体領域として被写体を抽出する。
【００２３】
制御部１０５は、撮像素子１０２で撮像する際の焦点状況や露出状況などの撮像条件を制御する。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズ１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば、焦点制御機構は撮像レンズ１０１を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッタを駆動させるアクチュエータなどである。
【００２４】
制御部１０５は、上記焦点制御や露出制御に、被写体領域抽出部１１０により抽出された被写体領域の抽出結果としての情報を使用することができる。具体的には、被写体領域のコントラスト値を用いた焦点制御や、被写体領域の輝度値を用いた露出制御を行うことができる。したがって、撮像装置１００は、撮像画像における特定の被写体領域を考慮した撮像処理を行うことができる。また、制御部１０５は、撮像素子１０２の出力タイミングや出力画素など、撮像素子１０２の読み出し制御も行う。
【００２５】
＜特徴量抽出部１１１の構成および動作＞ここで、図２（ａ）を参照して、図１の特徴量抽出部１１１の構成および動作について説明する。図２（ａ）において、特徴量抽出部１１１は、ヒストグラム生成部２０１、特徴空間設定部２０２、彩度値算出部２０３、特徴成分重み付け部２０４を有する。
【００２６】
特徴量抽出部１１１は、画像処理部１０６から供給される画像中の指定領域から目的とする被写体の特徴を示す特徴量を抽出する。ここでは、画像処理部１０６から供給される画像は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）からなるＨＳＶ色空間により表現された画像とするが、これらに限定されるものではなく、例えば色相（Ｈ）、彩度（Ｓ）、輝度（Ｌ）からなるＨＬＳ色空間でもよい。先ず、ヒストグラム生成部２０１が、被写体指定部１０９により指定された領域内の各画素から色相成分および明度成分のヒストグラムを生成する。
【００２７】
特徴空間設定部２０２は、ヒストグラム生成部２０１により生成された色相成分および明度成分のヒストグラムから特徴空間を設定する。なお、色相成分および明度成分の各ヒストグラムの最大値を特徴空間とする。なお、色相成分および明度成分において所定の閾値以上となるヒスグラムが示す空間を特徴空間としてもよい。あるいは、色相成分および明度成分において、被写体指定部１０９により指定された領域外に存在する画素数に対する、領域内に存在する画素数の割合が、所定の閾値以上となる空間を特徴空間としてもよい。
【００２８】
彩度値算出部２０３は、被写体指定部１０９により指定された領域内の各画素について、特徴空間設定部２０２により設定された色相成分の特徴空間に属する画素を判定し、その画素群から彩度の平均値を算出する。なお、色相成分の特徴空間に属する画素から彩度の値を計算する方法は、中央値などの他の算出方法であってもよい。
【００２９】
特徴成分重み付け部２０４は、特徴空間設定部２０２により設定された特徴空間の色相成分および明度成分を特徴量とする各成分の重み付けを行う。具体的には、彩度値算出部２０３により算出された彩度の平均値と閾値とを比較し、閾値以上ならば、色相成分の特徴空間を主として重み付けをする一方、彩度の平均値が閾値未満ならば、明度成分の特徴空間を主として重み付けをする。
【００３０】
＜偏り検出部の構成および動作＞次に、図２（ｂ）を参照して、図１の偏り検出部１１２の構成および動作について説明する。図２（ｂ）において、偏り検出部１１２は、領域分割部２０５、特徴分布判定部２０６、偏り算出部２０７を有する。
【００３１】
偏り検出部１１２は、特徴量抽出部１１１により抽出された特徴量と一致する特徴画素の分布状況に基づき、指定領域内の目的とする被写体領域の位置の偏りを検出する。領域分割部２０５は、被写体指定部１０９により指定された領域において、その領域の中心を通る対称軸を垂直方向および水平方向それぞれに対して設定し領域を分割する。すなわち、対称軸は指定された領域を垂直方向および水平方向にそれぞれ二等分する直線である。特徴分布判定部２０６は、指定領域内の各画素において、特徴量抽出部１１１により抽出された特徴量に属する画素を特徴画素として判定する。そして、領域分割部２０５により分割された各領域において特徴画素数の和を算出する。
【００３２】
偏り算出部２０７は、特徴分布判定部２０６による領域分割部２０５により分割された各領域の特徴画素数に応じて、指定領域内の目的とする被写体領域の偏りの量および方向を算出する。偏り方向は、対称軸と直交し、対称軸を境に分割された二つの領域における特徴画素数の多い領域の方向とする。また、補正量は、被写体領域の位置を補正した際に、対称軸を中心とした特徴画素の分布状況の偏りが小さくなるように、分割された二つの領域の特徴画素数の差に応じた値とする。つまり、水平方向の偏り量は、垂直方向の軸により分割された二つ領域の特徴画素数の差に応じて決定され、垂直方向の偏り量は、水平方向の軸に分割された二つ領域の特徴画素数の差に応じて決定される。なお、ここでは、被写体領域を水平方向および垂直方向にそれぞれ２つの領域に分割する例を挙げて説明を行ったが、被写体領域における特徴画素の分布の偏りを検出できるように対称な複数の領域に分割するであれば、どのように分割してもよい。
【００３３】
なお、本実施形態では、被写体指定部１０９により指定された領域に基づき目的とする被写体領域を抽出する被写体領域抽出部１１０を有する撮像装置１００を例示した。しかしながら、撮像装置１００の被写体指定部１０９が入力インタフェースではなく、焦点制御機構や露出制御機構に利用される画像中の所定の領域（ＡＦ枠や測光枠など）に応じて目的する被写体領域を指定する構成であってもよい。
【００３４】
＜被写体領域抽出処理＞ここで、図３から図６を参照して、本実施形態の被写体領域抽出部１１０が実行する被写体領域抽出処理について説明する。図３に示すように、被写体領域抽出部１１０は、Ｓ３０１からＳ３０５の処理を行う。Ｓ３０２は特徴量抽出部１１１、Ｓ３０３は偏り検出部１１２、Ｓ３０４は領域補正部１１３による処理である。また図４に示すように、特徴量抽出部１１１は、Ｓ４０１からＳ４０６の処理を行う。Ｓ４０１はヒストグラム生成部２０１、Ｓ４０２は特徴空間設定部２０２、Ｓ４０３は彩度値算出部２０３、Ｓ４０４からＳ４０６は特徴成分重み付け部２０４による処理である。さらに図５に示すように、偏り検出部１１２は、Ｓ５０１からＳ５０９の処理を行う。Ｓ５０１は領域分割部２０５、Ｓ５０２およびＳ５０３は特徴分布判定部２０６、Ｓ５０４からＳ５０９は偏り算出部２０７による処理である。
【００３５】
また図６において、入力画像６０１は、点線の矩形で囲まれた領域が被写体指定部１０９により指定された領域に対応する。画像６０２は、特徴量抽出部１１１において抽出された特徴量に属する画素を白、特徴量に属さない画素を黒で表現した２値化画像である。画像６０３は指定領域を水平方向および垂直方向に分割した画像を示す。画像６０４は指定領域を領域補正部１１３により補正し、補正された領域を被写体領域として抽出した被写体抽出結果画像を示す。
【００３６】
図３のＳ３０１では、被写体領域抽出部１１０は、撮像素子１０２で逐次撮像された撮像画像を入力画像として読み込み、入力画像６０１に対して被写体指定部１０９により指定された領域を、例えば図６の入力画像６０１に示す点線の矩形のように設定する。次に、Ｓ３０２において、特徴量抽出部１１２は、Ｓ３０１で指定された領域内の画素から目的とする被写体を示す特徴量を抽出する。
【００３７】
ここで、特徴量を抽出する処理について図４を参照して説明する。まず、図４に示すＳ４０１において、指定領域内の各画素から色相成分および明度成分のヒストグラムを生成する。次に、Ｓ４０２において、色相成分および明度成分のヒストグラムの最大値を各成分の特徴空間として設定する。次に、Ｓ４０３において、指定領域内の各画素について色相成分の特徴空間に属する画素を判定し、属すると判定された画素の示す彩度の平均値を算出する。
【００３８】
次に、Ｓ４０４において、算出された彩度の平均値が所定の閾値以上か判定する。彩度の平均値が所定の閾値以上の場合（Ｓ４０４でＹＥＳ）、被写体が有彩色であるため、Ｓ４０５において、特徴量を色相成分の特徴空間を主とした特徴量とする。一方で、彩度の平均値が所定の閾値未満の場合（Ｓ４０４でＮＯ）、被写体が無彩色であるため、Ｓ４０６において、特徴量を明度成分の特徴空間を主とした特徴量とする。
【００３９】
ここで、特徴成分重み付け部２０４による彩度の平均値に応じて特徴量を抽出する際に用いる特徴成分の重み付けを変える処理（Ｓ４０４からＳ４０６）について説明する。抽出される特徴量としては、目的とする被写体領域とその他の背景などの領域とを分離できる特徴量が望ましい。色相成分は、照明変動の影響を受けにくく、被写体領域とその他の領域を分離する成分として優れている。但し、目的とする被写体が無彩色（彩度の値が小さい）の場合は、色相成分により被写体領域とその他の領域を分離することが困難な場合が多い。一方で、明度成分は、照明変動の影響を受けやすく、被写体領域とその他の領域を分離する精度は、目的とする被写体が有彩色（彩度の値が大きい）の場合では、色相成分による分離精度よりも劣る傾向がある。これらの傾向を踏まえ、特徴成分重み付け部２０４において彩度の平均値に応じて特徴成分に重み付けを行う。
【００４０】
上記重み付けの例としては、彩度の平均値が所定の閾値以上の場合は、色相成分の特徴空間のみを特徴量とし、彩度の平均値が所定の閾値未満の場合には、明度成分の特徴空間のみを特徴量とする。また、彩度の平均値が所定の閾値以上の場合は、色相成分の特徴空間は狭い範囲を設定し、明度成分の特徴空間は広い範囲を設定し、色相成分および明度成分の特徴空間に共に属する画素を特徴画素とする。これは、目的とする被写体が有彩色（彩度の値が大きい）の場合には、被写体領域において、色相の分散は小さく、明度の分散は大きいという傾向に基づいている。一方で、彩度の平均値が所定の閾値未満の場合は、色相成分の特徴空間は広い範囲を設定し、明度成分の特徴空間は狭い範囲を設定し、色相成分および明度成分の特徴空間に共に属する画素を特徴画素とする。これは、目的とする被写体が無彩色（彩度の値が小さい）の場合には、被写体領域において、色相の分散は大きいという傾向に基づいている。
【００４１】
上述した特徴成分重み付け部２０４による重み付けは一例であり、これらに限定されるものではなく、例えば彩度に代えて又は加えて、色相や明度以外の被写体領域から得られる輝度や色差などの色情報に応じて重み付けを変えるように構成してもよい。また、本実施形態では、明度成分および色相成分の特徴空間の少なくともいずれかを用いて特徴量を抽出する処理を例示したが、特徴量抽出方法は上述した処理に限定されない。例えば、特徴空間において、被写体とその他の領域との分離性能を高めるため、彩度による最大値および最小値を設定し、特徴空間を絞り込んでもよい。また、色相成分の特徴空間と明度成分の特徴空間の両方を用いるが、彩度の平均値が所定の閾値以上であるか、閾値未満であるかに応じて、それらの重み付けの比を変更するようにしてもよい。例えば、彩度の平均値が所定の閾値以上であれば、色相成分の特徴空間に含まれる画素と明度成分の特徴空間に含まれる画素の重み付けを２対１にして、後述のＳ３０３にて被写体領域の位置の偏りを検出すればよい。反対に、彩度の平均値が所定の閾値未満であれば、色相成分の特徴空間に含まれる画素と明度成分の特徴空間に含まれる画素の重み付けの比を１対２にして、後述のＳ３０３にて被写体領域の位置の偏りを検出すればよい。もしくは、彩度の平均値に応じて、この色相成分の特徴空間に含まれる画素と明度成分の特徴空間に含まれる画素の重み付けの比を、連続的に変化させるようにしてもよい。
【００４２】
図３の説明に戻り、Ｓ３０３において、偏り検出部１１３は、Ｓ３０２で抽出された特徴量に属する画素を特徴画素として判定し、特徴画素の分布状況から、指定領域内において目的とする被写体領域の位置の偏りを検出する。ここで、偏りを検出する処理について図５を参照して説明する。まず、図５に示すＳ５０１において、図６の画像６０３に示すように、垂直方向および水平方向に軸を設定し、それぞれ等分となるように、指定領域を四分割する。次に、Ｓ５０２において、指定領域内の各画素が、抽出された特徴量に属する画素を判定し、特徴量と属する画素を特徴画素とする。指定領域分割画像６０３は、特徴画素を白、非特徴画素を黒で表現した画像である。
【００４３】
次に、Ｓ５０３において、各分割領域において特徴画素数の和を算出する。次に、Ｓ５０４において、水平方向の軸により分割された領域間の特徴画素数の差（指定領域分割画像６０３における上２つの領域と下２つの領域との特徴画素数の差）が所定の閾値以上か判定する。閾値以上であれば（Ｓ５０４でＹＥＳ）、Ｓ５０５において垂直方向の偏りが検出される。一方で、閾値未満であれば（Ｓ５０４でＮＯ）、Ｓ５０６において、垂直方向の偏りは検出されない。指定領域分割画像６０３の場合では、垂直方向の偏りは検出されない（Ｓ５０６）。
【００４４】
次に、Ｓ５０７において、垂直方向の軸により分割された領域間の特徴画素数の差（指定領域分割画像６０３における左２つの領域と右２つの領域との特徴画素数の差）が所定の閾値以上か判定する。閾値以上であれば（Ｓ５０７でＹＥＳ）、Ｓ５０８において水平方向の偏りが検出される。一方で、閾値未満であれば（Ｓ５０７でＮＯ）、Ｓ５０９において、水平方向の偏りは検出されない。指定領域分割画像６０３の場合には水平方向の偏りは検出される（Ｓ５０８）。なお、特徴画素数の差分量に基づき補正量が決定される。
【００４５】
図３の説明に戻り、Ｓ３０４において、検出された偏りの量および方向に応じて、偏りが小さくなるように指定領域を補正する。次に、Ｓ３０５において、被写体抽出結果画像６０４に示す点線の矩形に囲まれた領域のように、補正された領域が被写体領域として抽出される。図６の被写体抽出結果画像６０４では、指定領域を右方向に補正した結果を示す。
【００４６】
なお、上述した処理では、補正された指定領域を被写体領域として被写体を抽出するように説明したが、以下のような処理を行ってもよい。すなわち、補正された指定領域において、再度偏り検出部１１２により偏りを検出し、偏りが検出された場合には、検出された偏りの量および方向に基づき、領域補正部１１３により指定領域を補正する。一方、偏りが検出されなかった場合には、その領域を被写体領域として抽出する。つまり、偏りが安定するまで、偏り検出部１１２および領域補正部１１３による処理を繰り返し実行する。
【００４７】
上述した実施形態によれば、画像中の指定領域と、画像中の目的とする被写体の位置とがずれていた場合でも、指定領域内から特徴量を抽出し、指定領域内における特徴画素の分布状況から目的とする被写体の位置の偏りを検出し、指定領域を補正する。これにより、目的とする被写体領域を抽出することができる。
【００４８】
なお、上述した実施形態では画像中から被写体領域を抽出する処理を行う被写体領域抽出装置について説明した。しかしながら、本発明を、被写体領域を抽出した結果を基準として、時系列的に逐次供給される画像から被写体領域を抽出し、被写体を時系列的に追跡する被写体追跡装置に適用してもよい。例えば、抽出された被写体領域を基準画像として登録し、時系列的に逐次供給される画像の部分領域と基準画像との相関度が最も高い領域を抽出することにより、被写体を追跡できる。
【００４９】
また、上述した実施形態では撮像装置に被写体領域抽出処理を行う被写体領域抽出装置を適用した場合を例示したが、被写体領域抽出装置を適用する機器は撮像装置に限定されない。例えば、外部機器や記録媒体などから供給される画像（再生データ）を表示する表示装置に被写体領域抽出を行う被写体領域抽出装置を適用してもよい。この表示装置では、再生データを被写体領域抽出処理のデータとし、被写体領域抽出処理が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体領域抽出処理により抽出された被写体の情報（画像中の被写体の位置、大きさなど）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。
【００５０】
また、上述した実施の形態は一例であり、これに限定されるものではない。上述した実施の形態における構成および動作に関しては適宜変更が可能である。例えば、領域補正部１１３は、被写体領域の位置補正だけでなく、被写体領域のサイズや形状を補正してもよい。被写体領域のサイズを補正する場合は、例えば、位置補正された領域の外周方向の各辺において、特徴画素の存在する度合いを判定し、特徴画素の存在する度合いが大きければ、その辺の領域を含めて被写体領域として抽出する。また、位置補正された領域の内周方向の各辺において、特徴画素の存在する度合いを判定し、特徴画素の存在する度合いが小さければ、その辺の領域を除いた領域を被写体領域として抽出する。これにより、適切な被写体領域を抽出することができる。
【００５１】
［他の実施形態］また、本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、および該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
画像中から所定の被写体領域を抽出する被写体領域抽出装置であって、
前記画像中から前記所定の被写体を含む領域を指定する指定手段と、
前記指定手段により指定された領域から前記所定の被写体が持つ特徴量を抽出する抽出手段と、
前記指定された領域に含まれる前記所定の被写体が持つ特徴量と一致する特徴画素の分布状況に基づいて当該指定された領域における前記所定の被写体の位置の偏りを検出する検出手段と、
前記指定された領域における前記所定の被写体の位置の偏りが小さくなるように当該指定された領域の位置を補正する補正手段と、を備え、
前記抽出手段は、前記指定された領域内の各画素の色相成分および明度成分の少なくともいずれかを用いて前記特徴量を抽出すると共に、被写体から得られる色情報に応じて前記色相成分と明度成分の重み付けを変えて前記特徴量を抽出することを特徴とする被写体領域抽出装置。
【請求項２】
前記抽出手段は、前記指定された領域の各画素から色相成分のヒストグラムおよび明度成分のヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により生成された各ヒスグラムにより色相成分および明度成分の特徴空間を設定する設定手段と、
前記指定された領域の各画素において、前記設定手段により設定された色相成分の特徴空間に属する画素の彩度を算出する算出手段と、
前記彩度と閾値との比較により前記特徴量とする前記色相成分および明度成分の特徴空間に重み付けをする重み付け手段と、を更に備え、
前記重み付け手段は、前記算出手段により算出された彩度の値が閾値以上ならば、前記色相成分の特徴空間を主とする重み付けを行い、前記彩度の値が閾値未満ならば、前記明度成分の特徴空間を主とする重み付けを行うことを特徴とする請求項１に記載の被写体領域抽出装置。
【請求項３】
前記検出手段は、前記被写体領域に含まれる各画素において前記抽出手段により抽出される特徴量に属する画素を特徴画素として判定することを特徴とする請求項１または２に記載の被写体領域抽出装置。
【請求項４】
前記検出手段は、前記指定された領域を少なくとも二等分する一つ以上の直線を設定し、当該直線により分割された二つ以上の領域における特徴画素数の差を算出し、算出された差が閾値以上ならば、偏りがあることを検出することを特徴とする請求項１乃至３のいずれか１項に記載の被写体領域抽出装置。
【請求項５】
前記補正手段は、前記指定された領域を少なくとも二等分する一つ以上の設定された直線に対してそれぞれ直交し、前記直線で分割された二つ以上の領域のうち、前記特徴画素数が多い領域の方向に、前記偏りに応じた量で前記指定された領域を補正することを特徴とする請求項４に記載の被写体領域抽出装置。
【請求項６】
前記補正手段により補正した領域について、前記検出手段により偏りが検出された場合は、前記補正手段により指定された領域を補正し、前記検出手段により偏りが検出されなかった場合は、前記指定された領域を被写体領域として抽出することを特徴とする請求項１乃至５のいずれか１項に記載の被写体領域抽出装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の被写体領域抽出装置と、
前記被写体領域抽出装置による抽出結果に基づき被写体追跡に使用する基準画像を登録する手段と、を有し、
供給される画像の部分領域と前記登録された基準画像との相関度に応じて被写体領域を抽出することを特徴とする被写体追跡装置。
【請求項８】
画像中から所定の被写体領域を抽出する被写体領域抽出装置の制御方法であって、
前記画像中から前記所定の被写体を含む領域を指定する指定工程と、
前記指定された領域から前記所定の被写体が持つ特徴量を抽出する抽出工程と、
前記指定された領域に含まれる前記所定の被写体が持つ特徴量と一致する特徴画素の分布状況に基づいて当該指定された領域における前記所定の被写体の位置の偏りを検出する検出工程と、
前記指定された領域における前記所定の被写体の位置の偏りが小さくなるように当該指定された領域の位置を補正する補正工程と、を備え、
前記抽出工程では、前記指定された領域内の各画素の色相成分および明度成分の少なくともいずれかを用いて前記特徴量を抽出すると共に、被写体から得られる色情報に応じて前記色相成分と明度成分の重み付けを変えて前記特徴量を抽出することを特徴とする制御方法。
【請求項９】
請求項８に記載の制御方法をコンピュータに実行させるためのプログラム。
【請求項１】
画像中から所定の被写体領域を抽出する被写体領域抽出装置であって、
前記画像中から前記所定の被写体を含む領域を指定する指定手段と、
前記指定手段により指定された領域から前記所定の被写体が持つ特徴量を抽出する抽出手段と、
前記指定された領域に含まれる前記所定の被写体が持つ特徴量と一致する特徴画素の分布状況に基づいて当該指定された領域における前記所定の被写体の位置の偏りを検出する検出手段と、
前記指定された領域における前記所定の被写体の位置の偏りが小さくなるように当該指定された領域の位置を補正する補正手段と、を備え、
前記抽出手段は、前記指定された領域内の各画素の色相成分および明度成分の少なくともいずれかを用いて前記特徴量を抽出すると共に、被写体から得られる色情報に応じて前記色相成分と明度成分の重み付けを変えて前記特徴量を抽出することを特徴とする被写体領域抽出装置。
【請求項２】
前記抽出手段は、前記指定された領域の各画素から色相成分のヒストグラムおよび明度成分のヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により生成された各ヒスグラムにより色相成分および明度成分の特徴空間を設定する設定手段と、
前記指定された領域の各画素において、前記設定手段により設定された色相成分の特徴空間に属する画素の彩度を算出する算出手段と、
前記彩度と閾値との比較により前記特徴量とする前記色相成分および明度成分の特徴空間に重み付けをする重み付け手段と、を更に備え、
前記重み付け手段は、前記算出手段により算出された彩度の値が閾値以上ならば、前記色相成分の特徴空間を主とする重み付けを行い、前記彩度の値が閾値未満ならば、前記明度成分の特徴空間を主とする重み付けを行うことを特徴とする請求項１に記載の被写体領域抽出装置。
【請求項３】
前記検出手段は、前記被写体領域に含まれる各画素において前記抽出手段により抽出される特徴量に属する画素を特徴画素として判定することを特徴とする請求項１または２に記載の被写体領域抽出装置。
【請求項４】
前記検出手段は、前記指定された領域を少なくとも二等分する一つ以上の直線を設定し、当該直線により分割された二つ以上の領域における特徴画素数の差を算出し、算出された差が閾値以上ならば、偏りがあることを検出することを特徴とする請求項１乃至３のいずれか１項に記載の被写体領域抽出装置。
【請求項５】
前記補正手段は、前記指定された領域を少なくとも二等分する一つ以上の設定された直線に対してそれぞれ直交し、前記直線で分割された二つ以上の領域のうち、前記特徴画素数が多い領域の方向に、前記偏りに応じた量で前記指定された領域を補正することを特徴とする請求項４に記載の被写体領域抽出装置。
【請求項６】
前記補正手段により補正した領域について、前記検出手段により偏りが検出された場合は、前記補正手段により指定された領域を補正し、前記検出手段により偏りが検出されなかった場合は、前記指定された領域を被写体領域として抽出することを特徴とする請求項１乃至５のいずれか１項に記載の被写体領域抽出装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の被写体領域抽出装置と、
前記被写体領域抽出装置による抽出結果に基づき被写体追跡に使用する基準画像を登録する手段と、を有し、
供給される画像の部分領域と前記登録された基準画像との相関度に応じて被写体領域を抽出することを特徴とする被写体追跡装置。
【請求項８】
画像中から所定の被写体領域を抽出する被写体領域抽出装置の制御方法であって、
前記画像中から前記所定の被写体を含む領域を指定する指定工程と、
前記指定された領域から前記所定の被写体が持つ特徴量を抽出する抽出工程と、
前記指定された領域に含まれる前記所定の被写体が持つ特徴量と一致する特徴画素の分布状況に基づいて当該指定された領域における前記所定の被写体の位置の偏りを検出する検出工程と、
前記指定された領域における前記所定の被写体の位置の偏りが小さくなるように当該指定された領域の位置を補正する補正工程と、を備え、
前記抽出工程では、前記指定された領域内の各画素の色相成分および明度成分の少なくともいずれかを用いて前記特徴量を抽出すると共に、被写体から得られる色情報に応じて前記色相成分と明度成分の重み付けを変えて前記特徴量を抽出することを特徴とする制御方法。
【請求項９】
請求項８に記載の制御方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１３４１１７（Ｐ２０１１−１３４１１７Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９３２０７（Ｐ２００９−２９３２０７）
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]