画像処理装置、画像処理方法及びプログラム
【課題】変化の少ない画像から観察者が注目すると推測される画像領域を適切に検出する。
【解決手段】撮像装置１００であって、取得した処理対象画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け部５ｃと、グループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値を算出する分散値算出部５ｄと、算出された分散値に基づいて、各グループの評価値を算出する評価値算出部５ｇと、各グループの評価値の算出結果に基づいて、複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する注目領域検出部５ｈとを備えている。
【解決手段】撮像装置１００であって、取得した処理対象画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け部５ｃと、グループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値を算出する分散値算出部５ｄと、算出された分散値に基づいて、各グループの評価値を算出する評価値算出部５ｇと、各グループの評価値の算出結果に基づいて、複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する注目領域検出部５ｈとを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、画像を解析する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、画像から注目される領域を検出する技術として、連続する２フレームの画像の差分値から被写体が動くことによって発生する特異な画像領域を検出し、それを注目されるであろうと推測される領域と見做す技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２０５５７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１記載の技術は、「動画において観察者は動く被写体に注目する」ことを前提に考えられたものであるため、例えば一枚の静止画のような変化の少ない画像からでは上記領域を検出することができないという問題がある。
【０００５】
そこで、本発明の課題は、変化の少ない画像から、観察者が注目すると推測される画像領域を適切に検出することができるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
画像を取得する取得手段と、この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段と、このグループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段と、この分散値算出手段により算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段と、この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記グループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置を算出する重心算出手段と、この重心算出手段により算出された前記重心位置と前記画像の中心との距離を算出する距離算出手段と、を更に備え、
前記評価値算出手段は、前記複数のグループの各々に係る、前記分散値算出手段により算出された分散値及び前記距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出することを特徴としている。
【０００８】
請求項３に記載の発明の画像処理装置は、
画像を取得する取得手段と、この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段と、このグループ分け手段によってグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段と、この重心算出手段により算出された重心位置と前記画像の中心との距離を算出する距離算出手段と、この距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出する評価値算出手段と、この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段と、を備えることを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記取得手段により取得された画像に対して当該画像の色を平滑化する平滑化処理を施す平滑化手段を更に備え、前記グループ分け手段は、前記平滑化手段により平滑化処理が施された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けすることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理装置において、
前記検出手段により検出済みの注目領域と、当該検出済みの注目領域の検出後に新たに検出された注目領域とを比較して、当該比較結果に応じて新たに検出された注目領域が前記検出済みの注目領域とは異なる領域に変化したか否かを判定する判定手段と、前記判定手段による判定結果に応じて、前記検出手段により検出された注目領域の出力内容を制御する出力制御手段と、を更に備えることを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理装置において、
前記複数のグループの各々は、各グループを規定する前記所定の色空間における各成分の範囲が隣合うグループと重なり合ってなることを特徴としている。
【００１２】
請求項７に記載の発明の画像処理方法は、
画像を取得する取得ステップと、この取得ステップにて取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分けステップと、このグループ分けステップにてグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出ステップと、この分散値算出ステップにて算出された分散値に基づいて、各グループの評価値を算出する評価値算出ステップと、この評価値算出ステップにて算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出ステップと、を実行することを特徴としている。
【００１３】
請求項８に記載の発明の画像処理方法は、
画像を取得する取得ステップと、この取得ステップにて取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分けステップと、このグループ分けステップにてグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出ステップと、この重心算出ステップにて算出された重心位置と前記画像の中心との距離を算出する距離算出ステップと、この距離算出ステップにて算出された距離に基づいて、前記各グループの評価値を算出する評価値算出ステップと、この評価値算出ステップにおける算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出ステップと、を実行することを特徴としている。
【００１４】
請求項９に記載の発明のプログラムは、
コンピュータを、画像を取得する取得手段、この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段、このグループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段、この分散値算出手段により算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段、この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段、として機能させることを特徴としている。
【００１５】
請求項１０に記載の発明のプログラムは、
コンピュータを、画像を取得する取得手段、この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段、このグループ分け手段によってグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段、この重心算出手段により算出された重心位置と前記画像の中心との距離を算出する距離算出手段、この距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出する評価値算出手段、この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段、として機能させることを特徴としている。
【発明の効果】
【００１６】
本発明によれば、変化の少ない画像から観察者が注目すると推測される画像領域を適切に検出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による注目領域出力処理に係る動作の一例を示すフローチャートである。
【図３】注目領域出力処理における注目領域検出処理に係る動作の一例を示すフローチャートである。
【図４】注目領域出力処理により出力される注目領域を説明するための図である。
【図５】注目領域出力処理における注目領域安定化処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１９】
本実施形態の撮像装置１００は、処理対象画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けして、当該複数のグループの各々に属する画素の当該画像における分散値に基づいて、各グループの評価値を算出し、各グループの評価値の算出結果に基づいて、複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域Ａ１として検出する。ここで、注目領域とは、当該処理対象画像を撮影者（観察者）が見たときに注目するであろうと推測される領域であり、後述する注目領域出力処理によって出力される。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、表示制御部６と、表示部７と、記録媒体８と、操作入力部９と、中央制御部１０とを備えている。
【００２０】
撮像部１は、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
【００２１】
撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、撮像条件の調整制御として、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等を行う。
【００２２】
画像データ生成部３は、電子撮像部から転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶ色空間の画像データ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００２３】
メモリ４は、例えば、ＤＲＡＭ等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時記憶する。
【００２４】
画像処理部５は、撮像部１により撮像された画像を処理対象画像として取得する画像取得部（取得手段）５ａを具備している。
具体的には、画像取得部５ａは、例えば、ライブビュー画像や記録用画像の撮像の際に画像データ生成部３により生成された画像のＹＵＶデータを取得する。
【００２５】
また、画像処理部５は、画像取得部５ａにより取得された処理対象画像に対して当該処理対象画像の色を平滑化する平滑化処理を施す平滑化部（平滑化手段）５ｂを具備している。
平滑化処理は、処理対象画像内の細かな色の分布を平滑化して大まかな色の変化を捉えるために行う処理である。即ち、平滑化部５ｂは、例えば、ガウシアンフィルタ、平均化フィルタやεフィルタ等の所定のフィルタを用いて処理対象画像の色を平滑化する。
【００２６】
また、画像処理部５は、平滑化手段により平滑化処理が施された処理対象画像の複数の画素を、所定の色空間における変数の範囲で規定される複数のグループにグループ分けするグループ分け部５ｃを具備している。
具体的には、グループ分け部５ｃは、予め所定の色空間（例えば、ＨＳＶ色空間）の各成分（例えば、ＨＳＶ色空間の場合、色相（Hue）、彩度（Saturation）、明度（Value））について、所定の設定基準に従って複数のグループに分けて設定する。このとき、グループ分け部５ｃは、所定の色空間における各成分の変数について、一のグループを規定する範囲が隣り合うグループを規定する範囲と重なり合うように複数のグループを設定しても良い。これにより、グループどうしの境界領域に存する画素について、グループ分けの漏れをなくすことができるとともに、色の曖昧さを考慮して複数のグループにグループ分けし易くすることができる。
【００２７】
グループ分け部５ｃは、所定の色空間として、例えば、ＨＳＶ色空間を適用した場合、色相（H）に関しては値を0°〜360°とすると、0°〜60°をグループH0とし、30°〜90°をグループH1とし、60°〜120°をグループH2とし、90°〜150°をグループH3とし、120°〜180°をグループH4とし、150°〜210°をグループH5とし、180°〜 240°をグループH6とし、210°〜270°をグループH7とし、240°〜300°をグループH8とし、270°〜330°をグループH9とし、300°〜360(0)°をグループH10とし、330°〜30°をグループH11とすることでグループを１２個設定する。
また、グループ分け部５ｃは、彩度（S）に関しては値を0〜255とすると、0〜127をグループS0とし、64〜159をグループS1とし、128〜223をグループS2とし、160〜255をグループS3とすることでグループを４個設定する。
また、グループ分け部５ｃは、明度（V）に関しては値を0〜255とすると、0〜127をグループV0とし、64〜159をグループV1とし、128〜223をグループV2とし、160〜255をグループV3とすることでグループを４個設定する。
そして、色相（H）、彩度（S）、明度（V）を統合すると、合計１９２個のグループが設定される。
なお、上記したＨＳＶ色空間の各成分のグループ設定は、一例であり、これらに限られるものではない。また、所定の色空間として、人間の色覚に近く直感的に捉え易いということでＨＳＶ色空間を例示したが、これに限られるものではなく、用途に応じてＲＧＢ色空間やCIEL*a*b*色空間等の他の色空間を適用しても良い。
【００２８】
そして、グループ分け部５ｃは、平滑化部５ｂにより平滑化処理が施されたＹＵＶ色空間の画像データを所定の変換式に従ってＨＳＶ色空間の画像データに変換した後、当該ＨＳＶ色空間の画像データの複数の画素を、各画素のＨＳＶ色空間における変数の値に基づいて複数のグループにグループ分けする。即ち、グループ分け部５ｃは、ＨＳＶ色空間の画像データの複数の画素の各々について、色相（Hue）、彩度（Saturation）、明度（Value）の各成分の値（変数の値）から１９２個のグループの中で何れのグループに属するかを特定してラベリングする。
例えば、ＨＳＶ色空間の画像データの中で色相（H）：45°，彩度（S）：90，明度（V）：200という値を持つ画素は、色相についてはグループH0，H1に属し、彩度についてはグループS0，S1に属し、明度についてはグループV2，V3に属する。従って、色相、彩度、明度を統合すると、当該画素は、（H0,S0,V2），（H1,S0,V2），（H0,S1,V2），（H1,S1,V2），（H0,S0,V3），（H1,S0,V3），（H0,S1,V3），（H1,S1,V3）で規定される８つのグループに属することになる。
【００２９】
ここで、グループ分け部５ｃは、画像取得部５ａにより取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段を構成している。
【００３０】
また、画像処理部５は、グループ分け部５ｃによりグループ分けされた複数のグループの各々について、各グループに属する複数の画素の処理対象画像における分散値を算出する分散値算出部（分散値算出手段）５ｄを具備している。
分散値算出部５ｄは、例えば、各グループに属する複数の画素の当該処理対象画像における分散値をグループ毎に算出する。なお、分散値算出部５ｄによる分散値の算出は、公知の演算式に従って行われ、その詳細な説明は省略する。
また、各グループ毎に画素数をカウントして、画素数が所定の閾値以下、或いは、所定の閾値以上のグループについては、分散値の算出の処理対象外としても良い。
【００３１】
また、画像処理部５は、グループ分け部５ｃによってグループ分けされた複数のグループの各々について、各グループに属する複数の画素の処理対象画像における重心位置を算出する重心算出部（重心算出手段）５ｅを具備している。なお、重心算出部５ｅによる重心位置の算出は、公知の演算式に従って行われ、その詳細な説明は省略する。
また、各グループ毎に画素数をカウントして、画素数が所定の閾値以下、或いは、所定の閾値以上のグループについては、重心位置の算出の処理対象外としても良い。
【００３２】
また、画像処理部５は、重心算出部５ｅにより算出された各グループの重心位置と処理対象画像の中心との距離を算出する距離算出部（距離算出手段）５ｆを具備している。
即ち、一般的なカメラのユーザは注目している領域を画像中心に据える傾向があることから、後述する評価値の算出に際して各グループの重心位置と処理対象画像の中心との距離を考慮する上で、距離算出部５ｆは、処理対象画像の中心から各グループの重心位置までの距離Ｄを算出する。
【００３３】
また、画像処理部５は、複数のグループの各々の評価値を算出する評価値算出部５ｇを具備している。
評価値算出部５ｇは、各グループに係る、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された距離Ｄに基づいて、各グループの評価値を算出する。具体的には、評価値算出部５ｇは、例えば、距離Ｄの増大に従って評価値が増大するような重み付けテーブルを記憶しておき、距離Ｄに応じた重みづけ値を分散値に乗算した値を評価値としたり、下記式で規定されるような所定の演算式に従って算出された値を評価値としても良い。
評価値＝分散値×(ａ*Ｄ＾2 +ｂ)
（ａ,ｂ；所定の定数）
【００３４】
ここで、評価値算出部５ｇは、分散値算出部５ｄにより算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段を構成している。
【００３５】
また、画像処理部５は、評価値算出部５ｇによる算出結果に基づいて、処理対象画像から注目領域Ａ１を検出する注目領域検出部５ｈを具備している。
注目領域検出部５ｈは、評価値算出部５ｇによる全ての処理対象グループの評価値の算出結果に基づいて、複数のグループの中で評価値が最小となる何れか一のグループを特定し、当該グループに属する画素によって構成される領域を注目領域Ａ１（図４（ａ）参照）として検出する。つまり、評価値算出部５ｇにより算出される評価値は、分散値が大きくなる程（即ち、処理対象画像内で所定の色空間で表現されるグループに属する特定の画素がかたまって存在していない程）、且つ、距離Ｄが大きくなる程（即ち、所定の色空間で表現されるグループに属する特定の画素が処理対象画像の中心から離れている程）、大きな値となる。そこで、注目領域検出部５ｈは、分散値及び距離Ｄを考慮した評価値が最小となるグループに属する画素が、処理対象画像内でかたまって配置された色であり、且つ、処理対象画像の中心からの距離が近い位置に存していると判断して、評価値が最小のグループに属する画素によって構成される領域を注目領域Ａ１として検出する。
ここで、注目領域検出部５ｈは、評価値算出部５ｇによる算出結果に基づいて、複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域Ａ１として検出する検出手段を構成している。
【００３６】
また、画像処理部５は、注目領域検出部５ｈにより検出済みの注目領域Ａ１と、新たに検出された注目領域Ａ１とを比較して、新たに検出された注目領域Ａ１が前記検出済みの注目領域Ａ１とは異なる領域に変化したか否かを判定する比較判定部（判定手段）５ｉを具備している。
具体的には、後述する注目領域安定化処理（図５参照）にて、比較判定部５ｉは、メモリ４に記憶されている過去に検出済みの複数の注目領域Ａ１と、当該検出済みの注目領域Ａ１の検出後に新たに検出された注目領域Ａ１とを比較する。そして、比較判定部５ｉは、当該比較結果に応じて、新たに検出された注目領域Ａ１が過去に検出済みの注目領域Ａ１とは異なる領域に変化したか否かを判定する。
なお、新たに検出された注目領域Ａ１と検出済みの注目領域Ａ１との比較判定は、例えば、各注目領域Ａ１を構成する画素の属するグループを規定するグループ名、当該グループの画素数、当該グループの重心位置等を用いて行う。
【００３７】
また、画像処理部５は、比較判定部５ｉによる判定結果に応じて、注目領域検出部５ｈにより検出された注目領域Ａ１（主要注目領域Ａ２）の出力内容が安定するように出力内容を制御する注目領域安定化処理を行う出力制御部（出力制御手段）５ｊを具備している。
即ち、例えば、表示部７にライブビュー画像や記録の際の画像を更新表示する場合等に、注目領域Ａ１の出力処理を定期的に行って、注目領域Ａ１の出力結果や当該注目領域Ａ１を近似的に表現する図形（例えば、注目領域Ａ１を囲む最小の矩形枠等）等を継続して表示するようにしても良い。この場合、注目領域Ａ１の出力結果や近似的な図形の表示が過度に変化してユーザが見難い状態となる虞がある。そこで、出力制御部５ｊは、比較判定部５ｉによる新たに検出された注目領域Ａ１と検出済みの注目領域Ａ１との判定結果、例えば、各注目領域Ａ１を構成する画素の属するグループを規定するグループ名、当該グループの画素数、当該グループの重心位置等の変化内容に応じて、注目領域検出部５ｈから出力される注目領域Ａ１の出力内容の変化が過度に行われないように安定化させる注目領域安定化処理を行う。具体的には、例えば、注目領域安定化処理にて、最新の主要注目領域と「現在グループ名」に対応する現在の主要注目領域とについて、各注目領域を構成する画素の属するグループの重心位置又はグループの画素数が所定割合以上変化していないと判定されると、出力制御部５ｊは、現在の主要注目領域と最新の主要注目領域とを平均化する処理を行う。
【００３８】
表示制御部６は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部７に表示させる制御を行う。
具体的には、表示制御部６は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている（何れも図示略）。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭに記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部７に出力する。
【００３９】
表示部７は、例えば、液晶表示装置であり、表示制御部６からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部７は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。
【００４０】
記録媒体８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。
【００４１】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００４２】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、ＣＰＵ（図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４３】
次に、撮像装置１００により被写体を撮影する場合の注目領域出力処理について、図２〜図５を参照して説明する。
図２は、注目領域出力処理に係る動作の一例を示すフローチャートである。
【００４４】
図２に示すように、画像処理部５の画像取得部５ａは、例えば、撮像部１によりライブビュー画像や記録用画像を撮像することで画像データ生成部３により生成された処理対象画像のＹＵＶ色空間の画像データを取得する（ステップＳ１）。続けて、画像処理部５の平滑化部５ｂは、所定のフィルタ（例えば、ガウシアンフィルタ等）を用いて処理対象画像の色を平滑化する平滑化処理を施す（ステップＳ２）。
【００４５】
次に、画像処理部５は、処理対象画像から注目領域Ａ１を検出する注目領域検出処理を行う（ステップＳ３）。
ここで、注目領域検出処理について図３を参照して詳細に説明する。
【００４６】
図３は、注目領域検出処理に係る動作の一例を示すフローチャートである。
図３に示すように、グループ分け部５ｃは、平滑化部５ｂにより平滑化処理が施されたＹＵＶ色空間の画像データを所定の変換式に従ってＨＳＶ色空間の画像データに変換する（ステップＳ３１）。その後、グループ分け部５ｃは、変換後のＨＳＶ色空間の画像データの複数の画素の各々について、色相（Hue）、彩度（Saturation）、明度（Value）の各成分の変数の値（座標）から予め設定されている複数（例えば、１９２個）のグループの中で何れのグループに属するかを特定してラベリングする（ステップＳ３２）。
【００４７】
次に、画像処理部５は、ラベリングされた複数のグループの中で、画素数が所定の閾値以下、或いは、所定の閾値以上のグループを処理対象外とした後、処理対象となる複数のグループの中から何れか一の処理対象グループを指定する（ステップＳ３３）。
【００４８】
そして、画像処理部５の重心算出部５ｅは、所定の演算式に従って処理対象グループに属する複数の画素の重心位置を算出する（ステップＳ３４）。続けて、画像処理部５の分散値算出部５ｄは、例えば、処理対象グループに属する複数の画素の色相、彩度、明度の各成分に基づいて、所定の演算式に従って当該処理対象画像における分散値を算出する（ステップＳ３５）。次に、画像処理部５の距離算出部５ｆは、処理対象画像の中心から処理対象グループの重心位置までの距離Ｄを算出する（ステップＳ３６）。
【００４９】
その後、画像処理部５の評価値算出部５ｇは、処理対象グループに係る、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された距離Ｄに基づいて、各グループの評価値を算出する（ステップＳ３７）。
【００５０】
次に、画像処理部５は、処理対象となる全てのグループの評価値を算出したか否かを判定する処理を行う（ステップＳ３８）。ここで、全てのグループの評価値を算出していないと判定されると（ステップＳ３８；ＮＯ）、次の処理対象グループを指定した後（ステップＳ３９）、処理をステップＳ３４に移行して、それ以降の処理を実行する。
ステップＳ３４以降の処理は、ステップＳ３８にて、全てのグループの評価値を算出したと判定されるまで（ステップＳ３８；ＹＥＳ）、繰り返し行われる。
【００５１】
そして、ステップＳ３８にて、全てのグループの評価値を算出したと判定されると（ステップＳ３８；ＹＥＳ）、画像処理部５の注目領域検出部５ｈは、評価値算出部５ｇによる全ての処理対象グループの評価値の算出結果に基づいて、複数のグループの中で評価値が最小となる何れか一のグループを特定し（ステップＳ４０）、当該グループに属する画素によって構成される領域を注目領域Ａ１（図４（ａ）参照）として検出して（ステップＳ４１）、注目領域検出処理を終了する。
【００５２】
次に、画像処理部５は、図２の処理に戻り、例えば、オープニング処理や、各閉領域ごとにラベリングして画素数が所定の閾値に満たない領域を消去する処理や、平滑化処理を繰り返し実行するグラフカット処理などを行って、注目領域Ａ１の中で小さな領域を消去して主要注目領域Ａ２（図４（ｂ）参照）だけを抽出する整形処理を行う（ステップＳ４）。
続けて、画像処理部５は、整形処理により抽出された主要注目領域Ａ２の出力内容を安定化させる注目領域安定化処理の実行が指示されているか否かを判定する処理を行う（ステップＳ５）。
注目領域安定化処理の実行指示は、予めユーザによる操作入力部９の所定操作に基づいて行われても良いし、撮影モードに応じてデフォルトで設定されていても良い。
そして、注目領域安定化処理の実行が指示されていないと判定されると（ステップＳ５；ＮＯ）、画像処理部５は、整形処理により抽出された主要注目領域Ａ２を最終的な注目領域Ａ１としてメモリ４に出力する（ステップＳ６）。
【００５３】
一方、注目領域安定化処理の実行が指示されていると判定されると（ステップＳ５；ＹＥＳ）、画像処理部５は、注目領域安定化処理を行う（ステップＳ７）。
ここで、注目領域安定化処理について図５を参照して詳細に説明する。
【００５４】
図５は、注目領域安定化処理に係る動作の一例を示すフローチャートである。
図５に示すように、画像処理部５は、注目領域検出部５ｈにより検出済みの主要注目領域Ａ２と、新たに検出された主要注目領域Ａ２との比較をループにより処理する（ステップＳ７１〜Ｓ７５）。
具体的には、画像処理部５は、整形処理により抽出された主要注目領域Ａ２を過去複数枚（Ｎ枚）分保持し、それぞれに対してグループ名、画素数、重心位置を取得しておき、新しいものから順に過去に遡るようにループ処理を行う。先ず、画像処理部５の比較判定部５ｉは、最新の主要注目領域に係るグループ名（グループ名番号ｉ＝０）と過去ｋ番目（ｋは、１〜Ｎの任意の実数）の主要注目領域Ａ２のグループ名（グループ名番号ｉ＝ｋ）とを照合して、一致するか否かをループ回数ごとに記憶する（ステップＳ７２）。次に、比較判定部５ｉは、最新の主要注目領域に係るグループ名が過去の主要注目領域Ａ２のグループ名と直近のものから所定回数（例えば、３回）連続して同じである否かを判定する（ステップＳ７３）。
【００５５】
ステップＳ７３にて、最新の主要注目領域に係るグループ名が過去の主要注目領域Ａ２のグループ名と直近のものから所定回数連続して同じではないと判定されると（ステップＳ７３；ＮＯ）、比較判定部５ｉは、主要注目領域Ａ２のグループ名が直近のものから過去にＡ回中Ｂ回同じであるか否かを判定する（ステップＳ７４）。例えば、比較判定部５ｉは、過去５回中４回同じグループ名か否かや、過去７回中５回同じグループ名か否かを判定する。なお、ＡやＢの値は、要求される安定度に応じて適宜任意に変更可能となっている。また、ＡやＢの値を代えて、一のループ内で複数回判定しても良い。
上記の処理をグループ名番号ｉがＮである過去Ｎ番目のグループまで繰り返し行う（ステップＳ７５）。
【００５６】
そして、ステップＳ７４にて、主要注目領域Ａ２のグループ名が直近のものから過去にＡ回中Ｂ回同じでないと判定された場合には（ステップＳ７４；ＮＯ）、画像処理部５は、主要注目領域Ａ２の最新の出力結果は過渡的な状態とみなす。そして、画像処理部５は、当該最新の主要注目領域を過去のデータとして更新保持した後（ステップＳ７６）、比較判定部５ｉは、最新の主要注目領域に係るグループ名が直近Ｃ回分に含まれているか否かの判定を行う（ステップＳ７７）。なお、Ｃの値は、要求される安定度に応じて適宜任意に変更可能となっている。
ここで、最新の主要注目領域に係るグループ名が直近Ｃ回分に含まれていないと判定されると（ステップＳ７７；ＮＯ）、画像処理部５は、最新の主要注目領域がこれまでの主要注目領域Ａ２とは全く異なる領域に変化したとみなす。そして、画像処理部５は、最新の主要注目領域に係るグループ名を現在の主要注目領域を規定する「現在グループ名」として更新保持した後（ステップＳ７８）、最新の主要注目領域の出力結果を最終的な注目領域としてメモリ４に出力して（ステップＳ７９）、注目領域安定化処理を終了する。
【００５７】
一方、ステップＳ７７にて、最新の主要注目領域に係るグループ名が直近Ｃ回分に含まれていると判定されると（ステップＳ７７；ＹＥＳ）、画像処理部５は、主要注目領域Ａ２の出力結果が過度に変化しておらず現在は安定しているとみなす。そして、画像処理部５は、「現在グループ名」として保持されている現在の主要注目領域を最終的な注目領域としてメモリ４に出力して（ステップＳ８０）、注目領域安定化処理を終了する。
【００５８】
また、ステップＳ７３にて、最新の主要注目領域に係るグループ名が過去の主要注目領域Ａ２のグループ名と直近のものから所定回数連続して同じであると判定されるか（ステップＳ７３；ＹＥＳ）、或いは、ステップＳ７４にて、主要注目領域Ａ２のグループ名が直近のものから過去にＡ回中Ｂ回同じであると判定された場合には（ステップＳ７４；ＹＥＳ）、画像処理部５は、最新の主要注目領域を過去のデータとして更新保持する（ステップＳ８１）。
続けて、画像処理部５の比較判定部５ｉは、最新の主要注目領域に係るグループ名が現在の主要注目領域を規定する「現在グループ名」と同じであるか否かを判定する（ステップＳ８２）。
【００５９】
ステップＳ８２にて、最新の主要注目領域に係るグループ名が「現在グループ名」と同じでないと判定されると（ステップＳ８２；ＮＯ）、画像処理部５は、注目領域が変更されたと判断して、処理をステップＳ７８に移行して、最新の主要注目領域に係るグループ名を「現在グループ名」として更新保持した後（ステップＳ７８）、それ以降の処理を実行する。
一方、ステップＳ８２にて、最新の主要注目領域に係るグループ名が「現在グループ名」と同じであると判定されると（ステップＳ８２；ＮＯ）、画像処理部５の比較判定部５ｉは、最新の主要注目領域と「現在グループ名」に対応する現在の主要注目領域とについて、各注目領域を構成する画素の属するグループの重心位置又はグループの画素数が所定割合以上変化したか否かを判定する（ステップＳ８３）。
なお、ステップＳ８３における判定にあっては、主要注目領域Ａ２の重心位置や画素数だけでなく、当該主要注目領域Ａ２を囲む矩形枠の位置やそのサイズ、主要注目領域Ａ２の分散など、形状を特定可能なものであれば如何なるものを用いても良い。
【００６０】
ステップＳ８３にて、グループの重心位置又はグループの画素数が所定割合以上変化したと判定されると（ステップＳ８３；ＹＥＳ）、画像処理部５は、主要注目領域Ａ２の形状や位置が大きく変化したとみなして、処理をステップＳ７８に移行して、最新の主要注目領域に係るグループ名を「現在グループ名」として更新保持した後（ステップＳ７８）、それ以降の処理を実行する。
一方、ステップＳ８３にて、グループの重心位置又はグループの画素数が所定割合以上変化していないと判定されると（ステップＳ８３；ＹＥＳ）、画像処理部５は、「現在グループ名」に対応する現在の主要注目領域と最新の主要注目領域とを平均化したものを最終的な注目領域としてメモリ４に出力して（ステップＳ８４）、注目領域安定化処理を終了する。
【００６１】
以上のように、本実施形態の撮像装置１００によれば、処理対象画像の複数の画素が所定の色空間（例えば、ＨＳＶ色空間等）における分布に基づいてグループ分けされた複数のグループの各々について、各グループに属する少なくとも一の画素の当該画像における分散値に基づいて各グループの評価値を算出し、各グループの評価値の算出結果に基づいて注目領域Ａ１を検出することができる。即ち、所定の色空間における画素の分布に基づいて、処理対象画像内でかたまって存在する色の画素によって構成される領域を注目領域Ａ１として検出することができるので、従来に比べてより少ない演算量で注目領域Ａ１を検出することができ、演算能力の低い撮像装置１００であっても注目領域Ａ１の検出処理の高速化を図ることができる。
【００６２】
また、複数のグループの各々に係る、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された各グループの重心位置と画像の中心との距離に基づいて、各グループの評価値を算出することができるので、各グループの評価値の算出の際に、処理対象画像における複数の画素の分布を考慮することができ、処理対象画像内でかたまって存在する色で当該処理対象画像の中心により近い画素によって構成される領域を注目領域Ａ１として検出することができる。これにより、注目領域Ａ１の検出精度をより向上させることができる。
【００６３】
さらに、主要注目領域Ａ２（注目領域Ａ１）の検出後に新たに検出された主要注目領域Ａ２が検出済みの主要注目領域Ａ２とは異なる領域に変化したか否かの判定結果に応じて、主要注目領域Ａ２の出力内容が安定するよう出力内容を制御する注目領域安定化処理を行うので、主要注目領域Ａ２の出力内容の変化が過度に行われないようにすることができ、例えば、撮像装置１００の向きがわずかに変化しても表示部７にて主要注目領域Ａ２の検出結果や近似的な図形を安定して表示することができる。
【００６４】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態においては、各グループの評価値を算出した結果、最も評価値が低かった領域を注目領域Ａ１として検出するようにしたが。評価値が所定値以下であった領域を注目領域Ａ１として検出するようにしてもよいし、検出した領域と所定の色空間（例えばＨＳＶ空間）上で、近傍に存在する領域も注目領域とするようにしても良いし、色空間上で近傍且つ実画像上においても近傍に存在する画素によって構成される領域も注目領域とするようにしても良い。
また、平滑化部５ｂによる平滑化処理（ステップＳ２）の後に、構図（画角）内でより端部側に位置するユーザの注目度の低い撮像対象を除外して仮の注目領域を推定する処理を行っても良い。即ち、平滑化処理後の処理対象画像の四隅の少なくとも一の画素の周辺領域について、当該少なくとも一の画素と類似する画素を追跡していくことで、構図（画角）内でより端部側に位置するユーザの注目度の低い撮像対象を特定して、処理対象画像のうち、追跡された画素によって構成されるユーザの注目度の低い領域以外の領域を仮の注目領域と推定しても良い。そして、その後に上記の処理により注目領域Ａ１を真の注目領域として検出することで、処理対象画像からの注目領域Ａ１の検出精度をより向上させることができる。また、各グループのうち、処理対象画像の端部側に位置する画素を含むグループは評価値の算出を行わないようにしてもよいし、処理対象画像の端部側に位置する画素を多く含むほど、評価値が高くなるように重みづけを行っても良い。つまり、画像中央に近いグループほど、注目領域として出力されやすくするようにしても良い。
【００６５】
なお、上記実施形態にあっては、各グループの評価値を、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された距離Ｄに基づいて算出するようにしたが、評価値の算出方法はこれに限られるものではなく、例えば、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された距離Ｄの何れか一方を各グループの評価値として算出しても良い。
即ち、上記の注目領域出力処理（図２参照）にて、距離算出部５ｆにより算出された距離Ｄを各グループの評価値として算出することにより、各グループの評価値の算出の際に、処理対象画像における複数の画素の分布を考慮することができ、処理対象画像の中心により近い画素によって構成される領域を注目領域Ａ１として検出することができるので、従来に比べてより少ない演算量で注目領域Ａ１を検出することができ、演算能力の低い撮像装置１００であっても注目領域Ａ１の検出処理の高速化を図ることができる。
【００６６】
また、注目領域は、一般的に画像の中央となる傾向にある。そのため、複数のグループの各々に係る、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された各グループの重心位置と画像の中心との距離に基づいて、各グループの評価値を算出することができ、画像中央に近いグループほど、注目領域として出力されやすくすることができる。
【００６７】
また、上記実施形態にあっては、注目領域出力処理（図２参照）にて、画像取得部５ａにより取得された処理対象画像に対して平滑化処理（ステップＳ２）を施すようにしたが、平滑化処理を施すか否かは適宜任意に変更することができる。
さらに、注目領域検出処理（ステップＳ３）の後、注目領域Ａ１の中で小さな領域を消去して主要注目領域Ａ２（図４（ｂ）参照）だけを抽出する整形処理（ステップＳ４）を行うようにしたが、整形処理を行うか否かは適宜任意に変更することができる。また、整形処理は注目領域安定化処理（ステップＳ７）、又は注目領域の出力（ステップＳ６）の後に行うようにしてもよい。
【００６８】
さらに、上記実施形態にあっては、注目領域出力処理（図２参照）にて、整形処理（ステップＳ４）により抽出された主要注目領域Ａ２の出力内容が安定するように出力内容を制御する注目領域安定化処理（ステップＳ７）を行うようにしたが、注目領域安定化処理を行うか否かは適宜任意に変更することができる。また、注目領域安定化処理が行われた後に、出力された注目領域を過去ｎ回分の出力領域と平均化処理を行うようにしてもよい。つまり、過去ｎ回分の保持しておいた注目領域と、今回出力した注目領域をｎ：１で混合させるようにしてもよい。
【００６９】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として撮像装置１００を例示したが、これに限られるものではい。例えば、処理対象画像の撮像は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された処理対象画像の画像データを取得して、注目領域Ａ１の検出を行う画像処理装置であっても良い。
また、表示部７にライブビュー画像や記録の際の画像を更新表示する場合等に、注目領域Ａ１の出力処理を定期的に行って、注目領域Ａ１の出力結果や当該注目領域Ａ１を近似的に表現する図形（例えば、注目領域Ａ１を囲む最小の矩形枠等）等を継続して表示してもよい。
さらに、例えば、ライブビュー画像から抽出された注目領域Ａ１の出力している際に、撮影者が所定の操作によって撮像装置１００に撮影を指示すると、出力されている注目領域Ａ１に基づいて、ＡＦ（オートフォーカス）やＡＥ（自動露出）処理を行うようにしてもよい。
【００７０】
加えて、上記実施形態にあっては、取得手段、グループ分け手段、分散値算出手段、重心算出手段、距離算出手段、評価値算出手段、検出手段としての機能を、中央制御部１０の制御下にて、画像処理部５の画像取得部５ａ、グループ分け部５ｃ、分散値算出部５ｄ、重心算出部５ｅ、距離算出部５ｆ、評価値算出部５ｇ、注目領域検出部５ｈが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００７１】
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、グループ分け処理ルーチン、分散値算出処理ルーチン、評価値算出処理ルーチン、検出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、画像を取得する取得手段として機能させるようにしても良い。また、グループ分け処理ルーチンにより中央制御部１０のＣＰＵを、取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段として機能させるようにしても良い。また、分散値算出処理ルーチンにより中央制御部１０のＣＰＵを、グループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段として機能させるようにしても良い。また、評価値算出処理ルーチンにより中央制御部１０のＣＰＵを、算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１０のＣＰＵを、各グループの評価値の算出結果に基づいて、複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域Ａ１として検出する検出手段として機能させるようにしても良い。
また、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、グループ分け処理ルーチン、重心算出処理ルーチン、距離算出処理ルーチン、評価値算出処理ルーチン、検出処理ルーチンを含むプログラムを記憶しておく。そして、重心算出処理ルーチンにより中央制御部１０のＣＰＵを、グループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段として機能させるようにしても良い。また、距離算出処理ルーチンにより中央制御部１０のＣＰＵを、算出された重心位置と前記画像の中心との距離を算出する距離算出手段として機能させるようにしても良い。また、評価値算出処理ルーチンにより中央制御部１０のＣＰＵを、算出された距離に基づいて、各グループの評価値を算出する評価値算出手段として機能させるようにしても良い。なお、取得処理ルーチン、グループ分け処理ルーチン、検出処理ルーチンの機能は、上記と同様であり、その説明を省略する。
【符号の説明】
【００７２】
１００ 撮像装置
１ 撮像部
２ 撮像制御部
５ 画像処理部
５ａ 画像取得部
５ｂ 平滑化部
５ｃ グループ分け部
５ｄ 分散値算出部
５ｅ 重心算出部
５ｆ 距離算出部
５ｇ 評価値算出部
５ｈ 注目領域検出部
５ｉ 比較判定部
５ｊ 出力制御部
１０ 中央制御部
【技術分野】
【０００１】
本発明は、例えば、画像を解析する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、画像から注目される領域を検出する技術として、連続する２フレームの画像の差分値から被写体が動くことによって発生する特異な画像領域を検出し、それを注目されるであろうと推測される領域と見做す技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２０５５７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１記載の技術は、「動画において観察者は動く被写体に注目する」ことを前提に考えられたものであるため、例えば一枚の静止画のような変化の少ない画像からでは上記領域を検出することができないという問題がある。
【０００５】
そこで、本発明の課題は、変化の少ない画像から、観察者が注目すると推測される画像領域を適切に検出することができるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
画像を取得する取得手段と、この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段と、このグループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段と、この分散値算出手段により算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段と、この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記グループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置を算出する重心算出手段と、この重心算出手段により算出された前記重心位置と前記画像の中心との距離を算出する距離算出手段と、を更に備え、
前記評価値算出手段は、前記複数のグループの各々に係る、前記分散値算出手段により算出された分散値及び前記距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出することを特徴としている。
【０００８】
請求項３に記載の発明の画像処理装置は、
画像を取得する取得手段と、この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段と、このグループ分け手段によってグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段と、この重心算出手段により算出された重心位置と前記画像の中心との距離を算出する距離算出手段と、この距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出する評価値算出手段と、この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段と、を備えることを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記取得手段により取得された画像に対して当該画像の色を平滑化する平滑化処理を施す平滑化手段を更に備え、前記グループ分け手段は、前記平滑化手段により平滑化処理が施された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けすることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理装置において、
前記検出手段により検出済みの注目領域と、当該検出済みの注目領域の検出後に新たに検出された注目領域とを比較して、当該比較結果に応じて新たに検出された注目領域が前記検出済みの注目領域とは異なる領域に変化したか否かを判定する判定手段と、前記判定手段による判定結果に応じて、前記検出手段により検出された注目領域の出力内容を制御する出力制御手段と、を更に備えることを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理装置において、
前記複数のグループの各々は、各グループを規定する前記所定の色空間における各成分の範囲が隣合うグループと重なり合ってなることを特徴としている。
【００１２】
請求項７に記載の発明の画像処理方法は、
画像を取得する取得ステップと、この取得ステップにて取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分けステップと、このグループ分けステップにてグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出ステップと、この分散値算出ステップにて算出された分散値に基づいて、各グループの評価値を算出する評価値算出ステップと、この評価値算出ステップにて算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出ステップと、を実行することを特徴としている。
【００１３】
請求項８に記載の発明の画像処理方法は、
画像を取得する取得ステップと、この取得ステップにて取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分けステップと、このグループ分けステップにてグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出ステップと、この重心算出ステップにて算出された重心位置と前記画像の中心との距離を算出する距離算出ステップと、この距離算出ステップにて算出された距離に基づいて、前記各グループの評価値を算出する評価値算出ステップと、この評価値算出ステップにおける算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出ステップと、を実行することを特徴としている。
【００１４】
請求項９に記載の発明のプログラムは、
コンピュータを、画像を取得する取得手段、この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段、このグループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段、この分散値算出手段により算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段、この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段、として機能させることを特徴としている。
【００１５】
請求項１０に記載の発明のプログラムは、
コンピュータを、画像を取得する取得手段、この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段、このグループ分け手段によってグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段、この重心算出手段により算出された重心位置と前記画像の中心との距離を算出する距離算出手段、この距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出する評価値算出手段、この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段、として機能させることを特徴としている。
【発明の効果】
【００１６】
本発明によれば、変化の少ない画像から観察者が注目すると推測される画像領域を適切に検出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による注目領域出力処理に係る動作の一例を示すフローチャートである。
【図３】注目領域出力処理における注目領域検出処理に係る動作の一例を示すフローチャートである。
【図４】注目領域出力処理により出力される注目領域を説明するための図である。
【図５】注目領域出力処理における注目領域安定化処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１９】
本実施形態の撮像装置１００は、処理対象画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けして、当該複数のグループの各々に属する画素の当該画像における分散値に基づいて、各グループの評価値を算出し、各グループの評価値の算出結果に基づいて、複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域Ａ１として検出する。ここで、注目領域とは、当該処理対象画像を撮影者（観察者）が見たときに注目するであろうと推測される領域であり、後述する注目領域出力処理によって出力される。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、表示制御部６と、表示部７と、記録媒体８と、操作入力部９と、中央制御部１０とを備えている。
【００２０】
撮像部１は、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
【００２１】
撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、撮像条件の調整制御として、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等を行う。
【００２２】
画像データ生成部３は、電子撮像部から転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶ色空間の画像データ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００２３】
メモリ４は、例えば、ＤＲＡＭ等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時記憶する。
【００２４】
画像処理部５は、撮像部１により撮像された画像を処理対象画像として取得する画像取得部（取得手段）５ａを具備している。
具体的には、画像取得部５ａは、例えば、ライブビュー画像や記録用画像の撮像の際に画像データ生成部３により生成された画像のＹＵＶデータを取得する。
【００２５】
また、画像処理部５は、画像取得部５ａにより取得された処理対象画像に対して当該処理対象画像の色を平滑化する平滑化処理を施す平滑化部（平滑化手段）５ｂを具備している。
平滑化処理は、処理対象画像内の細かな色の分布を平滑化して大まかな色の変化を捉えるために行う処理である。即ち、平滑化部５ｂは、例えば、ガウシアンフィルタ、平均化フィルタやεフィルタ等の所定のフィルタを用いて処理対象画像の色を平滑化する。
【００２６】
また、画像処理部５は、平滑化手段により平滑化処理が施された処理対象画像の複数の画素を、所定の色空間における変数の範囲で規定される複数のグループにグループ分けするグループ分け部５ｃを具備している。
具体的には、グループ分け部５ｃは、予め所定の色空間（例えば、ＨＳＶ色空間）の各成分（例えば、ＨＳＶ色空間の場合、色相（Hue）、彩度（Saturation）、明度（Value））について、所定の設定基準に従って複数のグループに分けて設定する。このとき、グループ分け部５ｃは、所定の色空間における各成分の変数について、一のグループを規定する範囲が隣り合うグループを規定する範囲と重なり合うように複数のグループを設定しても良い。これにより、グループどうしの境界領域に存する画素について、グループ分けの漏れをなくすことができるとともに、色の曖昧さを考慮して複数のグループにグループ分けし易くすることができる。
【００２７】
グループ分け部５ｃは、所定の色空間として、例えば、ＨＳＶ色空間を適用した場合、色相（H）に関しては値を0°〜360°とすると、0°〜60°をグループH0とし、30°〜90°をグループH1とし、60°〜120°をグループH2とし、90°〜150°をグループH3とし、120°〜180°をグループH4とし、150°〜210°をグループH5とし、180°〜 240°をグループH6とし、210°〜270°をグループH7とし、240°〜300°をグループH8とし、270°〜330°をグループH9とし、300°〜360(0)°をグループH10とし、330°〜30°をグループH11とすることでグループを１２個設定する。
また、グループ分け部５ｃは、彩度（S）に関しては値を0〜255とすると、0〜127をグループS0とし、64〜159をグループS1とし、128〜223をグループS2とし、160〜255をグループS3とすることでグループを４個設定する。
また、グループ分け部５ｃは、明度（V）に関しては値を0〜255とすると、0〜127をグループV0とし、64〜159をグループV1とし、128〜223をグループV2とし、160〜255をグループV3とすることでグループを４個設定する。
そして、色相（H）、彩度（S）、明度（V）を統合すると、合計１９２個のグループが設定される。
なお、上記したＨＳＶ色空間の各成分のグループ設定は、一例であり、これらに限られるものではない。また、所定の色空間として、人間の色覚に近く直感的に捉え易いということでＨＳＶ色空間を例示したが、これに限られるものではなく、用途に応じてＲＧＢ色空間やCIEL*a*b*色空間等の他の色空間を適用しても良い。
【００２８】
そして、グループ分け部５ｃは、平滑化部５ｂにより平滑化処理が施されたＹＵＶ色空間の画像データを所定の変換式に従ってＨＳＶ色空間の画像データに変換した後、当該ＨＳＶ色空間の画像データの複数の画素を、各画素のＨＳＶ色空間における変数の値に基づいて複数のグループにグループ分けする。即ち、グループ分け部５ｃは、ＨＳＶ色空間の画像データの複数の画素の各々について、色相（Hue）、彩度（Saturation）、明度（Value）の各成分の値（変数の値）から１９２個のグループの中で何れのグループに属するかを特定してラベリングする。
例えば、ＨＳＶ色空間の画像データの中で色相（H）：45°，彩度（S）：90，明度（V）：200という値を持つ画素は、色相についてはグループH0，H1に属し、彩度についてはグループS0，S1に属し、明度についてはグループV2，V3に属する。従って、色相、彩度、明度を統合すると、当該画素は、（H0,S0,V2），（H1,S0,V2），（H0,S1,V2），（H1,S1,V2），（H0,S0,V3），（H1,S0,V3），（H0,S1,V3），（H1,S1,V3）で規定される８つのグループに属することになる。
【００２９】
ここで、グループ分け部５ｃは、画像取得部５ａにより取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段を構成している。
【００３０】
また、画像処理部５は、グループ分け部５ｃによりグループ分けされた複数のグループの各々について、各グループに属する複数の画素の処理対象画像における分散値を算出する分散値算出部（分散値算出手段）５ｄを具備している。
分散値算出部５ｄは、例えば、各グループに属する複数の画素の当該処理対象画像における分散値をグループ毎に算出する。なお、分散値算出部５ｄによる分散値の算出は、公知の演算式に従って行われ、その詳細な説明は省略する。
また、各グループ毎に画素数をカウントして、画素数が所定の閾値以下、或いは、所定の閾値以上のグループについては、分散値の算出の処理対象外としても良い。
【００３１】
また、画像処理部５は、グループ分け部５ｃによってグループ分けされた複数のグループの各々について、各グループに属する複数の画素の処理対象画像における重心位置を算出する重心算出部（重心算出手段）５ｅを具備している。なお、重心算出部５ｅによる重心位置の算出は、公知の演算式に従って行われ、その詳細な説明は省略する。
また、各グループ毎に画素数をカウントして、画素数が所定の閾値以下、或いは、所定の閾値以上のグループについては、重心位置の算出の処理対象外としても良い。
【００３２】
また、画像処理部５は、重心算出部５ｅにより算出された各グループの重心位置と処理対象画像の中心との距離を算出する距離算出部（距離算出手段）５ｆを具備している。
即ち、一般的なカメラのユーザは注目している領域を画像中心に据える傾向があることから、後述する評価値の算出に際して各グループの重心位置と処理対象画像の中心との距離を考慮する上で、距離算出部５ｆは、処理対象画像の中心から各グループの重心位置までの距離Ｄを算出する。
【００３３】
また、画像処理部５は、複数のグループの各々の評価値を算出する評価値算出部５ｇを具備している。
評価値算出部５ｇは、各グループに係る、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された距離Ｄに基づいて、各グループの評価値を算出する。具体的には、評価値算出部５ｇは、例えば、距離Ｄの増大に従って評価値が増大するような重み付けテーブルを記憶しておき、距離Ｄに応じた重みづけ値を分散値に乗算した値を評価値としたり、下記式で規定されるような所定の演算式に従って算出された値を評価値としても良い。
評価値＝分散値×(ａ*Ｄ＾2 +ｂ)
（ａ,ｂ；所定の定数）
【００３４】
ここで、評価値算出部５ｇは、分散値算出部５ｄにより算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段を構成している。
【００３５】
また、画像処理部５は、評価値算出部５ｇによる算出結果に基づいて、処理対象画像から注目領域Ａ１を検出する注目領域検出部５ｈを具備している。
注目領域検出部５ｈは、評価値算出部５ｇによる全ての処理対象グループの評価値の算出結果に基づいて、複数のグループの中で評価値が最小となる何れか一のグループを特定し、当該グループに属する画素によって構成される領域を注目領域Ａ１（図４（ａ）参照）として検出する。つまり、評価値算出部５ｇにより算出される評価値は、分散値が大きくなる程（即ち、処理対象画像内で所定の色空間で表現されるグループに属する特定の画素がかたまって存在していない程）、且つ、距離Ｄが大きくなる程（即ち、所定の色空間で表現されるグループに属する特定の画素が処理対象画像の中心から離れている程）、大きな値となる。そこで、注目領域検出部５ｈは、分散値及び距離Ｄを考慮した評価値が最小となるグループに属する画素が、処理対象画像内でかたまって配置された色であり、且つ、処理対象画像の中心からの距離が近い位置に存していると判断して、評価値が最小のグループに属する画素によって構成される領域を注目領域Ａ１として検出する。
ここで、注目領域検出部５ｈは、評価値算出部５ｇによる算出結果に基づいて、複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域Ａ１として検出する検出手段を構成している。
【００３６】
また、画像処理部５は、注目領域検出部５ｈにより検出済みの注目領域Ａ１と、新たに検出された注目領域Ａ１とを比較して、新たに検出された注目領域Ａ１が前記検出済みの注目領域Ａ１とは異なる領域に変化したか否かを判定する比較判定部（判定手段）５ｉを具備している。
具体的には、後述する注目領域安定化処理（図５参照）にて、比較判定部５ｉは、メモリ４に記憶されている過去に検出済みの複数の注目領域Ａ１と、当該検出済みの注目領域Ａ１の検出後に新たに検出された注目領域Ａ１とを比較する。そして、比較判定部５ｉは、当該比較結果に応じて、新たに検出された注目領域Ａ１が過去に検出済みの注目領域Ａ１とは異なる領域に変化したか否かを判定する。
なお、新たに検出された注目領域Ａ１と検出済みの注目領域Ａ１との比較判定は、例えば、各注目領域Ａ１を構成する画素の属するグループを規定するグループ名、当該グループの画素数、当該グループの重心位置等を用いて行う。
【００３７】
また、画像処理部５は、比較判定部５ｉによる判定結果に応じて、注目領域検出部５ｈにより検出された注目領域Ａ１（主要注目領域Ａ２）の出力内容が安定するように出力内容を制御する注目領域安定化処理を行う出力制御部（出力制御手段）５ｊを具備している。
即ち、例えば、表示部７にライブビュー画像や記録の際の画像を更新表示する場合等に、注目領域Ａ１の出力処理を定期的に行って、注目領域Ａ１の出力結果や当該注目領域Ａ１を近似的に表現する図形（例えば、注目領域Ａ１を囲む最小の矩形枠等）等を継続して表示するようにしても良い。この場合、注目領域Ａ１の出力結果や近似的な図形の表示が過度に変化してユーザが見難い状態となる虞がある。そこで、出力制御部５ｊは、比較判定部５ｉによる新たに検出された注目領域Ａ１と検出済みの注目領域Ａ１との判定結果、例えば、各注目領域Ａ１を構成する画素の属するグループを規定するグループ名、当該グループの画素数、当該グループの重心位置等の変化内容に応じて、注目領域検出部５ｈから出力される注目領域Ａ１の出力内容の変化が過度に行われないように安定化させる注目領域安定化処理を行う。具体的には、例えば、注目領域安定化処理にて、最新の主要注目領域と「現在グループ名」に対応する現在の主要注目領域とについて、各注目領域を構成する画素の属するグループの重心位置又はグループの画素数が所定割合以上変化していないと判定されると、出力制御部５ｊは、現在の主要注目領域と最新の主要注目領域とを平均化する処理を行う。
【００３８】
表示制御部６は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部７に表示させる制御を行う。
具体的には、表示制御部６は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている（何れも図示略）。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭに記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部７に出力する。
【００３９】
表示部７は、例えば、液晶表示装置であり、表示制御部６からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部７は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。
【００４０】
記録媒体８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。
【００４１】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００４２】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、ＣＰＵ（図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４３】
次に、撮像装置１００により被写体を撮影する場合の注目領域出力処理について、図２〜図５を参照して説明する。
図２は、注目領域出力処理に係る動作の一例を示すフローチャートである。
【００４４】
図２に示すように、画像処理部５の画像取得部５ａは、例えば、撮像部１によりライブビュー画像や記録用画像を撮像することで画像データ生成部３により生成された処理対象画像のＹＵＶ色空間の画像データを取得する（ステップＳ１）。続けて、画像処理部５の平滑化部５ｂは、所定のフィルタ（例えば、ガウシアンフィルタ等）を用いて処理対象画像の色を平滑化する平滑化処理を施す（ステップＳ２）。
【００４５】
次に、画像処理部５は、処理対象画像から注目領域Ａ１を検出する注目領域検出処理を行う（ステップＳ３）。
ここで、注目領域検出処理について図３を参照して詳細に説明する。
【００４６】
図３は、注目領域検出処理に係る動作の一例を示すフローチャートである。
図３に示すように、グループ分け部５ｃは、平滑化部５ｂにより平滑化処理が施されたＹＵＶ色空間の画像データを所定の変換式に従ってＨＳＶ色空間の画像データに変換する（ステップＳ３１）。その後、グループ分け部５ｃは、変換後のＨＳＶ色空間の画像データの複数の画素の各々について、色相（Hue）、彩度（Saturation）、明度（Value）の各成分の変数の値（座標）から予め設定されている複数（例えば、１９２個）のグループの中で何れのグループに属するかを特定してラベリングする（ステップＳ３２）。
【００４７】
次に、画像処理部５は、ラベリングされた複数のグループの中で、画素数が所定の閾値以下、或いは、所定の閾値以上のグループを処理対象外とした後、処理対象となる複数のグループの中から何れか一の処理対象グループを指定する（ステップＳ３３）。
【００４８】
そして、画像処理部５の重心算出部５ｅは、所定の演算式に従って処理対象グループに属する複数の画素の重心位置を算出する（ステップＳ３４）。続けて、画像処理部５の分散値算出部５ｄは、例えば、処理対象グループに属する複数の画素の色相、彩度、明度の各成分に基づいて、所定の演算式に従って当該処理対象画像における分散値を算出する（ステップＳ３５）。次に、画像処理部５の距離算出部５ｆは、処理対象画像の中心から処理対象グループの重心位置までの距離Ｄを算出する（ステップＳ３６）。
【００４９】
その後、画像処理部５の評価値算出部５ｇは、処理対象グループに係る、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された距離Ｄに基づいて、各グループの評価値を算出する（ステップＳ３７）。
【００５０】
次に、画像処理部５は、処理対象となる全てのグループの評価値を算出したか否かを判定する処理を行う（ステップＳ３８）。ここで、全てのグループの評価値を算出していないと判定されると（ステップＳ３８；ＮＯ）、次の処理対象グループを指定した後（ステップＳ３９）、処理をステップＳ３４に移行して、それ以降の処理を実行する。
ステップＳ３４以降の処理は、ステップＳ３８にて、全てのグループの評価値を算出したと判定されるまで（ステップＳ３８；ＹＥＳ）、繰り返し行われる。
【００５１】
そして、ステップＳ３８にて、全てのグループの評価値を算出したと判定されると（ステップＳ３８；ＹＥＳ）、画像処理部５の注目領域検出部５ｈは、評価値算出部５ｇによる全ての処理対象グループの評価値の算出結果に基づいて、複数のグループの中で評価値が最小となる何れか一のグループを特定し（ステップＳ４０）、当該グループに属する画素によって構成される領域を注目領域Ａ１（図４（ａ）参照）として検出して（ステップＳ４１）、注目領域検出処理を終了する。
【００５２】
次に、画像処理部５は、図２の処理に戻り、例えば、オープニング処理や、各閉領域ごとにラベリングして画素数が所定の閾値に満たない領域を消去する処理や、平滑化処理を繰り返し実行するグラフカット処理などを行って、注目領域Ａ１の中で小さな領域を消去して主要注目領域Ａ２（図４（ｂ）参照）だけを抽出する整形処理を行う（ステップＳ４）。
続けて、画像処理部５は、整形処理により抽出された主要注目領域Ａ２の出力内容を安定化させる注目領域安定化処理の実行が指示されているか否かを判定する処理を行う（ステップＳ５）。
注目領域安定化処理の実行指示は、予めユーザによる操作入力部９の所定操作に基づいて行われても良いし、撮影モードに応じてデフォルトで設定されていても良い。
そして、注目領域安定化処理の実行が指示されていないと判定されると（ステップＳ５；ＮＯ）、画像処理部５は、整形処理により抽出された主要注目領域Ａ２を最終的な注目領域Ａ１としてメモリ４に出力する（ステップＳ６）。
【００５３】
一方、注目領域安定化処理の実行が指示されていると判定されると（ステップＳ５；ＹＥＳ）、画像処理部５は、注目領域安定化処理を行う（ステップＳ７）。
ここで、注目領域安定化処理について図５を参照して詳細に説明する。
【００５４】
図５は、注目領域安定化処理に係る動作の一例を示すフローチャートである。
図５に示すように、画像処理部５は、注目領域検出部５ｈにより検出済みの主要注目領域Ａ２と、新たに検出された主要注目領域Ａ２との比較をループにより処理する（ステップＳ７１〜Ｓ７５）。
具体的には、画像処理部５は、整形処理により抽出された主要注目領域Ａ２を過去複数枚（Ｎ枚）分保持し、それぞれに対してグループ名、画素数、重心位置を取得しておき、新しいものから順に過去に遡るようにループ処理を行う。先ず、画像処理部５の比較判定部５ｉは、最新の主要注目領域に係るグループ名（グループ名番号ｉ＝０）と過去ｋ番目（ｋは、１〜Ｎの任意の実数）の主要注目領域Ａ２のグループ名（グループ名番号ｉ＝ｋ）とを照合して、一致するか否かをループ回数ごとに記憶する（ステップＳ７２）。次に、比較判定部５ｉは、最新の主要注目領域に係るグループ名が過去の主要注目領域Ａ２のグループ名と直近のものから所定回数（例えば、３回）連続して同じである否かを判定する（ステップＳ７３）。
【００５５】
ステップＳ７３にて、最新の主要注目領域に係るグループ名が過去の主要注目領域Ａ２のグループ名と直近のものから所定回数連続して同じではないと判定されると（ステップＳ７３；ＮＯ）、比較判定部５ｉは、主要注目領域Ａ２のグループ名が直近のものから過去にＡ回中Ｂ回同じであるか否かを判定する（ステップＳ７４）。例えば、比較判定部５ｉは、過去５回中４回同じグループ名か否かや、過去７回中５回同じグループ名か否かを判定する。なお、ＡやＢの値は、要求される安定度に応じて適宜任意に変更可能となっている。また、ＡやＢの値を代えて、一のループ内で複数回判定しても良い。
上記の処理をグループ名番号ｉがＮである過去Ｎ番目のグループまで繰り返し行う（ステップＳ７５）。
【００５６】
そして、ステップＳ７４にて、主要注目領域Ａ２のグループ名が直近のものから過去にＡ回中Ｂ回同じでないと判定された場合には（ステップＳ７４；ＮＯ）、画像処理部５は、主要注目領域Ａ２の最新の出力結果は過渡的な状態とみなす。そして、画像処理部５は、当該最新の主要注目領域を過去のデータとして更新保持した後（ステップＳ７６）、比較判定部５ｉは、最新の主要注目領域に係るグループ名が直近Ｃ回分に含まれているか否かの判定を行う（ステップＳ７７）。なお、Ｃの値は、要求される安定度に応じて適宜任意に変更可能となっている。
ここで、最新の主要注目領域に係るグループ名が直近Ｃ回分に含まれていないと判定されると（ステップＳ７７；ＮＯ）、画像処理部５は、最新の主要注目領域がこれまでの主要注目領域Ａ２とは全く異なる領域に変化したとみなす。そして、画像処理部５は、最新の主要注目領域に係るグループ名を現在の主要注目領域を規定する「現在グループ名」として更新保持した後（ステップＳ７８）、最新の主要注目領域の出力結果を最終的な注目領域としてメモリ４に出力して（ステップＳ７９）、注目領域安定化処理を終了する。
【００５７】
一方、ステップＳ７７にて、最新の主要注目領域に係るグループ名が直近Ｃ回分に含まれていると判定されると（ステップＳ７７；ＹＥＳ）、画像処理部５は、主要注目領域Ａ２の出力結果が過度に変化しておらず現在は安定しているとみなす。そして、画像処理部５は、「現在グループ名」として保持されている現在の主要注目領域を最終的な注目領域としてメモリ４に出力して（ステップＳ８０）、注目領域安定化処理を終了する。
【００５８】
また、ステップＳ７３にて、最新の主要注目領域に係るグループ名が過去の主要注目領域Ａ２のグループ名と直近のものから所定回数連続して同じであると判定されるか（ステップＳ７３；ＹＥＳ）、或いは、ステップＳ７４にて、主要注目領域Ａ２のグループ名が直近のものから過去にＡ回中Ｂ回同じであると判定された場合には（ステップＳ７４；ＹＥＳ）、画像処理部５は、最新の主要注目領域を過去のデータとして更新保持する（ステップＳ８１）。
続けて、画像処理部５の比較判定部５ｉは、最新の主要注目領域に係るグループ名が現在の主要注目領域を規定する「現在グループ名」と同じであるか否かを判定する（ステップＳ８２）。
【００５９】
ステップＳ８２にて、最新の主要注目領域に係るグループ名が「現在グループ名」と同じでないと判定されると（ステップＳ８２；ＮＯ）、画像処理部５は、注目領域が変更されたと判断して、処理をステップＳ７８に移行して、最新の主要注目領域に係るグループ名を「現在グループ名」として更新保持した後（ステップＳ７８）、それ以降の処理を実行する。
一方、ステップＳ８２にて、最新の主要注目領域に係るグループ名が「現在グループ名」と同じであると判定されると（ステップＳ８２；ＮＯ）、画像処理部５の比較判定部５ｉは、最新の主要注目領域と「現在グループ名」に対応する現在の主要注目領域とについて、各注目領域を構成する画素の属するグループの重心位置又はグループの画素数が所定割合以上変化したか否かを判定する（ステップＳ８３）。
なお、ステップＳ８３における判定にあっては、主要注目領域Ａ２の重心位置や画素数だけでなく、当該主要注目領域Ａ２を囲む矩形枠の位置やそのサイズ、主要注目領域Ａ２の分散など、形状を特定可能なものであれば如何なるものを用いても良い。
【００６０】
ステップＳ８３にて、グループの重心位置又はグループの画素数が所定割合以上変化したと判定されると（ステップＳ８３；ＹＥＳ）、画像処理部５は、主要注目領域Ａ２の形状や位置が大きく変化したとみなして、処理をステップＳ７８に移行して、最新の主要注目領域に係るグループ名を「現在グループ名」として更新保持した後（ステップＳ７８）、それ以降の処理を実行する。
一方、ステップＳ８３にて、グループの重心位置又はグループの画素数が所定割合以上変化していないと判定されると（ステップＳ８３；ＹＥＳ）、画像処理部５は、「現在グループ名」に対応する現在の主要注目領域と最新の主要注目領域とを平均化したものを最終的な注目領域としてメモリ４に出力して（ステップＳ８４）、注目領域安定化処理を終了する。
【００６１】
以上のように、本実施形態の撮像装置１００によれば、処理対象画像の複数の画素が所定の色空間（例えば、ＨＳＶ色空間等）における分布に基づいてグループ分けされた複数のグループの各々について、各グループに属する少なくとも一の画素の当該画像における分散値に基づいて各グループの評価値を算出し、各グループの評価値の算出結果に基づいて注目領域Ａ１を検出することができる。即ち、所定の色空間における画素の分布に基づいて、処理対象画像内でかたまって存在する色の画素によって構成される領域を注目領域Ａ１として検出することができるので、従来に比べてより少ない演算量で注目領域Ａ１を検出することができ、演算能力の低い撮像装置１００であっても注目領域Ａ１の検出処理の高速化を図ることができる。
【００６２】
また、複数のグループの各々に係る、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された各グループの重心位置と画像の中心との距離に基づいて、各グループの評価値を算出することができるので、各グループの評価値の算出の際に、処理対象画像における複数の画素の分布を考慮することができ、処理対象画像内でかたまって存在する色で当該処理対象画像の中心により近い画素によって構成される領域を注目領域Ａ１として検出することができる。これにより、注目領域Ａ１の検出精度をより向上させることができる。
【００６３】
さらに、主要注目領域Ａ２（注目領域Ａ１）の検出後に新たに検出された主要注目領域Ａ２が検出済みの主要注目領域Ａ２とは異なる領域に変化したか否かの判定結果に応じて、主要注目領域Ａ２の出力内容が安定するよう出力内容を制御する注目領域安定化処理を行うので、主要注目領域Ａ２の出力内容の変化が過度に行われないようにすることができ、例えば、撮像装置１００の向きがわずかに変化しても表示部７にて主要注目領域Ａ２の検出結果や近似的な図形を安定して表示することができる。
【００６４】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態においては、各グループの評価値を算出した結果、最も評価値が低かった領域を注目領域Ａ１として検出するようにしたが。評価値が所定値以下であった領域を注目領域Ａ１として検出するようにしてもよいし、検出した領域と所定の色空間（例えばＨＳＶ空間）上で、近傍に存在する領域も注目領域とするようにしても良いし、色空間上で近傍且つ実画像上においても近傍に存在する画素によって構成される領域も注目領域とするようにしても良い。
また、平滑化部５ｂによる平滑化処理（ステップＳ２）の後に、構図（画角）内でより端部側に位置するユーザの注目度の低い撮像対象を除外して仮の注目領域を推定する処理を行っても良い。即ち、平滑化処理後の処理対象画像の四隅の少なくとも一の画素の周辺領域について、当該少なくとも一の画素と類似する画素を追跡していくことで、構図（画角）内でより端部側に位置するユーザの注目度の低い撮像対象を特定して、処理対象画像のうち、追跡された画素によって構成されるユーザの注目度の低い領域以外の領域を仮の注目領域と推定しても良い。そして、その後に上記の処理により注目領域Ａ１を真の注目領域として検出することで、処理対象画像からの注目領域Ａ１の検出精度をより向上させることができる。また、各グループのうち、処理対象画像の端部側に位置する画素を含むグループは評価値の算出を行わないようにしてもよいし、処理対象画像の端部側に位置する画素を多く含むほど、評価値が高くなるように重みづけを行っても良い。つまり、画像中央に近いグループほど、注目領域として出力されやすくするようにしても良い。
【００６５】
なお、上記実施形態にあっては、各グループの評価値を、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された距離Ｄに基づいて算出するようにしたが、評価値の算出方法はこれに限られるものではなく、例えば、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された距離Ｄの何れか一方を各グループの評価値として算出しても良い。
即ち、上記の注目領域出力処理（図２参照）にて、距離算出部５ｆにより算出された距離Ｄを各グループの評価値として算出することにより、各グループの評価値の算出の際に、処理対象画像における複数の画素の分布を考慮することができ、処理対象画像の中心により近い画素によって構成される領域を注目領域Ａ１として検出することができるので、従来に比べてより少ない演算量で注目領域Ａ１を検出することができ、演算能力の低い撮像装置１００であっても注目領域Ａ１の検出処理の高速化を図ることができる。
【００６６】
また、注目領域は、一般的に画像の中央となる傾向にある。そのため、複数のグループの各々に係る、分散値算出部５ｄにより算出された分散値及び距離算出部５ｆにより算出された各グループの重心位置と画像の中心との距離に基づいて、各グループの評価値を算出することができ、画像中央に近いグループほど、注目領域として出力されやすくすることができる。
【００６７】
また、上記実施形態にあっては、注目領域出力処理（図２参照）にて、画像取得部５ａにより取得された処理対象画像に対して平滑化処理（ステップＳ２）を施すようにしたが、平滑化処理を施すか否かは適宜任意に変更することができる。
さらに、注目領域検出処理（ステップＳ３）の後、注目領域Ａ１の中で小さな領域を消去して主要注目領域Ａ２（図４（ｂ）参照）だけを抽出する整形処理（ステップＳ４）を行うようにしたが、整形処理を行うか否かは適宜任意に変更することができる。また、整形処理は注目領域安定化処理（ステップＳ７）、又は注目領域の出力（ステップＳ６）の後に行うようにしてもよい。
【００６８】
さらに、上記実施形態にあっては、注目領域出力処理（図２参照）にて、整形処理（ステップＳ４）により抽出された主要注目領域Ａ２の出力内容が安定するように出力内容を制御する注目領域安定化処理（ステップＳ７）を行うようにしたが、注目領域安定化処理を行うか否かは適宜任意に変更することができる。また、注目領域安定化処理が行われた後に、出力された注目領域を過去ｎ回分の出力領域と平均化処理を行うようにしてもよい。つまり、過去ｎ回分の保持しておいた注目領域と、今回出力した注目領域をｎ：１で混合させるようにしてもよい。
【００６９】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として撮像装置１００を例示したが、これに限られるものではい。例えば、処理対象画像の撮像は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された処理対象画像の画像データを取得して、注目領域Ａ１の検出を行う画像処理装置であっても良い。
また、表示部７にライブビュー画像や記録の際の画像を更新表示する場合等に、注目領域Ａ１の出力処理を定期的に行って、注目領域Ａ１の出力結果や当該注目領域Ａ１を近似的に表現する図形（例えば、注目領域Ａ１を囲む最小の矩形枠等）等を継続して表示してもよい。
さらに、例えば、ライブビュー画像から抽出された注目領域Ａ１の出力している際に、撮影者が所定の操作によって撮像装置１００に撮影を指示すると、出力されている注目領域Ａ１に基づいて、ＡＦ（オートフォーカス）やＡＥ（自動露出）処理を行うようにしてもよい。
【００７０】
加えて、上記実施形態にあっては、取得手段、グループ分け手段、分散値算出手段、重心算出手段、距離算出手段、評価値算出手段、検出手段としての機能を、中央制御部１０の制御下にて、画像処理部５の画像取得部５ａ、グループ分け部５ｃ、分散値算出部５ｄ、重心算出部５ｅ、距離算出部５ｆ、評価値算出部５ｇ、注目領域検出部５ｈが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００７１】
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、グループ分け処理ルーチン、分散値算出処理ルーチン、評価値算出処理ルーチン、検出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、画像を取得する取得手段として機能させるようにしても良い。また、グループ分け処理ルーチンにより中央制御部１０のＣＰＵを、取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段として機能させるようにしても良い。また、分散値算出処理ルーチンにより中央制御部１０のＣＰＵを、グループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段として機能させるようにしても良い。また、評価値算出処理ルーチンにより中央制御部１０のＣＰＵを、算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１０のＣＰＵを、各グループの評価値の算出結果に基づいて、複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域Ａ１として検出する検出手段として機能させるようにしても良い。
また、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、グループ分け処理ルーチン、重心算出処理ルーチン、距離算出処理ルーチン、評価値算出処理ルーチン、検出処理ルーチンを含むプログラムを記憶しておく。そして、重心算出処理ルーチンにより中央制御部１０のＣＰＵを、グループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段として機能させるようにしても良い。また、距離算出処理ルーチンにより中央制御部１０のＣＰＵを、算出された重心位置と前記画像の中心との距離を算出する距離算出手段として機能させるようにしても良い。また、評価値算出処理ルーチンにより中央制御部１０のＣＰＵを、算出された距離に基づいて、各グループの評価値を算出する評価値算出手段として機能させるようにしても良い。なお、取得処理ルーチン、グループ分け処理ルーチン、検出処理ルーチンの機能は、上記と同様であり、その説明を省略する。
【符号の説明】
【００７２】
１００ 撮像装置
１ 撮像部
２ 撮像制御部
５ 画像処理部
５ａ 画像取得部
５ｂ 平滑化部
５ｃ グループ分け部
５ｄ 分散値算出部
５ｅ 重心算出部
５ｆ 距離算出部
５ｇ 評価値算出部
５ｈ 注目領域検出部
５ｉ 比較判定部
５ｊ 出力制御部
１０ 中央制御部
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段と、
このグループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段と、
この分散値算出手段により算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段と、
この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記グループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置を算出する重心算出手段と、
この重心算出手段により算出された前記重心位置と前記画像の中心との距離を算出する距離算出手段と、を更に備え、
前記評価値算出手段は、
前記複数のグループの各々に係る、前記分散値算出手段により算出された分散値及び前記距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像を取得する取得手段と、
この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段と、
このグループ分け手段によってグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段と、
この重心算出手段により算出された重心位置と前記画像の中心との距離を算出する距離算出手段と、
この距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出する評価値算出手段と、
この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
前記取得手段により取得された画像に対して当該画像の色を平滑化する平滑化処理を施す平滑化手段を更に備え、
前記グループ分け手段は、
前記平滑化手段により平滑化処理が施された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けすることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記検出手段により検出済みの注目領域と、当該検出済みの注目領域の検出後に新たに検出された注目領域とを比較して、当該比較結果に応じて新たに検出された注目領域が前記検出済みの注目領域とは異なる領域に変化したか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、前記検出手段により検出された注目領域の出力内容を制御する出力制御手段と、を更に備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記複数のグループの各々は、各グループを規定する前記所定の色空間における各成分の範囲が隣合うグループと重なり合ってなることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
画像を取得する取得ステップと、
この取得ステップにて取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分けステップと、
このグループ分けステップにてグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出ステップと、
この分散値算出ステップにて算出された分散値に基づいて、各グループの評価値を算出する評価値算出ステップと、
この評価値算出ステップにて算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出ステップと、
を実行することを特徴とする画像処理方法。
【請求項８】
画像を取得する取得ステップと、
この取得ステップにて取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分けステップと、
このグループ分けステップにてグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出ステップと、
この重心算出ステップにて算出された重心位置と前記画像の中心との距離を算出する距離算出ステップと、
この距離算出ステップにて算出された距離に基づいて、前記各グループの評価値を算出する評価値算出ステップと、
この評価値算出ステップにおける算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出ステップと、
を実行することを特徴とする画像処理方法。
【請求項９】
コンピュータを、
画像を取得する取得手段、
この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段、
このグループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段、
この分散値算出手段により算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段、
この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段、
として機能させることを特徴とするプログラム。
【請求項１０】
コンピュータを、
画像を取得する取得手段、
この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段、
このグループ分け手段によってグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段、
この重心算出手段により算出された重心位置と前記画像の中心との距離を算出する距離算出手段、
この距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出する評価値算出手段、
この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段、
として機能させることを特徴とするプログラム。
【請求項１】
画像を取得する取得手段と、
この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段と、
このグループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段と、
この分散値算出手段により算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段と、
この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記グループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置を算出する重心算出手段と、
この重心算出手段により算出された前記重心位置と前記画像の中心との距離を算出する距離算出手段と、を更に備え、
前記評価値算出手段は、
前記複数のグループの各々に係る、前記分散値算出手段により算出された分散値及び前記距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像を取得する取得手段と、
この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段と、
このグループ分け手段によってグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段と、
この重心算出手段により算出された重心位置と前記画像の中心との距離を算出する距離算出手段と、
この距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出する評価値算出手段と、
この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
前記取得手段により取得された画像に対して当該画像の色を平滑化する平滑化処理を施す平滑化手段を更に備え、
前記グループ分け手段は、
前記平滑化手段により平滑化処理が施された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けすることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記検出手段により検出済みの注目領域と、当該検出済みの注目領域の検出後に新たに検出された注目領域とを比較して、当該比較結果に応じて新たに検出された注目領域が前記検出済みの注目領域とは異なる領域に変化したか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、前記検出手段により検出された注目領域の出力内容を制御する出力制御手段と、を更に備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記複数のグループの各々は、各グループを規定する前記所定の色空間における各成分の範囲が隣合うグループと重なり合ってなることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
画像を取得する取得ステップと、
この取得ステップにて取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分けステップと、
このグループ分けステップにてグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出ステップと、
この分散値算出ステップにて算出された分散値に基づいて、各グループの評価値を算出する評価値算出ステップと、
この評価値算出ステップにて算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出ステップと、
を実行することを特徴とする画像処理方法。
【請求項８】
画像を取得する取得ステップと、
この取得ステップにて取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分けステップと、
このグループ分けステップにてグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出ステップと、
この重心算出ステップにて算出された重心位置と前記画像の中心との距離を算出する距離算出ステップと、
この距離算出ステップにて算出された距離に基づいて、前記各グループの評価値を算出する評価値算出ステップと、
この評価値算出ステップにおける算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出ステップと、
を実行することを特徴とする画像処理方法。
【請求項９】
コンピュータを、
画像を取得する取得手段、
この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段、
このグループ分け手段によりグループ分けされた複数のグループの各々について、各グループに属する画素の当該画像における分散値をグループ毎に算出する分散値算出手段、
この分散値算出手段により算出された分散値に基づいて、各グループの評価値を算出する評価値算出手段、
この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段、
として機能させることを特徴とするプログラム。
【請求項１０】
コンピュータを、
画像を取得する取得手段、
この取得手段により取得された画像の複数の画素を、各画素の所定の色空間における変数の値に基づいて複数のグループにグループ分けするグループ分け手段、
このグループ分け手段によってグループ分けされた複数のグループの各々について、各グループに属する画素の重心位置をグループ毎に算出する重心算出手段、
この重心算出手段により算出された重心位置と前記画像の中心との距離を算出する距離算出手段、
この距離算出手段により算出された距離に基づいて、前記各グループの評価値を算出する評価値算出手段、
この評価値算出手段による算出結果に基づいて、前記複数のグループのうちの何れか一のグループに属する画素によって構成される領域を注目領域として検出する検出手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−４０８５９（Ｐ２０１１−４０８５９Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８４２４４（Ｐ２００９−１８４２４４）
【出願日】平成２１年８月７日（２００９．８．７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月７日（２００９．８．７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]