画像処理装置、画像処理方法及びプログラム
【課題】撮像環境を考慮して注目度の高い特定領域を適正に検出する。
【解決手段】撮像装置１００であって、処理対象画像の複数の特徴の各々について特徴マップを生成する特徴マップ生成部５ｃと、処理対象画像の撮像環境を特定する撮像環境特定部５ｂと、特定された処理対象画像の撮像環境に応じて、複数の特徴マップの重み付けを行う重み付け部５ｄと、この重み付け部により重み付けされた複数の特徴マップの特徴分布に基づいて、処理対象画像から特定領域を検出する特定領域検出部５ｆとを備えている。
【解決手段】撮像装置１００であって、処理対象画像の複数の特徴の各々について特徴マップを生成する特徴マップ生成部５ｃと、処理対象画像の撮像環境を特定する撮像環境特定部５ｂと、特定された処理対象画像の撮像環境に応じて、複数の特徴マップの重み付けを行う重み付け部５ｄと、この重み付け部により重み付けされた複数の特徴マップの特徴分布に基づいて、処理対象画像から特定領域を検出する特定領域検出部５ｆとを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば撮像により得られた画像を処理する画像処理装置、この画像処理装置を用いた画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像処理の分野においては、画像から得られる複数の物理的特徴を示す特徴マップを生成し、これらを統合することにより、処理対象の画像から特定の領域を注目領域として検出する技術が知られている。
より具体的な手法として、例えば、Treismanの特徴統合理論は、複数の特徴マップを統合した顕著性マップを画像の注目領域として得る。また、IttiやKochらの理論は、複数の特徴マップを各々の平均値との二乗誤差を用いて正規化し、全ての特徴マップを線形結合により統合した後、この統合した特徴マップをDifference of Gaussianフィルタにより再帰的にフィルタリングし、最終的に得られたフィルタリング結果における局所的なピークを注目領域として得る（例えば、非特許文献１参照）。
【０００３】
尚、上記の理論で用いられる複数の特徴マップは、高い明度や特定の色、強いコントラストなど、人間の視覚プロセスの初期段階において知覚的に顕著な物体を優先的に注目する性質を利用して得るのが一般的であるとされている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Laurent Itti, Christof Koch, and Ernst Niebur、「A Model of Saliency-Based Visual Attention for Rapid Scene Analysis」、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、（米国）、IEEE Computer Society、1998年11月、第20巻、第11号、p.1254-1259
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１の理論の場合、物理的特徴の種類に対する重みは固定化されており、例えば撮像等により得た多様な物理的特徴を有する画像に適用させる場合には、その画像から適正に注目領域の抽出することは困難であった。
【０００６】
そこで、本発明の課題は、撮像環境を考慮して注目度の高い特定領域を適正に検出することができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
画像を取得する取得手段と、この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段と、前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段と、撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定手段によって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成手段により生成された複数の特徴マップの重み付けを各々行う重み付け手段と、この重み付け手段により各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段とを備え、前記重み付け係数とは、前記撮像環境特定手段によって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴としている。
【０００８】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記取得手段は、撮像手段を含み、前記撮像環境特定手段は、前記撮像環境を前記撮像手段による撮像条件が設定されることにより特定し、前記重み付け手段は、前記設定された撮像条件に応じて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴としている。
【０００９】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
撮像モードと撮像条件とを対応付けて複数記憶する記憶手段と、前記複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段と、を更に備え、前記設定される撮像条件とは、前記モード指定手段により指定された前記撮像モードと対応付けられている撮像条件であることを特徴としている。
【００１０】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記重み付け手段により重み付けされた前記複数の特徴マップの特徴分布を統合する統合手段を更に備え、前記検出手段は、前記統合手段により統合された前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出することを特徴としている。
【００１１】
請求項５に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、画像を取得する取得ステップと、この取得ステップにて取得された画像の複数の特徴の各々について特徴マップを生成する生成ステップと、前記取得ステップにて取得された画像の撮像環境を特定する撮像環境特定ステップと、撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定ステップによって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成ステップにて生成された複数の特徴マップの重み付けを各々行う重み付けステップと、この重み付けステップにて各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出ステップとを実行し、前記重み付け係数とは、前記撮像環境特定ステップによって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴としている。
【００１２】
請求項６に記載の発明のプログラムは、
画像処理装置のコンピュータを、画像を取得する取得手段、この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段、前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段、撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定手段によって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成ステップにて生成された複数の特徴マップの重み付けを各々行う重み付け手段、この重み付け手段により各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段として機能させ、前記重み付け係数とは、前記撮像環境特定手段によって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、撮像環境を考慮して注目度の高い特定領域の検出を適正に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置に記憶されている重み付けテーブルの一例を示す図である。
【図３】図１の撮像装置よる特定領域検出処理に係る動作の一例を示すフローチャートである。
【図４】特定領域検出処理を説明するための図である。
【図５】重み付けテーブルの作成に係る外部機器の概略構成を示すブロック図である。
【図６】図５の外部機器による重み付けテーブル作成処理に係る動作の一例を示すフローチャートである。
【図７】重み付けテーブル作成処理に係る画像セットを説明するための図である。
【図８】画像セットの一例を模式的に示す図である。
【図９】重み付けテーブル作成処理に係る重み付け係数の一例を示す図である。
【図１０】重み付けテーブル作成処理に係る正解マップ及び仮統合マップの一例を示す図である。
【発明を実施するための形態】
【００１５】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１６】
本実施形態の撮像装置１００は、処理対象画像の撮像環境に応じて、当該処理対象画像の複数の特徴の各々に係る特徴マップの重み付けを行って、重み付けされた複数の特徴マップの特徴分布に基づいて、処理対象画像から特定領域を検出する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、記憶部６と、表示制御部７と、表示部８と、記録媒体９と、外部接続部１０と、操作入力部１１と、中央制御部１２とを備えている。
【００１７】
撮像部１は、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
【００１８】
撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、撮像条件の調整制御として、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等を行う。
【００１９】
画像データ生成部３は、電子撮像部から転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶ色空間の画像データ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００２０】
メモリ４は、例えば、ＤＲＡＭ等により構成され、画像処理部５や中央制御部１２等によって処理されるデータ等を一時記憶する。
【００２１】
画像処理部５は、撮像部１により撮像された入力画像を処理対象画像として取得する画像取得部（取得手段）５ａを具備している。
具体的には、画像取得部５ａは、例えば、ライブビュー画像や記録用画像の撮像の際に画像データ生成部３により生成された入力画像（図４参照）のＹＵＶデータを取得する。
【００２２】
また、画像処理部５は、被写体の撮像の際に、画像の撮像環境（図４参照）を特定する撮像環境特定部５ｂを具備している。
具体的には、撮像環境特定部５ｂは、ユーザによる操作入力部１１の選択決定ボタンの所定操作に応じた撮像モード（選択シーン）の指定に基づいて、当該撮像モードに対応する被写体の撮像条件が設定されることにより撮像環境を特定する。より具体的には、撮像環境特定部５ｂは、例えば、「１．オート」、「２．人物」、「３．風景」、「４．風景と人物」、「５．子供」、「６．スポーツ」、「７．キャンドルライト」、「８．パーティー」、「９．ペット」等の複数の撮像モードの中から、ユーザにより指定された撮像モードにて規定されている、例えば、露出条件（シャッター速度や絞り、または増幅率等）やホワイトバランス等の被写体の撮像条件（撮像モード情報）を撮像環境として特定する。
また、撮像環境特定部５ｂは、画像の撮像環境として、ユーザによる操作入力部１１の所定操作に従って指定されたズーム量（ズームレンズ位置）に基づいて、当該ズーム量に応じて設定された画角に係る画角情報を特定する。
また、撮像環境特定部５ｂは、画像の撮像環境として、図示しない計時部により計時された時刻に係る時刻情報を特定する。
また、撮像環境特定部５ｂは、画像の撮像環境として、図示しない位置検出部により検出された位置に基づいて、ＧＰＳ（全地球測位システム）情報や高度情報を特定する。
なお、画像の撮像環境として例示した、撮像モード情報、画角情報、時刻情報、ＧＰＳ情報、高度情報は、一例であってこれらに限られるものではない。
【００２３】
ここで、撮像環境特定部５ｂ及び操作入力部１１は、画像の撮像環境を特定する撮像環境特定手段を構成している。
【００２４】
また、画像処理部５は、画像取得部５ａにより取得された入力画像の複数の特徴の各々について、複数の特徴マップ（図４参照）を生成する特徴マップ生成部（生成手段）５ｃを具備している。
特徴マップ生成部５ｃは、画像取得部５ａにより取得された画像データ（ＹＵＶデータ）に基づいて、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズ（ｘ×ｙ：６４０×４８０画素）の画像）を生成した後、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合（まとまり度合）等を利用した第１〜第３の特徴マップＦ１〜Ｆ３を生成する。
具体的には、特徴マップ生成部５ｃは、先ず、縮小画像の画像データに基づいて、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率でさらに縮小した画像を縮小比率を異ならせて複数生成する。そして、特徴マップ生成部５ｃは、生成された複数の縮小した画像の各々のコントラストを算出した後、これらコントラストを各画像の縮小比率に対応させて拡大して寸法を合わせて加算することによって第１の特徴マップＦ１を生成する。
また、特徴マップ生成部５ｃは、先ず、縮小画像の画像データに基づいて、各画素を中心として寸法や形状の異なる枠を複数生成する。そして、特徴マップ生成部５ｃは、複数の枠内の画像領域どうしの類似度の指標として、ヒストグラムのバタチャリヤ距離を算出した後、当該バタチャリヤ距離に基づいて各画素を塗り分けることによって第２の特徴マップＦ２を生成する。なお、図４に示す第２の特徴マップＦ２にあっては、ヒストグラムのバタチャリヤ距離が大きくなる程、白く表されている。ここで、バタチャリヤ距離とは、２つの確率密度分布の相乗平均を全領域で積分し、次元を確率に戻した上で、その自己情報量を求め、それを距離として解釈する距離尺度である。
また、特徴マップ生成部５ｃは、先ず、縮小画像のＹＵＶ色空間の画像データを所定の変換式に従ってＨＳＶ色空間の画像データに変換した後、ＥＭアルゴリズムを利用して混合ガウス分布で表現する。そして、特徴マップ生成部５ｃは、所定の基準でグループ分けされた複数のグループ（色のかたまり）について分散値を算出した後、当該分散値に基づいて各画素を塗り分けることによって第３の特徴マップＦ３を生成する。なお、図４に示す第３の特徴マップＦ３にあっては、分散値が小さくなる程（色がまとまっている程）、白く表されている。
【００２５】
なお、特徴マップとして、第１〜第３の特徴マップＦ１〜Ｆ３を例示したが、一例であってこれらに限られるものではなく、入力画像の各種の特徴に係るものであれば如何なる特徴マップであっても良い。また、特徴マップの数（種類）も３つに限られるものではなく、複数であれば良い。
【００２６】
また、画像処理部５は、特徴マップ生成部５ｃにより生成された複数の特徴マップの重み付けを行う重み付け部５ｄを具備している。
即ち、重み付け部５ｄは、重み付け係数記憶手段として、第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３と撮像条件とが対応付けられた重み付けテーブルＴ１を記憶している。
重み付けテーブルＴ１は、図３に示すように、被写体の撮像条件を規定する複数の撮像モード「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」の各々について、第１〜第３の特徴マップＦ１〜Ｆ３の各重み付け係数ｗ１〜ｗ３と対応付けて記憶している。
なお、重み付けテーブルＴ１は、撮像装置１００と外部接続部１０を介して接続される外部機器２００（後述）による重み付けテーブル作成処理（後述）にて作成された後、当該撮像装置１００に送信されて重み付け部５ｄに記憶されたものである。
【００２７】
そして、重み付け部５ｄは、複数の撮像モードの中で、ユーザによる操作入力部１１の所定操作に基づいて指定された撮像モードと対応付けられている被写体の撮像条件に応じて、第１〜第３の特徴マップＦ１〜Ｆ３の重み付けを行う。具体的には、重み付け部５ｄは、重み付け係数ｗ１〜ｗ３に応じて重み付けされた第１〜第３の特徴マップＦ１〜Ｆ３の特徴分布を統合する特徴分布統合部５ｅを具備している。
【００２８】
即ち、重み付け部５ｄは、ユーザによる操作入力部１１の所定操作に基づいて何れか一の撮像モードが指定されると、当該撮像モードに対応する第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３を重み付けテーブルＴ１内で特定した後、所定の重み付け係数（例えば、重み付け係数ｗ１等）を読み出して取得する。そして、特徴分布統合部５ｅは、取得した重み付け係数ｗ１〜ｗ３に応じて第１〜第３の特徴マップＦ１〜Ｆ３の重み付けを行って、統合マップＴ（x, y）を生成する。具体的には、特徴分布統合部５ｅは、下記式（１）に従って、第１〜第３の特徴マップＦ１〜Ｆ３の各々の特徴分布と対応する各重み付け係数ｗ１〜ｗ３とを乗算して積分することで、統合マップＴ（x, y）を生成する。
【数１】
なお、「ｉ」は、第１〜第３の特徴マップＦ１〜Ｆ３及び重み付け係数ｗ１〜ｗ３を指定するためのインデックスである。また、統合マップＴ（x, y）は、「０」〜「１」の値で表され、主要被写体の可能性が高い領域程、「１」に近い値をとり、図４にあっては「１」に近くなる程より白く表されている。
ここで、特徴分布統合部５ｅは、重み付け部５ｄにより重み付けされた複数の特徴マップの特徴分布を統合する統合手段を構成している。
【００２９】
なお、撮像環境として、被写体の撮像条件を規定する撮像モード情報を例示したが、これに限られるものではなく、被写体の撮像の際に、例えば、画角情報、時刻情報、ＧＰＳ情報、高度情報等の撮像環境が撮像環境特定部５ｂにより特定された場合には、重み付け部５ｄは、当該撮像環境に応じて第１〜第３の特徴マップＦ１〜Ｆ３の重み付けを行っても良い。
また、重み付けテーブルＴ１として、撮像モード情報と第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３とが対応付けられたものを例示したが、一例であってこれに限られるものではなく、他の撮像環境、例えば、画角情報、時刻情報、ＧＰＳ情報、高度情報等と第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３とを対応付けて記憶したものであっても良い。
さらに、図３に示す重み付けテーブルＴ１の重み付け係数ｗ１〜ｗ３の各数値は、一例であってこれに限られるものではなく、特定領域の検出精度に応じて適宜任意に変更することができる。
【００３０】
ここで、重み付け部５ｄは、画像取得部５ａにより取得された画像の撮像環境に応じて、特徴マップ生成部５ｃにより生成された複数の特徴マップの重み付けを行う重み付け手段を構成している。
【００３１】
また、画像処理部５は、特徴分布統合部５ｅにより生成された統合マップの特徴分布に基づいて、入力画像から特定領域を検出する特定領域検出部５ｆを具備している。
特定領域検出部５ｆは、統合マップＴ（x, y）に基づいて、所定の閾値以上の値をとる領域を特定領域として検出する。具体的には、特定領域検出部５ｆは、統合マップＴ（x, y）を画像取得部５ａにより取得された入力画像の原寸法に対応させるように、水平（ｘ軸）及び垂直（ｙ軸）ともに縮小比率に対応する比率で拡大する。その後、特定領域検出部５ｆは、拡大された統合マップＴ（x, y）の特徴分布を入力画像に適用して、所定の閾値以上の値をとる領域を特定領域として検出する。
ここで、特定領域検出部５ｆは、重み付け部５ｄにより重み付けされた複数の特徴マップの特徴分布に基づいて、入力画像から特定領域を検出する検出手段を構成している。
【００３２】
記憶部６は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、中央制御部１２の動作に必要な各種プログラムやデータ（図示略）を記憶している。
また、記憶部６には、被写体の複数の撮像モードの設定に係るモードテーブルＴ２が格納されている。
【００３３】
モードテーブルＴ２は、例えば、露出条件（シャッター速度や絞り、または増幅率等）やホワイトバランス等の被写体の撮像条件がそれぞれ規定された複数の撮像モードを記憶している。
撮像モードとしては、例えば、被写体の撮像条件を自動的に調整する「オート」、主要な被写体を人物とする撮像に適した撮像条件に調整する「人物」と、主要な被写体を風景とする撮像に適した撮像条件に調整する「風景」と、風景と人物の撮像に適した撮像条件に調整する「風景と人物」と、主要な被写体を子供とする撮像に適した撮像条件に調整する「子供」と、スポーツの撮像に適した撮像条件に調整する「スポーツ」と、キャンドルライトの明かりでの人物の撮像に適した撮像条件に調整する「キャンドルライト」と、複数の人物の存するパーティーの撮像に適した撮像条件に調整する「パーティー」と、主要な被写体をペットとする撮像に適した撮像条件に調整する「ペット」等が挙げられる。
ここで、記憶部６は、撮像モードと撮像条件とを対応付けて複数記憶する記憶手段を構成している。
【００３４】
表示制御部７は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１２の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００３５】
表示部８は、例えば、液晶表示装置であり、表示制御部７からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。
【００３６】
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。
【００３７】
外部接続部１０は、外部機器２００との接続用の端子（例えば、ＵＳＢ端子等）を備え、所定の通信ケーブル（例えば、ＵＳＢケーブル等；図示略）を介してデータの送受信を行う。
具体的には、外部接続部１０は、外部機器２００による重み付けテーブル作成処理（後述）にて作成され、当該外部機器２００から送信された重み付けテーブルＴ１を受信する。
【００３８】
操作入力部１１は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１１は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１２に出力する。
【００３９】
また、操作入力部１１の選択決定ボタンは、ユーザによるメニューボタンの所定操作に基づいて表示部８に表示されたモード選択画面にて、例えば、「オート」、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等の複数の撮像モードの中から、何れか一の撮像モードの設定指示を入力する。そして、当該選択決定ボタンの操作に応じて所定の設定信号を中央制御部１２に出力する。
中央制御部１２は、入力された設定信号に従って、モードテーブルＴ２に記憶されている複数の撮像モードの中でユーザ所望の撮像モードを設定する。
ここで、操作入力部１１及び中央制御部１２は、複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段を構成している。
【００４０】
中央制御部１２は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１２は、ＣＰＵ（図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４１】
次に、特定領域検出処理について図３を参照して説明する。
図３は、特定領域検出処理に係る動作の一例を示すフローチャートである。
【００４２】
図３に示すように、画像処理部５の画像取得部５ａは、例えば、撮像部１によりライブビュー画像や記録用画像を撮像することで画像データ生成部３により生成された処理対象画像の画像データ（ＹＵＶデータ）を取得する（ステップＳ１）。
なお、撮像部１によるライブビュー画像や記録用画像の撮像の際には、複数の撮像モード（例えば、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等）の中で何れか一の撮像モードが指定されているものとする。
【００４３】
続けて、画像処理部５の特徴マップ生成部５ｃは、画像取得部５ａにより取得された画像データ（ＹＵＶデータ）に基づいて、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズの画像）を生成した後（ステップＳ２）、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合を利用した第１〜第３の特徴マップＦ１〜Ｆ３（図４参照）を生成する（ステップＳ３）。
【００４４】
次に、画像処理部５の撮像環境特定部５ｂは、撮像部１によるライブビュー画像や記録用画像の撮像の際にユーザによる操作入力部１１の所定操作に従って指定された撮像モード（例えば、撮像モード「ペット」）に基づいて、当該撮像モードに対応する被写体の撮像条件を撮像環境として特定する（ステップＳ４）。
続けて、画像処理部５の重み付け部５ｄは、撮像環境特定部５ｂにより特定された撮像環境（撮像モード）に対応する第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３を重み付けテーブルＴ１内で特定して取得する（ステップＳ５）。そして、特徴分布統合部５ｅは、取得した重み付け係数ｗ１〜ｗ３に応じて第１〜第３の特徴マップＦ１〜Ｆ３の重み付けを行って、統合マップＴ（x, y）を生成する。具体的には、特徴分布統合部５ｅは、下記式（１）に従って、第１〜第３の特徴マップＦ１〜Ｆ３の各々の特徴分布と対応する各重み付け係数ｗ１〜ｗ３とを乗算して積分することで、統合マップＴ（x, y）を生成する（ステップＳ６）。
【数２】
【００４５】
なお、特定領域検出処理にあっては、第１〜第３の特徴マップＦ１〜Ｆ３を生成する処理（ステップＳ３）と、撮像環境を特定する処理（ステップＳ４）の順序は、逆であっても良い。即ち、先に撮像環境を特定する処理を行い、その後、第１〜第３の特徴マップＦ１〜Ｆ３を生成する処理を行うようにしても良い。
【００４６】
次に、特定領域検出部５ｆは、統合マップＴ（x, y）を画像取得部５ａにより取得された入力画像の原寸法に対応させるように、水平（ｘ軸）及び垂直（ｙ軸）ともに縮小比率に対応する比率で拡大した後、拡大された統合マップＴ（x, y）の特徴分布を入力画像に適用して、所定の閾値以上の値をとる領域を特定領域として検出する（ステップＳ７）。その後、画像処理部５は、検出された特定領域をメモリ４に出力して（ステップＳ８）、特定領域検出処理を終了する。
【００４７】
次に、重み付けテーブルＴ１の作成について説明する。
先ず、重み付けテーブル作成処理を実行する外部機器２００の構成について図５を参照して説明する。
【００４８】
図５に示すように、外部機器２００は、重み決定部２０１と、記憶部２０２と、メモリ２０３と、表示部２０４と、外部接続部２０５と、操作入力部２０６と、中央制御部２０７とを備えている。
【００４９】
重み決定部２０１は、重み付けテーブル作成処理を実行するものである。具体的には、重み決定部２０１は、撮像環境指定部２０１ａと、領域指定部２０１ｂと、重み付け係数特定部２０１ｃとを具備している。
【００５０】
撮像環境指定部２０１ａは、ユーザによる操作入力部２０６の所定操作に基づいて、撮像画像の撮像環境を指定する。
撮像環境指定部２０１ａは、記憶部２０２に記憶されている複数枚（例えば、約１０００枚）の撮像画像について、少なくとも一のユーザの各々による操作入力部２０６の所定操作に基づいて撮像装置１００の撮像モードと対応する撮像シーンを選択指示して、指示された撮像シーン又は当該撮像モードに対応する被写体の撮像条件に応じてラベリングする。具体的には、撮像環境指定部２０１ａは、撮像装置１００の撮像モードと対応する、例えば、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等の撮像シーンに応じた画像セット１〜８（図７（ａ）及び図７（ｂ）参照）に複数枚の撮像画像をソートする。これにより、撮像環境指定部２０１ａは、複数枚の撮像画像の各々の撮像環境を指定する。
なお、一の撮像画像について、複数のユーザによって複数の異なる撮像シーンが指示された場合には、多数決や平均をとることにより何れか一の撮像シーンに対応するようにラベリングしても良いし、指示された複数の撮像シーンの各々に対応するようにラベリングしても良い。
ここで、撮像環境指定部２０１ａ及び操作入力部２０６は、撮像画像の撮像環境を指定する領域指定手段を構成している。
【００５１】
領域指定部２０１ｂは、ユーザによる操作入力部２０６の所定操作に基づいて、各撮像画像内でユーザの注目する注目領域を指定する。
領域指定部２０１ｂは、各画像セット内の全ての撮像画像について、複数のユーザの各々による操作入力部２０６の所定操作に基づいて主要被写体領域（注目領域）を指定して、指定された複数の注目領域を平均することで注目領域として正解マップＳｊ（x, y）を生成する。具体的には、領域指定部２０１ｂは、例えば、画像セット８に含まれる何れか一の画像ｊ（例えば、主要被写体が鹿の画像）について、複数のユーザの各々による操作入力部２０６の所定操作に基づいて主要被写体領域を指定した後、当該複数の主要被写体領域の平均をとることにより正解マップＳｊ（x, y）を生成した後、画像ｊ（原画像）と対応付けて画像セット内に格納する（図８参照）。
なお、正解マップＳｊ（x, y）は、「０」〜「１」の値で表され、主要被写体領域として同意した人数が多い程、「１」に近い値をとり、図８にあっては「１」に近くなる程より白く表されている。また、正解マップＳｊ（x, y）は、原画像に対して水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した寸法（例えば、ＶＧＡサイズ（ｘ×ｙ：６４０×４８０画素））となっている。また、「ｊ」は、ユーザにより処理対象として指定された画像セット（例えば、画像セット８）に含まれる画像のインデックスである。
ここで、領域指定部２０１ｂ及び操作入力部２０６は、撮像画像内でユーザの注目する注目領域を指定する領域指定手段を構成している。
【００５２】
重み付け係数特定部２０１ｃは、各画像セットについて第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３を特定するものであり、具体的には、係数変更部２０１ｄと、仮特定領域検出部２０１ｅとを有している。
【００５３】
係数変更部２０１ｄは、第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３を様々に変更する。具体的には、係数変更部２０１ｄは、仮特定領域検出部２０１ｅによる仮統合マップＴｊｋ（x, y）の生成に際して、第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３を規定する係数決定用テーブル（図９参照）の「ｋ」の値を様々に変化させる。
なお、「ｋ」は、ｗ１〜ｗ３の様々な組み合わせを指定するためのインデックスである。
【００５４】
仮特定領域検出部２０１ｅは、係数変更部２０１ｄにより変更指定された重み付け係数ｗ１〜ｗ３に応じて重み付けされた第１〜第３の特徴マップＦ１〜Ｆ３の特徴分布に基づいて、撮像画像から仮統合マップＴｊｋ（x, y）を生成する。
具体的には、仮特定領域検出部２０１ｅは、正解マップＳｊ（x, y）が生成された処理対象画像の画像データに基づいて、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズ（ｘ×ｙ：６４０×４８０画素）の画像）を生成した後、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合（まとまり度合）等を利用した第１〜第３の特徴マップＦ１〜Ｆ３を生成する。その後、仮特定領域検出部２０１ｅは、下記式（２）に従って、係数変更部２０１ｄにより指定された重み付け係数ｗ１〜ｗ３に応じて第１〜第３の特徴マップＦ１〜Ｆ３の各々の特徴分布を重み付け演算することで、仮統合マップＴｊｋ（x, y）を生成する。
【数３】
なお、「ｉ」は、第１〜第３の特徴マップＦ１〜Ｆ３及び重み付け係数ｗ１〜ｗ３を指定するためのインデックスである。また、「ｊ」は、ユーザにより処理対象として指定された画像セット（例えば、画像セット８）に含まれる画像のインデックスである。また、「ｋ」は、ｗ１〜ｗ３の様々な組み合わせを指定するためのインデックスである。
【００５５】
ここで、仮特定領域検出部２０１ｅは、重み付け係数ｗ１〜ｗ３に応じて重み付けされた複数の特徴マップの特徴分布に基づいて、撮像画像から仮の特定領域（仮統合マップＴｊｋ（x, y））を検出する仮検出手段を構成している。
【００５６】
そして、重み付け係数特定部２０１ｃは、各画像セットについて係数変更部２０１ｄにより変更された重み付け係数ｗ１〜ｗ３に応じて、仮特定領域検出部２０１ｅにより算出された仮統合マップＴｊｋ（x, y）（図１０（ｂ）参照）と、領域指定部２０１ｂにより指定された正解マップＳｊ（x, y）（図１０（ａ）参照）との面積の重なり度合を一致度Ｔｋとして下記式（３）に従って算出する。
【数４】
なお、一致度Ｔｋは、「０」〜「１」の値で表され、仮統合マップＴｊｋ（x, y）と正解マップＳｊ（x, y）との面積の重なり度合が大きい程、「１」に近い値をとる。また、一致度Ｔｋの算出に係る式（３）は、一例であってこれに限られるものではなく、仮統合マップＴｊｋ（x, y）と正解マップＳｊ（x, y）との一致度の算出に係る式であれば適宜任意に変更することができる。
【００５７】
そして、重み付け係数特定部２０１ｃは、係数変更部２０１ｄにより変更指定された複数の重み付け係数ｗ１〜ｗ３に応じて算出された複数の一致度Ｔｋの中で、最も高い一致度Ｔｋを特定する。重み付け係数特定部２０１ｃは、当該最も高い一致度Ｔｋの算出に係る重み付け係数ｗ１〜ｗ３を、撮像環境指定部２０１ａにより指定された撮像環境（例えば、画像セット８に対応する撮像シーン「ペット」）における第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３の組み合わせとして特定する。
また、重み付け係数特定部２０１ｃは、上記の処理を全ての画像セットの重み付け係数ｗ１〜ｗ３について行うことで、複数の画像セットの各々について第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３が対応付けられた重み付けテーブルＴ１を生成する。
【００５８】
このように、重み付け係数特定部２０１ｃは、撮像環境指定部２０１ａにより指定された撮像環境、及び領域指定部２０１ｂにより指定された注目領域としての正解マップＳｊ（x, y）に基づいて、複数の特徴マップの各々の重み付け係数ｗ１〜ｗ３を特定する特定手段を構成している。
【００５９】
記憶部２０２は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、中央制御部２０７の動作に必要な各種プログラムやデータ（図示略）を記憶している。
また、記憶部２０２には、重み付けテーブル作成処理により作成された重み付けテーブルＴ１（図２参照）が格納されている。
【００６０】
メモリ２０３は、例えば、ＤＲＡＭ等により構成され、重み決定部２０１や中央制御部２０７等によって処理されるデータ等を一時記憶する。
【００６１】
表示部２０４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部２０７の制御下にて各種情報を表示画面に表示する。
【００６２】
外部接続部２０５は、撮像装置１００との接続用の端子（例えば、ＵＳＢ端子等）を備え、所定の通信ケーブル（例えば、ＵＳＢケーブル等；図示略）を介してデータの送受信を行う。
具体的には、外部接続部２０５は、重み付けテーブル作成処理により作成され、記憶部２０２に記憶されている重み付けテーブルＴ１を撮像装置１００に送信する。
【００６３】
操作入力部２０６は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部２０７に出力する。
【００６４】
中央制御部２０７は、外部機器２００の各部を制御するものである。具体的には、中央制御部２０７は、ＣＰＵ（図示略）を備え、外部機器２００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００６５】
次に、重み決定部２０１によって実行される重み付けテーブル作成処理について図６〜図１０を参照して説明する。
図６は、重み付けテーブル作成処理に係る動作の一例を示すフローチャートである。
【００６６】
図６に示すように、先ず、撮像環境指定部２０１ａは、記憶部２０２に記憶されている複数枚（例えば、約１０００枚）の撮像画像について、複数のユーザの各々による操作入力部２０６の所定操作に基づいて撮像シーンを選択指示して、指示された撮像シーンに応じてラベリングすることで複数枚の撮像画像を画像セット１〜８（図７（ａ）及び図７（ｂ）参照）にソートする（ステップＳ２１）。
【００６７】
次に、領域指定部２０１ｂは、各画像セット（例えば、画像セット８等）内の全ての撮像画像について、複数のユーザの各々による操作入力部２０６の所定操作に基づいて主要被写体領域（例えば、主要被写体として鹿の画像領域）を指定して（ステップＳ２２）、指定された複数の注目領域を平均することで注目領域として正解マップＳｊ（x, y）を生成する（ステップＳ２３；図８参照）。
【００６８】
次に、重み付け係数特定部２０１ｃは、複数の画像セットの中から何れか一の画像セット（例えば、画像セット８）を処理対象として指定する（ステップＳ２４）。
続けて、重み付け係数特定部２０１ｃは、処理対象の画像セット内で複数の撮像画像の中から何れか一の撮像画像を指定した後（ステップＳ２５）、仮特定領域検出部２０１ｅは、係数変更部２０１ｄにより変更指定された複数の重み付け係数ｗ１〜ｗ３（図９参照）の各々に応じて重み付けされた第１〜第３の特徴マップＦ１〜Ｆ３の特徴分布に基づいて、撮像画像から仮統合マップＴｊｋ（x, y）の各々を下記式（２）に従って生成する（ステップＳ２６）。
【数５】
【００６９】
次に、重み付け係数特定部２０１ｃは、処理対象の画像セット内の全ての撮像画像について仮統合マップＴｊｋ（x, y）を生成したか否かを判定する処理を行う（ステップＳ２７）。ここで、全ての撮像画像について仮統合マップＴｊｋ（x, y）を生成していないと判定されると（ステップＳ２７；ＮＯ）、処理対象の画像セット内で次の撮像画像を指定した後（ステップＳ２８）、処理をステップＳ２６に移行する。
ステップＳ２６の処理は、ステップＳ２７にて、全ての撮像画像について仮統合マップＴｊｋ（x, y）を生成したと判定されるまで（ステップＳ２７；ＹＥＳ）、繰り返し行われる。
【００７０】
そして、ステップＳ２７にて、全ての撮像画像について仮統合マップＴｊｋ（x, y）を生成したと判定されると（ステップＳ２７；ＹＥＳ）、重み付け係数特定部２０１ｃは、処理対象の画像セットについて、係数変更部２０１ｄにより変更された重み付け係数ｗ１〜ｗ３に応じて仮統合マップＴｊｋ（x, y）と正解マップＳｊ（x, y）との一致度Ｔｋを下記式（３）に従って算出する（図１０（ａ）及び図１０（ｂ）参照）。
【数６】
続けて、重み付け係数特定部２０１ｃは、係数変更部２０１ｄにより変更指定された複数の重み付け係数ｗ１〜ｗ３に応じて算出された複数の一致度Ｔｋの中で、最も高い一致度Ｔｋを特定した後、当該最も高い一致度Ｔｋの算出に係る重み付け係数ｗ１〜ｗ３を当該撮像環境（例えば、画像セット８に対応する撮像シーン「ペット」）における第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３の組み合わせとして特定する（ステップＳ２９）。
その後、重み決定部２０１は、特定された第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３の組み合わせを処理対象の画像セットと対応付けて重み付けテーブルＴ１に格納する（ステップＳ３０）。
【００７１】
次に、重み決定部２０１は、複数の画像セットの全てについて重み付け係数ｗ１〜ｗ３の組み合わせを特定したか否かを判定する処理を行う（ステップＳ３１）。ここで、全ての画像セットについて重み付け係数ｗ１〜ｗ３の組み合わせを生成していないと判定されると（ステップＳ３１；ＮＯ）、重み付け係数特定部２０１ｃが複数の画像セットの中で次の画像セットを指定した後（ステップＳ３２）、重み決定部２０１は、処理をステップＳ２５に移行して、それ以降の処理を実行する。
ステップＳ２５以降の処理は、ステップＳ３１にて、全ての画像セットについて重み付け係数ｗ１〜ｗ３の組み合わせを生成したと判定されるまで（ステップＳ３１；ＹＥＳ）、繰り返し行われる。
これにより、重み付け係数特定部２０１ｃは、複数の画像セットの各々について第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３が対応付けられた重み付けテーブルＴ１を生成する。
【００７２】
そして、ステップＳ３１にて、全ての画像セットについて重み付け係数ｗ１〜ｗ３の組み合わせを生成したと判定されると（ステップＳ３１；ＹＥＳ）、重み付けテーブル作成処理を終了する。
【００７３】
以上のように、本実施形態の撮像装置１００によれば、従来のように処理対象画像から抽出すべき領域の特徴の種類に対する重みが固定されているのではなく、処理対象画像の撮像環境を特定し、当該撮像環境に応じて複数の特徴マップの重み付けを行うことで、撮像環境を考慮して複数の特徴マップの重みを柔軟に変更することができる。そして、重み付けされた複数の特徴マップの特徴分布を統合して統合マップを生成し、当該統合マップに基づいて処理対象画像から特定領域を検出することで、撮像環境を考慮してユーザの注目度の高い特定領域の検出を適正に行うことができる。
【００７４】
また、撮像モードと撮像条件とが対応付けられて複数記憶されているので、複数の撮像モードの中で指定された何れか一の撮像モードと対応付けられている撮像条件に応じて、複数の特徴マップの重み付けを行うことができる。即ち、撮像部１によるライブビュー画像や記録用画像の撮像の際に、ユーザによる操作入力部１１の所定操作に従って撮像モード（例えば、撮像モード「ペット」）が指定されるだけで、当該撮像モードに対応する被写体の撮像条件を撮像環境として特定するので、複数の特徴マップの重み付けに係る撮像環境を適正に特定することができる。これにより、撮像環境を考慮した複数の特徴マップの重みの変更を適正に行うことができる。
【００７５】
また、複数の特徴マップの各々の重み付け係数ｗ１〜ｗ３と撮像条件とが対応付けられて重み付けテーブルＴ１に記憶されているので、撮像環境特定部５ｂにより画像の撮像環境として撮像条件が特定されるだけで、当該撮像条件と対応付けられている重み付け係数ｗ１〜ｗ３を取得することができ、複数の特徴マップの重み付けを簡便に、且つ、迅速に行うことができる。
【００７６】
なお、重み付けテーブルＴ１の作成にあっては、外部機器２００にて、ユーザによる操作入力部２０６の所定操作に基づいて撮像画像の撮像環境及び主要被写体領域（注目領域）が指定されるだけで、これら撮像環境及び主要被写体領域に基づいて複数の特徴マップの各々の重み付け係数ｗ１〜ｗ３の特定を適正に行うことができる。具体的には、重み付け係数ｗ１〜ｗ３に応じて重み付けされた複数の特徴マップの特徴分布に基づいて、撮像画像から仮統合マップＴｊｋ（x, y）を生成し、そして、主要被写体領域に基づいて生成された正解マップＳｊ（x, y）と仮統合マップＴｊｋ（x, y）との一致度Ｔｋが最も高くなる重み付け係数ｗ１〜ｗ３の組み合わせを決定することで、複数の特徴マップの各々の重み付け係数ｗ１〜ｗ３の組み合わせを特定することができる。
【００７７】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、重み付けテーブルＴ１の作成を撮像装置１００とは異なる外部機器２００で行うようにしたが、これに限られるものではない。即ち、外部機器２００にて重み付けテーブルＴ１を作成して、当該重み付けテーブルＴ１を撮像装置１００にて使用する画像処理システムを例示したが、撮像装置１００や外部機器２００の構成は、上記実施形態に例示したものは一例であり、これら撮像装置１００と外部機器２００の全ての機能を備える一の画像処理装置であっても良い。
【００７８】
また、処理対象画像の撮像は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された処理対象画像の画像データを取得して、特定領域の検出を行う画像処理装置であっても良い。
【００７９】
加えて、上記実施形態にあっては、取得手段、生成手段、重み付け手段、検出手段としての機能を、中央制御部１２の制御下にて、画像処理部５の画像取得部５ａ、特徴マップ生成部５ｃ、重み付け部５ｄ、特定領域検出部５ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１２のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、生成処理ルーチン、撮像環境特定処理ルーチン、重み付け処理ルーチン、検出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１２のＣＰＵを、画像を取得する取得手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部１２のＣＰＵを、取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段として機能させるようにしても良い。また、撮像環境特定処理ルーチンにより中央制御部１２のＣＰＵを、取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段として機能させるようにしても良い。また、重み付け処理ルーチンにより中央制御部１２のＣＰＵを、撮像環境特定手段により特定された画像の撮像環境に応じて、生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１２のＣＰＵを、重み付け手段により重み付けされた複数の特徴マップの特徴分布に基づいて、画像から特定領域を検出する検出手段として機能させるようにしても良い。
【符号の説明】
【００８０】
１００ 撮像装置
５ 画像処理部
５ａ 画像取得部
５ｂ 撮像環境特定部
５ｃ 特徴マップ生成部
５ｄ 重み付け部
５ｅ 特徴分布統合部
５ｆ 特定領域検出部
６ 記憶部（記憶手段）
１２ 中央制御部
２００ 外部機器
２０１ 重み決定部
２０１ａ 撮像環境指定部
２０１ｂ 領域指定部
２０１ｃ 重み付け係数特定部
２０１ｅ 仮特定領域検出部
Ｔ１ 重み付けテーブル
【技術分野】
【０００１】
本発明は、例えば撮像により得られた画像を処理する画像処理装置、この画像処理装置を用いた画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像処理の分野においては、画像から得られる複数の物理的特徴を示す特徴マップを生成し、これらを統合することにより、処理対象の画像から特定の領域を注目領域として検出する技術が知られている。
より具体的な手法として、例えば、Treismanの特徴統合理論は、複数の特徴マップを統合した顕著性マップを画像の注目領域として得る。また、IttiやKochらの理論は、複数の特徴マップを各々の平均値との二乗誤差を用いて正規化し、全ての特徴マップを線形結合により統合した後、この統合した特徴マップをDifference of Gaussianフィルタにより再帰的にフィルタリングし、最終的に得られたフィルタリング結果における局所的なピークを注目領域として得る（例えば、非特許文献１参照）。
【０００３】
尚、上記の理論で用いられる複数の特徴マップは、高い明度や特定の色、強いコントラストなど、人間の視覚プロセスの初期段階において知覚的に顕著な物体を優先的に注目する性質を利用して得るのが一般的であるとされている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Laurent Itti, Christof Koch, and Ernst Niebur、「A Model of Saliency-Based Visual Attention for Rapid Scene Analysis」、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、（米国）、IEEE Computer Society、1998年11月、第20巻、第11号、p.1254-1259
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１の理論の場合、物理的特徴の種類に対する重みは固定化されており、例えば撮像等により得た多様な物理的特徴を有する画像に適用させる場合には、その画像から適正に注目領域の抽出することは困難であった。
【０００６】
そこで、本発明の課題は、撮像環境を考慮して注目度の高い特定領域を適正に検出することができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
画像を取得する取得手段と、この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段と、前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段と、撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定手段によって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成手段により生成された複数の特徴マップの重み付けを各々行う重み付け手段と、この重み付け手段により各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段とを備え、前記重み付け係数とは、前記撮像環境特定手段によって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴としている。
【０００８】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記取得手段は、撮像手段を含み、前記撮像環境特定手段は、前記撮像環境を前記撮像手段による撮像条件が設定されることにより特定し、前記重み付け手段は、前記設定された撮像条件に応じて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴としている。
【０００９】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
撮像モードと撮像条件とを対応付けて複数記憶する記憶手段と、前記複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段と、を更に備え、前記設定される撮像条件とは、前記モード指定手段により指定された前記撮像モードと対応付けられている撮像条件であることを特徴としている。
【００１０】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記重み付け手段により重み付けされた前記複数の特徴マップの特徴分布を統合する統合手段を更に備え、前記検出手段は、前記統合手段により統合された前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出することを特徴としている。
【００１１】
請求項５に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、画像を取得する取得ステップと、この取得ステップにて取得された画像の複数の特徴の各々について特徴マップを生成する生成ステップと、前記取得ステップにて取得された画像の撮像環境を特定する撮像環境特定ステップと、撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定ステップによって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成ステップにて生成された複数の特徴マップの重み付けを各々行う重み付けステップと、この重み付けステップにて各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出ステップとを実行し、前記重み付け係数とは、前記撮像環境特定ステップによって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴としている。
【００１２】
請求項６に記載の発明のプログラムは、
画像処理装置のコンピュータを、画像を取得する取得手段、この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段、前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段、撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定手段によって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成ステップにて生成された複数の特徴マップの重み付けを各々行う重み付け手段、この重み付け手段により各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段として機能させ、前記重み付け係数とは、前記撮像環境特定手段によって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、撮像環境を考慮して注目度の高い特定領域の検出を適正に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置に記憶されている重み付けテーブルの一例を示す図である。
【図３】図１の撮像装置よる特定領域検出処理に係る動作の一例を示すフローチャートである。
【図４】特定領域検出処理を説明するための図である。
【図５】重み付けテーブルの作成に係る外部機器の概略構成を示すブロック図である。
【図６】図５の外部機器による重み付けテーブル作成処理に係る動作の一例を示すフローチャートである。
【図７】重み付けテーブル作成処理に係る画像セットを説明するための図である。
【図８】画像セットの一例を模式的に示す図である。
【図９】重み付けテーブル作成処理に係る重み付け係数の一例を示す図である。
【図１０】重み付けテーブル作成処理に係る正解マップ及び仮統合マップの一例を示す図である。
【発明を実施するための形態】
【００１５】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１６】
本実施形態の撮像装置１００は、処理対象画像の撮像環境に応じて、当該処理対象画像の複数の特徴の各々に係る特徴マップの重み付けを行って、重み付けされた複数の特徴マップの特徴分布に基づいて、処理対象画像から特定領域を検出する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、記憶部６と、表示制御部７と、表示部８と、記録媒体９と、外部接続部１０と、操作入力部１１と、中央制御部１２とを備えている。
【００１７】
撮像部１は、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
【００１８】
撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、撮像条件の調整制御として、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等を行う。
【００１９】
画像データ生成部３は、電子撮像部から転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶ色空間の画像データ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００２０】
メモリ４は、例えば、ＤＲＡＭ等により構成され、画像処理部５や中央制御部１２等によって処理されるデータ等を一時記憶する。
【００２１】
画像処理部５は、撮像部１により撮像された入力画像を処理対象画像として取得する画像取得部（取得手段）５ａを具備している。
具体的には、画像取得部５ａは、例えば、ライブビュー画像や記録用画像の撮像の際に画像データ生成部３により生成された入力画像（図４参照）のＹＵＶデータを取得する。
【００２２】
また、画像処理部５は、被写体の撮像の際に、画像の撮像環境（図４参照）を特定する撮像環境特定部５ｂを具備している。
具体的には、撮像環境特定部５ｂは、ユーザによる操作入力部１１の選択決定ボタンの所定操作に応じた撮像モード（選択シーン）の指定に基づいて、当該撮像モードに対応する被写体の撮像条件が設定されることにより撮像環境を特定する。より具体的には、撮像環境特定部５ｂは、例えば、「１．オート」、「２．人物」、「３．風景」、「４．風景と人物」、「５．子供」、「６．スポーツ」、「７．キャンドルライト」、「８．パーティー」、「９．ペット」等の複数の撮像モードの中から、ユーザにより指定された撮像モードにて規定されている、例えば、露出条件（シャッター速度や絞り、または増幅率等）やホワイトバランス等の被写体の撮像条件（撮像モード情報）を撮像環境として特定する。
また、撮像環境特定部５ｂは、画像の撮像環境として、ユーザによる操作入力部１１の所定操作に従って指定されたズーム量（ズームレンズ位置）に基づいて、当該ズーム量に応じて設定された画角に係る画角情報を特定する。
また、撮像環境特定部５ｂは、画像の撮像環境として、図示しない計時部により計時された時刻に係る時刻情報を特定する。
また、撮像環境特定部５ｂは、画像の撮像環境として、図示しない位置検出部により検出された位置に基づいて、ＧＰＳ（全地球測位システム）情報や高度情報を特定する。
なお、画像の撮像環境として例示した、撮像モード情報、画角情報、時刻情報、ＧＰＳ情報、高度情報は、一例であってこれらに限られるものではない。
【００２３】
ここで、撮像環境特定部５ｂ及び操作入力部１１は、画像の撮像環境を特定する撮像環境特定手段を構成している。
【００２４】
また、画像処理部５は、画像取得部５ａにより取得された入力画像の複数の特徴の各々について、複数の特徴マップ（図４参照）を生成する特徴マップ生成部（生成手段）５ｃを具備している。
特徴マップ生成部５ｃは、画像取得部５ａにより取得された画像データ（ＹＵＶデータ）に基づいて、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズ（ｘ×ｙ：６４０×４８０画素）の画像）を生成した後、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合（まとまり度合）等を利用した第１〜第３の特徴マップＦ１〜Ｆ３を生成する。
具体的には、特徴マップ生成部５ｃは、先ず、縮小画像の画像データに基づいて、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率でさらに縮小した画像を縮小比率を異ならせて複数生成する。そして、特徴マップ生成部５ｃは、生成された複数の縮小した画像の各々のコントラストを算出した後、これらコントラストを各画像の縮小比率に対応させて拡大して寸法を合わせて加算することによって第１の特徴マップＦ１を生成する。
また、特徴マップ生成部５ｃは、先ず、縮小画像の画像データに基づいて、各画素を中心として寸法や形状の異なる枠を複数生成する。そして、特徴マップ生成部５ｃは、複数の枠内の画像領域どうしの類似度の指標として、ヒストグラムのバタチャリヤ距離を算出した後、当該バタチャリヤ距離に基づいて各画素を塗り分けることによって第２の特徴マップＦ２を生成する。なお、図４に示す第２の特徴マップＦ２にあっては、ヒストグラムのバタチャリヤ距離が大きくなる程、白く表されている。ここで、バタチャリヤ距離とは、２つの確率密度分布の相乗平均を全領域で積分し、次元を確率に戻した上で、その自己情報量を求め、それを距離として解釈する距離尺度である。
また、特徴マップ生成部５ｃは、先ず、縮小画像のＹＵＶ色空間の画像データを所定の変換式に従ってＨＳＶ色空間の画像データに変換した後、ＥＭアルゴリズムを利用して混合ガウス分布で表現する。そして、特徴マップ生成部５ｃは、所定の基準でグループ分けされた複数のグループ（色のかたまり）について分散値を算出した後、当該分散値に基づいて各画素を塗り分けることによって第３の特徴マップＦ３を生成する。なお、図４に示す第３の特徴マップＦ３にあっては、分散値が小さくなる程（色がまとまっている程）、白く表されている。
【００２５】
なお、特徴マップとして、第１〜第３の特徴マップＦ１〜Ｆ３を例示したが、一例であってこれらに限られるものではなく、入力画像の各種の特徴に係るものであれば如何なる特徴マップであっても良い。また、特徴マップの数（種類）も３つに限られるものではなく、複数であれば良い。
【００２６】
また、画像処理部５は、特徴マップ生成部５ｃにより生成された複数の特徴マップの重み付けを行う重み付け部５ｄを具備している。
即ち、重み付け部５ｄは、重み付け係数記憶手段として、第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３と撮像条件とが対応付けられた重み付けテーブルＴ１を記憶している。
重み付けテーブルＴ１は、図３に示すように、被写体の撮像条件を規定する複数の撮像モード「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」の各々について、第１〜第３の特徴マップＦ１〜Ｆ３の各重み付け係数ｗ１〜ｗ３と対応付けて記憶している。
なお、重み付けテーブルＴ１は、撮像装置１００と外部接続部１０を介して接続される外部機器２００（後述）による重み付けテーブル作成処理（後述）にて作成された後、当該撮像装置１００に送信されて重み付け部５ｄに記憶されたものである。
【００２７】
そして、重み付け部５ｄは、複数の撮像モードの中で、ユーザによる操作入力部１１の所定操作に基づいて指定された撮像モードと対応付けられている被写体の撮像条件に応じて、第１〜第３の特徴マップＦ１〜Ｆ３の重み付けを行う。具体的には、重み付け部５ｄは、重み付け係数ｗ１〜ｗ３に応じて重み付けされた第１〜第３の特徴マップＦ１〜Ｆ３の特徴分布を統合する特徴分布統合部５ｅを具備している。
【００２８】
即ち、重み付け部５ｄは、ユーザによる操作入力部１１の所定操作に基づいて何れか一の撮像モードが指定されると、当該撮像モードに対応する第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３を重み付けテーブルＴ１内で特定した後、所定の重み付け係数（例えば、重み付け係数ｗ１等）を読み出して取得する。そして、特徴分布統合部５ｅは、取得した重み付け係数ｗ１〜ｗ３に応じて第１〜第３の特徴マップＦ１〜Ｆ３の重み付けを行って、統合マップＴ（x, y）を生成する。具体的には、特徴分布統合部５ｅは、下記式（１）に従って、第１〜第３の特徴マップＦ１〜Ｆ３の各々の特徴分布と対応する各重み付け係数ｗ１〜ｗ３とを乗算して積分することで、統合マップＴ（x, y）を生成する。
【数１】
なお、「ｉ」は、第１〜第３の特徴マップＦ１〜Ｆ３及び重み付け係数ｗ１〜ｗ３を指定するためのインデックスである。また、統合マップＴ（x, y）は、「０」〜「１」の値で表され、主要被写体の可能性が高い領域程、「１」に近い値をとり、図４にあっては「１」に近くなる程より白く表されている。
ここで、特徴分布統合部５ｅは、重み付け部５ｄにより重み付けされた複数の特徴マップの特徴分布を統合する統合手段を構成している。
【００２９】
なお、撮像環境として、被写体の撮像条件を規定する撮像モード情報を例示したが、これに限られるものではなく、被写体の撮像の際に、例えば、画角情報、時刻情報、ＧＰＳ情報、高度情報等の撮像環境が撮像環境特定部５ｂにより特定された場合には、重み付け部５ｄは、当該撮像環境に応じて第１〜第３の特徴マップＦ１〜Ｆ３の重み付けを行っても良い。
また、重み付けテーブルＴ１として、撮像モード情報と第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３とが対応付けられたものを例示したが、一例であってこれに限られるものではなく、他の撮像環境、例えば、画角情報、時刻情報、ＧＰＳ情報、高度情報等と第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３とを対応付けて記憶したものであっても良い。
さらに、図３に示す重み付けテーブルＴ１の重み付け係数ｗ１〜ｗ３の各数値は、一例であってこれに限られるものではなく、特定領域の検出精度に応じて適宜任意に変更することができる。
【００３０】
ここで、重み付け部５ｄは、画像取得部５ａにより取得された画像の撮像環境に応じて、特徴マップ生成部５ｃにより生成された複数の特徴マップの重み付けを行う重み付け手段を構成している。
【００３１】
また、画像処理部５は、特徴分布統合部５ｅにより生成された統合マップの特徴分布に基づいて、入力画像から特定領域を検出する特定領域検出部５ｆを具備している。
特定領域検出部５ｆは、統合マップＴ（x, y）に基づいて、所定の閾値以上の値をとる領域を特定領域として検出する。具体的には、特定領域検出部５ｆは、統合マップＴ（x, y）を画像取得部５ａにより取得された入力画像の原寸法に対応させるように、水平（ｘ軸）及び垂直（ｙ軸）ともに縮小比率に対応する比率で拡大する。その後、特定領域検出部５ｆは、拡大された統合マップＴ（x, y）の特徴分布を入力画像に適用して、所定の閾値以上の値をとる領域を特定領域として検出する。
ここで、特定領域検出部５ｆは、重み付け部５ｄにより重み付けされた複数の特徴マップの特徴分布に基づいて、入力画像から特定領域を検出する検出手段を構成している。
【００３２】
記憶部６は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、中央制御部１２の動作に必要な各種プログラムやデータ（図示略）を記憶している。
また、記憶部６には、被写体の複数の撮像モードの設定に係るモードテーブルＴ２が格納されている。
【００３３】
モードテーブルＴ２は、例えば、露出条件（シャッター速度や絞り、または増幅率等）やホワイトバランス等の被写体の撮像条件がそれぞれ規定された複数の撮像モードを記憶している。
撮像モードとしては、例えば、被写体の撮像条件を自動的に調整する「オート」、主要な被写体を人物とする撮像に適した撮像条件に調整する「人物」と、主要な被写体を風景とする撮像に適した撮像条件に調整する「風景」と、風景と人物の撮像に適した撮像条件に調整する「風景と人物」と、主要な被写体を子供とする撮像に適した撮像条件に調整する「子供」と、スポーツの撮像に適した撮像条件に調整する「スポーツ」と、キャンドルライトの明かりでの人物の撮像に適した撮像条件に調整する「キャンドルライト」と、複数の人物の存するパーティーの撮像に適した撮像条件に調整する「パーティー」と、主要な被写体をペットとする撮像に適した撮像条件に調整する「ペット」等が挙げられる。
ここで、記憶部６は、撮像モードと撮像条件とを対応付けて複数記憶する記憶手段を構成している。
【００３４】
表示制御部７は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１２の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００３５】
表示部８は、例えば、液晶表示装置であり、表示制御部７からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。
【００３６】
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。
【００３７】
外部接続部１０は、外部機器２００との接続用の端子（例えば、ＵＳＢ端子等）を備え、所定の通信ケーブル（例えば、ＵＳＢケーブル等；図示略）を介してデータの送受信を行う。
具体的には、外部接続部１０は、外部機器２００による重み付けテーブル作成処理（後述）にて作成され、当該外部機器２００から送信された重み付けテーブルＴ１を受信する。
【００３８】
操作入力部１１は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１１は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１２に出力する。
【００３９】
また、操作入力部１１の選択決定ボタンは、ユーザによるメニューボタンの所定操作に基づいて表示部８に表示されたモード選択画面にて、例えば、「オート」、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等の複数の撮像モードの中から、何れか一の撮像モードの設定指示を入力する。そして、当該選択決定ボタンの操作に応じて所定の設定信号を中央制御部１２に出力する。
中央制御部１２は、入力された設定信号に従って、モードテーブルＴ２に記憶されている複数の撮像モードの中でユーザ所望の撮像モードを設定する。
ここで、操作入力部１１及び中央制御部１２は、複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段を構成している。
【００４０】
中央制御部１２は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１２は、ＣＰＵ（図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４１】
次に、特定領域検出処理について図３を参照して説明する。
図３は、特定領域検出処理に係る動作の一例を示すフローチャートである。
【００４２】
図３に示すように、画像処理部５の画像取得部５ａは、例えば、撮像部１によりライブビュー画像や記録用画像を撮像することで画像データ生成部３により生成された処理対象画像の画像データ（ＹＵＶデータ）を取得する（ステップＳ１）。
なお、撮像部１によるライブビュー画像や記録用画像の撮像の際には、複数の撮像モード（例えば、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等）の中で何れか一の撮像モードが指定されているものとする。
【００４３】
続けて、画像処理部５の特徴マップ生成部５ｃは、画像取得部５ａにより取得された画像データ（ＹＵＶデータ）に基づいて、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズの画像）を生成した後（ステップＳ２）、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合を利用した第１〜第３の特徴マップＦ１〜Ｆ３（図４参照）を生成する（ステップＳ３）。
【００４４】
次に、画像処理部５の撮像環境特定部５ｂは、撮像部１によるライブビュー画像や記録用画像の撮像の際にユーザによる操作入力部１１の所定操作に従って指定された撮像モード（例えば、撮像モード「ペット」）に基づいて、当該撮像モードに対応する被写体の撮像条件を撮像環境として特定する（ステップＳ４）。
続けて、画像処理部５の重み付け部５ｄは、撮像環境特定部５ｂにより特定された撮像環境（撮像モード）に対応する第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３を重み付けテーブルＴ１内で特定して取得する（ステップＳ５）。そして、特徴分布統合部５ｅは、取得した重み付け係数ｗ１〜ｗ３に応じて第１〜第３の特徴マップＦ１〜Ｆ３の重み付けを行って、統合マップＴ（x, y）を生成する。具体的には、特徴分布統合部５ｅは、下記式（１）に従って、第１〜第３の特徴マップＦ１〜Ｆ３の各々の特徴分布と対応する各重み付け係数ｗ１〜ｗ３とを乗算して積分することで、統合マップＴ（x, y）を生成する（ステップＳ６）。
【数２】
【００４５】
なお、特定領域検出処理にあっては、第１〜第３の特徴マップＦ１〜Ｆ３を生成する処理（ステップＳ３）と、撮像環境を特定する処理（ステップＳ４）の順序は、逆であっても良い。即ち、先に撮像環境を特定する処理を行い、その後、第１〜第３の特徴マップＦ１〜Ｆ３を生成する処理を行うようにしても良い。
【００４６】
次に、特定領域検出部５ｆは、統合マップＴ（x, y）を画像取得部５ａにより取得された入力画像の原寸法に対応させるように、水平（ｘ軸）及び垂直（ｙ軸）ともに縮小比率に対応する比率で拡大した後、拡大された統合マップＴ（x, y）の特徴分布を入力画像に適用して、所定の閾値以上の値をとる領域を特定領域として検出する（ステップＳ７）。その後、画像処理部５は、検出された特定領域をメモリ４に出力して（ステップＳ８）、特定領域検出処理を終了する。
【００４７】
次に、重み付けテーブルＴ１の作成について説明する。
先ず、重み付けテーブル作成処理を実行する外部機器２００の構成について図５を参照して説明する。
【００４８】
図５に示すように、外部機器２００は、重み決定部２０１と、記憶部２０２と、メモリ２０３と、表示部２０４と、外部接続部２０５と、操作入力部２０６と、中央制御部２０７とを備えている。
【００４９】
重み決定部２０１は、重み付けテーブル作成処理を実行するものである。具体的には、重み決定部２０１は、撮像環境指定部２０１ａと、領域指定部２０１ｂと、重み付け係数特定部２０１ｃとを具備している。
【００５０】
撮像環境指定部２０１ａは、ユーザによる操作入力部２０６の所定操作に基づいて、撮像画像の撮像環境を指定する。
撮像環境指定部２０１ａは、記憶部２０２に記憶されている複数枚（例えば、約１０００枚）の撮像画像について、少なくとも一のユーザの各々による操作入力部２０６の所定操作に基づいて撮像装置１００の撮像モードと対応する撮像シーンを選択指示して、指示された撮像シーン又は当該撮像モードに対応する被写体の撮像条件に応じてラベリングする。具体的には、撮像環境指定部２０１ａは、撮像装置１００の撮像モードと対応する、例えば、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等の撮像シーンに応じた画像セット１〜８（図７（ａ）及び図７（ｂ）参照）に複数枚の撮像画像をソートする。これにより、撮像環境指定部２０１ａは、複数枚の撮像画像の各々の撮像環境を指定する。
なお、一の撮像画像について、複数のユーザによって複数の異なる撮像シーンが指示された場合には、多数決や平均をとることにより何れか一の撮像シーンに対応するようにラベリングしても良いし、指示された複数の撮像シーンの各々に対応するようにラベリングしても良い。
ここで、撮像環境指定部２０１ａ及び操作入力部２０６は、撮像画像の撮像環境を指定する領域指定手段を構成している。
【００５１】
領域指定部２０１ｂは、ユーザによる操作入力部２０６の所定操作に基づいて、各撮像画像内でユーザの注目する注目領域を指定する。
領域指定部２０１ｂは、各画像セット内の全ての撮像画像について、複数のユーザの各々による操作入力部２０６の所定操作に基づいて主要被写体領域（注目領域）を指定して、指定された複数の注目領域を平均することで注目領域として正解マップＳｊ（x, y）を生成する。具体的には、領域指定部２０１ｂは、例えば、画像セット８に含まれる何れか一の画像ｊ（例えば、主要被写体が鹿の画像）について、複数のユーザの各々による操作入力部２０６の所定操作に基づいて主要被写体領域を指定した後、当該複数の主要被写体領域の平均をとることにより正解マップＳｊ（x, y）を生成した後、画像ｊ（原画像）と対応付けて画像セット内に格納する（図８参照）。
なお、正解マップＳｊ（x, y）は、「０」〜「１」の値で表され、主要被写体領域として同意した人数が多い程、「１」に近い値をとり、図８にあっては「１」に近くなる程より白く表されている。また、正解マップＳｊ（x, y）は、原画像に対して水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した寸法（例えば、ＶＧＡサイズ（ｘ×ｙ：６４０×４８０画素））となっている。また、「ｊ」は、ユーザにより処理対象として指定された画像セット（例えば、画像セット８）に含まれる画像のインデックスである。
ここで、領域指定部２０１ｂ及び操作入力部２０６は、撮像画像内でユーザの注目する注目領域を指定する領域指定手段を構成している。
【００５２】
重み付け係数特定部２０１ｃは、各画像セットについて第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３を特定するものであり、具体的には、係数変更部２０１ｄと、仮特定領域検出部２０１ｅとを有している。
【００５３】
係数変更部２０１ｄは、第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３を様々に変更する。具体的には、係数変更部２０１ｄは、仮特定領域検出部２０１ｅによる仮統合マップＴｊｋ（x, y）の生成に際して、第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３を規定する係数決定用テーブル（図９参照）の「ｋ」の値を様々に変化させる。
なお、「ｋ」は、ｗ１〜ｗ３の様々な組み合わせを指定するためのインデックスである。
【００５４】
仮特定領域検出部２０１ｅは、係数変更部２０１ｄにより変更指定された重み付け係数ｗ１〜ｗ３に応じて重み付けされた第１〜第３の特徴マップＦ１〜Ｆ３の特徴分布に基づいて、撮像画像から仮統合マップＴｊｋ（x, y）を生成する。
具体的には、仮特定領域検出部２０１ｅは、正解マップＳｊ（x, y）が生成された処理対象画像の画像データに基づいて、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した縮小画像（例えば、ＶＧＡサイズ（ｘ×ｙ：６４０×４８０画素）の画像）を生成した後、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合（まとまり度合）等を利用した第１〜第３の特徴マップＦ１〜Ｆ３を生成する。その後、仮特定領域検出部２０１ｅは、下記式（２）に従って、係数変更部２０１ｄにより指定された重み付け係数ｗ１〜ｗ３に応じて第１〜第３の特徴マップＦ１〜Ｆ３の各々の特徴分布を重み付け演算することで、仮統合マップＴｊｋ（x, y）を生成する。
【数３】
なお、「ｉ」は、第１〜第３の特徴マップＦ１〜Ｆ３及び重み付け係数ｗ１〜ｗ３を指定するためのインデックスである。また、「ｊ」は、ユーザにより処理対象として指定された画像セット（例えば、画像セット８）に含まれる画像のインデックスである。また、「ｋ」は、ｗ１〜ｗ３の様々な組み合わせを指定するためのインデックスである。
【００５５】
ここで、仮特定領域検出部２０１ｅは、重み付け係数ｗ１〜ｗ３に応じて重み付けされた複数の特徴マップの特徴分布に基づいて、撮像画像から仮の特定領域（仮統合マップＴｊｋ（x, y））を検出する仮検出手段を構成している。
【００５６】
そして、重み付け係数特定部２０１ｃは、各画像セットについて係数変更部２０１ｄにより変更された重み付け係数ｗ１〜ｗ３に応じて、仮特定領域検出部２０１ｅにより算出された仮統合マップＴｊｋ（x, y）（図１０（ｂ）参照）と、領域指定部２０１ｂにより指定された正解マップＳｊ（x, y）（図１０（ａ）参照）との面積の重なり度合を一致度Ｔｋとして下記式（３）に従って算出する。
【数４】
なお、一致度Ｔｋは、「０」〜「１」の値で表され、仮統合マップＴｊｋ（x, y）と正解マップＳｊ（x, y）との面積の重なり度合が大きい程、「１」に近い値をとる。また、一致度Ｔｋの算出に係る式（３）は、一例であってこれに限られるものではなく、仮統合マップＴｊｋ（x, y）と正解マップＳｊ（x, y）との一致度の算出に係る式であれば適宜任意に変更することができる。
【００５７】
そして、重み付け係数特定部２０１ｃは、係数変更部２０１ｄにより変更指定された複数の重み付け係数ｗ１〜ｗ３に応じて算出された複数の一致度Ｔｋの中で、最も高い一致度Ｔｋを特定する。重み付け係数特定部２０１ｃは、当該最も高い一致度Ｔｋの算出に係る重み付け係数ｗ１〜ｗ３を、撮像環境指定部２０１ａにより指定された撮像環境（例えば、画像セット８に対応する撮像シーン「ペット」）における第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３の組み合わせとして特定する。
また、重み付け係数特定部２０１ｃは、上記の処理を全ての画像セットの重み付け係数ｗ１〜ｗ３について行うことで、複数の画像セットの各々について第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３が対応付けられた重み付けテーブルＴ１を生成する。
【００５８】
このように、重み付け係数特定部２０１ｃは、撮像環境指定部２０１ａにより指定された撮像環境、及び領域指定部２０１ｂにより指定された注目領域としての正解マップＳｊ（x, y）に基づいて、複数の特徴マップの各々の重み付け係数ｗ１〜ｗ３を特定する特定手段を構成している。
【００５９】
記憶部２０２は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、中央制御部２０７の動作に必要な各種プログラムやデータ（図示略）を記憶している。
また、記憶部２０２には、重み付けテーブル作成処理により作成された重み付けテーブルＴ１（図２参照）が格納されている。
【００６０】
メモリ２０３は、例えば、ＤＲＡＭ等により構成され、重み決定部２０１や中央制御部２０７等によって処理されるデータ等を一時記憶する。
【００６１】
表示部２０４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部２０７の制御下にて各種情報を表示画面に表示する。
【００６２】
外部接続部２０５は、撮像装置１００との接続用の端子（例えば、ＵＳＢ端子等）を備え、所定の通信ケーブル（例えば、ＵＳＢケーブル等；図示略）を介してデータの送受信を行う。
具体的には、外部接続部２０５は、重み付けテーブル作成処理により作成され、記憶部２０２に記憶されている重み付けテーブルＴ１を撮像装置１００に送信する。
【００６３】
操作入力部２０６は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部２０７に出力する。
【００６４】
中央制御部２０７は、外部機器２００の各部を制御するものである。具体的には、中央制御部２０７は、ＣＰＵ（図示略）を備え、外部機器２００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００６５】
次に、重み決定部２０１によって実行される重み付けテーブル作成処理について図６〜図１０を参照して説明する。
図６は、重み付けテーブル作成処理に係る動作の一例を示すフローチャートである。
【００６６】
図６に示すように、先ず、撮像環境指定部２０１ａは、記憶部２０２に記憶されている複数枚（例えば、約１０００枚）の撮像画像について、複数のユーザの各々による操作入力部２０６の所定操作に基づいて撮像シーンを選択指示して、指示された撮像シーンに応じてラベリングすることで複数枚の撮像画像を画像セット１〜８（図７（ａ）及び図７（ｂ）参照）にソートする（ステップＳ２１）。
【００６７】
次に、領域指定部２０１ｂは、各画像セット（例えば、画像セット８等）内の全ての撮像画像について、複数のユーザの各々による操作入力部２０６の所定操作に基づいて主要被写体領域（例えば、主要被写体として鹿の画像領域）を指定して（ステップＳ２２）、指定された複数の注目領域を平均することで注目領域として正解マップＳｊ（x, y）を生成する（ステップＳ２３；図８参照）。
【００６８】
次に、重み付け係数特定部２０１ｃは、複数の画像セットの中から何れか一の画像セット（例えば、画像セット８）を処理対象として指定する（ステップＳ２４）。
続けて、重み付け係数特定部２０１ｃは、処理対象の画像セット内で複数の撮像画像の中から何れか一の撮像画像を指定した後（ステップＳ２５）、仮特定領域検出部２０１ｅは、係数変更部２０１ｄにより変更指定された複数の重み付け係数ｗ１〜ｗ３（図９参照）の各々に応じて重み付けされた第１〜第３の特徴マップＦ１〜Ｆ３の特徴分布に基づいて、撮像画像から仮統合マップＴｊｋ（x, y）の各々を下記式（２）に従って生成する（ステップＳ２６）。
【数５】
【００６９】
次に、重み付け係数特定部２０１ｃは、処理対象の画像セット内の全ての撮像画像について仮統合マップＴｊｋ（x, y）を生成したか否かを判定する処理を行う（ステップＳ２７）。ここで、全ての撮像画像について仮統合マップＴｊｋ（x, y）を生成していないと判定されると（ステップＳ２７；ＮＯ）、処理対象の画像セット内で次の撮像画像を指定した後（ステップＳ２８）、処理をステップＳ２６に移行する。
ステップＳ２６の処理は、ステップＳ２７にて、全ての撮像画像について仮統合マップＴｊｋ（x, y）を生成したと判定されるまで（ステップＳ２７；ＹＥＳ）、繰り返し行われる。
【００７０】
そして、ステップＳ２７にて、全ての撮像画像について仮統合マップＴｊｋ（x, y）を生成したと判定されると（ステップＳ２７；ＹＥＳ）、重み付け係数特定部２０１ｃは、処理対象の画像セットについて、係数変更部２０１ｄにより変更された重み付け係数ｗ１〜ｗ３に応じて仮統合マップＴｊｋ（x, y）と正解マップＳｊ（x, y）との一致度Ｔｋを下記式（３）に従って算出する（図１０（ａ）及び図１０（ｂ）参照）。
【数６】
続けて、重み付け係数特定部２０１ｃは、係数変更部２０１ｄにより変更指定された複数の重み付け係数ｗ１〜ｗ３に応じて算出された複数の一致度Ｔｋの中で、最も高い一致度Ｔｋを特定した後、当該最も高い一致度Ｔｋの算出に係る重み付け係数ｗ１〜ｗ３を当該撮像環境（例えば、画像セット８に対応する撮像シーン「ペット」）における第１〜第３の特徴マップＦ１〜Ｆ３の各々の重み付け係数ｗ１〜ｗ３の組み合わせとして特定する（ステップＳ２９）。
その後、重み決定部２０１は、特定された第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３の組み合わせを処理対象の画像セットと対応付けて重み付けテーブルＴ１に格納する（ステップＳ３０）。
【００７１】
次に、重み決定部２０１は、複数の画像セットの全てについて重み付け係数ｗ１〜ｗ３の組み合わせを特定したか否かを判定する処理を行う（ステップＳ３１）。ここで、全ての画像セットについて重み付け係数ｗ１〜ｗ３の組み合わせを生成していないと判定されると（ステップＳ３１；ＮＯ）、重み付け係数特定部２０１ｃが複数の画像セットの中で次の画像セットを指定した後（ステップＳ３２）、重み決定部２０１は、処理をステップＳ２５に移行して、それ以降の処理を実行する。
ステップＳ２５以降の処理は、ステップＳ３１にて、全ての画像セットについて重み付け係数ｗ１〜ｗ３の組み合わせを生成したと判定されるまで（ステップＳ３１；ＹＥＳ）、繰り返し行われる。
これにより、重み付け係数特定部２０１ｃは、複数の画像セットの各々について第１〜第３の特徴マップＦ１〜Ｆ３の重み付け係数ｗ１〜ｗ３が対応付けられた重み付けテーブルＴ１を生成する。
【００７２】
そして、ステップＳ３１にて、全ての画像セットについて重み付け係数ｗ１〜ｗ３の組み合わせを生成したと判定されると（ステップＳ３１；ＹＥＳ）、重み付けテーブル作成処理を終了する。
【００７３】
以上のように、本実施形態の撮像装置１００によれば、従来のように処理対象画像から抽出すべき領域の特徴の種類に対する重みが固定されているのではなく、処理対象画像の撮像環境を特定し、当該撮像環境に応じて複数の特徴マップの重み付けを行うことで、撮像環境を考慮して複数の特徴マップの重みを柔軟に変更することができる。そして、重み付けされた複数の特徴マップの特徴分布を統合して統合マップを生成し、当該統合マップに基づいて処理対象画像から特定領域を検出することで、撮像環境を考慮してユーザの注目度の高い特定領域の検出を適正に行うことができる。
【００７４】
また、撮像モードと撮像条件とが対応付けられて複数記憶されているので、複数の撮像モードの中で指定された何れか一の撮像モードと対応付けられている撮像条件に応じて、複数の特徴マップの重み付けを行うことができる。即ち、撮像部１によるライブビュー画像や記録用画像の撮像の際に、ユーザによる操作入力部１１の所定操作に従って撮像モード（例えば、撮像モード「ペット」）が指定されるだけで、当該撮像モードに対応する被写体の撮像条件を撮像環境として特定するので、複数の特徴マップの重み付けに係る撮像環境を適正に特定することができる。これにより、撮像環境を考慮した複数の特徴マップの重みの変更を適正に行うことができる。
【００７５】
また、複数の特徴マップの各々の重み付け係数ｗ１〜ｗ３と撮像条件とが対応付けられて重み付けテーブルＴ１に記憶されているので、撮像環境特定部５ｂにより画像の撮像環境として撮像条件が特定されるだけで、当該撮像条件と対応付けられている重み付け係数ｗ１〜ｗ３を取得することができ、複数の特徴マップの重み付けを簡便に、且つ、迅速に行うことができる。
【００７６】
なお、重み付けテーブルＴ１の作成にあっては、外部機器２００にて、ユーザによる操作入力部２０６の所定操作に基づいて撮像画像の撮像環境及び主要被写体領域（注目領域）が指定されるだけで、これら撮像環境及び主要被写体領域に基づいて複数の特徴マップの各々の重み付け係数ｗ１〜ｗ３の特定を適正に行うことができる。具体的には、重み付け係数ｗ１〜ｗ３に応じて重み付けされた複数の特徴マップの特徴分布に基づいて、撮像画像から仮統合マップＴｊｋ（x, y）を生成し、そして、主要被写体領域に基づいて生成された正解マップＳｊ（x, y）と仮統合マップＴｊｋ（x, y）との一致度Ｔｋが最も高くなる重み付け係数ｗ１〜ｗ３の組み合わせを決定することで、複数の特徴マップの各々の重み付け係数ｗ１〜ｗ３の組み合わせを特定することができる。
【００７７】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、重み付けテーブルＴ１の作成を撮像装置１００とは異なる外部機器２００で行うようにしたが、これに限られるものではない。即ち、外部機器２００にて重み付けテーブルＴ１を作成して、当該重み付けテーブルＴ１を撮像装置１００にて使用する画像処理システムを例示したが、撮像装置１００や外部機器２００の構成は、上記実施形態に例示したものは一例であり、これら撮像装置１００と外部機器２００の全ての機能を備える一の画像処理装置であっても良い。
【００７８】
また、処理対象画像の撮像は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された処理対象画像の画像データを取得して、特定領域の検出を行う画像処理装置であっても良い。
【００７９】
加えて、上記実施形態にあっては、取得手段、生成手段、重み付け手段、検出手段としての機能を、中央制御部１２の制御下にて、画像処理部５の画像取得部５ａ、特徴マップ生成部５ｃ、重み付け部５ｄ、特定領域検出部５ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１２のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、生成処理ルーチン、撮像環境特定処理ルーチン、重み付け処理ルーチン、検出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１２のＣＰＵを、画像を取得する取得手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部１２のＣＰＵを、取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段として機能させるようにしても良い。また、撮像環境特定処理ルーチンにより中央制御部１２のＣＰＵを、取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段として機能させるようにしても良い。また、重み付け処理ルーチンにより中央制御部１２のＣＰＵを、撮像環境特定手段により特定された画像の撮像環境に応じて、生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１２のＣＰＵを、重み付け手段により重み付けされた複数の特徴マップの特徴分布に基づいて、画像から特定領域を検出する検出手段として機能させるようにしても良い。
【符号の説明】
【００８０】
１００ 撮像装置
５ 画像処理部
５ａ 画像取得部
５ｂ 撮像環境特定部
５ｃ 特徴マップ生成部
５ｄ 重み付け部
５ｅ 特徴分布統合部
５ｆ 特定領域検出部
６ 記憶部（記憶手段）
１２ 中央制御部
２００ 外部機器
２０１ 重み決定部
２０１ａ 撮像環境指定部
２０１ｂ 領域指定部
２０１ｃ 重み付け係数特定部
２０１ｅ 仮特定領域検出部
Ｔ１ 重み付けテーブル
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段と、
前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段と、
撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定手段によって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成手段により生成された複数の特徴マップの重み付けを各々行う重み付け手段と、
この重み付け手段により各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段とを備え、
前記重み付け係数とは、前記撮像環境特定手段によって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴とする画像処理装置。
【請求項２】
前記取得手段は、撮像手段を含み、
前記撮像環境特定手段は、前記撮像環境を前記撮像手段による撮像条件が設定されることにより特定し、
前記重み付け手段は、前記設定された撮像条件に応じて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像モードと撮像条件とを対応付けて複数記憶する記憶手段と、
前記複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段と、を更に備え、
前記設定される撮像条件とは、前記モード指定手段により指定された前記撮像モードと対応付けられている撮像条件であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記重み付け手段により重み付けされた前記複数の特徴マップの特徴分布を統合する統合手段を更に備え、
前記検出手段は、前記統合手段により統合された前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
画像処理装置を用いた画像処理方法であって、
画像を取得する取得ステップと、
この取得ステップにて取得された画像の複数の特徴の各々について特徴マップを生成する生成ステップと、
前記取得ステップにて取得された画像の撮像環境を特定する撮像環境特定ステップと、
撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定ステップによって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成ステップにて生成された複数の特徴マップの重み付けを各々行う重み付けステップと、
この重み付けステップにて各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出ステップとを実行し、
前記重み付け係数とは、前記撮像環境特定ステップによって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴とする画像処理方法。
【請求項６】
画像処理装置のコンピュータを、
画像を取得する取得手段、
この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段、
前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段、
撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定手段によって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成ステップにて生成された複数の特徴マップの重み付けを各々行う重み付け手段、
この重み付け手段により各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段として機能させ、
前記重み付け係数とは、前記撮像環境特定手段によって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴とするプログラム。
【請求項１】
画像を取得する取得手段と、
この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段と、
前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段と、
撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定手段によって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成手段により生成された複数の特徴マップの重み付けを各々行う重み付け手段と、
この重み付け手段により各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段とを備え、
前記重み付け係数とは、前記撮像環境特定手段によって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴とする画像処理装置。
【請求項２】
前記取得手段は、撮像手段を含み、
前記撮像環境特定手段は、前記撮像環境を前記撮像手段による撮像条件が設定されることにより特定し、
前記重み付け手段は、前記設定された撮像条件に応じて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像モードと撮像条件とを対応付けて複数記憶する記憶手段と、
前記複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段と、を更に備え、
前記設定される撮像条件とは、前記モード指定手段により指定された前記撮像モードと対応付けられている撮像条件であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記重み付け手段により重み付けされた前記複数の特徴マップの特徴分布を統合する統合手段を更に備え、
前記検出手段は、前記統合手段により統合された前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
画像処理装置を用いた画像処理方法であって、
画像を取得する取得ステップと、
この取得ステップにて取得された画像の複数の特徴の各々について特徴マップを生成する生成ステップと、
前記取得ステップにて取得された画像の撮像環境を特定する撮像環境特定ステップと、
撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定ステップによって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成ステップにて生成された複数の特徴マップの重み付けを各々行う重み付けステップと、
この重み付けステップにて各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出ステップとを実行し、
前記重み付け係数とは、前記撮像環境特定ステップによって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴とする画像処理方法。
【請求項６】
画像処理装置のコンピュータを、
画像を取得する取得手段、
この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段、
前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段、
撮像環境と対応付けて前記複数の特徴マップの重み付け係数を各々記憶したメモリから前記撮像環境特定手段によって特定された撮像環境に対応する重み付け係数を読み出し、これを用いて前記生成ステップにて生成された複数の特徴マップの重み付けを各々行う重み付け手段、
この重み付け手段により各々重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段として機能させ、
前記重み付け係数とは、前記撮像環境特定手段によって特定された撮像環境、及び、複数種の撮像環境毎に複数記憶されている撮像画像における外部からの所定操作に基づいて指定された注目領域によって特定されるものであることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図９】
【図４】
【図８】
【図１０】
【図２】
【図３】
【図５】
【図６】
【図７】
【図９】
【図４】
【図８】
【図１０】
【公開番号】特開２０１２−３３１９３（Ｐ２０１２−３３１９３Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１１−２３６７０９（Ｐ２０１１−２３６７０９）
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【分割の表示】特願２００９−２０４２１３（Ｐ２００９−２０４２１３）の分割
【原出願日】平成２１年９月４日（２００９．９．４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【分割の表示】特願２００９−２０４２１３（Ｐ２００９−２０４２１３）の分割
【原出願日】平成２１年９月４日（２００９．９．４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]