画像処理装置、画像処理方法および画像処理プログラム
【課題】入力画像の中の興味領域の推定精度の向上を図る。
【解決手段】画像処理装置１０は、画像解析部１２１、構図決定部１２２、領域推定部１２３および出力制御部１２９を有する。画像解析部１２１は、入力画像を解析して少なくとも１つの特徴パターンを検出する。構図決定部１２２は、各構図と特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて入力画像の構図を決定する。領域推定部１２３は、当該決定された構図を使用して入力画像中の興味領域を推定する。出力制御部１２９は、当該推定された興味領域の局所画像を出力する。
【解決手段】画像処理装置１０は、画像解析部１２１、構図決定部１２２、領域推定部１２３および出力制御部１２９を有する。画像解析部１２１は、入力画像を解析して少なくとも１つの特徴パターンを検出する。構図決定部１２２は、各構図と特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて入力画像の構図を決定する。領域推定部１２３は、当該決定された構図を使用して入力画像中の興味領域を推定する。出力制御部１２９は、当該推定された興味領域の局所画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一画像の中の興味領域を推定し、この興味領域の画像を表示する技術に関する。
【背景技術】
【０００２】
デジタルカメラ付き携帯電話機などの小型機器の搭載ディスプレイに撮像画像などの高解像度画像が表示される場合、搭載ディスプレイの有効表示領域の解像度が低いため、ユーザは、高解像度画像の中の、自己に関心のある興味領域を見つけ出すのに非常に時間と手間がかかるという問題があった。ユーザはその興味領域を見つけ出すために、たとえば、小型機器を操作して高解像度画像をディスプレイに縮小表示させ、その縮小表示画像の中のおおまかな位置を指定し、その指定位置における局所画像をディスプレイに拡大表示させる。その後、ユーザは、方向キーを押下してその拡大画像の表示位置を数画素単位で移動（スクロール）させつつ、その表示位置を興味領域に移動させる。しかしながら、画像サイズが大きくなる程に、表示位置が興味領域に達するまでに多くの操作時間を要していた。
【０００３】
このような問題を解決するために、高解像度画像の中の興味領域を自動的に推定し、その興味領域の局所画像をディスプレイに拡大表示してユーザに提示し得る技術が存在する。たとえば、特許文献１（特開２００６−２７７０３８号公報）、特許文献２（特開２００６−２６１７１１号公報）、特許文献３（特開２００３−４４５１１号公報）、特許文献４（特開平１１−３４５３４０号公報）および特許文献５（特表２００４−５２０７３５号公報）には、興味領域を推定、検索または分類する技術が開示されている。
【特許文献１】特開２００６−２７７０３８号公報
【特許文献２】特開２００６−２６１７１１号公報
【特許文献３】特開２００３−４４５１１号公報
【特許文献４】特開平１１−３４５３４０号公報
【特許文献５】特表２００４−５２０７３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１〜５に開示された従来技術では、推定された興味領域がユーザが視覚的に確認したい領域と一致しない場合があり、興味領域の推定精度が低いという問題がある。
【０００５】
たとえば、特許文献１，２には、画像の中に現れている顔の画像をオブジェクトとして検出し、検出されたオブジェクトに対して重要度を設定し、高い重要度が設定されたオブジェクトを表示する技術が開示されている。しかしながら、人の顔に限らず、車両の画像などのオブジェクトを表示する画像領域が常に興味領域に関係するとは限らない。このため、多数の人が集まる競技場などの場所を撮像した場合には、撮像画像中の判別不能な多数のオブジェクトの中から特定のオブジェクトを選択しこれに対して重要度を設定することが難しい。
【０００６】
上記に鑑みて、本発明の目的は、撮像画像などの入力画像の中の興味領域を高い精度で推定し得る画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明によれば、入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出する画像解析部と、予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定する構図決定部と、当該決定された構図を使用して前記入力画像中の興味領域を推定する領域推定部と、当該推定された興味領域の局所画像を出力する出力制御部と、を備えた画像処理装置が提供される。
【０００８】
本発明によれば、入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出するステップと、予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定するステップと、当該決定された構図を使用して前記入力画像中の興味領域を推定するステップと、当該推定された興味領域の局所画像を出力するステップと、を備えた画像処理方法が提供される。
【０００９】
本発明によれば、入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出する画像解析処理と、予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定する構図決定処理と、当該決定された構図を使用して前記入力画像中の興味領域を推定する領域推定処理と、当該推定された興味領域の局所画像を出力する出力制御処理と、をコンピュータに実行させる画像処理プログラムが提供される。
【発明の効果】
【００１０】
本発明による画像処理装置、画像処理方法および画像処理プログラムは、予め用意された構図の各々と、入力画像から検出された特徴パターンとを比較して各構図と特徴パターンとの間の関連度を算出する。この関連度に基づいて入力画像の構図が決定されるので、当該決定された構図を使用して入力画像中の興味領域を高い精度で検出することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の種々の実施形態を図面を参照しつつ説明する。なお、全ての図面において、同一機能を有する構成要素には同一符号が付されており、その詳細な説明を適宜省略する。
【００１２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置１０の概略構成を示す機能ブロック図である。図１に示されるように、この画像処理装置１０は、撮像部１１０、データ処理部１２０、データ記憶部１３０およびディスプレイ１４０を有している。データ処理部１２０は、画像解析部１２１、構図決定部１２２、領域推定部１２３および表示制御部（出力制御部）１２９を含む。
【００１３】
画像解析部１２１は、入力画像を解析してこの入力画像から少なくとも１つの特徴パターンｇｎを検出する機能を有している。構図決定部１２２は、予め用意された複数の構図Ｃ１，Ｃ２，…，Ｃｐ（ｐは３以上の整数）の各々と特徴パターンｇｎとの間の関連度（または一致度）Ｅ１，Ｅ２，…，Ｅｐを評価値として算出し、これら評価値に基づいて入力画像の構図を決定する機能を有している。領域推定部１２３は、画像解析部１２１によって決定された構図を使用して入力画像中の興味領域を推定する機能を有している。そして、表示制御部１２９は、領域推定部１２３によって推定された興味領域の局所画像を出力する機能を有している。
【００１４】
データ記憶部１３０は、構図記憶部１３１と構図係数記憶部１３２を含む。構図記憶部１３１は、参照用の構図Ｃ１，Ｃ２，…，Ｃｐを表すデータセット（以下、構図データセットと呼ぶ。）を格納している。後述するように、構図決定部１２２は、構図記憶部１３１から構図データセットを取得しこれを評価値Ｅ１，Ｅ２，…，Ｅｐを算出するために使用する。構図係数記憶部１３２は、予め用意された構図Ｃ１，Ｃ２，…，Ｃｐにそれぞれ対応する構図係数λ１，λ２，…，λｐを記憶している。後述するようにこれら構図係数λ１，λ２，…，λｐは、それぞれ対応する構図Ｃ１，Ｃ２，…，Ｃｐに対する重み係数である。ユーザは、画像処理装置１０の入力操作部（図示せず）を操作して、これら構図係数λ１，λ２，…，λｐの値を所定の数値範囲内の任意の値に設定することができる。
【００１５】
なお、「画像の構図」とは、視覚的に安定した美観を与え得る、一画像の全体構成を表すものである。このため、一画像の中に現れる顔画像などのオブジェクトは、必ずしも画像の全体構成を表現するものではなく、構図であるとはいえない。後述する第２〜第４の実施形態においても同様である。
【００１６】
各構図は、所定数の画素単位で重みが設定された１画面に相当する多階調パターンである。構図記憶部１３１には構図Ｃ１，Ｃ２，…，Ｃｐをそれぞれ表す構図データセットが格納されている。基本構図としては、たとえば、三分割構図（画面の縦方向と横方向とをそれぞれ三分割する基準線に重みが集中した構図）、日の丸構図（画面中央に重みが集中した構図）、三角構図（三角形の基準線または基準体に重みが集中した構図）、対象構図（画面の左右方向または上下方向に対称に配置された基準線または基準体に重みが集中した構図）、曲線構図（所定の曲線上に重みが集中した構図）、水平構図（画面内に配置された水平方向の基準線に重みが集中した構図）、放射線構図（画面内に放射状に分布する基準線または基準体に重みが集中した構図）および色面構図（画面に含まれる１つ以上の色面に重みが設定された構図）が挙げられる。図２（Ａ）に三分割構図の典型例を、図２（Ｂ）に日の丸構図の典型例を、図２（Ｃ）に三角構図の典型例を、図２（Ｄ）に対称構図の典型例を、図２（Ｅ）に曲線構図の典型例を、図２（Ｆ）に水平構図の典型例を、図２（Ｇ）に放射線構図の典型例を、それぞれ示す。構図記憶部１３１に記憶される構図は、この種の基本構図、あるいは２以上の基本構図を重ね合わせて得られる合成構図であればよい。
【００１７】
データ記憶部１３０は、揮発性メモリまたは不揮発性メモリなどの記録媒体（たとえば、半導体メモリや磁気記録媒体）と、この記録媒体に対してデータの書込と読出を行うための回路またはプログラムとで構成することができる。構図記憶部１３１と構図係数記憶部１３２は、予め記録媒体の所定の記憶領域上に構成されていてもよいし、あるいは、画像処理装置１０の動作時に割り当てられる適当な記憶領域上に構成されてもよい。
【００１８】
画像解析部１２１は、撮像部１１０から入力された撮像画像の色相や空間周波数を解析してこの撮像画像の特徴パターンを検出することができる。特徴パターンとしては、たとえば、顔や車両などのオブジェクトの位置または分布を示す多階調パターン、あるいは、オブジェクトのエッジを示す多階調パターンが挙げられる。撮像部１１０は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などの固体撮像素子と、この固体撮像素子に被写体からの入射光を集光させるフォーカスシステムと、固体撮像素子の出力に画像処理を施す信号処理部とを有する。
【００１９】
構図決定部１２２は、構図記憶部１３１から構図データセットを取得するとともに、各構図Ｃ１，Ｃ２，…，Ｃｐにそれぞれ対応する構図係数λ１，λ２，…，λｐを構図係数記憶部１３２から取得する。画像解析部１２１でｍ個の特徴パターンｇ１〜ｇｍが検出されたとき、構図決定部１２２は、参照用の構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度Ｅ１，Ｅ２，…，Ｅｐを評価値として算出する。具体的には、次の第１の評価式に従って評価値Ｅ１，Ｅ２，…，Ｅｐを算出することができる。
【００２０】
【数１】
【００２１】
ここで、Ｃ１（ｉ，ｊ），Ｃ２（ｉ，ｊ），…，Ｃｐ（ｉ，ｊ）は、それぞれ、画面上ｉ行ｊ列目の画素位置における構図Ｃ１，Ｃ２，…，Ｃｐを表す値であり、ｇ１（ｉ，ｊ），ｇ２（ｉ，ｊ），…，ｇｍ（ｉ，ｊ）は、それぞれ、画面上ｉ行ｊ列目の画素位置における特徴パターンｇ１，ｇ２，…，ｇｍの画素値（たとえば、所定の色空間上の輝度値または色差値に相当する値）である。上記評価式中、Ｃ１（ｉ，ｊ），Ｃ２（ｉ，ｊ），…，Ｃｐ（ｉ，ｊ）には、それぞれ対応する構図係数λ１，λ２，…，λｐが重み付けされている。
【００２２】
構図決定部１２２は、算出された評価値Ｅ１，Ｅ２，…，Ｅｐに基づいて撮像画像の構図を決定する。決定される構図の数は、１個もしくは複数個となり得る。たとえば、算出された評価値Ｅ１，Ｅ２，…，Ｅｐのうちの最も高い値を有する構図を撮像画像の構図として決定してもよいし、あるいは、算出された評価値Ｅ１，Ｅ２，…，Ｅｐのうち閾値以上の値を有する２個以上の構図を撮像画像の構図として決定してもよい。
【００２３】
領域推定部１２３は、決定された構図を使用して撮像画像中の興味領域を推定し、その推定結果を表示制御部１２９に与える。領域推定部１２３は、当該決定された構図の多階調パターンのうちの比較的大きな値を有する領域に対応する画像領域を興味領域として選択することができる。より好ましくは、興味領域を抽出するために、次の第２の評価式に従って各画素につき評価値Ｆｓ（ｉ，ｊ）を算出すればよい。
【００２４】
【数２】
【００２５】
この評価値Ｆｓ（ｉ，ｊ）は、決定された構図Ｃｓについての評価値である。領域推定部１２３は、評価値Ｆｓ（ｉ，ｊ）の１画面中の２次元分布（評価パターン）に基づいて興味領域を推定できる。たとえば、評価パターンのうち比較的大きな値を有する領域に対応する画像領域を興味領域として推定すればよい。
【００２６】
構図決定部１２２が複数の構図を決定したときは、領域推定部１２３は、これら構図にそれぞれ対応する複数の評価値に基づいて各画素につき１つの全体評価値を算出することができる。領域推定部１２３は、全体評価値の１画面中の２次元分布（評価パターン）に基づいて興味領域を推定すればよい。たとえば、構図決定部１２２が撮像画像の構図として３個の構図Ｃ１，Ｃ２，Ｃ３を決定したとき、評価値Ｆ１（ｉ，ｊ），Ｆ２（ｉ，ｊ），Ｆ３（ｉ，ｊ）の加算値または平均値を全体評価値としてもよいし、あるいは、複数の評価値分布にフィルタリングを施して１つの評価パターンを生成してもよい。
【００２７】
表示制御部１２９は、領域推定部１２３によって推定された興味領域の局所画像を抽出し、この局所画像をディスプレイ１４０に出力する。このとき、表示制御部１２９は、ユーザが視覚的に確認しやすいように、抽出された局所画像の解像度をより大きな解像度に変換することができる。あるいは、表示制御部１２９は、興味領域の局所画像と他の画像との合成画像をディスプレイ１４０に出力してもよい。
【００２８】
複数の興味領域が推定された場合、表示制御部１２９は、これら興味領域の局所画像を拡大した画像を、高い評価値を有する画像から順番にディスプレイ１４０に表示させてもよいし、あるいは、これら興味領域の局所画像を低解像度のサムネイル画像に変換し、これらサムネイル画像の一覧をディスプレイ１４０に表示させてもよい。
【００２９】
上記構成を有する画像処理装置１０の動作例を図３を参照しつつ以下に説明する。図３は、画像処理装置１０による興味領域抽出の処理手順を概略的に示すフローチャートである。
【００３０】
ユーザが押しボタンやスイッチなどの入力操作部（図示せず）を操作すると、これに応じて撮像部１１０は、被写体を撮像して高解像度の撮像画像をデータ処理部１２０に出力する（ステップＳ１０）。
【００３１】
画像解析部１２１は、上記の通り、入力された撮像画像を解析して複数の特徴パターンｇ１〜ｇｍを検出する（ステップＳ１１）。次に、構図決定部１２２は、構図記憶部１３１から構図データセットを取得するとともに、構図係数記憶部１３２から構図データセットに対応する構図係数λ１〜λｐを取得する（ステップＳ１２）。そして、構図決定部１２２は、構図データセットと構図係数λ１〜λｐとを用いて、構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度を表す評価値Ｅ１，Ｅ２，…，Ｅｐを算出して撮像画像の構図を決定する（ステップＳ１３）。
【００３２】
図４（Ａ），（Ｂ）および（Ｃ）は、それぞれ、参照用の三分割構図Ｃ１、日の丸構図Ｃ２および三角構図Ｃ３を概略的に例示する図である。三分割構図Ｃ１では、１画面を縦方向と横方向とにそれぞれ三分割する４本の基準線ＢＬ，ＢＬ，ＢＬ，ＢＬに重みが設定されており、これら基準線の交点ＣＰには、さらに大きな重みが設定されている。日の丸構図Ｃ２では、画面中央の点Ａ１に一番大きな重みが設定され、この中央の点Ａ１を囲む領域Ａ２に点Ａ１よりも小さな重みが設定され、この領域Ａ２を囲む領域Ａ３に領域Ａ２よりも小さな重みが設定されている。三角構図Ｃ３では、逆Ｖ字状の基準線ＢＬ１に重みが設定され、この基準線ＢＬ１に隣接する基準線ＢＬ２に基準線ＢＬ１よりも小さな重みが設定されている。
【００３３】
図５は、撮像画像の一例を概略的に示す図である。画像解析部１２１が図５の撮像画像を解析したとき、図６（Ａ）〜（Ｆ）に示される特徴パターンｇ１〜ｇ６を検出できる。図６（Ａ）〜（Ｄ）の特徴パターンｇ１，ｇ２，ｇ３，ｇ４は、撮像画像の中から同一色または同一輝度の領域を抽出して得たもの、図６（Ｅ）の特徴パターンｇ５は、画像のエッジ成分を抽出して得たもの、そして、図６（Ｆ）は、花画像のオブジェクトを抽出して得たものである。
【００３４】
構図決定部１２２は、上記第１の評価式に従って、図４（Ａ）〜（Ｃ）の構図Ｃ１〜Ｃ３の各々と図６の特徴パターンｇ１〜ｇ６との間の関連度Ｅ１〜Ｅ３を算出することができる。条件を適当に設定すれば、三分割構図Ｃ１に対する評価値Ｅ１を１７０、日の丸構図Ｃ２に対する評価値Ｅ２を１２０、構図Ｃ３に対する評価値Ｅ３を５０としてそれぞれ算出することができる。この場合、構図決定部１２２は、最も高い評価値Ｅ１を有する三分割構図Ｃ１を撮像画像の構図として決定することができる（ステップＳ１３）。
【００３５】
撮像画像の構図決定（ステップＳ１３）の後は、領域推定部１２３は、上記第２の評価式に従い、当該決定された構図を使用して興味領域を推定する（ステップＳ１４）。ここで、構図係数λ１，λ２，…，λｐについては、比較的高い頻度で使用される構図に対しては大きな重み係数（たとえば、０．８の値）を、比較的低い頻度で使用される構図に対しては小さな重み係数（たとえば、０．２の値）を、それぞれ設定することができる。あるいは、ユーザにとって比較的高い重要度を有する構図に対しては大きな重み係数を、ユーザにとって比較的低い重要度を有する構図に対しては小さな重み係数を、それぞれ設定してもよい。
【００３６】
前述の通り、構図決定部１２２が、図４（Ａ）〜（Ｃ）の構図Ｃ１〜Ｃ３の各々と図６の特徴パターンｇ１〜ｇ６との間の関連度Ｅ１〜Ｅ３を算出して三分割構図Ｃ１を撮像画像の構図として決定した場合、領域推定部１２３で使用される評価式は次の通りになる。
【００３７】
【数３】
【００３８】
ただし、この評価式につき、画像解析部１２１は、図６（Ａ），（Ｂ），（Ｅ）の特徴パターンｇ１，ｇ２，ｇ５のみを検出し、他の特徴パターンｇ３，ｇ４，ｇ６を検出しないものとした。評価値Ｆ１（ｉ，ｊ）を変数ｉ，ｊの全ての値について算出することによって評価パターンを得ることができる。たとえば、この評価式の右辺第１項Ｃ１（ｉ，ｊ）・ｇ１（ｉ，ｊ）の値は、図７（Ａ）の２次元分布を形成するように、右辺第２項Ｃ１（ｉ，ｊ）・ｇ２（ｉ，ｊ）の値は、図７（Ｂ）の２次元分布を形成するように、右辺第３項Ｃ１（ｉ，ｊ）・ｇ５（ｉ，ｊ）の値は、図７（Ｃ）の２次元分布を形成するように、それぞれ算出できる。このとき、評価値Ｆ１（ｉ，ｊ）は、図８の２次元分布すなわち評価パターンを形成するように算出される。
【００３９】
領域推定部１２３は、図８の評価パターンの中の比較的大きな値を有する領域に対応する画像領域を興味領域として推定できる（ステップＳ１４）。そして、表示制御部１２９は、領域推定部１２３によって推定された興味領域の局所画像を撮像画像から抽出し、この局所画像を解像度変換してディスプレイ１４０に出力する（ステップＳ１５）。領域推定部１２３は、複数の興味領域が推定されたとき、各興味領域における評価値Ｆｓ（ｉ，ｊ）の総和に応じた順位を当該興味領域に割り当てることができる。興味領域は、高い順位を有する程にユーザにとっての関心度が高いものと推定することができるので、表示制御部１２９は、比較的高い順位をもつ興味領域の画像を優先的にディスプレイ１４０に表示させることが望ましい。
【００４０】
あるいは、表示制御部１２９は、図９に示される合成画像ＤＳをディスプレイ１４０に表示させることができる。合成画像ＤＳには、複数の興味領域のサムネイル画像が「１」、「２」、「３」、「４」という順位を付されて一覧表示されている。また、表示位置確認領域の画像（すなわち、撮像画像の解像度を小さいものに変換して得た縮小画像）Ｖ１が表示されており、この画像Ｖ１には、複数の興味領域の中からユーザが選択した興味領域の画像の位置を表す枠Ｔ１が示されている。さらに、枠Ｔ１に対応する拡大画像が、画質確認領域の画像Ｖ２として表示されている。ユーザが入力操作部を操作して興味領域のいずれかを選択すると、当該選択された興味領域の局所画像の位置が、表示位置確認領域の画像Ｖ１中に枠Ｔ１によって示される。同時に、興味領域の拡大画像が画質確認領域の画像Ｖ２として表示されることとなる。
【００４１】
上記第１の実施形態に係る画像処理装置１０の効果は以下の通りである。構図決定部１２２は、構図記憶部１３１に予め記憶された構図Ｃ１，Ｃ２，…，Ｃｐの各々と、検出された特徴パターンｇ１〜ｇｍとの間の関連度Ｅ１，Ｅ２，…，Ｅｐを推定評価値として算出する。構図決定部１２２は、これら推定評価値Ｅ１，Ｅ２，…，Ｅｐに基づいて撮像画像の構図を決定するので、領域推定部１２３は、当該決定された構図を使用して撮像画像中の興味領域を高い精度で検出することが可能である。すなわち、当該決定された構図を判断基準として、撮像画像中の特徴パターン（たとえば、オブジェクト）が興味領域に該当するか否かを正確に推定することができる。
【００４２】
また、上記第１の評価式に示したように、領域推定部１２３は、構図係数λ１，λ２，…，λｐを、それぞれ、構図Ｃ１，Ｃ２，…，Ｃｐに重み付けて評価値Ｅ１，Ｅ２，…，Ｅｐを算出することができる。重要度または使用頻度の比較的低い構図に対する評価値には小さな重み係数を設定し、重要度または使用頻度の比較的高い構図に対する評価値には大きな重み係数を設定することにより、興味領域の推定精度の向上が可能となる。
【００４３】
したがって、ユーザは、撮像画像において構図上重要な位置にある興味領域の画像を容易に確認することができる。
【００４４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図１０は、第２の実施形態に係る画像処理装置１１の概略構成を示す機能ブロック図である。この画像処理装置１１は、データ処理部１２０Ａおよびデータ記憶部１３０Ａを有している。
【００４５】
図１０に示されるようにデータ処理部１２０Ａは、構図決定部１２２Ａと領域推定部１２３との間に係数設定部１２４を有しており、この係数設定部１２４は、構図決定部１２２Ａの処理結果に基づいて、データ記憶部１３０Ａの中の構図係数記憶部１３２に記憶されている構図係数λ１〜λｐを更新する機能を有している。
【００４６】
データ記憶部１３０Ａは、履歴記憶部１３３を有しており、この履歴記憶部１３３は、構図Ｃ１，Ｃ２，…，Ｃｐそれぞれの累積使用回数Ｎ１，Ｎ２，…，Ｎｐを記憶している。構図決定部１２２Ａは、図１の構図決定部１２２と同じ機能を有しており、この機能に加えて、履歴記憶部１３３に記憶されている累積使用回数Ｎ１，Ｎ２，…，Ｎｐを更新する機能を有している。係数設定部１２４は、更新後の累積使用回数Ｎ１，Ｎ２，…，Ｎｐに基づいて、構図係数記憶部１３２に記憶されている構図係数λ１〜λｐを更新する。
【００４７】
上記画像処理装置１１の動作例を図１１を参照しつつ以下に説明する。図１１は、画像処理装置１１による処理手順を概略的に示すフローチャートである。
【００４８】
図１１のステップＳ１０〜Ｓ１３は、図３のステップＳ１０〜Ｓ１３と同じである。すなわち、撮像部１１０は被写体を撮像し（ステップＳ１０）、画像解析部１２１は入力撮像画像を解析して複数の特徴パターンｇ１〜ｇｍを検出し（ステップＳ１１）、構図決定部１２２Ａは、構図記憶部１３１から構図データセットを取得するとともに、構図係数記憶部１３２から構図係数λ１〜λｐを取得する（ステップＳ１２）。そして、構図決定部１２２Ａは、構図データセットと構図係数λ１〜λｐとを用いて、構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度を表す評価値Ｅ１，Ｅ２，…，Ｅｐを算出して撮像画像の構図を決定する（ステップＳ１３）。
【００４９】
その後、構図決定部１２２Ａは、履歴記憶部１３３に記憶されている累積使用回数Ｎ１，Ｎ２，…，Ｎｐを更新する（ステップＳ２０）。たとえば、構図決定部１２２Ａが撮像画像の構図として構図Ｃ１を決定したとき、構図Ｃ１の累積使用回数Ｎ１が１だけインクリメントされる（Ｎ１←Ｎ１＋１）。
【００５０】
係数設定部１２４は、構図決定部１２２Ａによる構図の決定結果に基づいて、構図係数λ１〜λｐを再計算し（ステップＳ２１）、当該計算された構図係数λ１〜λｐを構図係数記憶部１３２に記憶させることにより構図係数λ１〜λｐを更新する（ステップＳ２２）。このとき、係数設定部１２４は、累積使用回数が大きいほどに、対応する構図係数を大きな値に設定し、累積使用回数が小さいほどに、対応する構図係数を小さい値に設定することが望ましい。たとえば、ある構図Ｃｒの累積使用回数Ｎｒは、全構図の累積使用回数Ｎ１〜Ｎｐの総和（＝Ｓ＝Ｎ１＋Ｎ２＋…＋Ｎｐ）に対する累積使用回数Ｎｒの比率（＝Ｎｒ／Ｓ）とすることができる。
【００５１】
また、たとえば、下記表１，２に示されるように構図Ａ，Ｂ，Ｃ，Ｄ（Ａ〜Ｄは、Ｃ１，Ｃ２，…，Ｃｐのいずれか）の累積使用回数が１回に設定され、構図係数がいずれも０．２５に設定されている場合を想定する。
【００５２】
【表１】
【００５３】
【表２】
【００５４】
この場合に、構図決定部１２２Ａが撮像画像の構図として構図Ａを決定したとき、下記表３，４に示されるように構図Ａの累積使用回数が２回に設定され、構図Ａの構図係数は０．４（＝２／（２＋１＋１＋１））に設定され、構図Ｂ〜Ｄの構図係数はいずれも０．２（＝１／（２＋１＋１＋１））に設定され得る。
【００５５】
【表３】
【００５６】
【表４】
【００５７】
上記ステップＳ２２の後、上記第１の実施形態と同様にステップＳ１４，Ｓ１５（図３）が実行される。
【００５８】
なお、本実施形態では、ステップＳ２０〜Ｓ２２が終了した後に、ステップＳ１４，Ｓ１５が実行されたが、これに限らず、ステップＳ２０〜Ｓ２２と並行にステップＳ１４，Ｓ１５が実行されてもよいし、あるいは、ステップＳ２０〜Ｓ２２の前にステップＳ１４，Ｓ１５が実行されてもよい。
【００５９】
上記第２の実施形態に係る画像処理装置１１は、第１の実施形態と同様の効果を有し、さらに以下の効果を有している。すなわち、画像処理装置１１においては、構図決定部１２２Ａが構図Ｃ１〜Ｃｐの使用履歴を履歴記憶部１３３に記録し（ステップＳ２０）、係数設定部１２４がその使用履歴に基づき構図係数λ１〜λｐを再計算して構図係数記憶部１３２の記憶内容を更新する（ステップＳ２１，Ｓ２２）。したがって、画像処理装置１１は、ユーザの嗜好性を学習し、この嗜好性を反映した最適な構図を撮像画像の構図として決定することができる。それ故、興味領域の推定精度の更なる向上が可能となる。
【００６０】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図１２は、第３の実施形態に係る画像処理装置１２の概略構成を示す機能ブロック図である。この画像処理装置１２は、データ処理部１２０Ｂおよびデータ記憶部１３０Ｂを有している。
【００６１】
図１２に示されるようにデータ処理部１２０Ｂは、領域推定部１２３と表示制御部１２９との間にオブジェクト検出部１２５と画像補正部１２６を有している。領域推定部１２３は、上記の通りに推定された興味領域を特定する位置情報をオブジェクト検出部１２５に与える。オブジェクト検出部１２５は、データ記憶部１３０Ｂの中のオブジェクトデータ記憶部１３４を参照して、興味領域の局所画像中のオブジェクト（たとえば、顔、車両、草花、色構成を示す画像）を検出する機能を有している。
【００６２】
オブジェクトデータ記憶部１３４は、少なくとも１つの参照用オブジェクトの特徴を表すオブジェクトデータを格納している。オブジェクト検出部１２５は、バッファメモリ（図示せず）から興味領域の局所画像を読み出し、オブジェクトデータ記憶部１３４からオブジェクトデータを取得する。オブジェクト検出部１２５は、当該取得されたオブジェクトデータと興味領域の局所画像とをパターンマッチングすることによってオブジェクトの検出を試みる。その検出結果は画像補正部１２６に与えられる。
【００６３】
画像補正部１２６は、画質補正データ記憶部１３５を参照して、検出オブジェクトに応じて局所画像の画質補正を実行する機能を有している。画質補正データ記憶部１３５には、参照用オブジェクトにそれぞれ対応する画質補正データセットが格納されている。画像補正部１２６は、画質補正データ記憶部１３５から、検出オブジェクトに対応する画質補正データセットを取得しこれを用いて局所画像の画質を補正することができる。
【００６４】
上記画像処理装置１２の動作例を図１３を参照しつつ以下に説明する。図１３は、画像処理装置１２による処理手順を概略的に示すフローチャートである。
【００６５】
図１３のステップＳ１０〜Ｓ１４は、図３のステップＳ１０〜Ｓ１４と同じである。すなわち、撮像部１１０は被写体を撮像し（ステップＳ１０）、画像解析部１２１は入力撮像画像を解析して複数の特徴パターンｇ１〜ｇｍを検出し（ステップＳ１１）、構図決定部１２２は、構図記憶部１３１から構図データセットを取得するとともに、構図係数記憶部１３２から構図係数λ１〜λｐを取得する（ステップＳ１２）。また、構図決定部１２２は、構図データセットと構図係数λ１〜λｐとを用いて、構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度を表す評価値Ｅ１，Ｅ２，…，Ｅｐを算出して撮像画像の構図を決定する（ステップＳ１３）。そして、領域推定部１２３は、当該決定された構図を使用して興味領域を推定する（ステップＳ１４）。
【００６６】
その後、オブジェクト検出部１２５は、オブジェクトデータ記憶部１３４を参照して、推定された興味領域の局所画像中のオブジェクトを検出する（ステップＳ３０）。さらに画像補正部１２６は、画質補正データ記憶部１３５を参照して当該検出されたオブジェクトに応じて局所画像の画質を適正に補正する（ステップＳ３１）。たとえば、検出されたオブジェクトが顔画像である場合には、画像補正部１２６は、画質補正データ記憶部１３５から顔画像用の画質補正データセットを取得しこれを用いて画質を補正する。このとき、画像補正部１２６は、検出された顔画像の肌色に応じて、当該顔画像の肌色を好ましい肌色へ色変換することができる。あるいは、検出されたオブジェクトが空の画像である場合、画像補正部１２６は、当該画像が青色に近い空色であれば、当該画像の色をより青色に、当該画像が赤色に近い空色であれば、当該画像の色を更なる夕焼け色に、それぞれ色変換することができる。
【００６７】
上記ステップＳ３１の後、上記第１の実施形態と同様にステップＳ１５（図３）が実行される。なお、オブジェクト検出部１２５が局所画像中のオブジェクトを検出しないときも、上記第１の実施形態と同様にステップＳ１５（図３）が実行される。
【００６８】
上記第３の実施形態に係る画像処理装置１２は、第１の実施形態と同様の効果を有し、さらに以下の効果を有している。すなわち、画像補正部１２６は、興味領域の局所画像内のオブジェクト（被写体）の特性に合わせて興味領域の画質を適正に補正することができる。画像処理装置１２がデジタルカメラであるとき、ユーザが事前に撮影モードを設定しなくても、興味領域の画質が適正かつ自動的に補正されるので、ユーザは、興味領域の画像を視覚的に容易に確認することが可能である。
【００６９】
（第４の実施の形態）
次に、本発明の第４の実施形態について説明する。図１４は、第４の実施形態に係る画像処理装置１３の概略構成を示す機能ブロック図である。この画像処理装置１３は、データ処理部１２０Ｃおよびデータ記憶部１３０Ｃを有している。
【００７０】
図１４に示されるようにデータ処理部１２０Ｃは、構図決定部１２２と領域推定部１２３との間に構図生成部１２７を有しており、この構図生成部１２７は、構図決定部１２２によって決定された構図に基づいて新たな構図を生成する機能と、この新たに生成された構図に対応する構図係数を新たに設定する機能とを有している。構図記憶部１３１は、新たに生成された構図を記憶し、構図係数記憶部１３２は、新たに設定された構図係数を記憶する。
【００７１】
上記画像処理装置１３の動作例を図１５を参照しつつ以下に説明する。図１５は、画像処理装置１３による処理手順を概略的に示すフローチャートである。
【００７２】
図１５のステップＳ１０〜Ｓ１３は、図３のステップＳ１０〜Ｓ１３と同じである。すなわち、撮像部１１０は被写体を撮像し（ステップＳ１０）、画像解析部１２１は入力撮像画像を解析して複数の特徴パターンｇ１〜ｇｍを検出し（ステップＳ１１）、構図決定部１２２は、構図記憶部１３１から構図データセットを取得するとともに、構図係数記憶部１３２から構図係数λ１〜λｐを取得する（ステップＳ１２）。
【００７３】
さらに構図決定部１２２は、構図データセットと構図係数λ１〜λｐとを用いて、構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度を表す評価値Ｅ１，Ｅ２，…，Ｅｐを算出して撮像画像の構図を決定する（ステップＳ１３）。ここで、構図決定部１２２は、比較的高い評価値を有する２以上の構図を撮像画像の構図として選択し決定するものとする。
【００７４】
その後、構図生成部１２７は、ステップＳ１３で決定された２以上の構図のうち、互いの評価値が所定の閾値（しきい値）以下となる構図が存在するか否かを判定する（ステップＳ４０）。たとえば、２個の構図Ｃ１，Ｃ２が撮像画像の構図として決定されたとき（ステップＳ１３）、評価値Ｅ１，Ｅ２間の差分絶対値（＝｜Ｅ１−Ｅ２｜）が閾値以下となるか否かが判別される（ステップＳ４０）。下記表５に示されるように４つの構図Ａ，Ｂ，Ｃ，Ｄがそれぞれ１２０、１１８、２０、１０の評価値を有する場合、閾値が１０であれば、構図Ａ，Ｂの評価値間の差分絶対値が閾値以下となる。
【００７５】
【表５】
【００７６】
互いの評価値間の差分絶対値が所定の閾値以下となる構図が存在しないと判定したときは（ステップＳ４０）、構図生成部１２７は、処理をステップＳ１４に移行させる。その後、上記第１の実施形態と同様にステップＳ１４，Ｓ１５（図３）が実行される。
【００７７】
他方、互いの評価値間の差分絶対値が所定の閾値以下となる構図が存在すると判定したとき（ステップＳ４０）、構図生成部１２７は、これら構図に基づいて新たな構図Ｃｐ＋１を生成する（ステップＳ４１）。たとえば、図１６に示すように、三分割構図Ｃ１と日の丸構図Ｃ２とを画素毎に加算することにより新たな構図Ｃｘを生成することができる。このとき、三分割構図Ｃ１と日の丸構図Ｃ２にそれぞれ重みを付けて（構図Ｃ１，Ｃ２にそれぞれ係数を乗算して）当該重み付けされた構図Ｃ１，Ｃ２を加算してもよい。
【００７８】
その後、構図生成部１２７は、新たに生成された構図Ｃｐ＋１を構図記憶部１３１に記憶させる（ステップＳ４２）。さらに構図生成部１２７は、構図Ｃｐ＋１に対応する構図係数λｐ＋１と構図係数λ１〜λｐとを再計算する（ステップＳ４３）。そして、構図生成部１２７は、これら構図係数λ１〜λｐ＋１を構図係数記憶部１３２に記憶させて構図係数を更新する（ステップＳ４４）。
【００７９】
上記ステップＳ４４の後、上記第１の実施形態と同様にステップＳ１４，Ｓ１５（図３）が実行される。ステップＳ１４では、新たに生成された構図が使用されてもよいし、あるいは、ステップＳ１３で決定された複数の構図が使用されてもよい。
【００８０】
上記第４の実施形態に係る画像処理装置１３は、第１の実施形態と同様の効果を有し、さらに以下の効果を有している。すなわち、画像処理装置１３においては、構図生成部１２７は、互いの評価値の差分絶対値が小さい構図、言い換えれば、比較的互いに類似する構図に基づいて新たな構図を生成し（ステップＳ４１）、この新たな構図に対応する構図係数を計算し（ステップＳ４３）、構図記憶部１３１と構図係数記憶部１３２とに記憶されている構図と構図係数を更新する（ステップＳ４２，Ｓ４４）。よって、ユーザの嗜好性をより良く反映した構図を生成し利用することができるので、興味領域の推定精度の更なる向上が可能となる。
【００８１】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。たとえば、表示制御部１２９は、ディスプレイ１４０に局所画像を出力するが、これに限定されるものではない。表示制御部１２９が、局所画像を、通信ネットワーク、通信回線または接続ケーブルを介して外部機器に送信する機能を有していてもよい。
【００８２】
また、データ処理部１２０，１２０Ａ，１２０Ｂ，１２０Ｃには、撮像部１１０で撮像された画像が入力されたが、これに限らず、記録媒体から読み出された画像が入力されてもよく、あるいは、通信ネットワーク、通信回線または接続ケーブルを介して外部機器から受信された画像が入力されてもよい。
【００８３】
上記第１の実施形態において、撮像部１１０、データ処理部１２０、データ記憶部１３０およびディスプレイ１４０は、デジタルカメラ内蔵の携帯電話のような機器に組み込まれていてもよいし、あるいは、これら構成要素１１０〜１４０の全部または一部が、通信ネットワークを介して相互接続された複数の機器に分散して組み込まれていてもよい。通信ネットワークとしては、パケット交換網（たとえば、インターネットやイントラネット）や小規模ネットワーク（たとえば、有線または無線ＬＡＮ）が挙げられる。あるいは、構成要素１１０〜１４０の全部または一部が、ＳＣＳＩ（Small Computer System Interface）などのバス規格に準拠した接続ケーブルを介して接続されていてもよい。上記第２〜第４の実施形態に係る画像処理装置１１〜１３の構成要素についても同様である。
【００８４】
また、上記第１の実施形態において、データ処理部１２０の機能ブロック１２１〜１２３，１２９の全部または一部が、半導体集積回路などのハードウェアで実現されてもよいし、あるいは、不揮発性メモリや光ディスクなどの記録媒体に記録されたプログラムまたはプログラムコードで実現されてもよい。このようなプログラムまたはプログラムコードは、機能ブロック１２１〜１２３，１２９の全部または一部の処理を、ＣＰＵなどのプロセッサを有するコンピュータに実行させるものである。上記第２〜第４の実施形態に係る画像処理装置１１〜１３の構成要素についても同様である。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図２】（Ａ）〜（Ｇ）は構図の典型例を示す図である。
【図３】第１の実施形態に係る画像処理装置による処理手順を概略的に示すフローチャートである。
【図４】（Ａ），（Ｂ）および（Ｃ）は、それぞれ、参照用の三分割構図、日の丸構図および三角構図を概略的に示す図である。
【図５】撮像画像の一例を概略的に示す図である。
【図６】（Ａ）〜（Ｆ）は、図５の撮像画像から検出された特徴パターンを概略的に示す図である。
【図７】（Ａ）〜（Ｃ）は、評価式の各項の値が形成する二次元分布を示す図である。
【図８】評価値の２次元分布である評価パターンを示す図である。
【図９】興味領域の画像の一覧を含む合成画像を示す図である。
【図１０】本発明の第２の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１１】第２の実施形態に係る画像処理装置による処理手順を概略的に示すフローチャートである。
【図１２】本発明の第３の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１３】第３の実施形態に係る画像処理装置による処理手順を概略的に示すフローチャートである。
【図１４】本発明の第４の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１５】第４の実施形態に係る画像処理装置による処理手順を概略的に示すフローチャートである。
【図１６】構図生成方法の一例を説明するための図である。
【符号の説明】
【００８６】
１１０ 撮像部
１０，１１，１２，１３ 画像処理装置
１２０，１２０Ａ，１２０Ｂ，１２０Ｃ データ処理部
１２１ 画像解析部
１２２，１２２Ａ 構図決定部
１２３ 領域推定部
１２４ 係数設定部
１２５ オブジェクト検出部
１２６ 画像補正部
１２７ 構図生成部
１２９ 表示制御部（出力制御部）
１３０，１３０Ａ，１３０Ｂ，１３０Ｃ データ記憶部
１３１ 構図記憶部
１３２ 構図係数記憶部
１３３ 履歴記憶部
１３４ オブジェクトデータ記憶部
１３５ 画質補正データ記憶部
１４０ ディスプレイ
【技術分野】
【０００１】
本発明は、一画像の中の興味領域を推定し、この興味領域の画像を表示する技術に関する。
【背景技術】
【０００２】
デジタルカメラ付き携帯電話機などの小型機器の搭載ディスプレイに撮像画像などの高解像度画像が表示される場合、搭載ディスプレイの有効表示領域の解像度が低いため、ユーザは、高解像度画像の中の、自己に関心のある興味領域を見つけ出すのに非常に時間と手間がかかるという問題があった。ユーザはその興味領域を見つけ出すために、たとえば、小型機器を操作して高解像度画像をディスプレイに縮小表示させ、その縮小表示画像の中のおおまかな位置を指定し、その指定位置における局所画像をディスプレイに拡大表示させる。その後、ユーザは、方向キーを押下してその拡大画像の表示位置を数画素単位で移動（スクロール）させつつ、その表示位置を興味領域に移動させる。しかしながら、画像サイズが大きくなる程に、表示位置が興味領域に達するまでに多くの操作時間を要していた。
【０００３】
このような問題を解決するために、高解像度画像の中の興味領域を自動的に推定し、その興味領域の局所画像をディスプレイに拡大表示してユーザに提示し得る技術が存在する。たとえば、特許文献１（特開２００６−２７７０３８号公報）、特許文献２（特開２００６−２６１７１１号公報）、特許文献３（特開２００３−４４５１１号公報）、特許文献４（特開平１１−３４５３４０号公報）および特許文献５（特表２００４−５２０７３５号公報）には、興味領域を推定、検索または分類する技術が開示されている。
【特許文献１】特開２００６−２７７０３８号公報
【特許文献２】特開２００６−２６１７１１号公報
【特許文献３】特開２００３−４４５１１号公報
【特許文献４】特開平１１−３４５３４０号公報
【特許文献５】特表２００４−５２０７３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１〜５に開示された従来技術では、推定された興味領域がユーザが視覚的に確認したい領域と一致しない場合があり、興味領域の推定精度が低いという問題がある。
【０００５】
たとえば、特許文献１，２には、画像の中に現れている顔の画像をオブジェクトとして検出し、検出されたオブジェクトに対して重要度を設定し、高い重要度が設定されたオブジェクトを表示する技術が開示されている。しかしながら、人の顔に限らず、車両の画像などのオブジェクトを表示する画像領域が常に興味領域に関係するとは限らない。このため、多数の人が集まる競技場などの場所を撮像した場合には、撮像画像中の判別不能な多数のオブジェクトの中から特定のオブジェクトを選択しこれに対して重要度を設定することが難しい。
【０００６】
上記に鑑みて、本発明の目的は、撮像画像などの入力画像の中の興味領域を高い精度で推定し得る画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明によれば、入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出する画像解析部と、予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定する構図決定部と、当該決定された構図を使用して前記入力画像中の興味領域を推定する領域推定部と、当該推定された興味領域の局所画像を出力する出力制御部と、を備えた画像処理装置が提供される。
【０００８】
本発明によれば、入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出するステップと、予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定するステップと、当該決定された構図を使用して前記入力画像中の興味領域を推定するステップと、当該推定された興味領域の局所画像を出力するステップと、を備えた画像処理方法が提供される。
【０００９】
本発明によれば、入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出する画像解析処理と、予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定する構図決定処理と、当該決定された構図を使用して前記入力画像中の興味領域を推定する領域推定処理と、当該推定された興味領域の局所画像を出力する出力制御処理と、をコンピュータに実行させる画像処理プログラムが提供される。
【発明の効果】
【００１０】
本発明による画像処理装置、画像処理方法および画像処理プログラムは、予め用意された構図の各々と、入力画像から検出された特徴パターンとを比較して各構図と特徴パターンとの間の関連度を算出する。この関連度に基づいて入力画像の構図が決定されるので、当該決定された構図を使用して入力画像中の興味領域を高い精度で検出することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の種々の実施形態を図面を参照しつつ説明する。なお、全ての図面において、同一機能を有する構成要素には同一符号が付されており、その詳細な説明を適宜省略する。
【００１２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置１０の概略構成を示す機能ブロック図である。図１に示されるように、この画像処理装置１０は、撮像部１１０、データ処理部１２０、データ記憶部１３０およびディスプレイ１４０を有している。データ処理部１２０は、画像解析部１２１、構図決定部１２２、領域推定部１２３および表示制御部（出力制御部）１２９を含む。
【００１３】
画像解析部１２１は、入力画像を解析してこの入力画像から少なくとも１つの特徴パターンｇｎを検出する機能を有している。構図決定部１２２は、予め用意された複数の構図Ｃ１，Ｃ２，…，Ｃｐ（ｐは３以上の整数）の各々と特徴パターンｇｎとの間の関連度（または一致度）Ｅ１，Ｅ２，…，Ｅｐを評価値として算出し、これら評価値に基づいて入力画像の構図を決定する機能を有している。領域推定部１２３は、画像解析部１２１によって決定された構図を使用して入力画像中の興味領域を推定する機能を有している。そして、表示制御部１２９は、領域推定部１２３によって推定された興味領域の局所画像を出力する機能を有している。
【００１４】
データ記憶部１３０は、構図記憶部１３１と構図係数記憶部１３２を含む。構図記憶部１３１は、参照用の構図Ｃ１，Ｃ２，…，Ｃｐを表すデータセット（以下、構図データセットと呼ぶ。）を格納している。後述するように、構図決定部１２２は、構図記憶部１３１から構図データセットを取得しこれを評価値Ｅ１，Ｅ２，…，Ｅｐを算出するために使用する。構図係数記憶部１３２は、予め用意された構図Ｃ１，Ｃ２，…，Ｃｐにそれぞれ対応する構図係数λ１，λ２，…，λｐを記憶している。後述するようにこれら構図係数λ１，λ２，…，λｐは、それぞれ対応する構図Ｃ１，Ｃ２，…，Ｃｐに対する重み係数である。ユーザは、画像処理装置１０の入力操作部（図示せず）を操作して、これら構図係数λ１，λ２，…，λｐの値を所定の数値範囲内の任意の値に設定することができる。
【００１５】
なお、「画像の構図」とは、視覚的に安定した美観を与え得る、一画像の全体構成を表すものである。このため、一画像の中に現れる顔画像などのオブジェクトは、必ずしも画像の全体構成を表現するものではなく、構図であるとはいえない。後述する第２〜第４の実施形態においても同様である。
【００１６】
各構図は、所定数の画素単位で重みが設定された１画面に相当する多階調パターンである。構図記憶部１３１には構図Ｃ１，Ｃ２，…，Ｃｐをそれぞれ表す構図データセットが格納されている。基本構図としては、たとえば、三分割構図（画面の縦方向と横方向とをそれぞれ三分割する基準線に重みが集中した構図）、日の丸構図（画面中央に重みが集中した構図）、三角構図（三角形の基準線または基準体に重みが集中した構図）、対象構図（画面の左右方向または上下方向に対称に配置された基準線または基準体に重みが集中した構図）、曲線構図（所定の曲線上に重みが集中した構図）、水平構図（画面内に配置された水平方向の基準線に重みが集中した構図）、放射線構図（画面内に放射状に分布する基準線または基準体に重みが集中した構図）および色面構図（画面に含まれる１つ以上の色面に重みが設定された構図）が挙げられる。図２（Ａ）に三分割構図の典型例を、図２（Ｂ）に日の丸構図の典型例を、図２（Ｃ）に三角構図の典型例を、図２（Ｄ）に対称構図の典型例を、図２（Ｅ）に曲線構図の典型例を、図２（Ｆ）に水平構図の典型例を、図２（Ｇ）に放射線構図の典型例を、それぞれ示す。構図記憶部１３１に記憶される構図は、この種の基本構図、あるいは２以上の基本構図を重ね合わせて得られる合成構図であればよい。
【００１７】
データ記憶部１３０は、揮発性メモリまたは不揮発性メモリなどの記録媒体（たとえば、半導体メモリや磁気記録媒体）と、この記録媒体に対してデータの書込と読出を行うための回路またはプログラムとで構成することができる。構図記憶部１３１と構図係数記憶部１３２は、予め記録媒体の所定の記憶領域上に構成されていてもよいし、あるいは、画像処理装置１０の動作時に割り当てられる適当な記憶領域上に構成されてもよい。
【００１８】
画像解析部１２１は、撮像部１１０から入力された撮像画像の色相や空間周波数を解析してこの撮像画像の特徴パターンを検出することができる。特徴パターンとしては、たとえば、顔や車両などのオブジェクトの位置または分布を示す多階調パターン、あるいは、オブジェクトのエッジを示す多階調パターンが挙げられる。撮像部１１０は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などの固体撮像素子と、この固体撮像素子に被写体からの入射光を集光させるフォーカスシステムと、固体撮像素子の出力に画像処理を施す信号処理部とを有する。
【００１９】
構図決定部１２２は、構図記憶部１３１から構図データセットを取得するとともに、各構図Ｃ１，Ｃ２，…，Ｃｐにそれぞれ対応する構図係数λ１，λ２，…，λｐを構図係数記憶部１３２から取得する。画像解析部１２１でｍ個の特徴パターンｇ１〜ｇｍが検出されたとき、構図決定部１２２は、参照用の構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度Ｅ１，Ｅ２，…，Ｅｐを評価値として算出する。具体的には、次の第１の評価式に従って評価値Ｅ１，Ｅ２，…，Ｅｐを算出することができる。
【００２０】
【数１】
【００２１】
ここで、Ｃ１（ｉ，ｊ），Ｃ２（ｉ，ｊ），…，Ｃｐ（ｉ，ｊ）は、それぞれ、画面上ｉ行ｊ列目の画素位置における構図Ｃ１，Ｃ２，…，Ｃｐを表す値であり、ｇ１（ｉ，ｊ），ｇ２（ｉ，ｊ），…，ｇｍ（ｉ，ｊ）は、それぞれ、画面上ｉ行ｊ列目の画素位置における特徴パターンｇ１，ｇ２，…，ｇｍの画素値（たとえば、所定の色空間上の輝度値または色差値に相当する値）である。上記評価式中、Ｃ１（ｉ，ｊ），Ｃ２（ｉ，ｊ），…，Ｃｐ（ｉ，ｊ）には、それぞれ対応する構図係数λ１，λ２，…，λｐが重み付けされている。
【００２２】
構図決定部１２２は、算出された評価値Ｅ１，Ｅ２，…，Ｅｐに基づいて撮像画像の構図を決定する。決定される構図の数は、１個もしくは複数個となり得る。たとえば、算出された評価値Ｅ１，Ｅ２，…，Ｅｐのうちの最も高い値を有する構図を撮像画像の構図として決定してもよいし、あるいは、算出された評価値Ｅ１，Ｅ２，…，Ｅｐのうち閾値以上の値を有する２個以上の構図を撮像画像の構図として決定してもよい。
【００２３】
領域推定部１２３は、決定された構図を使用して撮像画像中の興味領域を推定し、その推定結果を表示制御部１２９に与える。領域推定部１２３は、当該決定された構図の多階調パターンのうちの比較的大きな値を有する領域に対応する画像領域を興味領域として選択することができる。より好ましくは、興味領域を抽出するために、次の第２の評価式に従って各画素につき評価値Ｆｓ（ｉ，ｊ）を算出すればよい。
【００２４】
【数２】
【００２５】
この評価値Ｆｓ（ｉ，ｊ）は、決定された構図Ｃｓについての評価値である。領域推定部１２３は、評価値Ｆｓ（ｉ，ｊ）の１画面中の２次元分布（評価パターン）に基づいて興味領域を推定できる。たとえば、評価パターンのうち比較的大きな値を有する領域に対応する画像領域を興味領域として推定すればよい。
【００２６】
構図決定部１２２が複数の構図を決定したときは、領域推定部１２３は、これら構図にそれぞれ対応する複数の評価値に基づいて各画素につき１つの全体評価値を算出することができる。領域推定部１２３は、全体評価値の１画面中の２次元分布（評価パターン）に基づいて興味領域を推定すればよい。たとえば、構図決定部１２２が撮像画像の構図として３個の構図Ｃ１，Ｃ２，Ｃ３を決定したとき、評価値Ｆ１（ｉ，ｊ），Ｆ２（ｉ，ｊ），Ｆ３（ｉ，ｊ）の加算値または平均値を全体評価値としてもよいし、あるいは、複数の評価値分布にフィルタリングを施して１つの評価パターンを生成してもよい。
【００２７】
表示制御部１２９は、領域推定部１２３によって推定された興味領域の局所画像を抽出し、この局所画像をディスプレイ１４０に出力する。このとき、表示制御部１２９は、ユーザが視覚的に確認しやすいように、抽出された局所画像の解像度をより大きな解像度に変換することができる。あるいは、表示制御部１２９は、興味領域の局所画像と他の画像との合成画像をディスプレイ１４０に出力してもよい。
【００２８】
複数の興味領域が推定された場合、表示制御部１２９は、これら興味領域の局所画像を拡大した画像を、高い評価値を有する画像から順番にディスプレイ１４０に表示させてもよいし、あるいは、これら興味領域の局所画像を低解像度のサムネイル画像に変換し、これらサムネイル画像の一覧をディスプレイ１４０に表示させてもよい。
【００２９】
上記構成を有する画像処理装置１０の動作例を図３を参照しつつ以下に説明する。図３は、画像処理装置１０による興味領域抽出の処理手順を概略的に示すフローチャートである。
【００３０】
ユーザが押しボタンやスイッチなどの入力操作部（図示せず）を操作すると、これに応じて撮像部１１０は、被写体を撮像して高解像度の撮像画像をデータ処理部１２０に出力する（ステップＳ１０）。
【００３１】
画像解析部１２１は、上記の通り、入力された撮像画像を解析して複数の特徴パターンｇ１〜ｇｍを検出する（ステップＳ１１）。次に、構図決定部１２２は、構図記憶部１３１から構図データセットを取得するとともに、構図係数記憶部１３２から構図データセットに対応する構図係数λ１〜λｐを取得する（ステップＳ１２）。そして、構図決定部１２２は、構図データセットと構図係数λ１〜λｐとを用いて、構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度を表す評価値Ｅ１，Ｅ２，…，Ｅｐを算出して撮像画像の構図を決定する（ステップＳ１３）。
【００３２】
図４（Ａ），（Ｂ）および（Ｃ）は、それぞれ、参照用の三分割構図Ｃ１、日の丸構図Ｃ２および三角構図Ｃ３を概略的に例示する図である。三分割構図Ｃ１では、１画面を縦方向と横方向とにそれぞれ三分割する４本の基準線ＢＬ，ＢＬ，ＢＬ，ＢＬに重みが設定されており、これら基準線の交点ＣＰには、さらに大きな重みが設定されている。日の丸構図Ｃ２では、画面中央の点Ａ１に一番大きな重みが設定され、この中央の点Ａ１を囲む領域Ａ２に点Ａ１よりも小さな重みが設定され、この領域Ａ２を囲む領域Ａ３に領域Ａ２よりも小さな重みが設定されている。三角構図Ｃ３では、逆Ｖ字状の基準線ＢＬ１に重みが設定され、この基準線ＢＬ１に隣接する基準線ＢＬ２に基準線ＢＬ１よりも小さな重みが設定されている。
【００３３】
図５は、撮像画像の一例を概略的に示す図である。画像解析部１２１が図５の撮像画像を解析したとき、図６（Ａ）〜（Ｆ）に示される特徴パターンｇ１〜ｇ６を検出できる。図６（Ａ）〜（Ｄ）の特徴パターンｇ１，ｇ２，ｇ３，ｇ４は、撮像画像の中から同一色または同一輝度の領域を抽出して得たもの、図６（Ｅ）の特徴パターンｇ５は、画像のエッジ成分を抽出して得たもの、そして、図６（Ｆ）は、花画像のオブジェクトを抽出して得たものである。
【００３４】
構図決定部１２２は、上記第１の評価式に従って、図４（Ａ）〜（Ｃ）の構図Ｃ１〜Ｃ３の各々と図６の特徴パターンｇ１〜ｇ６との間の関連度Ｅ１〜Ｅ３を算出することができる。条件を適当に設定すれば、三分割構図Ｃ１に対する評価値Ｅ１を１７０、日の丸構図Ｃ２に対する評価値Ｅ２を１２０、構図Ｃ３に対する評価値Ｅ３を５０としてそれぞれ算出することができる。この場合、構図決定部１２２は、最も高い評価値Ｅ１を有する三分割構図Ｃ１を撮像画像の構図として決定することができる（ステップＳ１３）。
【００３５】
撮像画像の構図決定（ステップＳ１３）の後は、領域推定部１２３は、上記第２の評価式に従い、当該決定された構図を使用して興味領域を推定する（ステップＳ１４）。ここで、構図係数λ１，λ２，…，λｐについては、比較的高い頻度で使用される構図に対しては大きな重み係数（たとえば、０．８の値）を、比較的低い頻度で使用される構図に対しては小さな重み係数（たとえば、０．２の値）を、それぞれ設定することができる。あるいは、ユーザにとって比較的高い重要度を有する構図に対しては大きな重み係数を、ユーザにとって比較的低い重要度を有する構図に対しては小さな重み係数を、それぞれ設定してもよい。
【００３６】
前述の通り、構図決定部１２２が、図４（Ａ）〜（Ｃ）の構図Ｃ１〜Ｃ３の各々と図６の特徴パターンｇ１〜ｇ６との間の関連度Ｅ１〜Ｅ３を算出して三分割構図Ｃ１を撮像画像の構図として決定した場合、領域推定部１２３で使用される評価式は次の通りになる。
【００３７】
【数３】
【００３８】
ただし、この評価式につき、画像解析部１２１は、図６（Ａ），（Ｂ），（Ｅ）の特徴パターンｇ１，ｇ２，ｇ５のみを検出し、他の特徴パターンｇ３，ｇ４，ｇ６を検出しないものとした。評価値Ｆ１（ｉ，ｊ）を変数ｉ，ｊの全ての値について算出することによって評価パターンを得ることができる。たとえば、この評価式の右辺第１項Ｃ１（ｉ，ｊ）・ｇ１（ｉ，ｊ）の値は、図７（Ａ）の２次元分布を形成するように、右辺第２項Ｃ１（ｉ，ｊ）・ｇ２（ｉ，ｊ）の値は、図７（Ｂ）の２次元分布を形成するように、右辺第３項Ｃ１（ｉ，ｊ）・ｇ５（ｉ，ｊ）の値は、図７（Ｃ）の２次元分布を形成するように、それぞれ算出できる。このとき、評価値Ｆ１（ｉ，ｊ）は、図８の２次元分布すなわち評価パターンを形成するように算出される。
【００３９】
領域推定部１２３は、図８の評価パターンの中の比較的大きな値を有する領域に対応する画像領域を興味領域として推定できる（ステップＳ１４）。そして、表示制御部１２９は、領域推定部１２３によって推定された興味領域の局所画像を撮像画像から抽出し、この局所画像を解像度変換してディスプレイ１４０に出力する（ステップＳ１５）。領域推定部１２３は、複数の興味領域が推定されたとき、各興味領域における評価値Ｆｓ（ｉ，ｊ）の総和に応じた順位を当該興味領域に割り当てることができる。興味領域は、高い順位を有する程にユーザにとっての関心度が高いものと推定することができるので、表示制御部１２９は、比較的高い順位をもつ興味領域の画像を優先的にディスプレイ１４０に表示させることが望ましい。
【００４０】
あるいは、表示制御部１２９は、図９に示される合成画像ＤＳをディスプレイ１４０に表示させることができる。合成画像ＤＳには、複数の興味領域のサムネイル画像が「１」、「２」、「３」、「４」という順位を付されて一覧表示されている。また、表示位置確認領域の画像（すなわち、撮像画像の解像度を小さいものに変換して得た縮小画像）Ｖ１が表示されており、この画像Ｖ１には、複数の興味領域の中からユーザが選択した興味領域の画像の位置を表す枠Ｔ１が示されている。さらに、枠Ｔ１に対応する拡大画像が、画質確認領域の画像Ｖ２として表示されている。ユーザが入力操作部を操作して興味領域のいずれかを選択すると、当該選択された興味領域の局所画像の位置が、表示位置確認領域の画像Ｖ１中に枠Ｔ１によって示される。同時に、興味領域の拡大画像が画質確認領域の画像Ｖ２として表示されることとなる。
【００４１】
上記第１の実施形態に係る画像処理装置１０の効果は以下の通りである。構図決定部１２２は、構図記憶部１３１に予め記憶された構図Ｃ１，Ｃ２，…，Ｃｐの各々と、検出された特徴パターンｇ１〜ｇｍとの間の関連度Ｅ１，Ｅ２，…，Ｅｐを推定評価値として算出する。構図決定部１２２は、これら推定評価値Ｅ１，Ｅ２，…，Ｅｐに基づいて撮像画像の構図を決定するので、領域推定部１２３は、当該決定された構図を使用して撮像画像中の興味領域を高い精度で検出することが可能である。すなわち、当該決定された構図を判断基準として、撮像画像中の特徴パターン（たとえば、オブジェクト）が興味領域に該当するか否かを正確に推定することができる。
【００４２】
また、上記第１の評価式に示したように、領域推定部１２３は、構図係数λ１，λ２，…，λｐを、それぞれ、構図Ｃ１，Ｃ２，…，Ｃｐに重み付けて評価値Ｅ１，Ｅ２，…，Ｅｐを算出することができる。重要度または使用頻度の比較的低い構図に対する評価値には小さな重み係数を設定し、重要度または使用頻度の比較的高い構図に対する評価値には大きな重み係数を設定することにより、興味領域の推定精度の向上が可能となる。
【００４３】
したがって、ユーザは、撮像画像において構図上重要な位置にある興味領域の画像を容易に確認することができる。
【００４４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図１０は、第２の実施形態に係る画像処理装置１１の概略構成を示す機能ブロック図である。この画像処理装置１１は、データ処理部１２０Ａおよびデータ記憶部１３０Ａを有している。
【００４５】
図１０に示されるようにデータ処理部１２０Ａは、構図決定部１２２Ａと領域推定部１２３との間に係数設定部１２４を有しており、この係数設定部１２４は、構図決定部１２２Ａの処理結果に基づいて、データ記憶部１３０Ａの中の構図係数記憶部１３２に記憶されている構図係数λ１〜λｐを更新する機能を有している。
【００４６】
データ記憶部１３０Ａは、履歴記憶部１３３を有しており、この履歴記憶部１３３は、構図Ｃ１，Ｃ２，…，Ｃｐそれぞれの累積使用回数Ｎ１，Ｎ２，…，Ｎｐを記憶している。構図決定部１２２Ａは、図１の構図決定部１２２と同じ機能を有しており、この機能に加えて、履歴記憶部１３３に記憶されている累積使用回数Ｎ１，Ｎ２，…，Ｎｐを更新する機能を有している。係数設定部１２４は、更新後の累積使用回数Ｎ１，Ｎ２，…，Ｎｐに基づいて、構図係数記憶部１３２に記憶されている構図係数λ１〜λｐを更新する。
【００４７】
上記画像処理装置１１の動作例を図１１を参照しつつ以下に説明する。図１１は、画像処理装置１１による処理手順を概略的に示すフローチャートである。
【００４８】
図１１のステップＳ１０〜Ｓ１３は、図３のステップＳ１０〜Ｓ１３と同じである。すなわち、撮像部１１０は被写体を撮像し（ステップＳ１０）、画像解析部１２１は入力撮像画像を解析して複数の特徴パターンｇ１〜ｇｍを検出し（ステップＳ１１）、構図決定部１２２Ａは、構図記憶部１３１から構図データセットを取得するとともに、構図係数記憶部１３２から構図係数λ１〜λｐを取得する（ステップＳ１２）。そして、構図決定部１２２Ａは、構図データセットと構図係数λ１〜λｐとを用いて、構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度を表す評価値Ｅ１，Ｅ２，…，Ｅｐを算出して撮像画像の構図を決定する（ステップＳ１３）。
【００４９】
その後、構図決定部１２２Ａは、履歴記憶部１３３に記憶されている累積使用回数Ｎ１，Ｎ２，…，Ｎｐを更新する（ステップＳ２０）。たとえば、構図決定部１２２Ａが撮像画像の構図として構図Ｃ１を決定したとき、構図Ｃ１の累積使用回数Ｎ１が１だけインクリメントされる（Ｎ１←Ｎ１＋１）。
【００５０】
係数設定部１２４は、構図決定部１２２Ａによる構図の決定結果に基づいて、構図係数λ１〜λｐを再計算し（ステップＳ２１）、当該計算された構図係数λ１〜λｐを構図係数記憶部１３２に記憶させることにより構図係数λ１〜λｐを更新する（ステップＳ２２）。このとき、係数設定部１２４は、累積使用回数が大きいほどに、対応する構図係数を大きな値に設定し、累積使用回数が小さいほどに、対応する構図係数を小さい値に設定することが望ましい。たとえば、ある構図Ｃｒの累積使用回数Ｎｒは、全構図の累積使用回数Ｎ１〜Ｎｐの総和（＝Ｓ＝Ｎ１＋Ｎ２＋…＋Ｎｐ）に対する累積使用回数Ｎｒの比率（＝Ｎｒ／Ｓ）とすることができる。
【００５１】
また、たとえば、下記表１，２に示されるように構図Ａ，Ｂ，Ｃ，Ｄ（Ａ〜Ｄは、Ｃ１，Ｃ２，…，Ｃｐのいずれか）の累積使用回数が１回に設定され、構図係数がいずれも０．２５に設定されている場合を想定する。
【００５２】
【表１】
【００５３】
【表２】
【００５４】
この場合に、構図決定部１２２Ａが撮像画像の構図として構図Ａを決定したとき、下記表３，４に示されるように構図Ａの累積使用回数が２回に設定され、構図Ａの構図係数は０．４（＝２／（２＋１＋１＋１））に設定され、構図Ｂ〜Ｄの構図係数はいずれも０．２（＝１／（２＋１＋１＋１））に設定され得る。
【００５５】
【表３】
【００５６】
【表４】
【００５７】
上記ステップＳ２２の後、上記第１の実施形態と同様にステップＳ１４，Ｓ１５（図３）が実行される。
【００５８】
なお、本実施形態では、ステップＳ２０〜Ｓ２２が終了した後に、ステップＳ１４，Ｓ１５が実行されたが、これに限らず、ステップＳ２０〜Ｓ２２と並行にステップＳ１４，Ｓ１５が実行されてもよいし、あるいは、ステップＳ２０〜Ｓ２２の前にステップＳ１４，Ｓ１５が実行されてもよい。
【００５９】
上記第２の実施形態に係る画像処理装置１１は、第１の実施形態と同様の効果を有し、さらに以下の効果を有している。すなわち、画像処理装置１１においては、構図決定部１２２Ａが構図Ｃ１〜Ｃｐの使用履歴を履歴記憶部１３３に記録し（ステップＳ２０）、係数設定部１２４がその使用履歴に基づき構図係数λ１〜λｐを再計算して構図係数記憶部１３２の記憶内容を更新する（ステップＳ２１，Ｓ２２）。したがって、画像処理装置１１は、ユーザの嗜好性を学習し、この嗜好性を反映した最適な構図を撮像画像の構図として決定することができる。それ故、興味領域の推定精度の更なる向上が可能となる。
【００６０】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図１２は、第３の実施形態に係る画像処理装置１２の概略構成を示す機能ブロック図である。この画像処理装置１２は、データ処理部１２０Ｂおよびデータ記憶部１３０Ｂを有している。
【００６１】
図１２に示されるようにデータ処理部１２０Ｂは、領域推定部１２３と表示制御部１２９との間にオブジェクト検出部１２５と画像補正部１２６を有している。領域推定部１２３は、上記の通りに推定された興味領域を特定する位置情報をオブジェクト検出部１２５に与える。オブジェクト検出部１２５は、データ記憶部１３０Ｂの中のオブジェクトデータ記憶部１３４を参照して、興味領域の局所画像中のオブジェクト（たとえば、顔、車両、草花、色構成を示す画像）を検出する機能を有している。
【００６２】
オブジェクトデータ記憶部１３４は、少なくとも１つの参照用オブジェクトの特徴を表すオブジェクトデータを格納している。オブジェクト検出部１２５は、バッファメモリ（図示せず）から興味領域の局所画像を読み出し、オブジェクトデータ記憶部１３４からオブジェクトデータを取得する。オブジェクト検出部１２５は、当該取得されたオブジェクトデータと興味領域の局所画像とをパターンマッチングすることによってオブジェクトの検出を試みる。その検出結果は画像補正部１２６に与えられる。
【００６３】
画像補正部１２６は、画質補正データ記憶部１３５を参照して、検出オブジェクトに応じて局所画像の画質補正を実行する機能を有している。画質補正データ記憶部１３５には、参照用オブジェクトにそれぞれ対応する画質補正データセットが格納されている。画像補正部１２６は、画質補正データ記憶部１３５から、検出オブジェクトに対応する画質補正データセットを取得しこれを用いて局所画像の画質を補正することができる。
【００６４】
上記画像処理装置１２の動作例を図１３を参照しつつ以下に説明する。図１３は、画像処理装置１２による処理手順を概略的に示すフローチャートである。
【００６５】
図１３のステップＳ１０〜Ｓ１４は、図３のステップＳ１０〜Ｓ１４と同じである。すなわち、撮像部１１０は被写体を撮像し（ステップＳ１０）、画像解析部１２１は入力撮像画像を解析して複数の特徴パターンｇ１〜ｇｍを検出し（ステップＳ１１）、構図決定部１２２は、構図記憶部１３１から構図データセットを取得するとともに、構図係数記憶部１３２から構図係数λ１〜λｐを取得する（ステップＳ１２）。また、構図決定部１２２は、構図データセットと構図係数λ１〜λｐとを用いて、構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度を表す評価値Ｅ１，Ｅ２，…，Ｅｐを算出して撮像画像の構図を決定する（ステップＳ１３）。そして、領域推定部１２３は、当該決定された構図を使用して興味領域を推定する（ステップＳ１４）。
【００６６】
その後、オブジェクト検出部１２５は、オブジェクトデータ記憶部１３４を参照して、推定された興味領域の局所画像中のオブジェクトを検出する（ステップＳ３０）。さらに画像補正部１２６は、画質補正データ記憶部１３５を参照して当該検出されたオブジェクトに応じて局所画像の画質を適正に補正する（ステップＳ３１）。たとえば、検出されたオブジェクトが顔画像である場合には、画像補正部１２６は、画質補正データ記憶部１３５から顔画像用の画質補正データセットを取得しこれを用いて画質を補正する。このとき、画像補正部１２６は、検出された顔画像の肌色に応じて、当該顔画像の肌色を好ましい肌色へ色変換することができる。あるいは、検出されたオブジェクトが空の画像である場合、画像補正部１２６は、当該画像が青色に近い空色であれば、当該画像の色をより青色に、当該画像が赤色に近い空色であれば、当該画像の色を更なる夕焼け色に、それぞれ色変換することができる。
【００６７】
上記ステップＳ３１の後、上記第１の実施形態と同様にステップＳ１５（図３）が実行される。なお、オブジェクト検出部１２５が局所画像中のオブジェクトを検出しないときも、上記第１の実施形態と同様にステップＳ１５（図３）が実行される。
【００６８】
上記第３の実施形態に係る画像処理装置１２は、第１の実施形態と同様の効果を有し、さらに以下の効果を有している。すなわち、画像補正部１２６は、興味領域の局所画像内のオブジェクト（被写体）の特性に合わせて興味領域の画質を適正に補正することができる。画像処理装置１２がデジタルカメラであるとき、ユーザが事前に撮影モードを設定しなくても、興味領域の画質が適正かつ自動的に補正されるので、ユーザは、興味領域の画像を視覚的に容易に確認することが可能である。
【００６９】
（第４の実施の形態）
次に、本発明の第４の実施形態について説明する。図１４は、第４の実施形態に係る画像処理装置１３の概略構成を示す機能ブロック図である。この画像処理装置１３は、データ処理部１２０Ｃおよびデータ記憶部１３０Ｃを有している。
【００７０】
図１４に示されるようにデータ処理部１２０Ｃは、構図決定部１２２と領域推定部１２３との間に構図生成部１２７を有しており、この構図生成部１２７は、構図決定部１２２によって決定された構図に基づいて新たな構図を生成する機能と、この新たに生成された構図に対応する構図係数を新たに設定する機能とを有している。構図記憶部１３１は、新たに生成された構図を記憶し、構図係数記憶部１３２は、新たに設定された構図係数を記憶する。
【００７１】
上記画像処理装置１３の動作例を図１５を参照しつつ以下に説明する。図１５は、画像処理装置１３による処理手順を概略的に示すフローチャートである。
【００７２】
図１５のステップＳ１０〜Ｓ１３は、図３のステップＳ１０〜Ｓ１３と同じである。すなわち、撮像部１１０は被写体を撮像し（ステップＳ１０）、画像解析部１２１は入力撮像画像を解析して複数の特徴パターンｇ１〜ｇｍを検出し（ステップＳ１１）、構図決定部１２２は、構図記憶部１３１から構図データセットを取得するとともに、構図係数記憶部１３２から構図係数λ１〜λｐを取得する（ステップＳ１２）。
【００７３】
さらに構図決定部１２２は、構図データセットと構図係数λ１〜λｐとを用いて、構図Ｃ１，Ｃ２，…，Ｃｐの各々と特徴パターンｇ１〜ｇｍとの間の関連度を表す評価値Ｅ１，Ｅ２，…，Ｅｐを算出して撮像画像の構図を決定する（ステップＳ１３）。ここで、構図決定部１２２は、比較的高い評価値を有する２以上の構図を撮像画像の構図として選択し決定するものとする。
【００７４】
その後、構図生成部１２７は、ステップＳ１３で決定された２以上の構図のうち、互いの評価値が所定の閾値（しきい値）以下となる構図が存在するか否かを判定する（ステップＳ４０）。たとえば、２個の構図Ｃ１，Ｃ２が撮像画像の構図として決定されたとき（ステップＳ１３）、評価値Ｅ１，Ｅ２間の差分絶対値（＝｜Ｅ１−Ｅ２｜）が閾値以下となるか否かが判別される（ステップＳ４０）。下記表５に示されるように４つの構図Ａ，Ｂ，Ｃ，Ｄがそれぞれ１２０、１１８、２０、１０の評価値を有する場合、閾値が１０であれば、構図Ａ，Ｂの評価値間の差分絶対値が閾値以下となる。
【００７５】
【表５】
【００７６】
互いの評価値間の差分絶対値が所定の閾値以下となる構図が存在しないと判定したときは（ステップＳ４０）、構図生成部１２７は、処理をステップＳ１４に移行させる。その後、上記第１の実施形態と同様にステップＳ１４，Ｓ１５（図３）が実行される。
【００７７】
他方、互いの評価値間の差分絶対値が所定の閾値以下となる構図が存在すると判定したとき（ステップＳ４０）、構図生成部１２７は、これら構図に基づいて新たな構図Ｃｐ＋１を生成する（ステップＳ４１）。たとえば、図１６に示すように、三分割構図Ｃ１と日の丸構図Ｃ２とを画素毎に加算することにより新たな構図Ｃｘを生成することができる。このとき、三分割構図Ｃ１と日の丸構図Ｃ２にそれぞれ重みを付けて（構図Ｃ１，Ｃ２にそれぞれ係数を乗算して）当該重み付けされた構図Ｃ１，Ｃ２を加算してもよい。
【００７８】
その後、構図生成部１２７は、新たに生成された構図Ｃｐ＋１を構図記憶部１３１に記憶させる（ステップＳ４２）。さらに構図生成部１２７は、構図Ｃｐ＋１に対応する構図係数λｐ＋１と構図係数λ１〜λｐとを再計算する（ステップＳ４３）。そして、構図生成部１２７は、これら構図係数λ１〜λｐ＋１を構図係数記憶部１３２に記憶させて構図係数を更新する（ステップＳ４４）。
【００７９】
上記ステップＳ４４の後、上記第１の実施形態と同様にステップＳ１４，Ｓ１５（図３）が実行される。ステップＳ１４では、新たに生成された構図が使用されてもよいし、あるいは、ステップＳ１３で決定された複数の構図が使用されてもよい。
【００８０】
上記第４の実施形態に係る画像処理装置１３は、第１の実施形態と同様の効果を有し、さらに以下の効果を有している。すなわち、画像処理装置１３においては、構図生成部１２７は、互いの評価値の差分絶対値が小さい構図、言い換えれば、比較的互いに類似する構図に基づいて新たな構図を生成し（ステップＳ４１）、この新たな構図に対応する構図係数を計算し（ステップＳ４３）、構図記憶部１３１と構図係数記憶部１３２とに記憶されている構図と構図係数を更新する（ステップＳ４２，Ｓ４４）。よって、ユーザの嗜好性をより良く反映した構図を生成し利用することができるので、興味領域の推定精度の更なる向上が可能となる。
【００８１】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。たとえば、表示制御部１２９は、ディスプレイ１４０に局所画像を出力するが、これに限定されるものではない。表示制御部１２９が、局所画像を、通信ネットワーク、通信回線または接続ケーブルを介して外部機器に送信する機能を有していてもよい。
【００８２】
また、データ処理部１２０，１２０Ａ，１２０Ｂ，１２０Ｃには、撮像部１１０で撮像された画像が入力されたが、これに限らず、記録媒体から読み出された画像が入力されてもよく、あるいは、通信ネットワーク、通信回線または接続ケーブルを介して外部機器から受信された画像が入力されてもよい。
【００８３】
上記第１の実施形態において、撮像部１１０、データ処理部１２０、データ記憶部１３０およびディスプレイ１４０は、デジタルカメラ内蔵の携帯電話のような機器に組み込まれていてもよいし、あるいは、これら構成要素１１０〜１４０の全部または一部が、通信ネットワークを介して相互接続された複数の機器に分散して組み込まれていてもよい。通信ネットワークとしては、パケット交換網（たとえば、インターネットやイントラネット）や小規模ネットワーク（たとえば、有線または無線ＬＡＮ）が挙げられる。あるいは、構成要素１１０〜１４０の全部または一部が、ＳＣＳＩ（Small Computer System Interface）などのバス規格に準拠した接続ケーブルを介して接続されていてもよい。上記第２〜第４の実施形態に係る画像処理装置１１〜１３の構成要素についても同様である。
【００８４】
また、上記第１の実施形態において、データ処理部１２０の機能ブロック１２１〜１２３，１２９の全部または一部が、半導体集積回路などのハードウェアで実現されてもよいし、あるいは、不揮発性メモリや光ディスクなどの記録媒体に記録されたプログラムまたはプログラムコードで実現されてもよい。このようなプログラムまたはプログラムコードは、機能ブロック１２１〜１２３，１２９の全部または一部の処理を、ＣＰＵなどのプロセッサを有するコンピュータに実行させるものである。上記第２〜第４の実施形態に係る画像処理装置１１〜１３の構成要素についても同様である。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図２】（Ａ）〜（Ｇ）は構図の典型例を示す図である。
【図３】第１の実施形態に係る画像処理装置による処理手順を概略的に示すフローチャートである。
【図４】（Ａ），（Ｂ）および（Ｃ）は、それぞれ、参照用の三分割構図、日の丸構図および三角構図を概略的に示す図である。
【図５】撮像画像の一例を概略的に示す図である。
【図６】（Ａ）〜（Ｆ）は、図５の撮像画像から検出された特徴パターンを概略的に示す図である。
【図７】（Ａ）〜（Ｃ）は、評価式の各項の値が形成する二次元分布を示す図である。
【図８】評価値の２次元分布である評価パターンを示す図である。
【図９】興味領域の画像の一覧を含む合成画像を示す図である。
【図１０】本発明の第２の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１１】第２の実施形態に係る画像処理装置による処理手順を概略的に示すフローチャートである。
【図１２】本発明の第３の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１３】第３の実施形態に係る画像処理装置による処理手順を概略的に示すフローチャートである。
【図１４】本発明の第４の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図１５】第４の実施形態に係る画像処理装置による処理手順を概略的に示すフローチャートである。
【図１６】構図生成方法の一例を説明するための図である。
【符号の説明】
【００８６】
１１０ 撮像部
１０，１１，１２，１３ 画像処理装置
１２０，１２０Ａ，１２０Ｂ，１２０Ｃ データ処理部
１２１ 画像解析部
１２２，１２２Ａ 構図決定部
１２３ 領域推定部
１２４ 係数設定部
１２５ オブジェクト検出部
１２６ 画像補正部
１２７ 構図生成部
１２９ 表示制御部（出力制御部）
１３０，１３０Ａ，１３０Ｂ，１３０Ｃ データ記憶部
１３１ 構図記憶部
１３２ 構図係数記憶部
１３３ 履歴記憶部
１３４ オブジェクトデータ記憶部
１３５ 画質補正データ記憶部
１４０ ディスプレイ
【特許請求の範囲】
【請求項１】
入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出する画像解析部と、
予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定する構図決定部と、
当該決定された構図を使用して前記入力画像中の興味領域を推定する領域推定部と、
当該推定された興味領域の局所画像を出力する出力制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、前記予め用意された複数の構図にそれぞれ対応する構図係数を記憶する構図係数記憶部を更に備え、
前記構図決定部は、前記構図係数記憶部から前記構図係数を取得し、前記各構図に当該対応する構図係数を重み付け、当該重み付けされた構図の各々と前記特徴パターンとの間の関連度を前記評価値として算出することを特徴とする画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記構図係数記憶部に記憶されている構図係数を更新する係数設定部と、
前記予め用意された複数の構図それぞれの累積使用回数を記憶する履歴記憶部と、
を更に備え、
前記構図決定部は、前記予め用意された複数の構図の中から前記評価値として比較的高い値を有する構図を前記入力画像の構図として選択するとともに、前記履歴記憶部に記憶されている累積使用回数を更新し、
前記係数設定部は、当該更新後に前記履歴記憶部に記憶されている累積使用回数に基づいて、前記構図係数記憶部に記憶されている構図係数を更新することを特徴とする画像処理装置。
【請求項４】
請求項３記載の画像処理装置であって、前記係数設定部は、前記累積使用回数が大きいほどに当該対応する構図係数を大きな値に設定し、前記累積使用回数が小さいほどに当該対応する構図係数を小さい値に設定することによって前記構図係数を更新することを特徴とする画像処理装置。
【請求項５】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記興味領域中のオブジェクトを検出するオブジェクト検出部と、
当該検出されたオブジェクトに応じて前記局所画像の画質を補正する画像補正部と、
を更に備えることを特徴とする画像処理装置。
【請求項６】
請求項５記載の画像処理装置であって、少なくとも１つの参照用オブジェクトの特徴を表すオブジェクトデータを格納するオブジェクトデータ記憶部を更に備え、
前記オブジェクト検出部は、前記オブジェクトデータ記憶部からオブジェクトデータを取得し、当該取得されたオブジェクトデータと前記興味領域の局所画像とをパターンマッチングすることによって前記オブジェクトを検出することを特徴とする画像処理装置。
【請求項７】
請求項６記載の画像処理装置であって、前記参照用オブジェクトにそれぞれ対応する画質補正データセットを格納する画質補正データ記憶部を更に備え、
前記画像補正部は、前記画質補正データ記憶部から当該対応する画質補正データセットを取得しこれを用いて前記局所画像の画質を補正することを特徴とする画像処理装置。
【請求項８】
請求項１記載の画像処理装置であって、
前記予め用意された複数の構図を表すデータを格納する構図記憶部を更に備え、
前記構図決定部は、前記構図記憶部から前記構図を表すデータを取得して前記評価値を算出することを特徴とする画像処理装置。
【請求項９】
請求項８記載の画像処理装置であって、
前記構図決定部によって決定された構図に基づいて新たに構図を生成するとともに、当該生成された構図に対応する構図係数を新たに設定する構図生成部と、
前記予め用意された複数の構図にそれぞれ対応する構図係数を記憶する構図係数記憶部と、
を更に備え、
前記構図記憶部は、前記構図生成部によって新たに生成された構図を表すデータを格納し、前記構図係数記憶部は、前記構図生成部によって新たに設定された構図係数を記憶することを特徴とする画像処理装置。
【請求項１０】
請求項９記載の画像処理装置であって、
前記構図決定部は、前記予め用意された複数の構図の中から２以上の構図を前記入力画像の構図として選択かつ決定し、
前記構図生成部は、当該選択された２以上の構図のうち互いの評価値間の差分絶対値が所定の閾値以下となる構図に基づいて新たに構図を生成することを特徴とする画像処理装置。
【請求項１１】
請求項１から１０のうちのいずれか１項に記載の画像処理装置であって、前記出力制御部は、前記局所画像をディスプレイに表示させることを特徴とする画像処理装置。
【請求項１２】
請求項１１記載の画像処理装置であって、被写体を撮影して前記入力画像を生成する撮像部と、前記ディスプレイとを更に備えることを特徴とする画像処理装置。
【請求項１３】
入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出するステップと、
予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定するステップと、
当該決定された構図を使用して前記入力画像中の興味領域を推定するステップと、
当該推定された興味領域の局所画像を出力するステップと、
を備えることを特徴とする画像処理方法。
【請求項１４】
請求項１３記載の画像処理方法であって、前記構図を決定するステップにおいては、
前記予め用意された複数の構図にそれぞれ対応する構図係数を記憶する構図係数記憶部から前記構図係数を取得し、
前記各構図に当該対応する構図係数を重み付け、
当該重み付けされた構図の各々と前記特徴パターンとの間の関連度を前記評価値として算出する、
ことを特徴とする画像処理方法。
【請求項１５】
請求項１４記載の画像処理方法であって、前記構図を決定するステップにおいては、
前記予め用意された複数の構図の中から前記評価値として比較的高い値を有する構図を前記入力画像の構図として選択するとともに、履歴記憶部に記憶されている、前記複数の構図それぞれの累積使用回数を更新し、
当該更新後に、前記履歴記憶部に記憶されている累積使用回数に基づいて、前記構図係数記憶部に記憶されている構図係数を更新する、
ことを特徴とする画像処理方法。
【請求項１６】
請求項１４または１５記載の画像処理方法であって、
前記興味領域中のオブジェクトを検出するステップと、
当該検出されたオブジェクトに応じて前記局所画像の画質を補正するステップと、
を更に備えることを特徴とする画像処理方法。
【請求項１７】
請求項１４から１６のうちのいずれか１項に記載の画像処理方法であって、前記構図を決定するステップにおいては、前記予め用意された複数の構図を表すデータを格納する構図記憶部から前記構図を表すデータを取得して前記評価値を算出することを特徴とする画像処理方法。
【請求項１８】
請求項１７記載の画像処理方法であって、
当該決定された構図に基づいて構図を新たに生成するとともに、当該生成された構図に対応する構図係数を新たに設定するステップを更に備え、
当該新たに生成された構図を表すデータは前記構図記憶部に格納され、当該新たに設定された構図係数は前記構図係数記憶部に記憶されることを特徴とする画像処理方法。
【請求項１９】
入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出する画像解析処理と、
予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定する構図決定処理と、
当該決定された構図を使用して前記入力画像中の興味領域を推定する領域推定処理と、
当該推定された興味領域の局所画像を出力する出力制御処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２０】
請求項１９記載の画像処理プログラムであって、前記構図決定処理は、
前記予め用意された複数の構図にそれぞれ対応する構図係数を記憶する構図係数記憶部から前記構図係数を取得し、
前記各構図に当該対応する構図係数を重み付け、
当該重み付けされた構図の各々と前記特徴パターンとの間の関連度を前記評価値として算出する処理を含むことを特徴とする画像処理プログラム。
【請求項２１】
請求項２０記載の画像処理プログラムであって、
前記構図決定処理は、前記予め用意された複数の構図の中から前記評価値として比較的高い値を有する構図を前記入力画像の構図として選択するとともに、履歴記憶部に記憶されている、前記複数の構図それぞれの累積使用回数を更新する処理を含み、
前記係数設定処理は、当該更新後に、前記履歴記憶部に記憶されている累積使用回数に基づいて、前記構図係数記憶部に記憶されている構図係数を更新する処理を含む、
ことを特徴とする画像処理プログラム。
【請求項２２】
請求項１９から２１のうちのいずれか１項に記載の画像処理プログラムであって、
前記興味領域中のオブジェクトを検出するオブジェクト検出処理と、
当該検出されたオブジェクトに応じて前記局所画像の画質を補正する画像補正処理と、
を更にコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２３】
請求項１９から２２のうちのいずれか１項に記載の画像処理プログラムであって、前記構図決定処理は、前記予め用意された複数の構図を表すデータを格納する構図記憶部から前記構図を表すデータを取得して前記評価値を算出する処理を含むことを特徴とする画像処理プログラム。
【請求項２４】
請求項２３記載の画像処理プログラムであって、前記構図決定処理によって決定された構図に基づいて構図を新たに生成するとともに、当該生成された構図に対応する構図係数を新たに設定する構図生成処理を更にコンピュータに実行させ、
前記構図生成処理は、当該新たに生成された構図を表すデータを前記構図記憶部に格納し、当該新たに設定された構図係数を前記構図係数記憶部に記憶させる処理を含むことを特徴とする画像処理プログラム。
【請求項１】
入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出する画像解析部と、
予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定する構図決定部と、
当該決定された構図を使用して前記入力画像中の興味領域を推定する領域推定部と、
当該推定された興味領域の局所画像を出力する出力制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、前記予め用意された複数の構図にそれぞれ対応する構図係数を記憶する構図係数記憶部を更に備え、
前記構図決定部は、前記構図係数記憶部から前記構図係数を取得し、前記各構図に当該対応する構図係数を重み付け、当該重み付けされた構図の各々と前記特徴パターンとの間の関連度を前記評価値として算出することを特徴とする画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記構図係数記憶部に記憶されている構図係数を更新する係数設定部と、
前記予め用意された複数の構図それぞれの累積使用回数を記憶する履歴記憶部と、
を更に備え、
前記構図決定部は、前記予め用意された複数の構図の中から前記評価値として比較的高い値を有する構図を前記入力画像の構図として選択するとともに、前記履歴記憶部に記憶されている累積使用回数を更新し、
前記係数設定部は、当該更新後に前記履歴記憶部に記憶されている累積使用回数に基づいて、前記構図係数記憶部に記憶されている構図係数を更新することを特徴とする画像処理装置。
【請求項４】
請求項３記載の画像処理装置であって、前記係数設定部は、前記累積使用回数が大きいほどに当該対応する構図係数を大きな値に設定し、前記累積使用回数が小さいほどに当該対応する構図係数を小さい値に設定することによって前記構図係数を更新することを特徴とする画像処理装置。
【請求項５】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記興味領域中のオブジェクトを検出するオブジェクト検出部と、
当該検出されたオブジェクトに応じて前記局所画像の画質を補正する画像補正部と、
を更に備えることを特徴とする画像処理装置。
【請求項６】
請求項５記載の画像処理装置であって、少なくとも１つの参照用オブジェクトの特徴を表すオブジェクトデータを格納するオブジェクトデータ記憶部を更に備え、
前記オブジェクト検出部は、前記オブジェクトデータ記憶部からオブジェクトデータを取得し、当該取得されたオブジェクトデータと前記興味領域の局所画像とをパターンマッチングすることによって前記オブジェクトを検出することを特徴とする画像処理装置。
【請求項７】
請求項６記載の画像処理装置であって、前記参照用オブジェクトにそれぞれ対応する画質補正データセットを格納する画質補正データ記憶部を更に備え、
前記画像補正部は、前記画質補正データ記憶部から当該対応する画質補正データセットを取得しこれを用いて前記局所画像の画質を補正することを特徴とする画像処理装置。
【請求項８】
請求項１記載の画像処理装置であって、
前記予め用意された複数の構図を表すデータを格納する構図記憶部を更に備え、
前記構図決定部は、前記構図記憶部から前記構図を表すデータを取得して前記評価値を算出することを特徴とする画像処理装置。
【請求項９】
請求項８記載の画像処理装置であって、
前記構図決定部によって決定された構図に基づいて新たに構図を生成するとともに、当該生成された構図に対応する構図係数を新たに設定する構図生成部と、
前記予め用意された複数の構図にそれぞれ対応する構図係数を記憶する構図係数記憶部と、
を更に備え、
前記構図記憶部は、前記構図生成部によって新たに生成された構図を表すデータを格納し、前記構図係数記憶部は、前記構図生成部によって新たに設定された構図係数を記憶することを特徴とする画像処理装置。
【請求項１０】
請求項９記載の画像処理装置であって、
前記構図決定部は、前記予め用意された複数の構図の中から２以上の構図を前記入力画像の構図として選択かつ決定し、
前記構図生成部は、当該選択された２以上の構図のうち互いの評価値間の差分絶対値が所定の閾値以下となる構図に基づいて新たに構図を生成することを特徴とする画像処理装置。
【請求項１１】
請求項１から１０のうちのいずれか１項に記載の画像処理装置であって、前記出力制御部は、前記局所画像をディスプレイに表示させることを特徴とする画像処理装置。
【請求項１２】
請求項１１記載の画像処理装置であって、被写体を撮影して前記入力画像を生成する撮像部と、前記ディスプレイとを更に備えることを特徴とする画像処理装置。
【請求項１３】
入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出するステップと、
予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定するステップと、
当該決定された構図を使用して前記入力画像中の興味領域を推定するステップと、
当該推定された興味領域の局所画像を出力するステップと、
を備えることを特徴とする画像処理方法。
【請求項１４】
請求項１３記載の画像処理方法であって、前記構図を決定するステップにおいては、
前記予め用意された複数の構図にそれぞれ対応する構図係数を記憶する構図係数記憶部から前記構図係数を取得し、
前記各構図に当該対応する構図係数を重み付け、
当該重み付けされた構図の各々と前記特徴パターンとの間の関連度を前記評価値として算出する、
ことを特徴とする画像処理方法。
【請求項１５】
請求項１４記載の画像処理方法であって、前記構図を決定するステップにおいては、
前記予め用意された複数の構図の中から前記評価値として比較的高い値を有する構図を前記入力画像の構図として選択するとともに、履歴記憶部に記憶されている、前記複数の構図それぞれの累積使用回数を更新し、
当該更新後に、前記履歴記憶部に記憶されている累積使用回数に基づいて、前記構図係数記憶部に記憶されている構図係数を更新する、
ことを特徴とする画像処理方法。
【請求項１６】
請求項１４または１５記載の画像処理方法であって、
前記興味領域中のオブジェクトを検出するステップと、
当該検出されたオブジェクトに応じて前記局所画像の画質を補正するステップと、
を更に備えることを特徴とする画像処理方法。
【請求項１７】
請求項１４から１６のうちのいずれか１項に記載の画像処理方法であって、前記構図を決定するステップにおいては、前記予め用意された複数の構図を表すデータを格納する構図記憶部から前記構図を表すデータを取得して前記評価値を算出することを特徴とする画像処理方法。
【請求項１８】
請求項１７記載の画像処理方法であって、
当該決定された構図に基づいて構図を新たに生成するとともに、当該生成された構図に対応する構図係数を新たに設定するステップを更に備え、
当該新たに生成された構図を表すデータは前記構図記憶部に格納され、当該新たに設定された構図係数は前記構図係数記憶部に記憶されることを特徴とする画像処理方法。
【請求項１９】
入力画像を解析して前記入力画像から少なくとも１つの特徴パターンを検出する画像解析処理と、
予め用意された複数の構図の各々と前記特徴パターンとの間の関連度を評価値として算出し、前記評価値に基づいて前記入力画像の構図を決定する構図決定処理と、
当該決定された構図を使用して前記入力画像中の興味領域を推定する領域推定処理と、
当該推定された興味領域の局所画像を出力する出力制御処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２０】
請求項１９記載の画像処理プログラムであって、前記構図決定処理は、
前記予め用意された複数の構図にそれぞれ対応する構図係数を記憶する構図係数記憶部から前記構図係数を取得し、
前記各構図に当該対応する構図係数を重み付け、
当該重み付けされた構図の各々と前記特徴パターンとの間の関連度を前記評価値として算出する処理を含むことを特徴とする画像処理プログラム。
【請求項２１】
請求項２０記載の画像処理プログラムであって、
前記構図決定処理は、前記予め用意された複数の構図の中から前記評価値として比較的高い値を有する構図を前記入力画像の構図として選択するとともに、履歴記憶部に記憶されている、前記複数の構図それぞれの累積使用回数を更新する処理を含み、
前記係数設定処理は、当該更新後に、前記履歴記憶部に記憶されている累積使用回数に基づいて、前記構図係数記憶部に記憶されている構図係数を更新する処理を含む、
ことを特徴とする画像処理プログラム。
【請求項２２】
請求項１９から２１のうちのいずれか１項に記載の画像処理プログラムであって、
前記興味領域中のオブジェクトを検出するオブジェクト検出処理と、
当該検出されたオブジェクトに応じて前記局所画像の画質を補正する画像補正処理と、
を更にコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２３】
請求項１９から２２のうちのいずれか１項に記載の画像処理プログラムであって、前記構図決定処理は、前記予め用意された複数の構図を表すデータを格納する構図記憶部から前記構図を表すデータを取得して前記評価値を算出する処理を含むことを特徴とする画像処理プログラム。
【請求項２４】
請求項２３記載の画像処理プログラムであって、前記構図決定処理によって決定された構図に基づいて構図を新たに生成するとともに、当該生成された構図に対応する構図係数を新たに設定する構図生成処理を更にコンピュータに実行させ、
前記構図生成処理は、当該新たに生成された構図を表すデータを前記構図記憶部に格納し、当該新たに設定された構図係数を前記構図係数記憶部に記憶させる処理を含むことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−１５９０２３（Ｐ２００９−１５９０２３Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３１９２８（Ｐ２００７−３３１９２８）
【出願日】平成１９年１２月２５日（２００７．１２．２５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２５日（２００７．１２．２５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]