画像解析装置および画像評価装置
【課題】人物とその地点を代表するランドマークのようなオブジェクトとが被写体となるような撮影画像を解析してオブジェクトの位置を識別する。
【解決手段】オブジェクト探索領域抽出部３０３は、画像データから顔領域および胴体領域を除いてオブジェクト探索領域を抽出する。顕著領域候補抽出部３０４は、オブジェクト探索領域から複数の顕著領域候補を抽出する。独自色性算出部３０５は、オブジェクト探索領域の各画素の色情報を識別し、各色の独自色性を、その出現頻度および他の色との距離に基づいて定量的に算出する。存在確率算出部３０７は、オブジェクト領域の存在確率をブロック単位で算出する。オブジェクト領域識別部３０８は、各顕著領域候補の顕著領域としての尤度を算出し、最尤の顕著領域候補をオブジェクト領域に決定する。
【解決手段】オブジェクト探索領域抽出部３０３は、画像データから顔領域および胴体領域を除いてオブジェクト探索領域を抽出する。顕著領域候補抽出部３０４は、オブジェクト探索領域から複数の顕著領域候補を抽出する。独自色性算出部３０５は、オブジェクト探索領域の各画素の色情報を識別し、各色の独自色性を、その出現頻度および他の色との距離に基づいて定量的に算出する。存在確率算出部３０７は、オブジェクト領域の存在確率をブロック単位で算出する。オブジェクト領域識別部３０８は、各顕著領域候補の顕著領域としての尤度を算出し、最尤の顕著領域候補をオブジェクト領域に決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を解析する画像解析装置、およびこの解析結果に基づいて画像を評価する画像評価装置に係り、特に、記念写真のように人物とその地点を代表するオブジェクト（例えば、ランドマーク）とが被写体となるような画像を対象に、オブジェクトの位置を解析する画像解析装置、および解析されたオブジェクトの位置に基づいて画像レイアウトを評価する画像評価装置に関する。
【背景技術】
【０００２】
旅行における記念撮影では、人物とその地点を代表するランドマークのようなオブジェクトとが被写体となることが多い。このような典型的な記念写真をユーザが上手に撮影するためには、これまでのカメラに付随する光学的な修正手法(ボケやブレ、逆光に対する修正など)に加え、被写体のレイアウト構成を考慮する必要がある。しかしながら、人物領域は既存のカメラでも検出可能である一方、オブジェクトは多種多様であるため、その領域を良好に抽出することは困難であった。
【０００３】
非特許文献1には、写真から色の独自性とその配色情報とに基づいて写真中の画素を分類し、さらに分類した画素情報に既知の手法を適用することで、写真中の顕著領域を抽出する技術が開示されている。
【０００４】
非特許文献２には、OpenCVのHaar Feature特徴量を用いたカスケード型分類器に基づく顔検出器ライブラリを複数の解像度に変換した画像を用いて顔領域を検出する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiaolei Huang, Shi-Min Hu. "Global Contrast based Salient Region Detection", IEEE CVPR, p. 409-416, Colorado Springs, USA, June 21-23, 2011.
【非特許文献２】OpenCV: http://opencv.jp/
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献1では、画像中の一つのかたまりの顕著領域から、人物およびオブジェクトの両領域を別々に、かつ正確に検出することが困難であった。また、人物領域の、特に胴体領域は服の色彩が鮮やかである傾向があるために顕著領域として抽出され易く、オブジェクトの抽出精度を低下させる原因となり易かった。
【０００７】
また、最終的にオブジェクト領域の判定を行う顕著領域抽出手法は固定閾値で2値化した領域に対して繰り返し処理を行うため、最終領域分割結果が初期値の固定閾値に依存してしまう。
【０００８】
さらに、特に記念撮影ではオブジェクトを必要十分な範囲で視野に収める必要があるため、オブジェクトの全体像を取得する必要がある。しかしながら、非特許文献１ではオブジェクトを、その一部のみであれば抽出できるものの、全体を正確に抽出することができない場合があった。
【０００９】
本発明の目的は、上記の従来技術を全て解決し、人物およびオブジェクトが被写体となる典型的な記念写真等の画像データから、オブジェクトの位置と全体を正確に識別できる画像解析装置、およびオブジェクトの位置と形状に基づいて画像レイアウトを評価する画像評価装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、以下のような構成を具備した点に特徴がある。
【００１１】
(1)本発明の画像解析装置は、解析対象の画像データから顔領域を検出する顔領域検出手段と、前記顔領域を除いた領域から、当該顔領域の位置に基づいて胴体領域を検出する胴体領域検出手段と、前記顔領域および胴体領域を除いた領域内からオブジェクト領域を抽出するオブジェクト領域抽出手段とを具備した。
【００１２】
(2)前記胴体領域検出手段は、顔領域の下方位置から顕著領域を探索し、顕著性のより高い顕著領域を胴体領域とするようにした。
【００１３】
(3)前記胴体領域検出手段は、顔領域を除いた領域から顕著領域を探索し、前記顔領域の下方位置であって顕著性のより高い顕著領域を胴体領域とするようにした。
【００１４】
(4)本発明の画像評価装置は、解析対象の画像データから顔領域を検出する顔領域検出手段と、顔領域を除いた領域から、当該顔領域の位置に基づいて胴体領域を検出する胴体領域検出手段と、顔領域および胴体領域を除いた領域内からオブジェクト領域を抽出するオブジェクト領域抽出手段と、顔領域および胴体領域を含む人物領域と前記抽出されたオブジェクト領域のレイアウトを検知するレイアウト検出手段と、人物領域およびオブジェクト領域のレイアウトを、各領域の画像データ内での位置に応じて評価するレイアウト評価手段と、レイアウト評価手段により、各領域の画像データ内での位置に偏りがあると評価されると、この偏りを修正するためのメッセージを出力するレイアウト修正補助手段とを具備した。
【発明の効果】
【００１５】
本発明によれば、以下のような効果が達成される。
【００１６】
(1)記念写真のように、人物とその地点を代表するオブジェクトとで構成される写真の画像データからオブジェクトを識別する際に、当該オブジェクト領域との識別が難しい人物領域（動体領域）を、検出が比較的容易な顔領域との相対的な位置関係に基づいて予め検出し、人物領域が除外された画像範囲のみを対象にオブジェクトを探索できるので、オブジェクトの正確な識別が可能になる。
【００１７】
(2)画像データから抽出されたオブジェクトの位置に基づいて画像のレイアウトが評価され、レイアウトが不適切であれば、これを撮影者に修正させるようなメッセージが出力されるので、写真撮影に不慣れなユーザでも好ましいレイアウトでの撮影が可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の画像解析装置が適用されるデジタルカメラの一実施形態の構成を示した機能ブロック図である。
【図２】Haarタイプ特徴量の算出方法を示した図である。
【図３】胴体領域の検出方法を示した図である。
【図４】胴体領域の検出手順を示したフローチャートである。
【図５】オブジェクト探索領域の抽出方法を示した図である。
【図６】顕著領域の抽出手順を示したフローチャートである。
【図７】学習モデルの構築方法を示した図である。
【図８】オブジェクト領域の識別方法を示した図である。
【図９】本発明の第２実施形態の機能ブロック図である。
【図１０】第２実施形態における胴体領域の抽出方法を示した図である。
【図１１】本発明の画像評価装置が適用されるデジタルカメラの一実施形態の構成を示した機能ブロック図である。
【図１２】適正な画像レイアウトの一例を示した図である。
【図１３】左側に寄りすぎた画像レイアウトの一例を示した図である。
【図１４】右側に寄りすぎた画像レイアウトの一例を示した図である。
【図１５】画像レイアウトの評価例を示した図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の画像解析装置が適用されるデジタルカメラの一実施形態の構成を示した機能ブロック図であり、本発明の説明に不要な構成は図示が省略されている。
【００２０】
撮像部１は、光学レンズ、シャッタおよびイメージセンサ（いずれも、図示省略）を含み、被写体のイメージをカラーの画像データ(RGBなどで表現される)に変換して出力する。画像メモリ２には、前記撮影された画像データが一時記憶される。画像解析部３は、顔領域およびオブジェクト領域を含む画像データから、顔領域の位置に基づいてオブジェクト領域を識別する。
【００２１】
画像解析部３において、顔領域検出部３０１は、解析対象の画像データから顔領域を検出する。胴体領域検出部３０２は、前記画像データから、前記検出された顔領域の位置およびその画像特徴量に基づいて胴体領域を検出する。
【００２２】
オブジェクト探索領域抽出部３０３は、分析対象の画像データから前記検出された顔領域および胴体領域を除いてオブジェクト探索領域を抽出する。このように、本発明ではオブジェクト領域との識別が難しい胴体領域が予めオブジェクトの探索領域から除外されるので、オブジェクト領域を正確に識別できるようになる。
【００２３】
顕著領域抽出部３０４は、前記オブジェクト探索領域を対象に、各画素の色情報に基づいて各色の独自色性を定量化し、この独自色性が基準値を超える色ごとに、その分布確率が高い領域を顕著領域としてそれぞれ抽出する。独自色性算出部３０５は、前記顕著領域の抽出に際して、オブジェクト探索領域の各画素の色情報を識別し、各色の第２独自色性を、その出現頻度および他の色との距離に基づいて定量的に算出する。
【００２４】
学習モデル記憶部３０６には、顔領域およびオブジェクト領域を含む画像データ群を教師データとして構築され、オブジェクト探索領域を対象にオブジェクト領域の存在確率を、顔領域との相対的な位置関係に基づいてブロック単位で推定する学習モデルが予め記憶されている。
【００２５】
存在確率算出部３０７は、顔領域の位置情報を前記学習モデルに適用することで、前記抽出された顕著領域を対象に、オブジェクト領域の存在確率をブロック単位で算出する。オブジェクト領域識別部３０８は、オブジェクト領域の存在確率が高いブロックと重なる顕著領域をオブジェクト領域として識別する。
【００２６】
次いで、各部の動作について更に詳細に説明する。前記顔領域検出部３０１には、記念撮影では人物の顔がほぼ正面を向いている画像が多いという経験則に基づいて、非特許文献２のような既知の顔領域検出手法を採用できる。本実施形態では、はじめにカラーの画像データが輝度画像に変換され、画像左上の座標を原点(0,0)として積分画像が生成される。輝度画像の座標(x,y)の輝度値をI(x,y)とすれば、積分画像Π(x,y)は次式(1)により算出される。
【００２７】
【数１】
【００２８】
本実施形態では、以上のようにして算出された積分画像に対して、既知のHaarタイプ特徴量に基づくフィルタ演算が行われる。Haarタイプ特徴量は、図２に一例を示したように、隣接する白い矩形領域の平均輝度と黒い矩形領域の平均輝度との差で表される。ここでは、フィルタの積算値が所定の矩形サイズR(a,b)ごとに算出され、既知のReal AdaBoost(非特許文献2)などで算出された顔領域判定器を用いて、矩形サイズR(a,b)内が顔画像であるか否かが判定される。
【００２９】
このような顔検出処理は、矩形サイズR(a,b)の位置を画素の左上から順に走査させながら行われる。さらに、このような走査を元の画像に応じて前記矩形R(a,b)の大きさを大小させながら繰り返すことで、任意の大きさの顔領域を検出できる。検出された顔領域は、その中心位置（重心位置）および大きさと共に記憶される。また、複数人の顔が検出された場合は、それぞれの顔領域に対して、その中心位置および大きさが記憶される。
【００３０】
前記胴体領域検出部３０２は、オブジェクト領域との識別が難しい人物の胴体領域を、前記顔領域検出部３０１で検出された顔領域の位置情報および各画素の顕著性に基づいて検出する。本発明では、オブジェクト領域との識別が難しい胴体領域を予め検出し、オブジェクトの探索範囲から除外することにより、胴体領域がオブジェクト領域と誤認識されることによるオブジェクト領域の識別精度の低下を防止するようにしている。
【００３１】
本実施形態では、記念写真の人物は直立または着座することが多いので顔領域の下方に所定の幅で胴体領域が存在し、かつ人物の服装は鮮やかな色を含む独自色で構成されることが多いという経験則に基づいて、図３に一例を示したように、顔領域の下方であって、当該顔領域の幅Wfよりも広い幅Wt(例えば3Wf＜Wt、胴体候補領域)の範囲内で、顔領域近辺の肌色領域（手、腕）および顕著領域（着衣）が胴体領域と判別される。
【００３２】
図４は、前記胴体領域検出部３０２による胴体領域の検出手順を示したフローチャートであり、ここでは、図５(a)に示した画像データから胴体領域を検出する場合を例にして説明する。
【００３３】
ステップＳ１では、図５(a)の画像データから、同図(b)に示したように、前記検出された顔領域が削除される。ステップＳ２では、顔領域の削除された画像データからノイズが除去され、かつアーチファクトを削減するために平滑化が行われる。この平滑化には、メディアンフィルタやガウシアンフィルタといった既知のフィルタリング処理を利用できる。
【００３４】
ステップＳ３では、後に色の独自性を算出する際の処理負荷を減色により軽減するために色の量子化が行われる。一般的な２４bitカラーではRGBの各色に8bit(0-255)が割り当てられるが、本実施形態では、これが各色１２段階に減色されるので、各色が１２×１２×１２=１７２８色で表現されることになる。
【００３５】
なお、色空間はRGBに限定されるものではなく、L*a*b*表色系、L*u*v*表色系、HSV，HSL，YCrCbなどの他の一般的な色空間を利用しても良い。また、色の距離Dcも上記のようなユークリッド距離に限定されるものではなく、一般的な距離尺度を用いてもよい。
【００３６】
ステップＳ４では、減色された画像を対象に色の頻度分布(ヒストグラム)が算出され、各色が頻度順にソートされる。本実施形態では、頻度が上位９５%の色に対してのみ以降の処理を行うことで計算量が削減される。
【００３７】
ステップＳ５では、前記独自色性算出部３０５において、頻度が上位９５%の各色Ciを対象に画像内の他の色との類似度の和S(Ci)が、各色Ciの独自色性として算出される。本実施形態では、画像中の色総数をNc，画像中の他の色をCj(1≦j≦Nc-1)，Cjが画像中に占める割合をfjとする時、前記独自色性S(Ci)が次式(2)で算出される。すなわち、オブジェクト探索領域内の各画素に出現する全ての色について、一の色Ciと他の全ての色Cjとの色距離D(Ci，Cj)を求め、当該色距離D(Ci，Cj)と前記他の色Cjがオブジェクト探索領域内に占める割合fjとの積の総和が独自色性とされ、その値が大きい色ほど第２独自色性が高いとされる。Ci(Ri,Gi,Bi)およびCj(Rj,Gj,Bj)とする。
【００３８】
【数２】
【００３９】
ステップＳ６では、各色Ciの独自色性S(Ci)が最大値から降順でソートされる。ステップS７では、前記顔領域の下方領域（幅Wt）であって、独自色性S(Ci)が上位の各色Ciの分布密度が所定の基準値を超える領域が顕著領域として判定され、同領域が着衣領域を含む胴体領域とされる。肌色領域については、検出された顔領域の色情報を利用して顔領域の近辺の類似色を探索することで検出される。
【００４０】
本実施形態では、図５(c)に示したように、独自色性S(Ci)が上位を示した色Ciの分布密度が所定の基準値を超え、かつ顔領域の下方に位置する顕著領域が胴体領域とされる。
【００４１】
前記オブジェクト探索領域抽出部３０３は、図５(d)に示したように、画像データから前記検出された顔領域および胴体領域（以下、顔領域および胴体領域を合わせて「人物領域」と表現する場合もある）を除いた残りの領域をオブジェクト探索領域として抽出する。
【００４２】
前記顕著領域抽出部３０４は、図６にフローチャートで示した手順に従って、前記オブジェクト探索領域から複数の顕著領域を抽出する。
【００４３】
ステップＳ１１、１２では前記ステップＳ２，Ｓ３と同様の手法により、オブジェクト探索領域の画像データからノイズが除去され、色の量子化による減色が行われる。ステップＳ１３では、減色された画像を対象に色の頻度分布(ヒストグラム)が算出され、各色が頻度順にソートされる。本実施形態では、頻度が上位９５%の色に対してのみ以降の処理を行うことで計算量が削減される。
【００４４】
ステップＳ１４では、前記独自色性算出部３０５において、頻度が上位９５%以上の各色Ciを対象に画像内の他の色との類似度の和S(Ci)が、上式(2)に基づいて前記と同様に実施される。ステップＳ１５では、各色Ciの独自色性S(Ci)が最大値から降順でソートされ、各色Ciの分布密度が所定の基準値を超える画像データ内の領域が顕著領域とされる。
【００４５】
前記存在確率出部３０７は、予め被写体の人物数ごとに確立されている学習モデル３０６に、前記検知された顔領域の中心（重心）位置および大きさを適用することにより、オブジェクト探索領域のブロックごとに、当該各ブロックにオブジェクトが存在する確率を算出する。
【００４６】
そのために、本実施形態では予め学習モデル３０６を構築する際、被写体として人物およびオブジェクトを含む大量の画像データを用意する。そして、画像データごとに顔領域の位置および大きさ、ならびにオブジェクト領域の位置および大きさを手作業によりラベリングし、そのデータを収集して保持する。このとき、前記位置や大きさの情報は、画像サイズに対して正規化された値で保持することが望ましい。また、人物やオブジェクトの数もラベリングすることが望ましい。
【００４７】
前記学習モデル３０６は、これらの情報を教師データとして既知の手法により構築され、解析対象の画像データから検出された顔領域の位置および大きさを、その人物数に応じた学習モデル３０６に適用することで、オブジェクト探索領域内の単位ブロックごとに、オブジェクト領域の存在確率を算出する。
【００４８】
図７は、前記教師データの生成方法を説明するための図であり、人物領域とオブジェクトとが離れているサンプル[同図(a)]や接近しているサンプル[同図(c)]など、人物領域とオブジェクト領域との相対的な位置関係が様々な多数の画像データを用意する。そして、画像データをn×ｍの複数ブロックに分割し、オブジェクト領域と重なるブロック（図中、斜線のハッチングで示したブロック）を手動操作で指定し[同図(b)，(d)]、全てのブロックを、オブジェクト領域との重なりの有無、人物領域のサイズおよび当該人物領域との距離（例えば、人物領域の重心位置との距離）等と紐付けて登録し、これを教師データとする。
【００４９】
なお、各ブロックとオブジェクト領域との重なり状態は、重なっているか否かの二値的な情報に限定されるものではなく、重なりの程度に応じたり多値の情報、すなわち各ブロックの顕著性を定量的に表す情報であっても良い。
【００５０】
前記オブジェクト領域識別部３０８は、図８に一例を示したように、解析対象の画像データ[同図(a)]をn×ｍの複数ブロックに分割し、顕著領域内のブロックごとに、顔領域の大きさおよび人物領域からの距離を前記学習モデルに適応することにより、オブジェクト領域の存在確率Sxをブロック単位で算出する[同図(b)]。そして、存在確立Sxが所定の閾値を超える顕著領域をオブジェクト領域として抽出する。
【００５１】
本実施形態によれば、画像データからオブジェクトを識別する際に、当該オブジェクト領域との識別が難しい人物領域（動体領域）を、検出が比較的容易な顔領域との相対的な位置関係に基づいて予め検出し、人物領域が除外された画像範囲のみを対象にオブジェクト領域を探索できるので、オブジェクト領域の正確な識別が可能になる。
【００５２】
なお、上記の実施形態では、解析対象の画像データから、初めに顔領域を検出して除外し、次いで顔領域の下方から胴体領域を検出して除外し、次いで顔領域および胴体領域（人物領域）が除外された残りの領域からオブジェクト領域が探索されるものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、胴体領域を顔領域に基づいて検出できるならば、顔領域が除外された残りの領域から顕著領域を全て抽出し、その中で顔領域下方の胴体候補領域に位置している顕著領域を胴体領域と認識するようにしても良い。
【００５３】
図９は、このような手法を採用した第２実施形態に係る画像解析装置の機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００５４】
画像解析部３において、顔領域検出部３０１は、解析対象の画像データ[図１０(a)]から顔領域を検出する。オブジェクト探索領域抽出部３０３ａは、前記画像データから、前記検出された顔領域を除くことでオブジェクト探索領域を抽出する[同図(b)]。顕著領域候補抽出部３０４ａは、前記オブジェクト探索領域を対象に、各画素の色情報に基づいて各色の独自色性を定量化し、この独自色性が基準値を超える色ごとに、その分布確率が高い領域を顕著領域候補としてそれぞれ抽出する[同図(c)]。
【００５５】
胴体領域検出部３０２ａは、前記抽出された複数の顕著領域の中から、前記検出された顔領域の下方に位置する顕著領域を胴体領域とする[同図(d)]。また、胴体領域以外の顕著領域は、オブジェクト領域候補とされる。
【００５６】
存在確率算出部３０７ａは、顔領域の位置情報を前記学習モデル３０６に適用することで、前記抽出された顕著領域を対象に、オブジェクト領域の存在確率をブロック単位で算出する。オブジェクト領域識別部３０８は、オブジェクト領域の存在確率が高いブロックと重なる顕著領域をオブジェクト領域として抽出する。
【００５７】
本実施形態によれば、画像データから抽出された複数の顕著領域の中から、顔領域の位置に基づいて、その下方に位置する顕著領域が胴体領域として検出されるので、顕著領域を胴体領域とオブジェクト領域とに簡単かつ正確に識別できるようになる。
【００５８】
次いで、本発明の第３実施形態について説明する。図１１は、本発明の第３実施形態に係る画像評価装置の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。
【００５９】
画像評価部４において、レイアウト検出部４０１は、人物領域およびオブジェクト領域の中心位置（被写体中心）Xを検出する。このような被写体中心は、例えば顔領域の重心とオブジェクト領域の重心とを結ぶ直線の中点で代表できる。
【００６０】
レイアウト評価部４０２は、前記被写体中心と画像中心との偏差に基づいてレイアウトを評価する。例えば、図１２に示したように、被写体（人物およびオブジェクト）中心Xと画像中心とが略一致していれば、適切なレイアウトと評価する。
【００６１】
これに対して、図１３に示したように、被写体中心Xが画像中心に対して大きく左側にずれていれば、左側に寄りすぎのレイアウトと評価する。同様に、図１４に示したように、被写体中心Xが画像中心に対して大きく右側にずれていれば、右側に寄りすぎのレイアウトと評価する。
【００６２】
評価結果出力部４０３は、前記評価結果に基づいて、例えば被写体が左側に寄り過ぎのレイアウト（図１３）と評価されていれば、カメラの向きを左側へ移動させるメッセージを音声出力する。あるいは、当該メッセージを被写体が移し出されているモニタ画面上に表示出力する。同様に、被写体が右側に寄り過ぎのレイアウト（図１４）と評価されていれば、カメラの向きを右側へ移動させるメッセージを出力する。
【００６３】
なお、オブジェクト領域の位置に応じた画像評価方法はこれのみに限定されるものではなく、例えば図１５に示したように、三分割法に基づく仮想線分を水平H1，H2および垂直V1，V2の各方向に設定し、顔領域の中心やオブジェクト領域の中心と、各仮想線分H1，H2，V1，V2やその交点との乖離度をユークリッド距離などで算出する。そして、このような乖離度が大きいほどレイアウト評価が低くなるような評価方法を採用し、この評価結果が高くなるように、人物の位置やカメラの向き、ズーム倍率などを修正させるような補助情報（メッセージ）が出力されるようにしても良い。
【００６４】
本実施形態によれば、画像データから抽出されたオブジェクトの位置に基づいて画像のレイアウトが評価され、レイアウトが不適切であれば、これを撮影者に修正させるようなメッセージが出力されるので、写真撮影に不慣れなユーザでも好ましいレイアウトでの撮影が可能になる。
【符号の説明】
【００６５】
１…撮像部，２…画像メモリ，３…画像解析部，４…画像評価部，３０１…顔領域検出部，３０２…胴体領域検出部，３０３…オブジェクト探索領域抽出部，３０４…顕著領域候補抽出部，３０５…独自色性算出部，３０６…学習モデル記憶部，３０７…存在確率算出部，３０８…オブジェクト領域識別部，４０１…レイアウト検出部，４０２…レイアウト評価部，４０３…評価結果出力部
【技術分野】
【０００１】
本発明は、画像を解析する画像解析装置、およびこの解析結果に基づいて画像を評価する画像評価装置に係り、特に、記念写真のように人物とその地点を代表するオブジェクト（例えば、ランドマーク）とが被写体となるような画像を対象に、オブジェクトの位置を解析する画像解析装置、および解析されたオブジェクトの位置に基づいて画像レイアウトを評価する画像評価装置に関する。
【背景技術】
【０００２】
旅行における記念撮影では、人物とその地点を代表するランドマークのようなオブジェクトとが被写体となることが多い。このような典型的な記念写真をユーザが上手に撮影するためには、これまでのカメラに付随する光学的な修正手法(ボケやブレ、逆光に対する修正など)に加え、被写体のレイアウト構成を考慮する必要がある。しかしながら、人物領域は既存のカメラでも検出可能である一方、オブジェクトは多種多様であるため、その領域を良好に抽出することは困難であった。
【０００３】
非特許文献1には、写真から色の独自性とその配色情報とに基づいて写真中の画素を分類し、さらに分類した画素情報に既知の手法を適用することで、写真中の顕著領域を抽出する技術が開示されている。
【０００４】
非特許文献２には、OpenCVのHaar Feature特徴量を用いたカスケード型分類器に基づく顔検出器ライブラリを複数の解像度に変換した画像を用いて顔領域を検出する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiaolei Huang, Shi-Min Hu. "Global Contrast based Salient Region Detection", IEEE CVPR, p. 409-416, Colorado Springs, USA, June 21-23, 2011.
【非特許文献２】OpenCV: http://opencv.jp/
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献1では、画像中の一つのかたまりの顕著領域から、人物およびオブジェクトの両領域を別々に、かつ正確に検出することが困難であった。また、人物領域の、特に胴体領域は服の色彩が鮮やかである傾向があるために顕著領域として抽出され易く、オブジェクトの抽出精度を低下させる原因となり易かった。
【０００７】
また、最終的にオブジェクト領域の判定を行う顕著領域抽出手法は固定閾値で2値化した領域に対して繰り返し処理を行うため、最終領域分割結果が初期値の固定閾値に依存してしまう。
【０００８】
さらに、特に記念撮影ではオブジェクトを必要十分な範囲で視野に収める必要があるため、オブジェクトの全体像を取得する必要がある。しかしながら、非特許文献１ではオブジェクトを、その一部のみであれば抽出できるものの、全体を正確に抽出することができない場合があった。
【０００９】
本発明の目的は、上記の従来技術を全て解決し、人物およびオブジェクトが被写体となる典型的な記念写真等の画像データから、オブジェクトの位置と全体を正確に識別できる画像解析装置、およびオブジェクトの位置と形状に基づいて画像レイアウトを評価する画像評価装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、以下のような構成を具備した点に特徴がある。
【００１１】
(1)本発明の画像解析装置は、解析対象の画像データから顔領域を検出する顔領域検出手段と、前記顔領域を除いた領域から、当該顔領域の位置に基づいて胴体領域を検出する胴体領域検出手段と、前記顔領域および胴体領域を除いた領域内からオブジェクト領域を抽出するオブジェクト領域抽出手段とを具備した。
【００１２】
(2)前記胴体領域検出手段は、顔領域の下方位置から顕著領域を探索し、顕著性のより高い顕著領域を胴体領域とするようにした。
【００１３】
(3)前記胴体領域検出手段は、顔領域を除いた領域から顕著領域を探索し、前記顔領域の下方位置であって顕著性のより高い顕著領域を胴体領域とするようにした。
【００１４】
(4)本発明の画像評価装置は、解析対象の画像データから顔領域を検出する顔領域検出手段と、顔領域を除いた領域から、当該顔領域の位置に基づいて胴体領域を検出する胴体領域検出手段と、顔領域および胴体領域を除いた領域内からオブジェクト領域を抽出するオブジェクト領域抽出手段と、顔領域および胴体領域を含む人物領域と前記抽出されたオブジェクト領域のレイアウトを検知するレイアウト検出手段と、人物領域およびオブジェクト領域のレイアウトを、各領域の画像データ内での位置に応じて評価するレイアウト評価手段と、レイアウト評価手段により、各領域の画像データ内での位置に偏りがあると評価されると、この偏りを修正するためのメッセージを出力するレイアウト修正補助手段とを具備した。
【発明の効果】
【００１５】
本発明によれば、以下のような効果が達成される。
【００１６】
(1)記念写真のように、人物とその地点を代表するオブジェクトとで構成される写真の画像データからオブジェクトを識別する際に、当該オブジェクト領域との識別が難しい人物領域（動体領域）を、検出が比較的容易な顔領域との相対的な位置関係に基づいて予め検出し、人物領域が除外された画像範囲のみを対象にオブジェクトを探索できるので、オブジェクトの正確な識別が可能になる。
【００１７】
(2)画像データから抽出されたオブジェクトの位置に基づいて画像のレイアウトが評価され、レイアウトが不適切であれば、これを撮影者に修正させるようなメッセージが出力されるので、写真撮影に不慣れなユーザでも好ましいレイアウトでの撮影が可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の画像解析装置が適用されるデジタルカメラの一実施形態の構成を示した機能ブロック図である。
【図２】Haarタイプ特徴量の算出方法を示した図である。
【図３】胴体領域の検出方法を示した図である。
【図４】胴体領域の検出手順を示したフローチャートである。
【図５】オブジェクト探索領域の抽出方法を示した図である。
【図６】顕著領域の抽出手順を示したフローチャートである。
【図７】学習モデルの構築方法を示した図である。
【図８】オブジェクト領域の識別方法を示した図である。
【図９】本発明の第２実施形態の機能ブロック図である。
【図１０】第２実施形態における胴体領域の抽出方法を示した図である。
【図１１】本発明の画像評価装置が適用されるデジタルカメラの一実施形態の構成を示した機能ブロック図である。
【図１２】適正な画像レイアウトの一例を示した図である。
【図１３】左側に寄りすぎた画像レイアウトの一例を示した図である。
【図１４】右側に寄りすぎた画像レイアウトの一例を示した図である。
【図１５】画像レイアウトの評価例を示した図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の画像解析装置が適用されるデジタルカメラの一実施形態の構成を示した機能ブロック図であり、本発明の説明に不要な構成は図示が省略されている。
【００２０】
撮像部１は、光学レンズ、シャッタおよびイメージセンサ（いずれも、図示省略）を含み、被写体のイメージをカラーの画像データ(RGBなどで表現される)に変換して出力する。画像メモリ２には、前記撮影された画像データが一時記憶される。画像解析部３は、顔領域およびオブジェクト領域を含む画像データから、顔領域の位置に基づいてオブジェクト領域を識別する。
【００２１】
画像解析部３において、顔領域検出部３０１は、解析対象の画像データから顔領域を検出する。胴体領域検出部３０２は、前記画像データから、前記検出された顔領域の位置およびその画像特徴量に基づいて胴体領域を検出する。
【００２２】
オブジェクト探索領域抽出部３０３は、分析対象の画像データから前記検出された顔領域および胴体領域を除いてオブジェクト探索領域を抽出する。このように、本発明ではオブジェクト領域との識別が難しい胴体領域が予めオブジェクトの探索領域から除外されるので、オブジェクト領域を正確に識別できるようになる。
【００２３】
顕著領域抽出部３０４は、前記オブジェクト探索領域を対象に、各画素の色情報に基づいて各色の独自色性を定量化し、この独自色性が基準値を超える色ごとに、その分布確率が高い領域を顕著領域としてそれぞれ抽出する。独自色性算出部３０５は、前記顕著領域の抽出に際して、オブジェクト探索領域の各画素の色情報を識別し、各色の第２独自色性を、その出現頻度および他の色との距離に基づいて定量的に算出する。
【００２４】
学習モデル記憶部３０６には、顔領域およびオブジェクト領域を含む画像データ群を教師データとして構築され、オブジェクト探索領域を対象にオブジェクト領域の存在確率を、顔領域との相対的な位置関係に基づいてブロック単位で推定する学習モデルが予め記憶されている。
【００２５】
存在確率算出部３０７は、顔領域の位置情報を前記学習モデルに適用することで、前記抽出された顕著領域を対象に、オブジェクト領域の存在確率をブロック単位で算出する。オブジェクト領域識別部３０８は、オブジェクト領域の存在確率が高いブロックと重なる顕著領域をオブジェクト領域として識別する。
【００２６】
次いで、各部の動作について更に詳細に説明する。前記顔領域検出部３０１には、記念撮影では人物の顔がほぼ正面を向いている画像が多いという経験則に基づいて、非特許文献２のような既知の顔領域検出手法を採用できる。本実施形態では、はじめにカラーの画像データが輝度画像に変換され、画像左上の座標を原点(0,0)として積分画像が生成される。輝度画像の座標(x,y)の輝度値をI(x,y)とすれば、積分画像Π(x,y)は次式(1)により算出される。
【００２７】
【数１】
【００２８】
本実施形態では、以上のようにして算出された積分画像に対して、既知のHaarタイプ特徴量に基づくフィルタ演算が行われる。Haarタイプ特徴量は、図２に一例を示したように、隣接する白い矩形領域の平均輝度と黒い矩形領域の平均輝度との差で表される。ここでは、フィルタの積算値が所定の矩形サイズR(a,b)ごとに算出され、既知のReal AdaBoost(非特許文献2)などで算出された顔領域判定器を用いて、矩形サイズR(a,b)内が顔画像であるか否かが判定される。
【００２９】
このような顔検出処理は、矩形サイズR(a,b)の位置を画素の左上から順に走査させながら行われる。さらに、このような走査を元の画像に応じて前記矩形R(a,b)の大きさを大小させながら繰り返すことで、任意の大きさの顔領域を検出できる。検出された顔領域は、その中心位置（重心位置）および大きさと共に記憶される。また、複数人の顔が検出された場合は、それぞれの顔領域に対して、その中心位置および大きさが記憶される。
【００３０】
前記胴体領域検出部３０２は、オブジェクト領域との識別が難しい人物の胴体領域を、前記顔領域検出部３０１で検出された顔領域の位置情報および各画素の顕著性に基づいて検出する。本発明では、オブジェクト領域との識別が難しい胴体領域を予め検出し、オブジェクトの探索範囲から除外することにより、胴体領域がオブジェクト領域と誤認識されることによるオブジェクト領域の識別精度の低下を防止するようにしている。
【００３１】
本実施形態では、記念写真の人物は直立または着座することが多いので顔領域の下方に所定の幅で胴体領域が存在し、かつ人物の服装は鮮やかな色を含む独自色で構成されることが多いという経験則に基づいて、図３に一例を示したように、顔領域の下方であって、当該顔領域の幅Wfよりも広い幅Wt(例えば3Wf＜Wt、胴体候補領域)の範囲内で、顔領域近辺の肌色領域（手、腕）および顕著領域（着衣）が胴体領域と判別される。
【００３２】
図４は、前記胴体領域検出部３０２による胴体領域の検出手順を示したフローチャートであり、ここでは、図５(a)に示した画像データから胴体領域を検出する場合を例にして説明する。
【００３３】
ステップＳ１では、図５(a)の画像データから、同図(b)に示したように、前記検出された顔領域が削除される。ステップＳ２では、顔領域の削除された画像データからノイズが除去され、かつアーチファクトを削減するために平滑化が行われる。この平滑化には、メディアンフィルタやガウシアンフィルタといった既知のフィルタリング処理を利用できる。
【００３４】
ステップＳ３では、後に色の独自性を算出する際の処理負荷を減色により軽減するために色の量子化が行われる。一般的な２４bitカラーではRGBの各色に8bit(0-255)が割り当てられるが、本実施形態では、これが各色１２段階に減色されるので、各色が１２×１２×１２=１７２８色で表現されることになる。
【００３５】
なお、色空間はRGBに限定されるものではなく、L*a*b*表色系、L*u*v*表色系、HSV，HSL，YCrCbなどの他の一般的な色空間を利用しても良い。また、色の距離Dcも上記のようなユークリッド距離に限定されるものではなく、一般的な距離尺度を用いてもよい。
【００３６】
ステップＳ４では、減色された画像を対象に色の頻度分布(ヒストグラム)が算出され、各色が頻度順にソートされる。本実施形態では、頻度が上位９５%の色に対してのみ以降の処理を行うことで計算量が削減される。
【００３７】
ステップＳ５では、前記独自色性算出部３０５において、頻度が上位９５%の各色Ciを対象に画像内の他の色との類似度の和S(Ci)が、各色Ciの独自色性として算出される。本実施形態では、画像中の色総数をNc，画像中の他の色をCj(1≦j≦Nc-1)，Cjが画像中に占める割合をfjとする時、前記独自色性S(Ci)が次式(2)で算出される。すなわち、オブジェクト探索領域内の各画素に出現する全ての色について、一の色Ciと他の全ての色Cjとの色距離D(Ci，Cj)を求め、当該色距離D(Ci，Cj)と前記他の色Cjがオブジェクト探索領域内に占める割合fjとの積の総和が独自色性とされ、その値が大きい色ほど第２独自色性が高いとされる。Ci(Ri,Gi,Bi)およびCj(Rj,Gj,Bj)とする。
【００３８】
【数２】
【００３９】
ステップＳ６では、各色Ciの独自色性S(Ci)が最大値から降順でソートされる。ステップS７では、前記顔領域の下方領域（幅Wt）であって、独自色性S(Ci)が上位の各色Ciの分布密度が所定の基準値を超える領域が顕著領域として判定され、同領域が着衣領域を含む胴体領域とされる。肌色領域については、検出された顔領域の色情報を利用して顔領域の近辺の類似色を探索することで検出される。
【００４０】
本実施形態では、図５(c)に示したように、独自色性S(Ci)が上位を示した色Ciの分布密度が所定の基準値を超え、かつ顔領域の下方に位置する顕著領域が胴体領域とされる。
【００４１】
前記オブジェクト探索領域抽出部３０３は、図５(d)に示したように、画像データから前記検出された顔領域および胴体領域（以下、顔領域および胴体領域を合わせて「人物領域」と表現する場合もある）を除いた残りの領域をオブジェクト探索領域として抽出する。
【００４２】
前記顕著領域抽出部３０４は、図６にフローチャートで示した手順に従って、前記オブジェクト探索領域から複数の顕著領域を抽出する。
【００４３】
ステップＳ１１、１２では前記ステップＳ２，Ｓ３と同様の手法により、オブジェクト探索領域の画像データからノイズが除去され、色の量子化による減色が行われる。ステップＳ１３では、減色された画像を対象に色の頻度分布(ヒストグラム)が算出され、各色が頻度順にソートされる。本実施形態では、頻度が上位９５%の色に対してのみ以降の処理を行うことで計算量が削減される。
【００４４】
ステップＳ１４では、前記独自色性算出部３０５において、頻度が上位９５%以上の各色Ciを対象に画像内の他の色との類似度の和S(Ci)が、上式(2)に基づいて前記と同様に実施される。ステップＳ１５では、各色Ciの独自色性S(Ci)が最大値から降順でソートされ、各色Ciの分布密度が所定の基準値を超える画像データ内の領域が顕著領域とされる。
【００４５】
前記存在確率出部３０７は、予め被写体の人物数ごとに確立されている学習モデル３０６に、前記検知された顔領域の中心（重心）位置および大きさを適用することにより、オブジェクト探索領域のブロックごとに、当該各ブロックにオブジェクトが存在する確率を算出する。
【００４６】
そのために、本実施形態では予め学習モデル３０６を構築する際、被写体として人物およびオブジェクトを含む大量の画像データを用意する。そして、画像データごとに顔領域の位置および大きさ、ならびにオブジェクト領域の位置および大きさを手作業によりラベリングし、そのデータを収集して保持する。このとき、前記位置や大きさの情報は、画像サイズに対して正規化された値で保持することが望ましい。また、人物やオブジェクトの数もラベリングすることが望ましい。
【００４７】
前記学習モデル３０６は、これらの情報を教師データとして既知の手法により構築され、解析対象の画像データから検出された顔領域の位置および大きさを、その人物数に応じた学習モデル３０６に適用することで、オブジェクト探索領域内の単位ブロックごとに、オブジェクト領域の存在確率を算出する。
【００４８】
図７は、前記教師データの生成方法を説明するための図であり、人物領域とオブジェクトとが離れているサンプル[同図(a)]や接近しているサンプル[同図(c)]など、人物領域とオブジェクト領域との相対的な位置関係が様々な多数の画像データを用意する。そして、画像データをn×ｍの複数ブロックに分割し、オブジェクト領域と重なるブロック（図中、斜線のハッチングで示したブロック）を手動操作で指定し[同図(b)，(d)]、全てのブロックを、オブジェクト領域との重なりの有無、人物領域のサイズおよび当該人物領域との距離（例えば、人物領域の重心位置との距離）等と紐付けて登録し、これを教師データとする。
【００４９】
なお、各ブロックとオブジェクト領域との重なり状態は、重なっているか否かの二値的な情報に限定されるものではなく、重なりの程度に応じたり多値の情報、すなわち各ブロックの顕著性を定量的に表す情報であっても良い。
【００５０】
前記オブジェクト領域識別部３０８は、図８に一例を示したように、解析対象の画像データ[同図(a)]をn×ｍの複数ブロックに分割し、顕著領域内のブロックごとに、顔領域の大きさおよび人物領域からの距離を前記学習モデルに適応することにより、オブジェクト領域の存在確率Sxをブロック単位で算出する[同図(b)]。そして、存在確立Sxが所定の閾値を超える顕著領域をオブジェクト領域として抽出する。
【００５１】
本実施形態によれば、画像データからオブジェクトを識別する際に、当該オブジェクト領域との識別が難しい人物領域（動体領域）を、検出が比較的容易な顔領域との相対的な位置関係に基づいて予め検出し、人物領域が除外された画像範囲のみを対象にオブジェクト領域を探索できるので、オブジェクト領域の正確な識別が可能になる。
【００５２】
なお、上記の実施形態では、解析対象の画像データから、初めに顔領域を検出して除外し、次いで顔領域の下方から胴体領域を検出して除外し、次いで顔領域および胴体領域（人物領域）が除外された残りの領域からオブジェクト領域が探索されるものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、胴体領域を顔領域に基づいて検出できるならば、顔領域が除外された残りの領域から顕著領域を全て抽出し、その中で顔領域下方の胴体候補領域に位置している顕著領域を胴体領域と認識するようにしても良い。
【００５３】
図９は、このような手法を採用した第２実施形態に係る画像解析装置の機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００５４】
画像解析部３において、顔領域検出部３０１は、解析対象の画像データ[図１０(a)]から顔領域を検出する。オブジェクト探索領域抽出部３０３ａは、前記画像データから、前記検出された顔領域を除くことでオブジェクト探索領域を抽出する[同図(b)]。顕著領域候補抽出部３０４ａは、前記オブジェクト探索領域を対象に、各画素の色情報に基づいて各色の独自色性を定量化し、この独自色性が基準値を超える色ごとに、その分布確率が高い領域を顕著領域候補としてそれぞれ抽出する[同図(c)]。
【００５５】
胴体領域検出部３０２ａは、前記抽出された複数の顕著領域の中から、前記検出された顔領域の下方に位置する顕著領域を胴体領域とする[同図(d)]。また、胴体領域以外の顕著領域は、オブジェクト領域候補とされる。
【００５６】
存在確率算出部３０７ａは、顔領域の位置情報を前記学習モデル３０６に適用することで、前記抽出された顕著領域を対象に、オブジェクト領域の存在確率をブロック単位で算出する。オブジェクト領域識別部３０８は、オブジェクト領域の存在確率が高いブロックと重なる顕著領域をオブジェクト領域として抽出する。
【００５７】
本実施形態によれば、画像データから抽出された複数の顕著領域の中から、顔領域の位置に基づいて、その下方に位置する顕著領域が胴体領域として検出されるので、顕著領域を胴体領域とオブジェクト領域とに簡単かつ正確に識別できるようになる。
【００５８】
次いで、本発明の第３実施形態について説明する。図１１は、本発明の第３実施形態に係る画像評価装置の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。
【００５９】
画像評価部４において、レイアウト検出部４０１は、人物領域およびオブジェクト領域の中心位置（被写体中心）Xを検出する。このような被写体中心は、例えば顔領域の重心とオブジェクト領域の重心とを結ぶ直線の中点で代表できる。
【００６０】
レイアウト評価部４０２は、前記被写体中心と画像中心との偏差に基づいてレイアウトを評価する。例えば、図１２に示したように、被写体（人物およびオブジェクト）中心Xと画像中心とが略一致していれば、適切なレイアウトと評価する。
【００６１】
これに対して、図１３に示したように、被写体中心Xが画像中心に対して大きく左側にずれていれば、左側に寄りすぎのレイアウトと評価する。同様に、図１４に示したように、被写体中心Xが画像中心に対して大きく右側にずれていれば、右側に寄りすぎのレイアウトと評価する。
【００６２】
評価結果出力部４０３は、前記評価結果に基づいて、例えば被写体が左側に寄り過ぎのレイアウト（図１３）と評価されていれば、カメラの向きを左側へ移動させるメッセージを音声出力する。あるいは、当該メッセージを被写体が移し出されているモニタ画面上に表示出力する。同様に、被写体が右側に寄り過ぎのレイアウト（図１４）と評価されていれば、カメラの向きを右側へ移動させるメッセージを出力する。
【００６３】
なお、オブジェクト領域の位置に応じた画像評価方法はこれのみに限定されるものではなく、例えば図１５に示したように、三分割法に基づく仮想線分を水平H1，H2および垂直V1，V2の各方向に設定し、顔領域の中心やオブジェクト領域の中心と、各仮想線分H1，H2，V1，V2やその交点との乖離度をユークリッド距離などで算出する。そして、このような乖離度が大きいほどレイアウト評価が低くなるような評価方法を採用し、この評価結果が高くなるように、人物の位置やカメラの向き、ズーム倍率などを修正させるような補助情報（メッセージ）が出力されるようにしても良い。
【００６４】
本実施形態によれば、画像データから抽出されたオブジェクトの位置に基づいて画像のレイアウトが評価され、レイアウトが不適切であれば、これを撮影者に修正させるようなメッセージが出力されるので、写真撮影に不慣れなユーザでも好ましいレイアウトでの撮影が可能になる。
【符号の説明】
【００６５】
１…撮像部，２…画像メモリ，３…画像解析部，４…画像評価部，３０１…顔領域検出部，３０２…胴体領域検出部，３０３…オブジェクト探索領域抽出部，３０４…顕著領域候補抽出部，３０５…独自色性算出部，３０６…学習モデル記憶部，３０７…存在確率算出部，３０８…オブジェクト領域識別部，４０１…レイアウト検出部，４０２…レイアウト評価部，４０３…評価結果出力部
【特許請求の範囲】
【請求項１】
顔領域およびオブジェクト領域を含む画像データからオブジェクト領域を識別する画像解析装置において、
解析対象の画像データから顔領域を検出する顔領域検出手段と、
前記顔領域を除いた領域から、当該顔領域の位置に基づいて胴体領域を検出する胴体領域検出手段と、
前記顔領域および胴体領域を除いた領域内からオブジェクト領域を抽出するオブジェクト領域抽出手段とを具備したことを特徴とする画像解析装置。
【請求項２】
前記胴体領域検出手段は、前記顔領域の下方位置から顕著領域を探索し、顕著性のより高い顕著領域を胴体領域とすることを特徴とする請求項１に記載の画像解析装置。
【請求項３】
前記胴体領域検出手段は、前記顔領域を除いた領域から顕著領域を探索し、前記顔領域の下方位置であって顕著性のより高い顕著領域を胴体領域とすることを特徴とする請求項１に記載の画像解析装置。
【請求項４】
画像内の各位置にオブジェクト領域が存在する確率を顔領域との相対的な位置関係に基づいて推定する学習モデルと、
オブジェクトの探索領域を対象に各画素の特徴量を算出し、当該特徴量が基準値を超える色ごとに、その分布確率が高い領域を顕著領域として抽出する顕著領域抽出手段と、
前記検知された顔領域の位置を前記学習モデルに適用し、前記顕著領域ごとに所定のブロック単位でオブジェクトの存在確率を算出する存在確率算出手段とを具備し、
前記オブジェクト領域抽出手段は、オブジェクトの存在確率が高い顕著領域をオブジェクト領域として抽出することを特徴とする請求項１ないし３のいずれかに記載の画像解析装置。
【請求項５】
前記特徴量は、各画素の画像データ内における独自色性を表し、当該画素の色と他の全ての画素の色との距離に当該他の色がオブジェクトの探索領域内に占める割合を乗じた値の総和として求まることを特徴とする請求項４に記載の画像解析装置。
【請求項６】
前記学習モデルは、顔領域およびオブジェクト領域を含む画像群を対象に、各顔領域の位置情報および各オブジェクト候補の位置情報をラベリングし、これらを教師データとして構築されることを特徴とする請求項４に記載の画像解析装置。
【請求項７】
前記顔領域およびオブジェクト領域の位置情報が、各領域の大きさおよび中心位置を含むことを特徴とする請求項６に記載の画像解析装置。
【請求項８】
顔領域およびオブジェクト領域を含む画像データからオブジェクト領域を識別する画像評価装置において、
解析対象の画像データから顔領域を検出する顔領域検出手段と、
前記顔領域を除いた領域から、当該顔領域の位置に基づいて胴体領域を検出する胴体領域検出手段と、
前記顔領域および胴体領域を除いた領域内からオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記顔領域および胴体領域を含む人物領域と前記抽出されたオブジェクト領域のレイアウトを検知するレイアウト検出手段と、
前記人物領域およびオブジェクト領域のレイアウトを、各領域の画像データ内での位置に応じて評価するレイアウト評価手段と、
前記レイアウト評価手段により、前記各領域の画像データ内での位置に偏りがあると評価されると、この偏りを修正するためのメッセージを出力するレイアウト修正補助手段とを具備したことを特徴とする画像評価装置。
【請求項９】
前記胴体領域検出手段は、前記顔領域の下方位置から顕著領域を探索し、顕著性のより高い顕著領域を胴体領域とすることを特徴とする請求項８に記載の画像評価装置。
【請求項１０】
前記胴体領域検出手段は、前記顔領域を除いた領域から顕著領域を探索し、前記顔領域の下方位置であって顕著性のより高い顕著領域を胴体領域とすることを特徴とする請求項８に記載の画像評価装置。
【請求項１】
顔領域およびオブジェクト領域を含む画像データからオブジェクト領域を識別する画像解析装置において、
解析対象の画像データから顔領域を検出する顔領域検出手段と、
前記顔領域を除いた領域から、当該顔領域の位置に基づいて胴体領域を検出する胴体領域検出手段と、
前記顔領域および胴体領域を除いた領域内からオブジェクト領域を抽出するオブジェクト領域抽出手段とを具備したことを特徴とする画像解析装置。
【請求項２】
前記胴体領域検出手段は、前記顔領域の下方位置から顕著領域を探索し、顕著性のより高い顕著領域を胴体領域とすることを特徴とする請求項１に記載の画像解析装置。
【請求項３】
前記胴体領域検出手段は、前記顔領域を除いた領域から顕著領域を探索し、前記顔領域の下方位置であって顕著性のより高い顕著領域を胴体領域とすることを特徴とする請求項１に記載の画像解析装置。
【請求項４】
画像内の各位置にオブジェクト領域が存在する確率を顔領域との相対的な位置関係に基づいて推定する学習モデルと、
オブジェクトの探索領域を対象に各画素の特徴量を算出し、当該特徴量が基準値を超える色ごとに、その分布確率が高い領域を顕著領域として抽出する顕著領域抽出手段と、
前記検知された顔領域の位置を前記学習モデルに適用し、前記顕著領域ごとに所定のブロック単位でオブジェクトの存在確率を算出する存在確率算出手段とを具備し、
前記オブジェクト領域抽出手段は、オブジェクトの存在確率が高い顕著領域をオブジェクト領域として抽出することを特徴とする請求項１ないし３のいずれかに記載の画像解析装置。
【請求項５】
前記特徴量は、各画素の画像データ内における独自色性を表し、当該画素の色と他の全ての画素の色との距離に当該他の色がオブジェクトの探索領域内に占める割合を乗じた値の総和として求まることを特徴とする請求項４に記載の画像解析装置。
【請求項６】
前記学習モデルは、顔領域およびオブジェクト領域を含む画像群を対象に、各顔領域の位置情報および各オブジェクト候補の位置情報をラベリングし、これらを教師データとして構築されることを特徴とする請求項４に記載の画像解析装置。
【請求項７】
前記顔領域およびオブジェクト領域の位置情報が、各領域の大きさおよび中心位置を含むことを特徴とする請求項６に記載の画像解析装置。
【請求項８】
顔領域およびオブジェクト領域を含む画像データからオブジェクト領域を識別する画像評価装置において、
解析対象の画像データから顔領域を検出する顔領域検出手段と、
前記顔領域を除いた領域から、当該顔領域の位置に基づいて胴体領域を検出する胴体領域検出手段と、
前記顔領域および胴体領域を除いた領域内からオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記顔領域および胴体領域を含む人物領域と前記抽出されたオブジェクト領域のレイアウトを検知するレイアウト検出手段と、
前記人物領域およびオブジェクト領域のレイアウトを、各領域の画像データ内での位置に応じて評価するレイアウト評価手段と、
前記レイアウト評価手段により、前記各領域の画像データ内での位置に偏りがあると評価されると、この偏りを修正するためのメッセージを出力するレイアウト修正補助手段とを具備したことを特徴とする画像評価装置。
【請求項９】
前記胴体領域検出手段は、前記顔領域の下方位置から顕著領域を探索し、顕著性のより高い顕著領域を胴体領域とすることを特徴とする請求項８に記載の画像評価装置。
【請求項１０】
前記胴体領域検出手段は、前記顔領域を除いた領域から顕著領域を探索し、前記顔領域の下方位置であって顕著性のより高い顕著領域を胴体領域とすることを特徴とする請求項８に記載の画像評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−６５１５６（Ｐ２０１３−６５１５６Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２８３９（Ｐ２０１１−２０２８３９）
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]