親密度判定方法及び親密度判定装置
【課題】１枚の写真に写っている被写体である人物間の親密度に基づいて、多数の写真の中から目的とする写真を検索できるが、多数の写真全体における人物間の親密度を判定することができない。
【解決手段】取得した各画像から人物の顔領域を検出する顔領域検出部５２と、検出された顔領域の特徴量に基づいて、顔領域の人物に関する人物情報を生成する人物情報生成部５３とを有する。そして、人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、複数の画像全体における各人物間の親密度を判定する親密度判定部５４と、を有する。
【解決手段】取得した各画像から人物の顔領域を検出する顔領域検出部５２と、検出された顔領域の特徴量に基づいて、顔領域の人物に関する人物情報を生成する人物情報生成部５３とを有する。そして、人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、複数の画像全体における各人物間の親密度を判定する親密度判定部５４と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、親密度判定方法及び親密度判定装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等で撮影した多数の写真の中から、目的とする写真を被写体の人物に基づいて検索して、より効率的に写真を検索及び分類する方法が提供されている。
例えば、特許文献１では、画像内に二人以上の人物が検出された場合に、画像データから被写体である人物間の親密度に関するパラメーターを自動的に算出し、親密度に基づく写真の効率的な検索、視聴等を可能とする画像処理装置を提供している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４１９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているような画像処理装置の場合、１枚の写真に写っている被写体である人物間の親密度に基づいて、多数の写真の中から目的とする写真を検索、視聴等を行う方法である。このため、多数の写真全体における各人物間の親密度を判定することができない。例えば、多数の写真の中から、人物Ａと人物Ｂ間で親密度が高い写真が１枚だけ検索されたとする。一方、人物Ｃと人物Ｄ間で親密度が高い写真が１０枚以上検索されたとする。この場合、多数の写真全体においては、人物Ｃと人物Ｄの親密度の方が人物Ａと人物Ｂの親密度よりも高いと判定できるが、特許文献１では、このように判定することができない。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］複数の画像を取得する画像取得工程と、前記取得した各画像から人物の顔領域を検出する顔領域検出工程と、前記検出された顔領域の特徴量に基づいて、前記顔領域の人物に関する人物情報を生成する人物情報生成工程と、前記人物情報を記憶する記憶工程と、前記記憶されている人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、前記複数の画像全体における各人物間の親密度を判定する親密度判定工程と、を有することを特徴とする親密度判定方法。
【０００７】
上記した親密度判定方法によれば、顔領域検出工程において、取得した各画像から人物の顔領域を検出し、人物情報生成工程において、顔領域の人物に関する人物情報を生成する。そして、親密度判定工程において、人物情報に基づいて画像における各人物間の親密度を判定して、複数の画像全体における各人物間の親密度を判定する。
これにより、親密度判定工程では、各人物間の親密度について、各画像単位に判定した親密度に基づいて、複数の画像全体における親密度を判定することができる。この結果、複数の画像全体における各人物間の親密度を適正に判定することができる。
【０００８】
［適用例２］前記人物情報は、前記各画像に含まれる前記顔領域の人物を識別するための画像人物識別情報と、前記各画像の画像領域における前記人物の顔位置を示す顔位置情報と、前記人物の表情が笑顔であるか否かを示す笑顔度情報と、を含み、前記親密度判定工程において、前記画像人物識別情報に基づいて前記各画像に一緒に含まれる人物間の頻度に応じた一緒度を算出し、前記顔位置情報に基づいて前記人物間の顔位置の近接度を算出し、前記笑顔度情報に基づいて前記人物間の楽しい度を算出し、前記一緒度、前記近接度及び前記楽しい度の高い人物間の親密度を高いと判定することを特徴とする上記親密度判定方法。
【０００９】
上記した親密度判定方法によれば、一緒度、近接度及び楽しい度の高い人物間の親密度を高いと判定する。これにより、各画像に一緒に含まれる頻度が多い人物間は親密度が高いと判定される。また、各画像において顔位置が近い人物間は親密度が高いと判定される。また、表情が笑顔で楽しそうな人物間は親密度が高いと判定される。
【００１０】
［適用例３］前記人物情報は、前記人物の性別の情報を更に含み、前記親密度判定工程において、前記親密度を判定する対象となる二者が同性である場合は、前記近接度に比して前記楽しい度の割合が高くなるように重み付けし、前記二者が異性である場合は、前記楽しい度に比して前記近接度の割合が高くなるように重み付けすることを特徴とする上記親密度判定方法。
【００１１】
上記した親密度判定方法によれば、対象となる二者が同性の場合は、顔位置が近い人物間よりも表情が笑顔で楽しそうな人物間の方を親密度が高いと判定することができる。一方、対象となる二者が異性の場合は、表情が笑顔で楽しそうな人物間よりも顔位置が近い人物間の方を親密度が高いと判定することができる。
【００１２】
［適用例４］複数の画像を取得する画像取得部と、前記取得した各画像から人物の顔領域を検出する顔領域検出部と、前記検出された顔領域の特徴量に基づいて、前記顔領域の人物に関する人物情報を生成する人物情報生成部と、前記人物情報を記憶する記憶部と、前記記憶されている人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、前記複数の画像全体における各人物間の親密度を判定する親密度判定部と、を有することを特徴とする親密度判定装置。
【００１３】
上記した親密度判定装置によれば、顔領域検出部が、取得した各画像から人物の顔領域を検出し、人物情報生成部が、顔領域の人物に関する人物情報を生成する。そして、親密度判定部が、人物情報に基づいて画像における各人物間の親密度を判定して、複数の画像全体における各人物間の親密度を判定する。
これにより、親密度判定部では、各人物間の親密度について、各画像単位に判定した親密度に基づいて、複数の画像全体における親密度を判定することができる。この結果、複数の画像全体における各人物間の親密度を適正に判定することができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理装置のハードウエア構成を示すブロック図。
【図２】画像処理装置の機能構成を示すブロック図。
【図３】画像処理装置の動作を示すフローチャート。
【図４】親密度判定処理を示すフローチャート。
【図５】親密度を判定する対象となる複数枚の画像の例を示す図。
【図６】複数枚の画像に基づいて生成した人物情報の例を示す図。
【図７】各人物間の親密度を算出する例を示す図。
【図８】親密度が高い順に人物間をソートした例を示す図。
【図９】第２実施形態における親密度判定処理を示すフローチャート。
【図１０】第２実施形態における親密度を判定する対象となる複数枚の画像の例を示す図。
【図１１】第２実施形態における複数枚の画像に基づいて生成した人物情報の例を示す図。
【図１２】第２実施形態における各人物間の親密度を算出する例を示す図。
【発明を実施するための形態】
【００１５】
（第１実施形態）
以下、第１実施形態に係る親密度判定装置を適用した画像処理装置について、図面を参照して説明する。
【００１６】
＜画像処理装置の構成＞
最初に、本実施形態に係る画像処理装置の構成について説明する。
図１は、本実施形態に係る画像処理装置１のハードウエア構成を示すブロック図である。この画像処理装置は、例えば、フォトビューワー、プリンター、プロジェクター、パソコン、デジタルカメラ、携帯電話などの情報処理機器の一機能として実施することができる。
【００１７】
画像処理装置１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、通信インターフェイス１５、記憶部１６等を備えている。
【００１８】
ＣＰＵ（Central Processing Unit）１１は、上記の各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理を実行する。内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納するＲＯＭ（Read Only Memory）、及びＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。
【００１９】
操作部１３は、ボタンやタッチパネル等により構成され、ユーザーからの操作内容をＣＰＵ１１に通知する。表示部１４は、例えば液晶ディスプレイ等により構成され、ＣＰＵ１１から供給されたデータに対応する画像を表示する。通信インターフェイス１５は、例えばデジタルカメラ等の情報機器から画像データなどのやり取りを行うためのインターフェイスである。
【００２０】
記憶部１６は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュメモリーのような不揮発性メモリー、又はハードディスクにより構成される。記憶部１６には、画像ファイル１７及び人物情報１８等が記憶されている。
画像ファイル１７には、例えばデジタルカメラ等の情報機器から通信インターフェイス１５を介して入力された人物画像や風景画像等の複数枚の画像が保存されている。また、人物情報１８は、画像ファイル１７に保存された各画像に基づいて生成され、各画像に含まれる人物に関する情報を含んでいる。人物情報１８は、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃによりデータ構成される。なお、これらの情報の詳細については後述する。
【００２１】
図２は、画像処理装置１の機能構成を示すブロック図である。同図に示すように、画像処理装置１は、画像取得部５１、顔領域検出部５２、人物情報生成部５３、親密度判定部５４等の各機能を備えている。これらの機能は、ＣＰＵ１１が、内部メモリー１２に記憶されている所定のプログラムを実行することよって実現される。
【００２２】
画像取得部５１は、記憶部１６に保存されている画像ファイル１７から処理対象となる画像データを取得する。なお、画像取得部５１は、記憶部１６に記憶された画像ファイル１７に限られず、通信インターフェイス１５を介して例えばデジタルカメラ等の情報機器から、画像データを直接取得しても良い。
【００２３】
顔領域検出部５２は、画像取得部５１により取得した画像データに基づく画像に含まれる全ての顔領域を検出する。本実施形態では、例えば、テンプレートを利用したパターンマッチングによる方法等の公知の検出方法を用いて顔領域を検出する。
【００２４】
人物情報生成部５３は、顔領域検出部５２により検出された顔領域から顔の特徴量を検出する。この特徴量は、顔、目及び口の器官輪郭と、それらの顔領域における相対位置を表している。そして、この特徴量に基づいて、顔認識を行い顔領域の人物を特定するとともに、顔の表情が笑顔であるか否かを判定する。本実施形態では、顔の特徴量の検出及び笑顔であるか否かの判定は、上記した顔領域の検出と同様に、例えば、テンプレートを利用したパターンマッチングによる方法等の公知の方法を用いる。
【００２５】
人物情報生成部５３は、上記した顔認識及び笑顔であるか否かの判定に基づいて、画像に含まれる顔領域の人物に関する人物情報１８を生成して記憶部１６に記憶する。この人物情報１８は、図１に示すように、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃによりデータ構成される。画像人物識別情報１８ａは、各画像の識別及び当該画像に含まれる人物を識別するための情報である。顔位置情報１８ｂは、各画像に含まれる人物について、画像領域における人物の顔位置を示す情報である。笑顔度情報１８ｃは、各画像に含まれる人物の顔の表情が笑顔であるか否かを割合で示す情報である。
【００２６】
親密度判定部５４は、記憶部１６に記憶されている人物情報１８に基づいて、各画像に含まれる人物間の親密度を各画像単位に算出する。そして、算出された各画像単位の人物間の親密度の総和をとることにより、画像取得部５１により取得した複数の画像全体における各人物間の親密度を判定する。
【００２７】
なお、本実施形態では、各画像に含まれる人物のうち二者間の親密度を判定する。しかし、二者間の親密度に限られず、例えば三者間とかこれ以上の数の人物間の親密度を判定するようにしても良い。例えば、三者間の親密度を判定する場合、各画像単位に三者間の親密度を算出し、算出した親密度の総和をとることにより、複数の画像全体における三者間の親密度を判定する。
【００２８】
＜画像処理装置の動作＞
次に、本実施形態に係る画像処理装置の動作について説明する。
図３は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。同図に示すフローチャートは、画像処理装置１が、複数枚の画像全体に対して親密度を判定する動作を示している。
【００２９】
先ず、画像処理装置１は、親密度を判定する対象となる複数枚の画像を、記憶部１６の画像ファイル１７から選択する（ステップＳ１０）。これらの画像は、例えば、操作部１３を介してユーザーから指定を受け付けた画像に基づいて選択する。
【００３０】
次に、画像処理装置１は、画像取得部５１により、ステップＳ１０において選択された複数枚の画像の中から、１枚の画像の画像データを画像ファイル１７から取得する（ステップＳ２０）。そして、画像処理装置１は、顔領域検出部５２により、取得した１枚の画像に含まれる全ての顔領域を検出する（ステップＳ３０）。なお、本フローチャートでは、ステップＳ１０において選択された各画像に人物の顔が含まれる人物画像を例にして説明する。
【００３１】
次に、画像処理装置１は、人物情報生成部５３により、ステップＳ３０において検出された顔領域の１つに対して、顔領域の特徴量に基づいて顔認識を行うとともに、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃによりデータ構成される人物情報１８を生成して記憶部１６に記憶する（ステップＳ４０）。
【００３２】
次に、画像処理装置１は、ステップＳ３０において検出された顔領域の中に、未処理の次の顔領域があるか否かを判定する（ステップＳ５０）。次の顔領域がある場合（ステップＳ５０：Ｙｅｓ）は、ステップＳ４０における人物情報１８を生成する処理を次の顔領域がなくなるまで繰り返す。
他方、次の顔領域がない場合（ステップＳ５０：Ｎｏ）、即ち画像に含まれる全ての顔領域に対して人物情報１８を生成した場合は、次のステップＳ６０へ進む。
【００３３】
ステップＳ６０では、画像処理装置１は、ステップＳ１０において選択された画像の全てに対して、処理が終了したか否かを判定する。画像の全てに対して処理が終了していない場合（ステップＳ６０：Ｎｏ）、即ち顔領域の検出及び人物情報１８を生成する処理を行っていない画像が残っている場合は、ステップＳ２０に戻りこれらの処理を繰り返す。
他方、全ての画像に対して処理が終了した場合（ステップＳ６０：Ｙｅｓ）は、次のステップＳ７０へ進む。
【００３４】
図５は、親密度を判定する対象となる複数枚の画像の例を示す図である。また、図６は、複数枚の画像に基づいて生成した人物情報１８の例を示す図であり。図６に示す人物情報１８は、図５に示す３枚の画像Ｇ１〜Ｇ３に基づいて生成されており、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃを表形式で表している。
図５の例では、最初に画像Ｇ１の画像データを取得し、画像Ｇ１に含まれる人物Ｐ１，Ｐ２の顔領域を検出する。そして、検出された人物Ｐ１の顔領域に基づいて、図６のＮｏ．１に示す人物情報１８を生成する。ここでは、人物Ｐ１の顔位置を画像領域における横方向Ｘ軸、縦方向をＹ軸の２次元の座標（Ｘ，Ｙ）として、（４０，５０）で表している。また、人物Ｐ１の表情を笑顔度０〜１００％（数値が高いほど笑顔）における「８０％」で表している。
【００３５】
同様にして、画像Ｇ１に含まれる人物Ｐ２、画像Ｇ２に含まれる人物Ｐ１，Ｐ２，Ｐ３、及び画像Ｇ３に含まれる人物Ｐ１，Ｐ３に対しても顔領域の検出及び人物情報１８を生成する処理を行う。ここで、画像Ｇ２に含まれる人物Ｐ３、及び画像Ｇ３に含まれる人物Ｐ１，Ｐ３の表情については、笑顔度「１０％」で表している。
【００３６】
ステップＳ７０では、画像処理装置１は、選択された複数枚の画像全体における各人物間の親密度を判定する親密度判定処理を行い、図３のフローチャートに示す画像処理装置１の動作を終了する。
【００３７】
図４は、親密度判定処理を示すフローチャートである。同図に示すように、先ず、画像処理装置１は、図３のステップＳ２０において取得した画像の中から、記憶部１６に記憶されている人物情報１８に対応する１枚の画像を選択する（ステップＳ１１０）。
【００３８】
次に、画像処理装置１は、ステップＳ１１０において選択された画像の中に、複数の人物の顔が含まれるか否かを判定する（ステップＳ１２０）。複数の人物の顔が含まれる場合（ステップＳ１２０：Ｙｅｓ）は、画像に含まれる人物間の親密度を算出するために、次のステップＳ１３０へ進む。
他方、複数の人物の顔が含まれない場合（ステップＳ１２０：Ｎｏ）は、画像に含まれる人物間の親密度を算出する必要がないことから、次の画像の判定処理を行うためにステップＳ１８０へ進む。
【００３９】
ステップＳ１３０では、画像処理装置１は、画像に含まれる複数の人物の顔の中から、対象とする二者間の組み合わせに対して一緒度をカウントアップする。ここで、例えば、画像に含まれる人物が二人の場合は、対象とする二者間の組み合わせは１通りとなるが、画像に含まれる人物が三人の場合は、対象とする二者間の組み合わせは２通りとなる。
【００４０】
次に、画像処理装置１は、人物情報１８の顔位置情報１８ｂに基づいて、対象とする二者間の近接度を算出する（ステップＳ１４０）。そして、画像処理装置１は、人物情報１８の笑顔度情報１８ｃに基づいて、対象の二者間の楽しい度を算出する（ステップＳ１５０）。
【００４１】
次に、画像処理装置１は、ステップＳ１３０〜Ｓ１５０において算出した一緒度、近接度及び楽しい度の各度数の総和をとることにより、対象とする二者間の親密度を算出する（ステップＳ１６０）。なお、二者間の親密度を算出する際に、一緒度、近接度及び楽しい度の各度数の総和を用いるのではなく、例えば、各度数の平均値や最大値等を用いても良い。
【００４２】
次に、画像処理装置１は、画像に含まれる複数の人物の顔の中から、次に対象とする二者間の組み合わせがあるか否かを判定する（ステップＳ１７０）。対象とする二者間の組み合わせがある場合（ステップＳ１７０：Ｙｅｓ）は、次に対象とする二者間の組み合わせに対してステップＳ１３０〜Ｓ１６０における親密度を算出する処理を繰り返す。
他方、次に対象とする二者間の組み合わせがない場合（ステップＳ１７０：Ｎｏ）、即ち画像に含まれる二者間の組み合わせの全てに対して親密度を算出した場合は、次のステップＳ１８０へ進む。
【００４３】
ステップＳ１８０では、画像処理装置１は、記憶部１６に記憶されている人物情報１８に対応する画像の全てに対して、処理が終了したか否かを判定する。画像の全てに対して処理が終了していない場合（ステップＳ１８０：Ｎｏ）、即ち親密度を算出していない画像が残っている場合は、ステップＳ１１０に戻りこれらの処理を繰り返す。
他方、全ての画像に対しての処理が終了した場合（ステップＳ１８０：Ｙｅｓ）は、次のステップＳ１９０へ進む。
【００４４】
ステップＳ１９０では、画像処理装置１は、記憶部１６に記憶されている人物情報１８に対応する画像全体における各人物間の親密度を算出する。本実施形態では、画像全体における各人物間の親密度は、各画像における各人物間の親密度の総和をとることにより算出するが、総和に限られず、別の方法を用いて算出しても良い。
【００４５】
次に、画像処理装置１は、ステップＳ１９０において算出した画像全体における各人物間の親密度を用いて、親密度の度数が高い順にソートして並び替えることにより、画像全体における親密度のレベルを判定する（ステップＳ２００）。なお、親密度の度数が高い順にソートするのではなく、度数が低い順にソートする等、用途に応じた順番に並び替えても良い。
【００４６】
図７は、各人物間の親密度を算出する例を示す図である。同図は、図６に示す人物情報１８に基づいて生成されており、画像Ｇ１〜Ｇ３のそれぞれに含まれる人物間の一緒度、近接度、楽しい度及び親密度を示している。図７に示すように、画像Ｇ１，Ｇ３では１通りの二者間の組み合わせがあるが、画像Ｇ２では３通りの二者間の組み合わせがある。そして、各人物間の組み合わせに対して、一緒度、近接度、楽しい度及び親密度を算出する。
例えば、図５に示す画像Ｇ１に含まれる人物Ｐ１，Ｐ２の場合、図７においては、人物間「Ｐ１−Ｐ２」に対して、一緒度「１」が無条件にカウントアップされる。また、人物Ｐ１，Ｐ２の顔位置が極めて近いことから、近接度「２」が算出される。また、人物Ｐ１，Ｐ２の表情については、例えば笑顔度５０％以上を笑顔とし、５０％未満を笑顔でないとすると、人物Ｐ１，Ｐ２ともに笑顔度が「８０％」であり笑顔度５０％以上の笑顔とみなされることから、楽しい度「２」が算出される。そして、一緒度「１」、近接度「２」及び楽しい度「２」の各度数の総和をとることにより親密度「５」が算出される。
【００４７】
同様にして、画像Ｇ２に含まれる人物Ｐ１，Ｐ２，Ｐ３の三者間の組み合わせ、及び画像Ｇ３に含まれる人物Ｐ１，Ｐ３の二者間の組み合わせに対しても親密度を算出する。
ここで、画像Ｇ２に含まれる人物Ｐ１，Ｐ３の顔位置が遠いことから、近接度「０」が算出され、画像Ｇ２に含まれる人物Ｐ２，Ｐ３及び画像Ｇ３に含まれる人物Ｐ１，Ｐ３の顔位置が近いことから、近接度「１」が算出される。また、画像Ｇ２に含まれる人物Ｐ１，Ｐ３及び人物Ｐ２，Ｐ３では、片方のみが笑顔とみなされることから、楽しい度「１」が算出され、画像Ｇ３に含まれる人物Ｐ１，Ｐ３では、両方とも笑顔でないとみなされることから、楽しい度「０」が算出される。
【００４８】
また、図８は、親密度が高い順に人物間をソートした例を示す図である。同図に示す各人物間の親密度は、図７に示す画像Ｇ１〜Ｇ３の画像単位における各人物間の親密度に対して各人物間で総和をとり、画像Ｇ１〜Ｇ３全体の親密度として算出したものである。例えば、画像Ｇ１〜Ｇ３全体における人物Ｐ１，Ｐ２の親密度は、画像Ｇ１における親密度「５」と画像Ｇ２における親密度「５」との総和をとることにより、親密度「１０」を算出している。
【００４９】
なお、画像取得工程は、上記の図３のステップＳ１０，Ｓ２０に相当する。また、顔領域検出工程は、図３のステップＳ３０に相当する。また、人物情報生成工程及び記憶工程は、図３のステップＳ４０に相当する。また、親密度判定工程は、図３のステップＳ７０に相当する。
【００５０】
上述した実施形態では、各画像の顔領域に基づいて、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃによりデータ構成される人物情報１８を生成する。また、各画像単位に、人物情報１８に基づいて算出した一緒度、近接度及び楽しい度の総和により親密度を算出する。そして、各画像単位の二者間の親密度に基づいて、複数の画像全体における二者間の親密度を算出して親密度の順にソートして親密度を判定する。
【００５１】
これにより、各画像に含まれる二者間について、複数の画像全体においてはどのような親密度なのかを把握することができる。例えば、図５の画像Ｇ２，Ｇ３に示す人物Ｐ１，Ｐ３の二者間の親密度と、人物Ｐ２，Ｐ３の二者間の親密度とを比較した場合、各画像単位では人物Ｐ１，Ｐ３よりも人物Ｐ２，Ｐ３の二者間の親密度の方が高い。しかし、画像Ｇ１〜Ｇ３全体では、図８に示すように、人物Ｐ２，Ｐ３よりも人物Ｐ１，Ｐ３の二者間の親密度の方が高いと判定することができる。
【００５２】
また、複数の画像全体における親密度の判定結果に基づいて、例えば、画像全体における親密度の高い順又は低い順にランキング表示したり、特定の人物に関して仲良しの人物との写真をピックアップしたり、特定の人物間よりも更に仲良しの関係にある人物間の写真をピックアップしたり等、様々な用途に活用することができる。
【００５３】
（第２実施形態）
以下、第２実施形態に係る親密度判定装置を適用した画像処理装置について、図面を参照して説明する。
【００５４】
第２実施形態に係る画像処理装置のハードウエア構成は、図１に示す第１実施形態に係る画像処理装置１のハードウエア構成と同様である。
また、第２実施形態に係る画像処理装置１の機能構成は、図２に示す第１実施形態に係る画像処理装置１の機能構成と同様であるが、人物情報生成部５３と親密度判定部５４における処理内容が第１実施形態とは異なる。
【００５５】
第２実施形態の人物情報生成部５３では、顔領域の特徴量に基づいて生成する人物情報１８のデータ構成が異なる。第２実施形態では、第１実施形態の人物情報１８のデータ構成に加えて図示しない性別情報を生成する。この性別情報は、顔領域の特徴量に基づいて公知の方法を用いて検出した女性及び男性の識別を示す情報である。
【００５６】
第２実施形態の親密度判定部５４では、上記した性別情報を含む人物情報１８に基づいて、各画像に含まれる人物間の親密度を各画像単位に算出する。そして、第１実施形態と同様に、算出された各画像単位の人物間の親密度の総和をとることにより、画像取得部５１により取得した複数の画像全体における各人物間の親密度を判定する。
【００５７】
次に、第２実施形態に係る画像処理装置１の動作について説明する。
第２実施形態に係る画像処理装置１の動作は、図３に示す第１実施形態に係る画像処理装置１の動作を示すフローチャートがそのまま適用できるが、ステップＳ４０における人物情報１８を生成して記憶する処理と、ステップＳ７０における親密度判定処理とが異なる処理内容となっている。
【００５８】
第２実施形態の場合、図３に示すフローチャートにおけるステップＳ４０において、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃに加えて、性別情報を含めたデータ構成の人物情報１８を生成する。
【００５９】
図１０は、第２実施形態における親密度を判定する対象となる複数枚の画像の例を示す図である。同図に示すように、画像Ｇ１１，Ｇ１２には異性の二人が含まれており、画像Ｇ１３，Ｇ１４には同性の二人が含まれている。また、図１１は、第２実施形態における複数枚の画像に基づいて生成した人物情報１８の例を示す図である。図１１に示す人物情報１８は、図１０に示す４枚の画像Ｇ１１〜Ｇ１４に基づいて生成されている。図１１に示す人物情報１８では、図６に示す第１実施形態の人物情報１８の項目に加えて性別の項目が設けられており、例えば、画像Ｇ１１に含まれる人物Ｆ１は女性であることから性別「Ｆ］で表し、人物Ｍ１は男性であることから性別「Ｍ］で表している。
【００６０】
図９は、第２実施形態における親密度判定処理を示すフローチャートである。同図に示すフローチャートにおけるステップＳ１１０〜Ｓ１５０及びステップＳ１６０〜Ｓ２００は、図４に示す第１実施形態におけるフローチャートのステップＳ１１０〜Ｓ１５０及びステップＳ１６０〜Ｓ２００と同様の処理内容であり、その説明を省略する。図９に示す第２実施形態におけるフローチャートでは、図４に示す第１実施形態におけるフローチャートに対してステップＳ１５１〜Ｓ１５３の処理が追加されている。
【００６１】
図９に示すフローチャートのステップＳ１５１では、画像処理装置１は、人物情報１８の性別情報に基づいて、ステップＳ１３０〜Ｓ１５０において対象とした二者が異性であるか又は同性であるかを判定する。二者が異性である場合（ステップＳ１５１：異性）は、楽しい度に比して近接度の割合が高くなるように、つまり親密度の算出において近接度が優先されるように重み付けして（ステップＳ１５２）、ステップＳ１６０へ進む。
他方、二者が同性である場合（ステップＳ１５１：同性）は、近接度に比して楽しい度の割合が高くなるように、つまり親密度の算出において楽しい度が優先されるように重み付けして（ステップＳ１５３）、ステップＳ１６０へ進む。
【００６２】
従って、ステップＳ１６０では、ステップＳ１３０〜Ｓ１５０において算出した一緒度、近接度及び楽しい度に対してステップＳ１５２又はＳ１５３において重み付けした近接度又は楽しい度の各度数の総和をとることにより、対象とした二者間の親密度を算出することになる。
【００６３】
図１２は、第２実施形態における各人物間の親密度を算出する例を示す図である。同図は、図１１に示す人物情報１８に基づいて生成されており、画像Ｇ１１〜Ｇ１４のそれぞれに含まれる人物間の一緒度、近接度、楽しい度及び親密度を示している。図１２に示すように、画像Ｇ１１に含まれる人物Ｆ１と人物Ｍ１、及び画像Ｇ１２に含まれる人物Ｆ２と人物Ｍ２はそれぞれが異性の関係であることから、ここでは、近接度に対して重み係数ｒ＝２の重み付けを行っている。また、画像Ｇ１３に含まれる人物Ｆ１と人物Ｆ２、及び画像Ｇ１４に含まれる人物Ｆ３と人物Ｆ４はそれぞれが同性の関係であることから、ここでは、楽しい度に対して重み係数ｒ＝２の重み付けを行っている。
【００６４】
上述した実施形態では、各画像の顔領域に基づいて生成される人物情報１８のデータ構成に各人物の性別情報を加えている。そして、各画像単位に親密度を算出する際に、対象とする二者が異性である場合は、近接度が優先されるように重み付けし、同性である場合は、楽しい度が優先されるように重み付けする。
これにより、対象とする二者が異性同士であるか同性同士であるかに応じて、木目細かくより適正に判断して親密度を判定することができる。
【００６５】
（変形例）
上述した実施形態では、各画像に含まれる人物について、画像領域における顔位置、表情が笑顔であるか否かの識別、及び対象とする人物同士が異性であるか同性であるかに基づいて、親密度を判定するようにしている。しかし、これに限られず、例えば、人物の年齢、顔の傾き、顔の向き等に基づいて親密度を判定するようにしても良い。
【００６６】
例えば、人物の年齢に基づいて親密度を算出する場合、対象とする二者の年齢差が大きいときは親子の可能性があるので親密度を高くすることができる。また、顔の傾き及び向きに基づいて親密度を算出する場合、対象とする二者の顔がお互いに接近するような顔の傾き及び向きのときは、より愛情が深いと思われるので親密度を高くすることができる。
【符号の説明】
【００６７】
１…画像処理装置、１１…ＣＰＵ、１２…内部メモリー、１３…操作部、１４…表示部、１５…通信インターフェイス、１６…記憶部、１７…画像ファイル、１８…人物情報、１８ａ…画像人物識別情報、１８ｂ…顔位置情報、１８ｃ…笑顔度情報、５１…画像取得部、５２…顔領域検出部、５３…人物情報生成部、５４…親密度判定部。
【技術分野】
【０００１】
本発明は、親密度判定方法及び親密度判定装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等で撮影した多数の写真の中から、目的とする写真を被写体の人物に基づいて検索して、より効率的に写真を検索及び分類する方法が提供されている。
例えば、特許文献１では、画像内に二人以上の人物が検出された場合に、画像データから被写体である人物間の親密度に関するパラメーターを自動的に算出し、親密度に基づく写真の効率的な検索、視聴等を可能とする画像処理装置を提供している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４１９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているような画像処理装置の場合、１枚の写真に写っている被写体である人物間の親密度に基づいて、多数の写真の中から目的とする写真を検索、視聴等を行う方法である。このため、多数の写真全体における各人物間の親密度を判定することができない。例えば、多数の写真の中から、人物Ａと人物Ｂ間で親密度が高い写真が１枚だけ検索されたとする。一方、人物Ｃと人物Ｄ間で親密度が高い写真が１０枚以上検索されたとする。この場合、多数の写真全体においては、人物Ｃと人物Ｄの親密度の方が人物Ａと人物Ｂの親密度よりも高いと判定できるが、特許文献１では、このように判定することができない。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］複数の画像を取得する画像取得工程と、前記取得した各画像から人物の顔領域を検出する顔領域検出工程と、前記検出された顔領域の特徴量に基づいて、前記顔領域の人物に関する人物情報を生成する人物情報生成工程と、前記人物情報を記憶する記憶工程と、前記記憶されている人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、前記複数の画像全体における各人物間の親密度を判定する親密度判定工程と、を有することを特徴とする親密度判定方法。
【０００７】
上記した親密度判定方法によれば、顔領域検出工程において、取得した各画像から人物の顔領域を検出し、人物情報生成工程において、顔領域の人物に関する人物情報を生成する。そして、親密度判定工程において、人物情報に基づいて画像における各人物間の親密度を判定して、複数の画像全体における各人物間の親密度を判定する。
これにより、親密度判定工程では、各人物間の親密度について、各画像単位に判定した親密度に基づいて、複数の画像全体における親密度を判定することができる。この結果、複数の画像全体における各人物間の親密度を適正に判定することができる。
【０００８】
［適用例２］前記人物情報は、前記各画像に含まれる前記顔領域の人物を識別するための画像人物識別情報と、前記各画像の画像領域における前記人物の顔位置を示す顔位置情報と、前記人物の表情が笑顔であるか否かを示す笑顔度情報と、を含み、前記親密度判定工程において、前記画像人物識別情報に基づいて前記各画像に一緒に含まれる人物間の頻度に応じた一緒度を算出し、前記顔位置情報に基づいて前記人物間の顔位置の近接度を算出し、前記笑顔度情報に基づいて前記人物間の楽しい度を算出し、前記一緒度、前記近接度及び前記楽しい度の高い人物間の親密度を高いと判定することを特徴とする上記親密度判定方法。
【０００９】
上記した親密度判定方法によれば、一緒度、近接度及び楽しい度の高い人物間の親密度を高いと判定する。これにより、各画像に一緒に含まれる頻度が多い人物間は親密度が高いと判定される。また、各画像において顔位置が近い人物間は親密度が高いと判定される。また、表情が笑顔で楽しそうな人物間は親密度が高いと判定される。
【００１０】
［適用例３］前記人物情報は、前記人物の性別の情報を更に含み、前記親密度判定工程において、前記親密度を判定する対象となる二者が同性である場合は、前記近接度に比して前記楽しい度の割合が高くなるように重み付けし、前記二者が異性である場合は、前記楽しい度に比して前記近接度の割合が高くなるように重み付けすることを特徴とする上記親密度判定方法。
【００１１】
上記した親密度判定方法によれば、対象となる二者が同性の場合は、顔位置が近い人物間よりも表情が笑顔で楽しそうな人物間の方を親密度が高いと判定することができる。一方、対象となる二者が異性の場合は、表情が笑顔で楽しそうな人物間よりも顔位置が近い人物間の方を親密度が高いと判定することができる。
【００１２】
［適用例４］複数の画像を取得する画像取得部と、前記取得した各画像から人物の顔領域を検出する顔領域検出部と、前記検出された顔領域の特徴量に基づいて、前記顔領域の人物に関する人物情報を生成する人物情報生成部と、前記人物情報を記憶する記憶部と、前記記憶されている人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、前記複数の画像全体における各人物間の親密度を判定する親密度判定部と、を有することを特徴とする親密度判定装置。
【００１３】
上記した親密度判定装置によれば、顔領域検出部が、取得した各画像から人物の顔領域を検出し、人物情報生成部が、顔領域の人物に関する人物情報を生成する。そして、親密度判定部が、人物情報に基づいて画像における各人物間の親密度を判定して、複数の画像全体における各人物間の親密度を判定する。
これにより、親密度判定部では、各人物間の親密度について、各画像単位に判定した親密度に基づいて、複数の画像全体における親密度を判定することができる。この結果、複数の画像全体における各人物間の親密度を適正に判定することができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理装置のハードウエア構成を示すブロック図。
【図２】画像処理装置の機能構成を示すブロック図。
【図３】画像処理装置の動作を示すフローチャート。
【図４】親密度判定処理を示すフローチャート。
【図５】親密度を判定する対象となる複数枚の画像の例を示す図。
【図６】複数枚の画像に基づいて生成した人物情報の例を示す図。
【図７】各人物間の親密度を算出する例を示す図。
【図８】親密度が高い順に人物間をソートした例を示す図。
【図９】第２実施形態における親密度判定処理を示すフローチャート。
【図１０】第２実施形態における親密度を判定する対象となる複数枚の画像の例を示す図。
【図１１】第２実施形態における複数枚の画像に基づいて生成した人物情報の例を示す図。
【図１２】第２実施形態における各人物間の親密度を算出する例を示す図。
【発明を実施するための形態】
【００１５】
（第１実施形態）
以下、第１実施形態に係る親密度判定装置を適用した画像処理装置について、図面を参照して説明する。
【００１６】
＜画像処理装置の構成＞
最初に、本実施形態に係る画像処理装置の構成について説明する。
図１は、本実施形態に係る画像処理装置１のハードウエア構成を示すブロック図である。この画像処理装置は、例えば、フォトビューワー、プリンター、プロジェクター、パソコン、デジタルカメラ、携帯電話などの情報処理機器の一機能として実施することができる。
【００１７】
画像処理装置１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、通信インターフェイス１５、記憶部１６等を備えている。
【００１８】
ＣＰＵ（Central Processing Unit）１１は、上記の各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理を実行する。内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納するＲＯＭ（Read Only Memory）、及びＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。
【００１９】
操作部１３は、ボタンやタッチパネル等により構成され、ユーザーからの操作内容をＣＰＵ１１に通知する。表示部１４は、例えば液晶ディスプレイ等により構成され、ＣＰＵ１１から供給されたデータに対応する画像を表示する。通信インターフェイス１５は、例えばデジタルカメラ等の情報機器から画像データなどのやり取りを行うためのインターフェイスである。
【００２０】
記憶部１６は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュメモリーのような不揮発性メモリー、又はハードディスクにより構成される。記憶部１６には、画像ファイル１７及び人物情報１８等が記憶されている。
画像ファイル１７には、例えばデジタルカメラ等の情報機器から通信インターフェイス１５を介して入力された人物画像や風景画像等の複数枚の画像が保存されている。また、人物情報１８は、画像ファイル１７に保存された各画像に基づいて生成され、各画像に含まれる人物に関する情報を含んでいる。人物情報１８は、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃによりデータ構成される。なお、これらの情報の詳細については後述する。
【００２１】
図２は、画像処理装置１の機能構成を示すブロック図である。同図に示すように、画像処理装置１は、画像取得部５１、顔領域検出部５２、人物情報生成部５３、親密度判定部５４等の各機能を備えている。これらの機能は、ＣＰＵ１１が、内部メモリー１２に記憶されている所定のプログラムを実行することよって実現される。
【００２２】
画像取得部５１は、記憶部１６に保存されている画像ファイル１７から処理対象となる画像データを取得する。なお、画像取得部５１は、記憶部１６に記憶された画像ファイル１７に限られず、通信インターフェイス１５を介して例えばデジタルカメラ等の情報機器から、画像データを直接取得しても良い。
【００２３】
顔領域検出部５２は、画像取得部５１により取得した画像データに基づく画像に含まれる全ての顔領域を検出する。本実施形態では、例えば、テンプレートを利用したパターンマッチングによる方法等の公知の検出方法を用いて顔領域を検出する。
【００２４】
人物情報生成部５３は、顔領域検出部５２により検出された顔領域から顔の特徴量を検出する。この特徴量は、顔、目及び口の器官輪郭と、それらの顔領域における相対位置を表している。そして、この特徴量に基づいて、顔認識を行い顔領域の人物を特定するとともに、顔の表情が笑顔であるか否かを判定する。本実施形態では、顔の特徴量の検出及び笑顔であるか否かの判定は、上記した顔領域の検出と同様に、例えば、テンプレートを利用したパターンマッチングによる方法等の公知の方法を用いる。
【００２５】
人物情報生成部５３は、上記した顔認識及び笑顔であるか否かの判定に基づいて、画像に含まれる顔領域の人物に関する人物情報１８を生成して記憶部１６に記憶する。この人物情報１８は、図１に示すように、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃによりデータ構成される。画像人物識別情報１８ａは、各画像の識別及び当該画像に含まれる人物を識別するための情報である。顔位置情報１８ｂは、各画像に含まれる人物について、画像領域における人物の顔位置を示す情報である。笑顔度情報１８ｃは、各画像に含まれる人物の顔の表情が笑顔であるか否かを割合で示す情報である。
【００２６】
親密度判定部５４は、記憶部１６に記憶されている人物情報１８に基づいて、各画像に含まれる人物間の親密度を各画像単位に算出する。そして、算出された各画像単位の人物間の親密度の総和をとることにより、画像取得部５１により取得した複数の画像全体における各人物間の親密度を判定する。
【００２７】
なお、本実施形態では、各画像に含まれる人物のうち二者間の親密度を判定する。しかし、二者間の親密度に限られず、例えば三者間とかこれ以上の数の人物間の親密度を判定するようにしても良い。例えば、三者間の親密度を判定する場合、各画像単位に三者間の親密度を算出し、算出した親密度の総和をとることにより、複数の画像全体における三者間の親密度を判定する。
【００２８】
＜画像処理装置の動作＞
次に、本実施形態に係る画像処理装置の動作について説明する。
図３は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。同図に示すフローチャートは、画像処理装置１が、複数枚の画像全体に対して親密度を判定する動作を示している。
【００２９】
先ず、画像処理装置１は、親密度を判定する対象となる複数枚の画像を、記憶部１６の画像ファイル１７から選択する（ステップＳ１０）。これらの画像は、例えば、操作部１３を介してユーザーから指定を受け付けた画像に基づいて選択する。
【００３０】
次に、画像処理装置１は、画像取得部５１により、ステップＳ１０において選択された複数枚の画像の中から、１枚の画像の画像データを画像ファイル１７から取得する（ステップＳ２０）。そして、画像処理装置１は、顔領域検出部５２により、取得した１枚の画像に含まれる全ての顔領域を検出する（ステップＳ３０）。なお、本フローチャートでは、ステップＳ１０において選択された各画像に人物の顔が含まれる人物画像を例にして説明する。
【００３１】
次に、画像処理装置１は、人物情報生成部５３により、ステップＳ３０において検出された顔領域の１つに対して、顔領域の特徴量に基づいて顔認識を行うとともに、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃによりデータ構成される人物情報１８を生成して記憶部１６に記憶する（ステップＳ４０）。
【００３２】
次に、画像処理装置１は、ステップＳ３０において検出された顔領域の中に、未処理の次の顔領域があるか否かを判定する（ステップＳ５０）。次の顔領域がある場合（ステップＳ５０：Ｙｅｓ）は、ステップＳ４０における人物情報１８を生成する処理を次の顔領域がなくなるまで繰り返す。
他方、次の顔領域がない場合（ステップＳ５０：Ｎｏ）、即ち画像に含まれる全ての顔領域に対して人物情報１８を生成した場合は、次のステップＳ６０へ進む。
【００３３】
ステップＳ６０では、画像処理装置１は、ステップＳ１０において選択された画像の全てに対して、処理が終了したか否かを判定する。画像の全てに対して処理が終了していない場合（ステップＳ６０：Ｎｏ）、即ち顔領域の検出及び人物情報１８を生成する処理を行っていない画像が残っている場合は、ステップＳ２０に戻りこれらの処理を繰り返す。
他方、全ての画像に対して処理が終了した場合（ステップＳ６０：Ｙｅｓ）は、次のステップＳ７０へ進む。
【００３４】
図５は、親密度を判定する対象となる複数枚の画像の例を示す図である。また、図６は、複数枚の画像に基づいて生成した人物情報１８の例を示す図であり。図６に示す人物情報１８は、図５に示す３枚の画像Ｇ１〜Ｇ３に基づいて生成されており、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃを表形式で表している。
図５の例では、最初に画像Ｇ１の画像データを取得し、画像Ｇ１に含まれる人物Ｐ１，Ｐ２の顔領域を検出する。そして、検出された人物Ｐ１の顔領域に基づいて、図６のＮｏ．１に示す人物情報１８を生成する。ここでは、人物Ｐ１の顔位置を画像領域における横方向Ｘ軸、縦方向をＹ軸の２次元の座標（Ｘ，Ｙ）として、（４０，５０）で表している。また、人物Ｐ１の表情を笑顔度０〜１００％（数値が高いほど笑顔）における「８０％」で表している。
【００３５】
同様にして、画像Ｇ１に含まれる人物Ｐ２、画像Ｇ２に含まれる人物Ｐ１，Ｐ２，Ｐ３、及び画像Ｇ３に含まれる人物Ｐ１，Ｐ３に対しても顔領域の検出及び人物情報１８を生成する処理を行う。ここで、画像Ｇ２に含まれる人物Ｐ３、及び画像Ｇ３に含まれる人物Ｐ１，Ｐ３の表情については、笑顔度「１０％」で表している。
【００３６】
ステップＳ７０では、画像処理装置１は、選択された複数枚の画像全体における各人物間の親密度を判定する親密度判定処理を行い、図３のフローチャートに示す画像処理装置１の動作を終了する。
【００３７】
図４は、親密度判定処理を示すフローチャートである。同図に示すように、先ず、画像処理装置１は、図３のステップＳ２０において取得した画像の中から、記憶部１６に記憶されている人物情報１８に対応する１枚の画像を選択する（ステップＳ１１０）。
【００３８】
次に、画像処理装置１は、ステップＳ１１０において選択された画像の中に、複数の人物の顔が含まれるか否かを判定する（ステップＳ１２０）。複数の人物の顔が含まれる場合（ステップＳ１２０：Ｙｅｓ）は、画像に含まれる人物間の親密度を算出するために、次のステップＳ１３０へ進む。
他方、複数の人物の顔が含まれない場合（ステップＳ１２０：Ｎｏ）は、画像に含まれる人物間の親密度を算出する必要がないことから、次の画像の判定処理を行うためにステップＳ１８０へ進む。
【００３９】
ステップＳ１３０では、画像処理装置１は、画像に含まれる複数の人物の顔の中から、対象とする二者間の組み合わせに対して一緒度をカウントアップする。ここで、例えば、画像に含まれる人物が二人の場合は、対象とする二者間の組み合わせは１通りとなるが、画像に含まれる人物が三人の場合は、対象とする二者間の組み合わせは２通りとなる。
【００４０】
次に、画像処理装置１は、人物情報１８の顔位置情報１８ｂに基づいて、対象とする二者間の近接度を算出する（ステップＳ１４０）。そして、画像処理装置１は、人物情報１８の笑顔度情報１８ｃに基づいて、対象の二者間の楽しい度を算出する（ステップＳ１５０）。
【００４１】
次に、画像処理装置１は、ステップＳ１３０〜Ｓ１５０において算出した一緒度、近接度及び楽しい度の各度数の総和をとることにより、対象とする二者間の親密度を算出する（ステップＳ１６０）。なお、二者間の親密度を算出する際に、一緒度、近接度及び楽しい度の各度数の総和を用いるのではなく、例えば、各度数の平均値や最大値等を用いても良い。
【００４２】
次に、画像処理装置１は、画像に含まれる複数の人物の顔の中から、次に対象とする二者間の組み合わせがあるか否かを判定する（ステップＳ１７０）。対象とする二者間の組み合わせがある場合（ステップＳ１７０：Ｙｅｓ）は、次に対象とする二者間の組み合わせに対してステップＳ１３０〜Ｓ１６０における親密度を算出する処理を繰り返す。
他方、次に対象とする二者間の組み合わせがない場合（ステップＳ１７０：Ｎｏ）、即ち画像に含まれる二者間の組み合わせの全てに対して親密度を算出した場合は、次のステップＳ１８０へ進む。
【００４３】
ステップＳ１８０では、画像処理装置１は、記憶部１６に記憶されている人物情報１８に対応する画像の全てに対して、処理が終了したか否かを判定する。画像の全てに対して処理が終了していない場合（ステップＳ１８０：Ｎｏ）、即ち親密度を算出していない画像が残っている場合は、ステップＳ１１０に戻りこれらの処理を繰り返す。
他方、全ての画像に対しての処理が終了した場合（ステップＳ１８０：Ｙｅｓ）は、次のステップＳ１９０へ進む。
【００４４】
ステップＳ１９０では、画像処理装置１は、記憶部１６に記憶されている人物情報１８に対応する画像全体における各人物間の親密度を算出する。本実施形態では、画像全体における各人物間の親密度は、各画像における各人物間の親密度の総和をとることにより算出するが、総和に限られず、別の方法を用いて算出しても良い。
【００４５】
次に、画像処理装置１は、ステップＳ１９０において算出した画像全体における各人物間の親密度を用いて、親密度の度数が高い順にソートして並び替えることにより、画像全体における親密度のレベルを判定する（ステップＳ２００）。なお、親密度の度数が高い順にソートするのではなく、度数が低い順にソートする等、用途に応じた順番に並び替えても良い。
【００４６】
図７は、各人物間の親密度を算出する例を示す図である。同図は、図６に示す人物情報１８に基づいて生成されており、画像Ｇ１〜Ｇ３のそれぞれに含まれる人物間の一緒度、近接度、楽しい度及び親密度を示している。図７に示すように、画像Ｇ１，Ｇ３では１通りの二者間の組み合わせがあるが、画像Ｇ２では３通りの二者間の組み合わせがある。そして、各人物間の組み合わせに対して、一緒度、近接度、楽しい度及び親密度を算出する。
例えば、図５に示す画像Ｇ１に含まれる人物Ｐ１，Ｐ２の場合、図７においては、人物間「Ｐ１−Ｐ２」に対して、一緒度「１」が無条件にカウントアップされる。また、人物Ｐ１，Ｐ２の顔位置が極めて近いことから、近接度「２」が算出される。また、人物Ｐ１，Ｐ２の表情については、例えば笑顔度５０％以上を笑顔とし、５０％未満を笑顔でないとすると、人物Ｐ１，Ｐ２ともに笑顔度が「８０％」であり笑顔度５０％以上の笑顔とみなされることから、楽しい度「２」が算出される。そして、一緒度「１」、近接度「２」及び楽しい度「２」の各度数の総和をとることにより親密度「５」が算出される。
【００４７】
同様にして、画像Ｇ２に含まれる人物Ｐ１，Ｐ２，Ｐ３の三者間の組み合わせ、及び画像Ｇ３に含まれる人物Ｐ１，Ｐ３の二者間の組み合わせに対しても親密度を算出する。
ここで、画像Ｇ２に含まれる人物Ｐ１，Ｐ３の顔位置が遠いことから、近接度「０」が算出され、画像Ｇ２に含まれる人物Ｐ２，Ｐ３及び画像Ｇ３に含まれる人物Ｐ１，Ｐ３の顔位置が近いことから、近接度「１」が算出される。また、画像Ｇ２に含まれる人物Ｐ１，Ｐ３及び人物Ｐ２，Ｐ３では、片方のみが笑顔とみなされることから、楽しい度「１」が算出され、画像Ｇ３に含まれる人物Ｐ１，Ｐ３では、両方とも笑顔でないとみなされることから、楽しい度「０」が算出される。
【００４８】
また、図８は、親密度が高い順に人物間をソートした例を示す図である。同図に示す各人物間の親密度は、図７に示す画像Ｇ１〜Ｇ３の画像単位における各人物間の親密度に対して各人物間で総和をとり、画像Ｇ１〜Ｇ３全体の親密度として算出したものである。例えば、画像Ｇ１〜Ｇ３全体における人物Ｐ１，Ｐ２の親密度は、画像Ｇ１における親密度「５」と画像Ｇ２における親密度「５」との総和をとることにより、親密度「１０」を算出している。
【００４９】
なお、画像取得工程は、上記の図３のステップＳ１０，Ｓ２０に相当する。また、顔領域検出工程は、図３のステップＳ３０に相当する。また、人物情報生成工程及び記憶工程は、図３のステップＳ４０に相当する。また、親密度判定工程は、図３のステップＳ７０に相当する。
【００５０】
上述した実施形態では、各画像の顔領域に基づいて、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃによりデータ構成される人物情報１８を生成する。また、各画像単位に、人物情報１８に基づいて算出した一緒度、近接度及び楽しい度の総和により親密度を算出する。そして、各画像単位の二者間の親密度に基づいて、複数の画像全体における二者間の親密度を算出して親密度の順にソートして親密度を判定する。
【００５１】
これにより、各画像に含まれる二者間について、複数の画像全体においてはどのような親密度なのかを把握することができる。例えば、図５の画像Ｇ２，Ｇ３に示す人物Ｐ１，Ｐ３の二者間の親密度と、人物Ｐ２，Ｐ３の二者間の親密度とを比較した場合、各画像単位では人物Ｐ１，Ｐ３よりも人物Ｐ２，Ｐ３の二者間の親密度の方が高い。しかし、画像Ｇ１〜Ｇ３全体では、図８に示すように、人物Ｐ２，Ｐ３よりも人物Ｐ１，Ｐ３の二者間の親密度の方が高いと判定することができる。
【００５２】
また、複数の画像全体における親密度の判定結果に基づいて、例えば、画像全体における親密度の高い順又は低い順にランキング表示したり、特定の人物に関して仲良しの人物との写真をピックアップしたり、特定の人物間よりも更に仲良しの関係にある人物間の写真をピックアップしたり等、様々な用途に活用することができる。
【００５３】
（第２実施形態）
以下、第２実施形態に係る親密度判定装置を適用した画像処理装置について、図面を参照して説明する。
【００５４】
第２実施形態に係る画像処理装置のハードウエア構成は、図１に示す第１実施形態に係る画像処理装置１のハードウエア構成と同様である。
また、第２実施形態に係る画像処理装置１の機能構成は、図２に示す第１実施形態に係る画像処理装置１の機能構成と同様であるが、人物情報生成部５３と親密度判定部５４における処理内容が第１実施形態とは異なる。
【００５５】
第２実施形態の人物情報生成部５３では、顔領域の特徴量に基づいて生成する人物情報１８のデータ構成が異なる。第２実施形態では、第１実施形態の人物情報１８のデータ構成に加えて図示しない性別情報を生成する。この性別情報は、顔領域の特徴量に基づいて公知の方法を用いて検出した女性及び男性の識別を示す情報である。
【００５６】
第２実施形態の親密度判定部５４では、上記した性別情報を含む人物情報１８に基づいて、各画像に含まれる人物間の親密度を各画像単位に算出する。そして、第１実施形態と同様に、算出された各画像単位の人物間の親密度の総和をとることにより、画像取得部５１により取得した複数の画像全体における各人物間の親密度を判定する。
【００５７】
次に、第２実施形態に係る画像処理装置１の動作について説明する。
第２実施形態に係る画像処理装置１の動作は、図３に示す第１実施形態に係る画像処理装置１の動作を示すフローチャートがそのまま適用できるが、ステップＳ４０における人物情報１８を生成して記憶する処理と、ステップＳ７０における親密度判定処理とが異なる処理内容となっている。
【００５８】
第２実施形態の場合、図３に示すフローチャートにおけるステップＳ４０において、画像人物識別情報１８ａ、顔位置情報１８ｂ及び笑顔度情報１８ｃに加えて、性別情報を含めたデータ構成の人物情報１８を生成する。
【００５９】
図１０は、第２実施形態における親密度を判定する対象となる複数枚の画像の例を示す図である。同図に示すように、画像Ｇ１１，Ｇ１２には異性の二人が含まれており、画像Ｇ１３，Ｇ１４には同性の二人が含まれている。また、図１１は、第２実施形態における複数枚の画像に基づいて生成した人物情報１８の例を示す図である。図１１に示す人物情報１８は、図１０に示す４枚の画像Ｇ１１〜Ｇ１４に基づいて生成されている。図１１に示す人物情報１８では、図６に示す第１実施形態の人物情報１８の項目に加えて性別の項目が設けられており、例えば、画像Ｇ１１に含まれる人物Ｆ１は女性であることから性別「Ｆ］で表し、人物Ｍ１は男性であることから性別「Ｍ］で表している。
【００６０】
図９は、第２実施形態における親密度判定処理を示すフローチャートである。同図に示すフローチャートにおけるステップＳ１１０〜Ｓ１５０及びステップＳ１６０〜Ｓ２００は、図４に示す第１実施形態におけるフローチャートのステップＳ１１０〜Ｓ１５０及びステップＳ１６０〜Ｓ２００と同様の処理内容であり、その説明を省略する。図９に示す第２実施形態におけるフローチャートでは、図４に示す第１実施形態におけるフローチャートに対してステップＳ１５１〜Ｓ１５３の処理が追加されている。
【００６１】
図９に示すフローチャートのステップＳ１５１では、画像処理装置１は、人物情報１８の性別情報に基づいて、ステップＳ１３０〜Ｓ１５０において対象とした二者が異性であるか又は同性であるかを判定する。二者が異性である場合（ステップＳ１５１：異性）は、楽しい度に比して近接度の割合が高くなるように、つまり親密度の算出において近接度が優先されるように重み付けして（ステップＳ１５２）、ステップＳ１６０へ進む。
他方、二者が同性である場合（ステップＳ１５１：同性）は、近接度に比して楽しい度の割合が高くなるように、つまり親密度の算出において楽しい度が優先されるように重み付けして（ステップＳ１５３）、ステップＳ１６０へ進む。
【００６２】
従って、ステップＳ１６０では、ステップＳ１３０〜Ｓ１５０において算出した一緒度、近接度及び楽しい度に対してステップＳ１５２又はＳ１５３において重み付けした近接度又は楽しい度の各度数の総和をとることにより、対象とした二者間の親密度を算出することになる。
【００６３】
図１２は、第２実施形態における各人物間の親密度を算出する例を示す図である。同図は、図１１に示す人物情報１８に基づいて生成されており、画像Ｇ１１〜Ｇ１４のそれぞれに含まれる人物間の一緒度、近接度、楽しい度及び親密度を示している。図１２に示すように、画像Ｇ１１に含まれる人物Ｆ１と人物Ｍ１、及び画像Ｇ１２に含まれる人物Ｆ２と人物Ｍ２はそれぞれが異性の関係であることから、ここでは、近接度に対して重み係数ｒ＝２の重み付けを行っている。また、画像Ｇ１３に含まれる人物Ｆ１と人物Ｆ２、及び画像Ｇ１４に含まれる人物Ｆ３と人物Ｆ４はそれぞれが同性の関係であることから、ここでは、楽しい度に対して重み係数ｒ＝２の重み付けを行っている。
【００６４】
上述した実施形態では、各画像の顔領域に基づいて生成される人物情報１８のデータ構成に各人物の性別情報を加えている。そして、各画像単位に親密度を算出する際に、対象とする二者が異性である場合は、近接度が優先されるように重み付けし、同性である場合は、楽しい度が優先されるように重み付けする。
これにより、対象とする二者が異性同士であるか同性同士であるかに応じて、木目細かくより適正に判断して親密度を判定することができる。
【００６５】
（変形例）
上述した実施形態では、各画像に含まれる人物について、画像領域における顔位置、表情が笑顔であるか否かの識別、及び対象とする人物同士が異性であるか同性であるかに基づいて、親密度を判定するようにしている。しかし、これに限られず、例えば、人物の年齢、顔の傾き、顔の向き等に基づいて親密度を判定するようにしても良い。
【００６６】
例えば、人物の年齢に基づいて親密度を算出する場合、対象とする二者の年齢差が大きいときは親子の可能性があるので親密度を高くすることができる。また、顔の傾き及び向きに基づいて親密度を算出する場合、対象とする二者の顔がお互いに接近するような顔の傾き及び向きのときは、より愛情が深いと思われるので親密度を高くすることができる。
【符号の説明】
【００６７】
１…画像処理装置、１１…ＣＰＵ、１２…内部メモリー、１３…操作部、１４…表示部、１５…通信インターフェイス、１６…記憶部、１７…画像ファイル、１８…人物情報、１８ａ…画像人物識別情報、１８ｂ…顔位置情報、１８ｃ…笑顔度情報、５１…画像取得部、５２…顔領域検出部、５３…人物情報生成部、５４…親密度判定部。
【特許請求の範囲】
【請求項１】
複数の画像を取得する画像取得工程と、
前記取得した各画像から人物の顔領域を検出する顔領域検出工程と、
前記検出された顔領域の特徴量に基づいて、前記顔領域の人物に関する人物情報を生成する人物情報生成工程と、
前記人物情報を記憶する記憶工程と、
前記記憶されている人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、前記複数の画像全体における各人物間の親密度を判定する親密度判定工程と、を有することを特徴とする親密度判定方法。
【請求項２】
前記人物情報は、
前記各画像に含まれる前記顔領域の人物を識別するための画像人物識別情報と、
前記各画像の画像領域における前記人物の顔位置を示す顔位置情報と、
前記人物の表情が笑顔であるか否かを示す笑顔度情報と、を含み、
前記親密度判定工程において、
前記画像人物識別情報に基づいて前記各画像に一緒に含まれる人物間の頻度に応じた一緒度を算出し、前記顔位置情報に基づいて前記人物間の顔位置の近接度を算出し、前記笑顔度情報に基づいて前記人物間の楽しい度を算出し、
前記一緒度、前記近接度及び前記楽しい度の高い人物間の親密度を高いと判定することを特徴とする請求項１に記載の親密度判定方法。
【請求項３】
前記人物情報は、前記人物の性別の情報を更に含み、
前記親密度判定工程において、前記親密度を判定する対象となる二者が同性である場合は、前記近接度に比して前記楽しい度の割合が高くなるように重み付けし、前記二者が異性である場合は、前記楽しい度に比して前記近接度の割合が高くなるように重み付けすることを特徴とする請求項２に記載の親密度判定方法。
【請求項４】
複数の画像を取得する画像取得部と、
前記取得した各画像から人物の顔領域を検出する顔領域検出部と、
前記検出された顔領域の特徴量に基づいて、前記顔領域の人物に関する人物情報を生成する人物情報生成部と、
前記人物情報を記憶する記憶部と、
前記記憶されている人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、前記複数の画像全体における各人物間の親密度を判定する親密度判定部と、を有することを特徴とする親密度判定装置。
【請求項１】
複数の画像を取得する画像取得工程と、
前記取得した各画像から人物の顔領域を検出する顔領域検出工程と、
前記検出された顔領域の特徴量に基づいて、前記顔領域の人物に関する人物情報を生成する人物情報生成工程と、
前記人物情報を記憶する記憶工程と、
前記記憶されている人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、前記複数の画像全体における各人物間の親密度を判定する親密度判定工程と、を有することを特徴とする親密度判定方法。
【請求項２】
前記人物情報は、
前記各画像に含まれる前記顔領域の人物を識別するための画像人物識別情報と、
前記各画像の画像領域における前記人物の顔位置を示す顔位置情報と、
前記人物の表情が笑顔であるか否かを示す笑顔度情報と、を含み、
前記親密度判定工程において、
前記画像人物識別情報に基づいて前記各画像に一緒に含まれる人物間の頻度に応じた一緒度を算出し、前記顔位置情報に基づいて前記人物間の顔位置の近接度を算出し、前記笑顔度情報に基づいて前記人物間の楽しい度を算出し、
前記一緒度、前記近接度及び前記楽しい度の高い人物間の親密度を高いと判定することを特徴とする請求項１に記載の親密度判定方法。
【請求項３】
前記人物情報は、前記人物の性別の情報を更に含み、
前記親密度判定工程において、前記親密度を判定する対象となる二者が同性である場合は、前記近接度に比して前記楽しい度の割合が高くなるように重み付けし、前記二者が異性である場合は、前記楽しい度に比して前記近接度の割合が高くなるように重み付けすることを特徴とする請求項２に記載の親密度判定方法。
【請求項４】
複数の画像を取得する画像取得部と、
前記取得した各画像から人物の顔領域を検出する顔領域検出部と、
前記検出された顔領域の特徴量に基づいて、前記顔領域の人物に関する人物情報を生成する人物情報生成部と、
前記人物情報を記憶する記憶部と、
前記記憶されている人物情報に基づいて、複数の人物の顔領域が含まれる画像について当該画像における各人物間の親密度を判定して、前記複数の画像全体における各人物間の親密度を判定する親密度判定部と、を有することを特徴とする親密度判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１７０５７９（Ｐ２０１１−１７０５７９Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３３２３９（Ｐ２０１０−３３２３９）
【出願日】平成２２年２月１８日（２０１０．２．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１８日（２０１０．２．１８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]