画像表示装置及び画像表示方法
【課題】複数のメイン画像を順次表示する際に、メイン画像に複数の人物の顔があって、これらの顔のいずれかにサブ画像が重なってしまう場合、隠れるのを避けたい重要な人物の顔にサブ画像が重なってしまう可能性がある。
【解決手段】複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出部５３と、各メイン画像から検出された顔領域について、各メイン画像における重要度を判断する顔重要度判断部５６と、各メイン画像における顔領域の重要度に基づいて、サブ画像に対して各メイン画像に共通な表示位置を設定する表示位置設定部５７と、を有する。
【解決手段】複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出部５３と、各メイン画像から検出された顔領域について、各メイン画像における重要度を判断する顔重要度判断部５６と、各メイン画像における顔領域の重要度に基づいて、サブ画像に対して各メイン画像に共通な表示位置を設定する表示位置設定部５７と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置及び画像表示方法に関する。
【背景技術】
【０００２】
従来、例えばフォトビューワーなどにおいて、主たる表示対象であるメイン画像に対して、アイコンや撮影情報などの文字列をサブ画像として重ねて表示するものがある。例えば、特許文献１では、メイン画像を表示する主画面にサブ画像を表示する副画面を重ねて表示でき、主画面に表示されている画像内の顔の位置に応じて顔が見えるように主画面と副画面の表示を制御している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−８９０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、主画面の顔と副画面が重ならないようにするために、副画面の位置や大きさを制御したり、重なった場合に顔が見えるように副画面の透過度を制御したりしている。ここで、主画面に複数の人物の顔があって、これらの顔のいずれかに副画面が重なってしまう場合、隠れるのを避けたい重要な人物の顔に副画面が重なってしまう可能性がある。また、その顔が副画面から透過できたとしても顔が見えにくくなってしまう。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］複数のメイン画像を順次表示する際に、当該メイン画像に重なるサブ画像を併せて表示することが可能な画像表示装置であって、前記複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出部と、前記各メイン画像から検出された顔領域について、前記各メイン画像における重要度を判断する顔重要度判断部と、前記各メイン画像における前記顔領域の重要度に基づいて、前記サブ画像に対して前記各メイン画像に共通な表示位置を設定する表示位置設定部と、を有することを特徴とする画像表示装置。
【０００７】
上記した画像表示装置によれば、顔重要度判断部が、各メイン画像に表示された顔領域の重要度を判断する。そして、表示位置設定部が、顔領域の重要度に基づいて各メイン画像に共通な表示位置となるサブ画像の表示位置を設定する。顔領域の重要度に基づいて各メイン画像に共通なサブ画像の表示位置を設定することにより、重要度の高い顔領域とは重ならない位置にサブ画像を表示することができる。この結果、隠れるのを避けたい重要な人物の顔については、サブ画像に隠れることなく見ることができる。また、サブ画像の表示位置が、各メイン画像の内容に応じて移動することなく共通な位置に表示されることから、ユーザーは、サブ画像を容易に確認することができる。
【０００８】
［適用例２］人物の顔画像の特徴量が登録された顔特徴情報及び当該顔特徴情報に対応する人物の重要度が登録された人物重要度情報を記憶する記憶部と、前記顔領域検出部により検出された前記顔領域から特徴量を検出する顔特徴検出部と、前記顔特徴検出部により検出された特徴量と前記記憶されている顔特徴情報とを照合することにより、前記顔領域の人物を特定する顔認識部と、を更に有し、前記顔重要度判断部は、前記特定された人物に対応する前記記憶されている人物重要度情報に基づいて、前記顔領域の重要度を判断することを特徴とする上記画像表示装置。
【０００９】
上記した画像表示装置によれば、顔認識部が、顔領域から検出された特徴量と顔特徴情報とを照合することにより顔領域の人物を特定する。そして、顔重要度判断部は、特定された人物に対応する人物重要度情報に基づいて顔領域の重要度を判断する。これにより、各メイン画像に表示された顔領域の重要度を、予め登録されている顔特徴情報及び人物重要度情報に基づいて得ることができる。
【００１０】
［適用例３］前記各メイン画像の領域に、前記サブ画像を表示する候補領域となる複数のサブ画像表示領域が予め定義されており、前記表示位置設定部は、前記各メイン画像から検出された顔領域について前記各サブ画像表示領域に表示位置が重なる前記顔領域の重要度を判断し、前記サブ画像表示領域毎に前記重要度の総和値、最大値及び平均値の少なくとも１つを算出することにより、前記サブ画像の表示位置を設定することを特徴とする上記画像表示装置。
【００１１】
上記した画像表示装置によれば、表示位置設定部が、予め定義された各サブ画像表示領域に重なる顔領域の重要度を判断し、サブ画像表示領域毎に重要度の総和値、最大値及び平均値の少なくとも１つを算出して表示位置を設定する。これにより、ユーザーの実状に応じて様々な角度から重要度の算出方法を判断することができる。
【００１２】
［適用例４］前記表示位置設定部は、前記各メイン画像に予め設定されている重要度に基づいて、前記サブ画像の表示位置を設定することを特徴とする上記画像表示装置。
【００１３】
上記した画像表示装置によれば、各メイン画像に予め設定されている重要度に基づいてサブ画像の表示位置を設定することにより、重要度の高いメイン画像における人物の顔については、サブ画像に隠れることなく見ることができる。
【００１４】
［適用例５］複数のメイン画像を順次表示する際に、当該メイン画像に重なるサブ画像を併せて表示することが可能な画像表示方法であって、前記複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出工程と、前記各メイン画像から検出された顔領域について、前記各メイン画像における重要度を判断する顔重要度判断工程と、前記各メイン画像における前記顔領域の重要度に基づいて、前記サブ画像に対して前記各メイン画像に共通な表示位置を設定する表示位置設定工程と、を有することを特徴とする画像表示方法。
【００１５】
上記した画像表示方法によれば、顔重要度判断工程において、各メイン画像に表示された顔領域の重要度を判断する。そして、表示位置設定工程において、顔領域の重要度に基づいて各メイン画像に共通な表示位置となるサブ画像の表示位置を設定する。顔領域の重要度に基づいて各メイン画像に共通なサブ画像の表示位置を設定することにより、重要度の高い顔領域とは重ならない位置にサブ画像を表示することができる。この結果、隠れるのを避けたい重要な人物の顔については、サブ画像に隠れることなく見ることができる。また、サブ画像の表示位置が、各メイン画像の内容に応じて移動することなく共通な位置に表示されることから、ユーザーは、サブ画像を容易に確認することができる。
【図面の簡単な説明】
【００１６】
【図１】画像表示装置のハードウエア構成を示すブロック図。
【図２】画像表示装置の機能構成を示すブロック図。
【図３】画像表示装置の動作を示すフローチャート。
【図４】メイン画像の領域内に表示する各サブ画像表示領域の例を示す図。
【図５】各メイン画像に人物が含まれる例を示す図。
【図６】各メイン画像に人物が含まれる例を示す図。
【図７】各メイン画像に人物が含まれる例を示す図。
【図８】顔特徴情報及び人物重要度情報に基づいた人物テーブルの例を示す図。
【図９】各サブ画像表示領域の重要度を算出する例を示す図。
【図１０】変形例において各サブ画像表示領域の重要度を算出する例を示す図。
【発明を実施するための形態】
【００１７】
以下、本実施形態に係る画像表示装置について、図面を参照して説明する。
【００１８】
＜画像表示装置の構成＞
最初に、本実施形態に係る画像表示装置の構成について説明する。
図１は、本実施形態に係る画像表示装置１のハードウエア構成を示すブロック図である。この画像表示装置は、例えば、フォトビューワー、プリンター、プロジェクター、パソコン、デジタルカメラ、携帯電話などの情報処理機器の一機能として実施することができる。
【００１９】
画像表示装置１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、通信インターフェイス１５、記憶部１６等を備えている。
【００２０】
ＣＰＵ（Central Processing Unit）１１は、上記の各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理を実行する。内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納するＲＯＭ（Read Only Memory）、及びＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。
【００２１】
操作部１３は、ボタンやタッチパネル等により構成され、ユーザーからの操作内容をＣＰＵ１１に通知する。表示部１４は、例えば液晶ディスプレイ等により構成され、ＣＰＵ１１から供給されたデータに対応する画像を表示する。通信インターフェイス１５は、例えばデジタルカメラ等の情報機器から画像データなどのやり取りを行うためのインターフェイスである。
【００２２】
記憶部１６は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュメモリーのような不揮発性メモリー、又はハードディスクにより構成される。記憶部１６には、例えばデジタルカメラ等の情報機器から通信インターフェイス１５を介して入力された例えば人物画像や風景画像等のメイン画像１６ｂが複数枚保存されている。また、人物の顔画像の特徴量が登録された顔特徴情報１６ｂ、及び当該顔特徴情報１６ｂに対応する人物の重要度が登録された人物重要度情報１６ｃが予め登録されている。
【００２３】
図２は、画像表示装置１の機能構成を示すブロック図である。同図に示すように、画像表示装置１は、メイン画像表示部５１、サブ画像表示部５２、顔領域検出部５３、顔特徴検出部５４、顔認識部５５、顔重要度判断部５６、表示位置設定部５７等の各機能を備えている。これらの機能は、ＣＰＵ１１が、内部メモリー１２に記憶されている所定のプログラムを実行することよって実現される。
【００２４】
メイン画像表示部５１は、記憶部１６に保存されている複数枚のメイン画像１６ａを１枚ずつ表示部１４の全面に渡って順次表示する。サブ画像表示部５２は、例えば、アイコン、撮影情報などの文字列、ヒストグラム等をサブ画像としてメイン画像の一部に重なるように表示する。このため、メイン画像の領域内には、サブ画像を表示する領域候補となる複数のサブ画像表示領域が予め定義されている。ここで、各サブ画像表示領域について、メイン画像の領域内における表示位置、領域サイズ、優先度等の定義情報が記憶部１６に予め登録されている。この定義情報は、ユーザーが操作部１３を介して適宜設定することができる。
【００２５】
顔領域検出部５３は、記憶部１６に保存されている各メイン画像１６ａに含まれる全ての顔領域を検出する。本実施形態では、例えば、テンプレートを利用したパターンマッチングによる方法（特開２００６−２７９４６０号公報参照）等の公知の検出方法を用いて顔領域を検出する。
【００２６】
顔特徴検出部５４は、顔領域検出部５３により検出された顔領域から顔の特徴量を検出する。この特徴量は、顔領域の人物の顔認識を行うために用いられる。ここでは、顔領域から顔、目及び口の器官輪郭と、それらの顔領域における相対位置を検出する。本実施形態では、上記した顔領域の検出と同様に、例えば、テンプレートを利用したパターンマッチングによる方法等の公知の検出方法を用いて顔器官を検出する。
【００２７】
顔認識部５５は、顔特徴検出部５４において顔領域から検出された特徴量と、記憶部１６に登録されている顔特徴情報１６ｂとを照合することにより、顔領域検出部５３により検出された顔領域の人物を特定する。
【００２８】
顔重要度判断部５６は、顔認識部５５において特定された人物について、記憶部１６に登録されている人物重要度情報１６ｃを参照することにより、各メイン画像１６ａにおける当該人物の顔領域の重要度を求める。ここで、重要度が高い顔領域は、重要度が低い顔領域に比して、各メイン画像１６ａを表示したときにサブ画像が重なることで隠れてしまう可能性が低い顔領域となる。逆に、重要度が低い顔領域は、重要度が高い顔領域に比して、各メイン画像１６ａを表示したときにサブ画像が重なることで隠れてしまう可能性が高い顔領域となる。
【００２９】
表示位置設定部５７は、顔領域検出部５３により検出された顔領域に基づいて、複数のサブ画像表示領域のうち、いずれのサブ画像表示領域にサブ画像を表示するのかを設定する。このとき、表示位置設定部５７は、各サブ画像表示領域の優先度に基づいて、又は顔重要度判断部５６において求めた顔領域の重要度等に基づいてサブ画像表示領域を設定することもある。
【００３０】
＜画像表示装置の動作＞
次に、本実施形態に係る画像表示装置の動作について説明する。
図３は、本実施形態に係る画像表示装置１の動作を示すフローチャートである。
【００３１】
先ず、画像表示装置１は、顔領域検出部５３により、記憶部１６に保存されている各メイン画像１６ａに含まれる全ての人物の顔領域を検出する（ステップＳ１１０）。なお、本フローチャートでは、各メイン画像１６ａに人物が含まれる例について説明する。
【００３２】
次に、画像表示装置１は、メイン画像の表示領域内の一部に重ねて表示する各サブ画像表示領域の表示位置・領域サイズ・優先度を記憶部１６から取得する（ステップＳ１２０）。
【００３３】
図４は、表示部１４に表示されたメイン画像Ｍの領域内に表示する領域候補となる各サブ画像表示領域Ａ，Ｂ，Ｃ，Ｄの例を示す図である。同図では、ステップＳ１２０において、各サブ画像表示領域Ａ，Ｂ，Ｃ，Ｄの各表示位置（メイン画像Ｍの四隅）と、各領域サイズと、各サブ画像表示領域Ａ，Ｂ，Ｃ，Ｄ間の優先度（Ａ＞Ｂ＞Ｃ＞Ｄ）を取得する。また、図５〜図７は、各メイン画像Ｍに人物が含まれる例を示す図である。以降、図４〜図７を例にして説明を行う。
【００３４】
次に、画像表示装置１は、ステップＳ１２０において検出された各メイン画像Ｍにおける顔領域が、各サブ画像表示領域と重なるか否かを判定する（ステップＳ１３０）。ここでは、各サブ画像表示領域内に顔領域の顔座標が入っているか否かの判定を行っている。また、各サブ画像表示領域と比較する顔領域の顔座標は、メイン画像や、メイン画像を縮小した画像や、予め画像ファイルに埋め込まれているサムネイルに対して、人物の顔領域を検出して、その結果、得られた顔領域の顔座標を表示媒体の大きさに合わせて座標変換しても良い。また、メイン画像を縮小する際に表示媒体の大きさに縮小した画像を使って顔領域を検出し、得られた座標をそのまま使用しても良い。なお、顔領域は矩形や楕円などで表され、顔領域の顔座標とはそれらの内部の点の座標を指し、座標は画像の例えば左上の画素などの基準の点からの座標である。
【００３５】
各メイン画像Ｍにおける顔領域が各サブ画像表示領域のいずれにも重ならない場合（ステップＳ１３０：Ｙｅｓ）は、画像表示装置１は、表示位置設定部５７により、初期位置のサブ画像表示領域を表示位置に設定して（ステップＳ１５０）、ステップＳ２１０へ進む。図５の例では、記憶部１６に２枚の画像１，２が保存されており、画像１の人物Ｐ１の顔領域及び画像２の人物Ｐ１〜Ｐ３の顔領域は、サブ画像表示領域Ａ，Ｂ，Ｃ，Ｄのいずれにも重なっていない。従って、初期位置のサブ画像表示領域Ａが表示位置に設定される。
【００３６】
他方、顔領域が各サブ画像表示領域のいずれかにでも重なっている場合（ステップＳ１３０：Ｎｏ）は、画像表示装置１は、全ての顔領域と重ならないサブ画像表示領域が少なくとも１つあるか否かを判定する（ステップＳ１４０）。
【００３７】
全ての顔領域と重ならないサブ画像表示領域が少なくとも１つある場合（ステップＳ１４０：Ｙｅｓ）は、画像表示装置１は、表示位置設定部５７により、全ての顔領域と重ならないサブ画像表示領域の中から最も優先度の高いサブ画像表示領域を表示位置に設定して（ステップＳ１６０）、ステップＳ２１０へ進む。図６の例では、記憶部１６に４枚の画像１〜４が保存されており、サブ画像表示領域Ｂ，Ｃには画像１〜４のいずれの顔領域も重なっていない。更に、サブ画像表示領域Ｂの方がサブ画像表示領域Ｃよりも優先度が高い。従って、サブ画像表示領域Ｂが表示位置に設定される。
【００３８】
他方、顔領域と重ならないサブ画像表示領域が１つもない場合、即ち全てのサブ画像表示領域にいずれかの顔領域が重なっている場合（ステップＳ１４０：Ｎｏ）は、ステップＳ１７０へ進む。
【００３９】
次に、ステップＳ１７０では、画像表示装置１は、顔特徴検出部５４により、各サブ画像表示領域に重なっている顔領域から特徴量を検出するために器官輪郭検出を行う。そして、画像表示装置１は、顔認識部５５及び顔重要度判断部５６により、ステップＳ１７０において検出された各顔領域の特徴量と、記憶部１６に登録されている顔特徴情報１６ｂ及び人物重要度情報１６ｃとに基づいて、各顔領域の顔認識を行い、メイン画像における各顔領域の重要度を求める（ステップＳ１８０）。
【００４０】
図７の例では、記憶部１６に６枚の画像１〜６が保存されており、サブ画像表示領域Ａには人物Ｐ３，Ｐ１１、サブ画像表示領域Ｂには人物Ｐ２、サブ画像表示領域Ｃには人物Ｐ１，Ｐ１２、サブ画像表示領域Ｄには人物Ｐ１の顔領域が重なっている。このため、ステップＳ１７０において各人物Ｐ１，Ｐ２，Ｐ３，Ｐ１１，Ｐ１２の顔領域の特徴量を検出し、ステップＳ１８０において各人物Ｐ１，Ｐ２，Ｐ３，Ｐ１１，Ｐ１２の顔領域の重要度を求める。
【００４１】
図８は、顔特徴情報１６ｂ及び人物重要度情報１６ｃに基づいた人物テーブルの例を示す図である。同図では、人物Ｐ１，Ｐ２，Ｐ３について、各人物の顔特徴情報となる特徴量Ｔ１，Ｔ２，Ｔ３、及び各人物の人物重要度情報となる重要度１００，５０，２０が登録されている。また、該当しない人物については重要度１０として登録されている。ステップＳ１７０において検出された人物Ｐ１，Ｐ２，Ｐ３，Ｐ１１，Ｐ１２の各顔領域の特徴量をそれぞれＴ１，Ｔ２，Ｔ３，Ｔ１１，Ｔ１２とすると、図８の人物テーブルの特徴量と比較することにより、人物Ｐ１，Ｐ２，Ｐ３，Ｐ１１，Ｐ１２の各顔領域の重要度１００，５０，２０，１０，１０を求めることができる。
【００４２】
次に、ステップＳ１９０では、画像表示装置１は、ステップＳ１８０において求めた各顔領域の重要度に基づいて、各サブ画像表示領域の重要度を算出する。ここでは、サブ画像表示領域毎に、各サブ画像表示領域に重なる顔領域の重要度の総和値を算出することにより、各サブ画像表示領域の重要度を算出する。そして、画像表示装置１は、表示位置設定部５７により、各サブ画像表示領域の中から最も重要度の低いサブ画像表示領域を表示位置に設定して（ステップＳ２００）、ステップＳ２１０へ進む。
【００４３】
図９は、各サブ画像表示領域Ａ〜Ｄの重要度を算出する例を示す図である。同図は、図７及び図８の例における重要度の算出を示している。例えば、サブ画像表示領域Ａでは、画像３において人物Ｐ３（重要度２０）の顔領域が重なっており、画像５において人物Ｐ１１（重要度１０）の顔領域が重なっており、画像６において人物Ｐ３（重要度２０）と人物Ｐ１１（重要度１０）の顔領域が重なっている。これらの人物の重要度の総和をとることにより、サブ画像表示領域Ａの重要度６０が算出される。同様にして、サブ画像表示領域Ｂの重要度５０、サブ画像表示領域Ｃの重要度１１０、サブ画像表示領域Ｄの重要度１００が算出される。これらの重要度の中でサブ画像表示領域Ｂの重要度５０（太枠で示す）が最も低いことから、サブ画像表示領域Ｂが表示位置に設定される。
【００４４】
次に、ステップＳ２１０では、画像表示装置１は、記憶部１６に保存されている複数枚のメイン画像１６ａの１枚を表示部１４に表示する。続けて、画像表示装置１は、表示位置に設定されたサブ画像表示領域にサブ画像を表示する（ステップＳ２２０）。そして、画像表示装置１は、記憶部１６に保存されている表示対象のメイン画像１６ａがあるか否かを判定し（ステップＳ２３０）、表示対象のメイン画像１６ａが無くなるまでメイン画像１６ａの表示（ステップＳ２１０）とサブ画像の表示（ステップＳ２２０）を繰り返す。表示対象のメイン画像１６ａが無くなったら、即ちメイン画像１６ａを全て表示したら処理を終了する。
【００４５】
上述した実施形態では、メイン画像を１枚ずつ表示部１４に表示する際に、サブ画像をメイン画像の一部となる共通の位置に重なるように表示する。このとき、サブ画像の表示位置は、複数のサブ画像表示領域の中から、人物の顔領域が重ならないサブ画像表示領域に設定する。ここで、図７の例のように、全てのサブ画像表示領域にいずれかの顔領域が重なっている場合、各顔領域の特徴量を検出して顔認識を行なう。そして、各顔領域の重要度を基にサブ画像表示領域毎の重要度を算出し、最も重要度の低いサブ画像表示領域にサブ画像を表示する。これにより、サブ画像は、メイン画像において重要となる人物の顔画像を避けて、あまり重要でない人物の顔画像に重なって表示されることになる。従って、顔が隠れるのを避けたい重要な人物については、予め画像表示装置１に登録することにより、サブ画像によって顔が隠れることなく見ることができる。
【００４６】
（変形例１）
上述した実施形態では、サブ画像表示領域の重要度を算出する際、サブ画像表示領域に重なる顔領域の重要度の総和をとることにより算出している。しかし、これに限られず、重なる顔領域の重要度の平均値、重なる顔領域の中の最も高い重要度、重なる顔領域の面積又は重なっている面積部分の割合、重なる顔領域の人数等に基づいて、サブ画像表示領域の重要度を算出しても良い。
【００４７】
図１０は、最も高い重要度に基づいて、各サブ画像表示領域Ａ〜Ｄの重要度を算出する例を示す図である。例えば、サブ画像表示領域Ａでは、画像３，６における人物Ｐ３の重要度２０が最も高く、サブ画像表示領域Ｂでは、画像５における人物Ｐ２の重要度５０が最も高く、サブ画像表示領域Ｃでは、画像５における人物Ｐ１の重要度１００が最も高く、サブ画像表示領域Ｄでは、画像４における人物Ｐ１の重要度１００が最も高い。これらの重要度の中でサブ画像表示領域Ａの重要度２０（太枠で示す）が最も低いことから、サブ画像表示領域Ｂが表示位置に設定される。
【００４８】
（変形例２）
上述した実施形態では、サブ画像表示領域毎に重要度を算出し、最も重要度の低いサブ画像表示領域を表示位置に設定している。しかし、サブ画像表示領域毎の重要度のみに基づいて表示位置を設定するのではなく、各メイン画像に予め設定された重要度を加味して表示位置を設定しても良い。これにより、全てのサブ画像表示領域にいずれかの顔領域が重なっている場合、例えば、重要なメイン画像では、他の重要でないメイン画像よりも人物の顔領域とサブ画像とを重なりにくくすることができる。
【００４９】
（変形例３）
上述した実施形態では、メイン画像の領域内における表示位置、領域サイズ及び優先度が定義された複数のサブ画像表示領域が設定されている。しかし、これに限られず、表示位置が可変であって領域サイズが固定の１つのサブ画像表示領域、又は表示位置及び領域サイズが共に可変の１つのサブ画像表示領域を設定してサブ画像を表示するようにしても良い。
【００５０】
この場合、各メイン画像から検出された顔領域と重ならない位置にサブ画像表示領域を設定する。ここで、各メイン画像の顔領域のいずれかにサブ画像が重なってしまう場合、顔領域の重要度に基づいてサブ画像表示領域を設定する。また、領域サイズが可変であれば、領域サイズを縮小することにより顔領域と重ならないようにしても良い。これにより、各メイン画像に表示された人物の顔画像とサブ画像とが重なるのを、更にきめ細かく防ぐことができる。
【００５１】
（変形例４）
上述した実施形態では、人物毎に登録された重要度に従って顔領域の重要度を求めている。しかし、これに限られず、例えば、子供又は大人、男性又は女性などの識別を顔領域から検出し、これらの識別に基づいて、予め登録されている例えば子供優先や女性優先などの設定に従って顔領域の重要度を算出しても良い。
【符号の説明】
【００５２】
１…画像表示装置、１１…ＣＰＵ、１２…内部メモリー、１３…操作部、１４…表示部、１５…通信インターフェイス、１６…記憶部、１６ａ…メイン画像、１６ｂ…顔特徴情報、１６ｃ…人物重要度情報、５１…メイン画像表示部、５２…サブ画像表示部、５３…顔領域検出部、５４…顔特徴検出部、５５…顔認識部、５６…顔重要度判断部、５７…表示位置設定部、Ａ〜Ｄ…サブ画像表示領域、Ｐ１〜Ｐ３，Ｐ１１，Ｐ１２…人物。
【技術分野】
【０００１】
本発明は、画像表示装置及び画像表示方法に関する。
【背景技術】
【０００２】
従来、例えばフォトビューワーなどにおいて、主たる表示対象であるメイン画像に対して、アイコンや撮影情報などの文字列をサブ画像として重ねて表示するものがある。例えば、特許文献１では、メイン画像を表示する主画面にサブ画像を表示する副画面を重ねて表示でき、主画面に表示されている画像内の顔の位置に応じて顔が見えるように主画面と副画面の表示を制御している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−８９０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、主画面の顔と副画面が重ならないようにするために、副画面の位置や大きさを制御したり、重なった場合に顔が見えるように副画面の透過度を制御したりしている。ここで、主画面に複数の人物の顔があって、これらの顔のいずれかに副画面が重なってしまう場合、隠れるのを避けたい重要な人物の顔に副画面が重なってしまう可能性がある。また、その顔が副画面から透過できたとしても顔が見えにくくなってしまう。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］複数のメイン画像を順次表示する際に、当該メイン画像に重なるサブ画像を併せて表示することが可能な画像表示装置であって、前記複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出部と、前記各メイン画像から検出された顔領域について、前記各メイン画像における重要度を判断する顔重要度判断部と、前記各メイン画像における前記顔領域の重要度に基づいて、前記サブ画像に対して前記各メイン画像に共通な表示位置を設定する表示位置設定部と、を有することを特徴とする画像表示装置。
【０００７】
上記した画像表示装置によれば、顔重要度判断部が、各メイン画像に表示された顔領域の重要度を判断する。そして、表示位置設定部が、顔領域の重要度に基づいて各メイン画像に共通な表示位置となるサブ画像の表示位置を設定する。顔領域の重要度に基づいて各メイン画像に共通なサブ画像の表示位置を設定することにより、重要度の高い顔領域とは重ならない位置にサブ画像を表示することができる。この結果、隠れるのを避けたい重要な人物の顔については、サブ画像に隠れることなく見ることができる。また、サブ画像の表示位置が、各メイン画像の内容に応じて移動することなく共通な位置に表示されることから、ユーザーは、サブ画像を容易に確認することができる。
【０００８】
［適用例２］人物の顔画像の特徴量が登録された顔特徴情報及び当該顔特徴情報に対応する人物の重要度が登録された人物重要度情報を記憶する記憶部と、前記顔領域検出部により検出された前記顔領域から特徴量を検出する顔特徴検出部と、前記顔特徴検出部により検出された特徴量と前記記憶されている顔特徴情報とを照合することにより、前記顔領域の人物を特定する顔認識部と、を更に有し、前記顔重要度判断部は、前記特定された人物に対応する前記記憶されている人物重要度情報に基づいて、前記顔領域の重要度を判断することを特徴とする上記画像表示装置。
【０００９】
上記した画像表示装置によれば、顔認識部が、顔領域から検出された特徴量と顔特徴情報とを照合することにより顔領域の人物を特定する。そして、顔重要度判断部は、特定された人物に対応する人物重要度情報に基づいて顔領域の重要度を判断する。これにより、各メイン画像に表示された顔領域の重要度を、予め登録されている顔特徴情報及び人物重要度情報に基づいて得ることができる。
【００１０】
［適用例３］前記各メイン画像の領域に、前記サブ画像を表示する候補領域となる複数のサブ画像表示領域が予め定義されており、前記表示位置設定部は、前記各メイン画像から検出された顔領域について前記各サブ画像表示領域に表示位置が重なる前記顔領域の重要度を判断し、前記サブ画像表示領域毎に前記重要度の総和値、最大値及び平均値の少なくとも１つを算出することにより、前記サブ画像の表示位置を設定することを特徴とする上記画像表示装置。
【００１１】
上記した画像表示装置によれば、表示位置設定部が、予め定義された各サブ画像表示領域に重なる顔領域の重要度を判断し、サブ画像表示領域毎に重要度の総和値、最大値及び平均値の少なくとも１つを算出して表示位置を設定する。これにより、ユーザーの実状に応じて様々な角度から重要度の算出方法を判断することができる。
【００１２】
［適用例４］前記表示位置設定部は、前記各メイン画像に予め設定されている重要度に基づいて、前記サブ画像の表示位置を設定することを特徴とする上記画像表示装置。
【００１３】
上記した画像表示装置によれば、各メイン画像に予め設定されている重要度に基づいてサブ画像の表示位置を設定することにより、重要度の高いメイン画像における人物の顔については、サブ画像に隠れることなく見ることができる。
【００１４】
［適用例５］複数のメイン画像を順次表示する際に、当該メイン画像に重なるサブ画像を併せて表示することが可能な画像表示方法であって、前記複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出工程と、前記各メイン画像から検出された顔領域について、前記各メイン画像における重要度を判断する顔重要度判断工程と、前記各メイン画像における前記顔領域の重要度に基づいて、前記サブ画像に対して前記各メイン画像に共通な表示位置を設定する表示位置設定工程と、を有することを特徴とする画像表示方法。
【００１５】
上記した画像表示方法によれば、顔重要度判断工程において、各メイン画像に表示された顔領域の重要度を判断する。そして、表示位置設定工程において、顔領域の重要度に基づいて各メイン画像に共通な表示位置となるサブ画像の表示位置を設定する。顔領域の重要度に基づいて各メイン画像に共通なサブ画像の表示位置を設定することにより、重要度の高い顔領域とは重ならない位置にサブ画像を表示することができる。この結果、隠れるのを避けたい重要な人物の顔については、サブ画像に隠れることなく見ることができる。また、サブ画像の表示位置が、各メイン画像の内容に応じて移動することなく共通な位置に表示されることから、ユーザーは、サブ画像を容易に確認することができる。
【図面の簡単な説明】
【００１６】
【図１】画像表示装置のハードウエア構成を示すブロック図。
【図２】画像表示装置の機能構成を示すブロック図。
【図３】画像表示装置の動作を示すフローチャート。
【図４】メイン画像の領域内に表示する各サブ画像表示領域の例を示す図。
【図５】各メイン画像に人物が含まれる例を示す図。
【図６】各メイン画像に人物が含まれる例を示す図。
【図７】各メイン画像に人物が含まれる例を示す図。
【図８】顔特徴情報及び人物重要度情報に基づいた人物テーブルの例を示す図。
【図９】各サブ画像表示領域の重要度を算出する例を示す図。
【図１０】変形例において各サブ画像表示領域の重要度を算出する例を示す図。
【発明を実施するための形態】
【００１７】
以下、本実施形態に係る画像表示装置について、図面を参照して説明する。
【００１８】
＜画像表示装置の構成＞
最初に、本実施形態に係る画像表示装置の構成について説明する。
図１は、本実施形態に係る画像表示装置１のハードウエア構成を示すブロック図である。この画像表示装置は、例えば、フォトビューワー、プリンター、プロジェクター、パソコン、デジタルカメラ、携帯電話などの情報処理機器の一機能として実施することができる。
【００１９】
画像表示装置１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、通信インターフェイス１５、記憶部１６等を備えている。
【００２０】
ＣＰＵ（Central Processing Unit）１１は、上記の各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理を実行する。内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納するＲＯＭ（Read Only Memory）、及びＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。
【００２１】
操作部１３は、ボタンやタッチパネル等により構成され、ユーザーからの操作内容をＣＰＵ１１に通知する。表示部１４は、例えば液晶ディスプレイ等により構成され、ＣＰＵ１１から供給されたデータに対応する画像を表示する。通信インターフェイス１５は、例えばデジタルカメラ等の情報機器から画像データなどのやり取りを行うためのインターフェイスである。
【００２２】
記憶部１６は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュメモリーのような不揮発性メモリー、又はハードディスクにより構成される。記憶部１６には、例えばデジタルカメラ等の情報機器から通信インターフェイス１５を介して入力された例えば人物画像や風景画像等のメイン画像１６ｂが複数枚保存されている。また、人物の顔画像の特徴量が登録された顔特徴情報１６ｂ、及び当該顔特徴情報１６ｂに対応する人物の重要度が登録された人物重要度情報１６ｃが予め登録されている。
【００２３】
図２は、画像表示装置１の機能構成を示すブロック図である。同図に示すように、画像表示装置１は、メイン画像表示部５１、サブ画像表示部５２、顔領域検出部５３、顔特徴検出部５４、顔認識部５５、顔重要度判断部５６、表示位置設定部５７等の各機能を備えている。これらの機能は、ＣＰＵ１１が、内部メモリー１２に記憶されている所定のプログラムを実行することよって実現される。
【００２４】
メイン画像表示部５１は、記憶部１６に保存されている複数枚のメイン画像１６ａを１枚ずつ表示部１４の全面に渡って順次表示する。サブ画像表示部５２は、例えば、アイコン、撮影情報などの文字列、ヒストグラム等をサブ画像としてメイン画像の一部に重なるように表示する。このため、メイン画像の領域内には、サブ画像を表示する領域候補となる複数のサブ画像表示領域が予め定義されている。ここで、各サブ画像表示領域について、メイン画像の領域内における表示位置、領域サイズ、優先度等の定義情報が記憶部１６に予め登録されている。この定義情報は、ユーザーが操作部１３を介して適宜設定することができる。
【００２５】
顔領域検出部５３は、記憶部１６に保存されている各メイン画像１６ａに含まれる全ての顔領域を検出する。本実施形態では、例えば、テンプレートを利用したパターンマッチングによる方法（特開２００６−２７９４６０号公報参照）等の公知の検出方法を用いて顔領域を検出する。
【００２６】
顔特徴検出部５４は、顔領域検出部５３により検出された顔領域から顔の特徴量を検出する。この特徴量は、顔領域の人物の顔認識を行うために用いられる。ここでは、顔領域から顔、目及び口の器官輪郭と、それらの顔領域における相対位置を検出する。本実施形態では、上記した顔領域の検出と同様に、例えば、テンプレートを利用したパターンマッチングによる方法等の公知の検出方法を用いて顔器官を検出する。
【００２７】
顔認識部５５は、顔特徴検出部５４において顔領域から検出された特徴量と、記憶部１６に登録されている顔特徴情報１６ｂとを照合することにより、顔領域検出部５３により検出された顔領域の人物を特定する。
【００２８】
顔重要度判断部５６は、顔認識部５５において特定された人物について、記憶部１６に登録されている人物重要度情報１６ｃを参照することにより、各メイン画像１６ａにおける当該人物の顔領域の重要度を求める。ここで、重要度が高い顔領域は、重要度が低い顔領域に比して、各メイン画像１６ａを表示したときにサブ画像が重なることで隠れてしまう可能性が低い顔領域となる。逆に、重要度が低い顔領域は、重要度が高い顔領域に比して、各メイン画像１６ａを表示したときにサブ画像が重なることで隠れてしまう可能性が高い顔領域となる。
【００２９】
表示位置設定部５７は、顔領域検出部５３により検出された顔領域に基づいて、複数のサブ画像表示領域のうち、いずれのサブ画像表示領域にサブ画像を表示するのかを設定する。このとき、表示位置設定部５７は、各サブ画像表示領域の優先度に基づいて、又は顔重要度判断部５６において求めた顔領域の重要度等に基づいてサブ画像表示領域を設定することもある。
【００３０】
＜画像表示装置の動作＞
次に、本実施形態に係る画像表示装置の動作について説明する。
図３は、本実施形態に係る画像表示装置１の動作を示すフローチャートである。
【００３１】
先ず、画像表示装置１は、顔領域検出部５３により、記憶部１６に保存されている各メイン画像１６ａに含まれる全ての人物の顔領域を検出する（ステップＳ１１０）。なお、本フローチャートでは、各メイン画像１６ａに人物が含まれる例について説明する。
【００３２】
次に、画像表示装置１は、メイン画像の表示領域内の一部に重ねて表示する各サブ画像表示領域の表示位置・領域サイズ・優先度を記憶部１６から取得する（ステップＳ１２０）。
【００３３】
図４は、表示部１４に表示されたメイン画像Ｍの領域内に表示する領域候補となる各サブ画像表示領域Ａ，Ｂ，Ｃ，Ｄの例を示す図である。同図では、ステップＳ１２０において、各サブ画像表示領域Ａ，Ｂ，Ｃ，Ｄの各表示位置（メイン画像Ｍの四隅）と、各領域サイズと、各サブ画像表示領域Ａ，Ｂ，Ｃ，Ｄ間の優先度（Ａ＞Ｂ＞Ｃ＞Ｄ）を取得する。また、図５〜図７は、各メイン画像Ｍに人物が含まれる例を示す図である。以降、図４〜図７を例にして説明を行う。
【００３４】
次に、画像表示装置１は、ステップＳ１２０において検出された各メイン画像Ｍにおける顔領域が、各サブ画像表示領域と重なるか否かを判定する（ステップＳ１３０）。ここでは、各サブ画像表示領域内に顔領域の顔座標が入っているか否かの判定を行っている。また、各サブ画像表示領域と比較する顔領域の顔座標は、メイン画像や、メイン画像を縮小した画像や、予め画像ファイルに埋め込まれているサムネイルに対して、人物の顔領域を検出して、その結果、得られた顔領域の顔座標を表示媒体の大きさに合わせて座標変換しても良い。また、メイン画像を縮小する際に表示媒体の大きさに縮小した画像を使って顔領域を検出し、得られた座標をそのまま使用しても良い。なお、顔領域は矩形や楕円などで表され、顔領域の顔座標とはそれらの内部の点の座標を指し、座標は画像の例えば左上の画素などの基準の点からの座標である。
【００３５】
各メイン画像Ｍにおける顔領域が各サブ画像表示領域のいずれにも重ならない場合（ステップＳ１３０：Ｙｅｓ）は、画像表示装置１は、表示位置設定部５７により、初期位置のサブ画像表示領域を表示位置に設定して（ステップＳ１５０）、ステップＳ２１０へ進む。図５の例では、記憶部１６に２枚の画像１，２が保存されており、画像１の人物Ｐ１の顔領域及び画像２の人物Ｐ１〜Ｐ３の顔領域は、サブ画像表示領域Ａ，Ｂ，Ｃ，Ｄのいずれにも重なっていない。従って、初期位置のサブ画像表示領域Ａが表示位置に設定される。
【００３６】
他方、顔領域が各サブ画像表示領域のいずれかにでも重なっている場合（ステップＳ１３０：Ｎｏ）は、画像表示装置１は、全ての顔領域と重ならないサブ画像表示領域が少なくとも１つあるか否かを判定する（ステップＳ１４０）。
【００３７】
全ての顔領域と重ならないサブ画像表示領域が少なくとも１つある場合（ステップＳ１４０：Ｙｅｓ）は、画像表示装置１は、表示位置設定部５７により、全ての顔領域と重ならないサブ画像表示領域の中から最も優先度の高いサブ画像表示領域を表示位置に設定して（ステップＳ１６０）、ステップＳ２１０へ進む。図６の例では、記憶部１６に４枚の画像１〜４が保存されており、サブ画像表示領域Ｂ，Ｃには画像１〜４のいずれの顔領域も重なっていない。更に、サブ画像表示領域Ｂの方がサブ画像表示領域Ｃよりも優先度が高い。従って、サブ画像表示領域Ｂが表示位置に設定される。
【００３８】
他方、顔領域と重ならないサブ画像表示領域が１つもない場合、即ち全てのサブ画像表示領域にいずれかの顔領域が重なっている場合（ステップＳ１４０：Ｎｏ）は、ステップＳ１７０へ進む。
【００３９】
次に、ステップＳ１７０では、画像表示装置１は、顔特徴検出部５４により、各サブ画像表示領域に重なっている顔領域から特徴量を検出するために器官輪郭検出を行う。そして、画像表示装置１は、顔認識部５５及び顔重要度判断部５６により、ステップＳ１７０において検出された各顔領域の特徴量と、記憶部１６に登録されている顔特徴情報１６ｂ及び人物重要度情報１６ｃとに基づいて、各顔領域の顔認識を行い、メイン画像における各顔領域の重要度を求める（ステップＳ１８０）。
【００４０】
図７の例では、記憶部１６に６枚の画像１〜６が保存されており、サブ画像表示領域Ａには人物Ｐ３，Ｐ１１、サブ画像表示領域Ｂには人物Ｐ２、サブ画像表示領域Ｃには人物Ｐ１，Ｐ１２、サブ画像表示領域Ｄには人物Ｐ１の顔領域が重なっている。このため、ステップＳ１７０において各人物Ｐ１，Ｐ２，Ｐ３，Ｐ１１，Ｐ１２の顔領域の特徴量を検出し、ステップＳ１８０において各人物Ｐ１，Ｐ２，Ｐ３，Ｐ１１，Ｐ１２の顔領域の重要度を求める。
【００４１】
図８は、顔特徴情報１６ｂ及び人物重要度情報１６ｃに基づいた人物テーブルの例を示す図である。同図では、人物Ｐ１，Ｐ２，Ｐ３について、各人物の顔特徴情報となる特徴量Ｔ１，Ｔ２，Ｔ３、及び各人物の人物重要度情報となる重要度１００，５０，２０が登録されている。また、該当しない人物については重要度１０として登録されている。ステップＳ１７０において検出された人物Ｐ１，Ｐ２，Ｐ３，Ｐ１１，Ｐ１２の各顔領域の特徴量をそれぞれＴ１，Ｔ２，Ｔ３，Ｔ１１，Ｔ１２とすると、図８の人物テーブルの特徴量と比較することにより、人物Ｐ１，Ｐ２，Ｐ３，Ｐ１１，Ｐ１２の各顔領域の重要度１００，５０，２０，１０，１０を求めることができる。
【００４２】
次に、ステップＳ１９０では、画像表示装置１は、ステップＳ１８０において求めた各顔領域の重要度に基づいて、各サブ画像表示領域の重要度を算出する。ここでは、サブ画像表示領域毎に、各サブ画像表示領域に重なる顔領域の重要度の総和値を算出することにより、各サブ画像表示領域の重要度を算出する。そして、画像表示装置１は、表示位置設定部５７により、各サブ画像表示領域の中から最も重要度の低いサブ画像表示領域を表示位置に設定して（ステップＳ２００）、ステップＳ２１０へ進む。
【００４３】
図９は、各サブ画像表示領域Ａ〜Ｄの重要度を算出する例を示す図である。同図は、図７及び図８の例における重要度の算出を示している。例えば、サブ画像表示領域Ａでは、画像３において人物Ｐ３（重要度２０）の顔領域が重なっており、画像５において人物Ｐ１１（重要度１０）の顔領域が重なっており、画像６において人物Ｐ３（重要度２０）と人物Ｐ１１（重要度１０）の顔領域が重なっている。これらの人物の重要度の総和をとることにより、サブ画像表示領域Ａの重要度６０が算出される。同様にして、サブ画像表示領域Ｂの重要度５０、サブ画像表示領域Ｃの重要度１１０、サブ画像表示領域Ｄの重要度１００が算出される。これらの重要度の中でサブ画像表示領域Ｂの重要度５０（太枠で示す）が最も低いことから、サブ画像表示領域Ｂが表示位置に設定される。
【００４４】
次に、ステップＳ２１０では、画像表示装置１は、記憶部１６に保存されている複数枚のメイン画像１６ａの１枚を表示部１４に表示する。続けて、画像表示装置１は、表示位置に設定されたサブ画像表示領域にサブ画像を表示する（ステップＳ２２０）。そして、画像表示装置１は、記憶部１６に保存されている表示対象のメイン画像１６ａがあるか否かを判定し（ステップＳ２３０）、表示対象のメイン画像１６ａが無くなるまでメイン画像１６ａの表示（ステップＳ２１０）とサブ画像の表示（ステップＳ２２０）を繰り返す。表示対象のメイン画像１６ａが無くなったら、即ちメイン画像１６ａを全て表示したら処理を終了する。
【００４５】
上述した実施形態では、メイン画像を１枚ずつ表示部１４に表示する際に、サブ画像をメイン画像の一部となる共通の位置に重なるように表示する。このとき、サブ画像の表示位置は、複数のサブ画像表示領域の中から、人物の顔領域が重ならないサブ画像表示領域に設定する。ここで、図７の例のように、全てのサブ画像表示領域にいずれかの顔領域が重なっている場合、各顔領域の特徴量を検出して顔認識を行なう。そして、各顔領域の重要度を基にサブ画像表示領域毎の重要度を算出し、最も重要度の低いサブ画像表示領域にサブ画像を表示する。これにより、サブ画像は、メイン画像において重要となる人物の顔画像を避けて、あまり重要でない人物の顔画像に重なって表示されることになる。従って、顔が隠れるのを避けたい重要な人物については、予め画像表示装置１に登録することにより、サブ画像によって顔が隠れることなく見ることができる。
【００４６】
（変形例１）
上述した実施形態では、サブ画像表示領域の重要度を算出する際、サブ画像表示領域に重なる顔領域の重要度の総和をとることにより算出している。しかし、これに限られず、重なる顔領域の重要度の平均値、重なる顔領域の中の最も高い重要度、重なる顔領域の面積又は重なっている面積部分の割合、重なる顔領域の人数等に基づいて、サブ画像表示領域の重要度を算出しても良い。
【００４７】
図１０は、最も高い重要度に基づいて、各サブ画像表示領域Ａ〜Ｄの重要度を算出する例を示す図である。例えば、サブ画像表示領域Ａでは、画像３，６における人物Ｐ３の重要度２０が最も高く、サブ画像表示領域Ｂでは、画像５における人物Ｐ２の重要度５０が最も高く、サブ画像表示領域Ｃでは、画像５における人物Ｐ１の重要度１００が最も高く、サブ画像表示領域Ｄでは、画像４における人物Ｐ１の重要度１００が最も高い。これらの重要度の中でサブ画像表示領域Ａの重要度２０（太枠で示す）が最も低いことから、サブ画像表示領域Ｂが表示位置に設定される。
【００４８】
（変形例２）
上述した実施形態では、サブ画像表示領域毎に重要度を算出し、最も重要度の低いサブ画像表示領域を表示位置に設定している。しかし、サブ画像表示領域毎の重要度のみに基づいて表示位置を設定するのではなく、各メイン画像に予め設定された重要度を加味して表示位置を設定しても良い。これにより、全てのサブ画像表示領域にいずれかの顔領域が重なっている場合、例えば、重要なメイン画像では、他の重要でないメイン画像よりも人物の顔領域とサブ画像とを重なりにくくすることができる。
【００４９】
（変形例３）
上述した実施形態では、メイン画像の領域内における表示位置、領域サイズ及び優先度が定義された複数のサブ画像表示領域が設定されている。しかし、これに限られず、表示位置が可変であって領域サイズが固定の１つのサブ画像表示領域、又は表示位置及び領域サイズが共に可変の１つのサブ画像表示領域を設定してサブ画像を表示するようにしても良い。
【００５０】
この場合、各メイン画像から検出された顔領域と重ならない位置にサブ画像表示領域を設定する。ここで、各メイン画像の顔領域のいずれかにサブ画像が重なってしまう場合、顔領域の重要度に基づいてサブ画像表示領域を設定する。また、領域サイズが可変であれば、領域サイズを縮小することにより顔領域と重ならないようにしても良い。これにより、各メイン画像に表示された人物の顔画像とサブ画像とが重なるのを、更にきめ細かく防ぐことができる。
【００５１】
（変形例４）
上述した実施形態では、人物毎に登録された重要度に従って顔領域の重要度を求めている。しかし、これに限られず、例えば、子供又は大人、男性又は女性などの識別を顔領域から検出し、これらの識別に基づいて、予め登録されている例えば子供優先や女性優先などの設定に従って顔領域の重要度を算出しても良い。
【符号の説明】
【００５２】
１…画像表示装置、１１…ＣＰＵ、１２…内部メモリー、１３…操作部、１４…表示部、１５…通信インターフェイス、１６…記憶部、１６ａ…メイン画像、１６ｂ…顔特徴情報、１６ｃ…人物重要度情報、５１…メイン画像表示部、５２…サブ画像表示部、５３…顔領域検出部、５４…顔特徴検出部、５５…顔認識部、５６…顔重要度判断部、５７…表示位置設定部、Ａ〜Ｄ…サブ画像表示領域、Ｐ１〜Ｐ３，Ｐ１１，Ｐ１２…人物。
【特許請求の範囲】
【請求項１】
複数のメイン画像を順次表示する際に、当該メイン画像に重なるサブ画像を併せて表示することが可能な画像表示装置であって、
前記複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出部と、
前記各メイン画像から検出された顔領域について、前記各メイン画像における重要度を判断する顔重要度判断部と、
前記各メイン画像における前記顔領域の重要度に基づいて、前記サブ画像に対して前記各メイン画像に共通な表示位置を設定する表示位置設定部と、を有することを特徴とする画像表示装置。
【請求項２】
人物の顔画像の特徴量が登録された顔特徴情報及び当該顔特徴情報に対応する人物の重要度が登録された人物重要度情報を記憶する記憶部と、
前記顔領域検出部により検出された前記顔領域から特徴量を検出する顔特徴検出部と、
前記顔特徴検出部により検出された特徴量と前記記憶されている顔特徴情報とを照合することにより、前記顔領域の人物を特定する顔認識部と、を更に有し、
前記顔重要度判断部は、前記特定された人物に対応する前記記憶されている人物重要度情報に基づいて、前記顔領域の重要度を判断することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記各メイン画像の領域に、前記サブ画像を表示する候補領域となる複数のサブ画像表示領域が予め定義されており、
前記表示位置設定部は、前記各メイン画像から検出された顔領域について前記各サブ画像表示領域に表示位置が重なる前記顔領域の重要度を判断し、前記サブ画像表示領域毎に前記重要度の総和値、最大値及び平均値の少なくとも１つを算出することにより、前記サブ画像の表示位置を設定することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
前記表示位置設定部は、前記各メイン画像に予め設定されている重要度に基づいて、前記サブ画像の表示位置を設定することを特徴とする請求項１から３のいずれか一項に記載の画像表示装置。
【請求項５】
複数のメイン画像を順次表示する際に、当該メイン画像に重なるサブ画像を併せて表示することが可能な画像表示方法であって、
前記複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出工程と、
前記各メイン画像から検出された顔領域について、前記各メイン画像における重要度を判断する顔重要度判断工程と、
前記各メイン画像における前記顔領域の重要度に基づいて、前記サブ画像に対して前記各メイン画像に共通な表示位置を設定する表示位置設定工程と、を有することを特徴とする画像表示方法。
【請求項１】
複数のメイン画像を順次表示する際に、当該メイン画像に重なるサブ画像を併せて表示することが可能な画像表示装置であって、
前記複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出部と、
前記各メイン画像から検出された顔領域について、前記各メイン画像における重要度を判断する顔重要度判断部と、
前記各メイン画像における前記顔領域の重要度に基づいて、前記サブ画像に対して前記各メイン画像に共通な表示位置を設定する表示位置設定部と、を有することを特徴とする画像表示装置。
【請求項２】
人物の顔画像の特徴量が登録された顔特徴情報及び当該顔特徴情報に対応する人物の重要度が登録された人物重要度情報を記憶する記憶部と、
前記顔領域検出部により検出された前記顔領域から特徴量を検出する顔特徴検出部と、
前記顔特徴検出部により検出された特徴量と前記記憶されている顔特徴情報とを照合することにより、前記顔領域の人物を特定する顔認識部と、を更に有し、
前記顔重要度判断部は、前記特定された人物に対応する前記記憶されている人物重要度情報に基づいて、前記顔領域の重要度を判断することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記各メイン画像の領域に、前記サブ画像を表示する候補領域となる複数のサブ画像表示領域が予め定義されており、
前記表示位置設定部は、前記各メイン画像から検出された顔領域について前記各サブ画像表示領域に表示位置が重なる前記顔領域の重要度を判断し、前記サブ画像表示領域毎に前記重要度の総和値、最大値及び平均値の少なくとも１つを算出することにより、前記サブ画像の表示位置を設定することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
前記表示位置設定部は、前記各メイン画像に予め設定されている重要度に基づいて、前記サブ画像の表示位置を設定することを特徴とする請求項１から３のいずれか一項に記載の画像表示装置。
【請求項５】
複数のメイン画像を順次表示する際に、当該メイン画像に重なるサブ画像を併せて表示することが可能な画像表示方法であって、
前記複数のメイン画像のそれぞれから人物の顔領域を検出する顔領域検出工程と、
前記各メイン画像から検出された顔領域について、前記各メイン画像における重要度を判断する顔重要度判断工程と、
前記各メイン画像における前記顔領域の重要度に基づいて、前記サブ画像に対して前記各メイン画像に共通な表示位置を設定する表示位置設定工程と、を有することを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１５０２２５（Ｐ２０１１−１５０２２５Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−１２８８９（Ｐ２０１０−１２８８９）
【出願日】平成２２年１月２５日（２０１０．１．２５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月２５日（２０１０．１．２５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]