画像表示装置、画像表示方法、およびプログラム
【課題】コミュニケーションを促すような変化に富んだ画像を再生表示することのできる画像表示装置、画像表示方法、およびプログラムを提供する。
【解決手段】撮影画像を記憶する記録部４と、撮影画像から人物の顔を検出する顔検出部３と、顔検出部によって検出された人物が写っている画像から、服装の色やパターンを判定するパターン・色判定部１ｆと、同一人物で異なる服装を着用している画像を検索する画像検索部１ｄと、画像検索部１ｄによって、予め決められた数の画像を検索すると、検索された画像を一括して表示する表示部８ａを有する。
【解決手段】撮影画像を記憶する記録部４と、撮影画像から人物の顔を検出する顔検出部３と、顔検出部によって検出された人物が写っている画像から、服装の色やパターンを判定するパターン・色判定部１ｆと、同一人物で異なる服装を着用している画像を検索する画像検索部１ｄと、画像検索部１ｄによって、予め決められた数の画像を検索すると、検索された画像を一括して表示する表示部８ａを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法、およびプログラムに関し、詳しくは、撮影装置によって撮影された画像データを再生表示する画像表示装置、画像表示方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、メモリの大容量化や低価格化が進み、カメラ等の撮影装置内にこれを内蔵して、ここに大量の画像データを保存することが可能となっている。また、カメラ等の背面に設けられている液晶などの表示パネルも大型画面化が進み、保存された画像を表示パネルに表示して鑑賞することが行われている。カメラ等の撮影装置以外にも、パーソナルコンピュータや、撮影装置等と接続したテレビに保存された画像を表示し、みんなで画像を見て楽しむことも増えている。
【０００３】
表示パネル等で画像を表示するにあたって、大量の画像の中から目的とする画像を探すのは大変である。そこで、画像分類を容易にできるようにした画像表示装置が種々提案されている。例えば、特許文献１には、画像データに、撮影日時、撮影姿勢、撮影場所、撮影者等の付帯情報と一緒に記録し、この付帯情報を用いて、画像を整理保存し、分類検索することにより目的とする画像を鑑賞できるようにした画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許３５２８２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の画像表示装置は、撮影時に一緒に記録された付帯情報を用いて論理的に検索を行うものであって、鑑賞時にコミュニケーションを促すような変化に富んだ画像を再生するものではない。つまり、鑑賞者にとっては、付帯情報から想像される画像しか表示するだけであって、飽きることなく楽しむものではなかった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、コミュニケーションを促すような変化に富んだ画像を再生表示することのできる画像表示装置、画像表示方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる画像表示装置は、撮影画像内の顔画像を検知する顔検知部と、上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けする分類部と、上記分類部による分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を表示する表示制御部と、を有する。
【０００８】
第２の発明に係わる画像表示装置は、上記第１の発明において、上記顔検知部は、上記顔画像の大きさと位置を検知可能であり、上記表示制御部は、上記顔画像の大きさ及び／又は位置を変更する。
第３の発明に係わる画像表示装置は、上記第１の発明において、上記表示制御部における表示では、上記分類部によって分類によって分類された複数の画像から人物の部分を、同時に、または順次に表示する。
【０００９】
第４の発明に係わる画像表示装置は、上記第１の発明において、上記表示制御部における表示の際に、２つの画像の間に、この２つの画像を合成した合成画像を表示する。
第５の発明に係わる画像表示装置は、上記第１の発明において、上記表示制御部は、上記顔画像に基づいて人物の部分を抽出し、上記人物の部分を表示する。
【００１０】
第６の発明に係わる画像表示装置は、撮影画像を記憶する記憶部と、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定する人物判定部と、上記撮影画像上の人物の服装部分を判定する服装判定部と、上記人物判定部によって同一人物と判定された画像について、上記服装判定部によって異なる服装を着用していると判定された画像を検索する検索部と、上記検索部によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する表示部と、を有する。
【００１１】
第７の発明に係わる画像表示装置は、上記第６の発明において、上記表示部における一括表示では、上記検索部によって検索された予め決められた数の画像を、同時に、または順次に表示する。
第８の発明に係わる画像表示装置は、上記第６の発明において、上記表示部における一括表示では、上記検索部によって検索された画像中の顔の大きさ及び／又は位置を揃える。
【００１２】
第９の発明に係わる画像表示装置は、撮影画像を記憶する記憶部と、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定する人物判定部と、上記撮影画像上の人物の服装部分を判定する服装判定部と、上記人物判定部によって同一人物と判定された画像について、上記服装判定部によって異なる服装を着用していると判定された画像を検索する検索部と、上記検索部によって検索された画像から、人物の部分を抜き出す人物抽出部と、この人物抽出部によって抽出された人物を表示する表示部と、を有する。
【００１３】
第１０の発明に係わる画像表示装置は、上記表示部は、上記検索部によって検索された複数の人物の大きさ、及び／又は位置を揃える。
第１１の発明に係わる画像表示装置は、上記第９の発明において、上記表示部は、上記検索部によって検索された複数の人物を、同時、または順次表示する。
【００１４】
第１２の発明に係わる画像表示方法は、撮影画像内の顔画像を検知し、上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けし、上記分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を一括表示する。
第１３の発明に係わる画像表示方法は、撮影画像を記憶し、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、上記検索によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する。
第１４の発明に係わる画像表示方法は、撮影画像を記憶し、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、上記撮影画像上の人物の服装部分を判定し、上記同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、上記検索された画像から、人物の部分を抜き出し、この抽出された人物を表示する。
【００１５】
第１５の発明に係わるプログラムは、撮影画像内の顔画像を検知し、上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けし、上記分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を一括表示する。
第１６の発明に係わるプログラムは、撮影画像を記憶し、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、上記検索によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する。
第１７の発明に係わるプログラムは、撮影画像を記憶し、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、上記撮影画像上の人物の服装部分を判定し、上記同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、上記検索された画像から、人物の部分を抜き出し、この抽出された人物を表示する。
【発明の効果】
【００１６】
本発明によれば、コミュニケーションを促すような変化に富んだ画像を再生表示することのできる画像表示装置、画像表示方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係わるカメラにおける電気回路を示すブロック図である。
【図２】本発明の一実施形態に係るカメラにおいて撮影された多数の画像の様子を示す図である。
【図３】本発明の一実施形態に係わるカメラにおいて、自分が写っている画像のみを抽出した画像の様子を示す図である。
【図４】本発明の一実施形態に係わるカメラにおいて、自分が写っている画像のみを１つの画面を分割して順次表示してく様子を示す図である。
【図５】本発明の一実施形態におけるカメラにおけるカメラ制御の動作を示すフローチャートである。
【図６】本発明の一実施形態におけるカメラにおける画像分類の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、画像分類を行うにあたって使用する関連情報を説明する図である。
【図８】本発明の一実施形態におけるカメラにおける着せ替え再生の動作を示すフローチャートである。
【図９】本発明の一実施形態におけるカメラにおける着せ替え表示の変形例を示す図である。
【図１０】本発明の一実施形態におけるカメラにおける着せ替え表示の別の変形例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、画像処理及び制御部１、撮像部２、顔検出部３、記録部４、操作判定部６、ＧＰＳ７、表示部８ａ、タッチパネル８ｂ、時計部９、通信部１２等から構成される。
【００１９】
撮像部２は、撮像素子、撮影レンズ２、シャッタ等の露出制御部、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換する。顔検出部３は、撮像部２から画像データを入力し、被写体像の中に顔の像が含まれているか否かを検出する。
【００２０】
画像処理及び制御部１は、記憶されているプログラムに従ってカメラ１０全体のシーケンスを制御する。また、撮像部２から出力される画像信号を取り込み、間引き処理、エッジ強調、色補正、画像圧縮、動画処理、コントラスト調整、ホワイトバランス等の種々の画像処理を行い、またライブビュー表示、記録部４への記録、再生表示等の画像処理を行う。画像処理及び制御部１内には、顔特徴抽出部１ｂ、顔位置・大きさ判定部１ｃ、画像検索部１ｄ、画像分類部１ｅ、顔の下のパターン・色判定部１ｆ、および表示制御部８を含んでいる。
【００２１】
顔位置・大きさ判定部１ｃは、顔検出部３によって顔の像が含まれていることが検出された場合に、その顔の位置と大きさを判定する。顔特徴抽出部１ｂは、目鼻や口の位置等から顔の特徴を抽出する。抽出された顔の特徴を用いて、登録されている人と同じか否かを判定することができる。顔の下のパターン・色判定部１ｆは、顔位置・大きさ判定部１ｃによって顔の位置が検出されると、顔の下の服装のパターン、例えば、縦縞模様、黒丸模様等と、顔の下の服装の色、例えば、赤、青、黄色等を判定する。
【００２２】
画像分類部１ｅは、スナップ写真、ポートレート写真、風景写真等に画像を分類する。画像検索部１ｅは、後述する関連情報部４ｂに記録されている関連情報を用いて、画像の検索を行う。関連情報としては、画像分類、撮影日時、顔の下のパターン・色の情報等が含まれる。表示制御部８は、撮影時には撮像部２からの画像信号に基づいてライブビュー表示の制御を行い、再生モード時には記録部４に記録されている画像の再生制御を行う。また、タッチパネル８ｂでのタッチ操作に応じて、表示の切り替えを行う。
【００２３】
なお、画像処理及び制御部１は、顔検出部３によって検出された顔の大きさを他の画像の顔の大きさと揃えるように画像の拡大や縮小を行い、また、顔の位置を中央等に位置するように画像の移動も行う。さらに、顔検出部３によって検出された顔を含む人物の人物部分のみを切り出し、背景と分離する画像処理も行う。
【００２４】
記録部４は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理及び制御部１によって画像処理された画像データを記録する。また、画像データを記録するにあたって、撮影日時等の情報と関連付けられ、この関連情報を記憶する。また、記録部４内には、関連情報部４ｂが設けられており、記録部４に記録される画像データに関連付けて、撮影日時、画像分類、顔の数、顔の位置、顔の下の服装の色、服装のパターン等の情報が記憶される。この関連情報については、図７を用いて後述する。
【００２５】
操作判定部６は、レリーズ釦、パワースイッチ、再生モード釦、サムネイル釦、送り釦、戻し釦、着せ替え釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、画像処理及び制御部１に判定結果を送る。画像処理及び制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。ＧＰＳ７は、全地球測位システム（Global Positioning System）であり、撮影時の位置を測定し、この測定結果を関連情報として関連情報部４ｂに記憶する。
【００２６】
表示部８ａは、液晶パネル等を含み、撮影前のライブビュー表示や、記録された撮影画像の再生表示を行う。また表示部８ａの前面には、タッチパネル８ｂが設けられており、撮影者等によるタッチ位置等の情報は、画像処理及び制御部１に送られる。タッチパネル８ｂにおけるタッチ位置は、画像処理及び制御部１において判定される。後述するように、再生表示時に着せ替えモードをタッチすると、同一人物で服装の異なる画像が順次表示される。
【００２７】
時計部９は、カレンダー機能や時計機能を有し、前述したように撮影時には撮影日時情報を出力する。撮影日時情報は、画像整理や画像検索の際に利用できる。通信部１２は、デジタル信号に変換された画像データを、テレビやパーソナルコンピュータ等の外部機器に送信する。通信手段としては、有線通信でも、赤外線や電波等を使用した無線通信でも良い。
【００２８】
次に、本実施形態に係わるカメラの電子アルバムの機能について、図２ないし図４を用いて説明する。記録部４には、多数の画像データが記録されており、この画像データに様々な機会に撮影され、撮影日ごとに整理され、画像分類情報が一緒に関連情報として記録されている。この画像分類については、詳しくは、図６および図７を用いて後述する。図２（ａ）〜（ｄ）に、撮影日ごとに整理されて記録されている画像群を示す。
【００２９】
この整理された画像群の中で興味のない写真が多数ある場合もあり、その場合には、本実施形態において、ダイジェストで画像を見ることができるようにしている。例えば、自分の写っている写真だけを見たい場合や、見せたい場合があり、この場合には、図３（ａ）〜（ｄ）に示すように、自分が写っている写真を抽出し、これらを再生表示することを可能としている。特に女性ユーザの場合には、どんな服を着ていたかに興味があり、服装の異なる写真を見たくなったり、見せたい場合がある。
【００３０】
そこで、本実施形態においては、人物を指定すると、着せ替え感覚で同一人物（自分自身の場合も含む）について服装だけが異なる写真集のようなものを簡単に作成できるようにし、写真を撮る楽しみを増加させている。興味ある人物の服装が変わっていくので、写真集の画像が変化に富み、また服装の違いによって様々シーンを楽しむことができる。
【００３１】
また、本実施形態においては、着せ替え感覚で同一人物の服装が変化した画像を集めて表示するが、その際、顔の大きさや位置を揃え、また構図も揃えるようにしている。このため、服装のみが変わっていくような効果を強調できる。また、表示にあたっては、図３に示すように、個々の画像を１枚１枚順次切り替わるスライドショー形式でも良い。図３（ａ）〜（ｄ）は、同一人物で服装が異なる写真画像であり、表示にあたっては、顔の大きさや位置を揃えるようにしており、図中、縦破線の間に顔が入るように、調節している。
【００３２】
また、図４に示すように、同一画面上を分割し、この画面上に並べて表示することにより、比較できるようにしても良い。この場合、図４（ａ）のように、左上に１枚表示し、次に、図４（ｂ）のように右上に１枚追加表示し、続いて、図４（ｃ）のように左下に１枚追加表示し、最後に、図４（ｄ）のように４枚全て表示するようにしても良い。また、順次、表示するのではなく、いきなり図４（ｄ）に示すように、最初から４枚を同時に表示するようにしても良い。このように一度に表示しても良いが、順次表示することにより、鑑賞者の期待を高め、１枚１枚ゆっくり見ることができる。
【００３３】
次に、前述したような電子アルバムを楽しむことのできるカメラ１０の動作について、図５ないし図１０を用いて説明する。図５に示すカメラ制御のフローに入ると、まず、電源がオンか否かの判定を行う（Ｓ１００）。このステップでは、カメラ１０の操作部材としてのパワースイッチがオンか否かを操作判定部６によって判定し、パワースイッチがオフの場合には、カメラ制御のフローを終了する。なお、カメラ制御のフローを終了しても、パワースイッチの状態を検知しており、パワースイッチがオンとなると、ステップＳ１００から動作を開始する。
【００３４】
ステップＳ１００における判定の結果、電源がオンであった場合には、次に、撮影モードか否かの判定を行う（Ｓ１０１）。この判定の結果、撮影モードであった場合には、次に、顔検出を行う（Ｓ１０２）。ここでは、撮像部２からの画像データに基づいて、顔検出部３によって顔が含まれているか否かの判定を行う。続いて、露出演算を行う（Ｓ１０３）。ここでは、ステップＳ１０２において検出した顔の部分に対して、撮像部２によって取得した画像データを用いて、適正露光となるシャッタ速度や絞り値等の演算を行う。また、画像データのコントラスト信号に基づいて、顔の部分にピントが合うように焦点調節も行う。
【００３５】
露出演算を行うと、次に、ライブビュー表示を行う（Ｓ１０４）。ここでは、撮像部２によって取得された画像データに基づいて、表示部８に毎秒３０コマ程度で被写体像をライブビュー表示する。ユーザは、ライブビュー表示に基づいて、構図を決めたり、シャッタチャンスを決定し、レリーズ動作を行うことができる。
【００３６】
ライブビュー表示を行うと、次に、レリーズを行うか否かの判定を行う（Ｓ１０５）。ここでは、レリーズ釦が操作されたか否かを操作判定部６によって判定する。この判定の結果、レリーズでなかった場合には、ステップＳ１００に戻る。一方、ステップＳ１０５における判定の結果、レリーズであった場合には、次に、撮影・記録を行う（Ｓ１３１）。この撮影・記録においては、撮像部２によって取得された画像データを、画像処理及び制御部１によって画像処理し、この画像処理された画像データを、記録部４に記録する。
【００３７】
撮影・記録を行うと、次に、画像分類を行う（Ｓ１３２）。ここでは、撮影画像をスナップ、ポートレート、風景等の撮影主題ごとに分類し、また、撮影画像中の顔の数、位置、大きさ、特徴等を検出し、顔を検出した場合には、顔の下の色やパターン等、種々の情報を得られるよう、画像分類を行う。この画像分類のサブルーチンについては、図６を用いて後述する。画像分類を行うと、この分類結果の記録を行う（Ｓ１３３）。ステップＳ１３１において画像データを記録するが、ステップＳ１３３は、記録された画像データに関連付けて、後述する図７（ａ）に示すような表形式で関連情報部４ｂに記録する。また、このステップでは、上述の情報以外にもＧＰＳ７によって検出した撮影位置情報等の関連情報も記録する。分類結果の記録を行うと、ステップＳ１００に戻る。
【００３８】
ステップＳ１０１における判定の結果、撮影モードでなかった場合には、再生モードか否かの判定を行う（Ｓ１１１）。この判定の結果、再生モードでなかった場合には、ステップＳ１００に戻る。一方、再生モードであった場合には、再生表示の１回目か否かの判定を行う（Ｓ１２０）。この判定の結果、再生１回目であれば、最終撮影画像の再生を行う（Ｓ１２１）。ここでは、直近に撮影された最終撮影画像を、表示部８ａに再生表示する。
【００３９】
最終撮影画像を再生表示すると、またはステップＳ１２０における判定の結果、再生１回目でなかった場合には、次に、切換操作されたか否かの判定を行う（Ｓ１２２）。ここでは、操作判定部６によって、再生表示されている画像の送り釦または戻し釦の操作、またはサムネイル表示するためのサムネイル釦がなされたか否かを判定する。この判定の結果、これらの操作が行われていた場合には、次に、操作されていたのが、サムネイル釦であったか否かの判定を行う（Ｓ１２４）。
【００４０】
ステップＳ１２４における判定の結果、サムネイル釦が操作されていた場合には、サムネイル表示を行う（Ｓ１２５）。サムネイル表示は、記録部４に記録されている複数の撮影画像を一覧形式で表示部８ａに表示する形式である。サムネイル表示すると、サムネイル表示の中から画像が選択されたか否かの判定を行う（Ｓ１２６）。ユーザがサムネイル表示の中から拡大して見たい画像を、タッチパネル８ｂをタッチする等によって選択するので、このステップではタッチパネル８ｂ上でのタッチ状態に基づいて選択がなされたか否かの判定を行う。
【００４１】
ステップＳ１２６における判定の結果、選択されていなかった場合には、ステップＳ１２０に戻る。一方、判定の結果、選択されていた場合には、選択された画像を表示部８ａに拡大表示する（Ｓ１２７）。
【００４２】
ステップＳ１２４における判定の結果、サムネイル釦が操作されていなかった場合には、次画像の表示を行う（Ｓ１２８）。このステップでは、再生画像の送り釦または戻し釦の操作に応じた次の画像を記録部４から読み出し、表示部８ａに表示する。
【００４３】
ステップＳ１２２における判定の結果、切換操作がされていなかった場合、またはステップＳ１２８において次画像表示を行うと、またはステップＳ１２７において選択画像を拡大表示すると、次に、着せ替えモードか否かの判定を行う（Ｓ１２９）。ユーザが、図３および図４を用いて説明した着せ替えモードで再生表示を望む場合には、着せ替え釦を操作するので、ここでは、着せ替え釦が操作されたか否かを操作判定部６によって判定する。
【００４４】
ステップＳ１２９における判定の結果、着せ替えモードであった場合には、着せ替え再生を行う（Ｓ１３０）。ここでは、前述の図３、図４を用いて説明した着せ替えモードでの再生表示を行う。着せ替えモードのサブルーチンについては、図８を用いて後述する。着せ替え再生を行うと、ステップＳ１００に戻る。ステップＳ１２９における判定の結果、着せ替えモードでなかった場合には、ステップＳ１２０に戻る。
【００４５】
次に、ステップＳ１３２における画像分類のサブルーチンについて、図６および図７を用いて説明する。本実施形態においては、ステップＳ１３０における着せ替え表示を行うにあたって、スナップ写真やポートレート写真の中から同一人物で異なる服装の写真を検索している。この検索を容易にするために、画像分類部１ｅにおいて、撮影画像について画像分類を行っている。画像分類は、主に撮影時に得られた画像データとその他の情報に基づいて、図７に示すような形式で、各画像と表形式で関連付け、その結果を関連情報部４ｂに記録している。撮影時に画像データと共に記録しておくことにより、再生時に検索を迅速に行うことができる。もちろん、撮影時に限らず、再生時に行うようにしても構わない。
【００４６】
図６に示す画像分類のサブルーチンでは、顔検出部３による顔検出結果に基づいて画像に顔の部分が含まれるか否か、顔の大きさや数、顔の特徴などの情報に従って、人物が全身で背景も多く含むスナップ写真、顔の表情を中心としたポートレート写真に分類している。また、撮像部２からの画像データを用いて画像の色情報や彩度情報、またピント合わせの信号等を利用し、花の写真、小物の写真、ペットの写真、風景写真等に判定している。
【００４７】
図６に示す画像分類のサブルーチンに入ると、まず、画像の中に顔があるか否かの判定を行う（Ｓ３０１）。この判定は、顔検出部３によって行う。この判定の結果、顔が存在した場合には、次に、中央の人の顔の下の部分の色や、パターンを判定して記録する（Ｓ３０２）。顔の下の部分の色を見ているのは、服装の色として検出するためであり、また、服装のパターンも検出して、これらの情報を関連情報部４ｂに記録する。
【００４８】
次に、顔の大きさが大か否かの判定を行う（Ｓ３０３）。この判定の結果、所定の大きさより大きかった場合にはポートレート写真とし（Ｓ３０５）、一方、所定の大きさよりも小さかった場合には、スナップ写真と判定する（Ｓ３０４）。したがって、ステップＳ３０３における判定値は、分類分けを行うに相応しい値とする。
【００４９】
ステップＳ３０４、Ｓ３０５において分類分けを行うと、次に、顔の数、位置、大きさ、特徴を検出し、判定する（Ｓ３０６）。ここでは、顔位置・大きさ判定部１ｃによる判定結果に基づいて、顔の数、位置、大きさを検出する。また、顔特徴抽出部１ｂによって、顔の特徴を抽出する。家族や友人等、撮影の可能性のある人物顔の特徴は、例えば、Ｐ−Ａ、Ｐ−Ｂのように、予め顔特徴抽出部１ｂに登録しておき、この登録された顔の特徴と一致するか否かを判定する。これら検出された結果は、関連情報部４ｂに記録される。
【００５０】
ステップＳ３０１における判定の結果、顔がなかった場合には、次に、主要色の判定を行う（Ｓ３１０）ここでは、画面中央等において、画面の主要な色を判定する。続いて、遠距離か否かの判定を行う（Ｓ３１１）。この判定は、撮像部２でピント合わせを行った際のピント位置に基づいて行う。この判定の結果、遠距離にあった場合には、画像は風景写真と判定する（Ｓ３１７）。
【００５１】
ステップＳ３１１における判定の結果、遠距離でなかった場合には、次に、至近側か否かの判定を行う（Ｓ３１２）。この判定も、撮像部２においてピント合わせを行った際のピント位置に基づいて、近距離側のマクロ領域での撮影か否かを判定する。この判定の結果、至近側領域での撮影でなかった場合には、ペットの写真と判定する（Ｓ３１６）。この場合は、遠距離でもなく至近距離でもなく、種々の写真が含まれる可能性があるが、ここではペットと分類する。ペットの写真を探す場合には、この分類で検索することにより、迅速に探し出すことができる。
【００５２】
ステップＳ３１２における判定の結果、至近側であった場合には、次に、彩度が高いか否かの判定を行う（Ｓ３１３）。ここでは、画像データの彩度を判定し、所定値より高い場合には、画像を花の写真と判定し（Ｓ３１４）、所定値より彩度が低かった場合には、画像を小物と判定する（Ｓ３１５）。一般に、花の方が小物に比較し、彩度が高いからである。
【００５３】
図７（ａ）は、画像分類のフローにおいて分類され、関連情報部４ｂに記録された情報の一例を示す。また、図７（ｂ）は、画面の分割例を示し、本実施形態においては、領域Ａ１〜Ａ９の９分割である。また各領域Ａ１〜Ａ９では、顔の大きさをＤ１〜Ｄ３の３段階に分けている。図中、画像１は、スナップ写真であり、顔の数が２つあり、領域Ａ４に登録済みの人物Ｐ−Ａが顔の大きさＤ２で写っており、領域Ａ６には不明の人物Ｐ−Ｘが顔の大きさＤ３で写っている。また、顔の下の色は青色であり、服装のパターンは縦白縞模様であり、撮影日時は９月１５日である。画像１には、２人が写っているが、顔の大きい人（ここでは、Ｐ−Ａ）の顔の下の色とパターンを検出するようにしている。
【００５４】
画像２〜画像５にも画像に関連付けて情報が、図７（ａ）に示すように、記録されている。画像２には、人物が３人写っており、いずれも顔の大きさはＤ３で同じ大きさである。この場合には、まん中の人物の顔の下の色とパターンを検出して記録する。また画像５には、人物が２人写っており、いずれも顔の大きさはＤ２で同じ大きさである。この場合には、優劣が付けられないので、顔の下の色とパターンは両者を記録する。画像５の例では、一人は顔の下に白色で黒丸のパターンの服を着ており、他の一人は顔の下に白色でパターンなしの服を着ている。なお、人物Ｐ−Ａ、Ｐ−Ｂ、Ｐ−Ｘ等は、顔特徴抽出部１ｂによって判定される。ここで、Ｐ−Ａ、Ｐ−Ｂは家族、友人等、予め登録されている人物であり、Ｐ−Ｘは登録人物ではない場合に付与される。
【００５５】
このような画像分類しておくと、画像検索を迅速かつ効率的に行うことができる。例えば、顔画像を探す場合には、Ｓ３１４〜Ｓ３１7において分類された画像は、検索対象外とすることができ、検索を迅速かつ効率化することができる。また、顔特徴抽出部１ｂによってＰ−Ａ、Ｐ−Ｂ等、人物を区別して記録し、さらに、顔の下の部分、すなわち、服装の部分について、色やパターンを画像ごとに記録するようにしているので、同一人物について、異なった服装をしている画像を、迅速かつ効率的に検索することができる。
【００５６】
次に、ステップＳ１３０における着せ替え再生のサブルーチンについて、図８に示すフローチャートを用いて説明する。この着せ替え再生のサブルーチンでは、図４を用いて説明したように、表示部８ａの画面を４分割し、これに同時に並べて表示、または順次並べて表示を行うか、または、図４に示したように画面を分割することなく、１枚ずつ、同一人物で服装の異なる写真画像の表示を行う。
【００５７】
着せ替え再生のフローに入ると、まず、顔パターンと顔の下の画像の判定を行う（Ｓ１８１）。ここでは、ステップＳ１２１、Ｓ１２８、またはＳ１２７において選択されて表示されている画像について、顔パターンと、顔の下の画像の色やパターンの判定を行う。この判定にあたっては、図７（ａ）に示したような関連情報を用いて判定しても良く、また、画像データを用いてパターン分析を行っても良い。関連情報を用いることにより迅速で判定できる。
【００５８】
ステップＳ１８１における判定を行うと、次に、検索を開始する（Ｓ１８２）。ここでは、ステップＳ１８１において判定された顔パターンと同じで、顔の下が異なる色やパターンの画像をステップＳ１８３〜Ｓ１９１において検索する。まず、検索対象が有るか否かの判定を行う（Ｓ１８３）。ここでは、記録部４に記録されている画像で、ステップＳ１８３〜Ｓ１９１における検索が終了していない画像が有るか否かの判定を行う。
【００５９】
ステップＳ８３における判定の結果、検索対象が有る場合には、次に、ステップＳ１２１、Ｓ１２８、またはＳ１２７において選択された一の画像について、同じ顔があるか否かの判定を行う（Ｓ１８４）。ここでは、選択されている画像の顔と同じ顔、すなわち、同一人物の顔か否かの判定を行う。判定にあたっては、ステップＳ１８１において判定した顔パターンを利用する。
【００６０】
ステップＳ１８４における判定の結果、同じ顔であれば、次に、違う服を着ているか否かの判定を行う（Ｓ１８５）。ここでは、ステップＳ１８４において同じ顔と判定された画像について、顔の下の色やパターンが異なっているかの判定を行う。判定にあたっては、ステップＳ１８１において判定した顔の下の画像判定を利用する。
【００６１】
ステップＳ１８５における判定の結果、違う服を着ていた場合には、次に、その画像が一人しか写っていない画像か否かの判定を行う（Ｓ１８６）。ここでは、同一人物で異なる服を着た写真画像について、一人で写っているか否かを判定する。あえて一人の画像か否かの判定をしているのは、着せ替え再生において、多くの人に見せる場合があり、一緒に写っている人がいる場合には、プライバシーの問題に配慮するためである。一人で写っていなかった場合であって、この画像を使用する場合には、後述するように、一人だけを切り出して使用する。
【００６２】
ステップＳ１８６における判定の結果、一人で写っていなかった場合には、予備画像として一時記憶する（Ｓ１８８）。一方、判定の結果、一人で写っていた場合には、候補画像として一時記憶する（Ｓ１８７）。候補化すると、次に、４枚済みか否かの判定を行う（Ｓ１９１）。前述したように、本実施形態においては、表示画面を４分割して画像を表示することから、ここでは、４枚の画像が揃ったか否かの判定を行う。
【００６３】
ステップＳ１９１における判定の結果、４枚済んでいなかった場合、またはステップＳ１８８において予備画像として一時記憶した場合、またはステップＳ１８５における判定の結果、違う服を着ていなかった場合、またはステップＳ１８４における判定の結果、同じ顔でなかった場合には、次に、次の画像を選択し（Ｓ１８９）、ステップＳ１８３に戻る。すなわち、次の画像を選択し、この選択画像について、ステップＳ１８３〜Ｓ１９１における判定や処理を行う。
【００６４】
ステップＳ１８３における判定の結果、検索対象がなかった場合には、予備を加えて着せ替えで表示する画像が複数あるか否の判定を行う（Ｓ２０１）。ステップＳ１８３における判定において、検索対象が無くなるのは、記録部４に記録されている全画像について、ステップＳ１８４〜Ｓ１９１における判定や処理が終わった状態である。この状態で、同じ顔で異なる服を着た写真画像が２以上ない場合には、着せ替え再生ができない。そこで、ステップＳ２０１における判定の結果、複数の写真画像がなかった場合には、着せ替え再生ができないことから、警告表示を行う（Ｓ２０２）。
【００６５】
一方、ステップＳ２０１における判定の結果、予備画像を加えて複数の写真画像があった場合には、予備画像の場合は一人だけ取り出しを行う（Ｓ２０３）。ステップＳ１８７において候補化された画像が４枚あれば、その４枚を使用して着せ替え表示を行うが、候補化された画像が４枚ない場合には、このステップにおいて、複数の人物が写っている予備画像から、同一人物の画像を取り出す（トリミング）する。
【００６６】
ステップＳ２０３において一人だけ取り出すと、またはステップＳ１９１における判定の結果、４枚揃った場合には、次に、１番大きな顔に揃えて拡大を行う（Ｓ１９２）。ここでは、図３において説明したように、顔の大きさを揃えるために、１番大きな顔に合わせている。なお、１番大きな顔に合わせる以外にも、例えば、中間の大きさに合わせても良く、また、予め設定しておいたサイズ（例えば、画面サイズの１／５等）でも良い。
【００６７】
続いて、顔の位置を中央に揃える（Ｓ１９３）。いつも同じ位置に顔を表示することにより、見やすくなる。なお、中央に限らずとも、やや左側や右側でも勿論かまわない。位置を揃えると、次に、検索された４枚の写真画像を、並べて表示、または順次表示する（Ｓ１９４）。ここで、「並べて表示」は、図４で説明したように、表示部８ａの画面を４分割して同時又は順次、同一人物で異なる服装の写真画像を表示することである。また、「順次表示する」は、図３で説明したように、表示部８ａの画面を分割することなく、同一人物で異なる服装の写真画像を順次表示することである。なお、並べて表示か順次表示かは、メニュー画面等において、ユーザが適宜選択できるようにしても良く、また、いずれか一方のみしかできなくても良い。
【００６８】
ステップＳ１９４において着せ替え表示を行うと、またはステップＳ２０２における警告表示を行うと、次に、終了するか否かの判定を行う（Ｓ１９５）。着せ替えモードを終了する場合には、ユーザは、再度、着せ替え釦を操作するので、ここでは、着せ替え釦の操作状態を判定する。この判定の結果、終了でなかった場合には、ステップＳ１８９に進み、次の画像を選択して、ステップＳ１８３に戻る。一方、判定の結果、終了であった場合には、着せ替え再生の動作を終了し、元のフローに戻る。
【００６９】
このように、本実施形態においては、顔画像のパターンと、顔の下の色やパターンに基づいて、同一人物で異なる服を着た写真画像を検索して、これを再生表示している。このため、同一人物でありながら服装が異なることから、変化に富んだコミュニケーションを促すような画像を再生表示すことができる。また、本実施形態においては、検索した結果を表示するにあたって、顔の大きさや、位置を揃えている。このため、見やすくなると共に、比較して見比べやすくなる。
【００７０】
なお、本実施形態においては、並べやすさから画面の分割数を４としている。しかし、画面の分割数は、４以外にも２、３、６、８、９等、適宜変更しても良い。また、本実施形態においては、複数の人物が写っている場合のみ、予備画像とし、ステップＳ２０３において一人を取り出すようにしていた。しかし、ステップＳ１８６、Ｓ１８８を省略し、すべての画像について、一人を取り出すようにしても良い。
【００７１】
次に、着せ替え表示の表示方法の変形例について、図９を用いて説明する。着せ替え表示としては、図３および図４に示したような表示方法以外にも、例えば、図９に示すように、着せ替えた人物の姿のみを並べていくようにしても良い。すなわち、まず最初に図９（ａ）に示す写真画像の人物部分３１ａを表示部８ａに表示し、次に人物部分３１ａに加えて図９（ｂ）に示すように人物部分３１ｂを表示する。
【００７２】
そして、次に図９（ｃ）示すような人物部分３１ｃを追加表示し、その次に、図９（ｄ）に示すように人物部分３１ｄを追加表示する。図９（ｄ）において、同一人物で服装の異なる４枚の写真画像が、表示部８ａに表示されるように、詰めて表示する。このような変形例は、図８のフローにおいて、ステップＳ１９３をスキップし、ステップＳ１９４において、取りだした人物の部分を順次並べて表示すれば良い。
【００７３】
次に、図１０に着せ替え表示の表示方法の別の変形例を示す。この表示方法、図３のように、着せ替えた人物の写真画像を順次、表示する場合の変形例である。この変形例では、図１０（ａ）と図１０（ｃ）の画像が、実際に撮影され、着せ替え再生のフローの中で検索された写真画像である。図３の例では、（ａ）の次に（ｃ）の写真画像を表示する、本変形例においては、２つの写真画像の間に、モーフィング処理された図１０（ｂ）の画像を挿入する。
【００７４】
モーフィング処理にあたって、図１０（ａ）に示す人物部分３２の腕部３２ａと、図１０（ｃ）に示す人物部分３３の胴体部分３３ａを合成して、図１０（ｂ）に示すような合成画像を生成する。図１０（ａ）の写真画像の次に、この合成画像を表示し、続いて、図１０（ｃ）の写真画像を表示する。本変形例においては、写真画像と写真画像の間に、合成画像を挿入するので、写真画像の変化が滑らかに移り変わるという利点がある。本変形例は、図８のフローにおいて、ステップＳ１９４において、順次、表示する際に、このモーフィング処理を行いながら、画像を表示すれば良い。
【００７５】
なお、本発明の一実施形態や変形例においては、背景のある写真画像の中から人物画像を抜き出している。この抜き出し方としては、撮像系を２つ持つカメラで、ステレオ撮影を行い、視差のない部分を背景として切り取るようにすれば良い。また、強力なストロボ光を照射し、反射光の多い所を抜き出し、その部分を人物画像としても良い。さらに、人物写真を撮影し、これを利用するようにしてもよい。もちろん、顔の部分を検出し、その輪郭に繋がっている部分を人物とみなすようにしても良い。いずれにしても、画像の中から人物の部分を抜き出す方法であれば、本実施形態において利用できる。
【００７６】
以上説明したように、本発明の実施形態においては、同一人物について異なる服装を着用している画像を検索し、これを表示するようにしている。このため、コミュニケーションを促すような変化に富んだ画像を再生表示することができる。
【００７７】
また、本発明の実施形態においては、予め決められた数の画像を検索すると（図８の例では、ステップＳ１９１において４枚に達すると）、一括して画像を表示するようにしていた。このため、同時または順次、同一人物で異なる服装の画像をまとめて楽しむことができる。さらに、本発明の実施形態においては、顔の位置や大きさを揃えるようにして、表示するようにしている。このため、画像が見やすく、また比較することが簡単にできる。
【００７８】
さらに、本発明の実施形態においては、人物の部分のみを抽出して、これを表示する場合もある。人物部分のみを表示することで、一緒に写っている人のプライバシーを気にする必要がなくなり、また、服装の比較がし易くなる。
【００７９】
なお、本実施形態においては、ステップＳ１８６で一人画像と判定された場合には、背景を人物の部分から分離することなく、表示していた。しかし、これに限らず、全ての画像について、背景を人物の部分から分離し、人物の部分のみを表示するようにしても良い。
【００８０】
また、本実施形態においては、顔の大きさを揃え、かつ顔の位置も揃えていた。しかし、これに限らず、一方のみを揃えるでも構わない。
【００８１】
さらに、本発明の実施形態においては、人物像の検出にあたって、顔検出部を利用したが、これに限らず、目鼻や手足等のパターン解析等、他の検出方法を利用するようにしても良い。また、服装の検出にあたって、顔の下の色やパターンを利用していたが、これ以外の画像解析を利用するようにしても良い。
【００８２】
さらに、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【００８３】
さらに、本発明の実施形態においては、撮影装置が画像表示装置の機能を有していたが、これに限らず、テレビ、パーソナルコンピュータ等の撮影機能を有さない機器でも勿論かまわない。この場合には、撮影装置で撮影した画像データをこれらの機器の記憶部に一旦格納するようにすれば良い。本実施形態では撮影時に画像分類を行っていたが、これらの機器の場合、予め画像分類等の関連情報が付されていない画像を記憶部に格納した場合には、画像分類等の関連情報を付与すれば良い。また、テレビ等のモニタ機器とカメラ等の撮影装置を連携させて画像表示させるようにしても良い。
【００８４】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００８５】
１・・・画像処理及び制御部、１ｂ・・・顔特徴抽出部、１ｃ・・・顔位置・大きさ判定部、１ｄ・・・画像検索部、１ｅ・・・画像分類部、２・・・撮像部、３・・・顔検出部、４・・・記録部、４ｂ・・・関連情報部、６・・・操作判定部、７・・・ＧＰＳ、８・・・表示制御部、８ａ・・・表示部、８ｂ・・・タッチパネル、９・・・時計部、１０・・・カメラ、１１ａ・・・ユーザの指、１２・・・通信部、３１ａ・・・人物部分、３１ｂ・・・人物部分、３１ｃ・・・人物部分、３１ｄ・・・人物部分、３２・・・人物部分、３２ａ・・・腕部、３３・・・人物部分、３３ａ・・・胴体部分
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法、およびプログラムに関し、詳しくは、撮影装置によって撮影された画像データを再生表示する画像表示装置、画像表示方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、メモリの大容量化や低価格化が進み、カメラ等の撮影装置内にこれを内蔵して、ここに大量の画像データを保存することが可能となっている。また、カメラ等の背面に設けられている液晶などの表示パネルも大型画面化が進み、保存された画像を表示パネルに表示して鑑賞することが行われている。カメラ等の撮影装置以外にも、パーソナルコンピュータや、撮影装置等と接続したテレビに保存された画像を表示し、みんなで画像を見て楽しむことも増えている。
【０００３】
表示パネル等で画像を表示するにあたって、大量の画像の中から目的とする画像を探すのは大変である。そこで、画像分類を容易にできるようにした画像表示装置が種々提案されている。例えば、特許文献１には、画像データに、撮影日時、撮影姿勢、撮影場所、撮影者等の付帯情報と一緒に記録し、この付帯情報を用いて、画像を整理保存し、分類検索することにより目的とする画像を鑑賞できるようにした画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許３５２８２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の画像表示装置は、撮影時に一緒に記録された付帯情報を用いて論理的に検索を行うものであって、鑑賞時にコミュニケーションを促すような変化に富んだ画像を再生するものではない。つまり、鑑賞者にとっては、付帯情報から想像される画像しか表示するだけであって、飽きることなく楽しむものではなかった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、コミュニケーションを促すような変化に富んだ画像を再生表示することのできる画像表示装置、画像表示方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる画像表示装置は、撮影画像内の顔画像を検知する顔検知部と、上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けする分類部と、上記分類部による分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を表示する表示制御部と、を有する。
【０００８】
第２の発明に係わる画像表示装置は、上記第１の発明において、上記顔検知部は、上記顔画像の大きさと位置を検知可能であり、上記表示制御部は、上記顔画像の大きさ及び／又は位置を変更する。
第３の発明に係わる画像表示装置は、上記第１の発明において、上記表示制御部における表示では、上記分類部によって分類によって分類された複数の画像から人物の部分を、同時に、または順次に表示する。
【０００９】
第４の発明に係わる画像表示装置は、上記第１の発明において、上記表示制御部における表示の際に、２つの画像の間に、この２つの画像を合成した合成画像を表示する。
第５の発明に係わる画像表示装置は、上記第１の発明において、上記表示制御部は、上記顔画像に基づいて人物の部分を抽出し、上記人物の部分を表示する。
【００１０】
第６の発明に係わる画像表示装置は、撮影画像を記憶する記憶部と、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定する人物判定部と、上記撮影画像上の人物の服装部分を判定する服装判定部と、上記人物判定部によって同一人物と判定された画像について、上記服装判定部によって異なる服装を着用していると判定された画像を検索する検索部と、上記検索部によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する表示部と、を有する。
【００１１】
第７の発明に係わる画像表示装置は、上記第６の発明において、上記表示部における一括表示では、上記検索部によって検索された予め決められた数の画像を、同時に、または順次に表示する。
第８の発明に係わる画像表示装置は、上記第６の発明において、上記表示部における一括表示では、上記検索部によって検索された画像中の顔の大きさ及び／又は位置を揃える。
【００１２】
第９の発明に係わる画像表示装置は、撮影画像を記憶する記憶部と、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定する人物判定部と、上記撮影画像上の人物の服装部分を判定する服装判定部と、上記人物判定部によって同一人物と判定された画像について、上記服装判定部によって異なる服装を着用していると判定された画像を検索する検索部と、上記検索部によって検索された画像から、人物の部分を抜き出す人物抽出部と、この人物抽出部によって抽出された人物を表示する表示部と、を有する。
【００１３】
第１０の発明に係わる画像表示装置は、上記表示部は、上記検索部によって検索された複数の人物の大きさ、及び／又は位置を揃える。
第１１の発明に係わる画像表示装置は、上記第９の発明において、上記表示部は、上記検索部によって検索された複数の人物を、同時、または順次表示する。
【００１４】
第１２の発明に係わる画像表示方法は、撮影画像内の顔画像を検知し、上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けし、上記分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を一括表示する。
第１３の発明に係わる画像表示方法は、撮影画像を記憶し、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、上記検索によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する。
第１４の発明に係わる画像表示方法は、撮影画像を記憶し、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、上記撮影画像上の人物の服装部分を判定し、上記同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、上記検索された画像から、人物の部分を抜き出し、この抽出された人物を表示する。
【００１５】
第１５の発明に係わるプログラムは、撮影画像内の顔画像を検知し、上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けし、上記分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を一括表示する。
第１６の発明に係わるプログラムは、撮影画像を記憶し、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、上記検索によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する。
第１７の発明に係わるプログラムは、撮影画像を記憶し、上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、上記撮影画像上の人物の服装部分を判定し、上記同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、上記検索された画像から、人物の部分を抜き出し、この抽出された人物を表示する。
【発明の効果】
【００１６】
本発明によれば、コミュニケーションを促すような変化に富んだ画像を再生表示することのできる画像表示装置、画像表示方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係わるカメラにおける電気回路を示すブロック図である。
【図２】本発明の一実施形態に係るカメラにおいて撮影された多数の画像の様子を示す図である。
【図３】本発明の一実施形態に係わるカメラにおいて、自分が写っている画像のみを抽出した画像の様子を示す図である。
【図４】本発明の一実施形態に係わるカメラにおいて、自分が写っている画像のみを１つの画面を分割して順次表示してく様子を示す図である。
【図５】本発明の一実施形態におけるカメラにおけるカメラ制御の動作を示すフローチャートである。
【図６】本発明の一実施形態におけるカメラにおける画像分類の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、画像分類を行うにあたって使用する関連情報を説明する図である。
【図８】本発明の一実施形態におけるカメラにおける着せ替え再生の動作を示すフローチャートである。
【図９】本発明の一実施形態におけるカメラにおける着せ替え表示の変形例を示す図である。
【図１０】本発明の一実施形態におけるカメラにおける着せ替え表示の別の変形例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、画像処理及び制御部１、撮像部２、顔検出部３、記録部４、操作判定部６、ＧＰＳ７、表示部８ａ、タッチパネル８ｂ、時計部９、通信部１２等から構成される。
【００１９】
撮像部２は、撮像素子、撮影レンズ２、シャッタ等の露出制御部、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換する。顔検出部３は、撮像部２から画像データを入力し、被写体像の中に顔の像が含まれているか否かを検出する。
【００２０】
画像処理及び制御部１は、記憶されているプログラムに従ってカメラ１０全体のシーケンスを制御する。また、撮像部２から出力される画像信号を取り込み、間引き処理、エッジ強調、色補正、画像圧縮、動画処理、コントラスト調整、ホワイトバランス等の種々の画像処理を行い、またライブビュー表示、記録部４への記録、再生表示等の画像処理を行う。画像処理及び制御部１内には、顔特徴抽出部１ｂ、顔位置・大きさ判定部１ｃ、画像検索部１ｄ、画像分類部１ｅ、顔の下のパターン・色判定部１ｆ、および表示制御部８を含んでいる。
【００２１】
顔位置・大きさ判定部１ｃは、顔検出部３によって顔の像が含まれていることが検出された場合に、その顔の位置と大きさを判定する。顔特徴抽出部１ｂは、目鼻や口の位置等から顔の特徴を抽出する。抽出された顔の特徴を用いて、登録されている人と同じか否かを判定することができる。顔の下のパターン・色判定部１ｆは、顔位置・大きさ判定部１ｃによって顔の位置が検出されると、顔の下の服装のパターン、例えば、縦縞模様、黒丸模様等と、顔の下の服装の色、例えば、赤、青、黄色等を判定する。
【００２２】
画像分類部１ｅは、スナップ写真、ポートレート写真、風景写真等に画像を分類する。画像検索部１ｅは、後述する関連情報部４ｂに記録されている関連情報を用いて、画像の検索を行う。関連情報としては、画像分類、撮影日時、顔の下のパターン・色の情報等が含まれる。表示制御部８は、撮影時には撮像部２からの画像信号に基づいてライブビュー表示の制御を行い、再生モード時には記録部４に記録されている画像の再生制御を行う。また、タッチパネル８ｂでのタッチ操作に応じて、表示の切り替えを行う。
【００２３】
なお、画像処理及び制御部１は、顔検出部３によって検出された顔の大きさを他の画像の顔の大きさと揃えるように画像の拡大や縮小を行い、また、顔の位置を中央等に位置するように画像の移動も行う。さらに、顔検出部３によって検出された顔を含む人物の人物部分のみを切り出し、背景と分離する画像処理も行う。
【００２４】
記録部４は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理及び制御部１によって画像処理された画像データを記録する。また、画像データを記録するにあたって、撮影日時等の情報と関連付けられ、この関連情報を記憶する。また、記録部４内には、関連情報部４ｂが設けられており、記録部４に記録される画像データに関連付けて、撮影日時、画像分類、顔の数、顔の位置、顔の下の服装の色、服装のパターン等の情報が記憶される。この関連情報については、図７を用いて後述する。
【００２５】
操作判定部６は、レリーズ釦、パワースイッチ、再生モード釦、サムネイル釦、送り釦、戻し釦、着せ替え釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、画像処理及び制御部１に判定結果を送る。画像処理及び制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。ＧＰＳ７は、全地球測位システム（Global Positioning System）であり、撮影時の位置を測定し、この測定結果を関連情報として関連情報部４ｂに記憶する。
【００２６】
表示部８ａは、液晶パネル等を含み、撮影前のライブビュー表示や、記録された撮影画像の再生表示を行う。また表示部８ａの前面には、タッチパネル８ｂが設けられており、撮影者等によるタッチ位置等の情報は、画像処理及び制御部１に送られる。タッチパネル８ｂにおけるタッチ位置は、画像処理及び制御部１において判定される。後述するように、再生表示時に着せ替えモードをタッチすると、同一人物で服装の異なる画像が順次表示される。
【００２７】
時計部９は、カレンダー機能や時計機能を有し、前述したように撮影時には撮影日時情報を出力する。撮影日時情報は、画像整理や画像検索の際に利用できる。通信部１２は、デジタル信号に変換された画像データを、テレビやパーソナルコンピュータ等の外部機器に送信する。通信手段としては、有線通信でも、赤外線や電波等を使用した無線通信でも良い。
【００２８】
次に、本実施形態に係わるカメラの電子アルバムの機能について、図２ないし図４を用いて説明する。記録部４には、多数の画像データが記録されており、この画像データに様々な機会に撮影され、撮影日ごとに整理され、画像分類情報が一緒に関連情報として記録されている。この画像分類については、詳しくは、図６および図７を用いて後述する。図２（ａ）〜（ｄ）に、撮影日ごとに整理されて記録されている画像群を示す。
【００２９】
この整理された画像群の中で興味のない写真が多数ある場合もあり、その場合には、本実施形態において、ダイジェストで画像を見ることができるようにしている。例えば、自分の写っている写真だけを見たい場合や、見せたい場合があり、この場合には、図３（ａ）〜（ｄ）に示すように、自分が写っている写真を抽出し、これらを再生表示することを可能としている。特に女性ユーザの場合には、どんな服を着ていたかに興味があり、服装の異なる写真を見たくなったり、見せたい場合がある。
【００３０】
そこで、本実施形態においては、人物を指定すると、着せ替え感覚で同一人物（自分自身の場合も含む）について服装だけが異なる写真集のようなものを簡単に作成できるようにし、写真を撮る楽しみを増加させている。興味ある人物の服装が変わっていくので、写真集の画像が変化に富み、また服装の違いによって様々シーンを楽しむことができる。
【００３１】
また、本実施形態においては、着せ替え感覚で同一人物の服装が変化した画像を集めて表示するが、その際、顔の大きさや位置を揃え、また構図も揃えるようにしている。このため、服装のみが変わっていくような効果を強調できる。また、表示にあたっては、図３に示すように、個々の画像を１枚１枚順次切り替わるスライドショー形式でも良い。図３（ａ）〜（ｄ）は、同一人物で服装が異なる写真画像であり、表示にあたっては、顔の大きさや位置を揃えるようにしており、図中、縦破線の間に顔が入るように、調節している。
【００３２】
また、図４に示すように、同一画面上を分割し、この画面上に並べて表示することにより、比較できるようにしても良い。この場合、図４（ａ）のように、左上に１枚表示し、次に、図４（ｂ）のように右上に１枚追加表示し、続いて、図４（ｃ）のように左下に１枚追加表示し、最後に、図４（ｄ）のように４枚全て表示するようにしても良い。また、順次、表示するのではなく、いきなり図４（ｄ）に示すように、最初から４枚を同時に表示するようにしても良い。このように一度に表示しても良いが、順次表示することにより、鑑賞者の期待を高め、１枚１枚ゆっくり見ることができる。
【００３３】
次に、前述したような電子アルバムを楽しむことのできるカメラ１０の動作について、図５ないし図１０を用いて説明する。図５に示すカメラ制御のフローに入ると、まず、電源がオンか否かの判定を行う（Ｓ１００）。このステップでは、カメラ１０の操作部材としてのパワースイッチがオンか否かを操作判定部６によって判定し、パワースイッチがオフの場合には、カメラ制御のフローを終了する。なお、カメラ制御のフローを終了しても、パワースイッチの状態を検知しており、パワースイッチがオンとなると、ステップＳ１００から動作を開始する。
【００３４】
ステップＳ１００における判定の結果、電源がオンであった場合には、次に、撮影モードか否かの判定を行う（Ｓ１０１）。この判定の結果、撮影モードであった場合には、次に、顔検出を行う（Ｓ１０２）。ここでは、撮像部２からの画像データに基づいて、顔検出部３によって顔が含まれているか否かの判定を行う。続いて、露出演算を行う（Ｓ１０３）。ここでは、ステップＳ１０２において検出した顔の部分に対して、撮像部２によって取得した画像データを用いて、適正露光となるシャッタ速度や絞り値等の演算を行う。また、画像データのコントラスト信号に基づいて、顔の部分にピントが合うように焦点調節も行う。
【００３５】
露出演算を行うと、次に、ライブビュー表示を行う（Ｓ１０４）。ここでは、撮像部２によって取得された画像データに基づいて、表示部８に毎秒３０コマ程度で被写体像をライブビュー表示する。ユーザは、ライブビュー表示に基づいて、構図を決めたり、シャッタチャンスを決定し、レリーズ動作を行うことができる。
【００３６】
ライブビュー表示を行うと、次に、レリーズを行うか否かの判定を行う（Ｓ１０５）。ここでは、レリーズ釦が操作されたか否かを操作判定部６によって判定する。この判定の結果、レリーズでなかった場合には、ステップＳ１００に戻る。一方、ステップＳ１０５における判定の結果、レリーズであった場合には、次に、撮影・記録を行う（Ｓ１３１）。この撮影・記録においては、撮像部２によって取得された画像データを、画像処理及び制御部１によって画像処理し、この画像処理された画像データを、記録部４に記録する。
【００３７】
撮影・記録を行うと、次に、画像分類を行う（Ｓ１３２）。ここでは、撮影画像をスナップ、ポートレート、風景等の撮影主題ごとに分類し、また、撮影画像中の顔の数、位置、大きさ、特徴等を検出し、顔を検出した場合には、顔の下の色やパターン等、種々の情報を得られるよう、画像分類を行う。この画像分類のサブルーチンについては、図６を用いて後述する。画像分類を行うと、この分類結果の記録を行う（Ｓ１３３）。ステップＳ１３１において画像データを記録するが、ステップＳ１３３は、記録された画像データに関連付けて、後述する図７（ａ）に示すような表形式で関連情報部４ｂに記録する。また、このステップでは、上述の情報以外にもＧＰＳ７によって検出した撮影位置情報等の関連情報も記録する。分類結果の記録を行うと、ステップＳ１００に戻る。
【００３８】
ステップＳ１０１における判定の結果、撮影モードでなかった場合には、再生モードか否かの判定を行う（Ｓ１１１）。この判定の結果、再生モードでなかった場合には、ステップＳ１００に戻る。一方、再生モードであった場合には、再生表示の１回目か否かの判定を行う（Ｓ１２０）。この判定の結果、再生１回目であれば、最終撮影画像の再生を行う（Ｓ１２１）。ここでは、直近に撮影された最終撮影画像を、表示部８ａに再生表示する。
【００３９】
最終撮影画像を再生表示すると、またはステップＳ１２０における判定の結果、再生１回目でなかった場合には、次に、切換操作されたか否かの判定を行う（Ｓ１２２）。ここでは、操作判定部６によって、再生表示されている画像の送り釦または戻し釦の操作、またはサムネイル表示するためのサムネイル釦がなされたか否かを判定する。この判定の結果、これらの操作が行われていた場合には、次に、操作されていたのが、サムネイル釦であったか否かの判定を行う（Ｓ１２４）。
【００４０】
ステップＳ１２４における判定の結果、サムネイル釦が操作されていた場合には、サムネイル表示を行う（Ｓ１２５）。サムネイル表示は、記録部４に記録されている複数の撮影画像を一覧形式で表示部８ａに表示する形式である。サムネイル表示すると、サムネイル表示の中から画像が選択されたか否かの判定を行う（Ｓ１２６）。ユーザがサムネイル表示の中から拡大して見たい画像を、タッチパネル８ｂをタッチする等によって選択するので、このステップではタッチパネル８ｂ上でのタッチ状態に基づいて選択がなされたか否かの判定を行う。
【００４１】
ステップＳ１２６における判定の結果、選択されていなかった場合には、ステップＳ１２０に戻る。一方、判定の結果、選択されていた場合には、選択された画像を表示部８ａに拡大表示する（Ｓ１２７）。
【００４２】
ステップＳ１２４における判定の結果、サムネイル釦が操作されていなかった場合には、次画像の表示を行う（Ｓ１２８）。このステップでは、再生画像の送り釦または戻し釦の操作に応じた次の画像を記録部４から読み出し、表示部８ａに表示する。
【００４３】
ステップＳ１２２における判定の結果、切換操作がされていなかった場合、またはステップＳ１２８において次画像表示を行うと、またはステップＳ１２７において選択画像を拡大表示すると、次に、着せ替えモードか否かの判定を行う（Ｓ１２９）。ユーザが、図３および図４を用いて説明した着せ替えモードで再生表示を望む場合には、着せ替え釦を操作するので、ここでは、着せ替え釦が操作されたか否かを操作判定部６によって判定する。
【００４４】
ステップＳ１２９における判定の結果、着せ替えモードであった場合には、着せ替え再生を行う（Ｓ１３０）。ここでは、前述の図３、図４を用いて説明した着せ替えモードでの再生表示を行う。着せ替えモードのサブルーチンについては、図８を用いて後述する。着せ替え再生を行うと、ステップＳ１００に戻る。ステップＳ１２９における判定の結果、着せ替えモードでなかった場合には、ステップＳ１２０に戻る。
【００４５】
次に、ステップＳ１３２における画像分類のサブルーチンについて、図６および図７を用いて説明する。本実施形態においては、ステップＳ１３０における着せ替え表示を行うにあたって、スナップ写真やポートレート写真の中から同一人物で異なる服装の写真を検索している。この検索を容易にするために、画像分類部１ｅにおいて、撮影画像について画像分類を行っている。画像分類は、主に撮影時に得られた画像データとその他の情報に基づいて、図７に示すような形式で、各画像と表形式で関連付け、その結果を関連情報部４ｂに記録している。撮影時に画像データと共に記録しておくことにより、再生時に検索を迅速に行うことができる。もちろん、撮影時に限らず、再生時に行うようにしても構わない。
【００４６】
図６に示す画像分類のサブルーチンでは、顔検出部３による顔検出結果に基づいて画像に顔の部分が含まれるか否か、顔の大きさや数、顔の特徴などの情報に従って、人物が全身で背景も多く含むスナップ写真、顔の表情を中心としたポートレート写真に分類している。また、撮像部２からの画像データを用いて画像の色情報や彩度情報、またピント合わせの信号等を利用し、花の写真、小物の写真、ペットの写真、風景写真等に判定している。
【００４７】
図６に示す画像分類のサブルーチンに入ると、まず、画像の中に顔があるか否かの判定を行う（Ｓ３０１）。この判定は、顔検出部３によって行う。この判定の結果、顔が存在した場合には、次に、中央の人の顔の下の部分の色や、パターンを判定して記録する（Ｓ３０２）。顔の下の部分の色を見ているのは、服装の色として検出するためであり、また、服装のパターンも検出して、これらの情報を関連情報部４ｂに記録する。
【００４８】
次に、顔の大きさが大か否かの判定を行う（Ｓ３０３）。この判定の結果、所定の大きさより大きかった場合にはポートレート写真とし（Ｓ３０５）、一方、所定の大きさよりも小さかった場合には、スナップ写真と判定する（Ｓ３０４）。したがって、ステップＳ３０３における判定値は、分類分けを行うに相応しい値とする。
【００４９】
ステップＳ３０４、Ｓ３０５において分類分けを行うと、次に、顔の数、位置、大きさ、特徴を検出し、判定する（Ｓ３０６）。ここでは、顔位置・大きさ判定部１ｃによる判定結果に基づいて、顔の数、位置、大きさを検出する。また、顔特徴抽出部１ｂによって、顔の特徴を抽出する。家族や友人等、撮影の可能性のある人物顔の特徴は、例えば、Ｐ−Ａ、Ｐ−Ｂのように、予め顔特徴抽出部１ｂに登録しておき、この登録された顔の特徴と一致するか否かを判定する。これら検出された結果は、関連情報部４ｂに記録される。
【００５０】
ステップＳ３０１における判定の結果、顔がなかった場合には、次に、主要色の判定を行う（Ｓ３１０）ここでは、画面中央等において、画面の主要な色を判定する。続いて、遠距離か否かの判定を行う（Ｓ３１１）。この判定は、撮像部２でピント合わせを行った際のピント位置に基づいて行う。この判定の結果、遠距離にあった場合には、画像は風景写真と判定する（Ｓ３１７）。
【００５１】
ステップＳ３１１における判定の結果、遠距離でなかった場合には、次に、至近側か否かの判定を行う（Ｓ３１２）。この判定も、撮像部２においてピント合わせを行った際のピント位置に基づいて、近距離側のマクロ領域での撮影か否かを判定する。この判定の結果、至近側領域での撮影でなかった場合には、ペットの写真と判定する（Ｓ３１６）。この場合は、遠距離でもなく至近距離でもなく、種々の写真が含まれる可能性があるが、ここではペットと分類する。ペットの写真を探す場合には、この分類で検索することにより、迅速に探し出すことができる。
【００５２】
ステップＳ３１２における判定の結果、至近側であった場合には、次に、彩度が高いか否かの判定を行う（Ｓ３１３）。ここでは、画像データの彩度を判定し、所定値より高い場合には、画像を花の写真と判定し（Ｓ３１４）、所定値より彩度が低かった場合には、画像を小物と判定する（Ｓ３１５）。一般に、花の方が小物に比較し、彩度が高いからである。
【００５３】
図７（ａ）は、画像分類のフローにおいて分類され、関連情報部４ｂに記録された情報の一例を示す。また、図７（ｂ）は、画面の分割例を示し、本実施形態においては、領域Ａ１〜Ａ９の９分割である。また各領域Ａ１〜Ａ９では、顔の大きさをＤ１〜Ｄ３の３段階に分けている。図中、画像１は、スナップ写真であり、顔の数が２つあり、領域Ａ４に登録済みの人物Ｐ−Ａが顔の大きさＤ２で写っており、領域Ａ６には不明の人物Ｐ−Ｘが顔の大きさＤ３で写っている。また、顔の下の色は青色であり、服装のパターンは縦白縞模様であり、撮影日時は９月１５日である。画像１には、２人が写っているが、顔の大きい人（ここでは、Ｐ−Ａ）の顔の下の色とパターンを検出するようにしている。
【００５４】
画像２〜画像５にも画像に関連付けて情報が、図７（ａ）に示すように、記録されている。画像２には、人物が３人写っており、いずれも顔の大きさはＤ３で同じ大きさである。この場合には、まん中の人物の顔の下の色とパターンを検出して記録する。また画像５には、人物が２人写っており、いずれも顔の大きさはＤ２で同じ大きさである。この場合には、優劣が付けられないので、顔の下の色とパターンは両者を記録する。画像５の例では、一人は顔の下に白色で黒丸のパターンの服を着ており、他の一人は顔の下に白色でパターンなしの服を着ている。なお、人物Ｐ−Ａ、Ｐ−Ｂ、Ｐ−Ｘ等は、顔特徴抽出部１ｂによって判定される。ここで、Ｐ−Ａ、Ｐ−Ｂは家族、友人等、予め登録されている人物であり、Ｐ−Ｘは登録人物ではない場合に付与される。
【００５５】
このような画像分類しておくと、画像検索を迅速かつ効率的に行うことができる。例えば、顔画像を探す場合には、Ｓ３１４〜Ｓ３１7において分類された画像は、検索対象外とすることができ、検索を迅速かつ効率化することができる。また、顔特徴抽出部１ｂによってＰ−Ａ、Ｐ−Ｂ等、人物を区別して記録し、さらに、顔の下の部分、すなわち、服装の部分について、色やパターンを画像ごとに記録するようにしているので、同一人物について、異なった服装をしている画像を、迅速かつ効率的に検索することができる。
【００５６】
次に、ステップＳ１３０における着せ替え再生のサブルーチンについて、図８に示すフローチャートを用いて説明する。この着せ替え再生のサブルーチンでは、図４を用いて説明したように、表示部８ａの画面を４分割し、これに同時に並べて表示、または順次並べて表示を行うか、または、図４に示したように画面を分割することなく、１枚ずつ、同一人物で服装の異なる写真画像の表示を行う。
【００５７】
着せ替え再生のフローに入ると、まず、顔パターンと顔の下の画像の判定を行う（Ｓ１８１）。ここでは、ステップＳ１２１、Ｓ１２８、またはＳ１２７において選択されて表示されている画像について、顔パターンと、顔の下の画像の色やパターンの判定を行う。この判定にあたっては、図７（ａ）に示したような関連情報を用いて判定しても良く、また、画像データを用いてパターン分析を行っても良い。関連情報を用いることにより迅速で判定できる。
【００５８】
ステップＳ１８１における判定を行うと、次に、検索を開始する（Ｓ１８２）。ここでは、ステップＳ１８１において判定された顔パターンと同じで、顔の下が異なる色やパターンの画像をステップＳ１８３〜Ｓ１９１において検索する。まず、検索対象が有るか否かの判定を行う（Ｓ１８３）。ここでは、記録部４に記録されている画像で、ステップＳ１８３〜Ｓ１９１における検索が終了していない画像が有るか否かの判定を行う。
【００５９】
ステップＳ８３における判定の結果、検索対象が有る場合には、次に、ステップＳ１２１、Ｓ１２８、またはＳ１２７において選択された一の画像について、同じ顔があるか否かの判定を行う（Ｓ１８４）。ここでは、選択されている画像の顔と同じ顔、すなわち、同一人物の顔か否かの判定を行う。判定にあたっては、ステップＳ１８１において判定した顔パターンを利用する。
【００６０】
ステップＳ１８４における判定の結果、同じ顔であれば、次に、違う服を着ているか否かの判定を行う（Ｓ１８５）。ここでは、ステップＳ１８４において同じ顔と判定された画像について、顔の下の色やパターンが異なっているかの判定を行う。判定にあたっては、ステップＳ１８１において判定した顔の下の画像判定を利用する。
【００６１】
ステップＳ１８５における判定の結果、違う服を着ていた場合には、次に、その画像が一人しか写っていない画像か否かの判定を行う（Ｓ１８６）。ここでは、同一人物で異なる服を着た写真画像について、一人で写っているか否かを判定する。あえて一人の画像か否かの判定をしているのは、着せ替え再生において、多くの人に見せる場合があり、一緒に写っている人がいる場合には、プライバシーの問題に配慮するためである。一人で写っていなかった場合であって、この画像を使用する場合には、後述するように、一人だけを切り出して使用する。
【００６２】
ステップＳ１８６における判定の結果、一人で写っていなかった場合には、予備画像として一時記憶する（Ｓ１８８）。一方、判定の結果、一人で写っていた場合には、候補画像として一時記憶する（Ｓ１８７）。候補化すると、次に、４枚済みか否かの判定を行う（Ｓ１９１）。前述したように、本実施形態においては、表示画面を４分割して画像を表示することから、ここでは、４枚の画像が揃ったか否かの判定を行う。
【００６３】
ステップＳ１９１における判定の結果、４枚済んでいなかった場合、またはステップＳ１８８において予備画像として一時記憶した場合、またはステップＳ１８５における判定の結果、違う服を着ていなかった場合、またはステップＳ１８４における判定の結果、同じ顔でなかった場合には、次に、次の画像を選択し（Ｓ１８９）、ステップＳ１８３に戻る。すなわち、次の画像を選択し、この選択画像について、ステップＳ１８３〜Ｓ１９１における判定や処理を行う。
【００６４】
ステップＳ１８３における判定の結果、検索対象がなかった場合には、予備を加えて着せ替えで表示する画像が複数あるか否の判定を行う（Ｓ２０１）。ステップＳ１８３における判定において、検索対象が無くなるのは、記録部４に記録されている全画像について、ステップＳ１８４〜Ｓ１９１における判定や処理が終わった状態である。この状態で、同じ顔で異なる服を着た写真画像が２以上ない場合には、着せ替え再生ができない。そこで、ステップＳ２０１における判定の結果、複数の写真画像がなかった場合には、着せ替え再生ができないことから、警告表示を行う（Ｓ２０２）。
【００６５】
一方、ステップＳ２０１における判定の結果、予備画像を加えて複数の写真画像があった場合には、予備画像の場合は一人だけ取り出しを行う（Ｓ２０３）。ステップＳ１８７において候補化された画像が４枚あれば、その４枚を使用して着せ替え表示を行うが、候補化された画像が４枚ない場合には、このステップにおいて、複数の人物が写っている予備画像から、同一人物の画像を取り出す（トリミング）する。
【００６６】
ステップＳ２０３において一人だけ取り出すと、またはステップＳ１９１における判定の結果、４枚揃った場合には、次に、１番大きな顔に揃えて拡大を行う（Ｓ１９２）。ここでは、図３において説明したように、顔の大きさを揃えるために、１番大きな顔に合わせている。なお、１番大きな顔に合わせる以外にも、例えば、中間の大きさに合わせても良く、また、予め設定しておいたサイズ（例えば、画面サイズの１／５等）でも良い。
【００６７】
続いて、顔の位置を中央に揃える（Ｓ１９３）。いつも同じ位置に顔を表示することにより、見やすくなる。なお、中央に限らずとも、やや左側や右側でも勿論かまわない。位置を揃えると、次に、検索された４枚の写真画像を、並べて表示、または順次表示する（Ｓ１９４）。ここで、「並べて表示」は、図４で説明したように、表示部８ａの画面を４分割して同時又は順次、同一人物で異なる服装の写真画像を表示することである。また、「順次表示する」は、図３で説明したように、表示部８ａの画面を分割することなく、同一人物で異なる服装の写真画像を順次表示することである。なお、並べて表示か順次表示かは、メニュー画面等において、ユーザが適宜選択できるようにしても良く、また、いずれか一方のみしかできなくても良い。
【００６８】
ステップＳ１９４において着せ替え表示を行うと、またはステップＳ２０２における警告表示を行うと、次に、終了するか否かの判定を行う（Ｓ１９５）。着せ替えモードを終了する場合には、ユーザは、再度、着せ替え釦を操作するので、ここでは、着せ替え釦の操作状態を判定する。この判定の結果、終了でなかった場合には、ステップＳ１８９に進み、次の画像を選択して、ステップＳ１８３に戻る。一方、判定の結果、終了であった場合には、着せ替え再生の動作を終了し、元のフローに戻る。
【００６９】
このように、本実施形態においては、顔画像のパターンと、顔の下の色やパターンに基づいて、同一人物で異なる服を着た写真画像を検索して、これを再生表示している。このため、同一人物でありながら服装が異なることから、変化に富んだコミュニケーションを促すような画像を再生表示すことができる。また、本実施形態においては、検索した結果を表示するにあたって、顔の大きさや、位置を揃えている。このため、見やすくなると共に、比較して見比べやすくなる。
【００７０】
なお、本実施形態においては、並べやすさから画面の分割数を４としている。しかし、画面の分割数は、４以外にも２、３、６、８、９等、適宜変更しても良い。また、本実施形態においては、複数の人物が写っている場合のみ、予備画像とし、ステップＳ２０３において一人を取り出すようにしていた。しかし、ステップＳ１８６、Ｓ１８８を省略し、すべての画像について、一人を取り出すようにしても良い。
【００７１】
次に、着せ替え表示の表示方法の変形例について、図９を用いて説明する。着せ替え表示としては、図３および図４に示したような表示方法以外にも、例えば、図９に示すように、着せ替えた人物の姿のみを並べていくようにしても良い。すなわち、まず最初に図９（ａ）に示す写真画像の人物部分３１ａを表示部８ａに表示し、次に人物部分３１ａに加えて図９（ｂ）に示すように人物部分３１ｂを表示する。
【００７２】
そして、次に図９（ｃ）示すような人物部分３１ｃを追加表示し、その次に、図９（ｄ）に示すように人物部分３１ｄを追加表示する。図９（ｄ）において、同一人物で服装の異なる４枚の写真画像が、表示部８ａに表示されるように、詰めて表示する。このような変形例は、図８のフローにおいて、ステップＳ１９３をスキップし、ステップＳ１９４において、取りだした人物の部分を順次並べて表示すれば良い。
【００７３】
次に、図１０に着せ替え表示の表示方法の別の変形例を示す。この表示方法、図３のように、着せ替えた人物の写真画像を順次、表示する場合の変形例である。この変形例では、図１０（ａ）と図１０（ｃ）の画像が、実際に撮影され、着せ替え再生のフローの中で検索された写真画像である。図３の例では、（ａ）の次に（ｃ）の写真画像を表示する、本変形例においては、２つの写真画像の間に、モーフィング処理された図１０（ｂ）の画像を挿入する。
【００７４】
モーフィング処理にあたって、図１０（ａ）に示す人物部分３２の腕部３２ａと、図１０（ｃ）に示す人物部分３３の胴体部分３３ａを合成して、図１０（ｂ）に示すような合成画像を生成する。図１０（ａ）の写真画像の次に、この合成画像を表示し、続いて、図１０（ｃ）の写真画像を表示する。本変形例においては、写真画像と写真画像の間に、合成画像を挿入するので、写真画像の変化が滑らかに移り変わるという利点がある。本変形例は、図８のフローにおいて、ステップＳ１９４において、順次、表示する際に、このモーフィング処理を行いながら、画像を表示すれば良い。
【００７５】
なお、本発明の一実施形態や変形例においては、背景のある写真画像の中から人物画像を抜き出している。この抜き出し方としては、撮像系を２つ持つカメラで、ステレオ撮影を行い、視差のない部分を背景として切り取るようにすれば良い。また、強力なストロボ光を照射し、反射光の多い所を抜き出し、その部分を人物画像としても良い。さらに、人物写真を撮影し、これを利用するようにしてもよい。もちろん、顔の部分を検出し、その輪郭に繋がっている部分を人物とみなすようにしても良い。いずれにしても、画像の中から人物の部分を抜き出す方法であれば、本実施形態において利用できる。
【００７６】
以上説明したように、本発明の実施形態においては、同一人物について異なる服装を着用している画像を検索し、これを表示するようにしている。このため、コミュニケーションを促すような変化に富んだ画像を再生表示することができる。
【００７７】
また、本発明の実施形態においては、予め決められた数の画像を検索すると（図８の例では、ステップＳ１９１において４枚に達すると）、一括して画像を表示するようにしていた。このため、同時または順次、同一人物で異なる服装の画像をまとめて楽しむことができる。さらに、本発明の実施形態においては、顔の位置や大きさを揃えるようにして、表示するようにしている。このため、画像が見やすく、また比較することが簡単にできる。
【００７８】
さらに、本発明の実施形態においては、人物の部分のみを抽出して、これを表示する場合もある。人物部分のみを表示することで、一緒に写っている人のプライバシーを気にする必要がなくなり、また、服装の比較がし易くなる。
【００７９】
なお、本実施形態においては、ステップＳ１８６で一人画像と判定された場合には、背景を人物の部分から分離することなく、表示していた。しかし、これに限らず、全ての画像について、背景を人物の部分から分離し、人物の部分のみを表示するようにしても良い。
【００８０】
また、本実施形態においては、顔の大きさを揃え、かつ顔の位置も揃えていた。しかし、これに限らず、一方のみを揃えるでも構わない。
【００８１】
さらに、本発明の実施形態においては、人物像の検出にあたって、顔検出部を利用したが、これに限らず、目鼻や手足等のパターン解析等、他の検出方法を利用するようにしても良い。また、服装の検出にあたって、顔の下の色やパターンを利用していたが、これ以外の画像解析を利用するようにしても良い。
【００８２】
さらに、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【００８３】
さらに、本発明の実施形態においては、撮影装置が画像表示装置の機能を有していたが、これに限らず、テレビ、パーソナルコンピュータ等の撮影機能を有さない機器でも勿論かまわない。この場合には、撮影装置で撮影した画像データをこれらの機器の記憶部に一旦格納するようにすれば良い。本実施形態では撮影時に画像分類を行っていたが、これらの機器の場合、予め画像分類等の関連情報が付されていない画像を記憶部に格納した場合には、画像分類等の関連情報を付与すれば良い。また、テレビ等のモニタ機器とカメラ等の撮影装置を連携させて画像表示させるようにしても良い。
【００８４】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００８５】
１・・・画像処理及び制御部、１ｂ・・・顔特徴抽出部、１ｃ・・・顔位置・大きさ判定部、１ｄ・・・画像検索部、１ｅ・・・画像分類部、２・・・撮像部、３・・・顔検出部、４・・・記録部、４ｂ・・・関連情報部、６・・・操作判定部、７・・・ＧＰＳ、８・・・表示制御部、８ａ・・・表示部、８ｂ・・・タッチパネル、９・・・時計部、１０・・・カメラ、１１ａ・・・ユーザの指、１２・・・通信部、３１ａ・・・人物部分、３１ｂ・・・人物部分、３１ｃ・・・人物部分、３１ｄ・・・人物部分、３２・・・人物部分、３２ａ・・・腕部、３３・・・人物部分、３３ａ・・・胴体部分
【特許請求の範囲】
【請求項１】
撮影画像内の顔画像を検知する顔検知部と、
上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けする分類部と、
上記分類部による分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を表示する表示制御部と、
を有することを特徴とする画像表示装置。
【請求項２】
上記顔検知部は、上記顔画像の大きさと位置を検知可能であり、
上記表示制御部は、上記顔画像の大きさ及び／又は位置を変更する、
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記表示制御部における表示では、上記分類部によって分類によって分類された複数の画像から人物の部分を、同時に、または順次に表示することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
上記表示制御部における表示の際に、２つの画像の間に、この２つの画像を合成した合成画像を表示することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
上記表示制御部は、上記顔画像に基づいて人物の部分を抽出し、上記人物の部分を表示することを特徴とする請求項１に記載の画像表示装置。
【請求項６】
撮影画像を記憶する記憶部と、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定する人物判定部と、
上記撮影画像上の人物の服装部分を判定する服装判定部と、
上記人物判定部によって同一人物と判定された画像について、上記服装判定部によって異なる服装を着用していると判定された画像を検索する検索部と、
上記検索部によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項７】
上記表示部における一括表示では、上記検索部によって検索された予め決められた数の画像を、同時に、または順次に表示することを特徴とする請求項６に記載の画像表示装置。
【請求項８】
上記表示部における一括表示では、上記検索部によって検索された画像中の顔の大きさ及び／又は位置を揃えることを特徴とする請求項６に記載の画像表示装置。
【請求項９】
撮影画像を記憶する記憶部と、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定する人物判定部と、
上記撮影画像上の人物の服装部分を判定する服装判定部と、
上記人物判定部によって同一人物と判定された画像について、上記服装判定部によって異なる服装を着用していると判定された画像を検索する検索部と、
上記検索部によって検索された画像から、人物の部分を抜き出す人物抽出部と、
この人物抽出部によって抽出された人物を表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項１０】
上記表示部は、上記検索部によって検索された複数の人物の大きさ、及び／又は位置を揃えることを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
上記表示部は、上記検索部によって検索された複数の人物を、同時、または順次表示することを特徴とする請求項９に記載の画像表示装置。
【請求項１２】
撮影画像内の顔画像を検知し、
上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けし、
上記分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を一括表示する、
ことを特徴とする画像表示方法。
【請求項１３】
撮影画像を記憶し、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、
同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、
上記検索によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する、
ことを特徴とする画像表示方法。
【請求項１４】
撮影画像を記憶し、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、
上記撮影画像上の人物の服装部分を判定し、
上記同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、
上記検索された画像から、人物の部分を抜き出し、
この抽出された人物を表示する、
ことを特徴とする画像表示方法。
【請求項１５】
撮影画像内の顔画像を検知し、
上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けし、
上記分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を一括表示する、
ことをコンピュータに実行させるプログラム。
【請求項１６】
撮影画像を記憶し、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、
同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、
上記検索によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する、
ことをコンピュータに実行させるプログラム。
【請求項１７】
撮影画像を記憶し、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、
上記撮影画像上の人物の服装部分を判定し、
上記同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、
上記検索された画像から、人物の部分を抜き出し、
この抽出された人物を表示する、
ことをコンピュータに実行させるプログラム。
【請求項１】
撮影画像内の顔画像を検知する顔検知部と、
上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けする分類部と、
上記分類部による分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を表示する表示制御部と、
を有することを特徴とする画像表示装置。
【請求項２】
上記顔検知部は、上記顔画像の大きさと位置を検知可能であり、
上記表示制御部は、上記顔画像の大きさ及び／又は位置を変更する、
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記表示制御部における表示では、上記分類部によって分類によって分類された複数の画像から人物の部分を、同時に、または順次に表示することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
上記表示制御部における表示の際に、２つの画像の間に、この２つの画像を合成した合成画像を表示することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
上記表示制御部は、上記顔画像に基づいて人物の部分を抽出し、上記人物の部分を表示することを特徴とする請求項１に記載の画像表示装置。
【請求項６】
撮影画像を記憶する記憶部と、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定する人物判定部と、
上記撮影画像上の人物の服装部分を判定する服装判定部と、
上記人物判定部によって同一人物と判定された画像について、上記服装判定部によって異なる服装を着用していると判定された画像を検索する検索部と、
上記検索部によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項７】
上記表示部における一括表示では、上記検索部によって検索された予め決められた数の画像を、同時に、または順次に表示することを特徴とする請求項６に記載の画像表示装置。
【請求項８】
上記表示部における一括表示では、上記検索部によって検索された画像中の顔の大きさ及び／又は位置を揃えることを特徴とする請求項６に記載の画像表示装置。
【請求項９】
撮影画像を記憶する記憶部と、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定する人物判定部と、
上記撮影画像上の人物の服装部分を判定する服装判定部と、
上記人物判定部によって同一人物と判定された画像について、上記服装判定部によって異なる服装を着用していると判定された画像を検索する検索部と、
上記検索部によって検索された画像から、人物の部分を抜き出す人物抽出部と、
この人物抽出部によって抽出された人物を表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項１０】
上記表示部は、上記検索部によって検索された複数の人物の大きさ、及び／又は位置を揃えることを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
上記表示部は、上記検索部によって検索された複数の人物を、同時、または順次表示することを特徴とする請求項９に記載の画像表示装置。
【請求項１２】
撮影画像内の顔画像を検知し、
上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けし、
上記分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を一括表示する、
ことを特徴とする画像表示方法。
【請求項１３】
撮影画像を記憶し、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、
同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、
上記検索によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する、
ことを特徴とする画像表示方法。
【請求項１４】
撮影画像を記憶し、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、
上記撮影画像上の人物の服装部分を判定し、
上記同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、
上記検索された画像から、人物の部分を抜き出し、
この抽出された人物を表示する、
ことを特徴とする画像表示方法。
【請求項１５】
撮影画像内の顔画像を検知し、
上記撮影画像を、顔画像のパターンと、顔画像の下の色、またはパターンで分類分けし、
上記分類分け結果に応じて同じ顔で異なる色、またはパターンの画像を一括表示する、
ことをコンピュータに実行させるプログラム。
【請求項１６】
撮影画像を記憶し、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、
同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、
上記検索によって、予め決められた数の画像を検索すると、検索された画像を一括して表示する、
ことをコンピュータに実行させるプログラム。
【請求項１７】
撮影画像を記憶し、
上記撮影画像上で指定された人物と同一人物が写っている画像か否かを判定し、
上記撮影画像上の人物の服装部分を判定し、
上記同一人物と判定された画像について、異なる服装を着用していると判定された画像を検索し、
上記検索された画像から、人物の部分を抜き出し、
この抽出された人物を表示する、
ことをコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１９９７７２（Ｐ２０１０−１９９７７２Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４０２２７（Ｐ２００９−４０２２７）
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]