画像表示装置、画像表示方法、及びプログラム
【課題】家族の歴史のような典型的に懐かしさを想起させることができる画像を間違いなく選択して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供すること。
【解決手段】サーバ４００に画像データが入力された場合に、その画像データにおける人物の顔部と背景部とを分け、顔部における顔の表情と背景部における被写体の種類とから優先度、なつかしい度を求める。懐かしさを想起させる画像の再生時には画像データ毎のなつかしい度に応じて画像データを選択し、選択した画像をＰＣ５００において再生する。画像内に複数の顔部がある場合には、なつかしい度をそれぞれの顔の大きさや位置と関係からも設定する。
【解決手段】サーバ４００に画像データが入力された場合に、その画像データにおける人物の顔部と背景部とを分け、顔部における顔の表情と背景部における被写体の種類とから優先度、なつかしい度を求める。懐かしさを想起させる画像の再生時には画像データ毎のなつかしい度に応じて画像データを選択し、選択した画像をＰＣ５００において再生する。画像内に複数の顔部がある場合には、なつかしい度をそれぞれの顔の大きさや位置と関係からも設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示装置、画像表示方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、記録媒体の大容量化に伴い、フィルム写真年代に比べて大量の写真が撮影されるようになっている。また、こうした写真はデジタル画像で得られるので、ネットワーク等を介して様々な場所に送ることが容易である。
【０００３】
また、過去のフィルム写真もスキャナ等を利用してデジタル化することにより、どこでも玉石混淆の画像を鑑賞可能になっている。
【０００４】
このように、近年では大量の画像を取得できるようになった反面、その中から見たい画像を選択するには大変な努力を要するようになってきている。以前のように、記念写真のような機会にしか撮影がなされなかった時代では、写真を整理するのも比較的容易であり、また、整理されているため選択も容易であるが、近年のような、写真が日常的に大量に撮られるようになると、従来どおりに何かの記念に写されたもの（休暇中の家族の集まりや、慶事の集まり、家族が集まっての肖像写真等）と、日常の単なるメモ代わりの画像とが一緒くたになってしまう可能性があり、どこに懐かしい画像（ここでは、主に、家族の団欒を示すもの）があるかを見つけるのは難しい。
【０００５】
このような画像の選択技術に関連して、特許文献１ではコンピュータへの画像の保存時に写真とメタ情報とを関連付けて登録しておくことにより、メタ情報に従って懐かしさを感じさせる画像を選択し、選択した画像に従って映像効果付の思い出ビデオを作成している。
【特許文献１】特開２００６−２８７５２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１のように思い出等を時間で管理しようとする動きはあるが、単に古い画像が懐かしい画像であるわけはなく、実際には、その画像を撮影した瞬間やその前後に、誰とどのようなことが起こったかを思い出せるような画像が懐かしい画像であるといえる。また、複数人で写真を鑑賞する場合等では個人的な思い出の写真よりも写真に写った複数の人物の関係性が分かりやすく、その当時の被写体の感情が読み取れる写真のほうが重要な場合が多い。
【０００７】
本発明は、上記の事情に鑑みてなされたものであり、家族の年代史のような典型的に懐かしさを想起させることができる画像を間違いなく選択して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の第１の態様の画像表示装置は、複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、上記画像における顔部分を複数検出する顔検出部と、上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、該判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定する優先度設定部と、上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部とを備えたことを特徴とする。
【０００９】
また、上記の目的を達成するために、本発明の第２の態様の画像表示装置は、複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、上記画像内から人物の部分を検出する人物検出部と、上記人物の部分の検出結果から、上記画像内における背景の部分を検出する背景検出部と、上記背景検出部で検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させる表示制御部とを備えたことを特徴とする。
【００１０】
また、上記の目的を達成するために、本発明の第３の態様の画像表示方法は、複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、上記画像における顔部分を複数検出し、上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定し、上記表示優先度に応じた優先順位で上記画像を表示させることを特徴とする。
【００１１】
また、上記の目的を達成するために、本発明の第４の態様の画像表示方法は、複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、上記画像内から人物の部分を検出し、上記人物の部分の検出結果から、上記画像内における背景の部分を検出し、上記検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させることを特徴とする。
【００１２】
また、上記の目的を達成するために、本発明の第５の態様の画像表示プログラムは、複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、上記画像における顔部分を複数検出するステップと、上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定するステップと、上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定するステップと、上記表示優先度に応じた優先順位で上記画像を表示させるステップとをコンピュータに実行させる。
【００１３】
また、上記の目的を達成するために、本発明の第６の態様の画像表示プログラムは、複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、上記画像内から人物の部分を検出するステップと、上記人物の部分の検出結果から、上記画像内における背景の部分を検出するステップと、上記検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させるステップとをコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、家族の年代史のような典型的に懐かしさを想起させることができる画像を間違いなく選択して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラ１００の構成を示すブロック図である。図１に示すデジタルカメラ１００は、マイクロプロセッシングユニット（ＭＰＵ）１０１と、操作部１０２と、撮影レンズ１０３と、オートフォーカス（ＡＦ）回路１０４と、絞り機構１０５と、絞り制御回路１０６と、撮像素子１０７と、アナログフロントエンド（ＡＦＥ）回路１０８と、画像処理回路１０９と、表示制御回路１１０と、表示パネル１１１と、形状検出回路１１２と、距離検出回路１１３と、顔検出回路１１４と、圧縮／伸張部１１５と、記録制御回路１１６と、記録メディア１１７と、通信部１１８と、補助光発光回路１１９とを有して構成されている。また、このデジタルカメラ１００は、ネットワーク３００を介してサーバ４００、ＰＣ５００と通信自在に接続されている。
【００１６】
ＭＰＵ１０１は、ユーザからの操作部１０２の操作に応じてデジタルカメラ１００を構成する各ブロックをシーケンシャルに制御する。操作部１０２は、デジタルカメラ１００による撮影を実行させるためのレリーズスイッチや、デジタルカメラ１００の動作モードを撮影モード、再生モード、ダイジェスト再生モードの何れかに切り替えるための切り替えスイッチ、サーバ４００から得られる情報表示のオンオフを切り替えるスイッチ等が含まれる。
【００１７】
また、ＭＰＵ１０１は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。
【００１８】
撮影レンズ１０３は、被写体２００からの像を撮像素子１０７に結像させる。この撮影レンズ１０３は、オートフォーカス（ピント合わせ）用のレンズを含んでいる。オートフォーカスの際に、ＭＰＵ１０１は、ピント合わせレンズのレンズ位置をモニタしつつ、ＡＦ回路１０４を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ１０３のピント合わせを行う。また、絞り機構１０５は、撮影レンズ１０３内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構１０５は、撮影開始時に絞り制御回路１０６によって所定の口径まで開かれ、撮影終了時に閉じられるものである。撮影時の絞り機構１０５の口径を変えることによって、撮影レンズ１０３の被写界深度が変化する。これによって、背景被写体のぼけ具合等を調整して、撮影時に主要被写体を浮かび上がらせたり、背景被写体をしっかりと描写したりするなどの表現の切替を行うことができる。
【００１９】
撮像素子１０７は、多数の画素が配列されて構成される受光面を有し、撮影レンズ１０３を介して受光した被写体２００からの像を電気的な信号に変換する。本実施形態においては、撮像素子１０７にはＣＣＤ方式及びＣＭＯＳ方式の何れを用いても良い。
【００２０】
ＡＦＥ回路１０８は、ＣＤＳ回路、ゲイン調整回路、ＡＤ変換回路等を含み、撮像素子１０７において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路１０９に入力する。また、ＡＦＥ回路１０８には、撮像素子１０７を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、ＡＦＥ回路１０８によって、４画素（２×２画素）や９画素（３×３画素）の信号をまとめて読み出し、これら読み出した電気信号を加算することでＳ／Ｎを向上させることができる。このような処理によって、撮像素子１０７の見かけ上の感度を上げること等ができる。
【００２１】
さらに、ＡＦＥ回路１０８は、撮像素子１０７からの出力信号を取捨選択する機能も有し、撮像素子１０７の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することもできる。一般に、撮像素子１０７は間引きを行うことで高速で信号を読み出すことができる。この機能を利用して、撮像素子１０７で構図確認用に得られた画像を高速で読み出して画像処理回路１０９において処理してから表示パネル１１１に表示すれば、ユーザは表示パネル１１１上に表示される画像を利用してフレーミングを行うことが可能である。
【００２２】
画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。
【００２３】
また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データを表示パネル１１１に表示可能なようにリサイズ（縮小）する機能も有する。
【００２４】
表示制御回路１１０は、画像処理回路１０９で得られた画像データや記録メディア１１７に記録されている画像データを映像信号に変換し、表示パネル１１１に表示させる。表示パネル１１１は液晶表示パネルや有機ＥＬ表示パネル等の表示パネルである。また、表示制御回路１１０は、表示パネル１１１に複数の画像を重畳して表示させるマルチ画面表示機能も有している。このマルチ画面表示機能によって、撮影した画像や撮影する画像の上に、モード設定の文字表示やいろいろな警告表示を重畳表示することも可能である。
【００２５】
形状検出回路１１２は、画像処理回路１０９によって得られる画像データにおける輪郭情報を検出する。
【００２６】
距離検出回路１１３は、画像処理回路１０９によって得られる画像のコントラストを検出する。この距離検出回路１１３によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、ＡＦ回路１０４によって撮影レンズ１０３のピント合わせレンズのレンズ位置を変化させながら、距離検出回路１１３によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ１０３のピント合わせを行うことができる。また、ピント合わせ時のレンズ位置の情報によって、主要被写体の距離や背景被写体の距離等を検出することも可能である。
【００２７】
顔検出回路１１４は、画像処理回路１０９によって得られる画像内の特徴点（例えば、主要被写体が人物等であれば、目や鼻、口等）の分布から、主要被写体の特に顔部分の画像を検出する。
【００２８】
これら形状検出回路１１２、距離検出回路１１３、顔検出回路１１４は、写真の質の向上という意味では、写真撮影時にユーザがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するため（ポートレートモードに設定するなど）に利用される。また、画像の再生時には、顔検出回路１１４による顔検出の機能によって、その画像のうち、主要被写体（の顔部分）と背景部とを分けることが可能である。これにより、顔部分から目や口の形を検出し、それを後述する記録制御回路１１６内のデータベース１１６ａと比較して無表情の顔か、或いは表情のある顔かを判定することができる。また、顔検出回路１１４によって検出した顔が画像内にいくつあるかを判定することによって、その画像が集合写真であるかを判定することができる。
【００２９】
圧縮／伸張部１１５は、撮影時に、画像処理回路１０９において処理された画像データを圧縮するとともに、撮影時に記録制御回路１１６を介して記録メディア１１７から読み出した画像データを伸張する。
【００３０】
記録制御回路１１６は、圧縮／伸張部１１５で圧縮された画像データに撮影時刻等の付随データを付随させて記録メディア１１７に記録する。また、記録制御回路１１６は、顔部分等の画像を比較したりするためのデータベース１１６ａを有している。このデータベース１１６ａの内容は、カメラ製造時に記録してもよいが、デジタルカメラ１００外部のサーバ４００等からネットワーク経由で書き換え可能としてもよい。
【００３１】
通信部１１８は、記録メディア１１７に記録された画像データ等をデジタルカメラ１００外部のパーソナルコンピュータ（以下、ＰＣと称する）５００やサーバ４００等に送信したり、サーバ４００等から各種の情報を受信したりする際の通信制御を行う。この通信部１１８によって、デジタルカメラ１００で撮影した画像を他の人に転送したり、ネットワーク上のサービス（例えば、ネットワーク接続されたサイト等と連携したサービス）を利用して、情報を付加したり、受信したりすることができる。
【００３２】
補助光発光回路１１９は、撮影時の状況に応じて被写体２００に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。
【００３３】
このような構成のデジタルカメラ１００において、本実施形態では、多くの画像の中から、思い出を想起させやすい画像を選択して表示する、ダイジェスト再生を可能とする。即ち、ユーザが操作部１０２を操作してデジタルカメラ１００の動作モードをダイジェスト再生モードとすると、記録メディア１１７に記録されている画像のうち、複数の人物がいて、なお且つそれら複数の人物の関係から、懐かしさを想起させやすい画像が選択されて、その画像が優先的に表示パネル１１１に表示される。
【００３４】
以下、ダイジェスト再生モードによる再生についてさらに説明する。なお、以下の説明においてはダイジェスト再生モードの機能をデジタルカメラ１００外部のサーバ上で実現する例について説明する。しかしながら、後述するサーバの機能をデジタルカメラ１００のＭＰＵ１０１等に持たせることにより、デジタルカメラ１００においてもダイジェスト再生モードでの再生が可能となる。
【００３５】
図２は、本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。図２に示す通信システムは、サーバ４００、ＰＣ５００、ＰＣ６００がネットワーク３００を介してデータ通信自在に接続されている。さらに、ＰＣ６００にはデジタルカメラ１００及びスキャナ７００から画像データが入力され、この画像データは、ネットワーク３００を介してサーバ４００に送信可能になされている。ここで、図２の例は、１つのサーバ４００内にデータベースや画像の判定機能を持たせたものである。これらの機能を複数のサーバに配分して、より負担の軽いシステムとすることもできる。
【００３６】
なお、以下に説明する通信システムは、例えば家族の年代史のような画像を整理する場合等、１枚ずつ画像を吟味するには、画像データの量が多すぎるような状況を対策することができるシステムである。例えば、既に独立した子供達が家に戻ってきたとき等に、昔の家族の思い出を思い出すようなシステムが簡単に構成できる。
【００３７】
デジタルカメラ１００で撮影した写真画像データやスキャナ７００で取り込まれた写真画像データ（画像データ８００）がＰＣ６００、ネットワーク３００を介して送信される。ここで、デジタルカメラ１００で得られる画像データには撮影日時やタイトルなどの付随情報が付与されるが、撮影時に得られる画像における顔位置のデータ等を付与しておいてもよい。顔位置のデータ等を付与しておくことで、サーバ４００において、後述する顔検出が不要となるため、サーバ４００の処理量を削減することが可能である。
【００３８】
ネットワーク３００には、そこに行きかう情報を駆使して各種のサービスを行う、サーバ４００が存在する。本実施形態においては、ユーザによってダイジェスト再生モードが選択されると、サーバ４００において、ＰＣ６００から送られた画像データ８００の中から、昔を懐かしむことのできる画像データ９００が選択され、この選択された画像データ９００に基づき、画像がＰＣ５００において閲覧可能なように表示制御される。これによってデジタルカメラ１００で撮影された写真画像やスキャナ７００で取り込まれた画像を他のユーザが共有することが可能である。
【００３９】
このようなサーバ４００は、通信部４０１と、記録部４０２と、アクセス反応部４０３と、顔検出部４０４と、表情検出部４０５と、背景検出部４０６と、画像判定部４０７と、年代別データベース４０８と、画像選択部４０９と、表示制御部４１０とを有している。ここで、サーバ４００の各機能はハードウェアで構成しても良いし、ソフトウェアとして構成することもできる。
【００４０】
通信部４０１は、サーバ４００がネットワーク３００を介して通信を行う際の通信制御を行う。記録部４０２は、ネットワーク３００を介して送信されてくる画像データを記録する。アクセス反応部４０３は、ユーザから何らかの操作指示がなされた場合にその指示に応じた制御を行う。具体的には、ユーザから画像データの記録指示がなされた場合にはこの指示ととともに送信されてきた画像データを記録部４０２に記録する。一方、ユーザから画像データの再生指示がなされた場合にはそのときの再生モードに応じた画像選択指示を画像選択部４０９に行う。ここで、アクセス反応部４０３は、再生モードとして、上述したダイジェスト再生モードを少なくとも有しているものである。
【００４１】
顔検出部４０４は記録部４０２に記録された画像における顔部を検出する。顔部は、デジタルカメラ１００の顔検出回路１１４と同様に、画像内の特徴点（例えば、主要被写体が人物等であれば、目や鼻、口等）の分布から検出することが可能である。表情検出部４０５は顔検出部４０４において検出された顔部の画像から、その顔部の表情を検出することでダイジェスト再生モードの際の画像の表示優先度を評価する。
【００４２】
背景検出部４０６は記録部４０２に記録された画像における背景部を検出する。ここでの背景部とは、画像８００のうち、例えば図示破線枠８０１で示す人物以外の部分である。処理を簡単にするために、人物の顔部以外（人物の体も含む）を背景部として検出するようにしても良い。説明を簡単にするために、以下の説明においては、顔検出部４０４によって検出された顔部以外を背景として検出するものとする。画像判定部４０７は、背景検出部４０６によって検出された背景部において、文字等の思い出を想起させやすい被写体の有無を判定することでダイジェスト再生モードの際の画像の表示優先度を評価する。年代別データベース４０８は画像判定部４０７における思い出を想起させやすい被写体の判定に必要な各種データを年代別に記録している。例えば、年代別データベースには、年代別の文字の字体やキャッチフレーズのデータ、服装、乗り物のデータ等が記録されている。
【００４３】
画像選択部４０９は、アクセス反応部４０３からの指示に従った画像データを記録部４０２から選択する機能を有するとともに、ユーザによってダイジェスト再生モードが選択された場合には表情検出部４０５によって検出された表情と画像判定部４０７によって判定された被写体とから思い出を想起させやすい画像データを選択する機能を有する。表示制御部４１０は、画像選択部４０９によって選択された画像データをＰＣ５００で閲覧可能なように表示制御する。
【００４４】
以下、図２に示す通信システムの動作について説明する。図３は、図２のサーバ４００の動作を示すフローチャートである。
【００４５】
ユーザから何らかの操作指示がなされた場合に、サーバ４００のアクセス反応部４０３は、その指示が画像データの記録指示（画像データのアップロード指示）か、画像データの再生指示（画像データのダウンロード指示）かを判定する（ステップＳ１）。ステップＳ１の判定において画像の記録指示であった場合に、アクセス反応部４０３は、ユーザからの画像記録指示とともに送信されてきた画像データを記録部４０２に記録する（ステップＳ２）。
【００４６】
以下のステップＳ３〜ステップＳ７の処理はダイジェスト再生モード時の画像データの再生をスムーズに行うための処理である。これらの処理は後述するダイジェスト再生モード時に行うようにしても良い。ステップＳ２において画像データを記録部４０２に記録した後、顔検出部４０４及び背景検出部４０６によって、記録部４０２に記録された画像データの背景部を検出する（ステップＳ３）。ステップＳ３の処理の詳細については後述する。
【００４７】
背景部が検出された後、画像判定部４０７は、画像内に年代特定しやすい被写体を含む画像が存在しているか否かを判定する（ステップＳ４）。このステップＳ４の判定の詳細については後述する。ステップＳ４の判定において、年代特定しやすい被写体を含む画像が存在している場合に、画像判定部４０７は、年代特定しやすい被写体を含む画像を識別するための符号として、例えばステップＳ４の判定の際に得られる「優先度」を画像データと対応付けて記録部４０２に記録する（ステップＳ５）。なお、詳細は後述するが、「優先度」とは年代特定のしやすさを数値化するための指標のことである。一方、ステップＳ４の判定において、年代特定しやすい被写体が存在していない場合には、ステップＳ５の処理をスキップする。
【００４８】
次に、サーバ４００の表情検出部４０５は、顔検出部４０４において検出された顔部の画像が懐かしさを誘う表情の画像であるか否かを判定する（ステップＳ６）。このステップＳ６の判定の詳細については後述する。ステップＳ６の判定において、顔部の画像が懐かしさを誘う表情の画像である場合に、表情検出部４０５は、懐かしさを誘う表情の画像を識別するための符号として、例えばステップＳ６の判定の際に得られる「なつかしい度」を画像データと対応付けて記録部４０２に記録する（ステップＳ７）。その後に図３の処理を終了する。ここで、「なつかしい度」とは懐かしさを数値化するための指標のことである。一方、ステップＳ６の判定において、顔部の画像が懐かしさを誘う表情の画像でない場合には、ステップＳ７の処理をスキップする。
【００４９】
また、ステップＳ１の判定において画像の再生指示であった場合に、アクセス反応部４０３は、その再生指示がダイジェスト再生モードの再生であるか否かを判定する（ステップＳ８）。ステップＳ８の判定において、ダイジェスト再生モードの再生である場合に、アクセス反応部４０３は、画像選択部４０９にダイジェスト再生モード用の画像選択指示を送る。これを受けて画像選択部４０９は、記録部４０２に記録されている画像データの中から「優先度」及び「なつかしい度」が付帯されている画像データを抽出する（ステップＳ９）。そして、画像選択部４０９は、抽出した画像データの中から、「優先度」又は「なつかしい度」が高いものを選択する（ステップＳ１０）。これは、「優先度」又は「なつかしい度」がそれぞれ最も高い画像データのみを選択するようにしても良いし、「優先度」又は「なつかしい度」がそれぞれ所定の閾値よりも高い画像データを全て選択するようにしても良い。「優先度」又は「なつかしい度」の高い画像データが選択された後、表示制御部４１０は、画像選択部４０９において選択された画像データを年代が古い順にＰＣ５００に表示させるように制御する（ステップＳ１１）。その後に図３の処理を終了する。ここで、厳密な年代特定ができるとは限らないので、ステップＳ１１の表示順は、ある程度の自由度を認めても良い。また、表示の際に「優先度」又は「なつかしい度」の高い画像ほど、表示の際の拡大率を大きくするようにしてもよい。
【００５０】
また、ステップＳ８の判定において、ダイジェスト再生モードの再生でない場合に、アクセス反応部４０３は、表示制御部４１０に記録部４０２に記録されている画像の一覧表示をＰＣ５００に表示させるように指示を送る（ステップＳ１２）。この場合には、ユーザによって選択された画像が画像選択部４０９によって選択された後、表示制御部４１０の制御の下、ＰＣ５００に表示させる。
【００５１】
図４は、図３のステップＳ３の背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。なお、顔検出処理は必ずしも図４に示す処理に限るものではない。また、図４に示す顔検出処理はデジタルカメラ１００の顔検出回路１１４において行う処理と同一の処理である。
【００５２】
まず、顔検出部４０４は、記録部４０２から画像データを読み出し、その画像における陰影を強調する（ステップＳ１０１）。これは、画像のコントラストを強調する処理である。例えば、図５に示す画像８００に対して陰影強調処理を施した場合、顔部付近８０２の画像は、参照符号８０３で示すように影のある部分や輪郭部分が強調された画像となる。
【００５３】
画像の陰影を強調した後、顔検出部４０４は目鼻部のパターンの設定を行う（ステップＳ１０２）。図５の参照符号８０４で目鼻部パターンの一例を示している。この目鼻部パターン８０４と陰影強調後画像８０３とのマッチング処理によって顔検出を行うわけであるが、通常、撮影によって得られる画像における顔の大きさや向きは様々であるため、目鼻部パターン８０４も顔の向きや大きさに対応して複数用意しておく。ステップＳ１０２の処理は、複数用意しておいた目鼻部パターン８０４の中から１つを設定する処理である。
【００５４】
次に、顔検出部４０４は、陰影強調後画像（実際には顔部付近８０２以外も含まれている）８０３と目鼻部パターン８０４との間でマッチング処理を行う（ステップＳ１０３）。これは、目鼻部パターン８０４によって陰影強調後画像８０３を走査しながら両者の一致度を例えば相関演算によって求める処理である。このマッチング処理の後、顔検出部４０４は、目鼻部パターン８０４がマッチングした位置が存在していたか否か、即ち陰影強調後画像８０３と目鼻部パターン８０４との一致度が所定量以上高い位置が画像内に存在していたかを判定する（ステップＳ１０４）。ステップＳ１０４の判定において、マッチング位置が存在していた場合に、顔検出部４０４はその位置の画像を顔部の画像として検出する（ステップＳ１０５）。
【００５５】
一方、ステップＳ１０４の位置において、マッチング位置が存在していない場合には、画像内の顔部の向きや大きさが目鼻部パターン８０４と異なっている可能性がある。また、画像内に複数の顔部が存在している場合には１つの目鼻部パターン８０４で全ての顔部を検出できるとは限らない。そこで、ステップＳ１０４の判定においてマッチング位置が存在していない場合、若しくはステップＳ１０５の後、顔検出部４０４は、顔検出処理を終了するか否かを、全ての目鼻部パターン８０４を用いてマッチング処理を行ったか否かを判定することによって判定する（ステップＳ１０６）。ステップＳ１０６の判定において、まだ、全ての目鼻部パターン８０４を用いてマッチング処理を行っていない場合に、顔検出部４０４は、別の目鼻部パターンに切り替えた後（ステップＳ１０７）、ステップＳ１０３に戻り、再びマッチング処理を行う。一方、全ての目鼻部パターン８０４を用いてマッチング処理を行った場合には、顔部の位置情報を背景検出部４０６に出力して顔検出処理を終了する。これを受けて背景検出部４０６は、ステップＳ１０５において検出された顔部以外を全て背景部の画像として検出する（ステップＳ１０８）。このようにして背景部が検出されると、処理が図３のステップＳ４に進む。
【００５６】
図６は、図３のステップＳ４の年代特定しやすい被写体が存在しているか否かの判定処理について示すフローチャートである。ここで、本実施形態においては、背景部の画像の中に、年代特定しやすい被写体が存在している場合には、その被写体の年代特定のしやすさに応じて「優先度」を設定する。この「優先度」の高い被写体ほど、年代特定がしやすく、またそれを見たユーザに懐かしさを想起させやすい。
【００５７】
図６において、画像判定部４０７は、まず背景部の画像内に、駅名や看板等の文字を含む被写体が存在しているか否かを判定する（ステップＳ２０１）。このために画像判定部４０７は図７に示す文字検出処理を行う。
【００５８】
ここで、図７及び図８を参照してステップＳ２０１の判定を行うための文字検出処理について説明する。図７は図６のステップＳ２０１の判定において用いられる文字検出処理の一例を示すフローチャートである。また、図８は図７の文字検出処理の概念について説明するための図である。
【００５９】
文字検出は、図８に示す文字画像の線部分８０５と線部分８０５の間に存在する空白部分８０６とをそれぞれ検出することにより行う。
【００６０】
まず、画像判定部４０７は背景部の画像のコントラストを強調してコントラスト強調画像Ｉ１を取得する（ステップＳ２０１１）。次に、画像判定部４０７は背景部の画像を２値化して２値化画像Ｉ２を取得する（ステップＳ２０１２）。
【００６１】
その後、画像判定部４０７はコントラスト強調画像Ｉ１と２値化画像Ｉ２との差分からコントラスト強調画像Ｉ１と２値化画像Ｉ２の一致度を求める（ステップＳ２０１３）。そして、画像判定部４０７は背景部の画像内にコントラスト強調画像Ｉ１と２値化画像Ｉ２の一致度が大きい部分（即ち差分が小さい部分）があるか否かを判定する（ステップＳ２０１４）。ステップＳ２０１４の判定において、コントラスト強調画像Ｉ１と２値化画像Ｉ２の一致度が大きい部分がない場合に、画像判定部４０７は背景部の画像内に文字を含む被写体は存在しないと判定する（ステップＳ２０１７）。
【００６２】
一方、ステップＳ２０１４の判定において、コントラスト強調画像Ｉ１と２値化画像Ｉ２の一致度が大きい部分がある場合に、画像判定部４０７はその部分が線画像で構成されていると判定する。そして、画像判定部４０７は一致度が高い部分の周囲の画像を検出する（ステップＳ２０１５）。そして、検出した部分の画像内に空白部、即ち低コントラスト部が多く占めているか否かを判定する（ステップＳ２０１６）。ステップＳ２０１６の判定において、空白部が少ない場合に、画像判定部４０７はその部分の画像が文字画像の特徴を有しておらず、文字画像は存在しないと判定する（ステップＳ２０１７）。一方、ステップＳ２０１６の判定において、空白部が多い場合に、画像判定部４０７はその部分の画像が文字画像の特徴を有しており、文字を含む被写体が存在していると判定する（ステップＳ２０１８）。
【００６３】
ここで、再び図６の説明に戻る。ステップＳ２０１の判定において、背景部の画像内に、文字を含む被写体が存在している場合に、画像判定部４０７は「優先度」に５点を加える（ステップＳ２０２）。即ち、文字情報は、その当時に行った場所や当時の雰囲気を読み取る明確な材料となり、年代特定しやすい情報と考えられる。したがって、「優先度」の点数を高めにしている。「優先度」を設定した後、画像判定部４０７は、検出した文字を年代別データベース４０８に記録されている文字画像と照合して年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６４】
一方、ステップＳ２０１の判定において、背景部の画像内に、文字を含む被写体が存在していない場合に、画像判定部４０７は、背景部の画像内に、乗り物被写体が含まれているか否かを、例えば年代別データベース４０８に記録されている乗り物画像とのマッチングをとることによって判定する（ステップＳ２０３）。ステップＳ２０３の判定において、背景部の画像内に乗り物被写体が含まれている場合に、画像判定部４０７は「優先度」に４点を加える（ステップＳ２０４）。即ち、電車やバス等の乗り物も看板や標識等の文字と同様に、場所を特定したり年代による変遷を示したりしやすいので、文字情報の次に「優先度」を高くしている。「優先度」を設定した後、画像判定部４０７は、検出した乗り物被写体より年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６５】
一方、ステップＳ２０３の判定において、背景部の画像内に、乗り物被写体が含まれていない場合に、画像判定部４０７は、背景部の画像内に、流行の服を着ている被写体が含まれているかを、例えば年代別データベース４０８に記録されている流行服画像とのマッチング（襟や袖の形やネクタイの太さや色合い等も利用）をとることによって判定する（ステップＳ２０５）。ステップＳ２０５の判定において、背景部の画像内に流行の服を着ている被写体が含まれている場合に、画像判定部４０７は「優先度」に３点を加える（ステップＳ２０６）。「優先度」を設定した後、画像判定部４０７は、検出した流行服の年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６６】
一方、ステップＳ２０５の判定において、背景部の画像内に、流行の服を着ている被写体が含まれていない場合に、画像判定部４０７は、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものであるか否かを判定する（ステップＳ２０７）。ステップＳ２０７の判定において、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものである場合に、画像判定部４０７は「優先度」に２点を加える（ステップＳ２０８）。即ち、建物や室内が明確に写っている場合も場所を特定する要素が写りこんでいるとして「優先度」に点数を加えるようにしている。「優先度」を設定した後、画像判定部４０７は、検出した建物被写体や室内の画像から年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６７】
一方、ステップＳ２０７の判定において、背景部の画像内に、建物被写体が含まれておらず、又は画像が室内で撮影されたものでもない場合に、画像判定部４０７は、背景部の画像における地面が舗装されているか否かを判定する（ステップＳ２０９）。ステップＳ２０９の判定において、背景部の画像における地面が舗装されたものでない場合に、画像判定部４０７は「優先度」に１点を加える（ステップＳ２１０）。即ち、市街地等で地面の舗装がなされていない画像は古い画像と考えられるので、この場合にも「優先度」に点数を加えるようにする。「優先度」を設定した後、画像判定部４０７は、検出した地面の舗装の具合から年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６８】
一方、ステップＳ２０９の判定において、背景部の画像における地面が舗装されている場合には「優先度」に点数を加えずに、図６の処理を抜ける。この場合には、図３のステップＳ４の判定において、背景部の画像内に年代特定可能な被写体が存在していないと判定される。
【００６９】
図６の処理のような「優先度」の判定によって、背景に年代を想起せしめる被写体を含む画像を優先して表示させることができる。なお、図３のステップＳ４の処理においては、証明写真のように単なる壁を背景とする画像や、空や山のみを背景とする画像では「優先度」が高まらない。また、図３のステップＳ４の処理では自然を前にした集合写真等でも「優先度」は高まらない。しかしながら、このような集合写真は懐かしさを想起させる画像となりうるので、このような画像を判定するためにステップＳ６の判定を行い、「なつかしい度」を求める。
【００７０】
図９〜図１２を参照して、図３のステップＳ６の懐かしさを誘う表情であるか否かの判定処理について説明する。ここで、以下に説明する処理における「懐かしさを誘う表情」とは、必ずしも個々人の泣き笑いといった表情のみを示すものではなく、一緒に写っている人との関係性も含めて判定する。したがって、無表情でも、多くの人とかしこまって写っているものは、その場に相応しい表情であるので、これも懐かしい表情としてカウントできるようにする。
【００７１】
図９は、人物の泣き笑いといった「顔の表情に応じたなつかしい度」を求めるためのフローチャートである。また、図１２は、画像内に複数の人物が存在する場合の、「その人物同士の関係性に応じたなつかしい度」を求めるためのフローチャートである。
【００７２】
まず、図９から説明する。表情検出部４０５は、顔検出部４０４において検出された顔部の画像からその表情を検出する（ステップＳ３０１）。
【００７３】
ここで、図１０及び図１１を参照して表情検出処理について説明する。図１０は図９のステップＳ３０１の表情検出処理の一例を示すフローチャートである。また、図１１は図１０の表情検出処理の概念について説明するための図である。
【００７４】
まず、表情検出部４０５は、顔部の画像の陰影分布から、目部、鼻部、口部を検出する（ステップＳ３０１１）。次に、表情検出部４０５は、検出した目部、鼻部、口部の位置関係から、顔が正面を向いているか否かを判定する（ステップＳ３０１２）。ステップＳ３０１２においては、例えば、両目が顔の画面の何れかに偏って配置されている場合には顔が横を向いていると判定する。また、両目が顔の左右方向に均等に配置され、鼻部が顔の上下方向の略中央部に配置されているような場合には正面を向いていると判定する。
【００７５】
ステップＳ３０１２の判定において、顔が正面を向いている場合に、表情検出部４０５は、ステップＳ３０１１において検出した口部における唇の両端を結ぶ直線の中心位置Ｌ１（図１１（ａ）参照）を検出する（ステップＳ３０１３）。次に、表情検出部４０５は、唇の上部中心位置Ｌ２（図１１（ａ）参照）を検出する（ステップＳ３０１４）。さらに、表情検出部４０５はステップＳ３０１１において検出した鼻部の下位置Ｎ１（図１１（ａ）参照）を検出する（ステップＳ３０１５）。
【００７６】
次に、表情検出部４０５は、Ｌ１とＮ１との距離とＬ２とＮ１との距離の差分を求める（ステップＳ３０１６）。そして、この差分から顔の表情を判定する。例えば、笑顔の場合には図１１（ｂ）に示すようにして唇の両端が持ち上がった状態となり、Ｌ１とＮ１との距離とＬ２とＮ１との距離と差分が図１１（ｃ）に示す真顔の場合に比べて小さくなると考えられる。また、泣き顔の場合には図１１（ｄ）に示すようにして唇の両端が下がった状態となり、Ｌ１とＮ１との距離とＬ２とＮ１との距離と差分が図１１（ｃ）に示す真顔の場合に比べて大きくなると考えられる。したがって、ステップＳ３０１６で求めた差分を笑顔、真顔、泣き顔を示す所定の閾値と比較することで顔の表情を判定することが可能である。
【００７７】
以上のような考え方に基づいて、表情検出部４０５は、ステップＳ３０１６で求めた差分が、泣き顔を示す閾値よりも大きいか否かを判定する（ステップＳ３０１７）。ステップＳ３０１７の判定において、差が泣き顔を示す閾値よりも大きい場合に、表情検出部４０５は顔の表情が泣き顔と判定する（ステップＳ３０１８）。その後、図１０の処理を抜ける。一方、ステップＳ３０１７の判定において、差が泣き顔を示す閾値よりも小さい場合に、表情検出部４０５は、差が笑顔を示す閾値よりも小さいか否かを判定する（ステップＳ３０１９）。ステップＳ３０１９の判定において、差が笑顔を示す閾値よりも小さい場合に、表情検出部４０５は顔の表情が笑顔と判定する（ステップＳ３０２０）。その後、図１０の処理を抜ける。一方、ステップＳ３０１９の判定において、差が笑顔を示す閾値よりも大きい場合に、表情検出部４０５は、表情が真顔であると判定する（ステップＳ３０２１）。その後、図１０の処理を抜ける。
【００７８】
また、ステップＳ３０１２の判定において、顔が正面を向いていない場合には、ステップＳ３０１３〜ステップＳ３０２１の処理によって表情を判定することが困難である。そこで、この場合には判定を簡易化する。即ち、表情検出部４０５は口部において歯（白部分）が検出できるか否かを判定する（ステップＳ３０２２）。このステップＳ３０２２の判定において、歯が検出できた場合に、表情検出部４０５は、表情が笑顔であると判定する（ステップＳ３０２３）。その後、図１０の処理を抜ける。一方、ステップＳ３０２２の判定において、歯が検出できなかった場合には、表情の検出が不能であったとして、そのまま図１０の処理を抜ける。
【００７９】
ここで、再び図９の説明に戻る。ステップＳ３０１において、表情を検出した後、表情検出部４０５は、検出した表情が複数の人物の笑顔であるか否かを判定する（ステップＳ３０２）。ステップＳ３０２の判定において、検出した表情が複数の人物の笑顔である場合に、表情検出部４０５は「なつかしい度」に５点を加える（ステップＳ３０３）。そして、図９の処理を抜けて、図１２の処理を開始する。即ち、複数の顔があって、それらの顔の表情が笑顔であるような写真は、その当時、楽しいことがあったとして「なつかしい度」を高めに設定する。
【００８０】
一方、ステップＳ３０２の判定において、検出した表情が複数の人物の笑顔でない場合に、表情検出部４０５は、検出した表情が複数の顔が向かいあうものであるか否かを判定する（ステップＳ３０４）。ステップＳ３０４の判定において、検出した表情が複数の顔が向かいあうものである場合に、表情検出部４０５は「なつかしい度」に４点を加える（ステップＳ３０５）。そして、図９の処理を抜けて、図１２の処理を開始する。このような場合も、その当時に人物間で何らかの交流があったことを示す画像と考えられるので、その時の感情を含めて当時を思い出すことが可能な画像と考えることが可能である。
【００８１】
一方、ステップＳ３０５の判定において、検出した表情が複数の顔が向かいあうものでない場合に、表情検出部４０５は、検出した表情がアップの笑顔であるか否かを判定する（ステップＳ３０６）。ステップＳ３０６の判定において、検出した表情がアップの笑顔である場合に、表情検出部４０５は「なつかしい度」に３点を加える（ステップＳ３０７）。そして、図９の処理を抜けて、図１２の処理を開始する。即ち、アップの笑顔は、被写体本人は意識していなくとも、撮影者が非常に思い入れをこめて撮った写真と考えられるので「なつかしい度」に加点するようにする。
【００８２】
一方、ステップＳ３０６の判定において、検出した表情がアップの笑顔でない場合に、表情検出部４０５は、検出した表情がアップの泣き顔であるか否かを判定する（ステップＳ３０８）。ステップＳ３０８の判定において、検出した表情がアップの泣き顔である場合に、表情検出部４０５は「なつかしい度」に２点を加える（ステップＳ３０９）。そして、図９の処理を抜けて、図１２の処理を開始する。即ち、アップの泣き顔は、被写体本人には面白くないかもしれないが、それなりに感情が高ぶった状況なので、何らかの記憶が残っている可能性が高く、これも、思い出を想起させることのできる表情と考えられるので「なつかしい度」に加点するようにする。
【００８３】
一方、ステップＳ３０８の判定において、検出した表情がアップの泣き顔でない場合に、表情検出部４０５は、検出した表情の中で他に存在しない人物の顔があるか否かを判定する（ステップＳ３１０）。なお、この判定には、家族等の特定人物の顔の画像を表情検出部４０５に記録しておき、この画像と表情検出部４０５に入力された顔部の画像とを比較することで判定する。ステップＳ３１０の判定において、検出した表情の中で他に存在しない人物の顔がある場合に、表情検出部４０５は「なつかしい度」に１点を加える（ステップＳ３１１）。そして、図１２の処理を開始する。
【００８４】
次に、図１２を説明する。人物同士の関係性に応じた懐かしさを感じさせる写真といえば、例えば図１３（ａ）に示すような、子供の頃に両親と一緒に撮影した写真が考えられる。図１２の処理ではこのような画像を複数の顔部の画像の大きさや位置関係から判定するものである。また、画像における人物の顔部の大きさは撮影時における被写体距離によって変化するものである。即ち、被写体距離が遠距離になると画像上の顔部の大きさは相対的に小さくなり、逆に被写体距離が近距離になると画像上の顔部の大きさは相対的に大きくなる。したがって、顔部の大きさを比較する際には距離検出回路１１３によって検出される距離情報も利用する。
【００８５】
表情検出部４０５は、顔検出部４０４において検出された顔部の画像において、図１３（ａ）に示すように、大きい男女（大人の男女）８０７の間の下に小さい人（子供）８０８が存在しているか否かを判定する（ステップＳ４０１）。ここで、大人と子供の判別は顔検出部４０４において検出される顔部の画像の大きさから判定する。また、男女の判定は髪型や体の大きさ、服装等の差異から判定することができる。ステップＳ４０１の判定において、画像内において大きい複数の男女の間の下に小さい人が存在している場合に、表情検出部４０５は「なつかしい度」に１０点を加える（ステップＳ４０２）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。即ち、画像内に大きな男女の顔があれば、これらはカップルと考えられる。また、その間の下に小さい顔の人がいれば、それが両親と子どもの写真と考えることができる。このような写真の懐かしさは格別と考えることができるので「なつかしい度」を高めに設定している。
【００８６】
一方、ステップＳ４０１の判定において、画像内において大きい複数の男女の間に小さい人が存在していない場合に、表情検出部４０５は、画像内において大きい複数の男女の横に小さい人が存在しているか否かを判定する（ステップＳ４０３）。ステップＳ４０３の判定において、画像内において大きい複数の男女の横に小さい人が存在している場合に、表情検出部４０５は「なつかしい度」に８点を加える（ステップＳ４０４）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。このような場合も、男女の間に小さい人が存在している場合に続いて親密な雰囲気を醸し出していると考えられるので、懐かしさを想起する画像として分類できる。
【００８７】
一方、ステップＳ４０４の判定において、画像内において大きい複数の男女の横に小さい人が存在していない場合に、表情検出部４０５は、図１３（ｂ）に示すようにして画像内に大きい人８０７と小さい人８０８とが密着して存在しているか否かを判定する（ステップＳ４０５）。ステップＳ４０５の判定において、画像内に大きい人と小さい人が密着して存在している場合に、表情検出部４０５は「なつかしい度」に６点を加える（ステップＳ４０６）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。大人と子供の写真の場合、両親ではなくとも、例えば母親と子ども、父親と子ども、或いは兄弟、従弟、おじ、おば、曽祖父母との写真と考えることもできる。そこで、このような写真をステップＳ４０５において判定できるようにし、「なつかしい度」に加点するようにしている。
【００８８】
一方、ステップＳ４０６の判定において、画像内に大きい人と小さい人とが密着して存在していない場合に、表情検出部４０５は、画像内に大きい人と複数の小さい人とが存在しているか否かを判定する（ステップＳ４０７）。ステップＳ４０７の判定において、画像内に大きい人と複数の小さい人とが存在している場合に、表情検出部４０５は「なつかしい度」に５点を加える（ステップＳ４０８）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。この場合は、例えば子供達に囲まれた大人や孫達に囲まれた祖父母のような画像を想定している。このような画像もほほえましく、懐かしさを想起しやすいと考えられるので「なつかしい度」に加点するようにしている。
【００８９】
一方、ステップＳ４０７の判定において、画像内に大きい人と複数の小さい人とが存在していない場合に、表情検出部４０５は、顔部と体部との比率が小さいか否かを判定する（ステップＳ４０９）。ステップＳ４０９の判定において、顔部と体部との比率が小さい場合に、表情検出部４０５は「なつかしい度」に１点を加える（ステップＳ４１０）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。顔と体の大きさの比率は成長するにつれ大きくなっていくので、この比率が小さい写真は子どもの写真と考える。例えば、図１４（ａ）に示すようなシーンにおいて顔と体との大きさの比率を求めるには、顔検出部４０４において得られた陰影強調後画像から輪郭成分を抽出することで図１４（ｂ）に示す複数の人の顔の大きさ（図示Ｆ１、Ｆ２）を検出する。さらに、輪郭成分を抽出した画像において各人物の腰部を検出し、それによって首から腰までの大きさ（図示Ｂ１、Ｂ２）を検出する。上述したように、大人の場合の比率Ｆ１／Ｂ１と子供の場合の比率Ｆ２／Ｂ２とでは、比率Ｆ２／Ｂ２のほうが小さくなる。即ち、子供のほうが体の大きさに対する顔の大きさの割合が大きくなるので、このような判定を行うことで画像内における大人と子供との識別が可能である。ただし、顔と体の比率による「なつかしい度」を高くしすぎると、子どもの写真ばかりになってしまうので、大人と一緒の写真よりも得点を少なくしている。
【００９０】
図１２の処理のように、複数の人物の関係を、画像の構図から判定し、その関係が親密であると考えられるものや、家族との写真と考えられるものの「なつかしい度」を高めてその画像を優先的に表示させることで、その画像を見て家族が皆で懐かしい感情に浸ることができる。この図１２の処理を図９の処理と組み合わせることで、図１３（ｂ）のように、笑っている人がいて、且つその人が子供と密着しているような画像は、かなり高い「なつかしい度（即ち表示優先度）」となる。
【００９１】
以上説明したように、本実施形態によれば、複数の人物の関係が親密であると考えられる画像や家族の写真であると考えられる画像、画像内の人物が笑っている画像等が他の画像よりも優先して表示がなされるので、例えば家族の年代史のような画像を確実に選択してＰＣ５００に表示させることが可能である。これにより、各地に離れた親族が短時間で家族の年代史のような画像を鑑賞することが可能である。
【００９２】
また、近年、流行している大画面のテレビジョン装置等はネットワーク接続機能を有しているものが多いので、このようなテレビジョン装置を図２の通信システムにおいてネットワーク３００に接続するようにすれば、団欒の場等で大画面のテレビジョン装置に表示されて画像を家族みんなで楽しむこともできるようになる。
【００９３】
［変形例］
以下、上述した実施形態の変形例について説明する。
上述した図６の処理においては背景部の画像から年代の特定しやすい画像を検出し、その画像の「優先度」を高めて表示優先度を高くするとともに、その画像の取得された年代を特定しているが、必ずしも年代を特定できるとは限らない。また、上述した実施形態において、表示優先度が高くなるのは年代特定のしやすい画像だけでなく、年代特定が困難であっても、懐かしさを想起させやすい表情の画像や人物同士の関係が親密であると考えられる画像も含まれる。そこで、本実施形態の第１の変形例は、年代特定の行える画像と同一年代に撮影されたと考えられる画像を選択してＰＣ５００に表示させる。
【００９４】
図１５は、第１の変形例の概念について説明するための図である。また、図１６は、第１の変形例の処理について示すフローチャートである。ここで、図１６の処理は例えば図３のステップＳ１０の後に行われる。
【００９５】
図３のステップＳ１０において、画像選択部４０９は、「優先度」又は「なつかしい度」の高い画像を記録部４０２から選択する。その後、図１６の処理を行う。まず、画像選択部４０９は、選択した画像が年代特定可能な画像（第１の画像）であるか否かを、「優先度」の値によって判定する（ステップＳ５０１）。例えば、図１５のように画像内にカレンダー８０９が写っている画像は文字を含む被写体であるため、図６の処理において「優先度」が加算されており、年代特定可能な画像であると判定される。ステップＳ５０１の判定において、選択した画像が年代特定不能な画像である場合には、図１６の処理を抜ける。この場合には、表示制御部４１０の制御の下、画像選択部４０９において選択された画像のみがＰＣ５００に表示される。
【００９６】
一方、ステップＳ５０１の判定において、選択した画像が年代特定可能な画像である場合には、顔検出部４０４によりその画像内に写っている人物８０８の顔部を検出する（ステップＳ５０２）。顔検出部４０４によって顔部が検出された後、画像選択部４０９は顔検出部４０４によって検出された顔部と同じ顔部を有する人物を含む画像（第２の画像）８１０を記録部４０２の中から選択する（ステップＳ５０３）。顔部が同じであるか否かの判定は、例えば顔部画像のマッチング処理によって行うことができる。
【００９７】
ステップＳ５０３の選択の後、画像選択部４０９は、同じ顔部を有する人物を含む画像８１０を選択できたか否かを判定する（ステップＳ５０４）。即ち、同じ顔部を有する人物を含む画像であれば、それらは同一年代に取得されたものと考えることが可能である。ステップＳ５０４の判定において、同じ顔部を有する人物を含む画像８１０を選択できなかった場合には、図１６の処理を抜ける。この場合には、表示制御部４１０の制御の下、画像選択部４０９において選択された画像のみがＰＣ５００に表示される。
【００９８】
一方、ステップＳ５０４の判定において、顔部が同じ人物８０８ａを含む画像を選択できた場合に、画像選択部４０９はその選択した画像を図３のステップＳ１０において選択した画像とともに表示制御部４１０に送る。表示制御部４１０は、画像選択部４０９から送られてきた画像を並べてＰＣ５００に表示させるように制御する（ステップＳ５０５）。その後に図１６の処理を抜けて図３の処理を終了する。
【００９９】
以上説明した第１の変形例によれば、年代特定が可能な画像に写っている人物と同じ顔の人物の画像を選択することにより、年代特定を行うことができる被写体が存在しない画像の年代特定を行うことができ、これによってユーザの懐かしさをさらに想起させることが可能である。
【０１００】
ここで、図１６のステップＳ５０３の処理においては、顔部が同一の画像を選択しているが、輪郭抽出処理等を併用して顔部の他に体部も含めて同一の画像を選択するようにしても良い。
【０１０１】
次に、本実施形態の第２の変形例について説明する。第２の変形例は、単に「優先度」又は「なつかしい度」の高い画像を表示させるのではなく、記録部４０２に記録されている画像を所定期間毎に区分し、その区分毎に「優先度」又は「なつかしい度」の高い画像を表示させるものである。
【０１０２】
図１７は、第１の変形例の処理について示すフローチャートである。ここで、図１７の処理は例えば図３のステップＳ８以後の処理に代えて行われる。
【０１０３】
まず、アクセス反応部４０３は、ユーザからの画像再生指示がダイジェスト再生モードの再生指示であるか否かを判定する（ステップＳ６０１）。ステップＳ６０１の判定において、ダイジェスト再生モードの再生でない場合には、図１７の処理を抜けて図３のステップＳ１２の処理を行う。
【０１０４】
一方、ステップＳ６０１の判定において、ダイジェスト再生モードの再生である場合に、アクセス反応部４０３は、画像選択部４０９にダイジェスト再生モード用の画像選択指示を送る。これを受けて画像選択部４０９は、「優先度」又は「なつかしい度」の高い画像の選択を行う。これに先立って、画像選択部４０９は記録部４０２に記録されている画像データの中に、年代が特定されていない画像データが存在しているか否かを判定する（ステップＳ６０２）。ステップＳ６０２の判定において、年代が特定されていない画像データが存在している場合には、背景部の被写体若しくは図１６のステップＳ５０３と同様の処理によって年代が特定されていない画像の取得年代を特定する（ステップＳ６０３）。
【０１０５】
ステップＳ６０３の処理後、画像選択部４０９は年代特定を終了するか否かを、全ての年代が特定されていない画像データに対してステップＳ６０３の処理を行ったか否かによって判定する（ステップＳ６０４）。ステップＳ６０４の判定において、まだ、全ての年代が特定されていない画像データに対してステップＳ６０３の処理を行っていない場合にステップＳ６０２に戻る。
【０１０６】
一方、ステップＳ６０４の判定において、全ての年代が特定されていない画像データに対してステップＳ６０３の処理を行った場合に、画像選択部４０９は、年代が特定された画像データを取得年代毎に分類する（ステップＳ６０５）。この分類は、例えば、取得年代が最古のものと最近のものとの間を１０の時期に等分して取得年代を区分し、それぞれの区分に各画像データを分類することにより行う。ステップＳ６０５の分類の後、画像選択部４０９は、区分毎に表示優先度（即ち、「優先度」又は「なつかしい度」）の高い画像データを記録部４０２から読み出して表示制御部４１０に送る。表示制御部４１０は、画像選択部４０９から送られてきた画像をＰＣ５００に表示させるように制御する（ステップＳ６０６）。その後、アクセス反応部４０３は、所定期間内に画像の表示再生の終了指示がなされたか否かを判定する（ステップＳ６０７）。ステップＳ６０７の判定において、画像の表示再生の終了指示がなされていない場合には、アクセス反応部４０３はその旨を画像選択部４０９に通知する。これを受けて画像選択部４０９は記録部４０２から読み出す画像データの区分の切り替えを行う（ステップＳ６０８）。その後に、ステップＳ６０６に戻り、別の区分の画像の表示処理を行う。一方、ステップＳ６０７の判定において、画像の表示再生の終了指示がなされた場合には、図１７の処理を終了する。
【０１０７】
以上説明した第２の変形例によれば、取得年代毎に区分して画像の表示を行うことにより、例えば赤ちゃんの時期の写真ばかりが表示されてしまう等の、同一時期の写真ばかり表示されてしまうことを防止することが可能である。
【０１０８】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では画像データ毎に１つの「なつかしい度」を設定しているが、複数の条件が重なった場合には、それら複数の条件に対応した「なつかしい度」を加算又は乗算して最終的な「なつかしい度」を求めるようにしても良い。また、背景被写体の種類や顔部の表情に応じた「なつかしい度」の点数は一例であり、適宜決定することができる。この点数をユーザが設定できるようにしても良い。
【０１０９】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【０１１０】
【図１】本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図２】本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。
【図３】サーバの動作を示すフローチャートである。
【図４】背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。
【図５】顔検出処理の概念について示す図である。
【図６】懐かしさを想起させる被写体が存在しているか否かの判定処理について示すフローチャートである。
【図７】文字検出処理の一例を示すフローチャートである。
【図８】文字検出処理の概念について説明するための図である。
【図９】顔の表情に応じた「なつかしい度」を求めるためのフローチャートである。
【図１０】表情検出処理の一例を示すフローチャートである。
【図１１】表情検出処理の概念について説明するための図である。
【図１２】人物同士の関係性に応じた「なつかしい度」を求めるためのフローチャートである。
【図１３】図１３（ａ）は大きい男女の間の下に小さい人物が存在する画像の例を示す図であり、図１３（ｂ）は大きい人と小さい人とが密着して存在する画像の例を示す図である。
【図１４】顔と体との大きさの比率の求め方について説明するための図である。
【図１５】本発明の実施形態の第１の変形例の概念について説明するための図である。
【図１６】本発明の実施形態の第１の変形例の処理について示すフローチャートである。
【図１７】本発明の実施形態の第２の変形例の処理について示すフローチャートである。
【符号の説明】
【０１１１】
１００…デジタルカメラ、１０１…マイクロプロセッシングユニット（ＭＰＵ）、１０２…操作部、１０３…撮影レンズ、１０４…オートフォーカス（ＡＦ）回路、１０５…絞り機構、１０６…絞り制御回路、１０７…撮像素子、１０８…アナログフロントエンド（ＡＦＥ）回路、１０９…画像処理回路、１１０…表示制御回路、１１１…表示パネル、１１２…形状検出回路、１１３…距離検出回路、１１４…顔検出回路、１１５…圧縮部、１１６…記録制御回路、１１７…記録メディア、１１８…通信部、１１９…補助光発光回路、３００…ネットワーク、４００…サーバ、５００，６００…パーソナルコンピュータ（ＰＣ）、７００…スキャナ
【技術分野】
【０００１】
本発明は、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示装置、画像表示方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、記録媒体の大容量化に伴い、フィルム写真年代に比べて大量の写真が撮影されるようになっている。また、こうした写真はデジタル画像で得られるので、ネットワーク等を介して様々な場所に送ることが容易である。
【０００３】
また、過去のフィルム写真もスキャナ等を利用してデジタル化することにより、どこでも玉石混淆の画像を鑑賞可能になっている。
【０００４】
このように、近年では大量の画像を取得できるようになった反面、その中から見たい画像を選択するには大変な努力を要するようになってきている。以前のように、記念写真のような機会にしか撮影がなされなかった時代では、写真を整理するのも比較的容易であり、また、整理されているため選択も容易であるが、近年のような、写真が日常的に大量に撮られるようになると、従来どおりに何かの記念に写されたもの（休暇中の家族の集まりや、慶事の集まり、家族が集まっての肖像写真等）と、日常の単なるメモ代わりの画像とが一緒くたになってしまう可能性があり、どこに懐かしい画像（ここでは、主に、家族の団欒を示すもの）があるかを見つけるのは難しい。
【０００５】
このような画像の選択技術に関連して、特許文献１ではコンピュータへの画像の保存時に写真とメタ情報とを関連付けて登録しておくことにより、メタ情報に従って懐かしさを感じさせる画像を選択し、選択した画像に従って映像効果付の思い出ビデオを作成している。
【特許文献１】特開２００６−２８７５２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１のように思い出等を時間で管理しようとする動きはあるが、単に古い画像が懐かしい画像であるわけはなく、実際には、その画像を撮影した瞬間やその前後に、誰とどのようなことが起こったかを思い出せるような画像が懐かしい画像であるといえる。また、複数人で写真を鑑賞する場合等では個人的な思い出の写真よりも写真に写った複数の人物の関係性が分かりやすく、その当時の被写体の感情が読み取れる写真のほうが重要な場合が多い。
【０００７】
本発明は、上記の事情に鑑みてなされたものであり、家族の年代史のような典型的に懐かしさを想起させることができる画像を間違いなく選択して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の第１の態様の画像表示装置は、複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、上記画像における顔部分を複数検出する顔検出部と、上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、該判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定する優先度設定部と、上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部とを備えたことを特徴とする。
【０００９】
また、上記の目的を達成するために、本発明の第２の態様の画像表示装置は、複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、上記画像内から人物の部分を検出する人物検出部と、上記人物の部分の検出結果から、上記画像内における背景の部分を検出する背景検出部と、上記背景検出部で検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させる表示制御部とを備えたことを特徴とする。
【００１０】
また、上記の目的を達成するために、本発明の第３の態様の画像表示方法は、複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、上記画像における顔部分を複数検出し、上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定し、上記表示優先度に応じた優先順位で上記画像を表示させることを特徴とする。
【００１１】
また、上記の目的を達成するために、本発明の第４の態様の画像表示方法は、複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、上記画像内から人物の部分を検出し、上記人物の部分の検出結果から、上記画像内における背景の部分を検出し、上記検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させることを特徴とする。
【００１２】
また、上記の目的を達成するために、本発明の第５の態様の画像表示プログラムは、複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、上記画像における顔部分を複数検出するステップと、上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定するステップと、上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定するステップと、上記表示優先度に応じた優先順位で上記画像を表示させるステップとをコンピュータに実行させる。
【００１３】
また、上記の目的を達成するために、本発明の第６の態様の画像表示プログラムは、複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、上記画像内から人物の部分を検出するステップと、上記人物の部分の検出結果から、上記画像内における背景の部分を検出するステップと、上記検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させるステップとをコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、家族の年代史のような典型的に懐かしさを想起させることができる画像を間違いなく選択して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラ１００の構成を示すブロック図である。図１に示すデジタルカメラ１００は、マイクロプロセッシングユニット（ＭＰＵ）１０１と、操作部１０２と、撮影レンズ１０３と、オートフォーカス（ＡＦ）回路１０４と、絞り機構１０５と、絞り制御回路１０６と、撮像素子１０７と、アナログフロントエンド（ＡＦＥ）回路１０８と、画像処理回路１０９と、表示制御回路１１０と、表示パネル１１１と、形状検出回路１１２と、距離検出回路１１３と、顔検出回路１１４と、圧縮／伸張部１１５と、記録制御回路１１６と、記録メディア１１７と、通信部１１８と、補助光発光回路１１９とを有して構成されている。また、このデジタルカメラ１００は、ネットワーク３００を介してサーバ４００、ＰＣ５００と通信自在に接続されている。
【００１６】
ＭＰＵ１０１は、ユーザからの操作部１０２の操作に応じてデジタルカメラ１００を構成する各ブロックをシーケンシャルに制御する。操作部１０２は、デジタルカメラ１００による撮影を実行させるためのレリーズスイッチや、デジタルカメラ１００の動作モードを撮影モード、再生モード、ダイジェスト再生モードの何れかに切り替えるための切り替えスイッチ、サーバ４００から得られる情報表示のオンオフを切り替えるスイッチ等が含まれる。
【００１７】
また、ＭＰＵ１０１は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。
【００１８】
撮影レンズ１０３は、被写体２００からの像を撮像素子１０７に結像させる。この撮影レンズ１０３は、オートフォーカス（ピント合わせ）用のレンズを含んでいる。オートフォーカスの際に、ＭＰＵ１０１は、ピント合わせレンズのレンズ位置をモニタしつつ、ＡＦ回路１０４を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ１０３のピント合わせを行う。また、絞り機構１０５は、撮影レンズ１０３内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構１０５は、撮影開始時に絞り制御回路１０６によって所定の口径まで開かれ、撮影終了時に閉じられるものである。撮影時の絞り機構１０５の口径を変えることによって、撮影レンズ１０３の被写界深度が変化する。これによって、背景被写体のぼけ具合等を調整して、撮影時に主要被写体を浮かび上がらせたり、背景被写体をしっかりと描写したりするなどの表現の切替を行うことができる。
【００１９】
撮像素子１０７は、多数の画素が配列されて構成される受光面を有し、撮影レンズ１０３を介して受光した被写体２００からの像を電気的な信号に変換する。本実施形態においては、撮像素子１０７にはＣＣＤ方式及びＣＭＯＳ方式の何れを用いても良い。
【００２０】
ＡＦＥ回路１０８は、ＣＤＳ回路、ゲイン調整回路、ＡＤ変換回路等を含み、撮像素子１０７において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路１０９に入力する。また、ＡＦＥ回路１０８には、撮像素子１０７を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、ＡＦＥ回路１０８によって、４画素（２×２画素）や９画素（３×３画素）の信号をまとめて読み出し、これら読み出した電気信号を加算することでＳ／Ｎを向上させることができる。このような処理によって、撮像素子１０７の見かけ上の感度を上げること等ができる。
【００２１】
さらに、ＡＦＥ回路１０８は、撮像素子１０７からの出力信号を取捨選択する機能も有し、撮像素子１０７の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することもできる。一般に、撮像素子１０７は間引きを行うことで高速で信号を読み出すことができる。この機能を利用して、撮像素子１０７で構図確認用に得られた画像を高速で読み出して画像処理回路１０９において処理してから表示パネル１１１に表示すれば、ユーザは表示パネル１１１上に表示される画像を利用してフレーミングを行うことが可能である。
【００２２】
画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。
【００２３】
また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データを表示パネル１１１に表示可能なようにリサイズ（縮小）する機能も有する。
【００２４】
表示制御回路１１０は、画像処理回路１０９で得られた画像データや記録メディア１１７に記録されている画像データを映像信号に変換し、表示パネル１１１に表示させる。表示パネル１１１は液晶表示パネルや有機ＥＬ表示パネル等の表示パネルである。また、表示制御回路１１０は、表示パネル１１１に複数の画像を重畳して表示させるマルチ画面表示機能も有している。このマルチ画面表示機能によって、撮影した画像や撮影する画像の上に、モード設定の文字表示やいろいろな警告表示を重畳表示することも可能である。
【００２５】
形状検出回路１１２は、画像処理回路１０９によって得られる画像データにおける輪郭情報を検出する。
【００２６】
距離検出回路１１３は、画像処理回路１０９によって得られる画像のコントラストを検出する。この距離検出回路１１３によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、ＡＦ回路１０４によって撮影レンズ１０３のピント合わせレンズのレンズ位置を変化させながら、距離検出回路１１３によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ１０３のピント合わせを行うことができる。また、ピント合わせ時のレンズ位置の情報によって、主要被写体の距離や背景被写体の距離等を検出することも可能である。
【００２７】
顔検出回路１１４は、画像処理回路１０９によって得られる画像内の特徴点（例えば、主要被写体が人物等であれば、目や鼻、口等）の分布から、主要被写体の特に顔部分の画像を検出する。
【００２８】
これら形状検出回路１１２、距離検出回路１１３、顔検出回路１１４は、写真の質の向上という意味では、写真撮影時にユーザがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するため（ポートレートモードに設定するなど）に利用される。また、画像の再生時には、顔検出回路１１４による顔検出の機能によって、その画像のうち、主要被写体（の顔部分）と背景部とを分けることが可能である。これにより、顔部分から目や口の形を検出し、それを後述する記録制御回路１１６内のデータベース１１６ａと比較して無表情の顔か、或いは表情のある顔かを判定することができる。また、顔検出回路１１４によって検出した顔が画像内にいくつあるかを判定することによって、その画像が集合写真であるかを判定することができる。
【００２９】
圧縮／伸張部１１５は、撮影時に、画像処理回路１０９において処理された画像データを圧縮するとともに、撮影時に記録制御回路１１６を介して記録メディア１１７から読み出した画像データを伸張する。
【００３０】
記録制御回路１１６は、圧縮／伸張部１１５で圧縮された画像データに撮影時刻等の付随データを付随させて記録メディア１１７に記録する。また、記録制御回路１１６は、顔部分等の画像を比較したりするためのデータベース１１６ａを有している。このデータベース１１６ａの内容は、カメラ製造時に記録してもよいが、デジタルカメラ１００外部のサーバ４００等からネットワーク経由で書き換え可能としてもよい。
【００３１】
通信部１１８は、記録メディア１１７に記録された画像データ等をデジタルカメラ１００外部のパーソナルコンピュータ（以下、ＰＣと称する）５００やサーバ４００等に送信したり、サーバ４００等から各種の情報を受信したりする際の通信制御を行う。この通信部１１８によって、デジタルカメラ１００で撮影した画像を他の人に転送したり、ネットワーク上のサービス（例えば、ネットワーク接続されたサイト等と連携したサービス）を利用して、情報を付加したり、受信したりすることができる。
【００３２】
補助光発光回路１１９は、撮影時の状況に応じて被写体２００に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。
【００３３】
このような構成のデジタルカメラ１００において、本実施形態では、多くの画像の中から、思い出を想起させやすい画像を選択して表示する、ダイジェスト再生を可能とする。即ち、ユーザが操作部１０２を操作してデジタルカメラ１００の動作モードをダイジェスト再生モードとすると、記録メディア１１７に記録されている画像のうち、複数の人物がいて、なお且つそれら複数の人物の関係から、懐かしさを想起させやすい画像が選択されて、その画像が優先的に表示パネル１１１に表示される。
【００３４】
以下、ダイジェスト再生モードによる再生についてさらに説明する。なお、以下の説明においてはダイジェスト再生モードの機能をデジタルカメラ１００外部のサーバ上で実現する例について説明する。しかしながら、後述するサーバの機能をデジタルカメラ１００のＭＰＵ１０１等に持たせることにより、デジタルカメラ１００においてもダイジェスト再生モードでの再生が可能となる。
【００３５】
図２は、本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。図２に示す通信システムは、サーバ４００、ＰＣ５００、ＰＣ６００がネットワーク３００を介してデータ通信自在に接続されている。さらに、ＰＣ６００にはデジタルカメラ１００及びスキャナ７００から画像データが入力され、この画像データは、ネットワーク３００を介してサーバ４００に送信可能になされている。ここで、図２の例は、１つのサーバ４００内にデータベースや画像の判定機能を持たせたものである。これらの機能を複数のサーバに配分して、より負担の軽いシステムとすることもできる。
【００３６】
なお、以下に説明する通信システムは、例えば家族の年代史のような画像を整理する場合等、１枚ずつ画像を吟味するには、画像データの量が多すぎるような状況を対策することができるシステムである。例えば、既に独立した子供達が家に戻ってきたとき等に、昔の家族の思い出を思い出すようなシステムが簡単に構成できる。
【００３７】
デジタルカメラ１００で撮影した写真画像データやスキャナ７００で取り込まれた写真画像データ（画像データ８００）がＰＣ６００、ネットワーク３００を介して送信される。ここで、デジタルカメラ１００で得られる画像データには撮影日時やタイトルなどの付随情報が付与されるが、撮影時に得られる画像における顔位置のデータ等を付与しておいてもよい。顔位置のデータ等を付与しておくことで、サーバ４００において、後述する顔検出が不要となるため、サーバ４００の処理量を削減することが可能である。
【００３８】
ネットワーク３００には、そこに行きかう情報を駆使して各種のサービスを行う、サーバ４００が存在する。本実施形態においては、ユーザによってダイジェスト再生モードが選択されると、サーバ４００において、ＰＣ６００から送られた画像データ８００の中から、昔を懐かしむことのできる画像データ９００が選択され、この選択された画像データ９００に基づき、画像がＰＣ５００において閲覧可能なように表示制御される。これによってデジタルカメラ１００で撮影された写真画像やスキャナ７００で取り込まれた画像を他のユーザが共有することが可能である。
【００３９】
このようなサーバ４００は、通信部４０１と、記録部４０２と、アクセス反応部４０３と、顔検出部４０４と、表情検出部４０５と、背景検出部４０６と、画像判定部４０７と、年代別データベース４０８と、画像選択部４０９と、表示制御部４１０とを有している。ここで、サーバ４００の各機能はハードウェアで構成しても良いし、ソフトウェアとして構成することもできる。
【００４０】
通信部４０１は、サーバ４００がネットワーク３００を介して通信を行う際の通信制御を行う。記録部４０２は、ネットワーク３００を介して送信されてくる画像データを記録する。アクセス反応部４０３は、ユーザから何らかの操作指示がなされた場合にその指示に応じた制御を行う。具体的には、ユーザから画像データの記録指示がなされた場合にはこの指示ととともに送信されてきた画像データを記録部４０２に記録する。一方、ユーザから画像データの再生指示がなされた場合にはそのときの再生モードに応じた画像選択指示を画像選択部４０９に行う。ここで、アクセス反応部４０３は、再生モードとして、上述したダイジェスト再生モードを少なくとも有しているものである。
【００４１】
顔検出部４０４は記録部４０２に記録された画像における顔部を検出する。顔部は、デジタルカメラ１００の顔検出回路１１４と同様に、画像内の特徴点（例えば、主要被写体が人物等であれば、目や鼻、口等）の分布から検出することが可能である。表情検出部４０５は顔検出部４０４において検出された顔部の画像から、その顔部の表情を検出することでダイジェスト再生モードの際の画像の表示優先度を評価する。
【００４２】
背景検出部４０６は記録部４０２に記録された画像における背景部を検出する。ここでの背景部とは、画像８００のうち、例えば図示破線枠８０１で示す人物以外の部分である。処理を簡単にするために、人物の顔部以外（人物の体も含む）を背景部として検出するようにしても良い。説明を簡単にするために、以下の説明においては、顔検出部４０４によって検出された顔部以外を背景として検出するものとする。画像判定部４０７は、背景検出部４０６によって検出された背景部において、文字等の思い出を想起させやすい被写体の有無を判定することでダイジェスト再生モードの際の画像の表示優先度を評価する。年代別データベース４０８は画像判定部４０７における思い出を想起させやすい被写体の判定に必要な各種データを年代別に記録している。例えば、年代別データベースには、年代別の文字の字体やキャッチフレーズのデータ、服装、乗り物のデータ等が記録されている。
【００４３】
画像選択部４０９は、アクセス反応部４０３からの指示に従った画像データを記録部４０２から選択する機能を有するとともに、ユーザによってダイジェスト再生モードが選択された場合には表情検出部４０５によって検出された表情と画像判定部４０７によって判定された被写体とから思い出を想起させやすい画像データを選択する機能を有する。表示制御部４１０は、画像選択部４０９によって選択された画像データをＰＣ５００で閲覧可能なように表示制御する。
【００４４】
以下、図２に示す通信システムの動作について説明する。図３は、図２のサーバ４００の動作を示すフローチャートである。
【００４５】
ユーザから何らかの操作指示がなされた場合に、サーバ４００のアクセス反応部４０３は、その指示が画像データの記録指示（画像データのアップロード指示）か、画像データの再生指示（画像データのダウンロード指示）かを判定する（ステップＳ１）。ステップＳ１の判定において画像の記録指示であった場合に、アクセス反応部４０３は、ユーザからの画像記録指示とともに送信されてきた画像データを記録部４０２に記録する（ステップＳ２）。
【００４６】
以下のステップＳ３〜ステップＳ７の処理はダイジェスト再生モード時の画像データの再生をスムーズに行うための処理である。これらの処理は後述するダイジェスト再生モード時に行うようにしても良い。ステップＳ２において画像データを記録部４０２に記録した後、顔検出部４０４及び背景検出部４０６によって、記録部４０２に記録された画像データの背景部を検出する（ステップＳ３）。ステップＳ３の処理の詳細については後述する。
【００４７】
背景部が検出された後、画像判定部４０７は、画像内に年代特定しやすい被写体を含む画像が存在しているか否かを判定する（ステップＳ４）。このステップＳ４の判定の詳細については後述する。ステップＳ４の判定において、年代特定しやすい被写体を含む画像が存在している場合に、画像判定部４０７は、年代特定しやすい被写体を含む画像を識別するための符号として、例えばステップＳ４の判定の際に得られる「優先度」を画像データと対応付けて記録部４０２に記録する（ステップＳ５）。なお、詳細は後述するが、「優先度」とは年代特定のしやすさを数値化するための指標のことである。一方、ステップＳ４の判定において、年代特定しやすい被写体が存在していない場合には、ステップＳ５の処理をスキップする。
【００４８】
次に、サーバ４００の表情検出部４０５は、顔検出部４０４において検出された顔部の画像が懐かしさを誘う表情の画像であるか否かを判定する（ステップＳ６）。このステップＳ６の判定の詳細については後述する。ステップＳ６の判定において、顔部の画像が懐かしさを誘う表情の画像である場合に、表情検出部４０５は、懐かしさを誘う表情の画像を識別するための符号として、例えばステップＳ６の判定の際に得られる「なつかしい度」を画像データと対応付けて記録部４０２に記録する（ステップＳ７）。その後に図３の処理を終了する。ここで、「なつかしい度」とは懐かしさを数値化するための指標のことである。一方、ステップＳ６の判定において、顔部の画像が懐かしさを誘う表情の画像でない場合には、ステップＳ７の処理をスキップする。
【００４９】
また、ステップＳ１の判定において画像の再生指示であった場合に、アクセス反応部４０３は、その再生指示がダイジェスト再生モードの再生であるか否かを判定する（ステップＳ８）。ステップＳ８の判定において、ダイジェスト再生モードの再生である場合に、アクセス反応部４０３は、画像選択部４０９にダイジェスト再生モード用の画像選択指示を送る。これを受けて画像選択部４０９は、記録部４０２に記録されている画像データの中から「優先度」及び「なつかしい度」が付帯されている画像データを抽出する（ステップＳ９）。そして、画像選択部４０９は、抽出した画像データの中から、「優先度」又は「なつかしい度」が高いものを選択する（ステップＳ１０）。これは、「優先度」又は「なつかしい度」がそれぞれ最も高い画像データのみを選択するようにしても良いし、「優先度」又は「なつかしい度」がそれぞれ所定の閾値よりも高い画像データを全て選択するようにしても良い。「優先度」又は「なつかしい度」の高い画像データが選択された後、表示制御部４１０は、画像選択部４０９において選択された画像データを年代が古い順にＰＣ５００に表示させるように制御する（ステップＳ１１）。その後に図３の処理を終了する。ここで、厳密な年代特定ができるとは限らないので、ステップＳ１１の表示順は、ある程度の自由度を認めても良い。また、表示の際に「優先度」又は「なつかしい度」の高い画像ほど、表示の際の拡大率を大きくするようにしてもよい。
【００５０】
また、ステップＳ８の判定において、ダイジェスト再生モードの再生でない場合に、アクセス反応部４０３は、表示制御部４１０に記録部４０２に記録されている画像の一覧表示をＰＣ５００に表示させるように指示を送る（ステップＳ１２）。この場合には、ユーザによって選択された画像が画像選択部４０９によって選択された後、表示制御部４１０の制御の下、ＰＣ５００に表示させる。
【００５１】
図４は、図３のステップＳ３の背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。なお、顔検出処理は必ずしも図４に示す処理に限るものではない。また、図４に示す顔検出処理はデジタルカメラ１００の顔検出回路１１４において行う処理と同一の処理である。
【００５２】
まず、顔検出部４０４は、記録部４０２から画像データを読み出し、その画像における陰影を強調する（ステップＳ１０１）。これは、画像のコントラストを強調する処理である。例えば、図５に示す画像８００に対して陰影強調処理を施した場合、顔部付近８０２の画像は、参照符号８０３で示すように影のある部分や輪郭部分が強調された画像となる。
【００５３】
画像の陰影を強調した後、顔検出部４０４は目鼻部のパターンの設定を行う（ステップＳ１０２）。図５の参照符号８０４で目鼻部パターンの一例を示している。この目鼻部パターン８０４と陰影強調後画像８０３とのマッチング処理によって顔検出を行うわけであるが、通常、撮影によって得られる画像における顔の大きさや向きは様々であるため、目鼻部パターン８０４も顔の向きや大きさに対応して複数用意しておく。ステップＳ１０２の処理は、複数用意しておいた目鼻部パターン８０４の中から１つを設定する処理である。
【００５４】
次に、顔検出部４０４は、陰影強調後画像（実際には顔部付近８０２以外も含まれている）８０３と目鼻部パターン８０４との間でマッチング処理を行う（ステップＳ１０３）。これは、目鼻部パターン８０４によって陰影強調後画像８０３を走査しながら両者の一致度を例えば相関演算によって求める処理である。このマッチング処理の後、顔検出部４０４は、目鼻部パターン８０４がマッチングした位置が存在していたか否か、即ち陰影強調後画像８０３と目鼻部パターン８０４との一致度が所定量以上高い位置が画像内に存在していたかを判定する（ステップＳ１０４）。ステップＳ１０４の判定において、マッチング位置が存在していた場合に、顔検出部４０４はその位置の画像を顔部の画像として検出する（ステップＳ１０５）。
【００５５】
一方、ステップＳ１０４の位置において、マッチング位置が存在していない場合には、画像内の顔部の向きや大きさが目鼻部パターン８０４と異なっている可能性がある。また、画像内に複数の顔部が存在している場合には１つの目鼻部パターン８０４で全ての顔部を検出できるとは限らない。そこで、ステップＳ１０４の判定においてマッチング位置が存在していない場合、若しくはステップＳ１０５の後、顔検出部４０４は、顔検出処理を終了するか否かを、全ての目鼻部パターン８０４を用いてマッチング処理を行ったか否かを判定することによって判定する（ステップＳ１０６）。ステップＳ１０６の判定において、まだ、全ての目鼻部パターン８０４を用いてマッチング処理を行っていない場合に、顔検出部４０４は、別の目鼻部パターンに切り替えた後（ステップＳ１０７）、ステップＳ１０３に戻り、再びマッチング処理を行う。一方、全ての目鼻部パターン８０４を用いてマッチング処理を行った場合には、顔部の位置情報を背景検出部４０６に出力して顔検出処理を終了する。これを受けて背景検出部４０６は、ステップＳ１０５において検出された顔部以外を全て背景部の画像として検出する（ステップＳ１０８）。このようにして背景部が検出されると、処理が図３のステップＳ４に進む。
【００５６】
図６は、図３のステップＳ４の年代特定しやすい被写体が存在しているか否かの判定処理について示すフローチャートである。ここで、本実施形態においては、背景部の画像の中に、年代特定しやすい被写体が存在している場合には、その被写体の年代特定のしやすさに応じて「優先度」を設定する。この「優先度」の高い被写体ほど、年代特定がしやすく、またそれを見たユーザに懐かしさを想起させやすい。
【００５７】
図６において、画像判定部４０７は、まず背景部の画像内に、駅名や看板等の文字を含む被写体が存在しているか否かを判定する（ステップＳ２０１）。このために画像判定部４０７は図７に示す文字検出処理を行う。
【００５８】
ここで、図７及び図８を参照してステップＳ２０１の判定を行うための文字検出処理について説明する。図７は図６のステップＳ２０１の判定において用いられる文字検出処理の一例を示すフローチャートである。また、図８は図７の文字検出処理の概念について説明するための図である。
【００５９】
文字検出は、図８に示す文字画像の線部分８０５と線部分８０５の間に存在する空白部分８０６とをそれぞれ検出することにより行う。
【００６０】
まず、画像判定部４０７は背景部の画像のコントラストを強調してコントラスト強調画像Ｉ１を取得する（ステップＳ２０１１）。次に、画像判定部４０７は背景部の画像を２値化して２値化画像Ｉ２を取得する（ステップＳ２０１２）。
【００６１】
その後、画像判定部４０７はコントラスト強調画像Ｉ１と２値化画像Ｉ２との差分からコントラスト強調画像Ｉ１と２値化画像Ｉ２の一致度を求める（ステップＳ２０１３）。そして、画像判定部４０７は背景部の画像内にコントラスト強調画像Ｉ１と２値化画像Ｉ２の一致度が大きい部分（即ち差分が小さい部分）があるか否かを判定する（ステップＳ２０１４）。ステップＳ２０１４の判定において、コントラスト強調画像Ｉ１と２値化画像Ｉ２の一致度が大きい部分がない場合に、画像判定部４０７は背景部の画像内に文字を含む被写体は存在しないと判定する（ステップＳ２０１７）。
【００６２】
一方、ステップＳ２０１４の判定において、コントラスト強調画像Ｉ１と２値化画像Ｉ２の一致度が大きい部分がある場合に、画像判定部４０７はその部分が線画像で構成されていると判定する。そして、画像判定部４０７は一致度が高い部分の周囲の画像を検出する（ステップＳ２０１５）。そして、検出した部分の画像内に空白部、即ち低コントラスト部が多く占めているか否かを判定する（ステップＳ２０１６）。ステップＳ２０１６の判定において、空白部が少ない場合に、画像判定部４０７はその部分の画像が文字画像の特徴を有しておらず、文字画像は存在しないと判定する（ステップＳ２０１７）。一方、ステップＳ２０１６の判定において、空白部が多い場合に、画像判定部４０７はその部分の画像が文字画像の特徴を有しており、文字を含む被写体が存在していると判定する（ステップＳ２０１８）。
【００６３】
ここで、再び図６の説明に戻る。ステップＳ２０１の判定において、背景部の画像内に、文字を含む被写体が存在している場合に、画像判定部４０７は「優先度」に５点を加える（ステップＳ２０２）。即ち、文字情報は、その当時に行った場所や当時の雰囲気を読み取る明確な材料となり、年代特定しやすい情報と考えられる。したがって、「優先度」の点数を高めにしている。「優先度」を設定した後、画像判定部４０７は、検出した文字を年代別データベース４０８に記録されている文字画像と照合して年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６４】
一方、ステップＳ２０１の判定において、背景部の画像内に、文字を含む被写体が存在していない場合に、画像判定部４０７は、背景部の画像内に、乗り物被写体が含まれているか否かを、例えば年代別データベース４０８に記録されている乗り物画像とのマッチングをとることによって判定する（ステップＳ２０３）。ステップＳ２０３の判定において、背景部の画像内に乗り物被写体が含まれている場合に、画像判定部４０７は「優先度」に４点を加える（ステップＳ２０４）。即ち、電車やバス等の乗り物も看板や標識等の文字と同様に、場所を特定したり年代による変遷を示したりしやすいので、文字情報の次に「優先度」を高くしている。「優先度」を設定した後、画像判定部４０７は、検出した乗り物被写体より年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６５】
一方、ステップＳ２０３の判定において、背景部の画像内に、乗り物被写体が含まれていない場合に、画像判定部４０７は、背景部の画像内に、流行の服を着ている被写体が含まれているかを、例えば年代別データベース４０８に記録されている流行服画像とのマッチング（襟や袖の形やネクタイの太さや色合い等も利用）をとることによって判定する（ステップＳ２０５）。ステップＳ２０５の判定において、背景部の画像内に流行の服を着ている被写体が含まれている場合に、画像判定部４０７は「優先度」に３点を加える（ステップＳ２０６）。「優先度」を設定した後、画像判定部４０７は、検出した流行服の年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６６】
一方、ステップＳ２０５の判定において、背景部の画像内に、流行の服を着ている被写体が含まれていない場合に、画像判定部４０７は、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものであるか否かを判定する（ステップＳ２０７）。ステップＳ２０７の判定において、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものである場合に、画像判定部４０７は「優先度」に２点を加える（ステップＳ２０８）。即ち、建物や室内が明確に写っている場合も場所を特定する要素が写りこんでいるとして「優先度」に点数を加えるようにしている。「優先度」を設定した後、画像判定部４０７は、検出した建物被写体や室内の画像から年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６７】
一方、ステップＳ２０７の判定において、背景部の画像内に、建物被写体が含まれておらず、又は画像が室内で撮影されたものでもない場合に、画像判定部４０７は、背景部の画像における地面が舗装されているか否かを判定する（ステップＳ２０９）。ステップＳ２０９の判定において、背景部の画像における地面が舗装されたものでない場合に、画像判定部４０７は「優先度」に１点を加える（ステップＳ２１０）。即ち、市街地等で地面の舗装がなされていない画像は古い画像と考えられるので、この場合にも「優先度」に点数を加えるようにする。「優先度」を設定した後、画像判定部４０７は、検出した地面の舗装の具合から年代の特定を行う（ステップＳ２１１）。そして、図６の処理を抜けて、図３のステップＳ５に移行する。
【００６８】
一方、ステップＳ２０９の判定において、背景部の画像における地面が舗装されている場合には「優先度」に点数を加えずに、図６の処理を抜ける。この場合には、図３のステップＳ４の判定において、背景部の画像内に年代特定可能な被写体が存在していないと判定される。
【００６９】
図６の処理のような「優先度」の判定によって、背景に年代を想起せしめる被写体を含む画像を優先して表示させることができる。なお、図３のステップＳ４の処理においては、証明写真のように単なる壁を背景とする画像や、空や山のみを背景とする画像では「優先度」が高まらない。また、図３のステップＳ４の処理では自然を前にした集合写真等でも「優先度」は高まらない。しかしながら、このような集合写真は懐かしさを想起させる画像となりうるので、このような画像を判定するためにステップＳ６の判定を行い、「なつかしい度」を求める。
【００７０】
図９〜図１２を参照して、図３のステップＳ６の懐かしさを誘う表情であるか否かの判定処理について説明する。ここで、以下に説明する処理における「懐かしさを誘う表情」とは、必ずしも個々人の泣き笑いといった表情のみを示すものではなく、一緒に写っている人との関係性も含めて判定する。したがって、無表情でも、多くの人とかしこまって写っているものは、その場に相応しい表情であるので、これも懐かしい表情としてカウントできるようにする。
【００７１】
図９は、人物の泣き笑いといった「顔の表情に応じたなつかしい度」を求めるためのフローチャートである。また、図１２は、画像内に複数の人物が存在する場合の、「その人物同士の関係性に応じたなつかしい度」を求めるためのフローチャートである。
【００７２】
まず、図９から説明する。表情検出部４０５は、顔検出部４０４において検出された顔部の画像からその表情を検出する（ステップＳ３０１）。
【００７３】
ここで、図１０及び図１１を参照して表情検出処理について説明する。図１０は図９のステップＳ３０１の表情検出処理の一例を示すフローチャートである。また、図１１は図１０の表情検出処理の概念について説明するための図である。
【００７４】
まず、表情検出部４０５は、顔部の画像の陰影分布から、目部、鼻部、口部を検出する（ステップＳ３０１１）。次に、表情検出部４０５は、検出した目部、鼻部、口部の位置関係から、顔が正面を向いているか否かを判定する（ステップＳ３０１２）。ステップＳ３０１２においては、例えば、両目が顔の画面の何れかに偏って配置されている場合には顔が横を向いていると判定する。また、両目が顔の左右方向に均等に配置され、鼻部が顔の上下方向の略中央部に配置されているような場合には正面を向いていると判定する。
【００７５】
ステップＳ３０１２の判定において、顔が正面を向いている場合に、表情検出部４０５は、ステップＳ３０１１において検出した口部における唇の両端を結ぶ直線の中心位置Ｌ１（図１１（ａ）参照）を検出する（ステップＳ３０１３）。次に、表情検出部４０５は、唇の上部中心位置Ｌ２（図１１（ａ）参照）を検出する（ステップＳ３０１４）。さらに、表情検出部４０５はステップＳ３０１１において検出した鼻部の下位置Ｎ１（図１１（ａ）参照）を検出する（ステップＳ３０１５）。
【００７６】
次に、表情検出部４０５は、Ｌ１とＮ１との距離とＬ２とＮ１との距離の差分を求める（ステップＳ３０１６）。そして、この差分から顔の表情を判定する。例えば、笑顔の場合には図１１（ｂ）に示すようにして唇の両端が持ち上がった状態となり、Ｌ１とＮ１との距離とＬ２とＮ１との距離と差分が図１１（ｃ）に示す真顔の場合に比べて小さくなると考えられる。また、泣き顔の場合には図１１（ｄ）に示すようにして唇の両端が下がった状態となり、Ｌ１とＮ１との距離とＬ２とＮ１との距離と差分が図１１（ｃ）に示す真顔の場合に比べて大きくなると考えられる。したがって、ステップＳ３０１６で求めた差分を笑顔、真顔、泣き顔を示す所定の閾値と比較することで顔の表情を判定することが可能である。
【００７７】
以上のような考え方に基づいて、表情検出部４０５は、ステップＳ３０１６で求めた差分が、泣き顔を示す閾値よりも大きいか否かを判定する（ステップＳ３０１７）。ステップＳ３０１７の判定において、差が泣き顔を示す閾値よりも大きい場合に、表情検出部４０５は顔の表情が泣き顔と判定する（ステップＳ３０１８）。その後、図１０の処理を抜ける。一方、ステップＳ３０１７の判定において、差が泣き顔を示す閾値よりも小さい場合に、表情検出部４０５は、差が笑顔を示す閾値よりも小さいか否かを判定する（ステップＳ３０１９）。ステップＳ３０１９の判定において、差が笑顔を示す閾値よりも小さい場合に、表情検出部４０５は顔の表情が笑顔と判定する（ステップＳ３０２０）。その後、図１０の処理を抜ける。一方、ステップＳ３０１９の判定において、差が笑顔を示す閾値よりも大きい場合に、表情検出部４０５は、表情が真顔であると判定する（ステップＳ３０２１）。その後、図１０の処理を抜ける。
【００７８】
また、ステップＳ３０１２の判定において、顔が正面を向いていない場合には、ステップＳ３０１３〜ステップＳ３０２１の処理によって表情を判定することが困難である。そこで、この場合には判定を簡易化する。即ち、表情検出部４０５は口部において歯（白部分）が検出できるか否かを判定する（ステップＳ３０２２）。このステップＳ３０２２の判定において、歯が検出できた場合に、表情検出部４０５は、表情が笑顔であると判定する（ステップＳ３０２３）。その後、図１０の処理を抜ける。一方、ステップＳ３０２２の判定において、歯が検出できなかった場合には、表情の検出が不能であったとして、そのまま図１０の処理を抜ける。
【００７９】
ここで、再び図９の説明に戻る。ステップＳ３０１において、表情を検出した後、表情検出部４０５は、検出した表情が複数の人物の笑顔であるか否かを判定する（ステップＳ３０２）。ステップＳ３０２の判定において、検出した表情が複数の人物の笑顔である場合に、表情検出部４０５は「なつかしい度」に５点を加える（ステップＳ３０３）。そして、図９の処理を抜けて、図１２の処理を開始する。即ち、複数の顔があって、それらの顔の表情が笑顔であるような写真は、その当時、楽しいことがあったとして「なつかしい度」を高めに設定する。
【００８０】
一方、ステップＳ３０２の判定において、検出した表情が複数の人物の笑顔でない場合に、表情検出部４０５は、検出した表情が複数の顔が向かいあうものであるか否かを判定する（ステップＳ３０４）。ステップＳ３０４の判定において、検出した表情が複数の顔が向かいあうものである場合に、表情検出部４０５は「なつかしい度」に４点を加える（ステップＳ３０５）。そして、図９の処理を抜けて、図１２の処理を開始する。このような場合も、その当時に人物間で何らかの交流があったことを示す画像と考えられるので、その時の感情を含めて当時を思い出すことが可能な画像と考えることが可能である。
【００８１】
一方、ステップＳ３０５の判定において、検出した表情が複数の顔が向かいあうものでない場合に、表情検出部４０５は、検出した表情がアップの笑顔であるか否かを判定する（ステップＳ３０６）。ステップＳ３０６の判定において、検出した表情がアップの笑顔である場合に、表情検出部４０５は「なつかしい度」に３点を加える（ステップＳ３０７）。そして、図９の処理を抜けて、図１２の処理を開始する。即ち、アップの笑顔は、被写体本人は意識していなくとも、撮影者が非常に思い入れをこめて撮った写真と考えられるので「なつかしい度」に加点するようにする。
【００８２】
一方、ステップＳ３０６の判定において、検出した表情がアップの笑顔でない場合に、表情検出部４０５は、検出した表情がアップの泣き顔であるか否かを判定する（ステップＳ３０８）。ステップＳ３０８の判定において、検出した表情がアップの泣き顔である場合に、表情検出部４０５は「なつかしい度」に２点を加える（ステップＳ３０９）。そして、図９の処理を抜けて、図１２の処理を開始する。即ち、アップの泣き顔は、被写体本人には面白くないかもしれないが、それなりに感情が高ぶった状況なので、何らかの記憶が残っている可能性が高く、これも、思い出を想起させることのできる表情と考えられるので「なつかしい度」に加点するようにする。
【００８３】
一方、ステップＳ３０８の判定において、検出した表情がアップの泣き顔でない場合に、表情検出部４０５は、検出した表情の中で他に存在しない人物の顔があるか否かを判定する（ステップＳ３１０）。なお、この判定には、家族等の特定人物の顔の画像を表情検出部４０５に記録しておき、この画像と表情検出部４０５に入力された顔部の画像とを比較することで判定する。ステップＳ３１０の判定において、検出した表情の中で他に存在しない人物の顔がある場合に、表情検出部４０５は「なつかしい度」に１点を加える（ステップＳ３１１）。そして、図１２の処理を開始する。
【００８４】
次に、図１２を説明する。人物同士の関係性に応じた懐かしさを感じさせる写真といえば、例えば図１３（ａ）に示すような、子供の頃に両親と一緒に撮影した写真が考えられる。図１２の処理ではこのような画像を複数の顔部の画像の大きさや位置関係から判定するものである。また、画像における人物の顔部の大きさは撮影時における被写体距離によって変化するものである。即ち、被写体距離が遠距離になると画像上の顔部の大きさは相対的に小さくなり、逆に被写体距離が近距離になると画像上の顔部の大きさは相対的に大きくなる。したがって、顔部の大きさを比較する際には距離検出回路１１３によって検出される距離情報も利用する。
【００８５】
表情検出部４０５は、顔検出部４０４において検出された顔部の画像において、図１３（ａ）に示すように、大きい男女（大人の男女）８０７の間の下に小さい人（子供）８０８が存在しているか否かを判定する（ステップＳ４０１）。ここで、大人と子供の判別は顔検出部４０４において検出される顔部の画像の大きさから判定する。また、男女の判定は髪型や体の大きさ、服装等の差異から判定することができる。ステップＳ４０１の判定において、画像内において大きい複数の男女の間の下に小さい人が存在している場合に、表情検出部４０５は「なつかしい度」に１０点を加える（ステップＳ４０２）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。即ち、画像内に大きな男女の顔があれば、これらはカップルと考えられる。また、その間の下に小さい顔の人がいれば、それが両親と子どもの写真と考えることができる。このような写真の懐かしさは格別と考えることができるので「なつかしい度」を高めに設定している。
【００８６】
一方、ステップＳ４０１の判定において、画像内において大きい複数の男女の間に小さい人が存在していない場合に、表情検出部４０５は、画像内において大きい複数の男女の横に小さい人が存在しているか否かを判定する（ステップＳ４０３）。ステップＳ４０３の判定において、画像内において大きい複数の男女の横に小さい人が存在している場合に、表情検出部４０５は「なつかしい度」に８点を加える（ステップＳ４０４）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。このような場合も、男女の間に小さい人が存在している場合に続いて親密な雰囲気を醸し出していると考えられるので、懐かしさを想起する画像として分類できる。
【００８７】
一方、ステップＳ４０４の判定において、画像内において大きい複数の男女の横に小さい人が存在していない場合に、表情検出部４０５は、図１３（ｂ）に示すようにして画像内に大きい人８０７と小さい人８０８とが密着して存在しているか否かを判定する（ステップＳ４０５）。ステップＳ４０５の判定において、画像内に大きい人と小さい人が密着して存在している場合に、表情検出部４０５は「なつかしい度」に６点を加える（ステップＳ４０６）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。大人と子供の写真の場合、両親ではなくとも、例えば母親と子ども、父親と子ども、或いは兄弟、従弟、おじ、おば、曽祖父母との写真と考えることもできる。そこで、このような写真をステップＳ４０５において判定できるようにし、「なつかしい度」に加点するようにしている。
【００８８】
一方、ステップＳ４０６の判定において、画像内に大きい人と小さい人とが密着して存在していない場合に、表情検出部４０５は、画像内に大きい人と複数の小さい人とが存在しているか否かを判定する（ステップＳ４０７）。ステップＳ４０７の判定において、画像内に大きい人と複数の小さい人とが存在している場合に、表情検出部４０５は「なつかしい度」に５点を加える（ステップＳ４０８）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。この場合は、例えば子供達に囲まれた大人や孫達に囲まれた祖父母のような画像を想定している。このような画像もほほえましく、懐かしさを想起しやすいと考えられるので「なつかしい度」に加点するようにしている。
【００８９】
一方、ステップＳ４０７の判定において、画像内に大きい人と複数の小さい人とが存在していない場合に、表情検出部４０５は、顔部と体部との比率が小さいか否かを判定する（ステップＳ４０９）。ステップＳ４０９の判定において、顔部と体部との比率が小さい場合に、表情検出部４０５は「なつかしい度」に１点を加える（ステップＳ４１０）。そして、図１２の処理を抜けて、図３のステップＳ７に移行する。顔と体の大きさの比率は成長するにつれ大きくなっていくので、この比率が小さい写真は子どもの写真と考える。例えば、図１４（ａ）に示すようなシーンにおいて顔と体との大きさの比率を求めるには、顔検出部４０４において得られた陰影強調後画像から輪郭成分を抽出することで図１４（ｂ）に示す複数の人の顔の大きさ（図示Ｆ１、Ｆ２）を検出する。さらに、輪郭成分を抽出した画像において各人物の腰部を検出し、それによって首から腰までの大きさ（図示Ｂ１、Ｂ２）を検出する。上述したように、大人の場合の比率Ｆ１／Ｂ１と子供の場合の比率Ｆ２／Ｂ２とでは、比率Ｆ２／Ｂ２のほうが小さくなる。即ち、子供のほうが体の大きさに対する顔の大きさの割合が大きくなるので、このような判定を行うことで画像内における大人と子供との識別が可能である。ただし、顔と体の比率による「なつかしい度」を高くしすぎると、子どもの写真ばかりになってしまうので、大人と一緒の写真よりも得点を少なくしている。
【００９０】
図１２の処理のように、複数の人物の関係を、画像の構図から判定し、その関係が親密であると考えられるものや、家族との写真と考えられるものの「なつかしい度」を高めてその画像を優先的に表示させることで、その画像を見て家族が皆で懐かしい感情に浸ることができる。この図１２の処理を図９の処理と組み合わせることで、図１３（ｂ）のように、笑っている人がいて、且つその人が子供と密着しているような画像は、かなり高い「なつかしい度（即ち表示優先度）」となる。
【００９１】
以上説明したように、本実施形態によれば、複数の人物の関係が親密であると考えられる画像や家族の写真であると考えられる画像、画像内の人物が笑っている画像等が他の画像よりも優先して表示がなされるので、例えば家族の年代史のような画像を確実に選択してＰＣ５００に表示させることが可能である。これにより、各地に離れた親族が短時間で家族の年代史のような画像を鑑賞することが可能である。
【００９２】
また、近年、流行している大画面のテレビジョン装置等はネットワーク接続機能を有しているものが多いので、このようなテレビジョン装置を図２の通信システムにおいてネットワーク３００に接続するようにすれば、団欒の場等で大画面のテレビジョン装置に表示されて画像を家族みんなで楽しむこともできるようになる。
【００９３】
［変形例］
以下、上述した実施形態の変形例について説明する。
上述した図６の処理においては背景部の画像から年代の特定しやすい画像を検出し、その画像の「優先度」を高めて表示優先度を高くするとともに、その画像の取得された年代を特定しているが、必ずしも年代を特定できるとは限らない。また、上述した実施形態において、表示優先度が高くなるのは年代特定のしやすい画像だけでなく、年代特定が困難であっても、懐かしさを想起させやすい表情の画像や人物同士の関係が親密であると考えられる画像も含まれる。そこで、本実施形態の第１の変形例は、年代特定の行える画像と同一年代に撮影されたと考えられる画像を選択してＰＣ５００に表示させる。
【００９４】
図１５は、第１の変形例の概念について説明するための図である。また、図１６は、第１の変形例の処理について示すフローチャートである。ここで、図１６の処理は例えば図３のステップＳ１０の後に行われる。
【００９５】
図３のステップＳ１０において、画像選択部４０９は、「優先度」又は「なつかしい度」の高い画像を記録部４０２から選択する。その後、図１６の処理を行う。まず、画像選択部４０９は、選択した画像が年代特定可能な画像（第１の画像）であるか否かを、「優先度」の値によって判定する（ステップＳ５０１）。例えば、図１５のように画像内にカレンダー８０９が写っている画像は文字を含む被写体であるため、図６の処理において「優先度」が加算されており、年代特定可能な画像であると判定される。ステップＳ５０１の判定において、選択した画像が年代特定不能な画像である場合には、図１６の処理を抜ける。この場合には、表示制御部４１０の制御の下、画像選択部４０９において選択された画像のみがＰＣ５００に表示される。
【００９６】
一方、ステップＳ５０１の判定において、選択した画像が年代特定可能な画像である場合には、顔検出部４０４によりその画像内に写っている人物８０８の顔部を検出する（ステップＳ５０２）。顔検出部４０４によって顔部が検出された後、画像選択部４０９は顔検出部４０４によって検出された顔部と同じ顔部を有する人物を含む画像（第２の画像）８１０を記録部４０２の中から選択する（ステップＳ５０３）。顔部が同じであるか否かの判定は、例えば顔部画像のマッチング処理によって行うことができる。
【００９７】
ステップＳ５０３の選択の後、画像選択部４０９は、同じ顔部を有する人物を含む画像８１０を選択できたか否かを判定する（ステップＳ５０４）。即ち、同じ顔部を有する人物を含む画像であれば、それらは同一年代に取得されたものと考えることが可能である。ステップＳ５０４の判定において、同じ顔部を有する人物を含む画像８１０を選択できなかった場合には、図１６の処理を抜ける。この場合には、表示制御部４１０の制御の下、画像選択部４０９において選択された画像のみがＰＣ５００に表示される。
【００９８】
一方、ステップＳ５０４の判定において、顔部が同じ人物８０８ａを含む画像を選択できた場合に、画像選択部４０９はその選択した画像を図３のステップＳ１０において選択した画像とともに表示制御部４１０に送る。表示制御部４１０は、画像選択部４０９から送られてきた画像を並べてＰＣ５００に表示させるように制御する（ステップＳ５０５）。その後に図１６の処理を抜けて図３の処理を終了する。
【００９９】
以上説明した第１の変形例によれば、年代特定が可能な画像に写っている人物と同じ顔の人物の画像を選択することにより、年代特定を行うことができる被写体が存在しない画像の年代特定を行うことができ、これによってユーザの懐かしさをさらに想起させることが可能である。
【０１００】
ここで、図１６のステップＳ５０３の処理においては、顔部が同一の画像を選択しているが、輪郭抽出処理等を併用して顔部の他に体部も含めて同一の画像を選択するようにしても良い。
【０１０１】
次に、本実施形態の第２の変形例について説明する。第２の変形例は、単に「優先度」又は「なつかしい度」の高い画像を表示させるのではなく、記録部４０２に記録されている画像を所定期間毎に区分し、その区分毎に「優先度」又は「なつかしい度」の高い画像を表示させるものである。
【０１０２】
図１７は、第１の変形例の処理について示すフローチャートである。ここで、図１７の処理は例えば図３のステップＳ８以後の処理に代えて行われる。
【０１０３】
まず、アクセス反応部４０３は、ユーザからの画像再生指示がダイジェスト再生モードの再生指示であるか否かを判定する（ステップＳ６０１）。ステップＳ６０１の判定において、ダイジェスト再生モードの再生でない場合には、図１７の処理を抜けて図３のステップＳ１２の処理を行う。
【０１０４】
一方、ステップＳ６０１の判定において、ダイジェスト再生モードの再生である場合に、アクセス反応部４０３は、画像選択部４０９にダイジェスト再生モード用の画像選択指示を送る。これを受けて画像選択部４０９は、「優先度」又は「なつかしい度」の高い画像の選択を行う。これに先立って、画像選択部４０９は記録部４０２に記録されている画像データの中に、年代が特定されていない画像データが存在しているか否かを判定する（ステップＳ６０２）。ステップＳ６０２の判定において、年代が特定されていない画像データが存在している場合には、背景部の被写体若しくは図１６のステップＳ５０３と同様の処理によって年代が特定されていない画像の取得年代を特定する（ステップＳ６０３）。
【０１０５】
ステップＳ６０３の処理後、画像選択部４０９は年代特定を終了するか否かを、全ての年代が特定されていない画像データに対してステップＳ６０３の処理を行ったか否かによって判定する（ステップＳ６０４）。ステップＳ６０４の判定において、まだ、全ての年代が特定されていない画像データに対してステップＳ６０３の処理を行っていない場合にステップＳ６０２に戻る。
【０１０６】
一方、ステップＳ６０４の判定において、全ての年代が特定されていない画像データに対してステップＳ６０３の処理を行った場合に、画像選択部４０９は、年代が特定された画像データを取得年代毎に分類する（ステップＳ６０５）。この分類は、例えば、取得年代が最古のものと最近のものとの間を１０の時期に等分して取得年代を区分し、それぞれの区分に各画像データを分類することにより行う。ステップＳ６０５の分類の後、画像選択部４０９は、区分毎に表示優先度（即ち、「優先度」又は「なつかしい度」）の高い画像データを記録部４０２から読み出して表示制御部４１０に送る。表示制御部４１０は、画像選択部４０９から送られてきた画像をＰＣ５００に表示させるように制御する（ステップＳ６０６）。その後、アクセス反応部４０３は、所定期間内に画像の表示再生の終了指示がなされたか否かを判定する（ステップＳ６０７）。ステップＳ６０７の判定において、画像の表示再生の終了指示がなされていない場合には、アクセス反応部４０３はその旨を画像選択部４０９に通知する。これを受けて画像選択部４０９は記録部４０２から読み出す画像データの区分の切り替えを行う（ステップＳ６０８）。その後に、ステップＳ６０６に戻り、別の区分の画像の表示処理を行う。一方、ステップＳ６０７の判定において、画像の表示再生の終了指示がなされた場合には、図１７の処理を終了する。
【０１０７】
以上説明した第２の変形例によれば、取得年代毎に区分して画像の表示を行うことにより、例えば赤ちゃんの時期の写真ばかりが表示されてしまう等の、同一時期の写真ばかり表示されてしまうことを防止することが可能である。
【０１０８】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では画像データ毎に１つの「なつかしい度」を設定しているが、複数の条件が重なった場合には、それら複数の条件に対応した「なつかしい度」を加算又は乗算して最終的な「なつかしい度」を求めるようにしても良い。また、背景被写体の種類や顔部の表情に応じた「なつかしい度」の点数は一例であり、適宜決定することができる。この点数をユーザが設定できるようにしても良い。
【０１０９】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【０１１０】
【図１】本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図２】本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。
【図３】サーバの動作を示すフローチャートである。
【図４】背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。
【図５】顔検出処理の概念について示す図である。
【図６】懐かしさを想起させる被写体が存在しているか否かの判定処理について示すフローチャートである。
【図７】文字検出処理の一例を示すフローチャートである。
【図８】文字検出処理の概念について説明するための図である。
【図９】顔の表情に応じた「なつかしい度」を求めるためのフローチャートである。
【図１０】表情検出処理の一例を示すフローチャートである。
【図１１】表情検出処理の概念について説明するための図である。
【図１２】人物同士の関係性に応じた「なつかしい度」を求めるためのフローチャートである。
【図１３】図１３（ａ）は大きい男女の間の下に小さい人物が存在する画像の例を示す図であり、図１３（ｂ）は大きい人と小さい人とが密着して存在する画像の例を示す図である。
【図１４】顔と体との大きさの比率の求め方について説明するための図である。
【図１５】本発明の実施形態の第１の変形例の概念について説明するための図である。
【図１６】本発明の実施形態の第１の変形例の処理について示すフローチャートである。
【図１７】本発明の実施形態の第２の変形例の処理について示すフローチャートである。
【符号の説明】
【０１１１】
１００…デジタルカメラ、１０１…マイクロプロセッシングユニット（ＭＰＵ）、１０２…操作部、１０３…撮影レンズ、１０４…オートフォーカス（ＡＦ）回路、１０５…絞り機構、１０６…絞り制御回路、１０７…撮像素子、１０８…アナログフロントエンド（ＡＦＥ）回路、１０９…画像処理回路、１１０…表示制御回路、１１１…表示パネル、１１２…形状検出回路、１１３…距離検出回路、１１４…顔検出回路、１１５…圧縮部、１１６…記録制御回路、１１７…記録メディア、１１８…通信部、１１９…補助光発光回路、３００…ネットワーク、４００…サーバ、５００，６００…パーソナルコンピュータ（ＰＣ）、７００…スキャナ
【特許請求の範囲】
【請求項１】
複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、
上記画像における顔部分を複数検出する顔検出部と、
上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、該判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定する優先度設定部と、
上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項２】
上記画像における背景部分を検出する背景検出部をさらに備え、
上記表示制御部は、上記背景検出部によって検出された背景部分から上記画像の取得された年代を特定し、該特定した年代毎の上記表示優先度に応じた優先順位で上記画像を表示させることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、
上記画像内から人物の部分を検出する人物検出部と、
上記人物の部分の検出結果から、上記画像内における背景の部分を検出する背景検出部と、
上記背景検出部で検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項４】
複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、
上記画像における顔部分を複数検出し、
上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、
上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定し、
上記表示優先度に応じた優先順位で上記画像を表示させる、
ことを特徴とする画像表示方法。
【請求項５】
複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、
上記画像内から人物の部分を検出し、
上記人物の部分の検出結果から、上記画像内における背景の部分を検出し、
上記検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させる、
ことを特徴とする画像表示方法。
【請求項６】
複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、
上記画像における顔部分を複数検出するステップと、
上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定するステップと、
上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定するステップと、
上記表示優先度に応じた優先順位で上記画像を表示させるステップと、
をコンピュータに実行させるための画像表示プログラム。
【請求項７】
複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、
上記画像内から人物の部分を検出するステップと、
上記人物の部分の検出結果から、上記画像内における背景の部分を検出するステップと、
上記検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させるステップと、
をコンピュータに実行させるための画像表示プログラム。
【請求項１】
複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、
上記画像における顔部分を複数検出する顔検出部と、
上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、該判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定する優先度設定部と、
上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項２】
上記画像における背景部分を検出する背景検出部をさらに備え、
上記表示制御部は、上記背景検出部によって検出された背景部分から上記画像の取得された年代を特定し、該特定した年代毎の上記表示優先度に応じた優先順位で上記画像を表示させることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
複数の画像から、それより少ない画像を選択して表示させるための画像表示装置において、
上記画像内から人物の部分を検出する人物検出部と、
上記人物の部分の検出結果から、上記画像内における背景の部分を検出する背景検出部と、
上記背景検出部で検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項４】
複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、
上記画像における顔部分を複数検出し、
上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定し、
上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定し、
上記表示優先度に応じた優先順位で上記画像を表示させる、
ことを特徴とする画像表示方法。
【請求項５】
複数の画像から、それより少ない画像を選択して表示させるための画像表示方法において、
上記画像内から人物の部分を検出し、
上記人物の部分の検出結果から、上記画像内における背景の部分を検出し、
上記検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させる、
ことを特徴とする画像表示方法。
【請求項６】
複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、
上記画像における顔部分を複数検出するステップと、
上記顔部分の検出の結果から、複数の顔部分の画像の大きさと位置とを判定するステップと、
上記判定した顔部分の大きさと位置とに従って上記画像の表示優先度を設定するステップと、
上記表示優先度に応じた優先順位で上記画像を表示させるステップと、
をコンピュータに実行させるための画像表示プログラム。
【請求項７】
複数の画像から、それより少ない画像を選択して表示させるための画像表示プログラムにおいて、
上記画像内から人物の部分を検出するステップと、
上記人物の部分の検出結果から、上記画像内における背景の部分を検出するステップと、
上記検出された背景の部分に年代特定可能な被写体が撮影されている第１の画像と上記第１の画像の有する人物部と同様の画像を有する第２の画像とを並べて表示させるステップと、
をコンピュータに実行させるための画像表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−２２５０８９（Ｐ２００８−２２５０８９Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６３７７２（Ｐ２００７−６３７７２）
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]