画像表示装置、画像表示方法、および画像表示用プログラム
【課題】複数の画像の中から画像を検索して表示するにあたって、迅速に検索を行うことのできる画像表示装置、画像表示方法、および画像表示用プログラムを提供する。
【解決手段】複数の画像のそれぞれの画面中央に位置する顔の笑顔度を判定し（Ｓ６３）、この判定した笑顔度に基づいて、複数の画像の中から代表画像を検索し表示を行うようにしている（Ｓ７３）。また、代表画像の検索にあたって、Ｓ７１で笑顔度に加えて類似画像は排除している（Ｓ７１）。
【解決手段】複数の画像のそれぞれの画面中央に位置する顔の笑顔度を判定し（Ｓ６３）、この判定した笑顔度に基づいて、複数の画像の中から代表画像を検索し表示を行うようにしている（Ｓ７３）。また、代表画像の検索にあたって、Ｓ７１で笑顔度に加えて類似画像は排除している（Ｓ７１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法および画像表示用プログラムに関し、詳しくは、複数の撮影画像の中から代表的な画像を検索し、これを表示するようにした画像表示装置、画像表示方法、および画像表示用プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラの技術革新によって、高感度化、露出制御範囲の拡大など進展し、また、記録メディアの大容量化が進んできている。さらに、フィルム時代のカメラと比較し、格段に連写機能も向上しており、カメラユーザーは、気楽に撮影を楽しむことができ、大量の画像を得るようになってきている。また、近年では、被写体である人物の表情を判定する機能を備えたカメラが登場し、笑顔の写真を撮影することが容易になってきている。さらに、個々の顔を識別し誰の顔であるかを判定する技術の開発も進んでいる。
【０００３】
上述したように、大量の画像を得ることができるようになったが、鑑賞する際に、見たい画像をなかなか探しだすことができなくなっている。そこで、画像データを用いて人物の表情を判定する等、画像の内容に基づいて検索することが考えられる。例えば、特許文献１には、人物の顔の特徴点に基づく顔認識データと、予め登録しておいた顔認識データを比較することにより登録されている人物であるかどうかを判定する電子カメラが開示されている。また、特許文献２には、顔画像毎に笑顔評価や端正評価を行い、被撮影者が良い表情である画像を手軽に楽しむことのできる画像評価装置が開示されている。
【特許文献１】特開２００７−１５０６０４号公報
【特許文献２】特開２００４−４６５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示の電子カメラは、予め登録された人物のみしか認識できず、また登録手続など簡便性、高速性に問題がある。また、特許文献２に開示の画像評価装置は、カジュアルやフォーマル等の場面解析を必要とし、このための画像解析に時間がかかってしまう。全画像の全ての顔を探し、比較するのでは検索・判定に時間がかかり、直ぐに鑑賞を始めることができない。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、複数の画像の中から画像を検索して表示するにあたって、迅速に検索を行うことのできる画像表示装置、画像表示方法、および画像表示用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係わる画像表示装置は、顔画像を含む複数の画像から代表画像を選んで表示する画像表示装置であって、上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択する選択部と、上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索する検索部と、上記代表画像を表示する表示制御部と、
を備えたことを特徴とする。
【０００７】
上記目的を達成するため第２の発明に係わる画像表示装置は、上記第１の発明の画像表示装置において、上記複数の画像が撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする。
【０００８】
上記目的を達成するため第３の発明に係わる画像表示装置は、上記第１の発明の画像表示装置において、上記表示制御部が、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする。
【０００９】
上記目的を達成するため第４の発明に係わる画像表示方法は、顔画像を含む複数の画像から代表画像を選んで表示する画像表示方法であって、上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択するステップと、上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索するステップと、上記代表画像を表示するステップと、を備えたことを特徴とする。
【００１０】
上記目的を達成するため第５の発明に係わる画像表示方法は、上記第４の発明の画像表示方法において、上記複数の画像が撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする。
【００１１】
上記目的を達成するため第６の発明に係わる画像表示方法は、上記第４の発明の画像表示方法において、上記表示ステップが、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする。
【００１２】
上記目的を達成するため第７の発明に係わる画像表示プログラムは、顔画像を含む複数の画像から代表画像を選んで表示する画像表示プログラムであって、上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択するステップと、上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索するステップと、上記代表画像を表示するステップと、を備えたことを特徴とする。
【００１３】
上記目的を達成するため第８の発明に係わる画像表示プログラムは、上記第７の発明の画像表示プログラムにおいて、上記複数の画像は撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする。
【００１４】
上記目的を達成するため第９の発明に係わる画像表示プログラムは、上記第７の発明の画像表示プログラムにおいて、上記表示ステップが、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、複数の画像の中から画像を検索して表示するにあたって、迅速に検索を行うことのできる画像表示装置、画像表示方法、および画像表示用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本実施形態におけるカメラは、撮影時に顔の位置と数と笑顔の度合いを記録しておき、画像の表示再生時には、撮影された複数の写真の中から、画面中央に位置する顔の笑顔の度合いの高いもので、なおかつ多くの人が一緒に写っている画像を代表画像として表示するようにしている。
【００１７】
図１は本発明の第１実施形態に係わるカメラ１０とテレビ２０となるシステムの構成を示すブロック図である。カメラ１０はデジタルカメラであり、制御部１、撮像部２、光学系制御部３、記録部４、顔検出部５、切出部６、合成処理部７、表示部８、表示制御部８ａ、時計部９、操作判定部１１、笑顔度判定部１２、通信部１４を有し、有線通信又は無線通信を介して外部のテレビ２０と接続可能である。
【００１８】
制御部１は、カメラ１０内の各部と接続され、カメラ１０の全体制御を行う。制御部１内には、画像処理部１ａ、イベント分類部１ｂ、顔分類部１ｃ、表示順決定部１ｄを有する。画像処理部１ａは撮像部２等から入力する画像の圧縮・伸張処理等の各種画像処理を行う。
【００１９】
また、イベント分類部１ｂは、画像の撮影日時情報に基づく撮影頻度等に従って、画像がどのイベントに属するかを決定する。イベント分類については、図３及び図４を用いて後述する。顔分類部１ｃは、顔検出部５によって検出された人物の顔に相当する部分を検出し、これに基づいて顔の特徴によって分類を行う。表示順決定部１ｄは、顔分類部１ｃによる顔の分類や、笑顔度判定部１２による笑顔度に基づいて、表示順を決定する。
【００２０】
撮像部２は、被写体像を結像するための光学系、および被写体像を光電変換する撮像素子等を含み、画像データを出力する。光学系制御部３は、撮像部２内の光学系のピント合わせ等の制御を行う。記録部４は、撮像部２から出力された画像データを、制御部１内の画像処理部１ａによって圧縮処理等し、この画像データを撮影画像として記録する。記録部４内には、画像ｖｓ顔記憶部４ａが設けられており、この画像ｖｓ顔記憶部は、画像データと、この画像にどのような特徴の顔が含まれているかの情報を対にして記録する。
【００２１】
顔検出部５は、撮影画像中に人物像が含まれる場合に、顔パターンを判定して、顔の部分を検出する。この検出結果に基づいて、光学系制御部３は露出制御や自動焦点調節（ＡＦ）等を行う。また、顔検出部５は、位置検出部５ａ、大きさ判定部５ｂ、特徴部５ｃを有する。位置検出部５ａは、顔検出部５によって検出された人物の顔について、画面の中での位置を検出する。大きさ判定部５ｂは、検出された顔の部分の大きさを判定する。特徴部５ｃは、個人を識別可能にするために、顔の特徴量を検出する。
【００２２】
切出部６は、顔検出部５によって検出された人物像の顔の部分に対応する画像データを切り出す。ここで切り出された顔画像のデータは、合成処理部７において画像の合成処理の際に使用される。合成処理部７は、切出部６で切出された顔画像データを合成し、後述する画像Ｃ（図１）のような画像合成を行う。
【００２３】
表示部８は、カメラ１０の背面等に配置された液晶モニタ等の表示装置で構成され、記録部４に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のライブビュー表示も行う。また、記録部４に記録されている撮影画像の通常再生やスライドショー形式での再生表示を行う。表示部８の表示制御を行うのが、表示制御部８ａである。
【００２４】
時計部９は計時機能やカレンダ機能を有し、撮影時の日時情報の取得等に用いる。ここで得られた日時情報は、撮影画像を記録部４に記録する際に、撮影画像と一緒にファイル化して記録される。操作判定部１１は、ユーザーによるカメラ１０の操作部材等の操作状態を判定する。この操作状態に応じて、前述したように、制御部１はカメラ１０の制御を行う。
【００２５】
笑顔度判定部１２は、顔検出部５によって検出された人物の顔の笑顔の程度を数値化する。笑顔度の判定は、図６乃至図９を用いて後述する。通信部１４は、有線通信や無線通信によって外部のテレビ２０と送受信を行う。この通信部１４を介して、記録部４に記録されている撮影画像を外部に送信することができる。
【００２６】
次に、このように構成された本実施形態に係わるカメラ１０の詳しい動作を説明する前に、撮影画像の再生表示の基本的なやり方について説明する。本実施形態の特徴として、ユーザーが、一番、見たいと思われる画像を即座に表示するようにしている。撮影者は大量の画像を撮影しており、この中には、笑顔等により見栄えの良い画像があり、また、同じ人物が何回も写っていることもある。
【００２７】
そこで、表示部８やテレビ２０に再生表示するにあたって、写真群Ａに示すような同じような写真ばかりを表示しないようにし、同じような写真の場合には、その中で一番良い写真Ｂ１を選択して表示する。スライドショー等により、次の画像に切り替えて鑑賞する場合には、同じ人物が写っている写真は避け、別の人物が写っている写真Ｂ２を再生表示する。
【００２８】
また、画像Ｃのように、この画像の中の中央の人物の顔のみを切出部６によって切り出し、この切出された複数の顔を合成処理部７によって合成して表示するような応用も可能である。
【００２９】
以上のような基本的にやり方に沿った本実施形態に係わるカメラ１０の詳しい動作を、図２に示すフローチャートを用いて説明する。図２は、カメラ１０のカメラ制御の動作を示すフローチャートであり、このフローに入ると、まず、撮影者が撮影モードに設定したか否かの判定を行う（Ｓ１）。判定の結果、撮影モードに設定していた場合には、撮像し、スルー画（ライブビュー表示とも言う）の表示を行う（Ｓ２）。このステップにおいて、撮像は撮像部２によって行い、ここで取得した被写体の画像データを表示部８にスルー画表示させる。
【００３０】
続いて、顔位置、大きさ、数の検出を行う（Ｓ３）。このステップでは、撮像部２によって取得した画像データを用いて顔検出部５によって、被写体像の中から顔の位置を検出し、この被写体像の中の顔の数を検出し、それぞれの顔について大きさを判定する。次に、笑顔度判定と画面中央に位置する顔の特徴の判定を行う（Ｓ４）。
【００３１】
ステップＳ４における笑顔度の判定は図６乃至図９を用いて後述する。また、画面中央に位置する顔の特徴は、例えば、顔の陰影を直線近似し、交点の座標によって把握する。図１０に示す例では、目を囲む３つの直線の交点、８１、８２、８３、８４によって特徴付けている。この特徴点の座標を顔ごとに検出し、それを画像ごとに記録しておくことにより、各画像の顔部の特徴点の分布の類似度に基づいて、同じ人物の顔か否かを判定することができる。
【００３２】
ステップＳ４における笑顔度の判定等が終わると、次に、レリーズ釦が操作され、撮影を行うか否かの判定を行う（Ｓ５）。ステップＳ５における判定の結果、撮影動作を行わない場合には、ステップＳ１に戻り、前述の動作を行う。本実施形態においては、撮影モードが選択され、撮影動作に実行しない場合には、撮像部２によって取得した被写体像について、顔の位置、大きさ、数を検出すると共に、笑顔度の判定と顔の特徴点の検出を繰り返し、実行している。
【００３３】
ステップＳ５における判定の結果、レリーズ釦が操作された場合には、撮影動作を実行する（Ｓ６）。このステップにおいて、撮像部２によって撮影を行い、静止画の画像データを取得する。撮影画像の画像データを取得すると、次に、撮影の直前にステップＳ３において、顔検出部５によって検出された、画像に含まれる顔の数をテーブル化し（Ｓ７）、ステップＳ３、Ｓ４において顔検出部５によって検出された顔の位置、大きさ、笑顔度、特徴をテーブル化する（Ｓ８）。
【００３４】
ステップＳ７、Ｓ８において作成されるテーブルは、図１１（ａ）に示すように、各画像ごとに（図１１に示す例では、画像１〜画像４）、まず顔の数が記録され、その右隣には後述するイベント名が記録される。そして、中央近くの人物の顔について、顔の特徴、位置、大きさ、笑顔度がそれぞれ記録されている。また、中央近くの右の顔については位置、大きさ、笑顔度が記録され、順次、中央近くの左の顔、中央近くのその他の顔、・・・と画像に含まれる顔について位置、大きさ、笑顔度が記録される。
【００３５】
本実施形態においては、画面中央の人物の顔については、情報量を多くし、周辺の人物の顔については情報量を少なくしている。周辺の人物の顔についても中央と同程度の情報量としても良いが、情報量を多くすることにより、処理時間がかかるので、本実施形態においては、周辺の情報量を少なくしている。なお、中央以外の顔については、笑顔度も省略しても良い。省略することにより、情報量は減るが、処理時間を短縮することができる。
【００３６】
次に、撮影結果とテーブルを記録する（Ｓ９）。このステップでは、ステップＳ７、Ｓ８において作成したテーブルを撮影結果と図１１（ｂ）に示すようにペアにし（図１１（ｂ）の例では、画像１及び画像２についてのみ示す）、すなわち、画像データのヘッダ部にテーブルの記録されているアドレスを、画像ｖｓ顔記録部４ａに記録する。撮影結果とテーブル記録が終わると、リターンし、ステップＳ１から実行する。なお、以下「リターン」とは、ステップＳ１に戻る処理を意味するものとする。
【００３７】
このように、本実施形態においては、撮影モードに入ると、スルー画表示用の画像データを用いて、リアルタイムで顔の数や位置等を検出し、レリーズ釦の操作による撮影動作時に、レリーズ操作の直前に検出された顔の数や位置等を撮影画像と共に記録を行う。
【００３８】
ステップＳ１における判定の結果、撮影モードでなかった場合には、次に、通常再生か否かの判定を行う（Ｓ１１）。本実施形態における撮影画像の再生表示には、通常再生とスマイルサーチの２種類を用意している。通常再生は、公知の再生表示であり、記録部４に記録されている撮影画像を選択して表示するモードである。
【００３９】
スマイルサーチは、本実施形態における特徴的な再生表示であり、撮影画像の中から笑顔度の高い画像を検索し、この画像を図１の写真Ｂ１のように表示し、さらに次の画像を表示する場合には、写真Ｂ１に写っていた人物以外の人物が写っている写真Ｂ２を表示する。これらの再生表示は、操作判定部１１が操作部材の操作状態を判定することにより行う。
【００４０】
ステップＳ１１における判定の結果、通常再生であった場合には、公知の再生表示を行う（Ｓ１２）。一方、ステップＳ１１における判定の結果、通常再生ではなかった場合には、サーチ再生か、即ちスマイルサーチによる再生表示を行うか否かの判定を行う（Ｓ１３）。ステップＳ１３における判定の結果、サーチ再生でなかった場合には、イベント分類を行う（Ｓ１５）。
【００４１】
ステップＳ１５におけるイベント分類は、図３及び図４を用いて後述するが、このステップでは、撮影画像が運動会等の学校表示や結婚式等のパーティ等のいずれに属するかの判定を行う。イベント分類が終わると、ステップＳ１に戻り、前述のステップを繰り返す。このように本実施形態においては、撮影モード、通常再生、サーチ再生のいずれのモードも選択されていない場合には、撮影画像についてイベント分類を行う。
【００４２】
ステップＳ１３における判定の結果、サーチ再生であった場合には、スマイルサーチを行う（Ｓ１４）。スマイルサーチについては、図５を用いて後述する。スマイルサーチを行うと、またはステップＳ１２における再生を行うと、次に、通信を行うか否かの判定を行う（Ｓ２１）。このステップでは、カメラ１０の通信部１４を介して、有線通信または無線通信で接続されているテレビ２０等の外部表示装置と通信を行うか否かの判定を行う。通信はユーザーにより通信の指示がなされた場合に行う。
【００４３】
ステップＳ２１における判定の結果、通信を行わない場合には、リターンし、ステップＳ１から実行する。一方、ステップＳ２１における判定の結果、通信を行う場合には、表示場所の指定を行う（Ｓ２３）。ここでは、カメラ１０に対して有線通信または無線通信で接続されている外部の表示装置を決定する。図１に示した例では、テレビ２０である。続いて、選択された画像の送信を行う（Ｓ２４）。サーチ再生の場合には、ステップＳ１４におけるスマイルサーチによって検索された画像を送信する。
【００４４】
次に、図３及び図４を用いてイベント分類について説明する。まず、イベント分類の考え方について説明する。図３は、時間情報によって、画像が分類される様子を例示するグラフである。また、顔検出部５によって、顔が検出されたものは、網がけで表示する。
【００４５】
図３から明らかなように、まとまった画像がある場合は、何かイベントがあったということが想定できる。例えば、９月２１日は午前から午後にかけて集中的に撮影がなされ、人物の写真は９月２４日の場合より少ない。また、９月２４日は午後から夕方にかけて集中的に撮影がなされており、しかも人物の写真が多い撮影となっている。
【００４６】
これらの情報から、９月２１日は運動会における撮影であり、９月２４日は結婚式における撮影と想定される。また、９月２４日が結婚式だとすれば、９月２５日に撮影した画像を再生させる場合、前日の画像と分類して表示する。９月２４日と９月２５日の画像が混ざると、再生時に、例えば、仕事の画像に突然、プライベート画像が紛れ込むような問題が生じてしまうので、撮影の内容（イベント）の分類分けを行っておく。
【００４７】
このように、本実施形態においては、撮影画像と共に記録されている日時情報を用い、また撮影画像に顔が存在するか等の人物在否情報等を用いて、撮影の内容（イベント）の分析を行う。スマイルサーチの場合には、ここで分類された同一のイベント内において実行する。
【００４８】
次に、イベント分類のサブルーチンについて図４に示すフローチャートを用いて説明する。このフローに入ると、まず、一日（２４時間）を６分割し、撮影画像の整理を行う（Ｓ１０１）。この画像整理は、撮影画像と一緒に記録される日時情報を用い、撮影時間帯によって行う。なお、本実施形態においては、２４時間を６分割して分類を行っているが、これに限らず、４分割でも８分割でも分割値は適宜変更して良い。
【００４９】
次に、ステップＳ１０３からステップＳ１０５において、撮影画像のイベントの分類を行う。まず、撮影画像の集中の度合いを判定する（Ｓ１０３）。このステップでは、６分割された時間帯に対して、短時間に集中的に撮影がなされているか否かの判定を行う。判定の結果、集中していた場合には、次に、顔検出部５の検出に基づいて、顔アップが少ないか否かの判定を行う（Ｓ１０４）。
【００５０】
判定の結果、顔アップが少ない場合には、運動会等の学校行事と判定し（Ｓ１１１）、一方、顔アップが多い場合にはパーティと判定する（Ｓ１１２）。運動会等の学校行事は短時間に集中的に行われるものが多く、父兄等は子供を遠くから撮影するため顔のアップが少ない傾向にある。パーティは短時間で行われることが多い点は学校行事と同じであるが、顔のアップ写真が多いことから学校行事と区別することが可能である。
【００５１】
ステップＳ１０３における判定の結果、所定時間に集中していなかった場合には、風景画像が多いか否かについて判定する（Ｓ１０５）。判定の結果、風景画像が多い場合には旅行と判定し（Ｓ１１３）、一方、風景画像が多い場合には、その他と判定する（Ｓ１１４）。旅行の場合には、一日に撮影が分散し短時間の集中的撮影となることは少なく、また風景画像が多くなることから、このような判定を行っている。風景画像が少ない場合には、旅行でもなく、また前述の学校行事やパーティでもないことから、その他と判定している。
【００５２】
イベントの選択が終わると、次に、分類されたイベント情報をテーブル化する（Ｓ１１５）。すなわち、ステップＳ１１１からステップＳ１１４において分類されたイベントを、図１１（ａ）において説明したテーブル中のイベントの欄に記録し、また図１１（ｂ）に示したように撮影画像と対にして記録する。
【００５３】
次に、ステップＳ１４のスマイルサーチの詳細について、図５に示すフローチャートを用いて説明する。カメラ１０の記録部４に記録されている撮影画像に写っている人物の顔を全てサーチすると、時間もかかり、また誤動作を起こし易くなる。そこで、本実施形態においては、画面中央に存在する顔が、多くの場合、主被写体であることが多いことから、この画面中央部の画像を主に利用して判定を行っている。
【００５４】
スマイルサーチのサブルーチンに入ると、まず、画面中央部に顔のある写真を選択する（Ｓ３１）。すなわち、ある特定のイベントの写真の集合体の中から、画面中央部に顔のある写真を検索する。前述したように、図１１（ａ）に示したテーブルには、顔の位置に関する情報が記録されているので、このテーブルの中から、略画面中央に顔のある写真を探し出す。
【００５５】
画面中央部に顔のある写真の選択が終わると、続いて、笑顔度の判定を行う（Ｓ３２）。選択された写真の中央に写っている顔の笑顔度を数値Ｒとして求める。笑顔度の判定は、撮影時に笑顔度が求められていれば、そのとき記録したテーブルから読み出せばよい。撮影時に笑顔度が求められていなかった場合には、図６乃至図９を用いて後述するようにして笑顔度を求める。
【００５６】
笑顔度の判定が終わると、各画像に写っている人物の数と、中央の人物の笑顔度の掛け算を行い、この値をＲＮとして求める（Ｓ３３）。数値ＲＮが大きいほど、中央の人物の笑顔度が高く、かつ、多くの人物が写っている写真であり、見栄えの良い写真といえる。なお、人物の数は、図１１（ａ）に示したテーブルに記憶されている顔の数を用いればよい。
【００５７】
数値ＲＮを求めると、次に、全画像が終了したか否かの判定を行う（Ｓ３４）。このステップでは、あるイベントの中で、画面中央部に顔のある写真の全てについてステップＳ３１からＳ３３を実行したか否かの判定を行う。ステップＳ３４における判定の結果、全ての画像について終わっていなかった場合には、次の候補を選択し（Ｓ３５）、ステップＳ３１に戻り、全ての画像について終了するまで、ステップＳ３１〜Ｓ３３を繰り返す。
【００５８】
ステップＳ３４における判定の結果、全ての画像について終了した場合には、ステップＳ３３において求めた数値ＲＮの最も高い画像を表示の候補とし（Ｓ３６）、この画像を表示部８、またはテレビ２０等の外部の表示装置に表示する。続いて、画面中央の人物の特徴量を記憶する（Ｓ３８）。ここで、中央の人物の顔の特徴量を記憶するのは、同じ人ばかりが表示されるのを防止するためである。なお、特徴量は図１１（ａ）に示したテーブルに記憶されている特徴量を用いる。
【００５９】
中央の人物の特徴量を記憶すると、次の画像の表示を希望するか否かの判定を行う（Ｓ３９）。このステップでは、ユーザーが次の画像を見たい時には、その旨の操作を行うので、この操作がなされたか否かの判定を行う。ステップＳ３９における判定の結果、次の画像を希望する場合には、表示済み画像中央の人物が中央に位置している画像を除外する（Ｓ４０）。すでに表示された中央の人の特徴量は、ステップＳ３８において記憶されているので、その人が中央に位置している画像を選択しないようにして除外し、次の表示候補をステップＳ３６に戻り、検索する。
【００６０】
ステップＳ３９における判定の結果、ユーザーが次の画像の表示を望まない場合には、元のルーチンに戻る。このように、スマイルサーチのサブルーチンにおいては、中央に位置する人物の笑顔度が高いものを表示するようにしている。画面の中央には、撮影者の興味の中心がいる場合が多く、一番、見たい画像が選ばれる可能性を高めることができる。また、笑顔度のみならず、写っている人数も考慮しているので、スライドショー等の撮影画像の再生にあたって、多くの人が楽しむことができる。
【００６１】
次に、図６乃至図９を用いて、笑顔度の判定について説明する。図６（ａ）は笑顔の人の顔を示し、図６（ｂ）は困った人の顔を示す。図から分かるように、笑顔と困った顔では、目や唇に違いが見られる。図７に示すフローチャートでは、この違いから笑顔度を求めている。
【００６２】
笑顔判定のサブルーチンに入ると、まず、目部と口部の検出を行なう（Ｓ１５１）。これは、撮像部２の出力に基づいて、顔検出部５によって顔を検出し、その検出された顔の中から目と、口の部分をパターン認識により抽出する。
【００６３】
続いて、ステップＳ１５２からＳ１５４において、眼の白目の面積から笑顔度を検出する。まず、両目の瞳を結ぶ線６１より上側の白目の面積を測定し、この値をＥＡとする（Ｓ１５２）。同様に、線６１より下側の白目の面積を測定し、この値をＥＢとする（Ｓ１５３）。次に、こうして得たＥＡ、ＥＢの差を、これらの和で正規化して、すなわち、（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）を求め、数値ＲＥを得る（Ｓ１５４）。数値ＲＥは大きいほうが、笑顔度が高いと判定される。
【００６４】
次に、ステップＳ１５５からＳ１５７において、唇の面積から笑顔度を検出する。まず、口の両端を結ぶ線６２より上側の唇の面積を測定し、この値をＬＡとする（Ｓ１５５）。同様に、線６２より下側の唇の面積を測定し、この値をＬＢとする（Ｓ１５６）。こうして得たＬＡ、ＬＢの差を、これらの和で正規化して、すなわち、（ＬＢ−ＬＡ）／（ＬＡ＋ＬＢ）を求め、数値ＲＬを得る（Ｓ１５７）。数値ＲＬは大きいほうが、笑顔度が高いと判定される。
【００６５】
続いて、ステップＳ１５４とＳ１５７で得た値ＲＥとＲＬを加算して笑顔度Ｒを求める（Ｓ１５８）。値Ｒが大きいほど笑顔に近いことになる。さらに、笑顔度の判定の精度を高めるために、図６（ａ）の矢印６４付近の状態を判定する（Ｓ１５９）。すなわち、口の端部に影があり、歯が見えていれば、笑顔の確率が高いので、それを判定する。ステップＳ１５９における判定の結果、歯が見えており、かつ口端部に影があれば、笑顔度Ｒに１点、加算する（Ｓ１６０）。
【００６６】
ただし、眉間にしわがあると笑顔とは言えないので、ステップＳ１６１で判定する。すなわち、図６（ｂ）の矢印６５付近において眼の間の皺があるか否かの判定を行なう（Ｓ１６１）。判定の結果、眉間の間に皺を検出した場合は、笑顔度Ｒから１点、減点する（Ｓ１６２）。このように笑顔に近いほど高得点になる数値化（Ｒ）が可能となる。
【００６７】
なお、本実施形態においては、両目の瞳の中心を結んだ線より上側に白目が多いか否かで笑顔度を求めたが、これに限らず、上瞼の傾き等によって求めるようにしてもよい。すなわち、図６（ａ）において、瞼の幅ＥＨに対し、瞼の一番高いところの位置ＥＴを求め、これの比、ＥＴ／ＥＨによっても笑顔度を求めることができる。ＥＴ／ＥＨが大きくなると笑顔に近くなり、また、この比が小さくなり、上瞼の傾きが大きくなると笑顔から遠ざかる傾向にある。
【００６８】
上述した笑顔度の判定は、図８（ａ）に示すように、人物が正面を向いているときには、その人物の感情を推し量って正確に判定することができる。しかし、図８（ｂ）（ｃ）に示すような上目遣い、見下しの角度では、正確な判定を行うことができない。そこで、ステップＳ１６１における判定結果が眉間に皺がなかった場合、またはステップＳ１６２の処理が終わると、次に、Ｒ補正を行っている（Ｓ１６３）。Ｒ補正が終わると、元のルーチンに戻る。
【００６９】
次に、ステップＳ１６３におけるＲ補正のサブルーチンについて、図９に示すフローチャートを用いて説明する。Ｒ補正のサブルーチンに入ると、まず、顔の中心座標を判定し（Ｓ２５１）、目部の中心座標を判定する（Ｓ２５２）。この顔の中心と目部の中心の座標は顔検出部５によって判定する。次に、顔の中心と目部の中心の中心間距離ΔＹを求める（Ｓ２５３）。
【００７０】
続いて、中心間距離ΔＹが−ΔＹ１より小さいか否かを判定する（Ｓ２５６）。この判定の結果、顔の中心と目部の中心の中心間距離ΔＹが−ΔＹ１より小さい場合には、図８（ｂ）に示すような上目遣いの場合と想定され、笑顔から程遠いと思われることから、Ｒ値から１を減算する（Ｓ２５７）。
【００７１】
次に、中心間距離ΔＹが＋ΔＹ２より大きいか否かを判定する（Ｓ２５８）。この判定の結果、顔の中心と目部の中心の中心間距離ΔＹが＋ΔＹ２より大きい場合には、図８（ｃ）に示すような見下しの場合と想定され、この状態も笑顔から程遠いと思われることから、Ｒ値から１を減算する（Ｓ２５９）。
【００７２】
このように、顔中心の位置と、目の中心位置を判定し、この中心間距離が−ΔＹ１と＋ΔＹ２の間（図８（ａ）ではΔＹ０）の範囲に入っている場合には、正面を向いており、所定値−ΔＹ１や＋ΔＹ２を越えた場合は、顔をそむけた状態であり、笑顔から程遠いとして、笑顔度をあらわすＲ値を減算している（Ｓ２５７、２５９）。Ｒ補正のサブルーチンが終わると元のルーチンに戻る。
【００７３】
以上、説明したように、本発明の第１実施形態においては、画面の中心付近の人物の笑顔度が高い画像を検索し、これを表示するようにしている。みんなで画像を鑑賞するにあたって、笑顔の写真は鑑賞者を和ませることから相応しい写真といえるが、撮影画像に登場する全ての人物について笑顔度を判定すると時間がかかってしまう。この点、本実施形態においては、画面中心付近の顔についてのみ判定するようにしているので、複数の画像の中から迅速に検索を行うことができる。
【００７４】
また、本実施形態においては、画面中心付近の顔の笑顔度が高いことに加えて、１つの撮影画像の中に登場する顔の数の多い画像を選択している。登場している顔の数が多いほど、鑑賞者も楽しむことができる。
【００７５】
さらに、本実施形態においては、続けて画像を再生する場合には、顔の特徴量に基づいて、前の画像で中心にいた顔以外の人の顔となるようにしている。このため、続けて複数の画像を再生表示する場合に、同じ人物が続けて画面中心付近となる画像を避けることができ、面白みのある再生表示となる。
【００７６】
次に、本発明の第２実施形態を図１２に基づいて説明する。本発明の第１実施形態では、スマイルサーチは、笑顔度が高く、かつ画面内の顔の数が多いものを優先的に選択し、再生表示していた。第２実施形態においては、笑顔度の高い画像を優先的に再生表示し、画面内の顔の数については考慮していない。ただし、同じ人ばかり登場すると面白みに欠けるので、同じ人の顔は表示されないようにしている。
【００７７】
第２実施形態の構成は、第１実施形態において図５に示したスマイルサーチのサブルーチンを図１２に示すスマイルサーチのサブルーチンに変更する以外は同様である。相違点であるこのサブルーチンを中心に説明する。
【００７８】
本実施形態におけるスマイルサーチのフローに入ると、まず、所定部として画面中央を設定する（Ｓ６０）。第１実施形態においては、画面中央のみについて笑顔度の比較を行っていたが、第２実施形態においては、周辺部も笑顔度の比較を行う場合がある。続いて、仮記憶画像をクリアする（Ｓ６１）。この仮記憶画像は、後述するステップＳ７１において類似しているかどうか比較するために表示画像を仮記憶しているが、初期状態においては、この仮記憶画像はクリアしておく。なお、本実施形態においては、画像データそのものを記憶する代わりに、所定部の顔の特徴量を記憶している。
【００７９】
次に、画面所定部に顔のある写真の選択を行う（Ｓ６２）。このステップでは、選択されているイベントに関する写真群の中から、ステップＳ６０で設定された所定部（最初は中央）に顔のある画像を１駒、選択する。続いて、選択された画像の所定部にある顔の笑顔度の判定を行う（Ｓ６３）。笑顔度の判定は、撮影時に記録されている場合にはテーブルから読み出し、記録されていない場合には、図７で説明したフローを用いて行う。
【００８０】
笑顔度の判定が終わると、次に、全画像について終了したか否かの判定を行おう（Ｓ６４）。このステップでは、あるイベントの中で、画面の所定部に顔のある写真の全てについてステップＳ６２とＳ６３を実行したか否かの判定を行う。ステップＳ６４における判定の結果、全ての画像について終わっていなかった場合には、次の候補を選択し（Ｓ６５）、ステップＳ６２に戻り、全ての画像について終了するまで、ステップＳ６２〜Ｓ６５を繰り返す。
【００８１】
ステップＳ６４における判定の結果、全ての画像について終了していた場合には、笑顔度が一番高い画像を選択する（Ｓ６６）。次に、選択された画像の所定部の顔の特徴量の判定を行う（Ｓ６７）。顔が中央部に位置している場合には、図１１に示したテーブルに記憶されているので、この値をそのまま記憶すれば良い。
【００８２】
次に、ステップＳ６６で選択された画像（なお、次の表示の場合には、ステップＳ７２において選択された画像）と、仮記憶画像が類似しているか否かの判定を行う（Ｓ７１）。この比較は、後述するステップＳ７４において、表示するたびに所定部の顔の特徴量を記憶しているので、この顔の特徴量に基づいて行う。ここで、画像が類似されているか否かを判定しているのは、同じ人の顔が続けて表示されないようにするためである。
【００８３】
ステップＳ７１における判定の結果、類似していなかった場合には、ステップＳ６６において選択された画像（なお、次の表示の場合には、ステップＳ７２において選択された画像）を表示する（Ｓ７３）。この表示は、表示部８またはテレビ２０等の外部の表示装置に行う。
【００８４】
続いて、ステップＳ７３において表示した画像の所定部の顔の特徴量を仮記憶する（Ｓ７４）。仮記憶が終わると、次の表示を行うか否かの判定を行う（Ｓ７５）。ユーザーが次の表示を望む場合には、操作部材による行うので、操作判定部１１によりこれを判定する。ステップＳ７５における判定の結果、次の表示がない場合には、元のルーチンに戻る。
【００８５】
ステップＳ７５における判定の結果、次の表示を行う場合には、所定部における笑顔度で次に大きな値の画像を選択する（Ｓ７２）。このステップでは、ステップＳ６２〜Ｓ６５を繰り返し実行して求めた笑顔度の順に画像の選択を行う。次に、ステップＳ７２において選択された画像があったか否かの判定を行う（Ｓ８１）。所定部に顔のある全ての画像について選択されてしまうと、なしとなる。
【００８６】
ステップＳ８１における判定の結果、画像が選択されていた場合には、ステップＳ７１に戻り、顔の特徴量を用いて画像が類似しているか否かの判定を行う、類似していた場合には、ステップＳ７２にジャンプし、次の画像を選択し、一方、画像が類似していなければ前述したように表示と顔の特徴量の仮記憶を行う。
【００８７】
ステップＳ８１における判定の結果、画像が選択されなかった場合には、所定部の変更を行う（Ｓ８２）。すなわち、最初は、画面中央部の顔の笑顔度や特徴量を判定していたが、画面中央部に顔がある画像がなくなると、次に、画面右側、画面左側と、ステップＳ８２において所定部を変更する。なお、所定部は予めフローチャートでその順番を決めておくが、ユーザーが任意に設定できるようにしても良い。ステップＳ８２において、所定部が変更されると、ステップＳ６１に戻り、所定部を代えて笑顔度の高い画像を検索し、これを表示する。
【００８８】
このように本発明の第２実施形態においては、画面の所定部にある顔の笑顔度の高い画像を順次再生表示し、また、同じ顔が表示されないようにしている。このため、迅速に検索することができ、色々な人の顔が順次、再生表示される。
【００８９】
また、本実施形態においては、ステップＳ８２において所定部を変更することができるので、画面中央付近以外にいる人の顔についても、笑顔度を判定し、笑顔度の高い画像を再生表示することができる。
【００９０】
次に、本発明の第３実施形態を図１３および図１４に基づいて説明する。本発明の第１実施形態では、スマイルサーチは、笑顔度が高く、かつ画面内の顔の数が多いものを優先的に選択し、第２実施形態においては、笑顔度の高い画像を優先的に再生表示し、画面内の顔の数については考慮していなかった。第３実施形態においては、笑顔度は考慮するが、これと撮影画像の構図にも考慮して表示画像の選択を行うようにしている。
【００９１】
第３実施形態の構成は、第１実施形態において図５に示したスマイルサーチのサブルーチンを図１３に示すスマイルサーチのサブルーチンに変更する以外は同様である。また、図１３に示すフローは、図５のフローと類似していることから、図５と同様の処理については同一のステップ番号を付し、相違するステップを中心に説明する。
【００９２】
スマイルサーチのフローに入ると、画面中央部に顔が位置する写真を選択する（Ｓ３１）。続いて、笑顔度の判定を行う（Ｓ３２）。この笑顔度の判定は、撮影時に記録されている場合には、テーブルから読み出し、撮影時に記録されていない場合には、前述の図７に示したサブルーチンによって実行する。
【００９３】
続いて、ステップＳ３２に求めた笑顔度に構図係数Ｋを乗算した値ＲＫを求める（Ｓ３３ｂ）。構図係数は、写真の構図を分析し、この分析された構図に応じた係数である。本実施形態においては、笑顔度を重視していることから、顔検出部５の大きさ判定部５ｂによって判定された顔の大きさに基づいて構図分析を行い、例えば、図１４（ｂ）に示すような、人物の胸から上半身を撮影した、所謂、バストショットを良い構図（図の例では、図係数１０）としている。また、笑顔の良く見えない、図１４（ｃ）に示すような構図の場合には、構図係数を低くしている（図の例では、構図係数２）。あまり大きな顔では、図１４（ａ）周囲の状況が分からないので、構図係数を少し低くしている（図の例では、構図係数５）。
【００９４】
選択された写真の値ＲＫが求まると、次に、全画像についてステップＳ３１〜Ｓ３３ｂの処理が終了したか否かを判定する（Ｓ３４）。この判定の結果、全ての画像について終了していなかった場合には、次の候補を選択し（Ｓ３５）、ステップＳ３１に戻り、全ての画像について終了するまで、ステップＳ３１〜Ｓ３３ｂを繰り返す。
【００９５】
ステップＳ３４における判定の結果、全ての写真について処理が終了すると、ステップＳ３３ｂにおいて求められた値ＲＫの中で最も高い数値であった写真を表示の候補として選択する（Ｓ３６ｂ）。以下、第１実施形態と同様に、選択された写真を表示部８やテレビ２０等の外部の表示装置に表示し、次の写真の表示の希望あれば、同じ人が中央に位置する写真以外の中から写真を選択して表示を行う（Ｓ３６ｂ〜Ｓ４０）。第１実施形態においては、笑顔度×写っている人数を示すＲＮであったが、第３実施形態においては、笑顔度×構図係数のＲＫの高い順に表示を行う。ステップＳ４０において、次の画像の希望がなければ、元のルーチンに戻る。
【００９６】
このように、第３実施形態においては、笑顔度に加えて構図が良い画像を優先して表示するという考え方で再生表示の順番を決めている。この実施形態においてはバストショットの構図係数を高め、あまり大きな顔の場合には構図係数を少し低くし、笑顔の見えないような顔の小さな構図係数は更に低くしている。
【００９７】
以上、説明したように本発明の各実施形態においては、複数の画像のそれぞれの画面中央に位置する顔の笑顔度を判定し、この判定した笑顔度に基づいて、複数の画像の中から代表画像を検索し、表示を行うようにしている。画面中央に位置する顔について笑顔度を判定するようにしていることから、検索を迅速に行うことができる。なお、第１及び第３実施形態において検索する顔の位置は、画面中央部に限らず、第２実施形態のように、画面の右側、左側、上側、下側等、任意の位置でも良い。
【００９８】
また、本発明の各実施形態においては、次の画像の検索にあたって、表示済みの画像のうち、笑顔度の判定を行った人が中央となる画像を除いて検索するようにしている。このため、同じ人が何度も特定範囲に繰り返し、再生表示されることを防止することができ、変化に富み、楽しむことができる。
【００９９】
なお、本発明の実施形態においては、撮影時に顔の数、顔の位置、大きさ、笑顔度、特徴をテーブル化していたが、この作業は撮影時に行わずに、再生表示の前等、別のタイミングで行うようにしてもよい。
【０１００】
また、本発明の実施形態においては、カメラで撮影した画像をカメラ内でスマイルサーチ等の処理を行って、カメラの表示装置や外部の表示装置で再生表示するようにしていたが、カメラで撮影した画像をパーソナルコンピュータに記憶させ、この記憶された画像に基づいてスマイルサーチを行い、再生表示するようにしても良い。
【０１０１】
さらに、本発明の実施形態においては、代表画像の選択にあたっては、笑顔度単独、または笑顔度のほか、人の数や構図を考慮していたが、これに限らず、正面を向いているか、背景がシンプルかといったことを考慮して代表画像を選択しても良い。
【０１０２】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【０１０３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１０４】
【図１】本発明の第１実施形態に係わるカメラとその周辺の構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるカメラにおけるカメラ制御の動作を示すフローチャートである。
【図３】本発明の第１実施形態において、イベント判定の考え方を説明する図である。
【図４】本発明の第１実施形態に係わるカメラにおけるイベント判定の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係わるカメラにおけるスマイルサーチの動作を示すフローチャートである。
【図６】本発明の第１実施形態において、被写体の笑顔と困った顔を比較する図であり、（ａ）は笑顔を示し、（ｂ）は困った顔を示す。
【図７】本発明の第１実施形態に係わるカメラにおける笑顔度判定の動作を示すフローチャートである。
【図８】本発明の第１実施形態において、被写体のカメラを向いている様子を示す図であり、（ａ）は正面向きの顔を示し、（ｂ）は上目の顔を示し、（ｃ）は見下しの顔を示す。
【図９】本発明の第１実施形態に係わるカメラにおけるＲ補正の動作を示すフローチャートである。
【図１０】本発明の第１実施形態において、人の顔の特徴量の測定を示す図である。
【図１１】本発明の第１実施形態において、画像と共に記録されるデータを示し、（ａ）は記録される情報のテーブルを示し、（ｂ）は画像とテーブルの場所の関係を示す図である。
【図１２】本発明の第２実施形態に係わるカメラにおけるスマイルサーチの動作を示すフローチャートである。
【図１３】本発明の第３実施形態に係わるカメラにおけるスマイルサーチの動作を示すフローチャートである。
【図１４】本発明の第３実施形態において、構図係数の例を示す図であり、（ａ）は構図係数５の例、（ｂ）は構図係数１０の例、（ｃ）は構図係数２の例である。
【符号の説明】
【０１０５】
１・・・制御部、１ａ・・・画像処理部、１ｂ・・・イベント分類部、１ｃ・・・顔分類
部、１ｄ・・・表示順判定部、２・・・撮像部、３・・・光学系制御部、４・・・記録部
、４ａ・・・画像ｖｓ顔記憶部、５・・・顔検出部、５ａ・・・位置検出部、５ｂ・・・
大きさ判定部、５ｃ・・・特徴部、６・・・切出部、７・・・合成処理部、８・・・表示
部、８ａ・・・表示制御部、９・・・時計部、１１・・・操作判定部、１２・・・笑顔度
判定部、１４・・・通信部、２０・・・テレビ、６１・・・線、６２・・・線、６４・・
・矢印、６５・・・矢印、８１・・・交点、８２・・・交点、８３・・・交点、８４・・
・交点
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法および画像表示用プログラムに関し、詳しくは、複数の撮影画像の中から代表的な画像を検索し、これを表示するようにした画像表示装置、画像表示方法、および画像表示用プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラの技術革新によって、高感度化、露出制御範囲の拡大など進展し、また、記録メディアの大容量化が進んできている。さらに、フィルム時代のカメラと比較し、格段に連写機能も向上しており、カメラユーザーは、気楽に撮影を楽しむことができ、大量の画像を得るようになってきている。また、近年では、被写体である人物の表情を判定する機能を備えたカメラが登場し、笑顔の写真を撮影することが容易になってきている。さらに、個々の顔を識別し誰の顔であるかを判定する技術の開発も進んでいる。
【０００３】
上述したように、大量の画像を得ることができるようになったが、鑑賞する際に、見たい画像をなかなか探しだすことができなくなっている。そこで、画像データを用いて人物の表情を判定する等、画像の内容に基づいて検索することが考えられる。例えば、特許文献１には、人物の顔の特徴点に基づく顔認識データと、予め登録しておいた顔認識データを比較することにより登録されている人物であるかどうかを判定する電子カメラが開示されている。また、特許文献２には、顔画像毎に笑顔評価や端正評価を行い、被撮影者が良い表情である画像を手軽に楽しむことのできる画像評価装置が開示されている。
【特許文献１】特開２００７−１５０６０４号公報
【特許文献２】特開２００４−４６５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示の電子カメラは、予め登録された人物のみしか認識できず、また登録手続など簡便性、高速性に問題がある。また、特許文献２に開示の画像評価装置は、カジュアルやフォーマル等の場面解析を必要とし、このための画像解析に時間がかかってしまう。全画像の全ての顔を探し、比較するのでは検索・判定に時間がかかり、直ぐに鑑賞を始めることができない。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、複数の画像の中から画像を検索して表示するにあたって、迅速に検索を行うことのできる画像表示装置、画像表示方法、および画像表示用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係わる画像表示装置は、顔画像を含む複数の画像から代表画像を選んで表示する画像表示装置であって、上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択する選択部と、上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索する検索部と、上記代表画像を表示する表示制御部と、
を備えたことを特徴とする。
【０００７】
上記目的を達成するため第２の発明に係わる画像表示装置は、上記第１の発明の画像表示装置において、上記複数の画像が撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする。
【０００８】
上記目的を達成するため第３の発明に係わる画像表示装置は、上記第１の発明の画像表示装置において、上記表示制御部が、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする。
【０００９】
上記目的を達成するため第４の発明に係わる画像表示方法は、顔画像を含む複数の画像から代表画像を選んで表示する画像表示方法であって、上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択するステップと、上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索するステップと、上記代表画像を表示するステップと、を備えたことを特徴とする。
【００１０】
上記目的を達成するため第５の発明に係わる画像表示方法は、上記第４の発明の画像表示方法において、上記複数の画像が撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする。
【００１１】
上記目的を達成するため第６の発明に係わる画像表示方法は、上記第４の発明の画像表示方法において、上記表示ステップが、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする。
【００１２】
上記目的を達成するため第７の発明に係わる画像表示プログラムは、顔画像を含む複数の画像から代表画像を選んで表示する画像表示プログラムであって、上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択するステップと、上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索するステップと、上記代表画像を表示するステップと、を備えたことを特徴とする。
【００１３】
上記目的を達成するため第８の発明に係わる画像表示プログラムは、上記第７の発明の画像表示プログラムにおいて、上記複数の画像は撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする。
【００１４】
上記目的を達成するため第９の発明に係わる画像表示プログラムは、上記第７の発明の画像表示プログラムにおいて、上記表示ステップが、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、複数の画像の中から画像を検索して表示するにあたって、迅速に検索を行うことのできる画像表示装置、画像表示方法、および画像表示用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本実施形態におけるカメラは、撮影時に顔の位置と数と笑顔の度合いを記録しておき、画像の表示再生時には、撮影された複数の写真の中から、画面中央に位置する顔の笑顔の度合いの高いもので、なおかつ多くの人が一緒に写っている画像を代表画像として表示するようにしている。
【００１７】
図１は本発明の第１実施形態に係わるカメラ１０とテレビ２０となるシステムの構成を示すブロック図である。カメラ１０はデジタルカメラであり、制御部１、撮像部２、光学系制御部３、記録部４、顔検出部５、切出部６、合成処理部７、表示部８、表示制御部８ａ、時計部９、操作判定部１１、笑顔度判定部１２、通信部１４を有し、有線通信又は無線通信を介して外部のテレビ２０と接続可能である。
【００１８】
制御部１は、カメラ１０内の各部と接続され、カメラ１０の全体制御を行う。制御部１内には、画像処理部１ａ、イベント分類部１ｂ、顔分類部１ｃ、表示順決定部１ｄを有する。画像処理部１ａは撮像部２等から入力する画像の圧縮・伸張処理等の各種画像処理を行う。
【００１９】
また、イベント分類部１ｂは、画像の撮影日時情報に基づく撮影頻度等に従って、画像がどのイベントに属するかを決定する。イベント分類については、図３及び図４を用いて後述する。顔分類部１ｃは、顔検出部５によって検出された人物の顔に相当する部分を検出し、これに基づいて顔の特徴によって分類を行う。表示順決定部１ｄは、顔分類部１ｃによる顔の分類や、笑顔度判定部１２による笑顔度に基づいて、表示順を決定する。
【００２０】
撮像部２は、被写体像を結像するための光学系、および被写体像を光電変換する撮像素子等を含み、画像データを出力する。光学系制御部３は、撮像部２内の光学系のピント合わせ等の制御を行う。記録部４は、撮像部２から出力された画像データを、制御部１内の画像処理部１ａによって圧縮処理等し、この画像データを撮影画像として記録する。記録部４内には、画像ｖｓ顔記憶部４ａが設けられており、この画像ｖｓ顔記憶部は、画像データと、この画像にどのような特徴の顔が含まれているかの情報を対にして記録する。
【００２１】
顔検出部５は、撮影画像中に人物像が含まれる場合に、顔パターンを判定して、顔の部分を検出する。この検出結果に基づいて、光学系制御部３は露出制御や自動焦点調節（ＡＦ）等を行う。また、顔検出部５は、位置検出部５ａ、大きさ判定部５ｂ、特徴部５ｃを有する。位置検出部５ａは、顔検出部５によって検出された人物の顔について、画面の中での位置を検出する。大きさ判定部５ｂは、検出された顔の部分の大きさを判定する。特徴部５ｃは、個人を識別可能にするために、顔の特徴量を検出する。
【００２２】
切出部６は、顔検出部５によって検出された人物像の顔の部分に対応する画像データを切り出す。ここで切り出された顔画像のデータは、合成処理部７において画像の合成処理の際に使用される。合成処理部７は、切出部６で切出された顔画像データを合成し、後述する画像Ｃ（図１）のような画像合成を行う。
【００２３】
表示部８は、カメラ１０の背面等に配置された液晶モニタ等の表示装置で構成され、記録部４に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のライブビュー表示も行う。また、記録部４に記録されている撮影画像の通常再生やスライドショー形式での再生表示を行う。表示部８の表示制御を行うのが、表示制御部８ａである。
【００２４】
時計部９は計時機能やカレンダ機能を有し、撮影時の日時情報の取得等に用いる。ここで得られた日時情報は、撮影画像を記録部４に記録する際に、撮影画像と一緒にファイル化して記録される。操作判定部１１は、ユーザーによるカメラ１０の操作部材等の操作状態を判定する。この操作状態に応じて、前述したように、制御部１はカメラ１０の制御を行う。
【００２５】
笑顔度判定部１２は、顔検出部５によって検出された人物の顔の笑顔の程度を数値化する。笑顔度の判定は、図６乃至図９を用いて後述する。通信部１４は、有線通信や無線通信によって外部のテレビ２０と送受信を行う。この通信部１４を介して、記録部４に記録されている撮影画像を外部に送信することができる。
【００２６】
次に、このように構成された本実施形態に係わるカメラ１０の詳しい動作を説明する前に、撮影画像の再生表示の基本的なやり方について説明する。本実施形態の特徴として、ユーザーが、一番、見たいと思われる画像を即座に表示するようにしている。撮影者は大量の画像を撮影しており、この中には、笑顔等により見栄えの良い画像があり、また、同じ人物が何回も写っていることもある。
【００２７】
そこで、表示部８やテレビ２０に再生表示するにあたって、写真群Ａに示すような同じような写真ばかりを表示しないようにし、同じような写真の場合には、その中で一番良い写真Ｂ１を選択して表示する。スライドショー等により、次の画像に切り替えて鑑賞する場合には、同じ人物が写っている写真は避け、別の人物が写っている写真Ｂ２を再生表示する。
【００２８】
また、画像Ｃのように、この画像の中の中央の人物の顔のみを切出部６によって切り出し、この切出された複数の顔を合成処理部７によって合成して表示するような応用も可能である。
【００２９】
以上のような基本的にやり方に沿った本実施形態に係わるカメラ１０の詳しい動作を、図２に示すフローチャートを用いて説明する。図２は、カメラ１０のカメラ制御の動作を示すフローチャートであり、このフローに入ると、まず、撮影者が撮影モードに設定したか否かの判定を行う（Ｓ１）。判定の結果、撮影モードに設定していた場合には、撮像し、スルー画（ライブビュー表示とも言う）の表示を行う（Ｓ２）。このステップにおいて、撮像は撮像部２によって行い、ここで取得した被写体の画像データを表示部８にスルー画表示させる。
【００３０】
続いて、顔位置、大きさ、数の検出を行う（Ｓ３）。このステップでは、撮像部２によって取得した画像データを用いて顔検出部５によって、被写体像の中から顔の位置を検出し、この被写体像の中の顔の数を検出し、それぞれの顔について大きさを判定する。次に、笑顔度判定と画面中央に位置する顔の特徴の判定を行う（Ｓ４）。
【００３１】
ステップＳ４における笑顔度の判定は図６乃至図９を用いて後述する。また、画面中央に位置する顔の特徴は、例えば、顔の陰影を直線近似し、交点の座標によって把握する。図１０に示す例では、目を囲む３つの直線の交点、８１、８２、８３、８４によって特徴付けている。この特徴点の座標を顔ごとに検出し、それを画像ごとに記録しておくことにより、各画像の顔部の特徴点の分布の類似度に基づいて、同じ人物の顔か否かを判定することができる。
【００３２】
ステップＳ４における笑顔度の判定等が終わると、次に、レリーズ釦が操作され、撮影を行うか否かの判定を行う（Ｓ５）。ステップＳ５における判定の結果、撮影動作を行わない場合には、ステップＳ１に戻り、前述の動作を行う。本実施形態においては、撮影モードが選択され、撮影動作に実行しない場合には、撮像部２によって取得した被写体像について、顔の位置、大きさ、数を検出すると共に、笑顔度の判定と顔の特徴点の検出を繰り返し、実行している。
【００３３】
ステップＳ５における判定の結果、レリーズ釦が操作された場合には、撮影動作を実行する（Ｓ６）。このステップにおいて、撮像部２によって撮影を行い、静止画の画像データを取得する。撮影画像の画像データを取得すると、次に、撮影の直前にステップＳ３において、顔検出部５によって検出された、画像に含まれる顔の数をテーブル化し（Ｓ７）、ステップＳ３、Ｓ４において顔検出部５によって検出された顔の位置、大きさ、笑顔度、特徴をテーブル化する（Ｓ８）。
【００３４】
ステップＳ７、Ｓ８において作成されるテーブルは、図１１（ａ）に示すように、各画像ごとに（図１１に示す例では、画像１〜画像４）、まず顔の数が記録され、その右隣には後述するイベント名が記録される。そして、中央近くの人物の顔について、顔の特徴、位置、大きさ、笑顔度がそれぞれ記録されている。また、中央近くの右の顔については位置、大きさ、笑顔度が記録され、順次、中央近くの左の顔、中央近くのその他の顔、・・・と画像に含まれる顔について位置、大きさ、笑顔度が記録される。
【００３５】
本実施形態においては、画面中央の人物の顔については、情報量を多くし、周辺の人物の顔については情報量を少なくしている。周辺の人物の顔についても中央と同程度の情報量としても良いが、情報量を多くすることにより、処理時間がかかるので、本実施形態においては、周辺の情報量を少なくしている。なお、中央以外の顔については、笑顔度も省略しても良い。省略することにより、情報量は減るが、処理時間を短縮することができる。
【００３６】
次に、撮影結果とテーブルを記録する（Ｓ９）。このステップでは、ステップＳ７、Ｓ８において作成したテーブルを撮影結果と図１１（ｂ）に示すようにペアにし（図１１（ｂ）の例では、画像１及び画像２についてのみ示す）、すなわち、画像データのヘッダ部にテーブルの記録されているアドレスを、画像ｖｓ顔記録部４ａに記録する。撮影結果とテーブル記録が終わると、リターンし、ステップＳ１から実行する。なお、以下「リターン」とは、ステップＳ１に戻る処理を意味するものとする。
【００３７】
このように、本実施形態においては、撮影モードに入ると、スルー画表示用の画像データを用いて、リアルタイムで顔の数や位置等を検出し、レリーズ釦の操作による撮影動作時に、レリーズ操作の直前に検出された顔の数や位置等を撮影画像と共に記録を行う。
【００３８】
ステップＳ１における判定の結果、撮影モードでなかった場合には、次に、通常再生か否かの判定を行う（Ｓ１１）。本実施形態における撮影画像の再生表示には、通常再生とスマイルサーチの２種類を用意している。通常再生は、公知の再生表示であり、記録部４に記録されている撮影画像を選択して表示するモードである。
【００３９】
スマイルサーチは、本実施形態における特徴的な再生表示であり、撮影画像の中から笑顔度の高い画像を検索し、この画像を図１の写真Ｂ１のように表示し、さらに次の画像を表示する場合には、写真Ｂ１に写っていた人物以外の人物が写っている写真Ｂ２を表示する。これらの再生表示は、操作判定部１１が操作部材の操作状態を判定することにより行う。
【００４０】
ステップＳ１１における判定の結果、通常再生であった場合には、公知の再生表示を行う（Ｓ１２）。一方、ステップＳ１１における判定の結果、通常再生ではなかった場合には、サーチ再生か、即ちスマイルサーチによる再生表示を行うか否かの判定を行う（Ｓ１３）。ステップＳ１３における判定の結果、サーチ再生でなかった場合には、イベント分類を行う（Ｓ１５）。
【００４１】
ステップＳ１５におけるイベント分類は、図３及び図４を用いて後述するが、このステップでは、撮影画像が運動会等の学校表示や結婚式等のパーティ等のいずれに属するかの判定を行う。イベント分類が終わると、ステップＳ１に戻り、前述のステップを繰り返す。このように本実施形態においては、撮影モード、通常再生、サーチ再生のいずれのモードも選択されていない場合には、撮影画像についてイベント分類を行う。
【００４２】
ステップＳ１３における判定の結果、サーチ再生であった場合には、スマイルサーチを行う（Ｓ１４）。スマイルサーチについては、図５を用いて後述する。スマイルサーチを行うと、またはステップＳ１２における再生を行うと、次に、通信を行うか否かの判定を行う（Ｓ２１）。このステップでは、カメラ１０の通信部１４を介して、有線通信または無線通信で接続されているテレビ２０等の外部表示装置と通信を行うか否かの判定を行う。通信はユーザーにより通信の指示がなされた場合に行う。
【００４３】
ステップＳ２１における判定の結果、通信を行わない場合には、リターンし、ステップＳ１から実行する。一方、ステップＳ２１における判定の結果、通信を行う場合には、表示場所の指定を行う（Ｓ２３）。ここでは、カメラ１０に対して有線通信または無線通信で接続されている外部の表示装置を決定する。図１に示した例では、テレビ２０である。続いて、選択された画像の送信を行う（Ｓ２４）。サーチ再生の場合には、ステップＳ１４におけるスマイルサーチによって検索された画像を送信する。
【００４４】
次に、図３及び図４を用いてイベント分類について説明する。まず、イベント分類の考え方について説明する。図３は、時間情報によって、画像が分類される様子を例示するグラフである。また、顔検出部５によって、顔が検出されたものは、網がけで表示する。
【００４５】
図３から明らかなように、まとまった画像がある場合は、何かイベントがあったということが想定できる。例えば、９月２１日は午前から午後にかけて集中的に撮影がなされ、人物の写真は９月２４日の場合より少ない。また、９月２４日は午後から夕方にかけて集中的に撮影がなされており、しかも人物の写真が多い撮影となっている。
【００４６】
これらの情報から、９月２１日は運動会における撮影であり、９月２４日は結婚式における撮影と想定される。また、９月２４日が結婚式だとすれば、９月２５日に撮影した画像を再生させる場合、前日の画像と分類して表示する。９月２４日と９月２５日の画像が混ざると、再生時に、例えば、仕事の画像に突然、プライベート画像が紛れ込むような問題が生じてしまうので、撮影の内容（イベント）の分類分けを行っておく。
【００４７】
このように、本実施形態においては、撮影画像と共に記録されている日時情報を用い、また撮影画像に顔が存在するか等の人物在否情報等を用いて、撮影の内容（イベント）の分析を行う。スマイルサーチの場合には、ここで分類された同一のイベント内において実行する。
【００４８】
次に、イベント分類のサブルーチンについて図４に示すフローチャートを用いて説明する。このフローに入ると、まず、一日（２４時間）を６分割し、撮影画像の整理を行う（Ｓ１０１）。この画像整理は、撮影画像と一緒に記録される日時情報を用い、撮影時間帯によって行う。なお、本実施形態においては、２４時間を６分割して分類を行っているが、これに限らず、４分割でも８分割でも分割値は適宜変更して良い。
【００４９】
次に、ステップＳ１０３からステップＳ１０５において、撮影画像のイベントの分類を行う。まず、撮影画像の集中の度合いを判定する（Ｓ１０３）。このステップでは、６分割された時間帯に対して、短時間に集中的に撮影がなされているか否かの判定を行う。判定の結果、集中していた場合には、次に、顔検出部５の検出に基づいて、顔アップが少ないか否かの判定を行う（Ｓ１０４）。
【００５０】
判定の結果、顔アップが少ない場合には、運動会等の学校行事と判定し（Ｓ１１１）、一方、顔アップが多い場合にはパーティと判定する（Ｓ１１２）。運動会等の学校行事は短時間に集中的に行われるものが多く、父兄等は子供を遠くから撮影するため顔のアップが少ない傾向にある。パーティは短時間で行われることが多い点は学校行事と同じであるが、顔のアップ写真が多いことから学校行事と区別することが可能である。
【００５１】
ステップＳ１０３における判定の結果、所定時間に集中していなかった場合には、風景画像が多いか否かについて判定する（Ｓ１０５）。判定の結果、風景画像が多い場合には旅行と判定し（Ｓ１１３）、一方、風景画像が多い場合には、その他と判定する（Ｓ１１４）。旅行の場合には、一日に撮影が分散し短時間の集中的撮影となることは少なく、また風景画像が多くなることから、このような判定を行っている。風景画像が少ない場合には、旅行でもなく、また前述の学校行事やパーティでもないことから、その他と判定している。
【００５２】
イベントの選択が終わると、次に、分類されたイベント情報をテーブル化する（Ｓ１１５）。すなわち、ステップＳ１１１からステップＳ１１４において分類されたイベントを、図１１（ａ）において説明したテーブル中のイベントの欄に記録し、また図１１（ｂ）に示したように撮影画像と対にして記録する。
【００５３】
次に、ステップＳ１４のスマイルサーチの詳細について、図５に示すフローチャートを用いて説明する。カメラ１０の記録部４に記録されている撮影画像に写っている人物の顔を全てサーチすると、時間もかかり、また誤動作を起こし易くなる。そこで、本実施形態においては、画面中央に存在する顔が、多くの場合、主被写体であることが多いことから、この画面中央部の画像を主に利用して判定を行っている。
【００５４】
スマイルサーチのサブルーチンに入ると、まず、画面中央部に顔のある写真を選択する（Ｓ３１）。すなわち、ある特定のイベントの写真の集合体の中から、画面中央部に顔のある写真を検索する。前述したように、図１１（ａ）に示したテーブルには、顔の位置に関する情報が記録されているので、このテーブルの中から、略画面中央に顔のある写真を探し出す。
【００５５】
画面中央部に顔のある写真の選択が終わると、続いて、笑顔度の判定を行う（Ｓ３２）。選択された写真の中央に写っている顔の笑顔度を数値Ｒとして求める。笑顔度の判定は、撮影時に笑顔度が求められていれば、そのとき記録したテーブルから読み出せばよい。撮影時に笑顔度が求められていなかった場合には、図６乃至図９を用いて後述するようにして笑顔度を求める。
【００５６】
笑顔度の判定が終わると、各画像に写っている人物の数と、中央の人物の笑顔度の掛け算を行い、この値をＲＮとして求める（Ｓ３３）。数値ＲＮが大きいほど、中央の人物の笑顔度が高く、かつ、多くの人物が写っている写真であり、見栄えの良い写真といえる。なお、人物の数は、図１１（ａ）に示したテーブルに記憶されている顔の数を用いればよい。
【００５７】
数値ＲＮを求めると、次に、全画像が終了したか否かの判定を行う（Ｓ３４）。このステップでは、あるイベントの中で、画面中央部に顔のある写真の全てについてステップＳ３１からＳ３３を実行したか否かの判定を行う。ステップＳ３４における判定の結果、全ての画像について終わっていなかった場合には、次の候補を選択し（Ｓ３５）、ステップＳ３１に戻り、全ての画像について終了するまで、ステップＳ３１〜Ｓ３３を繰り返す。
【００５８】
ステップＳ３４における判定の結果、全ての画像について終了した場合には、ステップＳ３３において求めた数値ＲＮの最も高い画像を表示の候補とし（Ｓ３６）、この画像を表示部８、またはテレビ２０等の外部の表示装置に表示する。続いて、画面中央の人物の特徴量を記憶する（Ｓ３８）。ここで、中央の人物の顔の特徴量を記憶するのは、同じ人ばかりが表示されるのを防止するためである。なお、特徴量は図１１（ａ）に示したテーブルに記憶されている特徴量を用いる。
【００５９】
中央の人物の特徴量を記憶すると、次の画像の表示を希望するか否かの判定を行う（Ｓ３９）。このステップでは、ユーザーが次の画像を見たい時には、その旨の操作を行うので、この操作がなされたか否かの判定を行う。ステップＳ３９における判定の結果、次の画像を希望する場合には、表示済み画像中央の人物が中央に位置している画像を除外する（Ｓ４０）。すでに表示された中央の人の特徴量は、ステップＳ３８において記憶されているので、その人が中央に位置している画像を選択しないようにして除外し、次の表示候補をステップＳ３６に戻り、検索する。
【００６０】
ステップＳ３９における判定の結果、ユーザーが次の画像の表示を望まない場合には、元のルーチンに戻る。このように、スマイルサーチのサブルーチンにおいては、中央に位置する人物の笑顔度が高いものを表示するようにしている。画面の中央には、撮影者の興味の中心がいる場合が多く、一番、見たい画像が選ばれる可能性を高めることができる。また、笑顔度のみならず、写っている人数も考慮しているので、スライドショー等の撮影画像の再生にあたって、多くの人が楽しむことができる。
【００６１】
次に、図６乃至図９を用いて、笑顔度の判定について説明する。図６（ａ）は笑顔の人の顔を示し、図６（ｂ）は困った人の顔を示す。図から分かるように、笑顔と困った顔では、目や唇に違いが見られる。図７に示すフローチャートでは、この違いから笑顔度を求めている。
【００６２】
笑顔判定のサブルーチンに入ると、まず、目部と口部の検出を行なう（Ｓ１５１）。これは、撮像部２の出力に基づいて、顔検出部５によって顔を検出し、その検出された顔の中から目と、口の部分をパターン認識により抽出する。
【００６３】
続いて、ステップＳ１５２からＳ１５４において、眼の白目の面積から笑顔度を検出する。まず、両目の瞳を結ぶ線６１より上側の白目の面積を測定し、この値をＥＡとする（Ｓ１５２）。同様に、線６１より下側の白目の面積を測定し、この値をＥＢとする（Ｓ１５３）。次に、こうして得たＥＡ、ＥＢの差を、これらの和で正規化して、すなわち、（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）を求め、数値ＲＥを得る（Ｓ１５４）。数値ＲＥは大きいほうが、笑顔度が高いと判定される。
【００６４】
次に、ステップＳ１５５からＳ１５７において、唇の面積から笑顔度を検出する。まず、口の両端を結ぶ線６２より上側の唇の面積を測定し、この値をＬＡとする（Ｓ１５５）。同様に、線６２より下側の唇の面積を測定し、この値をＬＢとする（Ｓ１５６）。こうして得たＬＡ、ＬＢの差を、これらの和で正規化して、すなわち、（ＬＢ−ＬＡ）／（ＬＡ＋ＬＢ）を求め、数値ＲＬを得る（Ｓ１５７）。数値ＲＬは大きいほうが、笑顔度が高いと判定される。
【００６５】
続いて、ステップＳ１５４とＳ１５７で得た値ＲＥとＲＬを加算して笑顔度Ｒを求める（Ｓ１５８）。値Ｒが大きいほど笑顔に近いことになる。さらに、笑顔度の判定の精度を高めるために、図６（ａ）の矢印６４付近の状態を判定する（Ｓ１５９）。すなわち、口の端部に影があり、歯が見えていれば、笑顔の確率が高いので、それを判定する。ステップＳ１５９における判定の結果、歯が見えており、かつ口端部に影があれば、笑顔度Ｒに１点、加算する（Ｓ１６０）。
【００６６】
ただし、眉間にしわがあると笑顔とは言えないので、ステップＳ１６１で判定する。すなわち、図６（ｂ）の矢印６５付近において眼の間の皺があるか否かの判定を行なう（Ｓ１６１）。判定の結果、眉間の間に皺を検出した場合は、笑顔度Ｒから１点、減点する（Ｓ１６２）。このように笑顔に近いほど高得点になる数値化（Ｒ）が可能となる。
【００６７】
なお、本実施形態においては、両目の瞳の中心を結んだ線より上側に白目が多いか否かで笑顔度を求めたが、これに限らず、上瞼の傾き等によって求めるようにしてもよい。すなわち、図６（ａ）において、瞼の幅ＥＨに対し、瞼の一番高いところの位置ＥＴを求め、これの比、ＥＴ／ＥＨによっても笑顔度を求めることができる。ＥＴ／ＥＨが大きくなると笑顔に近くなり、また、この比が小さくなり、上瞼の傾きが大きくなると笑顔から遠ざかる傾向にある。
【００６８】
上述した笑顔度の判定は、図８（ａ）に示すように、人物が正面を向いているときには、その人物の感情を推し量って正確に判定することができる。しかし、図８（ｂ）（ｃ）に示すような上目遣い、見下しの角度では、正確な判定を行うことができない。そこで、ステップＳ１６１における判定結果が眉間に皺がなかった場合、またはステップＳ１６２の処理が終わると、次に、Ｒ補正を行っている（Ｓ１６３）。Ｒ補正が終わると、元のルーチンに戻る。
【００６９】
次に、ステップＳ１６３におけるＲ補正のサブルーチンについて、図９に示すフローチャートを用いて説明する。Ｒ補正のサブルーチンに入ると、まず、顔の中心座標を判定し（Ｓ２５１）、目部の中心座標を判定する（Ｓ２５２）。この顔の中心と目部の中心の座標は顔検出部５によって判定する。次に、顔の中心と目部の中心の中心間距離ΔＹを求める（Ｓ２５３）。
【００７０】
続いて、中心間距離ΔＹが−ΔＹ１より小さいか否かを判定する（Ｓ２５６）。この判定の結果、顔の中心と目部の中心の中心間距離ΔＹが−ΔＹ１より小さい場合には、図８（ｂ）に示すような上目遣いの場合と想定され、笑顔から程遠いと思われることから、Ｒ値から１を減算する（Ｓ２５７）。
【００７１】
次に、中心間距離ΔＹが＋ΔＹ２より大きいか否かを判定する（Ｓ２５８）。この判定の結果、顔の中心と目部の中心の中心間距離ΔＹが＋ΔＹ２より大きい場合には、図８（ｃ）に示すような見下しの場合と想定され、この状態も笑顔から程遠いと思われることから、Ｒ値から１を減算する（Ｓ２５９）。
【００７２】
このように、顔中心の位置と、目の中心位置を判定し、この中心間距離が−ΔＹ１と＋ΔＹ２の間（図８（ａ）ではΔＹ０）の範囲に入っている場合には、正面を向いており、所定値−ΔＹ１や＋ΔＹ２を越えた場合は、顔をそむけた状態であり、笑顔から程遠いとして、笑顔度をあらわすＲ値を減算している（Ｓ２５７、２５９）。Ｒ補正のサブルーチンが終わると元のルーチンに戻る。
【００７３】
以上、説明したように、本発明の第１実施形態においては、画面の中心付近の人物の笑顔度が高い画像を検索し、これを表示するようにしている。みんなで画像を鑑賞するにあたって、笑顔の写真は鑑賞者を和ませることから相応しい写真といえるが、撮影画像に登場する全ての人物について笑顔度を判定すると時間がかかってしまう。この点、本実施形態においては、画面中心付近の顔についてのみ判定するようにしているので、複数の画像の中から迅速に検索を行うことができる。
【００７４】
また、本実施形態においては、画面中心付近の顔の笑顔度が高いことに加えて、１つの撮影画像の中に登場する顔の数の多い画像を選択している。登場している顔の数が多いほど、鑑賞者も楽しむことができる。
【００７５】
さらに、本実施形態においては、続けて画像を再生する場合には、顔の特徴量に基づいて、前の画像で中心にいた顔以外の人の顔となるようにしている。このため、続けて複数の画像を再生表示する場合に、同じ人物が続けて画面中心付近となる画像を避けることができ、面白みのある再生表示となる。
【００７６】
次に、本発明の第２実施形態を図１２に基づいて説明する。本発明の第１実施形態では、スマイルサーチは、笑顔度が高く、かつ画面内の顔の数が多いものを優先的に選択し、再生表示していた。第２実施形態においては、笑顔度の高い画像を優先的に再生表示し、画面内の顔の数については考慮していない。ただし、同じ人ばかり登場すると面白みに欠けるので、同じ人の顔は表示されないようにしている。
【００７７】
第２実施形態の構成は、第１実施形態において図５に示したスマイルサーチのサブルーチンを図１２に示すスマイルサーチのサブルーチンに変更する以外は同様である。相違点であるこのサブルーチンを中心に説明する。
【００７８】
本実施形態におけるスマイルサーチのフローに入ると、まず、所定部として画面中央を設定する（Ｓ６０）。第１実施形態においては、画面中央のみについて笑顔度の比較を行っていたが、第２実施形態においては、周辺部も笑顔度の比較を行う場合がある。続いて、仮記憶画像をクリアする（Ｓ６１）。この仮記憶画像は、後述するステップＳ７１において類似しているかどうか比較するために表示画像を仮記憶しているが、初期状態においては、この仮記憶画像はクリアしておく。なお、本実施形態においては、画像データそのものを記憶する代わりに、所定部の顔の特徴量を記憶している。
【００７９】
次に、画面所定部に顔のある写真の選択を行う（Ｓ６２）。このステップでは、選択されているイベントに関する写真群の中から、ステップＳ６０で設定された所定部（最初は中央）に顔のある画像を１駒、選択する。続いて、選択された画像の所定部にある顔の笑顔度の判定を行う（Ｓ６３）。笑顔度の判定は、撮影時に記録されている場合にはテーブルから読み出し、記録されていない場合には、図７で説明したフローを用いて行う。
【００８０】
笑顔度の判定が終わると、次に、全画像について終了したか否かの判定を行おう（Ｓ６４）。このステップでは、あるイベントの中で、画面の所定部に顔のある写真の全てについてステップＳ６２とＳ６３を実行したか否かの判定を行う。ステップＳ６４における判定の結果、全ての画像について終わっていなかった場合には、次の候補を選択し（Ｓ６５）、ステップＳ６２に戻り、全ての画像について終了するまで、ステップＳ６２〜Ｓ６５を繰り返す。
【００８１】
ステップＳ６４における判定の結果、全ての画像について終了していた場合には、笑顔度が一番高い画像を選択する（Ｓ６６）。次に、選択された画像の所定部の顔の特徴量の判定を行う（Ｓ６７）。顔が中央部に位置している場合には、図１１に示したテーブルに記憶されているので、この値をそのまま記憶すれば良い。
【００８２】
次に、ステップＳ６６で選択された画像（なお、次の表示の場合には、ステップＳ７２において選択された画像）と、仮記憶画像が類似しているか否かの判定を行う（Ｓ７１）。この比較は、後述するステップＳ７４において、表示するたびに所定部の顔の特徴量を記憶しているので、この顔の特徴量に基づいて行う。ここで、画像が類似されているか否かを判定しているのは、同じ人の顔が続けて表示されないようにするためである。
【００８３】
ステップＳ７１における判定の結果、類似していなかった場合には、ステップＳ６６において選択された画像（なお、次の表示の場合には、ステップＳ７２において選択された画像）を表示する（Ｓ７３）。この表示は、表示部８またはテレビ２０等の外部の表示装置に行う。
【００８４】
続いて、ステップＳ７３において表示した画像の所定部の顔の特徴量を仮記憶する（Ｓ７４）。仮記憶が終わると、次の表示を行うか否かの判定を行う（Ｓ７５）。ユーザーが次の表示を望む場合には、操作部材による行うので、操作判定部１１によりこれを判定する。ステップＳ７５における判定の結果、次の表示がない場合には、元のルーチンに戻る。
【００８５】
ステップＳ７５における判定の結果、次の表示を行う場合には、所定部における笑顔度で次に大きな値の画像を選択する（Ｓ７２）。このステップでは、ステップＳ６２〜Ｓ６５を繰り返し実行して求めた笑顔度の順に画像の選択を行う。次に、ステップＳ７２において選択された画像があったか否かの判定を行う（Ｓ８１）。所定部に顔のある全ての画像について選択されてしまうと、なしとなる。
【００８６】
ステップＳ８１における判定の結果、画像が選択されていた場合には、ステップＳ７１に戻り、顔の特徴量を用いて画像が類似しているか否かの判定を行う、類似していた場合には、ステップＳ７２にジャンプし、次の画像を選択し、一方、画像が類似していなければ前述したように表示と顔の特徴量の仮記憶を行う。
【００８７】
ステップＳ８１における判定の結果、画像が選択されなかった場合には、所定部の変更を行う（Ｓ８２）。すなわち、最初は、画面中央部の顔の笑顔度や特徴量を判定していたが、画面中央部に顔がある画像がなくなると、次に、画面右側、画面左側と、ステップＳ８２において所定部を変更する。なお、所定部は予めフローチャートでその順番を決めておくが、ユーザーが任意に設定できるようにしても良い。ステップＳ８２において、所定部が変更されると、ステップＳ６１に戻り、所定部を代えて笑顔度の高い画像を検索し、これを表示する。
【００８８】
このように本発明の第２実施形態においては、画面の所定部にある顔の笑顔度の高い画像を順次再生表示し、また、同じ顔が表示されないようにしている。このため、迅速に検索することができ、色々な人の顔が順次、再生表示される。
【００８９】
また、本実施形態においては、ステップＳ８２において所定部を変更することができるので、画面中央付近以外にいる人の顔についても、笑顔度を判定し、笑顔度の高い画像を再生表示することができる。
【００９０】
次に、本発明の第３実施形態を図１３および図１４に基づいて説明する。本発明の第１実施形態では、スマイルサーチは、笑顔度が高く、かつ画面内の顔の数が多いものを優先的に選択し、第２実施形態においては、笑顔度の高い画像を優先的に再生表示し、画面内の顔の数については考慮していなかった。第３実施形態においては、笑顔度は考慮するが、これと撮影画像の構図にも考慮して表示画像の選択を行うようにしている。
【００９１】
第３実施形態の構成は、第１実施形態において図５に示したスマイルサーチのサブルーチンを図１３に示すスマイルサーチのサブルーチンに変更する以外は同様である。また、図１３に示すフローは、図５のフローと類似していることから、図５と同様の処理については同一のステップ番号を付し、相違するステップを中心に説明する。
【００９２】
スマイルサーチのフローに入ると、画面中央部に顔が位置する写真を選択する（Ｓ３１）。続いて、笑顔度の判定を行う（Ｓ３２）。この笑顔度の判定は、撮影時に記録されている場合には、テーブルから読み出し、撮影時に記録されていない場合には、前述の図７に示したサブルーチンによって実行する。
【００９３】
続いて、ステップＳ３２に求めた笑顔度に構図係数Ｋを乗算した値ＲＫを求める（Ｓ３３ｂ）。構図係数は、写真の構図を分析し、この分析された構図に応じた係数である。本実施形態においては、笑顔度を重視していることから、顔検出部５の大きさ判定部５ｂによって判定された顔の大きさに基づいて構図分析を行い、例えば、図１４（ｂ）に示すような、人物の胸から上半身を撮影した、所謂、バストショットを良い構図（図の例では、図係数１０）としている。また、笑顔の良く見えない、図１４（ｃ）に示すような構図の場合には、構図係数を低くしている（図の例では、構図係数２）。あまり大きな顔では、図１４（ａ）周囲の状況が分からないので、構図係数を少し低くしている（図の例では、構図係数５）。
【００９４】
選択された写真の値ＲＫが求まると、次に、全画像についてステップＳ３１〜Ｓ３３ｂの処理が終了したか否かを判定する（Ｓ３４）。この判定の結果、全ての画像について終了していなかった場合には、次の候補を選択し（Ｓ３５）、ステップＳ３１に戻り、全ての画像について終了するまで、ステップＳ３１〜Ｓ３３ｂを繰り返す。
【００９５】
ステップＳ３４における判定の結果、全ての写真について処理が終了すると、ステップＳ３３ｂにおいて求められた値ＲＫの中で最も高い数値であった写真を表示の候補として選択する（Ｓ３６ｂ）。以下、第１実施形態と同様に、選択された写真を表示部８やテレビ２０等の外部の表示装置に表示し、次の写真の表示の希望あれば、同じ人が中央に位置する写真以外の中から写真を選択して表示を行う（Ｓ３６ｂ〜Ｓ４０）。第１実施形態においては、笑顔度×写っている人数を示すＲＮであったが、第３実施形態においては、笑顔度×構図係数のＲＫの高い順に表示を行う。ステップＳ４０において、次の画像の希望がなければ、元のルーチンに戻る。
【００９６】
このように、第３実施形態においては、笑顔度に加えて構図が良い画像を優先して表示するという考え方で再生表示の順番を決めている。この実施形態においてはバストショットの構図係数を高め、あまり大きな顔の場合には構図係数を少し低くし、笑顔の見えないような顔の小さな構図係数は更に低くしている。
【００９７】
以上、説明したように本発明の各実施形態においては、複数の画像のそれぞれの画面中央に位置する顔の笑顔度を判定し、この判定した笑顔度に基づいて、複数の画像の中から代表画像を検索し、表示を行うようにしている。画面中央に位置する顔について笑顔度を判定するようにしていることから、検索を迅速に行うことができる。なお、第１及び第３実施形態において検索する顔の位置は、画面中央部に限らず、第２実施形態のように、画面の右側、左側、上側、下側等、任意の位置でも良い。
【００９８】
また、本発明の各実施形態においては、次の画像の検索にあたって、表示済みの画像のうち、笑顔度の判定を行った人が中央となる画像を除いて検索するようにしている。このため、同じ人が何度も特定範囲に繰り返し、再生表示されることを防止することができ、変化に富み、楽しむことができる。
【００９９】
なお、本発明の実施形態においては、撮影時に顔の数、顔の位置、大きさ、笑顔度、特徴をテーブル化していたが、この作業は撮影時に行わずに、再生表示の前等、別のタイミングで行うようにしてもよい。
【０１００】
また、本発明の実施形態においては、カメラで撮影した画像をカメラ内でスマイルサーチ等の処理を行って、カメラの表示装置や外部の表示装置で再生表示するようにしていたが、カメラで撮影した画像をパーソナルコンピュータに記憶させ、この記憶された画像に基づいてスマイルサーチを行い、再生表示するようにしても良い。
【０１０１】
さらに、本発明の実施形態においては、代表画像の選択にあたっては、笑顔度単独、または笑顔度のほか、人の数や構図を考慮していたが、これに限らず、正面を向いているか、背景がシンプルかといったことを考慮して代表画像を選択しても良い。
【０１０２】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【０１０３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１０４】
【図１】本発明の第１実施形態に係わるカメラとその周辺の構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるカメラにおけるカメラ制御の動作を示すフローチャートである。
【図３】本発明の第１実施形態において、イベント判定の考え方を説明する図である。
【図４】本発明の第１実施形態に係わるカメラにおけるイベント判定の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係わるカメラにおけるスマイルサーチの動作を示すフローチャートである。
【図６】本発明の第１実施形態において、被写体の笑顔と困った顔を比較する図であり、（ａ）は笑顔を示し、（ｂ）は困った顔を示す。
【図７】本発明の第１実施形態に係わるカメラにおける笑顔度判定の動作を示すフローチャートである。
【図８】本発明の第１実施形態において、被写体のカメラを向いている様子を示す図であり、（ａ）は正面向きの顔を示し、（ｂ）は上目の顔を示し、（ｃ）は見下しの顔を示す。
【図９】本発明の第１実施形態に係わるカメラにおけるＲ補正の動作を示すフローチャートである。
【図１０】本発明の第１実施形態において、人の顔の特徴量の測定を示す図である。
【図１１】本発明の第１実施形態において、画像と共に記録されるデータを示し、（ａ）は記録される情報のテーブルを示し、（ｂ）は画像とテーブルの場所の関係を示す図である。
【図１２】本発明の第２実施形態に係わるカメラにおけるスマイルサーチの動作を示すフローチャートである。
【図１３】本発明の第３実施形態に係わるカメラにおけるスマイルサーチの動作を示すフローチャートである。
【図１４】本発明の第３実施形態において、構図係数の例を示す図であり、（ａ）は構図係数５の例、（ｂ）は構図係数１０の例、（ｃ）は構図係数２の例である。
【符号の説明】
【０１０５】
１・・・制御部、１ａ・・・画像処理部、１ｂ・・・イベント分類部、１ｃ・・・顔分類
部、１ｄ・・・表示順判定部、２・・・撮像部、３・・・光学系制御部、４・・・記録部
、４ａ・・・画像ｖｓ顔記憶部、５・・・顔検出部、５ａ・・・位置検出部、５ｂ・・・
大きさ判定部、５ｃ・・・特徴部、６・・・切出部、７・・・合成処理部、８・・・表示
部、８ａ・・・表示制御部、９・・・時計部、１１・・・操作判定部、１２・・・笑顔度
判定部、１４・・・通信部、２０・・・テレビ、６１・・・線、６２・・・線、６４・・
・矢印、６５・・・矢印、８１・・・交点、８２・・・交点、８３・・・交点、８４・・
・交点
【特許請求の範囲】
【請求項１】
顔画像を含む複数の画像から代表画像を選んで表示する画像表示装置であって、
上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択する選択部と、
上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索する検索部と、
上記代表画像を表示する表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項２】
上記複数の画像は撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記表示制御部は、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
顔画像を含む複数の画像から代表画像を選んで表示する画像表示方法であって、
上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択するステップと、
上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索するステップと、
上記代表画像を表示するステップと、
を備えたことを特徴とする画像表示方法。
【請求項５】
上記複数の画像は撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする請求項４に記載の画像表示方法。
【請求項６】
上記表示ステップは、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする請求項４に記載の画像表示方法。
【請求項７】
顔画像を含む複数の画像から代表画像を選んで表示する画像表示プログラムであって、
上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択するステップと、
上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索するステップと、
上記代表画像を表示するステップと、
を備えたことを特徴とする画像表示プログラム。
【請求項８】
上記複数の画像は撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする請求項７に記載の画像表示プログラム。
【請求項９】
上記表示ステップは、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする請求項７に記載の画像表示装置。
【請求項１】
顔画像を含む複数の画像から代表画像を選んで表示する画像表示装置であって、
上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択する選択部と、
上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索する検索部と、
上記代表画像を表示する表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項２】
上記複数の画像は撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記表示制御部は、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
顔画像を含む複数の画像から代表画像を選んで表示する画像表示方法であって、
上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択するステップと、
上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索するステップと、
上記代表画像を表示するステップと、
を備えたことを特徴とする画像表示方法。
【請求項５】
上記複数の画像は撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする請求項４に記載の画像表示方法。
【請求項６】
上記表示ステップは、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする請求項４に記載の画像表示方法。
【請求項７】
顔画像を含む複数の画像から代表画像を選んで表示する画像表示プログラムであって、
上記複数の画像のそれぞれに含まれる顔の笑顔度や構図から代表画像を選択するステップと、
上記代表画像とは異なる人物が笑顔である画像を次の代表画像として検索するステップと、
上記代表画像を表示するステップと、
を備えたことを特徴とする画像表示プログラム。
【請求項８】
上記複数の画像は撮影画像であり、上記撮影時に上記笑顔度と上記人物ごとの特徴を関連付けられた画像であることを特徴とする請求項７に記載の画像表示プログラム。
【請求項９】
上記表示ステップは、上記代表画像と上記次の代表画像の笑顔度の高い人物の画像を並べて表示することを特徴とする請求項７に記載の画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２５６３２７（Ｐ２０１２−２５６３２７Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１２−１４４０８１（Ｐ２０１２−１４４０８１）
【出願日】平成２４年６月２７日（２０１２．６．２７）
【分割の表示】特願２００８−４５５４５（Ｐ２００８−４５５４５）の分割
【原出願日】平成２０年２月２７日（２００８．２．２７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２４年６月２７日（２０１２．６．２７）
【分割の表示】特願２００８−４５５４５（Ｐ２００８−４５５４５）の分割
【原出願日】平成２０年２月２７日（２００８．２．２７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]