画像検索装置および画像検索方法
【課題】 分類された画像を表示手段上で少ない操作で容易に検索することのできる画像検索装置および画像検索方法を提供する。
【解決手段】 インデックス顔画像８３と類似する顔で、かつ同じ方向を向いている顔が写っている撮影画像８２が有るか否かを検索し判定する（Ｓ３４）。判定の結果、撮影画像８２が検索された場合には、その撮影画像８２を表示する（Ｓ３５）。
【解決手段】 インデックス顔画像８３と類似する顔で、かつ同じ方向を向いている顔が写っている撮影画像８２が有るか否かを検索し判定する（Ｓ３４）。判定の結果、撮影画像８２が検索された場合には、その撮影画像８２を表示する（Ｓ３５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置および画像検索方法に関し、詳しくは、多数の写真画像の中から画像を迅速かつ分かりやすく検索可能な画像検索装置および画像検索方法に関する。
【背景技術】
【０００２】
近年、写真画像がデジタル化され、記録メディアの大容量化が進み、また銀塩フィルムカメラを使用していた頃に比較すると、撮影頻度も高くなってきている。このため、カメラユーザーは、大量の画像を所有しており、画像検索に時間がかかっている。
【０００３】
そこで、画像検索を容易にする画像検索装置が種々提案されている。例えば、特許文献１には、予め登録人物の顔認識データを登録しておき、撮影画像の人物が登録された人物であるか否かを判定する電子カメラが開示されている。また、特許文献２には、人物を表すシルエットイメージのアイコンを撮影画像から作成したアイコン画像に置き換えるデジタルスチルカメラが開示されている。
【特許文献１】特開２００７−１５０６０４号公報
【特許文献２】特開２００７−１５９１５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このように類似画像を分類する技術は知られているが、分類された画像を液晶パネルなどの表示装置上で、少ない操作で検索する画像検索装置については知られていない。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、分類された画像を表示手段上で少ない操作で容易に検索することのできる画像検索装置および画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係わる画像検索装置は、複数の画像データを記憶する画像記録部と、表示部と、上記画像記録部に含まれる画像データから顔の部分を検出する顔検出部と、上記顔検出部によって検出された顔の部分が向いている角度を判定する角度判定部と、顔の向きがそれぞれ異なる角度を向いている複数の顔画像を記録したサムネイル部と、上記サムネイル部の記録した複数の顔画像の中から選択された顔画像と、上記顔検出部によって検出された顔との類似を判定する類似判定部と、上記類似判定部により類似すると判定された顔の部分を含む画像データを、上記表示部に表示させる表示制御部と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、分類された画像を表示手段上で少ない操作で容易に検索することのできる画像検索装置および画像検索方法を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は本発明の一実施形態に係わるカメラ１０の構成を示すブロック図である。カメラ１０はデジタルカメラであり、制御部１、類似判定部１ａ、タイミング制御部１ｂ、撮像部２、光学系制御部３、記録部４、特徴（角度）データ記録部４ａ、顔データベース（ＤＢ）４ｂ、サムネイル部４ｃ、顔検出部５、角度判定部５ａ、大きさ判定部５ｂ、切出部６、動画処理部７、表示部８、表示制御部８ａ、マルチ画像表示部８ｂ、動画表示制御部８ｃ、時計部９、操作判定部１１、六軸センサ１２、通信部１４を有し、インターネット網１５を介して外部サーバー２０と接続可能である。
【０００９】
制御部１は、カメラ１０内の各部と接続され、操作判定部１１によって判定された操作部材等の操作に応じ、また、タイミング制御部１ｂによるタイミング制御に従って、カメラ１０の全体制御を行う。また、制御部１は画像処理部（不図示）を有しており、画像の圧縮処理等を行う。さらに制御部１は類似判定部１ａを有しており、後述する顔検出部５によって検出された複数の顔画像の類似度を判定し、撮影画像に写っている人物が誰であるかを特定する。
【００１０】
撮像部２は、被写体像を結像するための光学系、および被写体像を光電変換する撮像素子等を含み、画像データを出力する。光学系制御部３は、撮像部２内の光学系のピント合わせ等の制御を行う。記録部４は、制御部１内の画像処理部によって圧縮処理等された画像データを撮影画像として記録する。撮影画像の記録にあたっては、後述する顔検出部５において、人物像の顔の向いている角度が検出されるので、この角度を撮影画像に関連付けて特徴（角度）データ記録部４ａに記録する。
【００１１】
また、記録部４は、顔データベース（ＤＳ）４ｂとサムネイル部４ｃを有する。顔データＤＢ４ｂは、記録部４に記録されている撮影画像における人物像の顔の部分を集めたデータベースであり、撮影画像毎に人物を特定し、画像と人物名の組み合わせからなる。サムネイル部４ｃは、切出部６によって切り出された顔画像が記録されており、顔インデックスとして一覧表示の際に使用する。
【００１２】
顔検出部５は、撮影画像中に人物像が含まれる場合に、顔パターンを判定して、顔の部分を検出する。この検出結果に基づいて、露出制御や自動焦点調節（ＡＦ）等を行い、また、人物を特定する際に、顔検出部５で検出された顔に基づいて行う。顔検出部５は、角度判定部５ａと大きさ判定部５ｂを有する。角度判定部５ａは、顔検出部５によって検出された人物の顔について、顔の向いている向き（角度）を判定する。大きさ判定部５ｂは、検出された顔の部分の大きさを判定する。
【００１３】
切出部６は、顔検出部５によって検出された人物像の顔の部分に対応する画像データを切り出す。ここで切り出された顔画像のデータは、サムネイル部４ｃに記録されるほか、類似判定部１ａにおいて行う類似判定等において使用される。動画処理部７は、種々の角度から撮影された人物の撮影画像を順次表示する際に、単に静止画として表示するだけではなく、複数画像を少しずつ変化させて再生することにより、動画のように表示するための画像処理を行う。
【００１４】
表示部８は、カメラ１０の背面等に配置された液晶モニタ等の表示装置で構成され、記録部４に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のライブビュー表示も行う。また、記録部４に記録されている撮影画像の検索の際の表示も行う。この表示部８の表示制御を行うのが、表示制御部８ａであり、マルチ画像表示部８ｂと動画表示制御部８ｃを有する。マルチ画像表示部８ｂは、画像検索時等に、表示部８の表示部を分割表示する。動画表示制御部８ｃは、画像検索の際に、インデックス顔画像等の画像を動画処理して表示する際の制御を行う。
【００１５】
時計部９は計時機能やカレンダ機能を有し、撮影時の日時情報の取得等に用いる。ここで得られた日時情報は、撮影画像を記録部４に記録する際に、一緒に記録される。操作判定部１１は、ユーザーによるカメラ１０の操作部材等の操作状態を判定する。この操作状態に応じて、前述したように、制御部１はカメラ１０の制御を行う。六軸センサ１２は、ｘ軸、ｙ軸、ｚ軸の３次元方向の軸方向および軸回りにおけるカメラ１０の移動を検出するセンサである。通信部１４は、インターネット網１５等を介してサーバー２０等の機器と送受信を行う。この通信部１４を介して、撮影画像を外部に送信し、また外部から画像等を受信することができる。
【００１６】
次に、このように構成された本実施形態に係わるカメラ１０の動作を説明する。本実施形態においては、概略、人物の向いている角度に関する情報を撮影画像と共に記録しておき、人物像の顔をサムネイル表示させた際に、顔の向いている角度と同じ向きを向いている画像を順次表示するようにしている。
【００１７】
撮像部２によって撮像された静止画像は、制御部１内の画像処理部において、圧縮処理等の画像処理が施され、記録部４に撮影画像として記録される。記録された撮影画像は、表示部８に再生表示される。この撮影制御は、操作判定部１１によってユーザーのカメラ操作を判定し、この判定結果に応じて、制御部１がコントロールすることにより行われる。
【００１８】
また、必要に応じて、撮影画像は通信部１４およびインターネット網１５を介して、外部サーバー２０などに送信することができる。なお、通信機能を利用することにより、本実施形態における画像処理制御の一部を外部のコンピューターが代替処理するようにしてもよい。
【００１９】
撮影画像に人物が含まれる場合、顔検出部５が顔パターンを判定し、顔の部分を検出する。そして、検出された顔と、記録部４内の顔データベース４ｂに記録されている顔とを、類似判定部１ａによって比較し、被写体が誰であるかを特定する。また、顔の眼と鼻の陰影を分析して、角度判定部５ａが、顔が左右等のどちらを向いているかを判定し（角度を検出）、撮影画像に「顔の向いている角度と被写体の人物が誰か」の情報を付加し、記録部４に記録する。
【００２０】
この撮影時における被写体の顔に関する情報の記録について、図２を用いて、説明する。人物１００を撮影すると、類似判定部１ａは、撮影画像１００ａと顔ＤＢ４ｂに記録されている各画像と比較し、個人名（ここでは「Ｂさん」と称す）を特定することができる。撮影画像の顔の向きは、角度判定部５ａによって判定され、この判定結果に基づいて、撮影画像１００ａと、被写体と顔角度の関係が分類信号として、特徴（角度）データ記録部４ａに記録される。
【００２１】
また、このとき顔の大きさも、大きさ判定部５ｂによって判定される。この判定された顔の大きさのデータを用いて顔の大きさを補正し、顔ＤＢ４ｂに記録されている顔画像と比較し易くしている。
【００２２】
このように、本実施形態においては、同一人物であっても、顔の向いている角度を顔ＤＢ４ｂに記録し、データベース化している。データベース作成にあたっては、図３に示すように、予め、被写体である人物１００を種々の角度から連写で撮影しておき、この連写撮影から得た画像データを顔ＤＢ４ｂに記録するようにしてもよい。このデータベース撮影の際には、カメラ１０の動きを六軸センサ１２によって取得し、この情報に基づいて顔の向きに関する角度情報として撮影画像と一緒に、顔ＤＢ４ｂに記録しておく。
【００２３】
また、図３に示すような連写で得た顔画像は、画像検索用のインデックス画像として用いることもできる。すなわち、切出部６によって撮影画像の顔の部分を画像データから切り出し、顔インデックス画像化して、記録部４内のサムネイル部４ｃに記録し、これを画像検索に利用する。また、図３に示すような連写で顔画像を得る以外にも、通常の撮影の際に得た同一人物の顔画像を、顔の向いている角度ごとに整理し、動画処理部７によって、順次、顔を動かしているように動画処理し、顔インデックス用のサムネイル画像としてもよい。
【００２４】
サムネイル部４ｃに記録されたサムネイル画像は、図１に示すように、表示部８のインデックス部８４にサムネイル画像８１として表示される。図１に示した例では、縦に個人別の顔インデックス画像８３が並べられたサムネイル画像８１が表示されており、ユーザーはサムネイル画像８１の中から見たい被写体（顔インデックス画像８３）を選ぶと、選択された人物で同じ方向を向いている画像８２が、記録部４内の特徴（角度）データ記録部４ａの中から検索され、検索表示部８５に表示される。
【００２５】
本実施形態においては、図２を用いて説明したように、撮影の都度、顔ＤＢ４ｂに記憶されている顔インデックス画像と比較し、撮影画像中の各人物画像は、どのインデックスの顔に対応し、しかも、どの角度に分類されるかを判定し、判定結果を特徴データ記録部４ａに記録している。したがって、これを参照することにより、選択されたインデックス顔画像８３と同一人物であって、かつ同じ向きを向いている画像８２を検索することができる。
【００２６】
また、表示部８にサムネイル画像８１として表示されるインデックス顔画像８３は、動画表示制御部８ｃによって、右向きから左向きまたは逆方向に動画的に動かし、インデックス顔画像８３の顔の動きに応じて、顔の向きと同じ向きを向いている撮影画像８２を表示する。したがって、インデックス顔画像８３の顔の向きが変化するに連れ、撮影画像８２も切り換わる。なお、このような表示制御は、表示制御部８ａ、および表示制御部８ａ内の画面分割制御するためのマルチ画像表示部８ｂと、動画表示制御部８ｃによって行われる。
【００２７】
サムネイル画像８１中のインデックス顔画像８３の動画的表示と、これに対応して表示される撮影画像８２について、図４を用いて説明する。図４（ａ）（ｂ）（ｃ）は、図３で説明した方法で撮影したＡさんの画像であり、図４（ａ）は顔の角度がマイナス、図４（ｂ）は顔の角度が０、図４（ｃ）は顔の角度がプラスの場合である。
【００２８】
このインデックス顔画像８３の顔の向きが変化するごとに、同じ人物で、同じような向きを向いた撮影画像８２が検索されて、図４の右側の列に示すような撮影画像８２が表示される。つまり、インデックス顔画像８３が、図４（ａ）→（ｂ）→（ｃ）→（ｂ）→（ａ）と変化した場合、それに応じて検索の条件が変わり、特徴（角度）データ記録部４ａから、撮影画像８２が選択され、図４（ｄ）→（ｅ）→（ｆ）→（ｅ）→（ｄ）の順に、表示される撮影画像８２が変化する。
【００２９】
このようにして作成されるインデックス顔画像８３の良い点は、一人の人物を多くの角度から撮影し、その人の特徴を把握できる点と、この画像そのものを図４（ａ）→（ｂ）→（ｃ）→（ｂ）→（ａ）と変化させてインデックス表示することにより、ユーザーの注意を引きやすくする点にある。また、インデックス顔画像８３の動画的表示に合わせて、対応する撮影画像８２を表示するようにしているので、一度に多数の画像を表示せずに、表示画像を絞り込んでいることから、検索画面を整理できる。
【００３０】
この動きのあるインデックス顔画像の表示速度は、ユーザーが選択できるようにしたり、操作ごとに変化させるようにしてもよい。また、図３に示したようなインデックス画像用として撮影を行わなくとも、多くの画像の中から同一人物の顔画像を集め、顔の向きの角度ごとに分類し、これらの顔画像をモーフィング処理し、図５に示すように、インデックス顔画像８３を得るようにしてもよい。モーフィング処理されたインデックス顔画像８３を用い、図４で説明したのと同様、撮影画像８２の画像を、図４のように切り換える。
【００３１】
なお、ここでは、特定の個人の顔角度ごと表示を行ったが、図５に示すようなモーフィング処理を前提とするならば、不特定多数の人物の画像を顔の向きの角度ごとに分類し、インデックス顔画像を変化させ、その角度に対応する画像を順次表示するようにしてもよい。また、顔の向きの角度を変えることによって動画風にインデックス表示処理を行ったが、顔の大きさや身体全体の向きの角度、または表情の変化などを動画風に処理してインデックス化してもよい。この場合でも、動画風に変化するインデックス画像の各コマに対応して類似画像を検索し、表示することは同様である。
【００３２】
このように本実施形態においては、特定の人物画像を高速で検索することができる。また、顔の向きによって、検索される画像が変わるので、家族写真のように同じ人物が多数に撮影された場合でも、その人物について顔の向き等の条件をつけることによって、目的とする画像を容易に検索することができる。気に入った画像が見つかれば、その画像を選択することにより、表示面の画面いっぱいに拡大表示し、楽しむことができる。
【００３３】
次に、図６に示すフローチャートを用いて、前述したようなサムネイル化されたインデックス顔画像８３を用いて画像検索のできるカメラ１０の動作を説明する。まず、撮影者が通常撮影モードに設定し、レリーズ釦の全押し操作を行ったか否か、すなわち通常撮影を行うか否かの判定を行う（Ｓ１）。
【００３４】
判定の結果、通常撮影を実行する場合には、撮像部２によって撮影を行い、静止画の画像データを取得する（Ｓ２）。この後、ステップＳ３からステップＳ６において、図２に説明したように、人物を特定し、特徴（角度）データの記録を行う。まず、取得した画像データに基づいて、顔検出部５によって顔検出を行い、類似判定部１ａにおいて、類似するインデックス顔画像があるか否か顔判定を行う（Ｓ３）。この判定の際に、角度判定部５ａによって、顔の向いている角度も検出する。続いて、顔判定の結果、類似する顔が有るか否か判定する（Ｓ４）。
【００３５】
ステップＳ４における判定の結果、類似する顔がない場合には、撮影した画像を記録部４に記録する（Ｓ６）。一方、類似する顔が有る場合には、類似顔データ、すなわち顔ＤＢ４ｂに記憶されている同一人物のインデックス顔画像とリンクするためのデータと、顔の向いている角度（特徴データ）と、画像を記録部４に記録する（Ｓ５）。記録部４への記録が終わると、リターンし、ステップＳ１に戻る。
【００３６】
ステップＳ１における判定の結果、通常の撮影ではなかった場合には、データベース撮影か否かの判定を行う（Ｓ１１）。このデータベース撮影は、図３を用いて説明したような、被写体である人物を種々の角度、例えば、右から左に、連続的に撮影し、インデックス顔画像８３を取得するための撮影である。このステップでは、操作判定部１１の出力に基づいて、この撮影モードが設定されたか否かを判定する。
【００３７】
ステップＳ１１における判定の結果、データベース撮影が設定された場合には、撮像部２によって画像データの取得を行い（Ｓ１２）、顔検出部５や類似判定部１ａにおいて顔判定を行う（Ｓ１３）。続いて、六軸センサ１２の出力に基づいて、カメラ１０の撮影方向の角度に変化があったか否かを判定する（Ｓ１４）。判定の結果、角度が変わると、この角度変化ごとに、ステップＳ１２に戻り、撮影を行う。
【００３８】
ステップＳ１４における判定の結果、角度変化がなくなると、所定角度分、カメラ１０が移動したかを判定する（Ｓ１５）。判定の結果、所定角度分の移動があれば、顔部分のみを動かすような感じで、表示できるように画像データから顔部分を切り出し、角度ごとに整理して記録部４に記録する。これにより、図４に示したようなインデックス顔画像が
記録される。一方、所定角度分の移動がない場合には、警告表示を行う（Ｓ１７）。ステップＳ１６、Ｓ１７が終わると、リターンし、ステップＳ１に戻る。なお、所定角度としては、インデックス顔画像として表示できる程度であればよく、例えば、１５度程度の角度であればよい。
【００３９】
ステップＳ１１における判定の結果、データベース撮影でなかった場合には、検索再生か否かの判定を行う（Ｓ２１）。本実施形態においては、選択再生と、検索再生の２つの再生モードがある。判定の結果、検索再生であれば、ステップＳ２２において検索再生を行い、そうではなかった場合には、ステップＳ２３において、選択再生を行う。
【００４０】
選択再生は、通常の再生モードであり、記録部４に記録されている画像データを順次、再生するか、またはサムネイル表示し、選択された画像を拡大表示する。また、検索再生は、図１に示す表示部８上で、サムネイル表示されたインデックス顔画像の顔の向きを変化させながら（図４（ａ）（ｂ）（ｃ））、同じ向きを向いている撮影画像を表示させる（図４（ｄ）（ｅ）（ｆ））モードである。検索再生または選択再生が終わると、リターンし、ステップＳ１に戻る。
【００４１】
次に、ステップＳ２２における検索再生について、図７に示すフローチャートを用いて説明する。このフローに入ると、まず、サンプル画像、すなわちサムネイル画像８１を表示部８のインデックス部８４に表示する（Ｓ３１）。続いて、ユーザーが見たいインデックス顔画像８３を選択したか否かを判定する（Ｓ３２）。判定の結果、選択されていた場合には、この選択されたインデックス顔画像８３が図４（ａ）→（ｂ）→（ｃ）に示したように、サイクリックに変化する。
【００４２】
このとき、選択されていないインデックス顔画像８３は静止したままである。選択したインデックス顔画像８３が、静止画状態から動画状態に変換するによって、ユーザーは選択されたことを把握でき、また動画像の鑑賞も兼ねて楽しめる。
【００４３】
続いて、動画表示されているインデックス顔画像８３と類似する顔で、かつ同じ方向を向いている顔が写っている撮影画像８２が有るか否かを検索し判定する（Ｓ３４）。判定の結果、撮影画像８２が検索された場合には、その撮影画像８２を表示する（Ｓ３５）。これによって、インデックス顔画像８３の顔の向きが順次変化し、この向きに連動して同一人物で同じ向きを向いている顔が写っている撮影画像８２が順次、表示される。
【００４４】
次に、ユーザーによって撮影画像８２が選択されたか否かの判定を行う（Ｓ３６）。ステップＳ３５における撮影画像８２の表示は縮小画像によって行われており、ユーザーが撮影画像８２を鑑賞するために、拡大表示を望む場合には、その撮影画像８２を選択する。判定の結果、選択されていない場合には、ステップＳ３８にジャンプし、一方、選択された場合には、その画像を表示部８の表示画面に拡大表示する（Ｓ３７）。続いて、検索表示を終了するか否かの判定を行い、終了する場合には、元のルーチンに戻り、一方、終了しない場合には、ステップＳ３２に戻る。
【００４５】
ステップＳ３２における判定の結果、サムネイル画像８１の中からインデックス顔画像８３が選択されていなかった場合には、サンプル一覧、すなわち、サムネイル画像８１の切り換えを行う（Ｓ４１）。表示部８には、サムネイル画像８１として記録されているすべてを同時には表示することができない場合には、その一部を表示している。このステップでは、次の優先順位のサムネイル画像８１の表示を行う。
【００４６】
ステップＳ４１における判定の結果、切り換えがない場合には、ステップＳ３２に戻り、一方、切り換えがなされていた場合には、次のサンプル一覧、すなわちサムネイル画像８１を表示し（Ｓ４１）、ステップＳ３８にジャンプする。検索再生を続行する場合には、ステップＳ３８からステップＳ３２に戻り、前述のステップＳ３３以下において、検索と表示を行う。
【００４７】
前述した図６のフローチャートにおいては、ステップＳ１２からステップＳ１６において、データベース撮影を行っていたが、これに代わるモーフィング動画によるインデックス顔画像の作成について、図８を用いて説明する。この作成方法は、図３に示した撮影方法や、図６のステップＳ１２以下で説明した特別な撮影を不要とすることができる。
【００４８】
このモーフィング動画作成のフローチャートに入り、ステップＳ２と同様に撮影が行われると、この撮影画像に写っている人物が同一人物か否かの判定を行う（Ｓ５１）。すなわち、記録部４に既に記録されているインデックス顔画像に類似するか否かについて判定する。続いて、この判定の結果、既に記録されているインデックス顔画像と同一であるか、つまりサンプルと同じかを判定する（Ｓ５２）。判定の結果、同一の顔画像があれば、ステップＳ５３以下でモーフィング動画画像を作成する。
【００４９】
まず、顔画像の角度判定を行う（Ｓ５３）。この角度判定では、角度判定部５ａによって顔画像の目の位置や、鼻の位置のバランス等から、顔の向いている方向の角度を判定する。続いて、切出部６によって、顔部画像の抜き出しを行い（Ｓ５４）、人物と角度の関係付けを記録する（Ｓ５５）。次に、記録された複数の顔の画像を、角度ごとに並び替え、前の画像と次の画像の中間画像を、図５に示すように変形作成することによって、モーフィング動画を作成する（Ｓ５６）。この時、顔の大きさを揃えるために、ステップＳ４４では、大きさ判定部５ｂによって、ほぼ同じ大きさの顔になるようにしている。
【００５０】
例えば、図４（ｄ）（ｅ）（ｆ）に示すような画像からモーフィング動画を作成する場合には、図４（ｄ）では顔が小さく、図４（ｅ）は顔が大きい。このように顔の大きさが異なっている場合には、画像の拡大や縮小処理を利用し、同じ大きさの顔となるように画像を切り出し、同じ大きさの顔画像となるようにそろえている。
【００５１】
ステップＳ５２における判定の結果、サンプルに同じ人物がいない場合は、すなわち、記録部４に既に記録されているインデックス顔画像８３に類似していない場合には、同一人物の画像がないことから、モーフィング動画によるインデックス顔画像８３を作成することができない。この場合には、同一人物について２駒目の撮影がなされた際に、モーフィング動画を作成できるようにステップＳ６１以下のステップを実行する。
【００５２】
まず、ステップＳ５３と同様に角度判定を行い（Ｓ６１）、顔部の画像を抜き出し、表示した際に所定の大きさになるように、サイズを調整する（Ｓ６２）。続いて、ステップＳ５５と同様に、人物と角度の関係付けを記録し（Ｓ６４）、新サンプル化、すなわちインデックス顔画像として記録する（Ｓ６４）。このように、モーフィング動画を行うには、同じ人物の画像を撮影するだけでよく、図３やステップＳ１２以下のような特別な撮影動作を行う必要がない。
【００５３】
次に、ユーザーが画像検索操作を行った場合、表示部８の表示画面の移り変わりを、図９を用いて説明する。まず、検索を始めると、表示部８に表示画面８−１が表示され、インデックス部（第１検索部）８４にサムネイル画像８１として人物ごとにインデックス顔画像８３が表示される。
【００５４】
ユーザーがカメラ１０の操作部材を操作して、Ａさんのインデックス顔画像８３を選択すると、検索表示部８５にＡさんが写っている撮影画像８２が表示される。そして、表示画面８−２に変化すると共に、インデックス部（第２検索部）８４に表示されるＡさんのインデックス顔画像８３の顔の向きが変化する。Ａさんの顔の向きの変化に対応して検索された撮影画像８２が、検索表示部８５に表示される。
【００５５】
次に、ユーザーがＢさんのインデックス顔画像８３を選択すると、表示画面８−３に切り換わり、検索表示部８５に表示されていたＡさんの撮影画像８２は消え、Ｂさんのインデックス顔画像８３の顔が動画のように変化する。また、検索表示部８５には、Ｂさんのインデックス顔画像８３の顔の向きと同じ角度の撮影画像８２が検索され表示される。
【００５６】
このように、本実施形態におけるカメラ１０は、画像検索するにあたって、個々の個人の画像で検索するのみならず、その個人の動き（具体的には顔の向き）も考慮して、画像の絞込みを行っている。また、インデックス顔画像８３が動画表示されるので、選択するにあたって分かりやすいし、動画そのものを楽しむことができる。
【００５７】
以上の説明では、人物の顔の向きばかりで検索する例を示したが、本実施形態の変形例として、図１０に示すように、魚や花などのテーマで、検索できるようにしてもよい。また、カメラ１０内ですべてを行うのではなく、通信部１４を介して外部のサーバー２０と連携し、ネットに繋がったパーソナルコンピュータ（ＰＣ）２１において、画像検索を行うようにしてもよい。
【００５８】
顔検出の技術であれば、カメラ１０内に組み込んだコンピューターで十分判定処理できる。しかし、被写体によっては、外部のサーバー２０やＰＣ２１で処理する構成を採用してもよい。
【００５９】
つまり、被写体によって、単純なパターンによる部分抜き出しのみならず、より高度な主被写体抜き出しの技術が必要であり、むしろ被写体の動きによって、背景と主被写体を分離する技術などを活用した方がよい。例えば、動いているものを主被写体、動かないものを背景として処理する背景分離方法である。この処理よって抜き出されたもののうち、画面中央にあるものを、たとえば代表例として、テーマ画像（インデックス画像）化すればよい。
【００６０】
図１０に示す変形例では、表示画面８−１のインデックス部８４に、「ます」や「野ばら」等のテーマが、選択可能なようにインデックス画像９３として表示される。これらのテーマ対象物に動きがある場合には、背景分離が可能である。インデックス画像９３のいずれかを選択すると、主被写体画像（図１０の例では、ます）が、表示画面８−１→表示画面８−２に示すように動き回る。そして、この主被写体画像に類似する撮影画像８２が、順次、検索表示部８５に表示される。
【００６１】
次に、別のテーマのインデックス画像９３が選択される（図１０の例では、野ばら）と、そのテーマ対象物が動画で再生表示される（表示画面８−３では、花が風に揺れる様子など）。そして、そのテーマ対象物と類似する撮影画像８２（向き等も同じ）が、検索表示部８５に表示される。
【００６２】
このように、同じテーマでも、その動きや構図によって見たい画像が変わる場合があり、特に、多くの画像を取捨選択して、一つのアルバムを作成するような場合、どれとどれを組み合わせるかによって、全体の雰囲気が変わる。そこで、多数の画像の中から、一番、見栄えの良い画像を選択したいとの要望があり、本実施形態では、インデックス用の画像を動画形式で動かし、その動画で示された動きの瞬間を捉えた静止画を選択するようにしている。このため、動画を楽しみながら、かつ、効果的な瞬間で、態様の類似する静止画を選択することが可能となる。このように、様々な画像を検索するのに、動画表示をインデックスとして採用することにより、一つのテーマを、様々な切り口で同一画面上に扱うことができ、また画像検索により、画像の選択や絞込みが容易になる。
【００６３】
以上説明したように、本実施形態においては、インデックス用の画像を動画的に順次表示し、このインデックス用の画像の動画的変化に対応する撮影画像を検索し、表示するようにしている。このため顔の向き（角度）等、分類された画像を、表示部８上に少なく操作で容易に検索することができる。
【００６４】
また、本実施形態においては、撮影時に、画像データから検出された顔の部分に基づいて、顔の角度を画像データと一緒に記録部４に記録している。このため、画像検索する際に、この顔の角度を用いて検索し表示することができ、大変便利である。また、記録部４に記録されている画像の中から、撮影した画像の顔の部分と類似した画像を検索し、この情報を含めて画像データの記録を行っている。このため、画像検索の迅速化を図ることができる。
【００６５】
なお、本実施形態においては、サムネイル画像８１を表示するインデックス部８４と、撮影画像８２を表示する検索表示部８５を同一画面で表示していたが、これに限らず、例えば、それぞれ異なる画面であっても勿論かまわない。また、撮影画像８２の顔の部分を検出して、角度判定、大きさ判定や類似判定を行っていたが、顔に限らず、体全体や、目の部分等、身体で判別できる箇所であればよい。
【００６６】
また、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、動的表示とは、複数の静止画像を順次表示することにより、あたかも動画のように表示することと、複数の静止画像から中間の画像を画像処理によって生成し、これらの画像を順次表示することにより動画のように表示することのいずれも含まれる。
【００６７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施形態に係わるカメラとその周辺の構成を示すブロック図である。
【図２】本発明の一実施形態において、撮影時における被写体の顔に関する情報の記録について説明する図である。
【図３】本発明の一実施形態において、データベース撮影について説明する図である。
【図４】本発明の一実施形態において、インデックス顔画像の動的表示と、これに対応して表示される撮影画像の関係を示す図であり、（ａ）（ｂ）（ｃ）はインデックス顔画像であり、（ｄ）（ｅ）（ｆ）は撮影画像である。
【図５】本発明の一実施形態において、顔画像をモーフィング処理し、インデックス顔画像を得る手法を説明する図である。
【図６】本発明の一実施形態に係わるカメラにおけるカメラ制御の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおける検索再生の動作を示すフローチャートである。
【図８】本発明の一実施形態に係わるカメラにおけるモーフィング動画作成の動作を示すフローチャートである。
【図９】本発明の一実施形態において、検索再生時のカメラ表示部の表示状態を示す図である。
【図１０】本発明の一実施形態の変形例において、検索再生時の表示部の表示状態を示す図である。
【符号の説明】
【００６９】
１・・・制御部、１ａ・・・類似判定部、１ｂ・・・タイミング制御部、２・・・撮像部、３・・・光学系制御部、４・・・記録部、４ａ・・・特徴（角度）データ記録部、４ｂ・・・顔データベース（ＤＢ）、４ｃ・・・サムネイル部、５・・・顔検出部、５ａ・・・角度判定部、５ｂ・・・大きさ判定部、６・・・切出部、７・・・動画処理部、８・・・表示部、８ａ・・・表示制御部、８ｂ・・・マルチ画像表示部、８ｃ・・・動画表示制御部、９・・・時計部、１１・・・操作判定部、１２・・・六軸センサ、１４・・・通信部、１５・・・インターネット網、２０・・・外部サーバー、８１・・・サムネイル画像、８２・・・撮影画像、８３・・・インデックス顔画像、８４・・・インデックス部、８５・・・検索表示部、９３・・・インデックス画像、８−１・・・表示画面、８−２・・・表示画面、８−３・・・表示画面
【技術分野】
【０００１】
本発明は、画像検索装置および画像検索方法に関し、詳しくは、多数の写真画像の中から画像を迅速かつ分かりやすく検索可能な画像検索装置および画像検索方法に関する。
【背景技術】
【０００２】
近年、写真画像がデジタル化され、記録メディアの大容量化が進み、また銀塩フィルムカメラを使用していた頃に比較すると、撮影頻度も高くなってきている。このため、カメラユーザーは、大量の画像を所有しており、画像検索に時間がかかっている。
【０００３】
そこで、画像検索を容易にする画像検索装置が種々提案されている。例えば、特許文献１には、予め登録人物の顔認識データを登録しておき、撮影画像の人物が登録された人物であるか否かを判定する電子カメラが開示されている。また、特許文献２には、人物を表すシルエットイメージのアイコンを撮影画像から作成したアイコン画像に置き換えるデジタルスチルカメラが開示されている。
【特許文献１】特開２００７−１５０６０４号公報
【特許文献２】特開２００７−１５９１５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このように類似画像を分類する技術は知られているが、分類された画像を液晶パネルなどの表示装置上で、少ない操作で検索する画像検索装置については知られていない。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、分類された画像を表示手段上で少ない操作で容易に検索することのできる画像検索装置および画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係わる画像検索装置は、複数の画像データを記憶する画像記録部と、表示部と、上記画像記録部に含まれる画像データから顔の部分を検出する顔検出部と、上記顔検出部によって検出された顔の部分が向いている角度を判定する角度判定部と、顔の向きがそれぞれ異なる角度を向いている複数の顔画像を記録したサムネイル部と、上記サムネイル部の記録した複数の顔画像の中から選択された顔画像と、上記顔検出部によって検出された顔との類似を判定する類似判定部と、上記類似判定部により類似すると判定された顔の部分を含む画像データを、上記表示部に表示させる表示制御部と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、分類された画像を表示手段上で少ない操作で容易に検索することのできる画像検索装置および画像検索方法を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は本発明の一実施形態に係わるカメラ１０の構成を示すブロック図である。カメラ１０はデジタルカメラであり、制御部１、類似判定部１ａ、タイミング制御部１ｂ、撮像部２、光学系制御部３、記録部４、特徴（角度）データ記録部４ａ、顔データベース（ＤＢ）４ｂ、サムネイル部４ｃ、顔検出部５、角度判定部５ａ、大きさ判定部５ｂ、切出部６、動画処理部７、表示部８、表示制御部８ａ、マルチ画像表示部８ｂ、動画表示制御部８ｃ、時計部９、操作判定部１１、六軸センサ１２、通信部１４を有し、インターネット網１５を介して外部サーバー２０と接続可能である。
【０００９】
制御部１は、カメラ１０内の各部と接続され、操作判定部１１によって判定された操作部材等の操作に応じ、また、タイミング制御部１ｂによるタイミング制御に従って、カメラ１０の全体制御を行う。また、制御部１は画像処理部（不図示）を有しており、画像の圧縮処理等を行う。さらに制御部１は類似判定部１ａを有しており、後述する顔検出部５によって検出された複数の顔画像の類似度を判定し、撮影画像に写っている人物が誰であるかを特定する。
【００１０】
撮像部２は、被写体像を結像するための光学系、および被写体像を光電変換する撮像素子等を含み、画像データを出力する。光学系制御部３は、撮像部２内の光学系のピント合わせ等の制御を行う。記録部４は、制御部１内の画像処理部によって圧縮処理等された画像データを撮影画像として記録する。撮影画像の記録にあたっては、後述する顔検出部５において、人物像の顔の向いている角度が検出されるので、この角度を撮影画像に関連付けて特徴（角度）データ記録部４ａに記録する。
【００１１】
また、記録部４は、顔データベース（ＤＳ）４ｂとサムネイル部４ｃを有する。顔データＤＢ４ｂは、記録部４に記録されている撮影画像における人物像の顔の部分を集めたデータベースであり、撮影画像毎に人物を特定し、画像と人物名の組み合わせからなる。サムネイル部４ｃは、切出部６によって切り出された顔画像が記録されており、顔インデックスとして一覧表示の際に使用する。
【００１２】
顔検出部５は、撮影画像中に人物像が含まれる場合に、顔パターンを判定して、顔の部分を検出する。この検出結果に基づいて、露出制御や自動焦点調節（ＡＦ）等を行い、また、人物を特定する際に、顔検出部５で検出された顔に基づいて行う。顔検出部５は、角度判定部５ａと大きさ判定部５ｂを有する。角度判定部５ａは、顔検出部５によって検出された人物の顔について、顔の向いている向き（角度）を判定する。大きさ判定部５ｂは、検出された顔の部分の大きさを判定する。
【００１３】
切出部６は、顔検出部５によって検出された人物像の顔の部分に対応する画像データを切り出す。ここで切り出された顔画像のデータは、サムネイル部４ｃに記録されるほか、類似判定部１ａにおいて行う類似判定等において使用される。動画処理部７は、種々の角度から撮影された人物の撮影画像を順次表示する際に、単に静止画として表示するだけではなく、複数画像を少しずつ変化させて再生することにより、動画のように表示するための画像処理を行う。
【００１４】
表示部８は、カメラ１０の背面等に配置された液晶モニタ等の表示装置で構成され、記録部４に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のライブビュー表示も行う。また、記録部４に記録されている撮影画像の検索の際の表示も行う。この表示部８の表示制御を行うのが、表示制御部８ａであり、マルチ画像表示部８ｂと動画表示制御部８ｃを有する。マルチ画像表示部８ｂは、画像検索時等に、表示部８の表示部を分割表示する。動画表示制御部８ｃは、画像検索の際に、インデックス顔画像等の画像を動画処理して表示する際の制御を行う。
【００１５】
時計部９は計時機能やカレンダ機能を有し、撮影時の日時情報の取得等に用いる。ここで得られた日時情報は、撮影画像を記録部４に記録する際に、一緒に記録される。操作判定部１１は、ユーザーによるカメラ１０の操作部材等の操作状態を判定する。この操作状態に応じて、前述したように、制御部１はカメラ１０の制御を行う。六軸センサ１２は、ｘ軸、ｙ軸、ｚ軸の３次元方向の軸方向および軸回りにおけるカメラ１０の移動を検出するセンサである。通信部１４は、インターネット網１５等を介してサーバー２０等の機器と送受信を行う。この通信部１４を介して、撮影画像を外部に送信し、また外部から画像等を受信することができる。
【００１６】
次に、このように構成された本実施形態に係わるカメラ１０の動作を説明する。本実施形態においては、概略、人物の向いている角度に関する情報を撮影画像と共に記録しておき、人物像の顔をサムネイル表示させた際に、顔の向いている角度と同じ向きを向いている画像を順次表示するようにしている。
【００１７】
撮像部２によって撮像された静止画像は、制御部１内の画像処理部において、圧縮処理等の画像処理が施され、記録部４に撮影画像として記録される。記録された撮影画像は、表示部８に再生表示される。この撮影制御は、操作判定部１１によってユーザーのカメラ操作を判定し、この判定結果に応じて、制御部１がコントロールすることにより行われる。
【００１８】
また、必要に応じて、撮影画像は通信部１４およびインターネット網１５を介して、外部サーバー２０などに送信することができる。なお、通信機能を利用することにより、本実施形態における画像処理制御の一部を外部のコンピューターが代替処理するようにしてもよい。
【００１９】
撮影画像に人物が含まれる場合、顔検出部５が顔パターンを判定し、顔の部分を検出する。そして、検出された顔と、記録部４内の顔データベース４ｂに記録されている顔とを、類似判定部１ａによって比較し、被写体が誰であるかを特定する。また、顔の眼と鼻の陰影を分析して、角度判定部５ａが、顔が左右等のどちらを向いているかを判定し（角度を検出）、撮影画像に「顔の向いている角度と被写体の人物が誰か」の情報を付加し、記録部４に記録する。
【００２０】
この撮影時における被写体の顔に関する情報の記録について、図２を用いて、説明する。人物１００を撮影すると、類似判定部１ａは、撮影画像１００ａと顔ＤＢ４ｂに記録されている各画像と比較し、個人名（ここでは「Ｂさん」と称す）を特定することができる。撮影画像の顔の向きは、角度判定部５ａによって判定され、この判定結果に基づいて、撮影画像１００ａと、被写体と顔角度の関係が分類信号として、特徴（角度）データ記録部４ａに記録される。
【００２１】
また、このとき顔の大きさも、大きさ判定部５ｂによって判定される。この判定された顔の大きさのデータを用いて顔の大きさを補正し、顔ＤＢ４ｂに記録されている顔画像と比較し易くしている。
【００２２】
このように、本実施形態においては、同一人物であっても、顔の向いている角度を顔ＤＢ４ｂに記録し、データベース化している。データベース作成にあたっては、図３に示すように、予め、被写体である人物１００を種々の角度から連写で撮影しておき、この連写撮影から得た画像データを顔ＤＢ４ｂに記録するようにしてもよい。このデータベース撮影の際には、カメラ１０の動きを六軸センサ１２によって取得し、この情報に基づいて顔の向きに関する角度情報として撮影画像と一緒に、顔ＤＢ４ｂに記録しておく。
【００２３】
また、図３に示すような連写で得た顔画像は、画像検索用のインデックス画像として用いることもできる。すなわち、切出部６によって撮影画像の顔の部分を画像データから切り出し、顔インデックス画像化して、記録部４内のサムネイル部４ｃに記録し、これを画像検索に利用する。また、図３に示すような連写で顔画像を得る以外にも、通常の撮影の際に得た同一人物の顔画像を、顔の向いている角度ごとに整理し、動画処理部７によって、順次、顔を動かしているように動画処理し、顔インデックス用のサムネイル画像としてもよい。
【００２４】
サムネイル部４ｃに記録されたサムネイル画像は、図１に示すように、表示部８のインデックス部８４にサムネイル画像８１として表示される。図１に示した例では、縦に個人別の顔インデックス画像８３が並べられたサムネイル画像８１が表示されており、ユーザーはサムネイル画像８１の中から見たい被写体（顔インデックス画像８３）を選ぶと、選択された人物で同じ方向を向いている画像８２が、記録部４内の特徴（角度）データ記録部４ａの中から検索され、検索表示部８５に表示される。
【００２５】
本実施形態においては、図２を用いて説明したように、撮影の都度、顔ＤＢ４ｂに記憶されている顔インデックス画像と比較し、撮影画像中の各人物画像は、どのインデックスの顔に対応し、しかも、どの角度に分類されるかを判定し、判定結果を特徴データ記録部４ａに記録している。したがって、これを参照することにより、選択されたインデックス顔画像８３と同一人物であって、かつ同じ向きを向いている画像８２を検索することができる。
【００２６】
また、表示部８にサムネイル画像８１として表示されるインデックス顔画像８３は、動画表示制御部８ｃによって、右向きから左向きまたは逆方向に動画的に動かし、インデックス顔画像８３の顔の動きに応じて、顔の向きと同じ向きを向いている撮影画像８２を表示する。したがって、インデックス顔画像８３の顔の向きが変化するに連れ、撮影画像８２も切り換わる。なお、このような表示制御は、表示制御部８ａ、および表示制御部８ａ内の画面分割制御するためのマルチ画像表示部８ｂと、動画表示制御部８ｃによって行われる。
【００２７】
サムネイル画像８１中のインデックス顔画像８３の動画的表示と、これに対応して表示される撮影画像８２について、図４を用いて説明する。図４（ａ）（ｂ）（ｃ）は、図３で説明した方法で撮影したＡさんの画像であり、図４（ａ）は顔の角度がマイナス、図４（ｂ）は顔の角度が０、図４（ｃ）は顔の角度がプラスの場合である。
【００２８】
このインデックス顔画像８３の顔の向きが変化するごとに、同じ人物で、同じような向きを向いた撮影画像８２が検索されて、図４の右側の列に示すような撮影画像８２が表示される。つまり、インデックス顔画像８３が、図４（ａ）→（ｂ）→（ｃ）→（ｂ）→（ａ）と変化した場合、それに応じて検索の条件が変わり、特徴（角度）データ記録部４ａから、撮影画像８２が選択され、図４（ｄ）→（ｅ）→（ｆ）→（ｅ）→（ｄ）の順に、表示される撮影画像８２が変化する。
【００２９】
このようにして作成されるインデックス顔画像８３の良い点は、一人の人物を多くの角度から撮影し、その人の特徴を把握できる点と、この画像そのものを図４（ａ）→（ｂ）→（ｃ）→（ｂ）→（ａ）と変化させてインデックス表示することにより、ユーザーの注意を引きやすくする点にある。また、インデックス顔画像８３の動画的表示に合わせて、対応する撮影画像８２を表示するようにしているので、一度に多数の画像を表示せずに、表示画像を絞り込んでいることから、検索画面を整理できる。
【００３０】
この動きのあるインデックス顔画像の表示速度は、ユーザーが選択できるようにしたり、操作ごとに変化させるようにしてもよい。また、図３に示したようなインデックス画像用として撮影を行わなくとも、多くの画像の中から同一人物の顔画像を集め、顔の向きの角度ごとに分類し、これらの顔画像をモーフィング処理し、図５に示すように、インデックス顔画像８３を得るようにしてもよい。モーフィング処理されたインデックス顔画像８３を用い、図４で説明したのと同様、撮影画像８２の画像を、図４のように切り換える。
【００３１】
なお、ここでは、特定の個人の顔角度ごと表示を行ったが、図５に示すようなモーフィング処理を前提とするならば、不特定多数の人物の画像を顔の向きの角度ごとに分類し、インデックス顔画像を変化させ、その角度に対応する画像を順次表示するようにしてもよい。また、顔の向きの角度を変えることによって動画風にインデックス表示処理を行ったが、顔の大きさや身体全体の向きの角度、または表情の変化などを動画風に処理してインデックス化してもよい。この場合でも、動画風に変化するインデックス画像の各コマに対応して類似画像を検索し、表示することは同様である。
【００３２】
このように本実施形態においては、特定の人物画像を高速で検索することができる。また、顔の向きによって、検索される画像が変わるので、家族写真のように同じ人物が多数に撮影された場合でも、その人物について顔の向き等の条件をつけることによって、目的とする画像を容易に検索することができる。気に入った画像が見つかれば、その画像を選択することにより、表示面の画面いっぱいに拡大表示し、楽しむことができる。
【００３３】
次に、図６に示すフローチャートを用いて、前述したようなサムネイル化されたインデックス顔画像８３を用いて画像検索のできるカメラ１０の動作を説明する。まず、撮影者が通常撮影モードに設定し、レリーズ釦の全押し操作を行ったか否か、すなわち通常撮影を行うか否かの判定を行う（Ｓ１）。
【００３４】
判定の結果、通常撮影を実行する場合には、撮像部２によって撮影を行い、静止画の画像データを取得する（Ｓ２）。この後、ステップＳ３からステップＳ６において、図２に説明したように、人物を特定し、特徴（角度）データの記録を行う。まず、取得した画像データに基づいて、顔検出部５によって顔検出を行い、類似判定部１ａにおいて、類似するインデックス顔画像があるか否か顔判定を行う（Ｓ３）。この判定の際に、角度判定部５ａによって、顔の向いている角度も検出する。続いて、顔判定の結果、類似する顔が有るか否か判定する（Ｓ４）。
【００３５】
ステップＳ４における判定の結果、類似する顔がない場合には、撮影した画像を記録部４に記録する（Ｓ６）。一方、類似する顔が有る場合には、類似顔データ、すなわち顔ＤＢ４ｂに記憶されている同一人物のインデックス顔画像とリンクするためのデータと、顔の向いている角度（特徴データ）と、画像を記録部４に記録する（Ｓ５）。記録部４への記録が終わると、リターンし、ステップＳ１に戻る。
【００３６】
ステップＳ１における判定の結果、通常の撮影ではなかった場合には、データベース撮影か否かの判定を行う（Ｓ１１）。このデータベース撮影は、図３を用いて説明したような、被写体である人物を種々の角度、例えば、右から左に、連続的に撮影し、インデックス顔画像８３を取得するための撮影である。このステップでは、操作判定部１１の出力に基づいて、この撮影モードが設定されたか否かを判定する。
【００３７】
ステップＳ１１における判定の結果、データベース撮影が設定された場合には、撮像部２によって画像データの取得を行い（Ｓ１２）、顔検出部５や類似判定部１ａにおいて顔判定を行う（Ｓ１３）。続いて、六軸センサ１２の出力に基づいて、カメラ１０の撮影方向の角度に変化があったか否かを判定する（Ｓ１４）。判定の結果、角度が変わると、この角度変化ごとに、ステップＳ１２に戻り、撮影を行う。
【００３８】
ステップＳ１４における判定の結果、角度変化がなくなると、所定角度分、カメラ１０が移動したかを判定する（Ｓ１５）。判定の結果、所定角度分の移動があれば、顔部分のみを動かすような感じで、表示できるように画像データから顔部分を切り出し、角度ごとに整理して記録部４に記録する。これにより、図４に示したようなインデックス顔画像が
記録される。一方、所定角度分の移動がない場合には、警告表示を行う（Ｓ１７）。ステップＳ１６、Ｓ１７が終わると、リターンし、ステップＳ１に戻る。なお、所定角度としては、インデックス顔画像として表示できる程度であればよく、例えば、１５度程度の角度であればよい。
【００３９】
ステップＳ１１における判定の結果、データベース撮影でなかった場合には、検索再生か否かの判定を行う（Ｓ２１）。本実施形態においては、選択再生と、検索再生の２つの再生モードがある。判定の結果、検索再生であれば、ステップＳ２２において検索再生を行い、そうではなかった場合には、ステップＳ２３において、選択再生を行う。
【００４０】
選択再生は、通常の再生モードであり、記録部４に記録されている画像データを順次、再生するか、またはサムネイル表示し、選択された画像を拡大表示する。また、検索再生は、図１に示す表示部８上で、サムネイル表示されたインデックス顔画像の顔の向きを変化させながら（図４（ａ）（ｂ）（ｃ））、同じ向きを向いている撮影画像を表示させる（図４（ｄ）（ｅ）（ｆ））モードである。検索再生または選択再生が終わると、リターンし、ステップＳ１に戻る。
【００４１】
次に、ステップＳ２２における検索再生について、図７に示すフローチャートを用いて説明する。このフローに入ると、まず、サンプル画像、すなわちサムネイル画像８１を表示部８のインデックス部８４に表示する（Ｓ３１）。続いて、ユーザーが見たいインデックス顔画像８３を選択したか否かを判定する（Ｓ３２）。判定の結果、選択されていた場合には、この選択されたインデックス顔画像８３が図４（ａ）→（ｂ）→（ｃ）に示したように、サイクリックに変化する。
【００４２】
このとき、選択されていないインデックス顔画像８３は静止したままである。選択したインデックス顔画像８３が、静止画状態から動画状態に変換するによって、ユーザーは選択されたことを把握でき、また動画像の鑑賞も兼ねて楽しめる。
【００４３】
続いて、動画表示されているインデックス顔画像８３と類似する顔で、かつ同じ方向を向いている顔が写っている撮影画像８２が有るか否かを検索し判定する（Ｓ３４）。判定の結果、撮影画像８２が検索された場合には、その撮影画像８２を表示する（Ｓ３５）。これによって、インデックス顔画像８３の顔の向きが順次変化し、この向きに連動して同一人物で同じ向きを向いている顔が写っている撮影画像８２が順次、表示される。
【００４４】
次に、ユーザーによって撮影画像８２が選択されたか否かの判定を行う（Ｓ３６）。ステップＳ３５における撮影画像８２の表示は縮小画像によって行われており、ユーザーが撮影画像８２を鑑賞するために、拡大表示を望む場合には、その撮影画像８２を選択する。判定の結果、選択されていない場合には、ステップＳ３８にジャンプし、一方、選択された場合には、その画像を表示部８の表示画面に拡大表示する（Ｓ３７）。続いて、検索表示を終了するか否かの判定を行い、終了する場合には、元のルーチンに戻り、一方、終了しない場合には、ステップＳ３２に戻る。
【００４５】
ステップＳ３２における判定の結果、サムネイル画像８１の中からインデックス顔画像８３が選択されていなかった場合には、サンプル一覧、すなわち、サムネイル画像８１の切り換えを行う（Ｓ４１）。表示部８には、サムネイル画像８１として記録されているすべてを同時には表示することができない場合には、その一部を表示している。このステップでは、次の優先順位のサムネイル画像８１の表示を行う。
【００４６】
ステップＳ４１における判定の結果、切り換えがない場合には、ステップＳ３２に戻り、一方、切り換えがなされていた場合には、次のサンプル一覧、すなわちサムネイル画像８１を表示し（Ｓ４１）、ステップＳ３８にジャンプする。検索再生を続行する場合には、ステップＳ３８からステップＳ３２に戻り、前述のステップＳ３３以下において、検索と表示を行う。
【００４７】
前述した図６のフローチャートにおいては、ステップＳ１２からステップＳ１６において、データベース撮影を行っていたが、これに代わるモーフィング動画によるインデックス顔画像の作成について、図８を用いて説明する。この作成方法は、図３に示した撮影方法や、図６のステップＳ１２以下で説明した特別な撮影を不要とすることができる。
【００４８】
このモーフィング動画作成のフローチャートに入り、ステップＳ２と同様に撮影が行われると、この撮影画像に写っている人物が同一人物か否かの判定を行う（Ｓ５１）。すなわち、記録部４に既に記録されているインデックス顔画像に類似するか否かについて判定する。続いて、この判定の結果、既に記録されているインデックス顔画像と同一であるか、つまりサンプルと同じかを判定する（Ｓ５２）。判定の結果、同一の顔画像があれば、ステップＳ５３以下でモーフィング動画画像を作成する。
【００４９】
まず、顔画像の角度判定を行う（Ｓ５３）。この角度判定では、角度判定部５ａによって顔画像の目の位置や、鼻の位置のバランス等から、顔の向いている方向の角度を判定する。続いて、切出部６によって、顔部画像の抜き出しを行い（Ｓ５４）、人物と角度の関係付けを記録する（Ｓ５５）。次に、記録された複数の顔の画像を、角度ごとに並び替え、前の画像と次の画像の中間画像を、図５に示すように変形作成することによって、モーフィング動画を作成する（Ｓ５６）。この時、顔の大きさを揃えるために、ステップＳ４４では、大きさ判定部５ｂによって、ほぼ同じ大きさの顔になるようにしている。
【００５０】
例えば、図４（ｄ）（ｅ）（ｆ）に示すような画像からモーフィング動画を作成する場合には、図４（ｄ）では顔が小さく、図４（ｅ）は顔が大きい。このように顔の大きさが異なっている場合には、画像の拡大や縮小処理を利用し、同じ大きさの顔となるように画像を切り出し、同じ大きさの顔画像となるようにそろえている。
【００５１】
ステップＳ５２における判定の結果、サンプルに同じ人物がいない場合は、すなわち、記録部４に既に記録されているインデックス顔画像８３に類似していない場合には、同一人物の画像がないことから、モーフィング動画によるインデックス顔画像８３を作成することができない。この場合には、同一人物について２駒目の撮影がなされた際に、モーフィング動画を作成できるようにステップＳ６１以下のステップを実行する。
【００５２】
まず、ステップＳ５３と同様に角度判定を行い（Ｓ６１）、顔部の画像を抜き出し、表示した際に所定の大きさになるように、サイズを調整する（Ｓ６２）。続いて、ステップＳ５５と同様に、人物と角度の関係付けを記録し（Ｓ６４）、新サンプル化、すなわちインデックス顔画像として記録する（Ｓ６４）。このように、モーフィング動画を行うには、同じ人物の画像を撮影するだけでよく、図３やステップＳ１２以下のような特別な撮影動作を行う必要がない。
【００５３】
次に、ユーザーが画像検索操作を行った場合、表示部８の表示画面の移り変わりを、図９を用いて説明する。まず、検索を始めると、表示部８に表示画面８−１が表示され、インデックス部（第１検索部）８４にサムネイル画像８１として人物ごとにインデックス顔画像８３が表示される。
【００５４】
ユーザーがカメラ１０の操作部材を操作して、Ａさんのインデックス顔画像８３を選択すると、検索表示部８５にＡさんが写っている撮影画像８２が表示される。そして、表示画面８−２に変化すると共に、インデックス部（第２検索部）８４に表示されるＡさんのインデックス顔画像８３の顔の向きが変化する。Ａさんの顔の向きの変化に対応して検索された撮影画像８２が、検索表示部８５に表示される。
【００５５】
次に、ユーザーがＢさんのインデックス顔画像８３を選択すると、表示画面８−３に切り換わり、検索表示部８５に表示されていたＡさんの撮影画像８２は消え、Ｂさんのインデックス顔画像８３の顔が動画のように変化する。また、検索表示部８５には、Ｂさんのインデックス顔画像８３の顔の向きと同じ角度の撮影画像８２が検索され表示される。
【００５６】
このように、本実施形態におけるカメラ１０は、画像検索するにあたって、個々の個人の画像で検索するのみならず、その個人の動き（具体的には顔の向き）も考慮して、画像の絞込みを行っている。また、インデックス顔画像８３が動画表示されるので、選択するにあたって分かりやすいし、動画そのものを楽しむことができる。
【００５７】
以上の説明では、人物の顔の向きばかりで検索する例を示したが、本実施形態の変形例として、図１０に示すように、魚や花などのテーマで、検索できるようにしてもよい。また、カメラ１０内ですべてを行うのではなく、通信部１４を介して外部のサーバー２０と連携し、ネットに繋がったパーソナルコンピュータ（ＰＣ）２１において、画像検索を行うようにしてもよい。
【００５８】
顔検出の技術であれば、カメラ１０内に組み込んだコンピューターで十分判定処理できる。しかし、被写体によっては、外部のサーバー２０やＰＣ２１で処理する構成を採用してもよい。
【００５９】
つまり、被写体によって、単純なパターンによる部分抜き出しのみならず、より高度な主被写体抜き出しの技術が必要であり、むしろ被写体の動きによって、背景と主被写体を分離する技術などを活用した方がよい。例えば、動いているものを主被写体、動かないものを背景として処理する背景分離方法である。この処理よって抜き出されたもののうち、画面中央にあるものを、たとえば代表例として、テーマ画像（インデックス画像）化すればよい。
【００６０】
図１０に示す変形例では、表示画面８−１のインデックス部８４に、「ます」や「野ばら」等のテーマが、選択可能なようにインデックス画像９３として表示される。これらのテーマ対象物に動きがある場合には、背景分離が可能である。インデックス画像９３のいずれかを選択すると、主被写体画像（図１０の例では、ます）が、表示画面８−１→表示画面８−２に示すように動き回る。そして、この主被写体画像に類似する撮影画像８２が、順次、検索表示部８５に表示される。
【００６１】
次に、別のテーマのインデックス画像９３が選択される（図１０の例では、野ばら）と、そのテーマ対象物が動画で再生表示される（表示画面８−３では、花が風に揺れる様子など）。そして、そのテーマ対象物と類似する撮影画像８２（向き等も同じ）が、検索表示部８５に表示される。
【００６２】
このように、同じテーマでも、その動きや構図によって見たい画像が変わる場合があり、特に、多くの画像を取捨選択して、一つのアルバムを作成するような場合、どれとどれを組み合わせるかによって、全体の雰囲気が変わる。そこで、多数の画像の中から、一番、見栄えの良い画像を選択したいとの要望があり、本実施形態では、インデックス用の画像を動画形式で動かし、その動画で示された動きの瞬間を捉えた静止画を選択するようにしている。このため、動画を楽しみながら、かつ、効果的な瞬間で、態様の類似する静止画を選択することが可能となる。このように、様々な画像を検索するのに、動画表示をインデックスとして採用することにより、一つのテーマを、様々な切り口で同一画面上に扱うことができ、また画像検索により、画像の選択や絞込みが容易になる。
【００６３】
以上説明したように、本実施形態においては、インデックス用の画像を動画的に順次表示し、このインデックス用の画像の動画的変化に対応する撮影画像を検索し、表示するようにしている。このため顔の向き（角度）等、分類された画像を、表示部８上に少なく操作で容易に検索することができる。
【００６４】
また、本実施形態においては、撮影時に、画像データから検出された顔の部分に基づいて、顔の角度を画像データと一緒に記録部４に記録している。このため、画像検索する際に、この顔の角度を用いて検索し表示することができ、大変便利である。また、記録部４に記録されている画像の中から、撮影した画像の顔の部分と類似した画像を検索し、この情報を含めて画像データの記録を行っている。このため、画像検索の迅速化を図ることができる。
【００６５】
なお、本実施形態においては、サムネイル画像８１を表示するインデックス部８４と、撮影画像８２を表示する検索表示部８５を同一画面で表示していたが、これに限らず、例えば、それぞれ異なる画面であっても勿論かまわない。また、撮影画像８２の顔の部分を検出して、角度判定、大きさ判定や類似判定を行っていたが、顔に限らず、体全体や、目の部分等、身体で判別できる箇所であればよい。
【００６６】
また、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、動的表示とは、複数の静止画像を順次表示することにより、あたかも動画のように表示することと、複数の静止画像から中間の画像を画像処理によって生成し、これらの画像を順次表示することにより動画のように表示することのいずれも含まれる。
【００６７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施形態に係わるカメラとその周辺の構成を示すブロック図である。
【図２】本発明の一実施形態において、撮影時における被写体の顔に関する情報の記録について説明する図である。
【図３】本発明の一実施形態において、データベース撮影について説明する図である。
【図４】本発明の一実施形態において、インデックス顔画像の動的表示と、これに対応して表示される撮影画像の関係を示す図であり、（ａ）（ｂ）（ｃ）はインデックス顔画像であり、（ｄ）（ｅ）（ｆ）は撮影画像である。
【図５】本発明の一実施形態において、顔画像をモーフィング処理し、インデックス顔画像を得る手法を説明する図である。
【図６】本発明の一実施形態に係わるカメラにおけるカメラ制御の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおける検索再生の動作を示すフローチャートである。
【図８】本発明の一実施形態に係わるカメラにおけるモーフィング動画作成の動作を示すフローチャートである。
【図９】本発明の一実施形態において、検索再生時のカメラ表示部の表示状態を示す図である。
【図１０】本発明の一実施形態の変形例において、検索再生時の表示部の表示状態を示す図である。
【符号の説明】
【００６９】
１・・・制御部、１ａ・・・類似判定部、１ｂ・・・タイミング制御部、２・・・撮像部、３・・・光学系制御部、４・・・記録部、４ａ・・・特徴（角度）データ記録部、４ｂ・・・顔データベース（ＤＢ）、４ｃ・・・サムネイル部、５・・・顔検出部、５ａ・・・角度判定部、５ｂ・・・大きさ判定部、６・・・切出部、７・・・動画処理部、８・・・表示部、８ａ・・・表示制御部、８ｂ・・・マルチ画像表示部、８ｃ・・・動画表示制御部、９・・・時計部、１１・・・操作判定部、１２・・・六軸センサ、１４・・・通信部、１５・・・インターネット網、２０・・・外部サーバー、８１・・・サムネイル画像、８２・・・撮影画像、８３・・・インデックス顔画像、８４・・・インデックス部、８５・・・検索表示部、９３・・・インデックス画像、８−１・・・表示画面、８−２・・・表示画面、８−３・・・表示画面
【特許請求の範囲】
【請求項１】
複数の画像データを記憶する画像記録部と、
表示部と、
上記画像記録部に含まれる画像データから顔の部分を検出する顔検出部と、
上記顔検出部によって検出された顔の部分が向いている角度を判定する角度判定部と、
顔の向きがそれぞれ異なる角度を向いている複数の顔画像を記録したサムネイル部と、
上記サムネイル部の記録した複数の顔画像の中から選択された顔画像と、上記顔検出部によって検出された顔との類似を判定する類似判定部と、
上記類似判定部により類似すると判定された顔の部分を含む画像データを、上記表示部に表示させる表示制御部と、
を有することを特徴とする画像検索装置。
【請求項２】
上記表示部は、上記サムネイル部の記録した顔の向きがそれぞれ異なる角度を向いている複数の画像を順次表示することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
上記表示制御部は、複数の画像を順次表示する際に、モーフィング処理を行うモーフィング処理部をさらに備えることを特徴とする請求項２に記載の画像検索装置。
【請求項４】
画像記録部に含まれる複数の画像の各画像データから顔の部分を検出する顔検出ステップと、
上記検出された顔の部分が向いている角度を判定する角度判定ステップと、
大きさを揃えた顔の向きがそれぞれ異なる角度を向いている複数の顔画像の中から選択された顔画像と、上記顔検出部によって検出された顔とが類似であることを判定する類似判定ステップと、
上記類似すると判定された顔の部分を含む画像データを、上記表示部に表示させる表示制御ステップと、
を有することを特徴とする画像検索方法。
【請求項１】
複数の画像データを記憶する画像記録部と、
表示部と、
上記画像記録部に含まれる画像データから顔の部分を検出する顔検出部と、
上記顔検出部によって検出された顔の部分が向いている角度を判定する角度判定部と、
顔の向きがそれぞれ異なる角度を向いている複数の顔画像を記録したサムネイル部と、
上記サムネイル部の記録した複数の顔画像の中から選択された顔画像と、上記顔検出部によって検出された顔との類似を判定する類似判定部と、
上記類似判定部により類似すると判定された顔の部分を含む画像データを、上記表示部に表示させる表示制御部と、
を有することを特徴とする画像検索装置。
【請求項２】
上記表示部は、上記サムネイル部の記録した顔の向きがそれぞれ異なる角度を向いている複数の画像を順次表示することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
上記表示制御部は、複数の画像を順次表示する際に、モーフィング処理を行うモーフィング処理部をさらに備えることを特徴とする請求項２に記載の画像検索装置。
【請求項４】
画像記録部に含まれる複数の画像の各画像データから顔の部分を検出する顔検出ステップと、
上記検出された顔の部分が向いている角度を判定する角度判定ステップと、
大きさを揃えた顔の向きがそれぞれ異なる角度を向いている複数の顔画像の中から選択された顔画像と、上記顔検出部によって検出された顔とが類似であることを判定する類似判定ステップと、
上記類似すると判定された顔の部分を含む画像データを、上記表示部に表示させる表示制御ステップと、
を有することを特徴とする画像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２３４５６６（Ｐ２０１２−２３４５６６Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１２−１７４８９２（Ｐ２０１２−１７４８９２）
【出願日】平成２４年８月７日（２０１２．８．７）
【分割の表示】特願２００７−２８７１０７（Ｐ２００７−２８７１０７）の分割
【原出願日】平成１９年１１月５日（２００７．１１．５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２４年８月７日（２０１２．８．７）
【分割の表示】特願２００７−２８７１０７（Ｐ２００７−２８７１０７）の分割
【原出願日】平成１９年１１月５日（２００７．１１．５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]