情報処理装置、情報処理方法、およびプログラム
【課題】保存されている数多くの画像の中から、検索条件として与えられたキー画像の被写体に関連する画像を選抜する。
【解決手段】ステップＳ２２で、キー画像が入力され、ステップＳ２３で、キー画像が解析される。ステップＳ２４で、キー画像で検出された顔に対応する人物ＩＤが特定される。ステップＳ２５では、選抜基準が関連人物画像または類似表情画像のどちらであるか確認され、関連人物画像の場合、ステップＳ２６およびＳ２７で、キー画像の人物と同じグループの人物の画像群から画像リストが生成される。類似表情画像の場合、ステップＳ２８で、キー画像の人物が類似した表情で写っている画像群から画像リストが生成される。本発明は、例えば、デジタルスチルカメラに適用できる。
【解決手段】ステップＳ２２で、キー画像が入力され、ステップＳ２３で、キー画像が解析される。ステップＳ２４で、キー画像で検出された顔に対応する人物ＩＤが特定される。ステップＳ２５では、選抜基準が関連人物画像または類似表情画像のどちらであるか確認され、関連人物画像の場合、ステップＳ２６およびＳ２７で、キー画像の人物と同じグループの人物の画像群から画像リストが生成される。類似表情画像の場合、ステップＳ２８で、キー画像の人物が類似した表情で写っている画像群から画像リストが生成される。本発明は、例えば、デジタルスチルカメラに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、例えば、保存されている数多くの画像の中から、検索条件となるキー画像の被写体である人物に関連すると推定される人物が写っている画像を選択してスライドショーを実行する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラには、いわゆるスライドショー機能が設けられているものが多い。このスライドショー機能によれば、撮像して保存した画像を、例えば撮影順に順次再生したり、ランダムな順序で再生したりしてディスプレイに表示することができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１００８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、保存されている数多くの画像を従来のスライドショー機能によって表示させた場合、画像の枚数が多過ぎて全てを見終わるまでに多くの時間を要してしまう。これを防ぐためには、撮像された数多くの画像のうち、所定の条件に合致するものだけを選抜してスライドショーを実行するようにすればよい。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、保存されている数多くの画像の中から、検索条件として与えられたキー画像の被写体に関連する画像を選抜できるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面である情報処理装置は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、画像に写っている人物の顔の特徴量を抽出する画像解析手段と、前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、同一の前記画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定する推定手段と、既に解析されて、写っている人物の顔に人物ＩＤが対応付けられ、前記人物が属するグループが推定されている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する選抜手段とを含む。
【０００７】
本発明の第１の側面である情報処理装置は、前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含むことができ、前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を前記評価値の順に選抜するようにすることができる。
【０００８】
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出するようにすることができる。
【０００９】
本発明の第１の側面である情報処理装置は、前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段をさらに含むことができる。
【００１０】
本発明の第１の側面である情報処理方法は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、前記情報処理装置により、前記登録画像に写っている人物の顔の特徴量を抽出し、複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜するステップを含む。
【００１１】
本発明の第１の側面であるプログラムは、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、前記登録画像に写っている人物の顔の特徴量を抽出し、複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜するステップを含む処理を情報処理装置のコンピュータに実行させる。
【００１２】
本発明の第１の側面においては、登録画像に写っている人物の顔の特徴量が抽出され、複数の登録画像それぞれから抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類され、登録画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤが対応付けられ、同一の前記登録画像に一緒に写っている頻度に基づき、登録画像に写っている人物が属するグループが推定される。さらに、検索条件としてのキー画像に写っている人物の顔の特徴量が抽出され、キー画像から抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、キー画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤが対応付けられ、キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像が選抜される。
【００１３】
本発明の第２の側面である情報処理装置は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、画像に写っている人物の顔の表情を含む特徴量を抽出する画像解析手段と、前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、既に解析されて、写っている人物の顔に人物ＩＤが対応付けられている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する選抜手段とを含む。
【００１４】
本発明の第２の側面である情報処理装置は、前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含むことができ、前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を前記評価値の順に選抜するようにすることができる。
【００１５】
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出するようにすることができる。
【００１６】
本発明の第２の側面である情報処理装置は、前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段をさらに含むことができる。
【００１７】
本発明の第２の側面である情報処理方法は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、前記情報処理装置による、複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜するステップを含む。
【００１８】
本発明の第２の側面であるプログラムは、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜するステップを含む処理を情報処理装置のコンピュータに実行させる。
【００１９】
本発明の第２の側面においては、複数の登録画像に写っている人物の顔の表情を含む特徴量が抽出され、登録画像から抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類され、登録画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤが対応付けられる。さらに、検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量が抽出され、キー画像から抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類され、キー画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤを対応付けられ、キー画像に写っている人物がその表情と類似する表情で写っている画像が選抜される。
【発明の効果】
【００２０】
本発明の第１の側面によれば、保存されている数多くの画像の中から、検索条件として与えられるキー画像の被写体である人物に関連すると推定される人物が写っている画像を選抜することができる。
【００２１】
本発明の第２の側面によれば、保存されている数多くの画像の中から、検索条件となるキー画像の被写体である人物が類似した表情で写っている画像を選抜することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用したデジタルスチルカメラの構成例を示すブロック図である。
【図２】制御部により実現される機能ブロックの構成例を示す図である。
【図３】顔のサイズについての抽出条件を示す図である。
【図４】顔の位置についての抽出条件を示す図である。
【図５】データベースの構成例を示す図である。
【図６】登録処理を説明するフローチャートである。
【図７】総合評価値算出処理を説明するフローチャートである。
【図８】再生処理を説明するフローチャートである。
【図９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
１．実施の形態の概要
２．第１の実施の形態
３．第２の実施の形態
４．変形例
【００２４】
＜１．実施の形態の概要＞
本願発明をデジタルスチルカメラに適用した第１の実施の形態は、撮像して保存した画像を対象としてデータベースを作成するための登録処理を実行する。その後、改めて検索条件とするキー画像を撮像して解析し、キー画像の解析結果とデータベースを照らし合わせることにより、撮像して保存した画像の中から、キー画像の被写体となっている人物に関連する画像を選抜したり、キー画像の被写体となっている人物が同じ表情で写っている画像を選抜したりする。そして、選抜した画像を用いてスライドショーなどを実行することができる。
【００２５】
本願発明をコンピュータに適用した第２の実施の形態は、入力される多数の画像を対象としてデータベースを作成するための登録処理を実行する。その後、検索条件として与えられるキー画像を解析し、キー画像の解析結果とデータベースを照らし合わせることにより、入力された多数の画像の中から、キー画像の被写体となっている人物に関連する画像を選抜したり、キー画像の被写体となっている人物が同じ表情で写っている画像を選抜したりする。そして、選抜した画像を用いてスライドショーなどを実行することができる。
【００２６】
＜２．第１の実施の形態＞
［デジタルスチルカメラの構成例］
図１は、第１の実施の形態であるデジタルスチルカメラの構成例を示している。
このデジタルスチルカメラ１０は、制御部１１、メモリ１２、操作入力部１３、位置情報取得部１４、バス１５、撮像部１６、画像処理部１７、符号化復号部１８、記録部１９、および表示部２０から構成される。
【００２７】
制御部１１は、操作入力部１３から入力されるユーザの操作に応じた操作信号に従い、デジタルスチルカメラ１０に各部を制御する。また、制御部１１は、メモリ１２に記録されている制御用プログラムを実行することにより、図２に示す機能ブロックを実現し、後述する登録処理などを実行する。
【００２８】
メモリ１２には、制御用プログラムが予め記録されている。また、メモリ１２には、後述する被写体データベース３８（図５）や登録処理などの結果も保持される。
【００２９】
操作入力部１３は、デジタルスチルカメラ１０の筺体に設けられるボタンや表示部２０に積層されるタッチパネルなどのユーザインタフェースからなり、ユーザからの操作に応じた操作信号を発生して制御部１１に出力する。
【００３０】
位置情報取得部１４は、撮像タイミングにおいて、GPS(Global Positioning System)信号を受信して解析することにより、撮像日時（年月日、時刻）および位置（緯度、経度、高度）を示す情報を取得する。ここで得られた撮像日時および位置を示す情報は、撮像された画像に対応付けて記録されるexif情報に採用される。なお、撮像日時については、制御部１１に内蔵される時計の時刻情報を利用するようにしてもよい。
【００３１】
撮像部１６は、レンズ群とCCD、CMOSなどの光電変換素子を内蔵しており、レンズ群を介して入射される被写体の光学像を光電変換素子により画像信号に変換して画像処理部１７に出力する。
【００３２】
画像処理部１７は、撮像部１６から入力される画像信号に所定の画像処理を施して符号化復号部１８に出力する。また、画像処理部１７は、撮像時においては撮像部１６から、再生時においては符号化復号部１８から入力される画像信号の画素を間引くなどして表示用の画像信号を生成して表示部２０に出力する。
【００３３】
符号化復号部１８は、撮像時において、画像処理部１７から入力される画像信号をJPEG方式などに従って符号化し、その結果得られる画像符号化信号を記録部１９に出力する。また、符号化復号部１８は、再生時において、記録部１９から入力される画像符号化信号を復号し、その結果得られる画像信号を画像処理部１７に出力する。
【００３４】
記録部１９は、撮像時において、符号化復号部１８から入力される画像符号化信号を記録メディア（不図示）に記録する。また、記録部１９は、画像符号化信号に対応付けたexif情報も記録メディアに記録する。さらに、記録部１９は、再生時において、記録メディアに記録されている画像符号化信号を読み出して符号化復号部１８に出力する。
【００３５】
表示部２０は、液晶ディスプレイなどから成り、画像処理部１７から入力される画像信号の画像を表示する。
【００３６】
次に、図２は、制御部１１が制御用プログラムを実行することにより実現される機能ブロックの構成例を示している。これらの機能ブロックがそれぞれ動作することにより、後述する登録処理や再生処理が行われる。ただし、図２に示す各機能ブロックをICチップなどのハードウェアにより構成するようにしてもよい。
【００３７】
画像解析部３１は、顔検出部４１、構図検出部４２、および特徴量抽出部４３を内蔵し、登録処理時には、撮像されて記録メディアに記録されている画像を、再生処理時には、検索条件として与えられるキー画像を処理対象として解析し、解析結果を後段の評価値算出部３２、クラスタリング処理部３３、およびグループ推定部３４に出力する。
【００３８】
具体的には、顔検出部４１は、処理対象の画像内に存在する人物の顔を検出する。構図検出部４２は、検出された顔の数に基づいて、処理対象の画像の被写体の人数を推定し、例えば１人、２人、３乃至５人、１０人未満、または１０人以上の人数タイプに分類する。また、構図検出部４２は、処理対象の画像を、縦長、または横長のどちらかに分類し、さらに、顔画像、上半身画像、または全身画像の構図タイプに分類する。
【００３９】
特徴量抽出部４３は、処理対象の画像から検出された顔のうち、顔のサイズについての抽出条件と、顔の位置についての抽出条件を満たす顔についてその特徴量を抽出する。また、特徴量抽出部４３は、抽出した特徴量に基づいて、検出された顔の表情（大笑い、微笑、正視、カメラ目線、泣き顔、よそ見、目を閉じている、口を開けているなど）、人物の年齢、人物の性別を推定する。なお、顔のサイズについての抽出条件、および顔の位置についての抽出条件は、構図検出部４２における分類結果の組み合わせに応じて予め設定されている。
【００４０】
図３は、特徴量抽出部４３における顔のサイズについての抽出条件を示している。同図において、画像内の円形は検出された顔を意味するものとする。
【００４１】
同図Ａは、人数タイプが１人で横長全身画像の場合を示しており、画像の縦幅1.0に対して顔の縦幅は0.1以上0.2未満とし、それ以外の顔は除外（特徴量を抽出しない）するようにする。同図Ｂは、人数タイプが１人で横長上半身画像の場合を示しており、画像の縦幅1.0に対して顔の縦幅は0.2以上0.4未満とし、それ以外は除外するようにする。同図Ｃは、人数タイプが１人で横長顔画像の場合を示しており、画像の縦幅1.0に対して顔の縦幅は0.4以上とし、それ以外は除外するようにする。
【００４２】
この他、例えば、人数タイプが３乃至５人で横長上半身画像の場合、画像の縦幅1.0に対して各顔の縦幅は0.2以上0.4未満とされている。人数タイプが３乃至５人で横長全身画像の場合、画像の縦幅1.0に対して各顔の縦幅は0.１以上0.2未満とされている。人数タイプが１０人以上で横長の場合、画像の縦幅1.0に対して各顔の縦幅は0.05以上0.3未満とされている。
【００４３】
図４は、特徴量抽出部４３における顔の位置についての抽出条件を示している。同図において、画像内の円形は検出された顔を意味するものとする。
【００４４】
同図は、人数タイプが３乃至５人で横長上半身画像の場合の抽出条件を示しており、画像の縦幅1.0に対して上側0.1、下側0.15、画像の横幅1.0に対して左右0.1を除外範囲とし、この除外範囲内で検出された顔については除外するようにする。
【００４５】
なお、上述した抽出条件は一例であり、顔の縦幅を示す値や除外範囲を示す値はこれに限定されるものではない。
【００４６】
図２に戻る。評価値算出部３２は、画像解析部３１による解析結果に基づき、処理対象の画像に対して、構図と顔の表情の善し悪しを示す総合評価値を算出し、算出結果をデータベース管理部３５に出力する。なお、この総合評価値の算出については、図７を参照して詳述する。
【００４７】
クラスタリング処理部３３は、データベース管理部３５にて管理される同一人物クラスタ群７１を参照することにより、処理対象の各画像において検出された顔の特徴量を、その類似性に基づいて同一人物クラスタに分類し、分類結果をデータベース管理部３５に出力する。これにより、各画像に写っている類似した顔が同一のクラスタ（人物ＩＤが付与された同一人物クラスタ）に分類されることになる。また、これにより、各画像において検出された顔に対して人物ＩＤを対応付けることができる。
【００４８】
グループ推定部３４は、データベース管理部３５にて管理される登場人物対応表７２を参照することにより、複数の人物が同一の画像に一緒に写っている頻度（高い方から順に高頻度、中頻度、または低頻度）に応じて各人物をグルーピングする。さらに、その頻度と、推定された人物の性別と、年齢とに基づいて、各人物が属するグループクラスタを推定し、推定結果をデータベース管理部３５に出力する。グループクラスタは、例えば、家族（親子、夫婦、兄弟姉妹を包含する）、友人、趣味関係の集団、仕事関係の集団などに分類されている。
【００４９】
具体的には、例えば、以下のようなグループ判断基準に従ってグループが推定される。
高頻度であって、年齢差がある場合には親子である。
高頻度であって、性別が異なり、年齢差が比較的少ない場合には夫婦である。
高頻度であって、低年齢でその差が比較的少ない場合には兄弟姉妹である。
中頻度であって、性別が同じて年齢差が比較的少ない場合には友人である。
中頻度であって、人数が比較的多く、年齢差が比較的少ない場合には趣味関連の集団である。
中頻度であって、人数が比較的多く、成人年齢でその分布が広い場合には仕事関連の集団である。
【００５０】
なお、低頻度の場合には、関わりがない複数の人物が偶然同一の画像に一緒に写っていると判断し、その人物については、グルーピングの対象から除外する。
【００５１】
データベース管理部３５は、クラスタリング処理部３３による分類結果である同一人物クラスタ群７１を管理する。また、データベース管理部３５は、同一人物クラスタ群７１と、評価値算出部３２から入力される各画像の総合評価値に基づき、登場人物対応表７２を生成して管理する。さらに、データベース管理部３５は、グループ推定部３４による推定結果であるグループクラスタ群７３（いずれも図５）を管理する。
【００５２】
図５は、データベース管理部３５にて管理される同一人物クラスタ群７１、登場人物対応表７２、およびグループクラスタ群７３の構成例を示している。
【００５３】
同一人物クラスタ群７１の各同一人物クラスタには、類似した特徴量（各画像にて検出された顔の特徴量）が集められており、各同一人物クラスタに対して、人物ＩＤが付与されている。したがって、各画像から検出された顔の特徴量の分類先である同一人物クラスタの人物ＩＤを当該顔の人物の人物ＩＤとすることができる。
【００５４】
登場人物対応表７２には、各画像に対応付けて、検出された１以上の顔の特徴量（表情、推定年齢および性別を含む）とその人物ＩＤが記録されている。また、各画像に対応付けて、その構図と顔の表情の善し悪しを示す総合評価値が記録されている。したがって、例えば、人物ＩＤに基づいて、登場人物対応表７２を検索することにより、当該人物ＩＤに対応する人物が写っている画像を特定することができる。また、特徴量に含まれる所定の表情に基づいて、登場人物対応表７２を検索することにより、当該表情の顔が写っている画像を特定することができる。
【００５５】
グループクラスタ群７３の各グループクラスタには、同一のグループに属すると推定された人物の人物ＩＤが集められており、各グループクラスタに対しては、当該グループの種類（家族、友人、趣味関係の集団、仕事関係の集団など）を示す情報が付与されている。したがって、人物ＩＤに基づいて、グループクラスタ群７３を検索することにより、当該人物ＩＤに対応する人物が属するグループとその種類を特定することができ、さらに、そのグループに属する他の人物の人物ＩＤを取得することができる。
【００５６】
図２戻る。画像リスト生成部３６は、データベース管理部３５にて管理される同一人物クラスタ群７１、登場人物対応表７２、およびグループクラスタ群７３を参照することにより、キー画像に関連する画像を特定し、その一覧を示す画像リストを生成して再生制御部３７に出力する。再生制御部３７は、入力される画像リストに従い、スライドショーなどを実行させる。
【００５７】
［動作説明］
デジタルスチルカメラ１０の動作について説明する。
【００５８】
初めに、登録処理について説明する。図６は、登録処理を説明するフローチャートである。
【００５９】
この登録処理の前提として、デジタルスチルカメラ１０の記録メディアには、既に人物が撮像されている複数の画像（以下、登録画像と称する）が保存されているものとする。この登録処理は、ユーザからの所定の操作に応じて開始される。
【００６０】
ステップＳ１において、画像解析部３１は、保存されている複数の登録画像のうちの１枚を順次処理対象に指定する。顔検出部４１は、処理対象の登録画像から人物の顔を検出する。構図検出部４２は、検出された顔の数に基づいて、処理対象の登録画像の人数タイプおよび構図タイプを分類する。
【００６１】
ステップＳ２において、特徴量抽出部４３は、検出された顔のうち、分類された人数タイプおよび構図タイプに基づいて決定される、顔のサイズについての抽出条件と、顔の位置についての抽出条件を満たさないものを除外する。ステップＳ３において、特徴量抽出部４３は、除外されずに残った顔についてその特徴量を抽出する。また、特徴量抽出部４３は、抽出した特徴量に基づいて、検出された顔の表情、人物の年齢、人物の性別を推定する。
【００６２】
なお、ステップＳ１乃至Ｓ３の処理については、画像が撮像されたときに実行するようにしてもよい。
【００６３】
ステップＳ４において、クラスタリング処理部３３は、データベース管理部３５にて管理される同一人物クラスタ群７１を参照することにより、処理対象の登録画像において検出された顔の特徴量を、その類似性に基づいて同一人物クラスタに分類し、分類結果をデータベース管理部３５に出力する。データベース管理部３５は、クラスタリング処理部３３による分類結果である同一人物クラスタ群７１を管理する。
【００６４】
ステップＳ５において、評価値算出部３２は、画像解析部３１による解析結果に基づき、処理対象の登録画像に対する総合評価値を算出し、算出結果をデータベース管理部３５に出力する。データベース管理部３５は、同一人物クラスタ群７１と、評価値算出部３２から入力される各画像の総合評価値に基づき、登場人物対応表７２を生成して管理する。
【００６５】
図７は、ステップＳ５における総合評価値算出処理を詳述するフローチャートである。
【００６６】
ステップＳ１１において、評価値算出部３２は、登録画像の構図評価値を算出する。すなわち、登録画像に写っている人数（特徴量が抽出された顔の数）に応じて設定される条件の下、顔のサイズ、各顔の中心（重心）位置の縦方向および横方向の分散状況、隣り合う顔との距離、隣り合う顔のサイズの類似性、および隣り合う顔の高さの差の類似性に応じて点数を付与する。
【００６７】
具体的には、顔のサイズについては、対象者全員の顔のサイズが、写っている人数に応じた条件において定められた範囲内である場合に所定の点数を付与する。各顔の中心位置の縦方向の分散状況については、分散が、写っている人数に応じた条件において定められた閾値内である場合に所定の点数を付与する。各顔の中心位置の横方向の分散状況については、左右対称性がある場合に所定の点数を付与する。隣り合う顔との距離については、隣り合う顔との距離を顔のサイズを基準として求め、その距離が小さいほど大きな点数を付与する。
【００６８】
隣り合う顔のサイズの類似性については、隣り合う顔のサイズの差が少ない場合にはカメラから同一距離に位置していると考えられるので、その場合には所定の点数を付与する。ただし、隣り合う顔が大人の顔と子供の顔に場合には顔のサイズが元々異なるので、この点を配慮する。隣り合う顔の高さの差の類似性については、顔の高さが揃っている場合に所定の点数を付与する。
【００６９】
このようにして付与された各点数にそれぞれ所定の重み係数を乗算し、これらを積算することにより構図評価値を算出する。
【００７０】
ステップＳ１２において、評価値算出部３２は、登録画像の表情評価値を算出する。すすなわち、登録画像に写っている各顔（特徴量が抽出された顔）が良い表情の項目（例えば、大笑い、正視、およびカメラ目線とする）に該当している項目数に応じて点数を付与する。そして、各顔の平均値に所定の重み係数を乗算することにより、表情評価値を算出する。
【００７１】
ステップＳ１３において、評価値算出部３２は、構図評価値と表情評価値とにそれぞれ所定の重み係数を乗算して、その結果を積算することにより総合評価値を算出する。
【００７２】
以上のようにして、登録画像の総合評価値を算出した後、処理は図６のステップＳ６に進められる。
【００７３】
ステップＳ６において、画像解析部３１は、保存されている全ての登録画像を処理対象に指定したか否かを判断する。処理対象に指定されていない登録画像が残っている場合、処理はステップＳ１に戻されてそれ以降が繰り返される。そして、ステップＳ６において、保存されている全ての登録画像が処理対象に指定されたと判断された場合、処理はステップＳ７に進められる。
【００７４】
ステップＳ７において、グループ推定部３４は、データベース管理部３５にて管理される登場人物対応表７２を参照することにより、複数の人物が同一の画像に一緒に写っている頻度に応じて各人物をグルーピングする。さらに、その頻度と、推定された人物の性別と、年齢とに基づいて、各人物が属するグループクラスタを推定し、推定結果をデータベース管理部３５に出力する。データベース管理部３５は、グループ推定部３４による推定結果であるグループクラスタ群７３を管理する。以上で、登録処理が終了される。
【００７５】
次に、再生処理について説明する。図８は、再生処理を説明するフローチャートである。
【００７６】
この再生処理の前提として、キー画像の被写体となる人物が写っている画像を含む複数の登録画像を処理対象として既に登録処理が実行されており、データベース管理部３５により、同一人物クラスタ群７１、登場人物対応表７２、およびグループクラスタ群７３が管理されているものとする。この再生処理は、ユーザからの所定の操作に応じて開始される。
【００７７】
ステップＳ２１において、画像リスト生成部２１は、ユーザの操作に従って選抜基準を設定する。選抜基準とは、複数の登録画像から画像を選抜するときの基準であり、撮像期間の設定、関連人物画像／類似表情画像の設定、本人／関連人物／両方の設定からなる。
【００７８】
撮像期間の設定では、例えば、本日を基準として、１日以内、１週回以内、１か月以内、１年以内などを設定することができる。関連人物画像／類似表情画像の設定では、キー画像の人物に関連する人物（本人を含む）の画像（関連人物画像）を総合評価値に基づいて選抜するのか、またはキー画像の人物が類似した表情で写る画像を表情評価値に基づいて選抜するのかを設定できる。本人／関連人物／両方の設定では、キー画像の人物本人が写っている画像を主に選抜するのか、キー画像の人物に関連する人物（本人を含まず）が写っている画像を主に選抜するのか、またはそれをほぼ半数ずつ選抜するのかを設定できる。
【００７９】
さらに、画像リスト生成部２１は、ユーザの操作に従って再生順序を設定する。再生順序の設定では、選抜された画像の再生順序を、撮像日時順、総合評価値順、撮像日時をまんべんなく分散させた順、またはランダムの順に設定することができる。
【００８０】
なお、選抜基準および再生順序は、再生処理が行われる毎にユーザが指定できるが、前回の設定を流用するように指定したり、ランダムに設定するように指定したりすることもできる。
【００８１】
ステップＳ２２において、ユーザに対してキー画像の撮像が促される。これに応じて、ユーザが任意の人物を被写体として撮像を行うと、その画像がキー画像として画像解析部３１に入力される。なお、キー画像をその場で撮像するのではなく、保存されている画像の中からキー画像を指定するようにしてもよい。また、キー画像は１枚に限らず、複数であってもよい。
【００８２】
ステップＳ２３において、画像解析部３１の顔検出部４１は、キー画像から人物の顔を検出する。特徴量抽出部４３は、検出された顔の特徴量を抽出するとともに、その顔の表情、人物の年齢、人物の性別を推定し、その結果をクラスタリング処理部３３に出力する。
【００８３】
ステップＳ２４において、クラスタリング処理部３３は、データベース管理部３５にて管理される同一人物クラスタ群７１を参照することにより、キー画像において検出された顔の特徴量をその類似性に基づいていずれかの同一人物クラスタに決定し、決定した同一人物クラスタに付与されている人物ＩＤを特定して画像リスト生成部３６に通知する。
【００８４】
ステップＳ２５において、画像リスト生成部３６は、ステップＳ２１で選抜基準の関連人物画像／類似表情画像の設定がどちらに設定されているかを確認し、関連人物画像に設定されている場合、処理をステップＳ２６に進める。
【００８５】
ステップＳ２６において、画像リスト生成部３６は、データベース管理部３５により管理されるグループクラスタ群７３を参照することにより、キー画像の人物に対して特定された人物ＩＤが属するグループクラスタを特定し、特定したクループクラスタを構成する人物ＩＤ（キー画像の人物が属しているグループに属する人物の人物ＩＤ。キー画像の人物に対応する人物ＩＤも含む）を取得する。
【００８６】
ステップＳ２７において、画像リスト生成部３６は、データベース管理部３５により管理される登場人物対応表７２を参照することにより、取得した人物ＩＤの人物が写っている登録画像を抽出する。これにより、キー画像の人物に関連する人物が写っている登録画像が抽出される。さらに、画像リスト生成部３６は、抽出した登録画像の中から、ステップＳ２１で設定された選抜基準に基づき、総合評価値が大きい方から所定の枚数だけ登録画像を絞り込むことにより画像リストを生成する。
【００８７】
一方、ステップＳ２６において、類似表情画像に設定されていると確認された場合、処理はステップＳ２８に進められる。
【００８８】
ステップＳ２８において、画像リスト生成部３６は、データベース管理部３５により管理される登場人物対応表７２を参照することにより、キー画像の人物が写っており、その表情が類似している登録画像を抽出する。ここで、表情が類似している登録画像を抽出するには、顔の特徴量のうちの表情に関する成分を多次元ベクトルとみなした場合の差分（ユークリッド距離）が所定の閾値以下のものを選べばよい。さらに、画像リスト生成部３６は、抽出した登録画像の中から、ステップＳ２１で設定された選抜基準に基づき、総合評価値が大きい方から所定の枚数だけ登録画像を絞り込むことにより画像リストを生成する。
【００８９】
ステップＳ２９において、再生制御部３７は、画像リスト生成部３６にて生成された画像リストに含まされる登録画像を、ステップＳ２１で設定された再生順序に従って再生する。以上で再生処理は終了される。
【００９０】
以上に説明した再生処理によれば、キー画像の人物に関連深い人物（本人を含む）が写っている登録画像を選抜するか、またはキー画像の人物が同じ表情で写っている登録画像を選抜することができる。そして、選抜した登録画像を用いてスライドショーなどを実行することができる。
【００９１】
なお、再生処理は、上述したように、キー画像の被写体となる人物が写っている画像が登録画像に含まれていることを前提としているが、この前提は必須ではない。すなわち、キー画像の被写体となった人物が登録画像に写っていない場合にも、例えば、キー画像の被写体となった人物に似ている人物（親、子、兄弟のみならず、他人の場合もある）が写っている登録画像が選抜されるので、面白味のある画像リストを生成することができる。
【００９２】
また、登録処理および再生処理によれば、スライドショーにて画像を見せたい相手をキー画像として撮像することにより、当該相手に適した画像（例えば、本人のみならず、その家族の画像など）を選抜して提示することができる。あるいは、キー撮像時と同様の表情の画像を選抜して提示することができる。
【００９３】
＜３．第２の実施の形態＞
［コンピュータの構成例］
上述した第１の実施の形態であるデジタルスチルカメラ１０においては、デジタルスチルカメラ１０で撮像した画像を登録画像およびキー画像としていたが、第２の実施の形態であるコンピュータでは、入力される複数の画像を処理対象として登録処理を実行し、また外部から入力されるキー画像に基づいて再生処理を実行する。
【００９４】
図９は、第２の実施の形態であるコンピュータの構成例を示している。このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００９５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００９６】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した登録処理と再生処理が行われる。
【００９７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００９８】
＜４．変形例＞
なお、上述した第１および第２の実施の形態は、上述した内容に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。また、以下のように拡張することが考えられる。
【００９９】
本発明は、スライドショーにおいて表示させる画像を選抜する場合だけでなく、例えば、写真集に載せる画像を選抜するような場合にも適用することができる。
【０１００】
また、キー画像を検索条件として、画像を検索する場合にも適用することができる。
【０１０１】
さらに、複数の画像をキー画像とする場合、各キー画像に対応する選抜結果の論理和、または論理積をユーザに選択させて画像リストに反映させるようにしてもよい。これにより、例えば、キー画像として撮像した全員が写っている登録画像だけを選抜したり、キー画像として撮像した全員がそれぞれ個別に写っている登録画像を選抜したりすることができる。
【０１０２】
また、人物を撮像したときに、その撮像画像をキー画像として採用し、撮像画像のレビュー表示とともに、保存されている画像から類似した表情の画像を選抜して表示するようにしてもよい。
【０１０３】
さらに、キー画像の撮像タイミングをユーザの操作ではなくカメラ側に委ねるようにし、ファインダ画像内に人物が検出できたときにキー画像を撮像して、その人物に関連する画像や類似の表情の画像を選抜して表示するようにしてもよい。
【０１０４】
またさらに、キー画像として、風景を採用するようにしてもよい。これにより、例えば、山を撮像したキー画像に基づいて、類似した山岳の画像を選抜したり、海を撮像したキー画像に基づいて、類似した海岸の画像を選抜したりすることができる。
【符号の説明】
【０１０５】
１０ デジタルスチルカメラ， １１ 制御部， １２ メモリ， １３ 操作入力部，１４ 位置情報取得部， １６ 撮像部， ３１ 画像解析部， ３２ 評価値算出部， ３３ クラスタリング処理部， ３４ グループ推定部， ３５ データベース管理部， ３６ 画像リスト生成部， ３７ 再生制御部， ４１ 顔検出部， ４２ 特徴量抽出部， ４３ 構図検出部， １００ コンピュータ， １０１ CPU
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、例えば、保存されている数多くの画像の中から、検索条件となるキー画像の被写体である人物に関連すると推定される人物が写っている画像を選択してスライドショーを実行する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラには、いわゆるスライドショー機能が設けられているものが多い。このスライドショー機能によれば、撮像して保存した画像を、例えば撮影順に順次再生したり、ランダムな順序で再生したりしてディスプレイに表示することができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１００８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、保存されている数多くの画像を従来のスライドショー機能によって表示させた場合、画像の枚数が多過ぎて全てを見終わるまでに多くの時間を要してしまう。これを防ぐためには、撮像された数多くの画像のうち、所定の条件に合致するものだけを選抜してスライドショーを実行するようにすればよい。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、保存されている数多くの画像の中から、検索条件として与えられたキー画像の被写体に関連する画像を選抜できるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面である情報処理装置は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、画像に写っている人物の顔の特徴量を抽出する画像解析手段と、前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、同一の前記画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定する推定手段と、既に解析されて、写っている人物の顔に人物ＩＤが対応付けられ、前記人物が属するグループが推定されている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する選抜手段とを含む。
【０００７】
本発明の第１の側面である情報処理装置は、前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含むことができ、前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を前記評価値の順に選抜するようにすることができる。
【０００８】
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出するようにすることができる。
【０００９】
本発明の第１の側面である情報処理装置は、前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段をさらに含むことができる。
【００１０】
本発明の第１の側面である情報処理方法は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、前記情報処理装置により、前記登録画像に写っている人物の顔の特徴量を抽出し、複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜するステップを含む。
【００１１】
本発明の第１の側面であるプログラムは、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、前記登録画像に写っている人物の顔の特徴量を抽出し、複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜するステップを含む処理を情報処理装置のコンピュータに実行させる。
【００１２】
本発明の第１の側面においては、登録画像に写っている人物の顔の特徴量が抽出され、複数の登録画像それぞれから抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類され、登録画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤが対応付けられ、同一の前記登録画像に一緒に写っている頻度に基づき、登録画像に写っている人物が属するグループが推定される。さらに、検索条件としてのキー画像に写っている人物の顔の特徴量が抽出され、キー画像から抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、キー画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤが対応付けられ、キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像が選抜される。
【００１３】
本発明の第２の側面である情報処理装置は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、画像に写っている人物の顔の表情を含む特徴量を抽出する画像解析手段と、前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、既に解析されて、写っている人物の顔に人物ＩＤが対応付けられている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する選抜手段とを含む。
【００１４】
本発明の第２の側面である情報処理装置は、前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含むことができ、前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を前記評価値の順に選抜するようにすることができる。
【００１５】
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出するようにすることができる。
【００１６】
本発明の第２の側面である情報処理装置は、前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段をさらに含むことができる。
【００１７】
本発明の第２の側面である情報処理方法は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、前記情報処理装置による、複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜するステップを含む。
【００１８】
本発明の第２の側面であるプログラムは、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜するステップを含む処理を情報処理装置のコンピュータに実行させる。
【００１９】
本発明の第２の側面においては、複数の登録画像に写っている人物の顔の表情を含む特徴量が抽出され、登録画像から抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類され、登録画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤが対応付けられる。さらに、検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量が抽出され、キー画像から抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類され、キー画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤを対応付けられ、キー画像に写っている人物がその表情と類似する表情で写っている画像が選抜される。
【発明の効果】
【００２０】
本発明の第１の側面によれば、保存されている数多くの画像の中から、検索条件として与えられるキー画像の被写体である人物に関連すると推定される人物が写っている画像を選抜することができる。
【００２１】
本発明の第２の側面によれば、保存されている数多くの画像の中から、検索条件となるキー画像の被写体である人物が類似した表情で写っている画像を選抜することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用したデジタルスチルカメラの構成例を示すブロック図である。
【図２】制御部により実現される機能ブロックの構成例を示す図である。
【図３】顔のサイズについての抽出条件を示す図である。
【図４】顔の位置についての抽出条件を示す図である。
【図５】データベースの構成例を示す図である。
【図６】登録処理を説明するフローチャートである。
【図７】総合評価値算出処理を説明するフローチャートである。
【図８】再生処理を説明するフローチャートである。
【図９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
１．実施の形態の概要
２．第１の実施の形態
３．第２の実施の形態
４．変形例
【００２４】
＜１．実施の形態の概要＞
本願発明をデジタルスチルカメラに適用した第１の実施の形態は、撮像して保存した画像を対象としてデータベースを作成するための登録処理を実行する。その後、改めて検索条件とするキー画像を撮像して解析し、キー画像の解析結果とデータベースを照らし合わせることにより、撮像して保存した画像の中から、キー画像の被写体となっている人物に関連する画像を選抜したり、キー画像の被写体となっている人物が同じ表情で写っている画像を選抜したりする。そして、選抜した画像を用いてスライドショーなどを実行することができる。
【００２５】
本願発明をコンピュータに適用した第２の実施の形態は、入力される多数の画像を対象としてデータベースを作成するための登録処理を実行する。その後、検索条件として与えられるキー画像を解析し、キー画像の解析結果とデータベースを照らし合わせることにより、入力された多数の画像の中から、キー画像の被写体となっている人物に関連する画像を選抜したり、キー画像の被写体となっている人物が同じ表情で写っている画像を選抜したりする。そして、選抜した画像を用いてスライドショーなどを実行することができる。
【００２６】
＜２．第１の実施の形態＞
［デジタルスチルカメラの構成例］
図１は、第１の実施の形態であるデジタルスチルカメラの構成例を示している。
このデジタルスチルカメラ１０は、制御部１１、メモリ１２、操作入力部１３、位置情報取得部１４、バス１５、撮像部１６、画像処理部１７、符号化復号部１８、記録部１９、および表示部２０から構成される。
【００２７】
制御部１１は、操作入力部１３から入力されるユーザの操作に応じた操作信号に従い、デジタルスチルカメラ１０に各部を制御する。また、制御部１１は、メモリ１２に記録されている制御用プログラムを実行することにより、図２に示す機能ブロックを実現し、後述する登録処理などを実行する。
【００２８】
メモリ１２には、制御用プログラムが予め記録されている。また、メモリ１２には、後述する被写体データベース３８（図５）や登録処理などの結果も保持される。
【００２９】
操作入力部１３は、デジタルスチルカメラ１０の筺体に設けられるボタンや表示部２０に積層されるタッチパネルなどのユーザインタフェースからなり、ユーザからの操作に応じた操作信号を発生して制御部１１に出力する。
【００３０】
位置情報取得部１４は、撮像タイミングにおいて、GPS(Global Positioning System)信号を受信して解析することにより、撮像日時（年月日、時刻）および位置（緯度、経度、高度）を示す情報を取得する。ここで得られた撮像日時および位置を示す情報は、撮像された画像に対応付けて記録されるexif情報に採用される。なお、撮像日時については、制御部１１に内蔵される時計の時刻情報を利用するようにしてもよい。
【００３１】
撮像部１６は、レンズ群とCCD、CMOSなどの光電変換素子を内蔵しており、レンズ群を介して入射される被写体の光学像を光電変換素子により画像信号に変換して画像処理部１７に出力する。
【００３２】
画像処理部１７は、撮像部１６から入力される画像信号に所定の画像処理を施して符号化復号部１８に出力する。また、画像処理部１７は、撮像時においては撮像部１６から、再生時においては符号化復号部１８から入力される画像信号の画素を間引くなどして表示用の画像信号を生成して表示部２０に出力する。
【００３３】
符号化復号部１８は、撮像時において、画像処理部１７から入力される画像信号をJPEG方式などに従って符号化し、その結果得られる画像符号化信号を記録部１９に出力する。また、符号化復号部１８は、再生時において、記録部１９から入力される画像符号化信号を復号し、その結果得られる画像信号を画像処理部１７に出力する。
【００３４】
記録部１９は、撮像時において、符号化復号部１８から入力される画像符号化信号を記録メディア（不図示）に記録する。また、記録部１９は、画像符号化信号に対応付けたexif情報も記録メディアに記録する。さらに、記録部１９は、再生時において、記録メディアに記録されている画像符号化信号を読み出して符号化復号部１８に出力する。
【００３５】
表示部２０は、液晶ディスプレイなどから成り、画像処理部１７から入力される画像信号の画像を表示する。
【００３６】
次に、図２は、制御部１１が制御用プログラムを実行することにより実現される機能ブロックの構成例を示している。これらの機能ブロックがそれぞれ動作することにより、後述する登録処理や再生処理が行われる。ただし、図２に示す各機能ブロックをICチップなどのハードウェアにより構成するようにしてもよい。
【００３７】
画像解析部３１は、顔検出部４１、構図検出部４２、および特徴量抽出部４３を内蔵し、登録処理時には、撮像されて記録メディアに記録されている画像を、再生処理時には、検索条件として与えられるキー画像を処理対象として解析し、解析結果を後段の評価値算出部３２、クラスタリング処理部３３、およびグループ推定部３４に出力する。
【００３８】
具体的には、顔検出部４１は、処理対象の画像内に存在する人物の顔を検出する。構図検出部４２は、検出された顔の数に基づいて、処理対象の画像の被写体の人数を推定し、例えば１人、２人、３乃至５人、１０人未満、または１０人以上の人数タイプに分類する。また、構図検出部４２は、処理対象の画像を、縦長、または横長のどちらかに分類し、さらに、顔画像、上半身画像、または全身画像の構図タイプに分類する。
【００３９】
特徴量抽出部４３は、処理対象の画像から検出された顔のうち、顔のサイズについての抽出条件と、顔の位置についての抽出条件を満たす顔についてその特徴量を抽出する。また、特徴量抽出部４３は、抽出した特徴量に基づいて、検出された顔の表情（大笑い、微笑、正視、カメラ目線、泣き顔、よそ見、目を閉じている、口を開けているなど）、人物の年齢、人物の性別を推定する。なお、顔のサイズについての抽出条件、および顔の位置についての抽出条件は、構図検出部４２における分類結果の組み合わせに応じて予め設定されている。
【００４０】
図３は、特徴量抽出部４３における顔のサイズについての抽出条件を示している。同図において、画像内の円形は検出された顔を意味するものとする。
【００４１】
同図Ａは、人数タイプが１人で横長全身画像の場合を示しており、画像の縦幅1.0に対して顔の縦幅は0.1以上0.2未満とし、それ以外の顔は除外（特徴量を抽出しない）するようにする。同図Ｂは、人数タイプが１人で横長上半身画像の場合を示しており、画像の縦幅1.0に対して顔の縦幅は0.2以上0.4未満とし、それ以外は除外するようにする。同図Ｃは、人数タイプが１人で横長顔画像の場合を示しており、画像の縦幅1.0に対して顔の縦幅は0.4以上とし、それ以外は除外するようにする。
【００４２】
この他、例えば、人数タイプが３乃至５人で横長上半身画像の場合、画像の縦幅1.0に対して各顔の縦幅は0.2以上0.4未満とされている。人数タイプが３乃至５人で横長全身画像の場合、画像の縦幅1.0に対して各顔の縦幅は0.１以上0.2未満とされている。人数タイプが１０人以上で横長の場合、画像の縦幅1.0に対して各顔の縦幅は0.05以上0.3未満とされている。
【００４３】
図４は、特徴量抽出部４３における顔の位置についての抽出条件を示している。同図において、画像内の円形は検出された顔を意味するものとする。
【００４４】
同図は、人数タイプが３乃至５人で横長上半身画像の場合の抽出条件を示しており、画像の縦幅1.0に対して上側0.1、下側0.15、画像の横幅1.0に対して左右0.1を除外範囲とし、この除外範囲内で検出された顔については除外するようにする。
【００４５】
なお、上述した抽出条件は一例であり、顔の縦幅を示す値や除外範囲を示す値はこれに限定されるものではない。
【００４６】
図２に戻る。評価値算出部３２は、画像解析部３１による解析結果に基づき、処理対象の画像に対して、構図と顔の表情の善し悪しを示す総合評価値を算出し、算出結果をデータベース管理部３５に出力する。なお、この総合評価値の算出については、図７を参照して詳述する。
【００４７】
クラスタリング処理部３３は、データベース管理部３５にて管理される同一人物クラスタ群７１を参照することにより、処理対象の各画像において検出された顔の特徴量を、その類似性に基づいて同一人物クラスタに分類し、分類結果をデータベース管理部３５に出力する。これにより、各画像に写っている類似した顔が同一のクラスタ（人物ＩＤが付与された同一人物クラスタ）に分類されることになる。また、これにより、各画像において検出された顔に対して人物ＩＤを対応付けることができる。
【００４８】
グループ推定部３４は、データベース管理部３５にて管理される登場人物対応表７２を参照することにより、複数の人物が同一の画像に一緒に写っている頻度（高い方から順に高頻度、中頻度、または低頻度）に応じて各人物をグルーピングする。さらに、その頻度と、推定された人物の性別と、年齢とに基づいて、各人物が属するグループクラスタを推定し、推定結果をデータベース管理部３５に出力する。グループクラスタは、例えば、家族（親子、夫婦、兄弟姉妹を包含する）、友人、趣味関係の集団、仕事関係の集団などに分類されている。
【００４９】
具体的には、例えば、以下のようなグループ判断基準に従ってグループが推定される。
高頻度であって、年齢差がある場合には親子である。
高頻度であって、性別が異なり、年齢差が比較的少ない場合には夫婦である。
高頻度であって、低年齢でその差が比較的少ない場合には兄弟姉妹である。
中頻度であって、性別が同じて年齢差が比較的少ない場合には友人である。
中頻度であって、人数が比較的多く、年齢差が比較的少ない場合には趣味関連の集団である。
中頻度であって、人数が比較的多く、成人年齢でその分布が広い場合には仕事関連の集団である。
【００５０】
なお、低頻度の場合には、関わりがない複数の人物が偶然同一の画像に一緒に写っていると判断し、その人物については、グルーピングの対象から除外する。
【００５１】
データベース管理部３５は、クラスタリング処理部３３による分類結果である同一人物クラスタ群７１を管理する。また、データベース管理部３５は、同一人物クラスタ群７１と、評価値算出部３２から入力される各画像の総合評価値に基づき、登場人物対応表７２を生成して管理する。さらに、データベース管理部３５は、グループ推定部３４による推定結果であるグループクラスタ群７３（いずれも図５）を管理する。
【００５２】
図５は、データベース管理部３５にて管理される同一人物クラスタ群７１、登場人物対応表７２、およびグループクラスタ群７３の構成例を示している。
【００５３】
同一人物クラスタ群７１の各同一人物クラスタには、類似した特徴量（各画像にて検出された顔の特徴量）が集められており、各同一人物クラスタに対して、人物ＩＤが付与されている。したがって、各画像から検出された顔の特徴量の分類先である同一人物クラスタの人物ＩＤを当該顔の人物の人物ＩＤとすることができる。
【００５４】
登場人物対応表７２には、各画像に対応付けて、検出された１以上の顔の特徴量（表情、推定年齢および性別を含む）とその人物ＩＤが記録されている。また、各画像に対応付けて、その構図と顔の表情の善し悪しを示す総合評価値が記録されている。したがって、例えば、人物ＩＤに基づいて、登場人物対応表７２を検索することにより、当該人物ＩＤに対応する人物が写っている画像を特定することができる。また、特徴量に含まれる所定の表情に基づいて、登場人物対応表７２を検索することにより、当該表情の顔が写っている画像を特定することができる。
【００５５】
グループクラスタ群７３の各グループクラスタには、同一のグループに属すると推定された人物の人物ＩＤが集められており、各グループクラスタに対しては、当該グループの種類（家族、友人、趣味関係の集団、仕事関係の集団など）を示す情報が付与されている。したがって、人物ＩＤに基づいて、グループクラスタ群７３を検索することにより、当該人物ＩＤに対応する人物が属するグループとその種類を特定することができ、さらに、そのグループに属する他の人物の人物ＩＤを取得することができる。
【００５６】
図２戻る。画像リスト生成部３６は、データベース管理部３５にて管理される同一人物クラスタ群７１、登場人物対応表７２、およびグループクラスタ群７３を参照することにより、キー画像に関連する画像を特定し、その一覧を示す画像リストを生成して再生制御部３７に出力する。再生制御部３７は、入力される画像リストに従い、スライドショーなどを実行させる。
【００５７】
［動作説明］
デジタルスチルカメラ１０の動作について説明する。
【００５８】
初めに、登録処理について説明する。図６は、登録処理を説明するフローチャートである。
【００５９】
この登録処理の前提として、デジタルスチルカメラ１０の記録メディアには、既に人物が撮像されている複数の画像（以下、登録画像と称する）が保存されているものとする。この登録処理は、ユーザからの所定の操作に応じて開始される。
【００６０】
ステップＳ１において、画像解析部３１は、保存されている複数の登録画像のうちの１枚を順次処理対象に指定する。顔検出部４１は、処理対象の登録画像から人物の顔を検出する。構図検出部４２は、検出された顔の数に基づいて、処理対象の登録画像の人数タイプおよび構図タイプを分類する。
【００６１】
ステップＳ２において、特徴量抽出部４３は、検出された顔のうち、分類された人数タイプおよび構図タイプに基づいて決定される、顔のサイズについての抽出条件と、顔の位置についての抽出条件を満たさないものを除外する。ステップＳ３において、特徴量抽出部４３は、除外されずに残った顔についてその特徴量を抽出する。また、特徴量抽出部４３は、抽出した特徴量に基づいて、検出された顔の表情、人物の年齢、人物の性別を推定する。
【００６２】
なお、ステップＳ１乃至Ｓ３の処理については、画像が撮像されたときに実行するようにしてもよい。
【００６３】
ステップＳ４において、クラスタリング処理部３３は、データベース管理部３５にて管理される同一人物クラスタ群７１を参照することにより、処理対象の登録画像において検出された顔の特徴量を、その類似性に基づいて同一人物クラスタに分類し、分類結果をデータベース管理部３５に出力する。データベース管理部３５は、クラスタリング処理部３３による分類結果である同一人物クラスタ群７１を管理する。
【００６４】
ステップＳ５において、評価値算出部３２は、画像解析部３１による解析結果に基づき、処理対象の登録画像に対する総合評価値を算出し、算出結果をデータベース管理部３５に出力する。データベース管理部３５は、同一人物クラスタ群７１と、評価値算出部３２から入力される各画像の総合評価値に基づき、登場人物対応表７２を生成して管理する。
【００６５】
図７は、ステップＳ５における総合評価値算出処理を詳述するフローチャートである。
【００６６】
ステップＳ１１において、評価値算出部３２は、登録画像の構図評価値を算出する。すなわち、登録画像に写っている人数（特徴量が抽出された顔の数）に応じて設定される条件の下、顔のサイズ、各顔の中心（重心）位置の縦方向および横方向の分散状況、隣り合う顔との距離、隣り合う顔のサイズの類似性、および隣り合う顔の高さの差の類似性に応じて点数を付与する。
【００６７】
具体的には、顔のサイズについては、対象者全員の顔のサイズが、写っている人数に応じた条件において定められた範囲内である場合に所定の点数を付与する。各顔の中心位置の縦方向の分散状況については、分散が、写っている人数に応じた条件において定められた閾値内である場合に所定の点数を付与する。各顔の中心位置の横方向の分散状況については、左右対称性がある場合に所定の点数を付与する。隣り合う顔との距離については、隣り合う顔との距離を顔のサイズを基準として求め、その距離が小さいほど大きな点数を付与する。
【００６８】
隣り合う顔のサイズの類似性については、隣り合う顔のサイズの差が少ない場合にはカメラから同一距離に位置していると考えられるので、その場合には所定の点数を付与する。ただし、隣り合う顔が大人の顔と子供の顔に場合には顔のサイズが元々異なるので、この点を配慮する。隣り合う顔の高さの差の類似性については、顔の高さが揃っている場合に所定の点数を付与する。
【００６９】
このようにして付与された各点数にそれぞれ所定の重み係数を乗算し、これらを積算することにより構図評価値を算出する。
【００７０】
ステップＳ１２において、評価値算出部３２は、登録画像の表情評価値を算出する。すすなわち、登録画像に写っている各顔（特徴量が抽出された顔）が良い表情の項目（例えば、大笑い、正視、およびカメラ目線とする）に該当している項目数に応じて点数を付与する。そして、各顔の平均値に所定の重み係数を乗算することにより、表情評価値を算出する。
【００７１】
ステップＳ１３において、評価値算出部３２は、構図評価値と表情評価値とにそれぞれ所定の重み係数を乗算して、その結果を積算することにより総合評価値を算出する。
【００７２】
以上のようにして、登録画像の総合評価値を算出した後、処理は図６のステップＳ６に進められる。
【００７３】
ステップＳ６において、画像解析部３１は、保存されている全ての登録画像を処理対象に指定したか否かを判断する。処理対象に指定されていない登録画像が残っている場合、処理はステップＳ１に戻されてそれ以降が繰り返される。そして、ステップＳ６において、保存されている全ての登録画像が処理対象に指定されたと判断された場合、処理はステップＳ７に進められる。
【００７４】
ステップＳ７において、グループ推定部３４は、データベース管理部３５にて管理される登場人物対応表７２を参照することにより、複数の人物が同一の画像に一緒に写っている頻度に応じて各人物をグルーピングする。さらに、その頻度と、推定された人物の性別と、年齢とに基づいて、各人物が属するグループクラスタを推定し、推定結果をデータベース管理部３５に出力する。データベース管理部３５は、グループ推定部３４による推定結果であるグループクラスタ群７３を管理する。以上で、登録処理が終了される。
【００７５】
次に、再生処理について説明する。図８は、再生処理を説明するフローチャートである。
【００７６】
この再生処理の前提として、キー画像の被写体となる人物が写っている画像を含む複数の登録画像を処理対象として既に登録処理が実行されており、データベース管理部３５により、同一人物クラスタ群７１、登場人物対応表７２、およびグループクラスタ群７３が管理されているものとする。この再生処理は、ユーザからの所定の操作に応じて開始される。
【００７７】
ステップＳ２１において、画像リスト生成部２１は、ユーザの操作に従って選抜基準を設定する。選抜基準とは、複数の登録画像から画像を選抜するときの基準であり、撮像期間の設定、関連人物画像／類似表情画像の設定、本人／関連人物／両方の設定からなる。
【００７８】
撮像期間の設定では、例えば、本日を基準として、１日以内、１週回以内、１か月以内、１年以内などを設定することができる。関連人物画像／類似表情画像の設定では、キー画像の人物に関連する人物（本人を含む）の画像（関連人物画像）を総合評価値に基づいて選抜するのか、またはキー画像の人物が類似した表情で写る画像を表情評価値に基づいて選抜するのかを設定できる。本人／関連人物／両方の設定では、キー画像の人物本人が写っている画像を主に選抜するのか、キー画像の人物に関連する人物（本人を含まず）が写っている画像を主に選抜するのか、またはそれをほぼ半数ずつ選抜するのかを設定できる。
【００７９】
さらに、画像リスト生成部２１は、ユーザの操作に従って再生順序を設定する。再生順序の設定では、選抜された画像の再生順序を、撮像日時順、総合評価値順、撮像日時をまんべんなく分散させた順、またはランダムの順に設定することができる。
【００８０】
なお、選抜基準および再生順序は、再生処理が行われる毎にユーザが指定できるが、前回の設定を流用するように指定したり、ランダムに設定するように指定したりすることもできる。
【００８１】
ステップＳ２２において、ユーザに対してキー画像の撮像が促される。これに応じて、ユーザが任意の人物を被写体として撮像を行うと、その画像がキー画像として画像解析部３１に入力される。なお、キー画像をその場で撮像するのではなく、保存されている画像の中からキー画像を指定するようにしてもよい。また、キー画像は１枚に限らず、複数であってもよい。
【００８２】
ステップＳ２３において、画像解析部３１の顔検出部４１は、キー画像から人物の顔を検出する。特徴量抽出部４３は、検出された顔の特徴量を抽出するとともに、その顔の表情、人物の年齢、人物の性別を推定し、その結果をクラスタリング処理部３３に出力する。
【００８３】
ステップＳ２４において、クラスタリング処理部３３は、データベース管理部３５にて管理される同一人物クラスタ群７１を参照することにより、キー画像において検出された顔の特徴量をその類似性に基づいていずれかの同一人物クラスタに決定し、決定した同一人物クラスタに付与されている人物ＩＤを特定して画像リスト生成部３６に通知する。
【００８４】
ステップＳ２５において、画像リスト生成部３６は、ステップＳ２１で選抜基準の関連人物画像／類似表情画像の設定がどちらに設定されているかを確認し、関連人物画像に設定されている場合、処理をステップＳ２６に進める。
【００８５】
ステップＳ２６において、画像リスト生成部３６は、データベース管理部３５により管理されるグループクラスタ群７３を参照することにより、キー画像の人物に対して特定された人物ＩＤが属するグループクラスタを特定し、特定したクループクラスタを構成する人物ＩＤ（キー画像の人物が属しているグループに属する人物の人物ＩＤ。キー画像の人物に対応する人物ＩＤも含む）を取得する。
【００８６】
ステップＳ２７において、画像リスト生成部３６は、データベース管理部３５により管理される登場人物対応表７２を参照することにより、取得した人物ＩＤの人物が写っている登録画像を抽出する。これにより、キー画像の人物に関連する人物が写っている登録画像が抽出される。さらに、画像リスト生成部３６は、抽出した登録画像の中から、ステップＳ２１で設定された選抜基準に基づき、総合評価値が大きい方から所定の枚数だけ登録画像を絞り込むことにより画像リストを生成する。
【００８７】
一方、ステップＳ２６において、類似表情画像に設定されていると確認された場合、処理はステップＳ２８に進められる。
【００８８】
ステップＳ２８において、画像リスト生成部３６は、データベース管理部３５により管理される登場人物対応表７２を参照することにより、キー画像の人物が写っており、その表情が類似している登録画像を抽出する。ここで、表情が類似している登録画像を抽出するには、顔の特徴量のうちの表情に関する成分を多次元ベクトルとみなした場合の差分（ユークリッド距離）が所定の閾値以下のものを選べばよい。さらに、画像リスト生成部３６は、抽出した登録画像の中から、ステップＳ２１で設定された選抜基準に基づき、総合評価値が大きい方から所定の枚数だけ登録画像を絞り込むことにより画像リストを生成する。
【００８９】
ステップＳ２９において、再生制御部３７は、画像リスト生成部３６にて生成された画像リストに含まされる登録画像を、ステップＳ２１で設定された再生順序に従って再生する。以上で再生処理は終了される。
【００９０】
以上に説明した再生処理によれば、キー画像の人物に関連深い人物（本人を含む）が写っている登録画像を選抜するか、またはキー画像の人物が同じ表情で写っている登録画像を選抜することができる。そして、選抜した登録画像を用いてスライドショーなどを実行することができる。
【００９１】
なお、再生処理は、上述したように、キー画像の被写体となる人物が写っている画像が登録画像に含まれていることを前提としているが、この前提は必須ではない。すなわち、キー画像の被写体となった人物が登録画像に写っていない場合にも、例えば、キー画像の被写体となった人物に似ている人物（親、子、兄弟のみならず、他人の場合もある）が写っている登録画像が選抜されるので、面白味のある画像リストを生成することができる。
【００９２】
また、登録処理および再生処理によれば、スライドショーにて画像を見せたい相手をキー画像として撮像することにより、当該相手に適した画像（例えば、本人のみならず、その家族の画像など）を選抜して提示することができる。あるいは、キー撮像時と同様の表情の画像を選抜して提示することができる。
【００９３】
＜３．第２の実施の形態＞
［コンピュータの構成例］
上述した第１の実施の形態であるデジタルスチルカメラ１０においては、デジタルスチルカメラ１０で撮像した画像を登録画像およびキー画像としていたが、第２の実施の形態であるコンピュータでは、入力される複数の画像を処理対象として登録処理を実行し、また外部から入力されるキー画像に基づいて再生処理を実行する。
【００９４】
図９は、第２の実施の形態であるコンピュータの構成例を示している。このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００９５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００９６】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した登録処理と再生処理が行われる。
【００９７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００９８】
＜４．変形例＞
なお、上述した第１および第２の実施の形態は、上述した内容に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。また、以下のように拡張することが考えられる。
【００９９】
本発明は、スライドショーにおいて表示させる画像を選抜する場合だけでなく、例えば、写真集に載せる画像を選抜するような場合にも適用することができる。
【０１００】
また、キー画像を検索条件として、画像を検索する場合にも適用することができる。
【０１０１】
さらに、複数の画像をキー画像とする場合、各キー画像に対応する選抜結果の論理和、または論理積をユーザに選択させて画像リストに反映させるようにしてもよい。これにより、例えば、キー画像として撮像した全員が写っている登録画像だけを選抜したり、キー画像として撮像した全員がそれぞれ個別に写っている登録画像を選抜したりすることができる。
【０１０２】
また、人物を撮像したときに、その撮像画像をキー画像として採用し、撮像画像のレビュー表示とともに、保存されている画像から類似した表情の画像を選抜して表示するようにしてもよい。
【０１０３】
さらに、キー画像の撮像タイミングをユーザの操作ではなくカメラ側に委ねるようにし、ファインダ画像内に人物が検出できたときにキー画像を撮像して、その人物に関連する画像や類似の表情の画像を選抜して表示するようにしてもよい。
【０１０４】
またさらに、キー画像として、風景を採用するようにしてもよい。これにより、例えば、山を撮像したキー画像に基づいて、類似した山岳の画像を選抜したり、海を撮像したキー画像に基づいて、類似した海岸の画像を選抜したりすることができる。
【符号の説明】
【０１０５】
１０ デジタルスチルカメラ， １１ 制御部， １２ メモリ， １３ 操作入力部，１４ 位置情報取得部， １６ 撮像部， ３１ 画像解析部， ３２ 評価値算出部， ３３ クラスタリング処理部， ３４ グループ推定部， ３５ データベース管理部， ３６ 画像リスト生成部， ３７ 再生制御部， ４１ 顔検出部， ４２ 特徴量抽出部， ４３ 構図検出部， １００ コンピュータ， １０１ CPU
【特許請求の範囲】
【請求項１】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、
画像に写っている人物の顔の特徴量を抽出する画像解析手段と、
前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、
前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、
同一の前記画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定する推定手段と、
既に解析されて、写っている人物の顔に人物ＩＤが対応付けられ、前記人物が属するグループが推定されている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する選抜手段と
を含む情報処理装置。
【請求項２】
前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含み、
前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を前記評価値の順に選抜する
請求項１に記載の情報処理装置。
【請求項３】
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出する
請求項２に記載の情報処理装置。
【請求項４】
前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段を
さらに含む請求項２に記載の情報処理装置。
【請求項５】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、
前記情報処理装置により、
前記登録画像に写っている人物の顔の特徴量を抽出し、
複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、
検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、
前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する
ステップを含む情報処理方法。
【請求項６】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、
前記登録画像に写っている人物の顔の特徴量を抽出し、
複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、
検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、
前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する
ステップを含む処理を情報処理装置のコンピュータに実行させるプログラム。
【請求項７】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、
画像に写っている人物の顔の表情を含む特徴量を抽出する画像解析手段と、
前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、
前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、
既に解析されて、写っている人物の顔に人物ＩＤが対応付けられている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する選抜手段と
を含む情報処理装置。
【請求項８】
前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含み、
前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を前記評価値の順に選抜する
請求項７に記載の情報処理装置。
【請求項９】
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出する
請求項８に記載の情報処理装置。
【請求項１０】
前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段を
さらに含む請求項８に記載の情報処理装置。
【請求項１１】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、
前記情報処理装置による、
複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、
前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、
前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する
ステップを含む情報処理方法。
【請求項１２】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、
複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、
前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、
前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する
ステップを含む処理を情報処理装置のコンピュータに実行させるプログラム。
【請求項１】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、
画像に写っている人物の顔の特徴量を抽出する画像解析手段と、
前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、
前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、
同一の前記画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定する推定手段と、
既に解析されて、写っている人物の顔に人物ＩＤが対応付けられ、前記人物が属するグループが推定されている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する選抜手段と
を含む情報処理装置。
【請求項２】
前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含み、
前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を前記評価値の順に選抜する
請求項１に記載の情報処理装置。
【請求項３】
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出する
請求項２に記載の情報処理装置。
【請求項４】
前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段を
さらに含む請求項２に記載の情報処理装置。
【請求項５】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、
前記情報処理装置により、
前記登録画像に写っている人物の顔の特徴量を抽出し、
複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、
検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、
前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する
ステップを含む情報処理方法。
【請求項６】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、
前記登録画像に写っている人物の顔の特徴量を抽出し、
複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、
検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、
前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する
ステップを含む処理を情報処理装置のコンピュータに実行させるプログラム。
【請求項７】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、
画像に写っている人物の顔の表情を含む特徴量を抽出する画像解析手段と、
前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、
前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、
既に解析されて、写っている人物の顔に人物ＩＤが対応付けられている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する選抜手段と
を含む情報処理装置。
【請求項８】
前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含み、
前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を前記評価値の順に選抜する
請求項７に記載の情報処理装置。
【請求項９】
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出する
請求項８に記載の情報処理装置。
【請求項１０】
前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段を
さらに含む請求項８に記載の情報処理装置。
【請求項１１】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、
前記情報処理装置による、
複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、
前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、
前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する
ステップを含む情報処理方法。
【請求項１２】
複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、
複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、
前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、
前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する
ステップを含む処理を情報処理装置のコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１０７９９７（Ｐ２０１１−１０７９９７Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６２５１３（Ｐ２００９−２６２５１３）
【出願日】平成２１年１１月１８日（２００９．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１８日（２００９．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]