画像処理装置、画像処理方法および制御プログラム
【課題】多数の映像、画像の中から、所望のオブジェクト（例えば、人物、顔、ペットなど）に関連すると思われる映像あるいは画像を検索して、再生等を行うに際し、よりユーザの望む映像あるいは画像を簡易に検索する。
【解決手段】画像処理装置１０は、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析し、相関関係の分析結果に基づいて、一のオブジェクトおよび他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する。
【解決手段】画像処理装置１０は、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析し、相関関係の分析結果に基づいて、一のオブジェクトおよび他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および制御プログラムに係り、特に再生などに際し、映像あるいは画像を検索するための画像処理装置、画像処理方法および制御プログラムに関する。
【背景技術】
【０００２】
特許文献１には、鑑賞者と他の人物とが同時に含まれる画像の枚数に応じて、鑑賞者と当該他の人物との親密度を算出し、鑑賞者に検索しやすい、電子アルバムや画像分類装置に関する技術が開示されている。
【特許文献１】特開２００６−７９４６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、例えば、撮影枚数が時系列的に変化したりする場合、撮影枚数のみから鑑賞者と他の人物との親密度を算出することは困難である。また、ある他の人物を含む画像が多い場合、実際の親密度に関わりなく、当該他の人物の親密度が見かけ上、大きくなってしまうという問題があった。
そこで、本発明の目的は、多数の映像、画像の中から、所望のオブジェクト（例えば、人物、顔、ペットなど）に関連すると思われる映像あるいは画像を検索して、再生等を行うに際し、よりユーザの望む映像あるいは画像を簡易に検索することが可能な画像処理装置、画像処理方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、画像処理装置は、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析部と、前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索部と、を備えたことを特徴としている。
上記構成によれば、相関分析部は、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する。
映像／画像検索部は、相関関係の分析結果に基づいて、一のオブジェクトおよび他のオブジェクトを検索キーとして、映像あるいは画像を検索する。
したがって、多数の映像あるいは画像を保有している場合でも、所望のオブジェクト（例えば、人物）が含まれる映像あるいは画像を容易に検索することができる。
この結果、所望のオブジェクトが含まれる映像あるいは画像を再生したり、処理することが容易となる。
【０００５】
この場合において、前記映像／画像検索部は、前記検索キーに基づいて、グループ化すべき前記映像あるいは画像、若しくは、再生すべき映像あるいは画像を検索するようにしてもよい。
上記構成によれば、容易な操作で、所望のオブジェクトが含まれる映像あるいは画像をグループ化して一括処理し、あるいは、再生させることができる。
また、前記相関分析部は、前記映像あるいは画像の撮影時期に応じて、所定期間毎に前記相関分析を行うようにしてもよい。
上記構成によれば、より相関が高いと思われる映像あるいは画像を相関分析することができ、有意義な相関分析が行える。
【０００６】
さらに、前記相関分析部は、前記映像あるいは画像の撮影場所に応じて、同一あるいは近接した前記撮影場所毎に前記相関分析を行うようにしてもよい。
上記構成によれば、より相関が高いと思われる映像あるいは画像を相関分析することができ、有意義な相関分析が行える。
さらにまた、前記映像／画像選択部は、前記相関分析の結果が所定の閾値よりも大きく変化した時期を前記検索キーに含めるようにしてもよい。
上記構成によれば、ライフスタイルの変化（例えば、結婚、誕生、独立など）を容易に把握することができ、より的確な検索を行うことができる。
【０００７】
また、前記映像あるいは画像に含まれる前記オブジェクトを認識するオブジェクト認識部と、前記相関関係に基づいて、前記一のオブジェクトが含まれる映像あるいは画像に含まれる他のオブジェクトを推定するオブジェクト推定部と、を備えるようにしてもよい。
上記構成によれば、他のオブジェクトの認識の信頼性が低いような場合であっても、信頼性を向上して、確実に認識が行える。
さらに、前記オブジェクト推定部は、前記オブジェクト認識部における前記他のオブジェクトの前記認識結果の信頼性が所定の信頼性よりも低い場合に、前記オブジェクトの認識対象の映像あるいは画像に同時に含まれる前記一のオブジェクトに対応する相関関係の分析結果に基づいて、前記他のオブジェクトを推定するようにしてもよい。
上記構成によれば、特に他のオブジェクトの認識結果の信頼性が低いような場合に、推定を行うため、全ての場合で推定を行う必要がなく、処理の簡易化が図れる。
【０００８】
さらにまた、認識対象の前記映像あるいは画像に含まれる前記オブジェクトを認識するオブジェクト認識部を備え、当該オブジェクト認識部は、既に認識したオブジェクトを、前記一のオブジェクトと仮定し、当該一のオブジェクトに対応する前記相関関係に基づいて、前記認識対象の映像あるいは画像に含まれる他のオブジェクトを推定するようにしてもよい。
上記構成によれば、ユーザは何ら意識することなく、信頼性の高い認識処理を行うことができる。
また、前記一のオブジェクトをユーザが指定するためのオブジェクト指定部を備えるようにしてもよい。
上記構成によれば、ユーザの所望のオブジェクトを基準として、映像あるいは画像の検索処理、ひいては、再生処理が行える。
さらに、前記オブジェクトは、人物の顔画像であるようにしてもよい。
上記構成によれば、容易に映像あるいは画像に含まれている人物を特定でき、人物単位で画像の検索、再生が行える。
【０００９】
また、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析過程と、前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索過程と、を備えたことを特徴としている。
上記構成によれば、多数の映像あるいは画像を保有している場合でも、所望のオブジェクト（例えば、人物）が含まれる映像あるいは画像を容易に検索することができ、所望のオブジェクトが含まれる映像あるいは画像を再生したり、処理することが容易となる。
【００１０】
さらに、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析過程と、前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索過程と、を備えたことを特徴としている。
上記構成によれば、容易な操作で、所望のオブジェクトが含まれる映像あるいは画像をグループ化して一括処理し、あるいは、再生させることができる。
【００１１】
また、映像あるいは画像に含まれるオブジェクトに基づいて前記映像あるいは画像を検索する画像処理装置をコンピュータにより制御するための制御プログラムにおいて、前記映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析させ、前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索させることを特徴としている。
上記構成によれば、多数の映像あるいは画像を保有している場合でも、所望のオブジェクト（例えば、人物）が含まれる映像あるいは画像を容易に検索することができ、所望のオブジェクトが含まれる映像あるいは画像を再生したり、処理することが容易となる。
【発明を実施するための最良の形態】
【００１２】
次に本発明の好適な実施の形態について図面を参照して説明する。
次に図面を参照して本発明の好適な実施の形態について図面を参照して説明する。
［１］第１実施形態
図１は、実施形態の画像処理装置の概要構成ブロック図である。
画像処理装置１０は、パーソナルコンピュータとして構成されており、画像処理を行う画像処理装置本体１１と、各種画像入力を行う画像入力装置１２と、各種操作を行うためのキーボード、マウスなどの入力装置１３と、各種表示を行う液晶ディスプレイなどの表示装置１４と、印刷を行うプリンタなどの出力装置１５と、各種データを記憶するハードディスク装置などの外部記憶装置１６と、を備えている。
画像処理装置本体１１は、当該画像処理装置本体１１全体の制御を行うマイクロプロセッサユニット（ＭＰＵ）２１と、各種データを記憶するＲＯＭ２２と、ＬＡＮ、インターネットなどの外部の通信ネットワーク２３との間のインタフェース動作を行う通信インタフェース部２４と、を備えている。
【００１３】
図２は、画像処理装置の機能ブロック図である。
画像処理装置１０は、大別すると、顔画像検出部３１と、顔画像認識部３２と、相関分析部３３と、出現パターン解析部３４と、人物推定部３５と、データ入力部３６と、表示部３７と、操作部３８と、を備え、さらに外部に映像データ（動画データ）および画像データ（静止画データ）を記憶する記憶部４１が接続されている。
顔画像検出部３１は、映像データに対応する映像あるいは画像データに対応する画像に含まれる顔画像を検出し、当該顔画像を含む顔画像データを顔画像認識部３２に出力する。
顔画像認識部３２は、顔画像データに基づいて、顔画像の画像特徴量を抽出して、画像認識を行って、誰の顔画像であるかを認識し、認識結果を相関分析部に出力する。
相関分析部３３は、映像データに対応する映像あるいは画像データに対応する画像と、それらに含まれる顔画像に基づいて、映像あるいは画像に含まれるいずれかの人物の、当該映像あるいは当該画像に含まれる他の人物に対する相関分析を行う。
【００１４】
出現パターン解析部３４は、相関分析部３３における相関分析結果に基づいて、映像あるいは画像におけるある人物が、当該映像あるいは画像に含まれる他の人物との関係における出現パターンを解析する。さらに、出現パターン解析部３４は、相関分析結果に基づいて、対象となる人物のライフスタイルやライフイベントの発生、すなわち、家族構成の変化や、住居環境の変化などによる交友関係の変化を推定する。
人物推定部３５は、顔画像認識部３２において、顔画像の認識ができなかった場合、顔画像の認識信頼性が低いと判断される場合あるいは顔画像の認識信頼度を向上させたい場合に、認識対象の映像データに対応する映像あるいは画像データに対応する画像に含まれ、かつ、認識できた他の顔画像および出現パターンに基づいて、対象となる顔画像に対応する人物を推定する。
データ入力部３６は、様々な画像フォーマットの画像を、様々な圧縮形式、ファイル形式を有するファイルや、スキャナ、ディジタルカメラ、ディジタルビデオカメラなどの入力装置から抽出あるいは受け取って、記憶部４１に記憶させる。この場合において、圧縮形式としては、ＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４等が挙げられる。
【００１５】
表示部３７は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、ＣＲＴなどの表示装置を有し、画像認識対象の画像、あるいは、画像認識結果に基づく一または複数の映像あるいは画像を表示する。
操作部３８は、ユーザが表示部３７に表示させたい映像あるいは画像に含まれるキーとなる人物（中心人物）などを指定するための操作を含む各種操作を行わせる。
これらの画像処理機能については、実際には、画像処理装置本体１１が所定の制御プログラムにより実現することとなっている。
【００１６】
図３は、映像あるいは画像において、所定の人物（顔）が被写体として含まれる第１のパターンの説明図である。また、図４は、映像あるいは画像において、所定の人物（顔）が被写体として含まれる第２のパターンの説明図である。
図３および図４において、各矩形領域ＳＱ１、ＳＱ２は、処理対象の映像および画像の総枚数（相関分析対象の母集団）、各円領域Ｃ１、Ｃ２の大きさは、各人物Ｈ１、Ｈ２が含まれる映像および画像の枚数を示している。
図３のパターンでは、人物Ｈ１が被写体として含まれる場合、必ず人物Ｈ２が被写体として含まれる場合の特徴的なパターンを示している。例えば、幼児（＝人物Ｈ１）と母親（＝人物Ｈ２）などはこのようなパターンを示す。
これに対し、図４のパターンでは、撮影枚数が多く、しかも人物Ｈ１と人物Ｈ２の撮影枚数がたまたま多い場合のパターンを示している。このようなパターンでは、出現頻度で分析を行うと、図３で示したパターンよりも特徴的なパターンとして誤認識されるおそれがある。このため、本実施形態では、出現頻度ではなく、相関分析の手法を適用して、正しくパターンを認識するようにしている。
本実施形態では、相関分析における信頼度（ｃｏｎｆｉｄｅｎｃｅ）、支持度（ｓｕｐｐｏｒｔ）およびリフト値（ｌｉｆｔ）に相当するパラメータとして、期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを以下のように定義している。
【００１７】
（１）期待信頼度パラメータＰｃｏｎｆ
期待信頼度パラメータＰｃｏｎｆは、所定期間における全データ数（映像および画像の総数）に対する、オブジェクトである人物Ｈ１（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）の比として定義されている。
Ｐｃｏｎｆ＝ｐ（Ｈ１）／映像および画像の総数
【００１８】
（３）リフト値パラメータＰｌｉｆｔ
リフト値パラメータＰｌｉｆｔは、オブジェクトである人物Ｈ２（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ２）に対する、オブジェクトである人物Ｈ１および人物Ｈ２の双方が含まれている映像および画像の枚数ｐ（Ｈ２｜Ｈ１）の比として定義されている。
Ｐｌｉｆｔ＝ｐ（Ｈ２｜Ｈ１）／ｐ（Ｈ２）
ここで、オブジェクトである人物Ｈ２（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ２）≠０である。
【００１９】
この場合において、これらの期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを算出するための映像／画像群の単位は、同一映像あるいは同一画像、あるいは同一撮影日の映像あるいは画像、撮影日時、撮影場所等が近接した映像および画像とすればよい。
また、相関関係を分析するための母集団の範囲は、月単位あるいは年単位など、映像／画像数を考慮しつつ決定すればよい。
【００２０】
以上の説明は、理解の容易のため、人物が２人の場合に限定したが、映像あるいは画像に含まれる人物が１人の場合や、３人以上の場合であっても同様に適用が可能である。なお、映像あるいは画像に含まれる人物が１人の場合には、人物同士の相関関係は見いだせないので、撮影場所、撮影日時なども含めて定義する必要がある。
また、オブジェクトとして、顔画像を検出する場合、照明や画像サイズの撮影条件、顔の向きあるいは障害物（人、物）の存在により隠れてしまうなどの撮影状態により、顔画像自体の検出が困難な場合がある。
また、顔画像を検出できた場合でも、上記のような事由により、顔画像の認識、すなわち人物の同定が困難な場合がありうる。
そこで、人物推定部３５は、図３の場合のように、リフト値パラメータＰｌｉｆｔ＝ｐ（Ｈ２｜Ｈ１）／ｐ（Ｈ２）が大きい場合には、人物Ｈ２が撮影されていると推定している。
一般に、解析の対象としたい人物は、家族や話題になっている人物に限定される。このような場合、中心対象（人物）を限定した方が効率的に相関関係の分析を行える。
そこで、本実施形態においては、中心対象となる人物を多数の人物の中の人物Ｈ１およびＨ２であるものとし、相関分析の結果に応じて中心対象の人物に関連する映像あるいは画像を表示している。
図５は、第１実施形態の映像／画像表示処理フローチャートである。
まずユーザは、表示部３７として機能する表示装置１４および操作部３８として機能する入力装置１３を用いて、検索または表示対象としたい中心対象の顔画像を選択する（ステップＳ１１）。
これにより画像処理装置１０の画像処理装置本体１１は、ユーザにより選択された顔画像に対応する映像あるいは画像の相関分析を行い、期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを算出する（ステップＳ１２）。
具体的には、図３の例の場合、中心対象の人物（顔画像）としてＨ２を選択した場合は、人物Ｈ２（顔画像）が含まれている映像および画像の総数ｐ（Ｈ２）、人物Ｈ２および人物Ｈ１の双方が含まれている映像および画像の枚数ｐ（Ｈ２｜Ｈ１）、Ｐｌｉｆｔ＝ｐ（Ｈ２｜Ｈ１）／ｐ（Ｈ２）を算出することになる。
次に画像処理装置本体１１は、期待信頼度パラメータＰｃｏｎｆの値あるいはリフト値パラメータＰｌｉｆｔの値が大きい順に映像あるいは画像を選択し、表示装置１４に表示する（ステップＳ１３）。
画像処理装置本体１１は、中心対象とする顔画像がユーザにより変更するか否かを問い合わせ、ユーザが変更を希望するか否かを判別し（ステップＳ１４）、変更を希望する場合には（ステップＳ１４；Ｙｅｓ）、再び処理をステップＳ１１に移行して、以下、同様の処理を行う。
また、ステップＳ１４の判別において、中心対象とする顔画像の変更が指示されていない場合には（ステップＳ１４；Ｎｏ）、処理を終了し、あるいは、同一の中心対象とする顔画像を含む映像あるいは画像のうち、次に期待信頼度パラメータＰｃｏｎｆの値あるいはリフト値パラメータＰｌｉｆｔの値が大きい映像あるいは画像を選択して表示することとなる。
以上の説明のように、本第１実施形態によれば、映像あるいは画像に含まれる一の人物（一のオブジェクトに相当）と、複数の映像あるいは画像に含まれる他の人物（他のオブジェクトに相当）の相関関係を分析して、再生対象の映像あるいは画像を検索することができる。
また、相関分析の結果に基づいて対象となる一の人物が含まれる映像あるいは画像に含まれる他の人物（他のオブジェクトに相当）を容易に推定し、認識することができ、画像認識の信頼度の向上を図ることができる。
【００２１】
［２］第２実施形態
上記第１実施形態においては、映像あるいは画像に含まれる人物（オブジェクト）の相関関係の時間的な変化については考慮していなかったが、本第２実施形態は、時間的な変化についても考慮し、映像または画像の検索を行い、あるいは、画像認識の信頼度の向上を図る場合の実施形態である。
【００２２】
図６は、第２実施形態の映像／画像表示処理フローチャートである。
まず、画像処理装置本体１１は、ユーザにより入力装置１３を介して、ライフスタイル解析表示が指示されると、記憶部４１として機能する外部記憶装置１６に記憶されている映像あるいは画像に含まれている人物（実際には、顔画像）の抽出および認識を一般的な手法により行う（ステップＳ２１）。
つづいて画像処理装置本体１１は、抽出され、認識された人物の顔画像に対応する映像あるいは画像の相関分析を行い、期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを算出する（ステップＳ２２）。
【００２３】
具体的には、図３の例の場合、中心対象の人物（顔画像）としてＨ２を選択した場合は、人物Ｈ２（顔画像）が含まれている映像および画像の総数ｐ（Ｈ２）、人物Ｈ２および人物Ｈ１の双方が含まれている映像および画像の枚数ｐ（Ｈ２｜Ｈ１）、Ｐｌｉｆｔ＝ｐ（Ｈ２｜Ｈ１）／ｐ（Ｈ２）を算出することになる。
これらの結果、出現パターン解析部は、期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを用いて、ライフスタイルやライフイベントの発生、すなわち家族構成の変化や、住居環境の変化などによる交友関係の変化等のオブジェクトである人物が映像あるいは画像に含まれるパターン（以下、出現パターンという。）の経年的な変化を推定し、判定することとなる（ステップＳ２３）。
【００２４】
具体的には、出現パターン解析部は、時系列的な出現パターンの変化を以下のいずれかで判断する。
（１）所定対象期間における特定の人物（オブジェクト）が含まれている映像および画像の総数が所定の閾値以上に大きく変化した場合。
上述の例の場合、所定対象期間におけるオブジェクトである人物Ｈ１（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）が所定の閾値以上に変化した場合である。
例えば、人物Ｈ１が今回の対象期間中に遠隔地の大学に入学してしまって、人物Ｈ１（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）が大きく減ってしまったような場合や、人物Ｈ１が赤ちゃんであり、今回の対象期間中に誕生したことにより、人物Ｈ１（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）が大きく増加した場合などである。
【００２５】
（２）所定対象期間における特定の人物および他の特定の人物が同時に含まれている映像および画像の総数が所定の閾値以上に大きく変化した場合。
上述の例の場合、所定対象期間における人物Ｈ１および人物Ｈ２の双方が含まれている映像および画像の枚数ｐ（Ｈ２｜Ｈ１）が所定の閾値以上に変化した場合である。
例えば、人物Ｈ１が親であり、人物Ｈ２が娘である場合に、人物Ｈ２が今回の対象期間中に嫁いでいってしまい、人物Ｈ１（あるいは顔）が含まれている映像および画像から、人物Ｈ２が含まれている映像および画像が減少した場合や、人物Ｈ１がお母さんであり、人物Ｈ２が今回の対象期間中に誕生した赤ちゃんであり、人物Ｈ１および（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）が大きく増加した場合などである。
【００２６】
（３）所定対象期間中における各人物の期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔをベクトルの各成分とし、前回の対象期間中におけるベクトルと、今回の対象期間中におけるベクトルとの、ベクトル間距離が閾値の以上に変化した場合。
【００２７】
上述したように、画像処理装置本体１１は、相関分析の概念を用いて映像あるいは画像にオブジェクトである人物が含まれる出現パターンの変化を検出する構成としているので、撮影画像枚数の変動の影響を受けることなく、出現パターンの変化、ひいては、ライフスタイルの変化あるいはライフイベントの発生を検出することができる。
これにより、画像処理装置本体１１は、ライフスタイルが変化した時期あるいはライフイベントの発生した時期を映像あるいは画像の選択開始時期あるいは選択終了時期として、映像または画像を選択し、表示部に表示させることとなる（ステップＳ２４）。
以上の説明のように、本第２実施形態によれば、自動的にライフスタイルの変化した時期あるいはライフイベントの発生した時期を検出し、この検出した時期を境として、一連の関係を有する複数の映像あるいは画像を検索してグループ化し、あるいはこれらの映像および画像を連続的に再生できるので、グループ化あるいは連続的な再生の際に、ユーザの手間を煩わすことがない。
【００２８】
［３］実施形態の効果
以上の説明のように、各実施形態によれば、複数のオブジェクトの相関関係を分析し、得られた分析結果に基づいて複数の映像および画像を検索して、所望のオブジェクト（本実施形態では、人物）を含む映像または画像の検索が容易になる。
さらに、本実施形態によれば、あるオブジェクト（本実施形態では、人物）を含む映像または画像に所望の他のオブジェクトが含まれる可能性をより信頼性高く推定することが可能となる。
また、本実施形態によれば、複数の映像または画像を連続的に再生するような場合に、ライフスタイルの変化に応じてより好適な映像または画像を検索して、効果的な連続再生（例えば、スライドショー）を自動的に実行することができる。
［４］実施形態の変形例
以上の説明においては、オブジェクトとして、顔画像（ひいては、人物）の場合について説明したが、オブジェクトはこれに限らず、動植物（ペットも含む）、物（車、日用品、道具等）、風景（町並み、海、湖、山等）、建造物（ビル、ダムなど）についても同様に適用が可能である。
【図面の簡単な説明】
【００２９】
【図１】実施形態のオブジェクト検出装置の概要構成ブロック図である。
【図２】画像処理装置の機能ブロック図である。
【図３】映像あるいは画像において、所定の人物（顔）が被写体として含まれる第１のパターンの説明図である。
【図４】映像あるいは画像において、所定の人物（顔）が被写体として含まれる第２のパターンの説明図である。
【図５】第１実施形態の映像／画像表示処理フローチャートである。
【図６】第２実施形態の映像／画像表示処理フローチャートである。
【符号の説明】
【００３０】
１０…画像処理装置、１１…画像処理装置本体、１２…画像入力装置、１３…入力装置、１４…表示装置、１５…出力装置、１６…外部記憶装置、２２…ＲＯＭ、２３…通信ネットワーク、２４…通信インタフェース部、３１…顔画像検出部、３２…顔画像認識部、３３…相関分析部、３４…出現パターン解析部、３５…人物推定部、３６…データ入力部、３７…表示部、３８…操作部、４１…記憶部、Ｐｃｏｎｆ…期待信頼度パラメータ、Ｐｌｉｆｔ…リフト値パラメータ、Ｈ１…人物、Ｈ２…人物。
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および制御プログラムに係り、特に再生などに際し、映像あるいは画像を検索するための画像処理装置、画像処理方法および制御プログラムに関する。
【背景技術】
【０００２】
特許文献１には、鑑賞者と他の人物とが同時に含まれる画像の枚数に応じて、鑑賞者と当該他の人物との親密度を算出し、鑑賞者に検索しやすい、電子アルバムや画像分類装置に関する技術が開示されている。
【特許文献１】特開２００６−７９４６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、例えば、撮影枚数が時系列的に変化したりする場合、撮影枚数のみから鑑賞者と他の人物との親密度を算出することは困難である。また、ある他の人物を含む画像が多い場合、実際の親密度に関わりなく、当該他の人物の親密度が見かけ上、大きくなってしまうという問題があった。
そこで、本発明の目的は、多数の映像、画像の中から、所望のオブジェクト（例えば、人物、顔、ペットなど）に関連すると思われる映像あるいは画像を検索して、再生等を行うに際し、よりユーザの望む映像あるいは画像を簡易に検索することが可能な画像処理装置、画像処理方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、画像処理装置は、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析部と、前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索部と、を備えたことを特徴としている。
上記構成によれば、相関分析部は、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する。
映像／画像検索部は、相関関係の分析結果に基づいて、一のオブジェクトおよび他のオブジェクトを検索キーとして、映像あるいは画像を検索する。
したがって、多数の映像あるいは画像を保有している場合でも、所望のオブジェクト（例えば、人物）が含まれる映像あるいは画像を容易に検索することができる。
この結果、所望のオブジェクトが含まれる映像あるいは画像を再生したり、処理することが容易となる。
【０００５】
この場合において、前記映像／画像検索部は、前記検索キーに基づいて、グループ化すべき前記映像あるいは画像、若しくは、再生すべき映像あるいは画像を検索するようにしてもよい。
上記構成によれば、容易な操作で、所望のオブジェクトが含まれる映像あるいは画像をグループ化して一括処理し、あるいは、再生させることができる。
また、前記相関分析部は、前記映像あるいは画像の撮影時期に応じて、所定期間毎に前記相関分析を行うようにしてもよい。
上記構成によれば、より相関が高いと思われる映像あるいは画像を相関分析することができ、有意義な相関分析が行える。
【０００６】
さらに、前記相関分析部は、前記映像あるいは画像の撮影場所に応じて、同一あるいは近接した前記撮影場所毎に前記相関分析を行うようにしてもよい。
上記構成によれば、より相関が高いと思われる映像あるいは画像を相関分析することができ、有意義な相関分析が行える。
さらにまた、前記映像／画像選択部は、前記相関分析の結果が所定の閾値よりも大きく変化した時期を前記検索キーに含めるようにしてもよい。
上記構成によれば、ライフスタイルの変化（例えば、結婚、誕生、独立など）を容易に把握することができ、より的確な検索を行うことができる。
【０００７】
また、前記映像あるいは画像に含まれる前記オブジェクトを認識するオブジェクト認識部と、前記相関関係に基づいて、前記一のオブジェクトが含まれる映像あるいは画像に含まれる他のオブジェクトを推定するオブジェクト推定部と、を備えるようにしてもよい。
上記構成によれば、他のオブジェクトの認識の信頼性が低いような場合であっても、信頼性を向上して、確実に認識が行える。
さらに、前記オブジェクト推定部は、前記オブジェクト認識部における前記他のオブジェクトの前記認識結果の信頼性が所定の信頼性よりも低い場合に、前記オブジェクトの認識対象の映像あるいは画像に同時に含まれる前記一のオブジェクトに対応する相関関係の分析結果に基づいて、前記他のオブジェクトを推定するようにしてもよい。
上記構成によれば、特に他のオブジェクトの認識結果の信頼性が低いような場合に、推定を行うため、全ての場合で推定を行う必要がなく、処理の簡易化が図れる。
【０００８】
さらにまた、認識対象の前記映像あるいは画像に含まれる前記オブジェクトを認識するオブジェクト認識部を備え、当該オブジェクト認識部は、既に認識したオブジェクトを、前記一のオブジェクトと仮定し、当該一のオブジェクトに対応する前記相関関係に基づいて、前記認識対象の映像あるいは画像に含まれる他のオブジェクトを推定するようにしてもよい。
上記構成によれば、ユーザは何ら意識することなく、信頼性の高い認識処理を行うことができる。
また、前記一のオブジェクトをユーザが指定するためのオブジェクト指定部を備えるようにしてもよい。
上記構成によれば、ユーザの所望のオブジェクトを基準として、映像あるいは画像の検索処理、ひいては、再生処理が行える。
さらに、前記オブジェクトは、人物の顔画像であるようにしてもよい。
上記構成によれば、容易に映像あるいは画像に含まれている人物を特定でき、人物単位で画像の検索、再生が行える。
【０００９】
また、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析過程と、前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索過程と、を備えたことを特徴としている。
上記構成によれば、多数の映像あるいは画像を保有している場合でも、所望のオブジェクト（例えば、人物）が含まれる映像あるいは画像を容易に検索することができ、所望のオブジェクトが含まれる映像あるいは画像を再生したり、処理することが容易となる。
【００１０】
さらに、映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析過程と、前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索過程と、を備えたことを特徴としている。
上記構成によれば、容易な操作で、所望のオブジェクトが含まれる映像あるいは画像をグループ化して一括処理し、あるいは、再生させることができる。
【００１１】
また、映像あるいは画像に含まれるオブジェクトに基づいて前記映像あるいは画像を検索する画像処理装置をコンピュータにより制御するための制御プログラムにおいて、前記映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析させ、前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索させることを特徴としている。
上記構成によれば、多数の映像あるいは画像を保有している場合でも、所望のオブジェクト（例えば、人物）が含まれる映像あるいは画像を容易に検索することができ、所望のオブジェクトが含まれる映像あるいは画像を再生したり、処理することが容易となる。
【発明を実施するための最良の形態】
【００１２】
次に本発明の好適な実施の形態について図面を参照して説明する。
次に図面を参照して本発明の好適な実施の形態について図面を参照して説明する。
［１］第１実施形態
図１は、実施形態の画像処理装置の概要構成ブロック図である。
画像処理装置１０は、パーソナルコンピュータとして構成されており、画像処理を行う画像処理装置本体１１と、各種画像入力を行う画像入力装置１２と、各種操作を行うためのキーボード、マウスなどの入力装置１３と、各種表示を行う液晶ディスプレイなどの表示装置１４と、印刷を行うプリンタなどの出力装置１５と、各種データを記憶するハードディスク装置などの外部記憶装置１６と、を備えている。
画像処理装置本体１１は、当該画像処理装置本体１１全体の制御を行うマイクロプロセッサユニット（ＭＰＵ）２１と、各種データを記憶するＲＯＭ２２と、ＬＡＮ、インターネットなどの外部の通信ネットワーク２３との間のインタフェース動作を行う通信インタフェース部２４と、を備えている。
【００１３】
図２は、画像処理装置の機能ブロック図である。
画像処理装置１０は、大別すると、顔画像検出部３１と、顔画像認識部３２と、相関分析部３３と、出現パターン解析部３４と、人物推定部３５と、データ入力部３６と、表示部３７と、操作部３８と、を備え、さらに外部に映像データ（動画データ）および画像データ（静止画データ）を記憶する記憶部４１が接続されている。
顔画像検出部３１は、映像データに対応する映像あるいは画像データに対応する画像に含まれる顔画像を検出し、当該顔画像を含む顔画像データを顔画像認識部３２に出力する。
顔画像認識部３２は、顔画像データに基づいて、顔画像の画像特徴量を抽出して、画像認識を行って、誰の顔画像であるかを認識し、認識結果を相関分析部に出力する。
相関分析部３３は、映像データに対応する映像あるいは画像データに対応する画像と、それらに含まれる顔画像に基づいて、映像あるいは画像に含まれるいずれかの人物の、当該映像あるいは当該画像に含まれる他の人物に対する相関分析を行う。
【００１４】
出現パターン解析部３４は、相関分析部３３における相関分析結果に基づいて、映像あるいは画像におけるある人物が、当該映像あるいは画像に含まれる他の人物との関係における出現パターンを解析する。さらに、出現パターン解析部３４は、相関分析結果に基づいて、対象となる人物のライフスタイルやライフイベントの発生、すなわち、家族構成の変化や、住居環境の変化などによる交友関係の変化を推定する。
人物推定部３５は、顔画像認識部３２において、顔画像の認識ができなかった場合、顔画像の認識信頼性が低いと判断される場合あるいは顔画像の認識信頼度を向上させたい場合に、認識対象の映像データに対応する映像あるいは画像データに対応する画像に含まれ、かつ、認識できた他の顔画像および出現パターンに基づいて、対象となる顔画像に対応する人物を推定する。
データ入力部３６は、様々な画像フォーマットの画像を、様々な圧縮形式、ファイル形式を有するファイルや、スキャナ、ディジタルカメラ、ディジタルビデオカメラなどの入力装置から抽出あるいは受け取って、記憶部４１に記憶させる。この場合において、圧縮形式としては、ＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４等が挙げられる。
【００１５】
表示部３７は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、ＣＲＴなどの表示装置を有し、画像認識対象の画像、あるいは、画像認識結果に基づく一または複数の映像あるいは画像を表示する。
操作部３８は、ユーザが表示部３７に表示させたい映像あるいは画像に含まれるキーとなる人物（中心人物）などを指定するための操作を含む各種操作を行わせる。
これらの画像処理機能については、実際には、画像処理装置本体１１が所定の制御プログラムにより実現することとなっている。
【００１６】
図３は、映像あるいは画像において、所定の人物（顔）が被写体として含まれる第１のパターンの説明図である。また、図４は、映像あるいは画像において、所定の人物（顔）が被写体として含まれる第２のパターンの説明図である。
図３および図４において、各矩形領域ＳＱ１、ＳＱ２は、処理対象の映像および画像の総枚数（相関分析対象の母集団）、各円領域Ｃ１、Ｃ２の大きさは、各人物Ｈ１、Ｈ２が含まれる映像および画像の枚数を示している。
図３のパターンでは、人物Ｈ１が被写体として含まれる場合、必ず人物Ｈ２が被写体として含まれる場合の特徴的なパターンを示している。例えば、幼児（＝人物Ｈ１）と母親（＝人物Ｈ２）などはこのようなパターンを示す。
これに対し、図４のパターンでは、撮影枚数が多く、しかも人物Ｈ１と人物Ｈ２の撮影枚数がたまたま多い場合のパターンを示している。このようなパターンでは、出現頻度で分析を行うと、図３で示したパターンよりも特徴的なパターンとして誤認識されるおそれがある。このため、本実施形態では、出現頻度ではなく、相関分析の手法を適用して、正しくパターンを認識するようにしている。
本実施形態では、相関分析における信頼度（ｃｏｎｆｉｄｅｎｃｅ）、支持度（ｓｕｐｐｏｒｔ）およびリフト値（ｌｉｆｔ）に相当するパラメータとして、期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを以下のように定義している。
【００１７】
（１）期待信頼度パラメータＰｃｏｎｆ
期待信頼度パラメータＰｃｏｎｆは、所定期間における全データ数（映像および画像の総数）に対する、オブジェクトである人物Ｈ１（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）の比として定義されている。
Ｐｃｏｎｆ＝ｐ（Ｈ１）／映像および画像の総数
【００１８】
（３）リフト値パラメータＰｌｉｆｔ
リフト値パラメータＰｌｉｆｔは、オブジェクトである人物Ｈ２（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ２）に対する、オブジェクトである人物Ｈ１および人物Ｈ２の双方が含まれている映像および画像の枚数ｐ（Ｈ２｜Ｈ１）の比として定義されている。
Ｐｌｉｆｔ＝ｐ（Ｈ２｜Ｈ１）／ｐ（Ｈ２）
ここで、オブジェクトである人物Ｈ２（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ２）≠０である。
【００１９】
この場合において、これらの期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを算出するための映像／画像群の単位は、同一映像あるいは同一画像、あるいは同一撮影日の映像あるいは画像、撮影日時、撮影場所等が近接した映像および画像とすればよい。
また、相関関係を分析するための母集団の範囲は、月単位あるいは年単位など、映像／画像数を考慮しつつ決定すればよい。
【００２０】
以上の説明は、理解の容易のため、人物が２人の場合に限定したが、映像あるいは画像に含まれる人物が１人の場合や、３人以上の場合であっても同様に適用が可能である。なお、映像あるいは画像に含まれる人物が１人の場合には、人物同士の相関関係は見いだせないので、撮影場所、撮影日時なども含めて定義する必要がある。
また、オブジェクトとして、顔画像を検出する場合、照明や画像サイズの撮影条件、顔の向きあるいは障害物（人、物）の存在により隠れてしまうなどの撮影状態により、顔画像自体の検出が困難な場合がある。
また、顔画像を検出できた場合でも、上記のような事由により、顔画像の認識、すなわち人物の同定が困難な場合がありうる。
そこで、人物推定部３５は、図３の場合のように、リフト値パラメータＰｌｉｆｔ＝ｐ（Ｈ２｜Ｈ１）／ｐ（Ｈ２）が大きい場合には、人物Ｈ２が撮影されていると推定している。
一般に、解析の対象としたい人物は、家族や話題になっている人物に限定される。このような場合、中心対象（人物）を限定した方が効率的に相関関係の分析を行える。
そこで、本実施形態においては、中心対象となる人物を多数の人物の中の人物Ｈ１およびＨ２であるものとし、相関分析の結果に応じて中心対象の人物に関連する映像あるいは画像を表示している。
図５は、第１実施形態の映像／画像表示処理フローチャートである。
まずユーザは、表示部３７として機能する表示装置１４および操作部３８として機能する入力装置１３を用いて、検索または表示対象としたい中心対象の顔画像を選択する（ステップＳ１１）。
これにより画像処理装置１０の画像処理装置本体１１は、ユーザにより選択された顔画像に対応する映像あるいは画像の相関分析を行い、期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを算出する（ステップＳ１２）。
具体的には、図３の例の場合、中心対象の人物（顔画像）としてＨ２を選択した場合は、人物Ｈ２（顔画像）が含まれている映像および画像の総数ｐ（Ｈ２）、人物Ｈ２および人物Ｈ１の双方が含まれている映像および画像の枚数ｐ（Ｈ２｜Ｈ１）、Ｐｌｉｆｔ＝ｐ（Ｈ２｜Ｈ１）／ｐ（Ｈ２）を算出することになる。
次に画像処理装置本体１１は、期待信頼度パラメータＰｃｏｎｆの値あるいはリフト値パラメータＰｌｉｆｔの値が大きい順に映像あるいは画像を選択し、表示装置１４に表示する（ステップＳ１３）。
画像処理装置本体１１は、中心対象とする顔画像がユーザにより変更するか否かを問い合わせ、ユーザが変更を希望するか否かを判別し（ステップＳ１４）、変更を希望する場合には（ステップＳ１４；Ｙｅｓ）、再び処理をステップＳ１１に移行して、以下、同様の処理を行う。
また、ステップＳ１４の判別において、中心対象とする顔画像の変更が指示されていない場合には（ステップＳ１４；Ｎｏ）、処理を終了し、あるいは、同一の中心対象とする顔画像を含む映像あるいは画像のうち、次に期待信頼度パラメータＰｃｏｎｆの値あるいはリフト値パラメータＰｌｉｆｔの値が大きい映像あるいは画像を選択して表示することとなる。
以上の説明のように、本第１実施形態によれば、映像あるいは画像に含まれる一の人物（一のオブジェクトに相当）と、複数の映像あるいは画像に含まれる他の人物（他のオブジェクトに相当）の相関関係を分析して、再生対象の映像あるいは画像を検索することができる。
また、相関分析の結果に基づいて対象となる一の人物が含まれる映像あるいは画像に含まれる他の人物（他のオブジェクトに相当）を容易に推定し、認識することができ、画像認識の信頼度の向上を図ることができる。
【００２１】
［２］第２実施形態
上記第１実施形態においては、映像あるいは画像に含まれる人物（オブジェクト）の相関関係の時間的な変化については考慮していなかったが、本第２実施形態は、時間的な変化についても考慮し、映像または画像の検索を行い、あるいは、画像認識の信頼度の向上を図る場合の実施形態である。
【００２２】
図６は、第２実施形態の映像／画像表示処理フローチャートである。
まず、画像処理装置本体１１は、ユーザにより入力装置１３を介して、ライフスタイル解析表示が指示されると、記憶部４１として機能する外部記憶装置１６に記憶されている映像あるいは画像に含まれている人物（実際には、顔画像）の抽出および認識を一般的な手法により行う（ステップＳ２１）。
つづいて画像処理装置本体１１は、抽出され、認識された人物の顔画像に対応する映像あるいは画像の相関分析を行い、期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを算出する（ステップＳ２２）。
【００２３】
具体的には、図３の例の場合、中心対象の人物（顔画像）としてＨ２を選択した場合は、人物Ｈ２（顔画像）が含まれている映像および画像の総数ｐ（Ｈ２）、人物Ｈ２および人物Ｈ１の双方が含まれている映像および画像の枚数ｐ（Ｈ２｜Ｈ１）、Ｐｌｉｆｔ＝ｐ（Ｈ２｜Ｈ１）／ｐ（Ｈ２）を算出することになる。
これらの結果、出現パターン解析部は、期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔを用いて、ライフスタイルやライフイベントの発生、すなわち家族構成の変化や、住居環境の変化などによる交友関係の変化等のオブジェクトである人物が映像あるいは画像に含まれるパターン（以下、出現パターンという。）の経年的な変化を推定し、判定することとなる（ステップＳ２３）。
【００２４】
具体的には、出現パターン解析部は、時系列的な出現パターンの変化を以下のいずれかで判断する。
（１）所定対象期間における特定の人物（オブジェクト）が含まれている映像および画像の総数が所定の閾値以上に大きく変化した場合。
上述の例の場合、所定対象期間におけるオブジェクトである人物Ｈ１（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）が所定の閾値以上に変化した場合である。
例えば、人物Ｈ１が今回の対象期間中に遠隔地の大学に入学してしまって、人物Ｈ１（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）が大きく減ってしまったような場合や、人物Ｈ１が赤ちゃんであり、今回の対象期間中に誕生したことにより、人物Ｈ１（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）が大きく増加した場合などである。
【００２５】
（２）所定対象期間における特定の人物および他の特定の人物が同時に含まれている映像および画像の総数が所定の閾値以上に大きく変化した場合。
上述の例の場合、所定対象期間における人物Ｈ１および人物Ｈ２の双方が含まれている映像および画像の枚数ｐ（Ｈ２｜Ｈ１）が所定の閾値以上に変化した場合である。
例えば、人物Ｈ１が親であり、人物Ｈ２が娘である場合に、人物Ｈ２が今回の対象期間中に嫁いでいってしまい、人物Ｈ１（あるいは顔）が含まれている映像および画像から、人物Ｈ２が含まれている映像および画像が減少した場合や、人物Ｈ１がお母さんであり、人物Ｈ２が今回の対象期間中に誕生した赤ちゃんであり、人物Ｈ１および（あるいは顔）が含まれている映像および画像の総数ｐ（Ｈ１）が大きく増加した場合などである。
【００２６】
（３）所定対象期間中における各人物の期待信頼度パラメータＰｃｏｎｆ、リフト値パラメータＰｌｉｆｔをベクトルの各成分とし、前回の対象期間中におけるベクトルと、今回の対象期間中におけるベクトルとの、ベクトル間距離が閾値の以上に変化した場合。
【００２７】
上述したように、画像処理装置本体１１は、相関分析の概念を用いて映像あるいは画像にオブジェクトである人物が含まれる出現パターンの変化を検出する構成としているので、撮影画像枚数の変動の影響を受けることなく、出現パターンの変化、ひいては、ライフスタイルの変化あるいはライフイベントの発生を検出することができる。
これにより、画像処理装置本体１１は、ライフスタイルが変化した時期あるいはライフイベントの発生した時期を映像あるいは画像の選択開始時期あるいは選択終了時期として、映像または画像を選択し、表示部に表示させることとなる（ステップＳ２４）。
以上の説明のように、本第２実施形態によれば、自動的にライフスタイルの変化した時期あるいはライフイベントの発生した時期を検出し、この検出した時期を境として、一連の関係を有する複数の映像あるいは画像を検索してグループ化し、あるいはこれらの映像および画像を連続的に再生できるので、グループ化あるいは連続的な再生の際に、ユーザの手間を煩わすことがない。
【００２８】
［３］実施形態の効果
以上の説明のように、各実施形態によれば、複数のオブジェクトの相関関係を分析し、得られた分析結果に基づいて複数の映像および画像を検索して、所望のオブジェクト（本実施形態では、人物）を含む映像または画像の検索が容易になる。
さらに、本実施形態によれば、あるオブジェクト（本実施形態では、人物）を含む映像または画像に所望の他のオブジェクトが含まれる可能性をより信頼性高く推定することが可能となる。
また、本実施形態によれば、複数の映像または画像を連続的に再生するような場合に、ライフスタイルの変化に応じてより好適な映像または画像を検索して、効果的な連続再生（例えば、スライドショー）を自動的に実行することができる。
［４］実施形態の変形例
以上の説明においては、オブジェクトとして、顔画像（ひいては、人物）の場合について説明したが、オブジェクトはこれに限らず、動植物（ペットも含む）、物（車、日用品、道具等）、風景（町並み、海、湖、山等）、建造物（ビル、ダムなど）についても同様に適用が可能である。
【図面の簡単な説明】
【００２９】
【図１】実施形態のオブジェクト検出装置の概要構成ブロック図である。
【図２】画像処理装置の機能ブロック図である。
【図３】映像あるいは画像において、所定の人物（顔）が被写体として含まれる第１のパターンの説明図である。
【図４】映像あるいは画像において、所定の人物（顔）が被写体として含まれる第２のパターンの説明図である。
【図５】第１実施形態の映像／画像表示処理フローチャートである。
【図６】第２実施形態の映像／画像表示処理フローチャートである。
【符号の説明】
【００３０】
１０…画像処理装置、１１…画像処理装置本体、１２…画像入力装置、１３…入力装置、１４…表示装置、１５…出力装置、１６…外部記憶装置、２２…ＲＯＭ、２３…通信ネットワーク、２４…通信インタフェース部、３１…顔画像検出部、３２…顔画像認識部、３３…相関分析部、３４…出現パターン解析部、３５…人物推定部、３６…データ入力部、３７…表示部、３８…操作部、４１…記憶部、Ｐｃｏｎｆ…期待信頼度パラメータ、Ｐｌｉｆｔ…リフト値パラメータ、Ｈ１…人物、Ｈ２…人物。
【特許請求の範囲】
【請求項１】
映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析部と、
前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記映像／画像検索部は、前記検索キーに基づいて、グループ化すべき前記映像あるいは画像、若しくは、再生すべき映像あるいは画像を検索することを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２記載の画像処理装置において、
前記相関分析部は、前記映像あるいは画像の撮影時期に応じて、所定期間毎に前記相関分析を行うことを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理装置において、
前記相関分析部は、前記映像あるいは画像の撮影場所に応じて、同一あるいは近接した前記撮影場所毎に前記相関分析を行うことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置において、
前記映像／画像検索部は、前記相関分析の結果が所定の閾値よりも大きく変化した時期を前記検索キーに含めることを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
前記映像あるいは画像に含まれる前記オブジェクトを認識するオブジェクト認識部と、
前記相関関係に基づいて、前記一のオブジェクトが含まれる映像あるいは画像に含まれる他のオブジェクトを推定するオブジェクト推定部と、
を備えたことを特徴とする画像処理装置。
【請求項７】
請求項６記載の画像処理装置において、
前記オブジェクト推定部は、前記オブジェクト認識部における前記他のオブジェクトの前記認識結果の信頼性が所定の信頼性よりも低い場合に、前記オブジェクトの認識対象の映像あるいは画像に同時に含まれる前記一のオブジェクトに対応する相関関係の分析結果に基づいて、前記他のオブジェクトを推定することを特徴とする画像処理装置。
【請求項８】
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
認識対象の前記映像あるいは画像に含まれる前記オブジェクトを認識するオブジェクト認識部を備え、
当該オブジェクト認識部は、既に認識したオブジェクトを、前記一のオブジェクトと仮定し、当該一のオブジェクトに対応する前記相関関係に基づいて、前記認識対象の映像あるいは画像に含まれる他のオブジェクトを推定する、
ことを特徴とする画像処理装置。
【請求項９】
請求項１ないし請求項７のいずれかに記載の画像処理装置において、
前記一のオブジェクトをユーザが指定するためのオブジェクト指定部を備えたことを特徴とする画像処理装置。
【請求項１０】
請求項１ないし請求項９のいずれかに記載の画像処理装置において、
前記オブジェクトは、人物の顔画像であることを特徴とする画像処理装置。
【請求項１１】
映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析過程と、
前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索過程と、
を備えたことを特徴とする画像処理方法。
【請求項１２】
映像あるいは画像に含まれるオブジェクトに基づいて前記映像あるいは画像を検索する画像処理装置をコンピュータにより制御するための制御プログラムにおいて、
前記映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析させ、
前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索させる、
ことを特徴とする制御プログラム。
【請求項１】
映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析部と、
前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記映像／画像検索部は、前記検索キーに基づいて、グループ化すべき前記映像あるいは画像、若しくは、再生すべき映像あるいは画像を検索することを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２記載の画像処理装置において、
前記相関分析部は、前記映像あるいは画像の撮影時期に応じて、所定期間毎に前記相関分析を行うことを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理装置において、
前記相関分析部は、前記映像あるいは画像の撮影場所に応じて、同一あるいは近接した前記撮影場所毎に前記相関分析を行うことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置において、
前記映像／画像検索部は、前記相関分析の結果が所定の閾値よりも大きく変化した時期を前記検索キーに含めることを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
前記映像あるいは画像に含まれる前記オブジェクトを認識するオブジェクト認識部と、
前記相関関係に基づいて、前記一のオブジェクトが含まれる映像あるいは画像に含まれる他のオブジェクトを推定するオブジェクト推定部と、
を備えたことを特徴とする画像処理装置。
【請求項７】
請求項６記載の画像処理装置において、
前記オブジェクト推定部は、前記オブジェクト認識部における前記他のオブジェクトの前記認識結果の信頼性が所定の信頼性よりも低い場合に、前記オブジェクトの認識対象の映像あるいは画像に同時に含まれる前記一のオブジェクトに対応する相関関係の分析結果に基づいて、前記他のオブジェクトを推定することを特徴とする画像処理装置。
【請求項８】
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
認識対象の前記映像あるいは画像に含まれる前記オブジェクトを認識するオブジェクト認識部を備え、
当該オブジェクト認識部は、既に認識したオブジェクトを、前記一のオブジェクトと仮定し、当該一のオブジェクトに対応する前記相関関係に基づいて、前記認識対象の映像あるいは画像に含まれる他のオブジェクトを推定する、
ことを特徴とする画像処理装置。
【請求項９】
請求項１ないし請求項７のいずれかに記載の画像処理装置において、
前記一のオブジェクトをユーザが指定するためのオブジェクト指定部を備えたことを特徴とする画像処理装置。
【請求項１０】
請求項１ないし請求項９のいずれかに記載の画像処理装置において、
前記オブジェクトは、人物の顔画像であることを特徴とする画像処理装置。
【請求項１１】
映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析する相関分析過程と、
前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索する映像／画像検索過程と、
を備えたことを特徴とする画像処理方法。
【請求項１２】
映像あるいは画像に含まれるオブジェクトに基づいて前記映像あるいは画像を検索する画像処理装置をコンピュータにより制御するための制御プログラムにおいて、
前記映像あるいは画像に含まれる一のオブジェクトと、複数の映像あるいは画像に含まれる他のオブジェクトと、の間の相関関係を分析させ、
前記相関関係の分析結果に基づいて、前記一のオブジェクトおよび前記他のオブジェクトを検索キーとして、前記映像あるいは画像を検索させる、
ことを特徴とする制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−１２９６８２（Ｐ２００８−１２９６８２Ａ）
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願番号】特願２００６−３１１３０９（Ｐ２００６−３１１３０９）
【出願日】平成１８年１１月１７日（２００６．１１．１７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願日】平成１８年１１月１７日（２００６．１１．１７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]