類似分析装置、画像表示装置、画像表示プログラム、および画像表示方法
【課題】所定の人物の顔画像と、撮影画像中の顔との類似度合を精度良く分析することができる類似分析装置、画像表示装置、画像表示プログラム、および画像表示方法を提供することを目的とする。
【解決手段】撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部とを備えた。
【解決手段】撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の顔同士の類似度を分析する類似分析装置、撮影画像の一覧を表示する画像表示装置、画像表示プログラム、および画像表示方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラの小型化が急速に進んできたことに加えて、日ごろから常に携帯している携帯電話などといった小型機器に撮影装置を搭載することが広く行われており、撮影装置を手軽に持ち運ぶことができるようになってきている。デジタルカメラや、小型機器に搭載された撮影装置では、デジタルの撮影画像が取得されるため、撮影画像をその場ですぐに液晶ディスプレイなどに表示して確認したり、不要な撮影画像をプリント出力する前に削除することができる。さらに、複数枚の撮影画像をまとめて記録メディア等に記録しておくことによって、保管の際にかさ張らず、撮影画像を高画質なままで保管することができる。
【０００３】
撮影画像を効率よく整理する方法として、パーソナルコンピュータを使って撮影画像を整理するためのアルバム用アプリケーションが広く用いられてきている。パーソナルコンピュータは、大容量なハードディスク装置が備えられているため、残容量を気にせずに大量の撮影画像を保存しておくことができるうえ、撮影画像をコピーしたり、撮影画像を電子メールなどに添付するなどといった作業が容易であるという利点がある。
【０００４】
また、画像処理の分野では、撮影画像中の撮影シーンを解析するシーン解析技術や、撮影画像中の顔を抽出する顔抽出技術などが広く知られており、アルバム用アプリケーションの分野においても、これらシーン解析技術や顔抽出技術を応用した付加機能の開発が進められている。この点に関し、予め顔画像を登録しておくと、ハードディスク装置などに記憶されている大量の撮影画像の中から、その登録されている顔画像と似ている顔が写っている撮影画像を検索して表示する画像表示方法が考案されてきている（例えば、特許文献１および特許文献２参照）。このような画像表示方法によると、大量の撮影画像が保存されている場合であっても、友人や家族などが写っている撮影画像を容易に見つけだして電子メール等で配布することができ、コミュニケーションの向上を図ることができる。
【特許文献１】特開２００６−３１４０１０号公報
【特許文献２】特開２００４−１７２８４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、上述した顔抽出技術などでは、撮影画像中の、目や鼻や口などといった特徴的な形状を有する画像部分を検索して顔を抽出するものが一般的である。このため、例えば、娘が写っている撮影画像を検索しようとすると、顔の各部位の形状が似ている若いころの母親の撮影画像まで検索されてしまったり、顔の各部位が丸みを帯びている赤ちゃん同士を区別することが困難であるという問題がある。
【０００６】
本発明は、上記事情に鑑み、所定の人物の顔画像と、撮影画像中の顔との類似度合を精度良く分析することができる類似分析装置、画像表示装置、画像表示プログラム、および画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の類似分析装置は、撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部とを備えたことを特徴とする。
【０００８】
本発明の類似分析装置によると、撮影画像中の顔と、登録された顔画像中の顔との類似度合いが、撮影画像の撮影日時と顔画像の撮影日時との差分が大きい程大きく低減される。例えば、娘の顔画像を登録した場合、類似度算出部では、若いころの母親が写っている撮影画像について高い類似度合いが算出されるが、それらの撮影画像が撮影された撮影日時は大きく離れているため、類似度低減部において、算出された類似度合いが大きく低減される。このように、本発明の類似分析装置によると、画像中の顔の類似度合いに加えて、それらの画像が撮影された撮影日時の差分も考慮されるため、精度良く類似度合いを分析することができる。
【０００９】
また、本発明の類似分析装置において、上記画像登録部は、撮影日時に加えて、年齢も対応付けられた顔画像を登録するものであり、
上記類似度低減部は、類似度を低減させるに当たり、差分が大きい程大きい低減度、かつ年齢に応じた低減度で低減させるものであることが好ましい。
【００１０】
通常、子供のころは大きく顔が変わるが、大人になると顔の変化が小さくなることが一般的である。例えば、子供の年齢では類似度を大きく低減させ、大人の年齢では類似度の低減を抑えることによって、類似度合いの算出精度を向上させることができる。
【００１１】
また、上記目的を達成する本発明の画像表示装置は、撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部と、
画像取得部で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示部とを備えたことを特徴とする。
【００１２】
本発明の画像表示装置によると、大量の撮影画像が保存されている場合であっても、それらの撮影画像のうち所定の人物の顔と類似度合いが大きい顔が写っている撮影画像を効率よく確認することができる。
【００１３】
また、本発明の画像表示装置において、上記画像登録部は、撮影日時に加えて、年齢も対応付けられた顔画像を登録するものであり、
上記類似度低減部は、前記類似度を低減させるに当たり、前記差分が大きい程大きい低減度、かつ前記年齢に応じた低減度で低減させるものであることが好適である。
【００１４】
この好適な画像表示装置によると、顔画像中の顔と撮影画像中の顔との類似度合いをさらに精度良く算出することができる。
【００１５】
また、本発明の画像表示装置において、上記画像表示部は、類似度合の軸を有する３次元空間を表示し、その３次元空間上における、類似度低減部で低減された撮影画像の類似度合の位置に撮影画像を配置するものであることが好ましい。
【００１６】
３次元空間上の撮影画像の配置位置によって、その撮影画像中の顔と顔画像中の顔との類似度合いを容易に確認することができる。
【００１７】
また、本発明の画像表示装置は、類似度合の軸を有する２次元空間を表示し、その２次元空間上における、類似度低減部で低減された撮影画像の類似度合の位置に、撮影画像が存在することを示すマークを配置する補助表示部を備えたことが好ましい。
【００１８】
大量の撮影画像を類似度合の大きいものから順に配置して表示すると、それらの撮影画像の配置位置が重なり合ってしまって、撮影画像の有無が見えにくくなってしまう恐れがある。画像表示部における表示に加えて、２次元空間上にマークを配置して表示することによって、撮影画像の存在を容易に認識することができる。
【００１９】
また、本発明の画像表示装置は、２次元空間上の、前記類似度合の軸とは別の軸に沿った指定枠を表示する、操作に応じて該指定枠を該類似度合の軸に沿って移動させることにより、２次元空間上で該類似度合を指定する指定部と、
上記３次元表示部に、上記指定部によって指定された類似度合の撮影画像を最前面に配置させる表示制御部とを備えたことが好ましい。
【００２０】
２次元空間上の指定枠を移動させることによって、３次元空間上の表示を容易に切り替えることができる。
【００２１】
また、本発明の画像表示装置において、上記指定部によって指定された類似度合の撮影画像の数を表示する画像数表示部を備えたことが好適である。
【００２２】
この好適な画像表示装置によると、指定部によって指定された類似度合いの撮影画像の数を容易に確認することができる。
【００２３】
また、本発明の画像表示装置において、上記画像取得部が、複数の撮影画像が記憶された記憶装置から該複数の撮影画像を取得するものであることが好適である。
【００２４】
この好適な画像表示装置によると、ハードディスク装置などに撮影画像が大量に記憶されている場合であっても、登録された顔画像中の顔と似た顔が写っている撮影画像を容易に確認することができる。
【００２５】
また、上記目的を達成する本発明の画像表示プログラムは、コンピュータ内で実行され、コンピュータ上に、
撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部と、
画像取得部で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示部とを構築することを特徴とする。
【００２６】
尚、画像表示プログラムについては、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像表示プログラムには、上記の基本形態のみではなく、前述した画像表示装置の各形態に対応する各種の形態が含まれる。
【００２７】
さらに、本発明の画像表示プログラムがコンピュータシステム上に構築する画像取得部などといった要素は、１つの要素が１つのプログラム部品によって構築されるものであってもよく、複数の要素が１つのプログラム部品によって構築されるものであってもよい。また、これらの要素は、そのような作用を自分自身で実行するものとして構築されてもよく、あるいはコンピュータシステムに組み込まれている他のプログラムやプログラム部品に指示を与えて実行するものとして構築されてもよい。
【００２８】
また、上記目的を達成する本発明の画像表示方法は、撮影日時が対応付けられた複数の撮影画像を取得する画像取得過程と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録過程と、
画像取得過程で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、画像登録過程で登録された顔画像中の顔との類似度合いを算出する類似度算出過程と、
撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減過程と、
画像取得過程で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示過程とを有することを特徴とする。
【００２９】
本発明の画像表示方法によると、大量の撮影画像が保存されている場合であっても、それらの撮影画像のうち所定の人物の顔と類似度合いが大きい顔が写っている撮影画像を効率よく確認することができる。
【００３０】
尚、画像表示方法についても、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像表示方法には、上記の基本形態のみではなく、前述した画像表示装置の各形態に対応する各種の形態が含まれる。
【発明の効果】
【００３１】
本発明によれば、所定の人物の顔画像と、撮影画像中の顔との類似度合を精度良く分析することができる。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照して本発明の実施の形態を説明する。
【００３３】
図１は、本発明の一実施形態が適用されたパーソナルコンピュータの外観構成図である。
【００３４】
パーソナルコンピュータ１００は、外観構成上、本体装置１０１、その本体装置１０１からの指示に応じて表示画面１０２ａ上に画像を表示する画像表示装置１０２、本体装置１０１にキー操作に応じた各種の情報を入力するキーボード１０３、および、表示画面１０２ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス１０４を備えている。また、図示しないが、この本体装置１０１は、ＤＶＤやＣＤ−ＲＯＭが装填されるＣＤ／ＤＶＤ装填口、およびフレキシブルディスク（以下では、ＦＤと省略する）を装填するためのＦＤ装填口を有している。
【００３５】
図２は、パーソナルコンピュータ１００の内部構成図である。
【００３６】
本体装置１０１の内部には、図２に示すように、各種プログラムを実行するＣＰＵ１１１、ハードディスク装置１１３に格納されたプログラムが読み出されＣＰＵ１１１での実行のために展開される主メモリ１１２、各種プログラムやデータ等が保存されたハードディスク装置１１３、ＣＤ−ＲＯＭ３００やＤＶＤが装填され、その装填されたＣＤ−ＲＯＭ３００やＤＶＤをアクセスするＣＤ／ＤＶＤドライブ１１４、ＦＤ３１０が装填され、装填されたＦＤ３１０をアクセスするＦＤドライブ１１５、およびデジタルカメラなどといった外部装置と接続され、その外部装置との間でデータの送受信を行う通信インタフェース１１６が備えられており、これらの各種要素と、さらに図２にも示す画像表示装置１０２、キーボード１０３、およびマウス１０４は、バス１０５を介して相互に接続されている。
【００３７】
ここで、ＣＤ−ＲＯＭ３００には、本発明の画像表示プログラムの一実施形態が適用された画像表示プログラムが記憶されている。そのＣＤ−ＲＯＭ３００はＣＤ／ＤＶＤドライブ１１４に装填され、そのＣＤ−ＲＯＭ３００に記憶された画像表示プログラムがこのパーソナルコンピュータ１００にアップロードされてハードディスク装置１１３に記憶される。そして、この表示プログラムが起動されて実行されることにより、パーソナルコンピュータ１００内に、本発明の画像表示装置の一実施形態が適用された撮影画像表示装置５００（図４参照）が構築される。
【００３８】
次に、このパーソナルコンピュータ１００内で実行される画像表示プログラムについて説明する。
【００３９】
図３は、画像表示プログラムが記憶されたＣＤ−ＲＯＭ３００を示す概念図である。
【００４０】
画像表示プログラム４００は、指示部４１０、取込部４１２、登録部４１３、撮影情報・画像取得部４１４、位置算出部４１５、２次元画像生成部４１６、３次元画像生成部４１７、分析部４１８、表示部４１９、強調表示部４２０、画像記憶部４２１、数表示部４２２、および制御部４２３で構成されており、分析部４１８は、さらに、顔抽出部４１８１と、類似度算出部４１８２と、差分算出部４１８３と、類似度決定部４１８４とを有している。画像表示プログラム４００の各部の詳細については、撮影画像表示装置５００の各部の作用と一緒に説明する。
【００４１】
尚、図３では、画像表示プログラムを記憶する記憶媒体としてＣＤ−ＲＯＭ３００が例示されているが、本発明の表示プログラムを記憶する記憶媒体はＣＤ−ＲＯＭに限られるものではなく、それ以外の光ディスク、ＭＯ、ＦＤ、磁気テープなどの記憶媒体であってもよい。また、本発明の表示プログラムは、記憶媒体を介さずに、通信網を介して直接にコンピュータに供給されるものであってもよい。
【００４２】
図４は、画像表示プログラム４００を図１に示すパーソナルコンピュータ１００にインストールしたときの、パーソナルコンピュータ１００内に構築される撮影画像表示装置５００の機能ブロック図である。
【００４３】
図４に示す撮影画像表示装置５００は、指示部５１１と、取込部５１２と、登録部５１３と、撮影情報・画像取得部５１４と、位置算出部５１５と、２次元画像生成部５１６と、３次元画像生成部５１７と、分析部５１８と、表示部５１９と、強調表示部５２０と、画像記憶部５２１と、数表示部５２２と、制御部５２３と、保存部５０１とを備えており、分析部５１８は、さらに、顔抽出部５１８１と、類似度算出部５１８２と、差分算出部５１８３と、類似度決定部５１８４とを有している。図３に示す画像表示プログラム４００を図１に示すパーソナルコンピュータ１００にインストールすると、画像表示プログラム４００の指示部４１０は図４の指示部５１１を構築し、以下同様に、取込部４１２は取込部５１２を構築し、登録部４１３は登録部５１３を構築し、撮影情報・画像取得部４１４は撮影情報・画像取得部５１４を構築し、位置算出部４１５は位置算出部５１５を構築し、２次元画像生成部４１６は２次元画像生成部５１６を構築し、３次元画像生成部４１７は３次元画像生成部５１７を構築し、分析部４１８は分析部５１８を構築し、顔抽出部４１８１は顔抽出部５１８１を構築し、類似度算出部４１８２は類似度算出部５１８２を構築し、差分算出部４１８３は差分算出部５１８３を構築し、類似度決定部４１８４は類似度決定部５１８４を構築し、表示部４１９は表示部５１９を構築し、強調表示部４２０は強調表示部５２０を構築し、画像記憶部４２１は画像記憶部５２１を構築し、数表示部４２２は数表示部５２２を構築し、制御部４２３は制御部５２３を構築する。
【００４４】
図４の各要素は、コンピュータのハードウェアとそのコンピュータで実行されるＯＳやアプリケーションプログラムとの組合せで構成されているのに対し、図３に示す画像表示プログラム４００の各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。
【００４５】
以下、図４に示す撮影画像表示装置５００の各要素を説明することによって、図３に示す画像表示プログラム４００の各要素も併せて説明する。
【００４６】
図４に示す撮影画像表示装置５００は、被写体が撮影された撮影画像を表わす撮影画像データの一覧を表示するとともに、ユーザによって選択された撮影画像データを記録媒体などに記録するものである。
【００４７】
取込部５１２は、図１に示すパーソナルコンピュータ１００に、デジタルカメラが接続されたり、撮影画像が記録された記録メディアが接続されると、撮影日時や撮影条件などを示す撮影情報が付加された撮影画像を取得する。取得された撮影画像データや撮影情報は、登録部５１３に伝えられる。
【００４８】
登録部５１３は、取込部５１２から送られてきた撮影画像データが表す撮影画像を縮小してサムネイル画像を生成し、撮影情報やサムネイル画像とともに、撮影画像データを保存部５０１に保存する。
【００４９】
保存部５０１は、図２に示すハードディスク装置１１３がその役割を担うものであり、撮影画像を表わす撮影画像データ、撮影画像の撮影条件や撮影日時などを示す撮影情報、撮影画像が縮小されたサムネイル画像がセットで保存されている。保存部５０１は、本発明にいう記憶装置の一例に相当する。
【００５０】
ここで、本実施形態の撮影画像表示装置５００には、保存部５０１に保存されている撮影画像を撮影日時に基づいて並べて表示する「撮影日時モード」と、予め顔画像を登録しておき、保存部５０１に保存されている撮影画像を、登録された顔画像中の顔と類似度合いが大きい顔が写っているものから順に並べて表示する「人物モード」が搭載されており、「撮影日時モード」を実行するための撮影日時ボタンと、「人物モード」を実行するための人物ボタンが予め用意されている。まずは、「撮影日時モード」による撮影画像の一覧表示について説明する。
【００５１】
図５は、撮影日時モードによる撮影画像の一覧表示の処理の流れを示すフローチャート図である。
【００５２】
ユーザがマウス１０４等を使って撮影日時ボタンを選択すると、図４の指示部５１１から撮影情報・画像取得部５１４に「撮影日時モード」の実行指示が伝えられる。
【００５３】
一覧表示の指示が伝えられると、撮影情報・画像取得部５１４では、保存部５０１に保存されているサムネイル画像、および撮影情報が取得される（図５のステップＳ１、ステップＳ２）。このサムネイル画像は、撮影画像を縮小したものであり、撮影画像と同等のデータである。取得された撮影情報は、位置算出部５１５に伝えられ、取得されたサムネイル画像は、３次元画像生成部５１７に伝えられる。
【００５４】
位置算出部５１５では、１日を４時間毎に区切る軸、４時間をさらに１時間毎に区切る軸、１日を示す軸それぞれを３軸とする３次元空間上の、撮影情報・画像取得部５１４から伝えられた撮影情報に含まれる撮影日時が対応する３次元上位置と、１日を４時間毎に区切る軸、１日を示す軸それぞれを２軸とする２次元空間上の、３次元上位置に対応する２次元上位置が算出される（図５のステップＳ３）。
【００５５】
図６は、３次元空間の一例を示す概念図であり、図７は、２次元空間の一例を示す概念図である。
【００５６】
図６に示すように、本実施形態においては、１日を４時間毎に区切った値をＹ軸（縦方向）、Ｙ軸に割り当てられた４時間をさらに１時間毎に区切った値をＸ軸（横方向）、１日をＺ軸（奥行き方向）とする３次元空間が適用される。
【００５７】
３次元空間のＸ軸には、１を起点として、２，３，４の値が順に割り付けられており、撮影日時（ＹＹＹＹ年ＭＭ月ＤＤ日 ＨＨ時ＰＰ分）の「時間ＨＨ」を４で割った値に１を加えた値がＸ軸上の値として取得される。
【００５８】
３次元空間のＹ軸には、２３時〜２０時の間の４時間を起点として、１９時〜１６時、…、７時〜４時、３時〜０時と４時間ごとに順に割り付けられている。撮影日時（ＹＹＹＹ年ＭＭ月ＤＤ日 ＨＨ時ＰＰ分）の「時間ＨＨ」を４で割った値がＹ軸上の値として取得される。
【００５９】
３次元空間のＺ軸には、今日を起点として、昨日、おととい、…と順に割り付けられており、撮影日時（ＹＹＹＹ年ＭＭ月ＤＤ日 ＨＨ時ＰＰ分）の日付「ＹＹＹＹ年ＭＭ月ＤＤ日」に基づいて、Ｚ軸上の値が算出される。
【００６０】
また、図７に示すように、本実施形態においては、１日を４時間毎に区切った値をＸ軸（横方向）、１日をＹ軸（縦方向）とする２次元空間が適用される。
【００６１】
２次元空間のＸ軸には、図６に示す３次元空間のＹ軸と同様に、２３時〜２０時の間の４時間を起点として、１９時〜１６時、…、７時〜４時、３時〜０時と４時間ごとに順に割り付けられおり、３次元空間におけるＹ軸上の値がそのまま２次元空間におけるＸ軸上の値として算出される。
【００６２】
２次元空間のＹ軸には、今日を起点として、昨日、おととい、…と順に割り付けられており、３次元空間におけるＺ軸上の値がそのまま２次元空間におけるＹ軸上の値として算出される。
【００６３】
例えば、同じ日の同じ時間帯に複数の撮影画像が撮影されると、３次元空間上の位置としては、各撮影画像の撮影日時のうちの「時間ＨＨ」それぞれに対応した複数の位置が算出されるが、２次元空間上の位置としては、それら複数の撮影画像に対して同じ位置が算出される。すなわち、２次元空間上のマークは、同じ日の同じ時間帯に撮影された撮影画像が１つ以上存在することを示している。
【００６４】
算出された２次元空間上の位置（２次元上位置）は、２次元画像生成部５１６に伝えられ、３次元空間上の位置（３次元上位置）は、３次元画像生成部５１７に伝えられる。
【００６５】
２次元画像生成部５１６では、２次元空間上の、位置算出部５１５から伝えられた２次元上位置に、撮影画像が存在することを示すマークが配置されて２次元画像が生成される（図５のステップＳ４）。生成された２次元画像は、表示部５１９に伝えられる。
【００６６】
制御部５２３では、表示部５１９に、２次元空間上にＹ軸に沿ったスクロールバーを表示させる指示が伝えられる。
【００６７】
３次元画像生成部５１７では、撮影情報・画像取得部５１４から送られてきたサムネイル画像が、３次元空間上の、位置算出部５１５から伝えられた位置に配置されて３次元画像が生成される（図５のステップＳ５）。生成された３次元画像は、表示部５１９に伝えられる。
【００６８】
また、数表示部５２２では、３次元画像上で最前面に表示される撮影画像の枚数が算出され、算出された撮影枚数が表示部５１９に伝えられる。
【００６９】
表示部５１９は、２次元画像生成部５１６から伝えられた２次元画像と、３次元画像生成部５１７から伝えられた３次元画像と、制御部５２３によって指示されたスクロールバーと、数表示部５２２から伝えられた撮影枚数を表示画面１０２ａ上に表示する（図５のステップＳ６）。
【００７０】
図８は、３次元画像６００、２次元画像６２０、およびスクロールバー６２３が表示された表示画面１０２ａの一例を示す図である。
【００７１】
尚、一覧表示が指示されて、３次元画像６００、２次元画像６２０、およびスクロールバー６２３が表示された初期状態においては、３次元画像６００および２次元画像６２０には、今日を起点として１週間分の期間を表わす領域のみが表示されている。
【００７２】
図８に示す３次元画像６００では、同じ日に撮影された撮影画像のサムネイル画像６１０は同一面上に並べて表示されている。各サムネイル画像６１０のＹ軸上の位置は、そのサムネイル画像６１０が表わす撮影画像が撮影された時間帯（４時間毎）を示しており、各サムネイル画像６１０のＸ軸上の位置は、Ｙ軸が示す時間帯の中での１時間毎の時間を示している。例えば、サムネイル画像６１０のＹ軸上の位置が「８時〜１１時」で、Ｘ軸上の位置が「２」である場合、その配置位置は、サムネイル画像６１０が撮影された時間が、Ｙ軸上の位置が示す時間帯「８、９、１０、１１時」のうちの２番目に早い時間の「９時」であることを示している。また、３次元画像６００に並べて、「撮影日時モード」による撮影画像の一覧表示を行うための撮影日時ボタン６３１と、「人物モード」による撮影画像の一覧表示を行うための人物ボタン６３２も表示されている。
【００７３】
このように、本実施形態の撮影画像表示装置５００によると、同じ日に撮影された撮影画像のサムネイル画像は３次元画像６００中で同一面上に並ぶため、例えば、入学式で撮影した撮影画像などをまとめて確認することができる。
【００７４】
また、図８に示す２次元画像６２０では、Ｘ軸を４時間毎の値、Ｙ軸を日とする２次元空間上の、３次元画像６００上で各サムネイル画像６１０が配置された位置と対応する位置にマーク６２１が表示されている。マーク６２１は、Ｙ軸が示す「日」の、Ｘ軸が示す「時間帯」に撮影された撮影画像が存在することを示している。この２次元画像６２０を確認することによって、所定の日に撮影された撮影画像が存在するか否かを容易に認識することができる。
【００７５】
さらに、２次元画像６２０には、Ｙ軸（日）に沿って延び、２次元画像６２０上で日を指定するスクロールバー６２３と、スクロールバー６２３によって選択されている日の範囲を取り囲む枠６２２と、枠６２２に取り囲まれた撮影日時に撮影された撮影画像の枚数を示す数表示部６２４と、上述した期間を切り替えるための期間変更ボタン６２５と、および日を切り替える日変更ボタン６２６も表示されている。
【００７６】
枠６２２に取り囲まれた撮影日時は、３次元画像６００上で最前面に表示されている撮影画像の撮影日であり、数表示部６２４を確認することによって、同じ日に撮影された撮影画像の枚数を容易に認識することができる。
【００７７】
また、ポインタ６０１の右ボタンをクリックすると、サムネイル画像を選択するためのポップアップウィンドウ６４０が表示される。
【００７８】
図９は、ポップアップウィンドウが表示された後の表示画面１０２ａの一例を示す図である。
【００７９】
図９に示すポップアップウィンドウ６４０には、同じ時間帯に撮影された撮影画像を表わすサムネイル画像をまとめて選択するための「奥行きメニュー」、同じ日の同じ時間帯に撮影された撮影画像を表わすサムネイル画像をまとめて選択するための「行メニュー」、同じ日に撮影された撮影画像を表わすサムネイル画像をまとめて選択するための「面メニュー」が用意されている。
【００８０】
ユーザがポップアップウィンドウ６４０を使ってサムネイル画像６１０を選択すると（図５のステップＳ７：Ｙｅｓ）、図４の指示部５１１から強調表示部５２０に指定内容が伝えられ、強調表示部５２０によって、選択されたサムネイル画像６１０と、そのサムネイル画像６１０に対応するマーク６２１が強調表示される（図５のステップＳ８）。図９の例では、ユーザによってポップアップウィンドウ６４０の「面メニュー」が指定され、同じ日に撮影された撮影画像を表わすサムネイル画像６１０がまとめて選択されて強調表示（点灯表示）されていおり、２次元画像６２０上の、それら選択されたサムネイル画像６１０が表わす番組の配信日時に対応する位置に配置されたマーク６２１も強調表示（白抜き表示）されている。このように、選択されているサムネイル画像と、それらサムネイル画像に対応するマーク画像を強調表示することによって、現在、選択されているサムネイル画像が表わす撮影画像がいつ撮影されたものなのかを視覚的に容易に確認することができる。
【００８１】
サムネイル画像６１０が選択された状態で、ユーザが図１に示すマウス１０４を右クリックすると、選択したサムネイル画像６１０の撮影画像を記録媒体に記憶するためのポップアップウィンドウが表示される。
【００８２】
ユーザがポインタ６０１を使ってポップアップウィンドウ上に表示された指示を選択すると（図５のステップＳ９：Ｙｅｓ）、指示内容が図４の画像記憶部５２１に伝えられる。画像記憶部５２１では、保存部５０１から、選択されたサムネイル画像６１０の撮影画像データが取得され、撮影画像データが図２に示すＣＤ／ＤＶＤドライブ１１４を介して、ＣＤ−ＲＯＭ３００に替えてパーソナルコンピュータ１００に装填されたＤＶＤ（図示しない）などに記憶される（図５のステップＳ１０）。
【００８３】
以上のように、「撮影日時モード」によると、多くの撮影番組が保存部５０１に保存されており、３次元画像６００上で奥行き方向のサムネイル画像が重なってしまっていても、２次元画像６２０を確認することによって、どの日に撮影を行ったのかなどを容易に認識することができる。
【００８４】
以上で、「撮影日時モード」による処理の流れの説明を終了し、「人物モード」による処理の流れについて説明する。
【００８５】
「人物モード」が実行されるのに当たっては、予め、人物の顔が撮影された顔画像が登録される。画像処理装置５００には、顔画像を登録するための登録画面が予め用意されている。ユーザがマウスで登録画面を表示するための表示ボタンを選択すると、図４に示す指示部５１１から撮影情報・画像取得部５１４に登録画面表示の指示が伝えられる。撮影情報・画像取得部５１４では、保存部５０１に記憶されている撮影画像が取得され、取得された撮影画像が顔抽出部５１８１に伝えられる。顔抽出部５１８１では、複数の撮影画像それぞれについて顔が抽出される。抽出された顔の画像は、表示部５１９に伝えられ、表示部５１９において、表示画面１０２ａ上に登録画面が表示される。
【００８６】
図１０は、登録画面の一例を示す図である。
【００８７】
図１０のパート（Ａ）に示す登録画面７１０には、保存部５０１に保存されている撮影画像から抽出された顔画像７２０が表示されており、さらに、次の顔画像７２０のページを表示するための次ボタン７１２、前の顔画像７２０のページを表示するための戻るボタン７１１、設定内容を決定するための決定ボタン７１３、および設定内容をキャンセルするためのキャンセルボタン７１４が備えられている。本実施形態においては、１人の人物に対して複数の顔画像７２０を登録することができる。ユーザが、登録画面７１０に表示されている顔画像７２０の中から、所定の人物の顔画像７２０を選択し、決定ボタン７１３を押すと、その人物の情報を入力するための情報入力画面７３０が表示される。
【００８８】
図１０のパート（Ｂ）に示す情報入力画面７３０には、パート（Ａ）に示す登録画面７１０で選択された顔画像７２０が表示されており、さらに、人物名を入力するための人物名入力部７３１、人物の生年月日を入力するための生年月日入力部７３２、および設定内容を決定するための登録ボタン７３３が備えられている。ユーザが、人物名および人物の生年月日を入力すると、生年月日が図４に示す差分算出部５１８３に伝えられる。差分算出部５１８３では、入力された生年月日と、顔画像７２０の元となる撮影画像の撮影日時とに基づいて、顔画像７２０中の顔を有する人物の、撮影時の年齢（以下では、撮影時年齢と称する）が算出される。算出された年齢は表示部５１９に伝えられ、情報入力画面７３０上の、年齢表示部７２１に表示される。ユーザが登録ボタン７３３を選択すると、各顔画像７２０それぞれに、元の撮影画像の撮影日時、人物名、人物の生年月日、および年撮影時年齢を示す人物情報が対応付けられ、顔画像７２０と人物情報のセットが取込部５１２および登録部５１３を介して保存部５０１に登録される。登録部５１３は、本発明にいう画像登録部の一例にあたり、人物を登録する処理は、本発明の画像表示方法における画像登録過程の一例に相当する。
【００８９】
ユーザが図８に示す人物ボタン６３２を選択すると、図４の指示部５１１から撮影情報・画像取得部５１４と分析部５１８に「人物モード」の実行指示が伝えられる。
【００９０】
図１１は、人物モードによる処理の流れを示すフローチャート図である。
【００９１】
「人物モード」の実行指示が伝えられると、撮影情報・画像取得部５１４は、保存部５０１に登録されている顔画像７２０と人物情報のセットを取得し、人物情報を表示部５１９に伝える。表示部５１９は、表示画面１０２ａに、人物を選択するための人物選択画面を表示する。
【００９２】
図１２は、人物選択画面の一例を示す図である。
【００９３】
人物選択画面７４０には、保存部５０１に登録されている人物の名前が表示されており、各人物の名前に並べて、１人の人物を選択するためのラジオボタン７４１が表示されている。ユーザがマウス１４０などを使って１人の人物を選択し、決定ボタン７４２を押すと、選択内容が撮影情報・画像取得部５１４に伝えられる（図１１のステップＳ１１）。
【００９４】
人物が選択されると、撮影情報・画像取得部５１４は、保存部５０１に保存されている複数の撮影画像および撮影情報と、選択された人物の顔画像７２０および人物情報を取得し、複数の撮影画像を顔抽出部５１８１に伝え、選択された人物の顔画像７２０および人物情報を類似度算出部５１８２に伝え、撮影情報と人物情報を差分算出部５１８３および類似度決定部５１８４に伝える。撮影情報・画像取得部５１４は、本発明にいう画像取得部の一例にあたり、複数の撮影画像を取得する処理は、本発明の画像表示方法における画像取得過程の一例に相当する。
【００９５】
顔抽出部５１８１では、複数の撮影画像それぞれについて顔が抽出される。画像中の顔を抽出する処理は、従来から広く行われている処理であるため、本明細書では詳細な説明を省略する。抽出された顔画像は、類似度算出部５１８２に伝えられる。
【００９６】
類似度算出部５１８２では、顔画像７２０と、複数の撮影画像それぞれについて抽出された顔との仮の類似度が算出される（図１１のステップＳ１２）。複数の画像それぞれに含まれる顔の類似度を算出する技術は、人物認証システムなどに広く利用されているため、本明細書では詳細な説明を省略する。顔抽出部５１８１と類似度算出部５１８２とを合わせたものは、本発明にいう類似度算出部の一例にあたり、撮影画像中の顔を抽出して、抽出した顔と登録されている顔画像７２０との類似度を算出する処理は、本発明の画像表示方法における類似度算出過程の一例に相当する。
【００９７】
差分算出部５１８３では、複数の撮影画像それぞれと対応付けられた撮影情報に含まれている撮影日時と、顔画像７２０と対応付けられた人物情報に含まれている撮影日時と、人物情報に含まれている撮影時年齢とに基づいて、撮影画像中の人物が顔画像７２０の人物であると想定したときの、その人物の、撮影画像を撮影したときの年齢（以下では、想定年齢と称する）が算出される（図１１のステップＳ１３）。算出された想定年齢は、類似度決定部５１８４に伝えられる。
【００９８】
類似度決定部５１８４では、差分算出部５１８３で算出された想定年齢と、顔画像７２０の人物の撮影時年齢とに基づいて、類似度算出部５１８２で算出された仮の類似度が低減され、顔画像７２０中の顔と、撮影画像中の顔との類似度が決定される（図１１のステップＳ１４）。差分算出部５１８３と類似度決定部５１８４とを合わせたものは、本発明にいう類似度低減部の一例にあたり、仮の類似度を低減するステップＳ１３の処理は、本発明にいう類似度低減過程の一例に相当する。本実施形態においては、年齢別に類似度の低減率が予め決められている。
【００９９】
表１は、年齢別の類似度の低減率の例を示す表である。
【０１００】
【表１】
【０１０１】
撮影時年齢と想定年齢とを１歳近づけるごとに、仮の類似度から表１に示す低減率だけ類似度を低減させていく。例えば、顔画像７２０の人物の撮影時年齢が５歳で、分析対象である撮影画像中の人物の想定年齢が１歳である場合、類似度の低減率は、
低減率（１歳→５歳）＝１歳から２歳を経るときの低減率２０＋２歳から３歳を減るときの低減率１０＋３歳から４歳を経るときの低減率１０＋４歳から５歳を減るときの低減率１０＝５０％
と算出され、顔画像７２０の人物（５歳）に対する撮影画像中の人物の想定年齢（１歳）の類似度は、
類似度＝仮の類似度×（１００−低減率（５０））
の式で算出される。本実施形態においては、想定年齢と撮影時年齢との差が大きいほど低減率が大きくなっている。例えば、母親の若いころの顔と、娘の現在の顔とが良く似ている場合、それらの顔の形状に基づいて算出される仮の類似度は大きくなるが、母親の若いころの顔が写っている撮影画像の撮影日時は、娘の現在の顔が写っている顔画像の撮影日時と大きく離れているため、撮影画像の想定年齢が顔画像の撮影時年齢と大きく離れ、低減率が大きくなる。このため、本実施形態の画像表示装置によると、良く似た親子の顔なども精度良く判定することができる。
【０１０２】
また、本実施形態においては、想定年齢や撮影時年齢が０歳〜２歳の場合は大きく類似度が低減され、２０歳を超えると類似度の低減率が抑えられる。２歳以下の子供は、顔の部位全体が丸みを帯びていて、みんな似たような顔をしていることが多く、２歳を超えた当たりから、個人個人で顔つきが変わってくることが多い。また、逆に、２０歳を超えると、人の顔つきの変化が緩やかになることが一般的である。このため、０歳から２歳の間は類似度の低減率を大きくし、２０歳を超えた年齢における類似度の低減率を抑えることによって、顔画像７２０中の顔と撮影画像中の顔の類似度を精度良く分析することができる。
【０１０３】
以上のようにして算出された複数の撮影画像それぞれにおける類似度は、位置算出部５１５に伝えられる。
【０１０４】
位置算出部５１５では、撮影時間帯、撮影日、および類似度それぞれを軸とする３次元空間上の、類似度決定部５１８４から伝えられた類似度が対応する３次元上位置と、撮影時間帯、および類似度それぞれを軸とする２次元空間上の、３次元上位置に対応する２次元上位置が算出される（図１１のステップＳ３）。
【０１０５】
図１３は、３次元空間の一例を示す概念図である。
【０１０６】
図１３に示すように、本実施形態においては、撮影時間帯をＸ軸（横方向）、撮影日をＹ軸（縦方向）、類似度をＺ軸（奥行き方向）とする３次元空間が適用される。
【０１０７】
３次元空間のＸ軸には、４時〜９時の間の６時間を起点として、１０時〜１５時、１６時〜２１時、２２時〜３時と６時間ごとに順に割り付けられている。
【０１０８】
３次元空間のＹ軸には、撮影日時が新しいものから順に割り付けられている。
【０１０９】
３次元空間のＺ軸には、類似度１００〜８１を起点として、８０〜６１、６０〜４１、…と順に割り付けられている。
【０１１０】
また、本実施形態においては、撮影時間帯をＸ軸（横方向）、類似度をＺ軸（縦方向）とする２次元空間が適用される。
【０１１１】
位置算出部５１５では、類似度決定部５１８４から伝えられた類似度と、撮影画像の撮影日時とに基づいて、２次元空間上の位置（２次元上位置）および３次元空間上の位置（３次元上位置）を算出する。算出された２次元上位置は、２次元画像生成部５１６に伝えられ、３次元上位置は、３次元画像生成部５１７に伝えられる。
【０１１２】
２次元画像生成部５１６では、２次元画像が生成され（図１１のステップＳ４）、３次元画像生成部５１７では、３次元画像が生成され（図１１のステップＳ５）、数表示部５２２では、３次元画像上で最前面に表示される撮影画像の枚数が算出される。
【０１１３】
表示部５１９は、２次元画像生成部５１６で生成された２次元画像と、３次元画像生成部５１７で生成された３次元画像と、スクロールバーと、数表示部５２２で算出された撮影枚数を表示画面１０２ａ上に表示する（図１１のステップＳ６）。３次元画像生成部５１７と表示部５１９とを合わせたものは、本発明にいう表示部の一例にあたり、２次元画像生成部５１６と表示部５１９とを合わせたものは、本発明にいう補助表示部の一例にあたり、数表示部５２２と表示部５１９とを合わせたものは、本発明にいう画像数表示部の一例に相当する。
【０１１４】
図１４は、３次元画像８００、２次元画像６２０、およびスクロールバー６２３が表示された人物表示画面８００の一例を示す図である。
【０１１５】
人物表示画面８００には、相互に異なる類似度帯の撮影画像が配置された６枚の３次元画像８１０，８２０，８３０，８４０，８５０が表示されており、それら６枚の３次元画像８１０，８２０，８３０，８４０，８５０は、類似度帯が最も大きい３次元画像８１０を最前面にして、類似度帯の大きいものから順にＺ軸方向（奥行き方向）に並べて配置されている。最前面の３次元画像８１０では、ステップＳ１１において選択された顔画像７２０中の顔と、同程度の類似度（類似度が１００〜８１）を有する顔を含む撮影画像のサムネイル画像６１０が同一面上に並べて表示されている。各サムネイル画像６１０のＺ軸上の位置は、そのサムネイル画像６１０の元となる撮影画像の類似度を示しており、各サムネイル画像６１０のＹ軸上の位置は、そのサムネイル画像６１０の元となる撮影画像の撮影日時を示しており、各サムネイル画像６１０のＸ軸上の位置は、そのサムネイル画像６１０の元となる撮影画像の撮影時間帯を示している。
【０１１６】
このように、本実施形態の撮影画像表示装置５００によると、同程度の類似度を有する顔が含まれた撮影画像のサムネイル画像が３次元画像６００中で同一面上に並ぶため、大量な撮影画像が保存されている場合であっても、それらの撮影画像の中から、所望の顔と似ている顔が含まれている撮影画像を容易に見つけ出すことができる。
【０１１７】
また、２次元画像６２０では、Ｘ軸（撮影時間帯）に沿って延びた複数のマーク６２１´が配置されており、各マーク６２１´それぞれが各類似度を示している。また、２次元画像６２０には、Ｙ軸（類似度）に沿って延び、２次元画像６２０上で類似度を指定するスクロールバー６２３と、スクロールバー６２３によって選択されている類似度のマーク６２１´を取り囲む枠６２２と、スクロールバー６２３によって選択された類似度が算出された撮影画像の枚数を示す数表示部６２４なども表示されている。
【０１１８】
ユーザがスクロールバー６２３をスクロールすると、図４に示す指示部５１１においてスクロール量に応じて類似度が切り替えられ、切り替えられた類似度が制御部５２３に伝えられる。制御部５２３は、２次元画像生成部５１６および３次元画像生成部５１７それぞれに類似度を切り替える指示を伝えることにより、２次元画像６２０上の枠６２２を切り替えられた類似度の位置まで移動させるとともに、切り替えられた類似度の３次元画像が最前面にくるように配置しなおさせる。指示部５１１は、本発明にいう指定部の一例にあたり、制御部５２３は、本発明にいう表示制御部の一例に相当する。
【０１１９】
図１５は、類似度が切り替えられた後の人物表示画面８００の一例を示す図である。
【０１２０】
図１５では、枠６２２が２番目の類似度を示すマーク６２１´を取り囲んでおり、数表示部６２４には、２番目の類似度に属している撮影画像の数が示されている。また、２番目の類似度帯の撮影画像のサムネイル画像６１０が配置された３次元画像８２０が最前面に表示されている。
【０１２１】
スクロールバー６２３を利用することによって、ユーザは容易に３次元画像の表示を切り替えることができる。
【０１２２】
また、図１４に示すように、ユーザがポインタ６０１の右ボタンをクリックすると、サムネイル画像を選択するためのポップアップウィンドウ６４０´が表示される。
【０１２３】
図１４に示すポップアップウィンドウ６４０´には、同じ類似度帯に属する撮影画像を表わすサムネイル画像をまとめて選択するための「面メニュー」、同じ類似度帯に属し、同じ撮影日に撮影された撮影画像を表わすサムネイル画像をまとめて選択するための「行メニュー」が用意されている。
【０１２４】
ユーザがポップアップウィンドウ６４０´を使ってサムネイル画像６１０を選択すると（図１１のステップＳ７：Ｙｅｓ）、図４の指示部５１１から強調表示部５２０に指定内容が伝えられ、図５に示す「撮影日時モード」と同様に、強調表示部５２０によって、選択されたサムネイル画像６１０と、そのサムネイル画像６１０に対応するマーク６２１が強調表示される（図１１のステップＳ８）。
【０１２５】
さらに、サムネイル画像６１０が選択された状態で、ユーザが図１に示すマウス１０４を右クリックすると、選択したサムネイル画像６１０の撮影画像を記録媒体に記憶するためのポップアップウィンドウが表示される。
【０１２６】
ユーザがポインタ６０１を使ってポップアップウィンドウ上に表示された指示を選択すると（図１１のステップＳ９：Ｙｅｓ）、指示内容が図４の画像記憶部５２１に伝えられ、選択されたサムネイル画像６１０の撮影画像データがパーソナルコンピュータ１００に装填されたＤＶＤ（図示しない）などに記憶される（図１１のステップＳ１０）。
【０１２７】
このように、本実施形態によると、所定の人物の顔画像と、撮影画像中の顔との類似度合を精度良く分析し、その分析結果を見やすく表示することができる。
【０１２８】
以上で、本発明の第１実施形態の説明を終了し、本発明の第２実施形態について説明する。本発明の第２実施形態は、第１実施形態と同様の構成を有しているが、類似度決定部における類似度の低減方法が第１実施形態とは異なる。以下では、第１実施形態との相違点についてのみ説明する。
【０１２９】
本実施形態の画像表示装置では、図１０のパート（Ｂ）に示すように、１人の人物に対して、撮影時期が相互に異なる複数の顔画像７２０が登録されている。
【０１３０】
図４に示す類似度決定部５１８４では、類似度算出部５１８２で算出された仮の類似度を低減させるのに当たり、まず、登録されている複数の顔画像７２０を使って低減率が算出される。
【０１３１】
本実施形態においては、登録されている複数の顔画像７２０のうち、最も新しい顔画像７２０と、撮影画像とが比較される。例えば、撮影画像中の人物の想定年齢が１歳で、最も新しい顔画像７２０の撮影時年齢が５歳であった場合、まずは、５歳における顔画像７２０と１歳における顔画像７２０の類似度が算出される。続いて、類似度算出部５１８２で算出された仮の類似度と、算出された顔画像同士の類似度を使って、以下の式によって、撮影画像の類似度が算出される。
【０１３２】
類似度＝仮の類似度×（顔画像７２０同士の類似度／１００）
このように、登録されている人物が、年齢を経るとともにどの程度顔が変わったのかを分析し、その分析結果を低減率として利用することによっても、精度良く類似度を分析することができる。
【０１３３】
ここで、上記では、撮影画像を登録する際にサムネイル画像を生成する例について説明したが、本発明にいう３次元表示部は、撮影画像の一覧を表示させる際にサムネイル画像を表示するものであってもよい。
【０１３４】
また、上記では、保存されている撮影画像の中から顔画像を選択する例について説明したが、本発明にいう画像登録部は、外部装置から顔画像を入力するものであってもよい。
【図面の簡単な説明】
【０１３５】
【図１】本発明の一実施形態が適用されたパーソナルコンピュータの外観構成図である。
【図２】パーソナルコンピュータの内部構成図である。
【図３】画像表示プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。
【図４】撮影画像表示装置の機能ブロック図である。
【図５】撮影日時モードによる撮影画像の一覧表示の処理の流れを示すフローチャート図である。
【図６】３次元空間の一例を示す概念図である。
【図７】２次元空間の一例を示す概念図である。
【図８】３次元画像、２次元画像、およびスクロールバーが表示された表示画面の一例を示す図である。
【図９】ポップアップウィンドウが表示された後の表示画面の一例を示す図である。
【図１０】登録画面の一例を示す図である。
【図１１】人物モードによる処理の流れを示すフローチャート図である。
【図１２】人物選択画面の一例を示す図である。
【図１３】３次元空間の一例を示す概念図である。
【図１４】３次元画像、２次元画像、およびスクロールバーが表示された人物表示画面の一例を示す図である。
【図１５】類似度が切り替えられた後の人物表示画面の一例を示す図である。
【符号の説明】
【０１３６】
１００ パーソナルコンピュータ
１０１ 本体装置
１０２ 画像表示装置
１０２ａ 表示画面
１０３ キーボード
１０４ マウス
１０５ バス
１１１ ＣＰＵ
１１２ 主メモリ
１１３ ハードディスク装置
１１４ ＣＤ／ＤＶＤドライブ
１１５ ＦＤドライブ
１１６ 通信インタフェース
４００ 撮影画像表示プログラム
４１０ 指示部
４１２ 取込部
４１３ 登録部
４１４ 撮影情報・画像取得部
４１５ 位置算出部
４１６ ２次元画像生成部
４１７ ３次元画像生成部
４１８ 分析部
４１８１ 顔抽出部
４１８２ 類似度算出部
４１８３ 差分算出部
４１８４ 類似度決定部
４１９ 表示部
４２０ 強調表示部
４２１ 画像記憶部
４２２ 数表示部
４２３ 制御部
５００ 撮影画像表示装置
５１１ 指示部
５１２ 取込部
５１３ 登録部
５１４ 撮影情報・画像取得部
５１５ 位置算出部
５１６ ２次元画像生成部
５１７ ３次元画像生成部
５１８ 分析部
５１８１ 顔抽出部
５１８２ 類似度算出部
５１８３ 差分算出部
５１８４ 類似度決定部
５１９ 表示部
５２０ 強調表示部
５２１ 画像記憶部
５２２ 数表示部
５２３ 制御部
【技術分野】
【０００１】
本発明は、複数の顔同士の類似度を分析する類似分析装置、撮影画像の一覧を表示する画像表示装置、画像表示プログラム、および画像表示方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラの小型化が急速に進んできたことに加えて、日ごろから常に携帯している携帯電話などといった小型機器に撮影装置を搭載することが広く行われており、撮影装置を手軽に持ち運ぶことができるようになってきている。デジタルカメラや、小型機器に搭載された撮影装置では、デジタルの撮影画像が取得されるため、撮影画像をその場ですぐに液晶ディスプレイなどに表示して確認したり、不要な撮影画像をプリント出力する前に削除することができる。さらに、複数枚の撮影画像をまとめて記録メディア等に記録しておくことによって、保管の際にかさ張らず、撮影画像を高画質なままで保管することができる。
【０００３】
撮影画像を効率よく整理する方法として、パーソナルコンピュータを使って撮影画像を整理するためのアルバム用アプリケーションが広く用いられてきている。パーソナルコンピュータは、大容量なハードディスク装置が備えられているため、残容量を気にせずに大量の撮影画像を保存しておくことができるうえ、撮影画像をコピーしたり、撮影画像を電子メールなどに添付するなどといった作業が容易であるという利点がある。
【０００４】
また、画像処理の分野では、撮影画像中の撮影シーンを解析するシーン解析技術や、撮影画像中の顔を抽出する顔抽出技術などが広く知られており、アルバム用アプリケーションの分野においても、これらシーン解析技術や顔抽出技術を応用した付加機能の開発が進められている。この点に関し、予め顔画像を登録しておくと、ハードディスク装置などに記憶されている大量の撮影画像の中から、その登録されている顔画像と似ている顔が写っている撮影画像を検索して表示する画像表示方法が考案されてきている（例えば、特許文献１および特許文献２参照）。このような画像表示方法によると、大量の撮影画像が保存されている場合であっても、友人や家族などが写っている撮影画像を容易に見つけだして電子メール等で配布することができ、コミュニケーションの向上を図ることができる。
【特許文献１】特開２００６−３１４０１０号公報
【特許文献２】特開２００４−１７２８４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、上述した顔抽出技術などでは、撮影画像中の、目や鼻や口などといった特徴的な形状を有する画像部分を検索して顔を抽出するものが一般的である。このため、例えば、娘が写っている撮影画像を検索しようとすると、顔の各部位の形状が似ている若いころの母親の撮影画像まで検索されてしまったり、顔の各部位が丸みを帯びている赤ちゃん同士を区別することが困難であるという問題がある。
【０００６】
本発明は、上記事情に鑑み、所定の人物の顔画像と、撮影画像中の顔との類似度合を精度良く分析することができる類似分析装置、画像表示装置、画像表示プログラム、および画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の類似分析装置は、撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部とを備えたことを特徴とする。
【０００８】
本発明の類似分析装置によると、撮影画像中の顔と、登録された顔画像中の顔との類似度合いが、撮影画像の撮影日時と顔画像の撮影日時との差分が大きい程大きく低減される。例えば、娘の顔画像を登録した場合、類似度算出部では、若いころの母親が写っている撮影画像について高い類似度合いが算出されるが、それらの撮影画像が撮影された撮影日時は大きく離れているため、類似度低減部において、算出された類似度合いが大きく低減される。このように、本発明の類似分析装置によると、画像中の顔の類似度合いに加えて、それらの画像が撮影された撮影日時の差分も考慮されるため、精度良く類似度合いを分析することができる。
【０００９】
また、本発明の類似分析装置において、上記画像登録部は、撮影日時に加えて、年齢も対応付けられた顔画像を登録するものであり、
上記類似度低減部は、類似度を低減させるに当たり、差分が大きい程大きい低減度、かつ年齢に応じた低減度で低減させるものであることが好ましい。
【００１０】
通常、子供のころは大きく顔が変わるが、大人になると顔の変化が小さくなることが一般的である。例えば、子供の年齢では類似度を大きく低減させ、大人の年齢では類似度の低減を抑えることによって、類似度合いの算出精度を向上させることができる。
【００１１】
また、上記目的を達成する本発明の画像表示装置は、撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部と、
画像取得部で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示部とを備えたことを特徴とする。
【００１２】
本発明の画像表示装置によると、大量の撮影画像が保存されている場合であっても、それらの撮影画像のうち所定の人物の顔と類似度合いが大きい顔が写っている撮影画像を効率よく確認することができる。
【００１３】
また、本発明の画像表示装置において、上記画像登録部は、撮影日時に加えて、年齢も対応付けられた顔画像を登録するものであり、
上記類似度低減部は、前記類似度を低減させるに当たり、前記差分が大きい程大きい低減度、かつ前記年齢に応じた低減度で低減させるものであることが好適である。
【００１４】
この好適な画像表示装置によると、顔画像中の顔と撮影画像中の顔との類似度合いをさらに精度良く算出することができる。
【００１５】
また、本発明の画像表示装置において、上記画像表示部は、類似度合の軸を有する３次元空間を表示し、その３次元空間上における、類似度低減部で低減された撮影画像の類似度合の位置に撮影画像を配置するものであることが好ましい。
【００１６】
３次元空間上の撮影画像の配置位置によって、その撮影画像中の顔と顔画像中の顔との類似度合いを容易に確認することができる。
【００１７】
また、本発明の画像表示装置は、類似度合の軸を有する２次元空間を表示し、その２次元空間上における、類似度低減部で低減された撮影画像の類似度合の位置に、撮影画像が存在することを示すマークを配置する補助表示部を備えたことが好ましい。
【００１８】
大量の撮影画像を類似度合の大きいものから順に配置して表示すると、それらの撮影画像の配置位置が重なり合ってしまって、撮影画像の有無が見えにくくなってしまう恐れがある。画像表示部における表示に加えて、２次元空間上にマークを配置して表示することによって、撮影画像の存在を容易に認識することができる。
【００１９】
また、本発明の画像表示装置は、２次元空間上の、前記類似度合の軸とは別の軸に沿った指定枠を表示する、操作に応じて該指定枠を該類似度合の軸に沿って移動させることにより、２次元空間上で該類似度合を指定する指定部と、
上記３次元表示部に、上記指定部によって指定された類似度合の撮影画像を最前面に配置させる表示制御部とを備えたことが好ましい。
【００２０】
２次元空間上の指定枠を移動させることによって、３次元空間上の表示を容易に切り替えることができる。
【００２１】
また、本発明の画像表示装置において、上記指定部によって指定された類似度合の撮影画像の数を表示する画像数表示部を備えたことが好適である。
【００２２】
この好適な画像表示装置によると、指定部によって指定された類似度合いの撮影画像の数を容易に確認することができる。
【００２３】
また、本発明の画像表示装置において、上記画像取得部が、複数の撮影画像が記憶された記憶装置から該複数の撮影画像を取得するものであることが好適である。
【００２４】
この好適な画像表示装置によると、ハードディスク装置などに撮影画像が大量に記憶されている場合であっても、登録された顔画像中の顔と似た顔が写っている撮影画像を容易に確認することができる。
【００２５】
また、上記目的を達成する本発明の画像表示プログラムは、コンピュータ内で実行され、コンピュータ上に、
撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部と、
画像取得部で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示部とを構築することを特徴とする。
【００２６】
尚、画像表示プログラムについては、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像表示プログラムには、上記の基本形態のみではなく、前述した画像表示装置の各形態に対応する各種の形態が含まれる。
【００２７】
さらに、本発明の画像表示プログラムがコンピュータシステム上に構築する画像取得部などといった要素は、１つの要素が１つのプログラム部品によって構築されるものであってもよく、複数の要素が１つのプログラム部品によって構築されるものであってもよい。また、これらの要素は、そのような作用を自分自身で実行するものとして構築されてもよく、あるいはコンピュータシステムに組み込まれている他のプログラムやプログラム部品に指示を与えて実行するものとして構築されてもよい。
【００２８】
また、上記目的を達成する本発明の画像表示方法は、撮影日時が対応付けられた複数の撮影画像を取得する画像取得過程と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録過程と、
画像取得過程で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、画像登録過程で登録された顔画像中の顔との類似度合いを算出する類似度算出過程と、
撮影画像に対応付けられた撮影日時と、顔画像に対応付けられた撮影日時との差分が大きい程大きく、顔類似度算出部で算出された顔類似度合いを低減させる類似度低減過程と、
画像取得過程で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示過程とを有することを特徴とする。
【００２９】
本発明の画像表示方法によると、大量の撮影画像が保存されている場合であっても、それらの撮影画像のうち所定の人物の顔と類似度合いが大きい顔が写っている撮影画像を効率よく確認することができる。
【００３０】
尚、画像表示方法についても、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像表示方法には、上記の基本形態のみではなく、前述した画像表示装置の各形態に対応する各種の形態が含まれる。
【発明の効果】
【００３１】
本発明によれば、所定の人物の顔画像と、撮影画像中の顔との類似度合を精度良く分析することができる。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照して本発明の実施の形態を説明する。
【００３３】
図１は、本発明の一実施形態が適用されたパーソナルコンピュータの外観構成図である。
【００３４】
パーソナルコンピュータ１００は、外観構成上、本体装置１０１、その本体装置１０１からの指示に応じて表示画面１０２ａ上に画像を表示する画像表示装置１０２、本体装置１０１にキー操作に応じた各種の情報を入力するキーボード１０３、および、表示画面１０２ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス１０４を備えている。また、図示しないが、この本体装置１０１は、ＤＶＤやＣＤ−ＲＯＭが装填されるＣＤ／ＤＶＤ装填口、およびフレキシブルディスク（以下では、ＦＤと省略する）を装填するためのＦＤ装填口を有している。
【００３５】
図２は、パーソナルコンピュータ１００の内部構成図である。
【００３６】
本体装置１０１の内部には、図２に示すように、各種プログラムを実行するＣＰＵ１１１、ハードディスク装置１１３に格納されたプログラムが読み出されＣＰＵ１１１での実行のために展開される主メモリ１１２、各種プログラムやデータ等が保存されたハードディスク装置１１３、ＣＤ−ＲＯＭ３００やＤＶＤが装填され、その装填されたＣＤ−ＲＯＭ３００やＤＶＤをアクセスするＣＤ／ＤＶＤドライブ１１４、ＦＤ３１０が装填され、装填されたＦＤ３１０をアクセスするＦＤドライブ１１５、およびデジタルカメラなどといった外部装置と接続され、その外部装置との間でデータの送受信を行う通信インタフェース１１６が備えられており、これらの各種要素と、さらに図２にも示す画像表示装置１０２、キーボード１０３、およびマウス１０４は、バス１０５を介して相互に接続されている。
【００３７】
ここで、ＣＤ−ＲＯＭ３００には、本発明の画像表示プログラムの一実施形態が適用された画像表示プログラムが記憶されている。そのＣＤ−ＲＯＭ３００はＣＤ／ＤＶＤドライブ１１４に装填され、そのＣＤ−ＲＯＭ３００に記憶された画像表示プログラムがこのパーソナルコンピュータ１００にアップロードされてハードディスク装置１１３に記憶される。そして、この表示プログラムが起動されて実行されることにより、パーソナルコンピュータ１００内に、本発明の画像表示装置の一実施形態が適用された撮影画像表示装置５００（図４参照）が構築される。
【００３８】
次に、このパーソナルコンピュータ１００内で実行される画像表示プログラムについて説明する。
【００３９】
図３は、画像表示プログラムが記憶されたＣＤ−ＲＯＭ３００を示す概念図である。
【００４０】
画像表示プログラム４００は、指示部４１０、取込部４１２、登録部４１３、撮影情報・画像取得部４１４、位置算出部４１５、２次元画像生成部４１６、３次元画像生成部４１７、分析部４１８、表示部４１９、強調表示部４２０、画像記憶部４２１、数表示部４２２、および制御部４２３で構成されており、分析部４１８は、さらに、顔抽出部４１８１と、類似度算出部４１８２と、差分算出部４１８３と、類似度決定部４１８４とを有している。画像表示プログラム４００の各部の詳細については、撮影画像表示装置５００の各部の作用と一緒に説明する。
【００４１】
尚、図３では、画像表示プログラムを記憶する記憶媒体としてＣＤ−ＲＯＭ３００が例示されているが、本発明の表示プログラムを記憶する記憶媒体はＣＤ−ＲＯＭに限られるものではなく、それ以外の光ディスク、ＭＯ、ＦＤ、磁気テープなどの記憶媒体であってもよい。また、本発明の表示プログラムは、記憶媒体を介さずに、通信網を介して直接にコンピュータに供給されるものであってもよい。
【００４２】
図４は、画像表示プログラム４００を図１に示すパーソナルコンピュータ１００にインストールしたときの、パーソナルコンピュータ１００内に構築される撮影画像表示装置５００の機能ブロック図である。
【００４３】
図４に示す撮影画像表示装置５００は、指示部５１１と、取込部５１２と、登録部５１３と、撮影情報・画像取得部５１４と、位置算出部５１５と、２次元画像生成部５１６と、３次元画像生成部５１７と、分析部５１８と、表示部５１９と、強調表示部５２０と、画像記憶部５２１と、数表示部５２２と、制御部５２３と、保存部５０１とを備えており、分析部５１８は、さらに、顔抽出部５１８１と、類似度算出部５１８２と、差分算出部５１８３と、類似度決定部５１８４とを有している。図３に示す画像表示プログラム４００を図１に示すパーソナルコンピュータ１００にインストールすると、画像表示プログラム４００の指示部４１０は図４の指示部５１１を構築し、以下同様に、取込部４１２は取込部５１２を構築し、登録部４１３は登録部５１３を構築し、撮影情報・画像取得部４１４は撮影情報・画像取得部５１４を構築し、位置算出部４１５は位置算出部５１５を構築し、２次元画像生成部４１６は２次元画像生成部５１６を構築し、３次元画像生成部４１７は３次元画像生成部５１７を構築し、分析部４１８は分析部５１８を構築し、顔抽出部４１８１は顔抽出部５１８１を構築し、類似度算出部４１８２は類似度算出部５１８２を構築し、差分算出部４１８３は差分算出部５１８３を構築し、類似度決定部４１８４は類似度決定部５１８４を構築し、表示部４１９は表示部５１９を構築し、強調表示部４２０は強調表示部５２０を構築し、画像記憶部４２１は画像記憶部５２１を構築し、数表示部４２２は数表示部５２２を構築し、制御部４２３は制御部５２３を構築する。
【００４４】
図４の各要素は、コンピュータのハードウェアとそのコンピュータで実行されるＯＳやアプリケーションプログラムとの組合せで構成されているのに対し、図３に示す画像表示プログラム４００の各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。
【００４５】
以下、図４に示す撮影画像表示装置５００の各要素を説明することによって、図３に示す画像表示プログラム４００の各要素も併せて説明する。
【００４６】
図４に示す撮影画像表示装置５００は、被写体が撮影された撮影画像を表わす撮影画像データの一覧を表示するとともに、ユーザによって選択された撮影画像データを記録媒体などに記録するものである。
【００４７】
取込部５１２は、図１に示すパーソナルコンピュータ１００に、デジタルカメラが接続されたり、撮影画像が記録された記録メディアが接続されると、撮影日時や撮影条件などを示す撮影情報が付加された撮影画像を取得する。取得された撮影画像データや撮影情報は、登録部５１３に伝えられる。
【００４８】
登録部５１３は、取込部５１２から送られてきた撮影画像データが表す撮影画像を縮小してサムネイル画像を生成し、撮影情報やサムネイル画像とともに、撮影画像データを保存部５０１に保存する。
【００４９】
保存部５０１は、図２に示すハードディスク装置１１３がその役割を担うものであり、撮影画像を表わす撮影画像データ、撮影画像の撮影条件や撮影日時などを示す撮影情報、撮影画像が縮小されたサムネイル画像がセットで保存されている。保存部５０１は、本発明にいう記憶装置の一例に相当する。
【００５０】
ここで、本実施形態の撮影画像表示装置５００には、保存部５０１に保存されている撮影画像を撮影日時に基づいて並べて表示する「撮影日時モード」と、予め顔画像を登録しておき、保存部５０１に保存されている撮影画像を、登録された顔画像中の顔と類似度合いが大きい顔が写っているものから順に並べて表示する「人物モード」が搭載されており、「撮影日時モード」を実行するための撮影日時ボタンと、「人物モード」を実行するための人物ボタンが予め用意されている。まずは、「撮影日時モード」による撮影画像の一覧表示について説明する。
【００５１】
図５は、撮影日時モードによる撮影画像の一覧表示の処理の流れを示すフローチャート図である。
【００５２】
ユーザがマウス１０４等を使って撮影日時ボタンを選択すると、図４の指示部５１１から撮影情報・画像取得部５１４に「撮影日時モード」の実行指示が伝えられる。
【００５３】
一覧表示の指示が伝えられると、撮影情報・画像取得部５１４では、保存部５０１に保存されているサムネイル画像、および撮影情報が取得される（図５のステップＳ１、ステップＳ２）。このサムネイル画像は、撮影画像を縮小したものであり、撮影画像と同等のデータである。取得された撮影情報は、位置算出部５１５に伝えられ、取得されたサムネイル画像は、３次元画像生成部５１７に伝えられる。
【００５４】
位置算出部５１５では、１日を４時間毎に区切る軸、４時間をさらに１時間毎に区切る軸、１日を示す軸それぞれを３軸とする３次元空間上の、撮影情報・画像取得部５１４から伝えられた撮影情報に含まれる撮影日時が対応する３次元上位置と、１日を４時間毎に区切る軸、１日を示す軸それぞれを２軸とする２次元空間上の、３次元上位置に対応する２次元上位置が算出される（図５のステップＳ３）。
【００５５】
図６は、３次元空間の一例を示す概念図であり、図７は、２次元空間の一例を示す概念図である。
【００５６】
図６に示すように、本実施形態においては、１日を４時間毎に区切った値をＹ軸（縦方向）、Ｙ軸に割り当てられた４時間をさらに１時間毎に区切った値をＸ軸（横方向）、１日をＺ軸（奥行き方向）とする３次元空間が適用される。
【００５７】
３次元空間のＸ軸には、１を起点として、２，３，４の値が順に割り付けられており、撮影日時（ＹＹＹＹ年ＭＭ月ＤＤ日 ＨＨ時ＰＰ分）の「時間ＨＨ」を４で割った値に１を加えた値がＸ軸上の値として取得される。
【００５８】
３次元空間のＹ軸には、２３時〜２０時の間の４時間を起点として、１９時〜１６時、…、７時〜４時、３時〜０時と４時間ごとに順に割り付けられている。撮影日時（ＹＹＹＹ年ＭＭ月ＤＤ日 ＨＨ時ＰＰ分）の「時間ＨＨ」を４で割った値がＹ軸上の値として取得される。
【００５９】
３次元空間のＺ軸には、今日を起点として、昨日、おととい、…と順に割り付けられており、撮影日時（ＹＹＹＹ年ＭＭ月ＤＤ日 ＨＨ時ＰＰ分）の日付「ＹＹＹＹ年ＭＭ月ＤＤ日」に基づいて、Ｚ軸上の値が算出される。
【００６０】
また、図７に示すように、本実施形態においては、１日を４時間毎に区切った値をＸ軸（横方向）、１日をＹ軸（縦方向）とする２次元空間が適用される。
【００６１】
２次元空間のＸ軸には、図６に示す３次元空間のＹ軸と同様に、２３時〜２０時の間の４時間を起点として、１９時〜１６時、…、７時〜４時、３時〜０時と４時間ごとに順に割り付けられおり、３次元空間におけるＹ軸上の値がそのまま２次元空間におけるＸ軸上の値として算出される。
【００６２】
２次元空間のＹ軸には、今日を起点として、昨日、おととい、…と順に割り付けられており、３次元空間におけるＺ軸上の値がそのまま２次元空間におけるＹ軸上の値として算出される。
【００６３】
例えば、同じ日の同じ時間帯に複数の撮影画像が撮影されると、３次元空間上の位置としては、各撮影画像の撮影日時のうちの「時間ＨＨ」それぞれに対応した複数の位置が算出されるが、２次元空間上の位置としては、それら複数の撮影画像に対して同じ位置が算出される。すなわち、２次元空間上のマークは、同じ日の同じ時間帯に撮影された撮影画像が１つ以上存在することを示している。
【００６４】
算出された２次元空間上の位置（２次元上位置）は、２次元画像生成部５１６に伝えられ、３次元空間上の位置（３次元上位置）は、３次元画像生成部５１７に伝えられる。
【００６５】
２次元画像生成部５１６では、２次元空間上の、位置算出部５１５から伝えられた２次元上位置に、撮影画像が存在することを示すマークが配置されて２次元画像が生成される（図５のステップＳ４）。生成された２次元画像は、表示部５１９に伝えられる。
【００６６】
制御部５２３では、表示部５１９に、２次元空間上にＹ軸に沿ったスクロールバーを表示させる指示が伝えられる。
【００６７】
３次元画像生成部５１７では、撮影情報・画像取得部５１４から送られてきたサムネイル画像が、３次元空間上の、位置算出部５１５から伝えられた位置に配置されて３次元画像が生成される（図５のステップＳ５）。生成された３次元画像は、表示部５１９に伝えられる。
【００６８】
また、数表示部５２２では、３次元画像上で最前面に表示される撮影画像の枚数が算出され、算出された撮影枚数が表示部５１９に伝えられる。
【００６９】
表示部５１９は、２次元画像生成部５１６から伝えられた２次元画像と、３次元画像生成部５１７から伝えられた３次元画像と、制御部５２３によって指示されたスクロールバーと、数表示部５２２から伝えられた撮影枚数を表示画面１０２ａ上に表示する（図５のステップＳ６）。
【００７０】
図８は、３次元画像６００、２次元画像６２０、およびスクロールバー６２３が表示された表示画面１０２ａの一例を示す図である。
【００７１】
尚、一覧表示が指示されて、３次元画像６００、２次元画像６２０、およびスクロールバー６２３が表示された初期状態においては、３次元画像６００および２次元画像６２０には、今日を起点として１週間分の期間を表わす領域のみが表示されている。
【００７２】
図８に示す３次元画像６００では、同じ日に撮影された撮影画像のサムネイル画像６１０は同一面上に並べて表示されている。各サムネイル画像６１０のＹ軸上の位置は、そのサムネイル画像６１０が表わす撮影画像が撮影された時間帯（４時間毎）を示しており、各サムネイル画像６１０のＸ軸上の位置は、Ｙ軸が示す時間帯の中での１時間毎の時間を示している。例えば、サムネイル画像６１０のＹ軸上の位置が「８時〜１１時」で、Ｘ軸上の位置が「２」である場合、その配置位置は、サムネイル画像６１０が撮影された時間が、Ｙ軸上の位置が示す時間帯「８、９、１０、１１時」のうちの２番目に早い時間の「９時」であることを示している。また、３次元画像６００に並べて、「撮影日時モード」による撮影画像の一覧表示を行うための撮影日時ボタン６３１と、「人物モード」による撮影画像の一覧表示を行うための人物ボタン６３２も表示されている。
【００７３】
このように、本実施形態の撮影画像表示装置５００によると、同じ日に撮影された撮影画像のサムネイル画像は３次元画像６００中で同一面上に並ぶため、例えば、入学式で撮影した撮影画像などをまとめて確認することができる。
【００７４】
また、図８に示す２次元画像６２０では、Ｘ軸を４時間毎の値、Ｙ軸を日とする２次元空間上の、３次元画像６００上で各サムネイル画像６１０が配置された位置と対応する位置にマーク６２１が表示されている。マーク６２１は、Ｙ軸が示す「日」の、Ｘ軸が示す「時間帯」に撮影された撮影画像が存在することを示している。この２次元画像６２０を確認することによって、所定の日に撮影された撮影画像が存在するか否かを容易に認識することができる。
【００７５】
さらに、２次元画像６２０には、Ｙ軸（日）に沿って延び、２次元画像６２０上で日を指定するスクロールバー６２３と、スクロールバー６２３によって選択されている日の範囲を取り囲む枠６２２と、枠６２２に取り囲まれた撮影日時に撮影された撮影画像の枚数を示す数表示部６２４と、上述した期間を切り替えるための期間変更ボタン６２５と、および日を切り替える日変更ボタン６２６も表示されている。
【００７６】
枠６２２に取り囲まれた撮影日時は、３次元画像６００上で最前面に表示されている撮影画像の撮影日であり、数表示部６２４を確認することによって、同じ日に撮影された撮影画像の枚数を容易に認識することができる。
【００７７】
また、ポインタ６０１の右ボタンをクリックすると、サムネイル画像を選択するためのポップアップウィンドウ６４０が表示される。
【００７８】
図９は、ポップアップウィンドウが表示された後の表示画面１０２ａの一例を示す図である。
【００７９】
図９に示すポップアップウィンドウ６４０には、同じ時間帯に撮影された撮影画像を表わすサムネイル画像をまとめて選択するための「奥行きメニュー」、同じ日の同じ時間帯に撮影された撮影画像を表わすサムネイル画像をまとめて選択するための「行メニュー」、同じ日に撮影された撮影画像を表わすサムネイル画像をまとめて選択するための「面メニュー」が用意されている。
【００８０】
ユーザがポップアップウィンドウ６４０を使ってサムネイル画像６１０を選択すると（図５のステップＳ７：Ｙｅｓ）、図４の指示部５１１から強調表示部５２０に指定内容が伝えられ、強調表示部５２０によって、選択されたサムネイル画像６１０と、そのサムネイル画像６１０に対応するマーク６２１が強調表示される（図５のステップＳ８）。図９の例では、ユーザによってポップアップウィンドウ６４０の「面メニュー」が指定され、同じ日に撮影された撮影画像を表わすサムネイル画像６１０がまとめて選択されて強調表示（点灯表示）されていおり、２次元画像６２０上の、それら選択されたサムネイル画像６１０が表わす番組の配信日時に対応する位置に配置されたマーク６２１も強調表示（白抜き表示）されている。このように、選択されているサムネイル画像と、それらサムネイル画像に対応するマーク画像を強調表示することによって、現在、選択されているサムネイル画像が表わす撮影画像がいつ撮影されたものなのかを視覚的に容易に確認することができる。
【００８１】
サムネイル画像６１０が選択された状態で、ユーザが図１に示すマウス１０４を右クリックすると、選択したサムネイル画像６１０の撮影画像を記録媒体に記憶するためのポップアップウィンドウが表示される。
【００８２】
ユーザがポインタ６０１を使ってポップアップウィンドウ上に表示された指示を選択すると（図５のステップＳ９：Ｙｅｓ）、指示内容が図４の画像記憶部５２１に伝えられる。画像記憶部５２１では、保存部５０１から、選択されたサムネイル画像６１０の撮影画像データが取得され、撮影画像データが図２に示すＣＤ／ＤＶＤドライブ１１４を介して、ＣＤ−ＲＯＭ３００に替えてパーソナルコンピュータ１００に装填されたＤＶＤ（図示しない）などに記憶される（図５のステップＳ１０）。
【００８３】
以上のように、「撮影日時モード」によると、多くの撮影番組が保存部５０１に保存されており、３次元画像６００上で奥行き方向のサムネイル画像が重なってしまっていても、２次元画像６２０を確認することによって、どの日に撮影を行ったのかなどを容易に認識することができる。
【００８４】
以上で、「撮影日時モード」による処理の流れの説明を終了し、「人物モード」による処理の流れについて説明する。
【００８５】
「人物モード」が実行されるのに当たっては、予め、人物の顔が撮影された顔画像が登録される。画像処理装置５００には、顔画像を登録するための登録画面が予め用意されている。ユーザがマウスで登録画面を表示するための表示ボタンを選択すると、図４に示す指示部５１１から撮影情報・画像取得部５１４に登録画面表示の指示が伝えられる。撮影情報・画像取得部５１４では、保存部５０１に記憶されている撮影画像が取得され、取得された撮影画像が顔抽出部５１８１に伝えられる。顔抽出部５１８１では、複数の撮影画像それぞれについて顔が抽出される。抽出された顔の画像は、表示部５１９に伝えられ、表示部５１９において、表示画面１０２ａ上に登録画面が表示される。
【００８６】
図１０は、登録画面の一例を示す図である。
【００８７】
図１０のパート（Ａ）に示す登録画面７１０には、保存部５０１に保存されている撮影画像から抽出された顔画像７２０が表示されており、さらに、次の顔画像７２０のページを表示するための次ボタン７１２、前の顔画像７２０のページを表示するための戻るボタン７１１、設定内容を決定するための決定ボタン７１３、および設定内容をキャンセルするためのキャンセルボタン７１４が備えられている。本実施形態においては、１人の人物に対して複数の顔画像７２０を登録することができる。ユーザが、登録画面７１０に表示されている顔画像７２０の中から、所定の人物の顔画像７２０を選択し、決定ボタン７１３を押すと、その人物の情報を入力するための情報入力画面７３０が表示される。
【００８８】
図１０のパート（Ｂ）に示す情報入力画面７３０には、パート（Ａ）に示す登録画面７１０で選択された顔画像７２０が表示されており、さらに、人物名を入力するための人物名入力部７３１、人物の生年月日を入力するための生年月日入力部７３２、および設定内容を決定するための登録ボタン７３３が備えられている。ユーザが、人物名および人物の生年月日を入力すると、生年月日が図４に示す差分算出部５１８３に伝えられる。差分算出部５１８３では、入力された生年月日と、顔画像７２０の元となる撮影画像の撮影日時とに基づいて、顔画像７２０中の顔を有する人物の、撮影時の年齢（以下では、撮影時年齢と称する）が算出される。算出された年齢は表示部５１９に伝えられ、情報入力画面７３０上の、年齢表示部７２１に表示される。ユーザが登録ボタン７３３を選択すると、各顔画像７２０それぞれに、元の撮影画像の撮影日時、人物名、人物の生年月日、および年撮影時年齢を示す人物情報が対応付けられ、顔画像７２０と人物情報のセットが取込部５１２および登録部５１３を介して保存部５０１に登録される。登録部５１３は、本発明にいう画像登録部の一例にあたり、人物を登録する処理は、本発明の画像表示方法における画像登録過程の一例に相当する。
【００８９】
ユーザが図８に示す人物ボタン６３２を選択すると、図４の指示部５１１から撮影情報・画像取得部５１４と分析部５１８に「人物モード」の実行指示が伝えられる。
【００９０】
図１１は、人物モードによる処理の流れを示すフローチャート図である。
【００９１】
「人物モード」の実行指示が伝えられると、撮影情報・画像取得部５１４は、保存部５０１に登録されている顔画像７２０と人物情報のセットを取得し、人物情報を表示部５１９に伝える。表示部５１９は、表示画面１０２ａに、人物を選択するための人物選択画面を表示する。
【００９２】
図１２は、人物選択画面の一例を示す図である。
【００９３】
人物選択画面７４０には、保存部５０１に登録されている人物の名前が表示されており、各人物の名前に並べて、１人の人物を選択するためのラジオボタン７４１が表示されている。ユーザがマウス１４０などを使って１人の人物を選択し、決定ボタン７４２を押すと、選択内容が撮影情報・画像取得部５１４に伝えられる（図１１のステップＳ１１）。
【００９４】
人物が選択されると、撮影情報・画像取得部５１４は、保存部５０１に保存されている複数の撮影画像および撮影情報と、選択された人物の顔画像７２０および人物情報を取得し、複数の撮影画像を顔抽出部５１８１に伝え、選択された人物の顔画像７２０および人物情報を類似度算出部５１８２に伝え、撮影情報と人物情報を差分算出部５１８３および類似度決定部５１８４に伝える。撮影情報・画像取得部５１４は、本発明にいう画像取得部の一例にあたり、複数の撮影画像を取得する処理は、本発明の画像表示方法における画像取得過程の一例に相当する。
【００９５】
顔抽出部５１８１では、複数の撮影画像それぞれについて顔が抽出される。画像中の顔を抽出する処理は、従来から広く行われている処理であるため、本明細書では詳細な説明を省略する。抽出された顔画像は、類似度算出部５１８２に伝えられる。
【００９６】
類似度算出部５１８２では、顔画像７２０と、複数の撮影画像それぞれについて抽出された顔との仮の類似度が算出される（図１１のステップＳ１２）。複数の画像それぞれに含まれる顔の類似度を算出する技術は、人物認証システムなどに広く利用されているため、本明細書では詳細な説明を省略する。顔抽出部５１８１と類似度算出部５１８２とを合わせたものは、本発明にいう類似度算出部の一例にあたり、撮影画像中の顔を抽出して、抽出した顔と登録されている顔画像７２０との類似度を算出する処理は、本発明の画像表示方法における類似度算出過程の一例に相当する。
【００９７】
差分算出部５１８３では、複数の撮影画像それぞれと対応付けられた撮影情報に含まれている撮影日時と、顔画像７２０と対応付けられた人物情報に含まれている撮影日時と、人物情報に含まれている撮影時年齢とに基づいて、撮影画像中の人物が顔画像７２０の人物であると想定したときの、その人物の、撮影画像を撮影したときの年齢（以下では、想定年齢と称する）が算出される（図１１のステップＳ１３）。算出された想定年齢は、類似度決定部５１８４に伝えられる。
【００９８】
類似度決定部５１８４では、差分算出部５１８３で算出された想定年齢と、顔画像７２０の人物の撮影時年齢とに基づいて、類似度算出部５１８２で算出された仮の類似度が低減され、顔画像７２０中の顔と、撮影画像中の顔との類似度が決定される（図１１のステップＳ１４）。差分算出部５１８３と類似度決定部５１８４とを合わせたものは、本発明にいう類似度低減部の一例にあたり、仮の類似度を低減するステップＳ１３の処理は、本発明にいう類似度低減過程の一例に相当する。本実施形態においては、年齢別に類似度の低減率が予め決められている。
【００９９】
表１は、年齢別の類似度の低減率の例を示す表である。
【０１００】
【表１】
【０１０１】
撮影時年齢と想定年齢とを１歳近づけるごとに、仮の類似度から表１に示す低減率だけ類似度を低減させていく。例えば、顔画像７２０の人物の撮影時年齢が５歳で、分析対象である撮影画像中の人物の想定年齢が１歳である場合、類似度の低減率は、
低減率（１歳→５歳）＝１歳から２歳を経るときの低減率２０＋２歳から３歳を減るときの低減率１０＋３歳から４歳を経るときの低減率１０＋４歳から５歳を減るときの低減率１０＝５０％
と算出され、顔画像７２０の人物（５歳）に対する撮影画像中の人物の想定年齢（１歳）の類似度は、
類似度＝仮の類似度×（１００−低減率（５０））
の式で算出される。本実施形態においては、想定年齢と撮影時年齢との差が大きいほど低減率が大きくなっている。例えば、母親の若いころの顔と、娘の現在の顔とが良く似ている場合、それらの顔の形状に基づいて算出される仮の類似度は大きくなるが、母親の若いころの顔が写っている撮影画像の撮影日時は、娘の現在の顔が写っている顔画像の撮影日時と大きく離れているため、撮影画像の想定年齢が顔画像の撮影時年齢と大きく離れ、低減率が大きくなる。このため、本実施形態の画像表示装置によると、良く似た親子の顔なども精度良く判定することができる。
【０１０２】
また、本実施形態においては、想定年齢や撮影時年齢が０歳〜２歳の場合は大きく類似度が低減され、２０歳を超えると類似度の低減率が抑えられる。２歳以下の子供は、顔の部位全体が丸みを帯びていて、みんな似たような顔をしていることが多く、２歳を超えた当たりから、個人個人で顔つきが変わってくることが多い。また、逆に、２０歳を超えると、人の顔つきの変化が緩やかになることが一般的である。このため、０歳から２歳の間は類似度の低減率を大きくし、２０歳を超えた年齢における類似度の低減率を抑えることによって、顔画像７２０中の顔と撮影画像中の顔の類似度を精度良く分析することができる。
【０１０３】
以上のようにして算出された複数の撮影画像それぞれにおける類似度は、位置算出部５１５に伝えられる。
【０１０４】
位置算出部５１５では、撮影時間帯、撮影日、および類似度それぞれを軸とする３次元空間上の、類似度決定部５１８４から伝えられた類似度が対応する３次元上位置と、撮影時間帯、および類似度それぞれを軸とする２次元空間上の、３次元上位置に対応する２次元上位置が算出される（図１１のステップＳ３）。
【０１０５】
図１３は、３次元空間の一例を示す概念図である。
【０１０６】
図１３に示すように、本実施形態においては、撮影時間帯をＸ軸（横方向）、撮影日をＹ軸（縦方向）、類似度をＺ軸（奥行き方向）とする３次元空間が適用される。
【０１０７】
３次元空間のＸ軸には、４時〜９時の間の６時間を起点として、１０時〜１５時、１６時〜２１時、２２時〜３時と６時間ごとに順に割り付けられている。
【０１０８】
３次元空間のＹ軸には、撮影日時が新しいものから順に割り付けられている。
【０１０９】
３次元空間のＺ軸には、類似度１００〜８１を起点として、８０〜６１、６０〜４１、…と順に割り付けられている。
【０１１０】
また、本実施形態においては、撮影時間帯をＸ軸（横方向）、類似度をＺ軸（縦方向）とする２次元空間が適用される。
【０１１１】
位置算出部５１５では、類似度決定部５１８４から伝えられた類似度と、撮影画像の撮影日時とに基づいて、２次元空間上の位置（２次元上位置）および３次元空間上の位置（３次元上位置）を算出する。算出された２次元上位置は、２次元画像生成部５１６に伝えられ、３次元上位置は、３次元画像生成部５１７に伝えられる。
【０１１２】
２次元画像生成部５１６では、２次元画像が生成され（図１１のステップＳ４）、３次元画像生成部５１７では、３次元画像が生成され（図１１のステップＳ５）、数表示部５２２では、３次元画像上で最前面に表示される撮影画像の枚数が算出される。
【０１１３】
表示部５１９は、２次元画像生成部５１６で生成された２次元画像と、３次元画像生成部５１７で生成された３次元画像と、スクロールバーと、数表示部５２２で算出された撮影枚数を表示画面１０２ａ上に表示する（図１１のステップＳ６）。３次元画像生成部５１７と表示部５１９とを合わせたものは、本発明にいう表示部の一例にあたり、２次元画像生成部５１６と表示部５１９とを合わせたものは、本発明にいう補助表示部の一例にあたり、数表示部５２２と表示部５１９とを合わせたものは、本発明にいう画像数表示部の一例に相当する。
【０１１４】
図１４は、３次元画像８００、２次元画像６２０、およびスクロールバー６２３が表示された人物表示画面８００の一例を示す図である。
【０１１５】
人物表示画面８００には、相互に異なる類似度帯の撮影画像が配置された６枚の３次元画像８１０，８２０，８３０，８４０，８５０が表示されており、それら６枚の３次元画像８１０，８２０，８３０，８４０，８５０は、類似度帯が最も大きい３次元画像８１０を最前面にして、類似度帯の大きいものから順にＺ軸方向（奥行き方向）に並べて配置されている。最前面の３次元画像８１０では、ステップＳ１１において選択された顔画像７２０中の顔と、同程度の類似度（類似度が１００〜８１）を有する顔を含む撮影画像のサムネイル画像６１０が同一面上に並べて表示されている。各サムネイル画像６１０のＺ軸上の位置は、そのサムネイル画像６１０の元となる撮影画像の類似度を示しており、各サムネイル画像６１０のＹ軸上の位置は、そのサムネイル画像６１０の元となる撮影画像の撮影日時を示しており、各サムネイル画像６１０のＸ軸上の位置は、そのサムネイル画像６１０の元となる撮影画像の撮影時間帯を示している。
【０１１６】
このように、本実施形態の撮影画像表示装置５００によると、同程度の類似度を有する顔が含まれた撮影画像のサムネイル画像が３次元画像６００中で同一面上に並ぶため、大量な撮影画像が保存されている場合であっても、それらの撮影画像の中から、所望の顔と似ている顔が含まれている撮影画像を容易に見つけ出すことができる。
【０１１７】
また、２次元画像６２０では、Ｘ軸（撮影時間帯）に沿って延びた複数のマーク６２１´が配置されており、各マーク６２１´それぞれが各類似度を示している。また、２次元画像６２０には、Ｙ軸（類似度）に沿って延び、２次元画像６２０上で類似度を指定するスクロールバー６２３と、スクロールバー６２３によって選択されている類似度のマーク６２１´を取り囲む枠６２２と、スクロールバー６２３によって選択された類似度が算出された撮影画像の枚数を示す数表示部６２４なども表示されている。
【０１１８】
ユーザがスクロールバー６２３をスクロールすると、図４に示す指示部５１１においてスクロール量に応じて類似度が切り替えられ、切り替えられた類似度が制御部５２３に伝えられる。制御部５２３は、２次元画像生成部５１６および３次元画像生成部５１７それぞれに類似度を切り替える指示を伝えることにより、２次元画像６２０上の枠６２２を切り替えられた類似度の位置まで移動させるとともに、切り替えられた類似度の３次元画像が最前面にくるように配置しなおさせる。指示部５１１は、本発明にいう指定部の一例にあたり、制御部５２３は、本発明にいう表示制御部の一例に相当する。
【０１１９】
図１５は、類似度が切り替えられた後の人物表示画面８００の一例を示す図である。
【０１２０】
図１５では、枠６２２が２番目の類似度を示すマーク６２１´を取り囲んでおり、数表示部６２４には、２番目の類似度に属している撮影画像の数が示されている。また、２番目の類似度帯の撮影画像のサムネイル画像６１０が配置された３次元画像８２０が最前面に表示されている。
【０１２１】
スクロールバー６２３を利用することによって、ユーザは容易に３次元画像の表示を切り替えることができる。
【０１２２】
また、図１４に示すように、ユーザがポインタ６０１の右ボタンをクリックすると、サムネイル画像を選択するためのポップアップウィンドウ６４０´が表示される。
【０１２３】
図１４に示すポップアップウィンドウ６４０´には、同じ類似度帯に属する撮影画像を表わすサムネイル画像をまとめて選択するための「面メニュー」、同じ類似度帯に属し、同じ撮影日に撮影された撮影画像を表わすサムネイル画像をまとめて選択するための「行メニュー」が用意されている。
【０１２４】
ユーザがポップアップウィンドウ６４０´を使ってサムネイル画像６１０を選択すると（図１１のステップＳ７：Ｙｅｓ）、図４の指示部５１１から強調表示部５２０に指定内容が伝えられ、図５に示す「撮影日時モード」と同様に、強調表示部５２０によって、選択されたサムネイル画像６１０と、そのサムネイル画像６１０に対応するマーク６２１が強調表示される（図１１のステップＳ８）。
【０１２５】
さらに、サムネイル画像６１０が選択された状態で、ユーザが図１に示すマウス１０４を右クリックすると、選択したサムネイル画像６１０の撮影画像を記録媒体に記憶するためのポップアップウィンドウが表示される。
【０１２６】
ユーザがポインタ６０１を使ってポップアップウィンドウ上に表示された指示を選択すると（図１１のステップＳ９：Ｙｅｓ）、指示内容が図４の画像記憶部５２１に伝えられ、選択されたサムネイル画像６１０の撮影画像データがパーソナルコンピュータ１００に装填されたＤＶＤ（図示しない）などに記憶される（図１１のステップＳ１０）。
【０１２７】
このように、本実施形態によると、所定の人物の顔画像と、撮影画像中の顔との類似度合を精度良く分析し、その分析結果を見やすく表示することができる。
【０１２８】
以上で、本発明の第１実施形態の説明を終了し、本発明の第２実施形態について説明する。本発明の第２実施形態は、第１実施形態と同様の構成を有しているが、類似度決定部における類似度の低減方法が第１実施形態とは異なる。以下では、第１実施形態との相違点についてのみ説明する。
【０１２９】
本実施形態の画像表示装置では、図１０のパート（Ｂ）に示すように、１人の人物に対して、撮影時期が相互に異なる複数の顔画像７２０が登録されている。
【０１３０】
図４に示す類似度決定部５１８４では、類似度算出部５１８２で算出された仮の類似度を低減させるのに当たり、まず、登録されている複数の顔画像７２０を使って低減率が算出される。
【０１３１】
本実施形態においては、登録されている複数の顔画像７２０のうち、最も新しい顔画像７２０と、撮影画像とが比較される。例えば、撮影画像中の人物の想定年齢が１歳で、最も新しい顔画像７２０の撮影時年齢が５歳であった場合、まずは、５歳における顔画像７２０と１歳における顔画像７２０の類似度が算出される。続いて、類似度算出部５１８２で算出された仮の類似度と、算出された顔画像同士の類似度を使って、以下の式によって、撮影画像の類似度が算出される。
【０１３２】
類似度＝仮の類似度×（顔画像７２０同士の類似度／１００）
このように、登録されている人物が、年齢を経るとともにどの程度顔が変わったのかを分析し、その分析結果を低減率として利用することによっても、精度良く類似度を分析することができる。
【０１３３】
ここで、上記では、撮影画像を登録する際にサムネイル画像を生成する例について説明したが、本発明にいう３次元表示部は、撮影画像の一覧を表示させる際にサムネイル画像を表示するものであってもよい。
【０１３４】
また、上記では、保存されている撮影画像の中から顔画像を選択する例について説明したが、本発明にいう画像登録部は、外部装置から顔画像を入力するものであってもよい。
【図面の簡単な説明】
【０１３５】
【図１】本発明の一実施形態が適用されたパーソナルコンピュータの外観構成図である。
【図２】パーソナルコンピュータの内部構成図である。
【図３】画像表示プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。
【図４】撮影画像表示装置の機能ブロック図である。
【図５】撮影日時モードによる撮影画像の一覧表示の処理の流れを示すフローチャート図である。
【図６】３次元空間の一例を示す概念図である。
【図７】２次元空間の一例を示す概念図である。
【図８】３次元画像、２次元画像、およびスクロールバーが表示された表示画面の一例を示す図である。
【図９】ポップアップウィンドウが表示された後の表示画面の一例を示す図である。
【図１０】登録画面の一例を示す図である。
【図１１】人物モードによる処理の流れを示すフローチャート図である。
【図１２】人物選択画面の一例を示す図である。
【図１３】３次元空間の一例を示す概念図である。
【図１４】３次元画像、２次元画像、およびスクロールバーが表示された人物表示画面の一例を示す図である。
【図１５】類似度が切り替えられた後の人物表示画面の一例を示す図である。
【符号の説明】
【０１３６】
１００ パーソナルコンピュータ
１０１ 本体装置
１０２ 画像表示装置
１０２ａ 表示画面
１０３ キーボード
１０４ マウス
１０５ バス
１１１ ＣＰＵ
１１２ 主メモリ
１１３ ハードディスク装置
１１４ ＣＤ／ＤＶＤドライブ
１１５ ＦＤドライブ
１１６ 通信インタフェース
４００ 撮影画像表示プログラム
４１０ 指示部
４１２ 取込部
４１３ 登録部
４１４ 撮影情報・画像取得部
４１５ 位置算出部
４１６ ２次元画像生成部
４１７ ３次元画像生成部
４１８ 分析部
４１８１ 顔抽出部
４１８２ 類似度算出部
４１８３ 差分算出部
４１８４ 類似度決定部
４１９ 表示部
４２０ 強調表示部
４２１ 画像記憶部
４２２ 数表示部
４２３ 制御部
５００ 撮影画像表示装置
５１１ 指示部
５１２ 取込部
５１３ 登録部
５１４ 撮影情報・画像取得部
５１５ 位置算出部
５１６ ２次元画像生成部
５１７ ３次元画像生成部
５１８ 分析部
５１８１ 顔抽出部
５１８２ 類似度算出部
５１８３ 差分算出部
５１８４ 類似度決定部
５１９ 表示部
５２０ 強調表示部
５２１ 画像記憶部
５２２ 数表示部
５２３ 制御部
【特許請求の範囲】
【請求項１】
撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
前記画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
前記撮影画像に対応付けられた撮影日時と、前記顔画像に対応付けられた撮影日時との差分が大きい程大きく、前記顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部とを備えたことを特徴とする類似分析装置。
【請求項２】
前記画像登録部は、前記撮影日時に加えて、年齢も対応付けられた顔画像を登録するものであり、
前記類似度低減部は、前記類似度を低減させるに当たり、前記差分が大きい程大きい低減度、かつ前記年齢に応じた低減度で低減させるものであることを特徴とする請求項１記載の類似分析装置。
【請求項３】
撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
前記画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
前記撮影画像に対応付けられた撮影日時と、前記顔画像に対応付けられた撮影日時との差分が大きい程大きく、前記顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部と、
前記画像取得部で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示部とを備えたことを特徴とする画像表示装置。
【請求項４】
前記画像登録部は、前記撮影日時に加えて、年齢も対応付けられた顔画像を登録するものであり、
前記類似度低減部は、前記類似度を低減させるに当たり、前記差分が大きい程大きい低減度、かつ前記年齢に応じた低減度で低減させるものであることを特徴とする請求項３記載の画像表示装置。
【請求項５】
前記画像表示部は、前記類似度合の軸を有する３次元空間を表示し、その３次元空間上における、前記類似度低減部で低減された撮影画像の類似度合の位置に該撮影画像を配置するものであることを特徴とする請求項３又は４記載の画像表示装置。
【請求項６】
前記類似度合の軸を有する２次元空間を表示し、その２次元空間上における、前記類似度低減部で低減された撮影画像の類似度合の位置に、該撮影画像が存在することを示すマークを配置する補助表示部を備えたことを特徴とする請求項３から５のうちいずれか１項に記載の画像表示装置。
【請求項７】
前記２次元空間上の、前記類似度合の軸とは別の軸に沿った指定枠を表示する、操作に応じて該指定枠を該類似度合の軸に沿って移動させることにより、該２次元空間上で該類似度合を指定する指定部と、
前記３次元表示部に、前記指定部によって指定された類似度合の撮影画像を最前面に配置させる表示制御部とを備えたことを特徴とする請求項６記載の画像表示装置。
【請求項８】
前記指定部によって指定された類似度合の撮影画像の数を表示する画像数表示部を備えたことを特徴とする請求項３から７いずれか１項に記載の画像表示装置。
【請求項９】
前記画像取得部が、前記複数の撮影画像が記憶された記憶装置から該複数の撮影画像を取得するものであることを特徴とする請求項３から８のうちいずれか１項に記載の画像表示装置。
【請求項１０】
コンピュータ内で実行され、該コンピュータ上に、
撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
前記画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
前記撮影画像に対応付けられた撮影日時と、前記顔画像に対応付けられた撮影日時との差分が大きい程大きく、前記顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部と、
前記画像取得部で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示部とを構築することを特徴とする画像表示プログラム。
【請求項１１】
撮影日時が対応付けられた複数の撮影画像を取得する画像取得過程と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録過程と、
前記画像取得過程で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録過程で登録された顔画像中の顔との類似度合いを算出する類似度算出過程と、
前記撮影画像に対応付けられた撮影日時と、前記顔画像に対応付けられた撮影日時との差分が大きい程大きく、前記顔類似度算出部で算出された顔類似度合いを低減させる類似度低減過程と、
前記画像取得過程で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示過程とを有することを特徴とする画像表示方法。
【請求項１】
撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
前記画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
前記撮影画像に対応付けられた撮影日時と、前記顔画像に対応付けられた撮影日時との差分が大きい程大きく、前記顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部とを備えたことを特徴とする類似分析装置。
【請求項２】
前記画像登録部は、前記撮影日時に加えて、年齢も対応付けられた顔画像を登録するものであり、
前記類似度低減部は、前記類似度を低減させるに当たり、前記差分が大きい程大きい低減度、かつ前記年齢に応じた低減度で低減させるものであることを特徴とする請求項１記載の類似分析装置。
【請求項３】
撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
前記画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
前記撮影画像に対応付けられた撮影日時と、前記顔画像に対応付けられた撮影日時との差分が大きい程大きく、前記顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部と、
前記画像取得部で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示部とを備えたことを特徴とする画像表示装置。
【請求項４】
前記画像登録部は、前記撮影日時に加えて、年齢も対応付けられた顔画像を登録するものであり、
前記類似度低減部は、前記類似度を低減させるに当たり、前記差分が大きい程大きい低減度、かつ前記年齢に応じた低減度で低減させるものであることを特徴とする請求項３記載の画像表示装置。
【請求項５】
前記画像表示部は、前記類似度合の軸を有する３次元空間を表示し、その３次元空間上における、前記類似度低減部で低減された撮影画像の類似度合の位置に該撮影画像を配置するものであることを特徴とする請求項３又は４記載の画像表示装置。
【請求項６】
前記類似度合の軸を有する２次元空間を表示し、その２次元空間上における、前記類似度低減部で低減された撮影画像の類似度合の位置に、該撮影画像が存在することを示すマークを配置する補助表示部を備えたことを特徴とする請求項３から５のうちいずれか１項に記載の画像表示装置。
【請求項７】
前記２次元空間上の、前記類似度合の軸とは別の軸に沿った指定枠を表示する、操作に応じて該指定枠を該類似度合の軸に沿って移動させることにより、該２次元空間上で該類似度合を指定する指定部と、
前記３次元表示部に、前記指定部によって指定された類似度合の撮影画像を最前面に配置させる表示制御部とを備えたことを特徴とする請求項６記載の画像表示装置。
【請求項８】
前記指定部によって指定された類似度合の撮影画像の数を表示する画像数表示部を備えたことを特徴とする請求項３から７いずれか１項に記載の画像表示装置。
【請求項９】
前記画像取得部が、前記複数の撮影画像が記憶された記憶装置から該複数の撮影画像を取得するものであることを特徴とする請求項３から８のうちいずれか１項に記載の画像表示装置。
【請求項１０】
コンピュータ内で実行され、該コンピュータ上に、
撮影日時が対応付けられた複数の撮影画像を取得する画像取得部と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録部と、
前記画像取得部で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録部で登録された顔画像中の顔との類似度合いを算出する類似度算出部と、
前記撮影画像に対応付けられた撮影日時と、前記顔画像に対応付けられた撮影日時との差分が大きい程大きく、前記顔類似度算出部で算出された顔類似度合いを低減させる類似度低減部と、
前記画像取得部で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示部とを構築することを特徴とする画像表示プログラム。
【請求項１１】
撮影日時が対応付けられた複数の撮影画像を取得する画像取得過程と、
顔が撮影されてなる、撮影日時が対応付けられた顔画像を登録する画像登録過程と、
前記画像取得過程で取得された複数の撮影画像それぞれについて顔を検出し、検出した顔と、前記画像登録過程で登録された顔画像中の顔との類似度合いを算出する類似度算出過程と、
前記撮影画像に対応付けられた撮影日時と、前記顔画像に対応付けられた撮影日時との差分が大きい程大きく、前記顔類似度算出部で算出された顔類似度合いを低減させる類似度低減過程と、
前記画像取得過程で取得された複数の撮影画像を類似度合いが大きい順に並べて表示する画像表示過程とを有することを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００８−２６９０１０（Ｐ２００８−２６９０１０Ａ）
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願番号】特願２００７−１０７２２２（Ｐ２００７−１０７２２２）
【出願日】平成１９年４月１６日（２００７．４．１６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願日】平成１９年４月１６日（２００７．４．１６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]