画像処理装置および方法、並びにプログラム
【課題】画像の切り出しを、撮影者の意図にあう形で行えるようにする。
【解決手段】画像の切り出しを行う領域として設定されている貼付領域５４２のアスペクト比は、“１：２”である。画像を切り出す元となる元画像５４３のアスペクト比は、“１６：９”である。このように、貼付領域５４２と元画像５４３とのアスペクト比が異なる場合、貼付領域５４２のアスペクト比を維持した状態で、元画像５４３を最大限に含む領域５４２’内の画像が切り出される。本発明は、電子アルバムを作成する装置に適用できる。
【解決手段】画像の切り出しを行う領域として設定されている貼付領域５４２のアスペクト比は、“１：２”である。画像を切り出す元となる元画像５４３のアスペクト比は、“１６：９”である。このように、貼付領域５４２と元画像５４３とのアスペクト比が異なる場合、貼付領域５４２のアスペクト比を維持した状態で、元画像５４３を最大限に含む領域５４２’内の画像が切り出される。本発明は、電子アルバムを作成する装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、人の顔などが適切に切り出された画像を、適切に配置したアルバムを作成できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどが普及し、デジタルカメラで撮影された画像を、パーソナコンピュータなどで気軽に閲覧することができる。
【０００３】
デジタルカメラが普及する前には、いわゆるフィルムカメラなどと称されるカメラが一般的に用いられていた。フィルムカメラにより撮影された画像（写真）は、所定の紙に印刷された状態で閲覧することが一般的であった。それらの写真は、台紙に貼付された状態でアルバムなどと称される形式で管理されることがあった。
【０００４】
このようなフィルムカメラにおいて撮影された画像を閲覧するときに用いられていたアルバムを、デジタルカメラにおいて撮影された画像を閲覧するときにも利用することが提案されつつある。デジタルカメラにおいて撮影された画像を閲覧するアルバムは、電子アルバムなどと称されることがある。
【０００５】
電子アルバムは、パーソナルコンピュータのディスプレイや、テレビジョン受像機などで閲覧することができる。また、電子アルバムは、紙媒体のアルバムと同じ感覚で扱えるように、複数のページで構成され、ページをめくると次のページが表示されるといった表示形態を備えているのが一般的である。ユーザは、紙媒体のアルバムと同じ感覚で電子アルバムを楽しむことができる。
【０００６】
紙媒体のアルバムは、ユーザが、自分で写真を台紙に貼ることにより作成される。電子アルバムの場合、ディスプレイ上に表示されているページをイメージした画面に、ユーザが所定の操作を行うことで画像を貼り付けることにより、アルバムを作成することもできるが、ユーザの手を煩わすことなく画像をページ内に配置し、アルバムを作成することも提案されている。アルバムを作成するときなど、適切な画像をページに貼り付けるために、何らかの加工が行われることも提案されている。
【特許文献１】特許第３６９０３９１号
【０００７】
【特許文献２】特開２００５−２６９５６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
電子アルバムを、ユーザの手を煩わすことなく作成するような場合、適切な画像をページに貼り付けるために、何らかの加工が行われることがあるが、撮影者の意図を反映した形で加工が行われることが好ましい。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、画像を加工するとき、その画像を撮影した撮影者の意図を反映した形で加工が行われるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、画像の配置を決定するテンプレートを管理する管理手段と、第１の画像の一部を切り出す切り出し手段と、前記切り出し手段により前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置手段とを備え、前記切り出し手段は、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す。
【００１１】
前記第１の画像から顔と判断される領域を検出する検出手段をさらに備え、前記切り出し手段は、前記検出手段で検出された前記顔と判断される領域を含む領域で前記第２の画像を切り出すようにすることができる。
【００１２】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、最大の領域を有する顔を含む領域で前記第２の画像を切り出すようにすることができる。
【００１３】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、それらの領域を最も多く含む領域で前記第２の画像を切り出すようにすることができる。
【００１４】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、最も顔である確率が高い領域を含む領域で前記第２の画像を切り出すようにすることができる。
【００１５】
前記検出手段は、前記第１の画像に含まれる顔の特徴をさらに検出し、前記切り出し手段は、前記特徴が特定の条件を満たす顔を含む領域で前記第２の画像を切り出すようにすることができる。
【００１６】
本発明の一側面の画像処理方法は、画像の配置を決定するテンプレートを管理する管理ステップと、第１の画像の一部を切り出す切り出しステップと、前記切り出しステップの処理で前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置ステップとを含み、前記切り出しステップは、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す。
【００１７】
本発明の一側面のプログラムは、画像の配置を決定するテンプレートを管理する管理ステップと、第１の画像の一部を切り出す切り出しステップと、前記切り出しステップの処理で前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置ステップとを含み、前記切り出しステップは、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す処理をコンピュータに実行させる。
【００１８】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像の配置を決定するテンプレートが管理され、テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、第１の画像を最大限に含むように第１の画像から第２の画像が切り出される。
【発明の効果】
【００１９】
本発明の一側面によれば、画像を切り出すとき、切り出す領域として設定されている大きさのアスペクト比が維持された状態で、かつ、最大限に元の画像が含まれるように切り出しを行うことができるようになり、撮影者の意図を反映した形で画像の切り出しを行うことができる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２１】
本発明の一側面の画像処理装置（例えば、図１の画像処理装置１）は、画像の配置を決定するテンプレートを管理する管理手段（例えば、図２のテンプレートＤＢ３３）と、第１の画像の一部を切り出す切り出し手段（例えば、図５４のステップＳ１１３，Ｓ１１６，Ｓ１１８，Ｓ１１９）と、前記切り出し手段により前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置手段（例えば、図５４のステップＳ１１４）とを備える。
【００２２】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２３】
［画像処理装置の構成について］
図１は、本発明の一実施の形態である情報処理装置の構成を示す図である。情報処理装置１は、ＨＤＤ（Hard Disc Recorder）レコーダなどである。
【００２４】
図１の画像処理装置１は、図示せぬ外部装置から供給されるＡＶ（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。画像処理装置１は、再生された映像信号を、外部に接続されているモニタ２に出力する。また、画像処理装置１は、再生された音声信号を、外部に接続されているスピーカ３に出力する。
【００２５】
ＡＶ信号を供給する外部装置は、例えば、i.LINK（商標）を介して接続される外部装置、 デジタルＢＳ（Broadcasting Satellite）チューナもしくはデジタルＣＳ（Communications Satellite）チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。
【００２６】
画像処理装置１には、必要に応じてドライブ４が接続される。ドライブ４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどのリムーバブルメディア５が必要に応じて装着され、データの授受を行うようになされている。
【００２７】
図１の画像処理装置１は、コーデック１１、サンプリングレートコンバータ１２、アナログ入力処理部１３、A/Dコンバータ１４、切換部１５、NTSC（National Television System Committee）デコーダ１６、エンコーダ１７、記録再生部１８、操作部１９、制御部２０、デコーダ２１、NTSCエンコーダ２２、およびD/Aコンバータ２３を含む構成とされている。
【００２８】
コーデック１１は、図示せぬ外部装置から供給されるＡＶ信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ１２に供給する。
【００２９】
サンプリングレートコンバータ１２は、図示せぬ外部装置から供給されるＡＶ信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ１２は、変換されたデジタルオーディオ信号を切換部１５に供給する。
【００３０】
アナログ入力処理部１３は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ１６に供給する。また、アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ１４に供給する。
【００３１】
A/Dコンバータ１４は、アナログ入力処理部１３から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ１４は、A/D変換された結果であるデジタルオーディオ信号を切換部１５に供給する。
【００３２】
切換部１５は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ１２から供給されたデジタルオーディオ信号、またはA/Dコンバータ１４から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部１５は、選択されたデジタルオーディオ信号をNTSCデコーダ１６に供給する。
【００３３】
NTSCデコーダ１６は、コーデック１１より供給されたデジタルビデオ信号、またはアナログ入力処理部１３より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。NTSCデコーダ１６は、変換されたNTSC方式のデジタルビデオ信号と、切換部１５から供給されたデジタルオーディオ信号とを合成する。
【００３４】
画像処理装置１に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ１６は、合成された信号であるデジタルＡＶ信号を、エンコーダ１７に供給する。一方、画像処理装置１に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ１６は、合成された信号であるデジタルＡＶ信号を、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。
【００３５】
エンコーダ１７は、NTSCデコーダ１６より供給されたデジタルＡＶ信号に対して、例えば、MPEG（Moving Picture Experts Group）方式などの所定の方式に従ったエンコード処理を施す。エンコーダ１７は、エンコード処理の結果である圧縮符号化された信号データを記録再生部１８に供給する。
【００３６】
記録再生部１８は、例えば、ハードディスク（ＨＤＤ）や光ディスクなどで構成される。記録再生部１８は、エンコーダ１７から供給された信号データを記録する。また、記録再生部１８は、記録された信号データをデコーダ２１に供給する。即ち、記録再生部１８は、記録された信号データを再生する。
【００３７】
操作部１９は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、画像処理装置１に対する指示を入力するために操作部１９を操作する。操作部１９は、ユーザの操作に応じて、ユーザの操作を示す信号を制御部２０に供給する。
【００３８】
制御部２０は、例えば、マイクロプロセッサを含む構成とされ、操作部１９から供給されるユーザの操作を示す信号に基づいて、画像処理装置１内の各部を制御する。
【００３９】
デコーダ２１は、記録再生部１８から供給された信号データに対して、例えば、MPEG方式などに対応する方式に従ったデコード処理を施す。デコーダ２１は、処理の結果である伸張復号化されたデジタルＡＶ信号のうちのデジタルビデオ信号をNTSCエンコーダ２２に供給する。また、デコーダ２１は、処理の結果である伸張復号化されたデジタルＡＶ信号のうちのデジタルオーディオ信号をD/Aコンバータ２３に供給する。
【００４０】
NTSCエンコーダ２２は、デコーダ２１から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換する。NTSCエンコーダ２２は、変換されたビデオ信号をモニタ２に供給する。
【００４１】
D/Aコンバータ２３は、デコーダ２１から供給されたデジタルオーディオ信号をD/A変換する。D/Aコンバータ２３は、変換された結果であるオーディオ信号をスピーカ３に供給する。
【００４２】
このような構成により、画像処理装置１は入力された映像信号および音声信号を記録、または再生することができる。また、画像処理装置１は、記録再生部１８に記録されている映像信号や音声信号を再生することができる。
【００４３】
画像処理装置１は、映像信号の他、静止画像の信号（データ）も入力し、記録したり、再生したりする機能を有する。すなわち、本実施の形態における画像処理装置１は、動画像と静止画像を扱うことが可能な装置であり、例えば、エンコーダ１７やデコーダ２１は、動画像に適した方式や静止画像に適した方式を、サポートするように構成されている。
【００４４】
また、図１に示した構成例においては、映像信号を処理する構成を主に図示したが、同一の構成で、静止画像の画像データを処理できるように構成しても良いし、例えば、記録再生部１８に直接的に静止画像データが記録されるような構成としても良く、図１に示した構成は適宜変更可能である。
【００４５】
図２は、図１の画像処理装置１の記録再生部１８および制御部２０の構成例を示す図である。
【００４６】
記録再生部１８は、静止画像データベース３１、動画像データベース３２、テンプレートデータベース３３、およびコンテンツデータベース３４を含む構成とされている。以下、静止画像データベース３１を静止画像ＤＢ３１と記述し、動画像データベース３２を動画像ＤＢ３２と記述し、テンプレートデータベース３３をテンプレートＤＢ３３と記述し、コンテンツデータベース３４をコンテンツＤＢ３４と記述する。
【００４７】
静止画像ＤＢ３１は、外部の装置から供給された静止画像のデータである静止画像データ、または、後述するように動画像から抽出された静止画像の静止画像データ（サムネイル画像のサムネイルデータ）を記録する。動画像ＤＢ３２は、図１のエンコーダ１７から供給された動画像のデータである動画像データを記憶する。なお、以下の説明において、例えば、“静止画像ＤＢ３１に記録されている画像”との表記をするが、この“画像”は、“画像データ”の意味を含む表記であるとする。
【００４８】
テンプレートＤＢ３３は、コンテンツＤＢ３４に記録されるコンテンツであるアルバムを表示する場合の、アルバムに配置される画像の背景となる背景画像のデータである背景テンプレートおよびアルバムにおける画像の配置を設定する情報である配置テンプレートを記憶する。
【００４９】
コンテンツＤＢ３４は、アルバムのデータを記録する。なお、アルバムの詳細については後述するが、後述するように、アルバムとは、静止画像が貼り付けられたページから構成され、紙媒体のアルバムと同じ感覚で扱うことができ、電子アルバムなどと称されることもある。
【００５０】
制御部２０は、選択部５１、記録再生制御部５２、表示制御部５３、およびコンテンツ作成部５４を含む構成とされている。
【００５１】
選択部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、ユーザにより操作される内容を示す情報を生成し、記録再生制御部５２に供給する。
【００５２】
例えば、選択部５１は、操作部１９から供給される、モニタ２に表示されるアルバムなどを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されたアルバムを示す情報を生成し、記録再生制御部５２に供給する。
【００５３】
また例えば、選択部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を生成し、記録再生制御部５２に供給する。
【００５４】
記録再生制御部５２は、記録再生部１８が行う記録、または再生を制御する。また記録再生制御部５２は、記録再生部１８から画像データ、背景テンプレート、配置テンプレート、またはアルバムのデータを読み出す。
【００５５】
例えば記録再生制御部５２は、選択部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、静止画像ＤＢ３１または動画像ＤＢ３２から所定のフォルダに保存されている画像データを読み出す。
【００５６】
また記録再生制御部５２は、読み出された画像データ、背景テンプレート、配置テンプレート、またはアルバムのデータを、コンテンツ作成部５４に供給する。また、記録再生制御部５２は、コンテンツ作成部５４により作成されたコンテンツ（アルバムのデータ）を、コンテンツＤＢ３４に供給し、記憶させる。
【００５７】
表示制御部５３は、記録再生制御部５２により読み出された画像データ、背景テンプレート、配置テンプレート、またはアルバムのデータを基に、デコーダ２１のデコ ード処理を制御する。
【００５８】
コンテンツ作成部５４は、記録再生制御部５２の制御の基、記録再生部１８から供給される画像データを用いて、コンテンツを作成する。コンテンツ作成部５４は、演算部７１、およびテンプレート設定部７２から構成される。
【００５９】
演算部７１は、記録再生制御部５２から供給される、画像に付随するデータに基づいて、複数の画像をグループに分ける（クラスタリングする）。演算部７１は、クラスタリング部９１、および階層決定部９２から構成される。
【００６０】
クラスタリング部９１は、記録再生制御部５２から供給される、画像に付随するデータに基づいて、画像のクラスタリングを行う。 階層決定部９２は、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。
【００６１】
テンプレート設定部７２は、記録再生瀬領部５２に、背景テンプレートおよび配置テンプレートをテンプレートＤＢ３３から読み出させるための指示を出したり、読み出された背景テンプレートや配置テンプレートを生成されたクラスタに設定したりする。
【００６２】
またコンテンツ作成部５４は、背景テンプレートおよび配置テンプレートが設定されたアルバムを、記録再生制御部５２を介して記録再生部１８のコンテンツＤＢ３４に記録させる。
【００６３】
このような構成を有する画像処理装置１の動作について説明する。以下の説明においては、アルバムを作成するときの画像処理装置１の動作を例に挙げて説明する。
【００６４】
［アルバム（コンテンツ）の作成について］
図３のフローチャートを参照し、アルバムの作成に係わる処理の概略について説明を加え、その後、各ステップの処理の詳細を、他の図面を参照して説明する。
【００６５】
ステップＳ１１において、画像データが読み出される。記録再生制御部５２は、静止画像ＤＢ３１から画像データを読み出す。このステップＳ１１においては、画像データ本体ではなく、ステップＳ１２で行われるクラスタリングの処理で必要とされる画像データに付随するデータが読み出される。画像データに付随するデータとして読み出されるのは、例えば、ＥＸＩＦ（Exchangeable Image File Format）タグである。
【００６６】
画像データが読み出されるタイミング、すなわちこの場合、アルバムが作成されるタイミングとしては、以下のようなタイミングがある。
【００６７】
タイミング１として、ユーザの指示があったときである。ユーザは、アルバムを作成したいときに、アルバム作成の指示を、操作部１９を操作して出す。ユーザが指示を出す場合であっても、例えば、ユーザがアルバムの作成を指示したタイミングで作成されるようにしても良いし、ユーザがアルバムの再生を指示したときに、アルバムが作成され、再生されるようにしても良い。
【００６８】
タイミング２として、静止画像を管理するフォルダが新たに作成されたときである。フォルダが作成されたときには、そのフォルダで管理される画像に対して、アルバムが作成される。
【００６９】
タイミング３として、既に作成されているフォルダに、新たな画像が追加されたときである。新たな画像が、既存のフォルダに追加された場合、その新たな画像を含めたアルバムが作成される。換言すれば、新たな画像を含めたアルバムに再編集される。
【００７０】
タイミング１乃至３は、タイミングの一例であり、限定を示すものではない。よって、タイミング１乃至３以外のタイミングで、アルバムの作成（ステップＳ１１の処理）が開始されるようにしても良い。また、１つのタイミングに限定されるわけではなく、タイミング１乃至タイミング３および他のタイミングを、組み合わせて用いることも可能である。
【００７１】
ステップＳ１１において、画像データに付随し、クラスタリングの処理に必要とされる情報が読み出されると、ステップＳ１２において、クラスタリングの処理が開始される。クラスタリングの処理についての詳細は後述する。クラスタリングの処理が実行されることにより、複数の画像が、複数のグループに分けられる。また１つのグループに注目したとき、その注目したグループ内の画像には、何らかの関連性があるように、クラスタリングが行われる。何らかの関連性とは、以下に説明するように、ここでは、時間的な関連性である。
【００７２】
ステップＳ１２において、クラスタリングが行われると、その処理結果に基づき、ステップＳ１３において背景テンプレートが読み出される。また、ステップＳ１４において、配置テンプレートが読み出される。
【００７３】
ここで、背景テンプレートと配置テンプレートについて説明を加える。
【００７４】
図４は、背景テンプレートの構成の例を示す図である。図４に示される１１１−１乃至１１１−３の背景テンプレートは、それぞれ異なる絵を有し、付随する情報を有する。以下の説明において、背景テンプレート１１１−１乃至１１１−３を個々に区別する必要がない場合、単に、背景テンプレート１１１と記述する。後述する配置テンプレートも同様の記載を行う。
【００７５】
例えば、背景テンプレート１１１−１乃至１１１−３は、それぞれ付随する情報として、日時に関する情報を有し、画像がその撮影日時によりクラスタリングされる場合、クラスタリングされた画像の日時の情報と、背景テンプレート１１１−１乃至１１１−３に付随する日時の情報とが一致する背景テンプレート１１１が、テンプレート設定部７２により選択され、設定される。
【００７６】
例えば、背景テンプレート１１１−１が、“１月１日”という日時情報を有し、所定の画像の撮影日時が１月１日付近である場合、その画像には、背景テンプレート１１１−１が設定される。
【００７７】
また、背景テンプレート１１１が、イベントに関する情報を有し、画像がイベントによりクラスタリングされる場合（例えば、ユーザにより付与されたイベント名（タイトル）に基づきクラスタリングされる場合）、クラスタリングされた画像のイベントの情報と、背景テンプレート１１１に付随するイベントの情報とが一致する背景テンプレートが、テンプレート設定部７２により設定される。
【００７８】
例えば、背景テンプレート１１１−１が、“正月”というイベント情報を有し、所定の画像に示すイベント名として正月と付けられていたような場合、その画像には、背景テンプレート１１１−１が設定される。
【００７９】
背景テンプレート１１１は、図４に示した背景テンプレート１１１−１乃至１１１−３に限定されるわけではなく、３枚以上の背景テンプレートが、テンプレートＤＢ３３に記憶されており、適宜、テンプレート設定部７２により設定される。また、図４に示した、例えば、背景テンプレート１１１−１のように、絵が描いてあるような背景テンプレート１１１だけでなく、例えば、白一色の背景テンプレート１１１なども、背景テンプレート１１１としてテンプレートＤＢ３３に記憶され、テンプレート設定部７２による設定の対象とされる。
【００８０】
図５乃至図９は、テンプレートＤＢ３３に記憶されている配置テンプレートの例を示す図である。各配置テンプレートは、所定の枚数の画像を配置するときに用いられるテンプレートであり、配置される画像の枚数毎に、複数のテンプレートが用意されている。ここでは、所定の枚数の画像、例えば、１枚の画像を配置するための複数のテンプレートをまとめて表記するときは、配置テンプレート群と記述する。
【００８１】
図５乃至図９にそれぞれ示す配置テンプレート群に含まれる、配置テンプレート１３１−１乃至１３１−３、配置テンプレート１３２−１乃至１３２−３、配置テンプレート１３３−１乃至１３３−３、配置テンプレート１３４−１乃至１３４−３、配置テンプレート１３５−１乃至１３５−３は、それぞれ付随する情報を有する。付随する情報は、例えば、背景テンプレート１１１と同じように、日時やイベントに関する情報である。
【００８２】
図５に示した配置テンプレート１３１−１乃至１３１−３という３枚のテンプレートを含む配置テンプレート群は、１ページに１枚の画像が配置されるときの配置テンプレート１３１である。配置テンプレート１３１−１乃至１３１−３は、１枚の画像が配置されるという点で共通であるが、ページ内において、その１枚の画像が配置される位置や大きさはそれぞれ異なるように設定されているテンプレートである。
【００８３】
図６に示した配置テンプレート１３２−１乃至１３２−３という３枚のテンプレートを含む配置テンプレート群は、１ページに２枚の画像が配置されるときの配置テンプレート１３２である。配置テンプレート１３２−１乃至１３２−３は、２枚の画像が配置されるという点で共通であるが、ページ内において、それらの２枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
【００８４】
図７に示した配置テンプレート１３３−１乃至１３３−３という３枚のテンプレートを含む配置テンプレート群は、１ページに３枚の画像が配置されるときの配置テンプレート１３３である。配置テンプレート１３３−１乃至１３３−３は、３枚の画像が配置されるという点で共通であるが、ページ内において、それらの３枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
【００８５】
図８に示した配置テンプレート１３４−１乃至１３４−３という３枚のテンプレートを含む配置テンプレート群は、１ページに４枚の画像が配置されるときの配置テンプレート１３４である。配置テンプレート１３４−１乃至１３４−３は、４枚の画像が配置されるという点で共通であるが、ページ内において、それらの４枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
【００８６】
図９に示した配置テンプレート１３５−１乃至１３５−３という３枚のテンプレートを含む配置テンプレート群は、１ページに５枚の画像が配置されるときの配置テンプレート１３５である。配置テンプレート１３５−１乃至１３５−３は、５枚の画像が配置されるという点で共通であるが、ページ内において、それらの５枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
【００８７】
各配置テンプレート１３１乃至１３５において、各画像が表示される位置と領域（大きさ）は、固定されている。例えば、配置テンプレート１３１―１には、１枚の画像が表示されるが、その画像が表示される位置と大きさは固定されており、仮に、表示される大きさよりも大きなサイズの画像が、配置テンプレート１３１−１に配置されるとしても、その画像が表示される領域の大きさが変更されることはない。よって、大きなサイズの画像が、配置テンプレートに貼り付けられる場合、その画像の一部が切り出され、配置テンプレートに貼り付けられ、表示される。
【００８８】
図５乃至図９に示した配置テンプレート１３１乃至１３５は、一例であり、限定を示すものではない。また、ここでは、最大で５枚の画像が１ページに表示される場合まで例示したが、５枚以上の画像が１ページに表示される配置テンプレートを、テンプレートＤＢ３３に記憶させ、用いるようにしても勿論良い。しかしながら、１ページに表示される画像を多くすると、１枚あたりの表示領域が小さくなり、そのために画像が見づらくなる可能性があるので、あまり多くの画像を１ページに配置するような配置テンプレートを用意するのは好ましくない。
【００８９】
テンプレート設定部７２は、テンプレートＤＢ３３に記憶されている図５乃至図９に示した配置テンプレート１３１乃至１３５のうち、適切な配置テンプレートを設定する。適切な配置テンプレートを設定するための処理については後述するが、クラスタリングの結果が用いられて行われる。
【００９０】
図３のフローチャートの説明に戻り、ステップＳ１３において、背景テンプレートが設定され、ステップＳ１４において、配置テンプレートが設定されると、ステップＳ１５において、画像の貼り付け処理が行われる。ステップＳ１５において実行される画像の貼り付け処理についての詳細な説明は後述するが、設定されている配置テンプレートに、画像を貼り付け、背景テンプレートと合成する処理である。
【００９１】
このようにして、アルバム内の所定の１枚のページが作成される。ステップＳ１１，Ｓ１２の処理により、所定の１つのフォルダに対して行われ、その結果、１つのフォルダ内の複数の静止画像が、複数のクラスタに分類される。そして、１つのクラスタに対して、ステップＳ１３乃至Ｓ１５の処理が実行されることにより、アルバム内の１ページが作成される。
【００９２】
作成されたアルバム内の１ページの例を、図１０に示す。図１０の例において、ページ１５１には、背景テンプレート１１１−１と配置テンプレート１３５−１が設定されている。背景テンプレート１１１−１は、例えば、ページ１５１に配置されている５枚の画像のクラスタ情報と同じクラスタ情報を有する。また、配置テンプレート１３５−１によって、例えば、５枚の画像の配置が決定される。また、ページ１５１には、「○△□×２００５」のコメントが表示されている。このようにユーザが、操作部１９を操作することによって、ページ１５１の任意の位置に、任意のコメントを設定することができるようにしても良い。
【００９３】
このように、アルバム内の所定の１ページは、設定された背景テンプレートの上に、設定された配置テンプレートに基づき画像が貼り付けられたような画像とされる。
【００９４】
また、配置テンプレートに配置される画像、換言すれば、アルバム内の所定の１ページに表示される画像は、静止画像であるが、その静止画像は、静止画像ＤＢ３１に記憶されている静止画像だけでなく、動画像ＤＢ３２に記憶されている動画像から抽出された静止画像が含まれるようにしても良い。
【００９５】
例えば、動画像ＤＢ３２に記憶されている動画像のインデックスなどを作成するときに、ユーザに動画像の内容を示す画像として提供され、動画像の１シーンを示す静止画像が、アルバム内のページに表示されるようにしても良い。そのような静止画像は、サムネイル画像などと称されることがある。また、サムネイル画像は、１つの動画像から複数枚作成されることがあり、それらの複数枚のサムネイル画像の全てが、アルバムを構成するページ内に表示されるようにしても良いし、選択された１枚のサムネイル画像のみが表示されるようにしても良い。
【００９６】
動画像から抽出された静止画像が表示されたときの、ページの画面例を図１１に示す。図１１において、ページ１５１’に表示されている３枚の静止画像のうち、静止画像１６１が、動画像から抽出された静止画像（サムネイル画像）である。この静止画像１６１は、動画像から抽出された静止画像であることをユーザに認識させるための表示として、“Ｖｉｄｅｏ”というマーク１６２が、静止画像１６１の近傍に表示される。
【００９７】
このように、マーク１６２が表示されている静止画像１６１が、ユーザにより選択されると、その静止画像１６１の元の動画像の再生が開始される。ユーザにより選択されるとは、例えば、図示していないカーソルが、静止画像１６１上に位置しているときに、マウス（同じく不図示）がダブルクリックされるなど、所定の操作が行われることを意味する。
【００９８】
また、ページ１５１’に表示されている静止画像１７１または静止画像１７２が選択された場合、その選択された静止画像１７１（静止画像１７２）が、拡大表示される。
【００９９】
図３のフローチャートの説明に戻り、ステップＳ１６において、全てのクラスタに対して処理が終了したか否かが判断される。ステップＳ１６の処理を換言するならば、アルバム内の全てのページが作成されたか否かが判断される処理である。
【０１００】
ステップＳ１６において、全てのクラスタに対して処理は終了していないと判断された場合、ステップＳ１３に処理が戻され、それ以降の処理が実行される。すなわち、次のページの作成が行われる。
【０１０１】
一方、ステップＳ１６において、全てのクラスタに対して処理が終了したと判断された場合、ステップＳ１７に処理が進められる。ステップＳ１７に処理が来るのは、アルバム内の全てのページの作成が終了された場合であり、換言すれば、アルバムが完成した場合である。よって、ステップＳ１７においては、作成されたアルバムが、コンテンツＤＢ３４に記憶（保存）される。
【０１０２】
このようにして、アルバムが作成される。図１２に、作成されたアルバムの構成の一例を示す。
【０１０３】
図１２に示した例において、アルバム１８１は、ページ１５１乃至１５５の５ページで構成されている。アルバム１８１のページ１５１乃至１５５に配置されている画像は、同じフォルダ内に記憶されている画像である。ページ１５１乃至１５５には、それぞれ配置テンプレートによって決定される所定の数の画像が配置されている。
【０１０４】
次に、図３のフローチャートを参照して説明した各ステップの処理について、詳細な説明をする。
【０１０５】
［クラスタリングの処理について］
まず、ステップＳ１２において実行されるクラスタリングの処理について説明する。
【０１０６】
本実施の形態において行われるクラスタリングの概念についてまず説明する。なお、以下に説明するクラスタリングの手法は、一例であり、本発明が、以下に説明するクラスタリングの手法のみに適用されることを意味するものではない。
【０１０７】
図１３は、画像のグループ（クラスタ）の例を示す図である。図１３において、横軸は時間軸を示す。
【０１０８】
図１３は、時刻ｔ1乃至ｔ12のそれぞれのタイミングにおいて撮影された画像ｐ1乃至ｐ12がクラスタリングの対象とされている場合の例を示している。例えば、静止画像ＤＢ３１に記録されている静止画像と、動画像ＤＢ３２に記録されている動画像から抽出された静止画像が、クラスタリングの対象とされる。図１３の１つの四角形は１枚の画像を表す。
【０１０９】
画像処理装置１においては、それぞれの画像の撮影時刻の時間間隔が求められ、時間間隔の分布が、ある条件を満たす連続した画像から１つのクラスタが構成される。撮影されたそれぞれの画像には、EXIF(Exchangeable Image File Format)タグが属性情報として付加されており、このEXIFタグに含まれる撮影時刻の情報がクラスタリングに用いられる。
【０１１０】
図１３の例においては、クラスタを規定する条件として条件Ａと条件Ｂが設定され、そのうちの条件Ａにより、画像ｐ1乃至ｐ12全体からなる１つのクラスタが規定されている。条件Ａにより規定されたクラスタにはイベント名「結婚式」が設定されている。
【０１１１】
クラスタリングの詳細については後述するが、「結婚式」のイベント名が設定されているクラスタは、例えば、画像ｐ1乃至ｐ12のそれぞれの画像の撮影時刻の時間間隔のばらつきの程度が、ある閾値より小さいことなどから規定されたものである。
【０１１２】
また、図１３の例においては、条件Ｂにより、画像ｐ1乃至ｐ12のうちの画像ｐ1乃至ｐ3から１つのクラスタが規定され、画像ｐ4乃至ｐ7から１つのクラスタが規定されている。また、画像ｐ8乃至ｐ12から１つのクラスタが規定されている。
【０１１３】
画像ｐ1乃至ｐ3からなるクラスタには「教会での挙式」、画像ｐ4乃至ｐ7からなるクラスタには「披露宴」、画像ｐ8乃至ｐ12からなるクラスタには「二次会」のイベント名がそれぞれ設定されている。
【０１１４】
「教会での挙式」のイベント名が設定されているクラスタは、それを構成する画像ｐ1乃至ｐ3のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像ｐ3と、次に（時間軸上で次に）撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像ｐ4乃至ｐ7のうちの最初の画像である画像ｐ4との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定されたものである。
【０１１５】
また、「披露宴」のイベント名が設定されているクラスタは、それを構成する画像ｐ4乃至ｐ7のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像ｐ7と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像ｐ8乃至ｐ12のうちの最初の画像である画像ｐ8との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定されたものである。
【０１１６】
「二次会」のイベント名が設定されているクラスタは、それを構成する画像ｐ8乃至ｐ12のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像ｐ12と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりのうちの最初の画像との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定されたものである。
【０１１７】
なお、「結婚式」、「教会での挙式」、「披露宴」、「二次会」のそれぞれのイベント名は、例えば、ユーザにより手動で設定されたものである。
【０１１８】
このように、画像処理装置１においては、同じ対象の画像をクラスタリングする条件として複数の条件が設定され、それぞれの条件に基づいて、異なる粒度のクラスタが規定される。図１３の例においては、条件Ａは粒度の低い（粗い）クラスタを規定する条件であり、条件Ｂは条件Ａより粒度の高い（細かい）クラスタを規定する条件である。
【０１１９】
以上のようにして規定されたそれぞれのクラスタに含まれる画像は仮想的に１つのフォルダによりまとめて管理され、階層構造を有する形でユーザに提示される。
【０１２０】
図１４は、階層構造の例を示す図である。
【０１２１】
図１４の例においては、「私の思い出」の名前が設定されたフォルダの下位の階層のフォルダとして、条件Ａにより規定される「結婚式」のイベント名が設定されたクラスタを表すフォルダと、「北海道旅行」のイベント名が設定されたクラスタを表すフォルダが示されている。
【０１２２】
また、「結婚式」のイベント名が設定されたクラスタを表すフォルダの下位の階層のフォルダとして、条件Ｂにより規定される「教会での挙式」、「披露宴」、「二次会」のそれぞれのイベント名が設定されたクラスタを表すフォルダが示されている。
【０１２３】
さらに、「北海道旅行」のイベント名が設定されたクラスタを表すフォルダの下位の階層のフォルダとして、条件Ｂにより規定される「釧路湿原」、「札幌すすきの」、「稚内カニ」、「富良野」、「網走監獄」のそれぞれのイベント名が設定されたクラスタを表すフォルダが示されている。これらのフォルダにより表されるクラスタも、それぞれのクラスタを構成する画像の撮影時刻の時間間隔の分布により規定されたものである。
【０１２４】
このように、画像処理装置１においては、イベント毎にフォルダが作成され、作成されたフォルダにはそれぞれのイベントのときに撮影された画像が含められるから、ユーザは、階層構造を有するフォルダの中から所定のフォルダを選択することによって、イベ ント単位で画像を閲覧したり、整理したりすることができる。
【０１２５】
例えば、ユーザは、撮影して得られた画像を、図１５の上方に示されるように単に時系列順に閲覧するのではなく、白抜き矢印の先に示されるように、フォルダｆ11，ｆ12，ｆ122，ｆ211，ｆ212，ｆ22のそれぞれに含まれる画像の順序で、すなわち、好みの粒度のフォルダを選択して、好みの順序で、画像を閲覧することができる。
【０１２６】
図１５の１つの楕円は１つのフォルダを表す。図１５において、撮影して得られた画像全体がフォルダｆ1に含まれる画像とフォルダｆ2に含まれる画像に分けられ、このうちのフォルダｆ1に含まれる画像は、さらにフォルダｆ11に含まれる画像とフォルダｆ12に含まれる画像に分けられる。フォルダｆ11に含まれる画像は、フォルダｆ111に含まれる画像とフォルダｆ112に含まれる画像に分けられ、フォルダｆ12に含まれる画像は、フォルダｆ121に含まれる画像とフォルダｆ122に含まれる画像に分けられる。同様に、フォルダｆ2に含まれる画像も下位の階層のフォルダに含まれる画像に分けられる。
【０１２７】
図１６は、画像処理装置１内で、クラスタリングの処理を実行する部分を図１または図２に示した画像処理装置１の構成から抽出するとともに、クラスタリングの処理を実行するうえで必要とされる部分を追加した図である。
【０１２８】
図１６に示したクラスタリングの処理を実行する部分は、静止画像ＤＢ３１、動画像ＤＢ３２、演算部７１（クラスタリング部９１、階層決定部９２）、タグ読み取り部２０１、条件設定部２０２、および、イベント名設定部２０３を含む構成されている。
【０１２９】
静止画像ＤＢ３１には、撮影時刻、撮影日などの情報を含むEXIFタグが、撮影された画像と対応付けられて記録されている。
【０１３０】
タグ読み取り部２０１は、画像のクラスタリングを行うとき、静止画像ＤＢ３１に記録されているEXIFタグから、クラスタリングの対象とするそれぞれの画像の撮影時刻を読み出し、読み出した撮影時刻を演算部７１に出力する。また、タグ読み取り部２０１は、後述するように、ユーザからの指示があった場合など、動画像ＤＢ３３に記録されている動画像の撮影時刻に関する情報を読み出し、読み出した撮影時刻を演算部７１に出力する。
【０１３１】
画像のクラスタリングは、１枚の画像の撮影が行われる毎に行われるようにしてもよいし、ユーザによりクラスタリングを行うことが指示されたときなどの所定のタイミングで行われるようにしてもよい。本実施の形態においては、アルバムが作成されるタイミングで行われるとする（ステップＳ１２の処理として行われるとする）。
【０１３２】
演算部７１はクラスタリング部９１と階層決定部９２から構成される。クラスタリング部９１は、コンテンツＤＢ３４に記録されているクラスタデータを取得し、取得したクラスタデータと、タグ読み取り部２０１から供給された撮影時刻に基づいて画像のクラスタリング を行う。例えば、過去にクラスタリングが行われた画像も含めて、画像全体が二分木構造を有する形で管理されるクラスタリング結果がクラスタリング部９１により取得される。
【０１３３】
コンテンツＤＢ３４に記録されているクラスタデータには、それまでに求められた、それぞれの画像がどのクラスタに属するのかを表す情報や、画像全体の二分木構造を表す情報が含まれる。
【０１３４】
階層決定部９２は、クラスタリング部９１により取得されたクラスタリング結果である二分木構造を表す情報に基づいて、条件設定部２０２により設定された条件にあうクラスタを決定する。例えば、それぞれのクラスタがどの画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが階層決定部９２により取得され、画像全体の二分木構造を表すとともに、最終的なクラスタリングの結果を表すクラスタデータとしてコンテンツＤＢ３４に記録される。
【０１３５】
条件設定部２０２は、クラスタを規定する条件であるグループ化条件を設定し、階層決定部９２に出力する。グループ化条件は、あらかじめ用意される複数の条件の中からユーザにより選択されることによって設定されるようにしてもよいし、複数のクラスタを１つのクラスタに結合したり、１つのクラスタを複数のクラスタに分割したりするなどの、ユーザにより行われたクラスタの編集の履歴が管理されている場合、ユーザが好むと考えられるクラスタの粒度が編集の履歴を用いて学習により求められ、そのような粒度のクラスタを得ることができるような条件が動的に設定されるようにしてもよい。
【０１３６】
コンテンツＤＢ３４は、階層決定部９２から供給されたクラスタデータを、静止画像ＤＢ３１に記録されている画像データと対応付けて記録する。クラスタリング結果により表されるそれぞれのクラスタには、イベント名設定部２０３から供給されたイベント名も対応付けて記録される。このように、画像処理装置１においては、画像データ本体とクラスタデータは別々に管理されるようになされている。
【０１３７】
イベント名設定部２０３は、ユーザにより設定されたイベント名をコンテンツＤＢ３４に出力し、クラスタと対応付けて記録させる。また、イベント名設定部２０３は、ユーザによりイベント名が設定されない場合、コンテンツＤＢ３４に記録されているクラスタデータを用いてそれぞれのクラスタに属する画像を識別し、識別した画像の撮影日や撮影時間帯（午前、午後など）を含むイベント名をクラスタと対応付けて記録させる。
【０１３８】
ここで、演算部７１により行われる処理の詳細について説明する。
【０１３９】
例えば、１００枚の画像ｐ１乃至ｐ１００をクラスタリングの対象として、それらの画像をイベントクラスタＡ（グループ化条件Ａを満たす画像のクラスタ）と、サブイベントクラスタＢ（グループ化条件Ｂを満たす画像のクラスタ）に分ける処理について説明する 。
【０１４０】
はじめに、図１７乃至図２５を参照して、クラスタリング部９１により行われる二分木構造の作成について説明する。
【０１４１】
図１７乃至図２５において、「ｐ」の文字と数字がその中に書かれている１つの円は１枚の画像を表し、「ｎ」の文字と数字がその中に書かれている１つの円は１つのノードを表す。また、図の右方は、左方より時間的に後の方向であるものとする。なお、ここでは、画像ｐ１乃至ｐ１００を、撮影時刻順（画像ｐ１が一番古く、画像ｐ１００が一番新しいデータ）にクラスタリングの対象とする場合について説明する。画像ｐ１とｐ２をクラスタリングの対象とした後（二分木構造に組み込んだ後）で、画像ｐ１よりも新しく、画像ｐ２より古い画像ｐ３を新たにクラスタリングの対象とするように、撮影時刻順にではなく、それぞれの画像を対象として行われるクラスタリングについては後述する。
【０１４２】
クラスタリングがまだ行われていない状態で、最初の撮影により得られた画像ｐ１がツリーに挿入されたとき（クラスタリングの対象とされたとき）、初期の状態ではツリーのルートとなるノードが存在しないから、図１７に示されるように、画像ｐ１自身がルートノードとなる。
【０１４３】
画像ｐ１に続けて撮影された画像ｐ２がツリーに挿入されたとき、図１８に示されるように、ノードｎ１が新たに作られ、画像ｐ２の撮影時刻は画像ｐ１の撮影時刻より後であるから、ノードｎ１には、画像ｐ１が左の子ノードとして連結され、画像ｐ２が右の子ノードとして連結される。ノードｎ１は画像ｐ１に代えてルートノードとなる。
【０１４４】
ノードｎ１の最小時刻として画像ｐ１の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。ノードの時刻として、そのノードを親のノードとする２つの子ノードの撮影時刻の平均値（中間の時刻）が記録されるようにしてもよい。
【０１４５】
画像ｐ２に続けて撮影された画像ｐ３がツリーに挿入され、図１９に示されるように、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3が、画像ｐ２の撮影時刻と画像ｐ１の撮影時刻の時間間隔tdp1p2より小さいとき、図２０に示されるように、ノードｎ２が新たに作られ、ノードｎ２には、その左の子ノードとして画像ｐ２が連結され、右の子ノードとして画像ｐ３が連結される。また、ノードｎ２が、画像ｐ２の代わりに右の子ノードとしてノードｎ１に連結される。
【０１４６】
ノードｎ２の最小時刻として画像ｐ２の撮影時刻が記録され、最大時刻として画像ｐ３の撮影時刻が記録される。また、このとき、ノードｎ２の親のノードであるノードｎ１の最大時刻が画像ｐ３の撮影時刻で上書きされる。
【０１４７】
画像ｐ３に続けて撮影された画像ｐ４がツリーに挿入され、図２１に示されるように、画像ｐ４の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp3p4が、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3より大きく、かつ、画像ｐ４の撮影時刻とノードｎ２の最大時刻の時間間隔tdn2maxp4が、ノードｎ２の最小時刻と画像ｐ１の撮影時刻の時間間隔tdp1n2minより大きいとき、図２２に示されるように、ノードｎ３が新たにルートノードとして作られる。また、ノードｎ３には、その左の子ノードとしてノードｎ１が連結され、右の子ノードとして画像ｐ４が連結される。
【０１４８】
ノードｎ３の最小時刻としてノードｎ１の最小時刻が記録され、最大時刻として画像ｐ４の撮影時刻が記録される。
【０１４９】
画像ｐ４に続けて撮影された画像ｐ５がツリーに挿入され、図２３に示されるように、画像ｐ５の撮影時刻と画像ｐ４の撮影時刻の時間間隔tdp4p5より、画像ｐ４の撮影時刻とノードｎ１の最大時刻の時間間隔tdn1maxp4の方が大きいとき、図２４に示されるように、ノードｎ４が新たに作られる。また、ノードｎ４には、その左の子ノードとして画像ｐ４が連結され、右の子ノードとして画像ｐ５が連結される。さらに、ノードｎ４が、画像ｐ４の代わりに右の子ノードとしてノードｎ３に連結される。
【０１５０】
ノードｎ４の最小時刻として画像ｐ４の撮影時刻が記録され、最大時刻として画像ｐ５の撮影時刻が記録される。また、このとき、ノードｎ４の親のノードであるノードｎ３の最大時刻が画像ｐ５の撮影時刻で上書きされる。
【０１５１】
この時点で、画像ｐ１乃至ｐ５の５枚の画像を含むノードｎ１乃至ｎ４から二分木構造が形成された状態になる。
【０１５２】
それぞれのノードに含まれる画像は、それぞれのノードに直接に、または他のノードを介して間接的に連結される画像であるから、図２４に示されるようなツリーが作成されているとき、ノードｎ３に含まれる画像は画像ｐ１乃至ｐ５の５枚の画像となり、ノードｎ１に含まれる画像は画像ｐ１乃至ｐ３の３枚の画像となる。また、ノードｎ２に含まれる画像は画像ｐ２およびｐ３の２枚の画像となり、ノードｎ４に含まれる画像は画像ｐ４およびｐ５の２枚の画像となる。
【０１５３】
このように、画像が新たに挿入される毎に、撮影時刻の時間間隔のより小さい画像同士、または、撮影時刻と設定された時刻の時間間隔のより小さい画像とノードが、同じノードにぶらさがるように連結されていく。
【０１５４】
撮影が繰り返し行われ、画像ｐ６乃至ｐ１００がツリーに挿入されたときも同様にして処理が行われ、最終的に、ルートノードｎrootに画像ｐ１乃至ｐ１００が含まれる、図２５に示されるような二分木構造が得られる。
【０１５５】
次に、図２６乃至図３２を参照して、階層決定部９２により行われるグループ化条件に基づくクラスタリングについて説明する。
【０１５６】
階層決定部９２においては、二分木構造内のそれぞれのノードが注目され、ノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdが下式（１）により算出される。
【０１５７】
【数１】
【０１５８】
Ｎは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−１」で表される。tdnは、Ｎ個の時間間隔のうちの、時間的に先のものから見てｎ番目の時間間隔である。「￣」が付されたtdはノード内の時間間隔tdの平均値である。
【０１５９】
また、注目するノードを親のノードとする子ノード間の時間間隔の偏差dev（子ノード間の時間間隔と、撮影時刻の時間間隔の平均との差の絶対値）が下式（２）により算出される。
【０１６０】
【数２】
【０１６１】
Ｎは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−１」で表される。tdcは子ノード間の時間間隔である。「￣」が付されたtdはノード内の時間間隔tdの平均値である。なお、子ノード間の時間間隔とは、注目するノードを親のノードとする２つの子ノードのうちの時間的に先の子ノードに含まれる時間的に最後の画像の撮影時刻と、時間的に後の子ノードに含まれる時間的に最初の画像の撮影時刻の時間間隔である。具体例については後述する。
【０１６２】
さらに、式（２）により算出された偏差devの、式（１）により算出された標準偏差sdに対する比が、分割パラメータthとして、注目するノードに設定される。分割パラメータthは下式（３）で表され、注目するノードを親のノードとする子ノードを、それぞれ異なるクラスタに属するものとして分割するか否かを判断する基準となるパラメータである。
【０１６３】
【数３】
【０１６４】
ここで、上式により求められる値について図２６を参照して具体的に説明する。
【０１６５】
図２６は、クラスタリング部９１により作成された二分木構造全体のうちの一部の、図２４と同じ範囲の構造を示す図である。
【０１６６】
図２６において、td1は、画像ｐ１の撮影時刻と画像ｐ２の撮影時刻の時間間隔であり、td2は、画像ｐ２の撮影時刻と画像ｐ３の撮影時刻の時間間隔である。また、td3は、画像ｐ３の撮影時刻と画像ｐ４の撮影時刻の時間間隔であり、td4は、画像ｐ４の撮影時刻と画像ｐ５の撮影時刻の時間間隔である。
【０１６７】
例えば、図２６のうちのルートノードに最も近いノードであるノードｎ３が注目されている場合、はじめに、式（１）にそれぞれの値が代入され、標準偏差sdは下式（４）で表される。また、撮影時刻の時間間隔の平均値は下式（５）で表される。
【０１６８】
【数４】
【０１６９】
【数５】
【０１７０】
偏差devは下式（６）で表される。
【０１７１】
【数６】
【０１７２】
すなわち、注目するノードｎ３を親のノードとする２つの子ノードはノードｎ１とｎ４であり、そのうちの時間的に先のノードｎ１に含まれる時間的に最後の画像ｐ３の撮影時刻と、時間的に後のノードｎ４に含まれる時間的に最初の画像４の撮影時刻の時間間隔td3がノードｎ１とノードｎ４の時間間隔であり、それが、ノードｎ３に注目したときの偏差devの算出に用いられる。
【０１７３】
式（４）により算出された標準偏差sdと、式（６）により算出された偏差devから、ノードｎ３に注目したときの分割パラメータthが算出され、ノードｎ３に設定される。
【０１７４】
以上のようにして全てのノードに対する分割パラメータの設定が終了したとき、階層決定部９２においては、次に、グループ化条件としての閾値が設定される。
【０１７５】
例えば、グループ化条件Ａとして閾値ａが設定され、グループ化条件Ｂとして閾値ｂが設定された場合、「ａ＝３．０」、「ｂ＝２．６」などのように、「ａ＞ｂ」の条件を満たすときには、図２７に示されるように、「グループ化条件Ａにより規定されるクラスタ＞グループ化条件Ｂにより規定されるクラスタ」となる（グループ化条件Ａにより規定されるクラスタの中に、グループ化条件Ｂにより規定されるクラスタがいくつかできることになる）。
【０１７６】
図２７の例においては、対象となる画像全体が、グループ化条件Ａによりグループｇ1とｇ2の２つのクラスタに分けられ、グループ化条件Ｂによりグループｇ3乃至ｇ7の５つのクラスタに分けられている。
【０１７７】
すなわち、後述するように、設定されている分割パラメータの値が閾値より大きい場合に、その分割パラメータが設定されているノードの部分がクラスタの境界部分となるから、閾値が大きいほど、そのノードの部分はクラスタの境界部分となりにくく、従って、全体として見たときにクラスタの粒度は粗くなる。反対に、閾値が小さいほど、そのノードの部分はクラスタの境界部分となりやすく、従って、全体として見たときにクラスタの粒度は細かくなる。
【０１７８】
なお、ある画像の撮影時刻と、次に撮影された画像の撮影時刻の時間間隔が３０分以上ある場合（時間間隔td＞３０min）や１日以上ある場合（時間間隔td＞１day）、その時間間隔のある部分がクラスタの境界部分となるようなグループ化条件、いわば、１つのクラスタに含まれる画像の撮影時刻の時間間隔の上限を規定するようなグループ化条件が設定されるようにしてもよい。これにより、撮影時刻の時間間隔が３０分、あるいは１日以上ある画像同士はそれぞれ異なるクラスタに含まれる画像となる。
【０１７９】
グループ化条件としての閾値が設定された後、階層決定部９２においては、次に、設定された閾値と、上述したようにしてそれぞれのノードに設定された分割パラメータthに基づいてそれぞれのノードに分割フラグが設定される。
【０１８０】
例えば、分割パラメータthが、グループ化条件Ａとして設定された閾値ａを越えるノードには１の値のグループＡ分割フラグが設定され、閾値ａを越えないノードには０の値のグループＡ分割フラグが設定される。
【０１８１】
分割フラグとして１の値が設定されていることは、その分割フラグが設定されているノ ードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔より比較的大きいことを表す。反対に、分割フラグとして０の値が設定されていることは、その分割フラグが設定されているノードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔とあまり変わらないことを表す。
【０１８２】
グループＡ分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で（葉から根の方向に順に）注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループＡ分割フラグとして１の値が設定されているノードを境界として画像が区切られ、グループ化条件Ａによりクラスタが規定される。
【０１８３】
図２８はグループＡ分割フラグの設定の例を示す図である。
【０１８４】
図２８の例においては、ルートノードに最も近いノードであるノードｎ１０には、ノードｎ１１とｎ１２がそれぞれ左右の子ノードとして連結され、ノードｎ１１には、ノードｎ１３とｎ１４がそれぞれ左右の子ノードとして連結される。また、ノードｎ１２には、ノードｎ１５とｎ１６がそれぞれ左右の子ノードとして連結され、ノードｎ１４には、ノードｎ１７とｎ１８がそれぞれ左右の子ノードとして連結される。
【０１８５】
また、図２８の例においては、これらのノードのうちのノードｎ１０，ｎ１１，ｎ１２，ｎ１４のそれぞれにグループＡ分割フラグとして１の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。
【０１８６】
なお、図２８の右方に示されるように、ノードｎ１３は画像ｐ１乃至ｐ１７を含むノードであり、ノードｎ１７は画像ｐ１８乃至ｐ３０を含むノードである。また、ノードｎ１８は画像ｐ３１乃至ｐ６８を含むノードであり、ノードｎ１５は画像ｐ６９乃至ｐ９３を含むノードである。ノードｎ１６は画像ｐ９４乃至ｐ１００を含むノードである。
【０１８７】
従って、グループＡ分割フラグの値として１が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像ｐ１乃至ｐ１００は、図２９に示されるようなそれぞれのクラスタ（イベントクラスタＡ）に分けられる。
【０１８８】
すなわち、ノードｎ１３に含まれる画像ｐ１乃至ｐ１７からクラスタＡ1が構成され、ノードｎ１７に含まれる画像ｐ１８乃至ｐ３０からクラスタＡ2が構成される。
【０１８９】
また、ノードｎ１８に含まれる画像ｐ３１乃至ｐ６８からクラスタＡ3が構成され、ノードｎ１５に含まれる画像ｐ６９乃至ｐ９３からクラスタＡ4が構成される。さらに、ノードｎ１６に含まれる画像ｐ９４乃至ｐ１００からクラスタＡ5が構成される。
【０１９０】
以上のようにしてグループ化条件Ａに基づくクラスタリングが行われ、グループ化条件Ａにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Ａに基づくクラスタリング結果として取得される。
【０１９１】
グループ化条件Ａに基づくクラスタリングが行われたとき、同様にして、グループ化条件Ｂに基づくグループ分けが行われる。
【０１９２】
すなわち、階層決定部９２においては、分割パラメータthが、グループ化条件Ｂとして 設定された閾値ｂを越えるノードには１の値のグループＢ分割フラグが設定され、閾値ｂを越えないノードには０の値のグループＢ分割フラグが設定される。
【０１９３】
グループＢ分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループＢ分割フラグとして１の値が設定されているノードを境界として画像が区切られ、グループ化条件Ｂによりクラスタが規定される。
【０１９４】
図３０はグループＢ分割フラグの設定の例を示す図である。
【０１９５】
図３０の例においては、ルートノードに最も近いノードであるノードｎ１０には、ノードｎ１１が左の子ノードとして連結され、ノードｎ１１には、ノードｎ１３とｎ１４がそれぞれ左右の子ノードとして連結される。また、ノードｎ１４には、ノードｎ１７とｎ１８がそれぞれ左右の子ノードとして連結され、ノードｎ１７には、ノードｎ１９とｎ２０がそれぞれ左右の子ノードとして連結される。さらに、ノードｎ１８には、ノードｎ２１とｎ２２がそれぞれ左右の子ノードとして連結され、ノードｎ１９には、ノードｎ２３とｎ２４がそれぞれ左右の子ノードとして連結される。
【０１９６】
また、図３０の例においては、これらのノードのうちのノードｎ１０，ｎ１１，ｎ１４，ｎ１７，ｎ１８，ｎ１９のそれぞれにグループＢ分割フラグとして１の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。
【０１９７】
なお、図３０の右側に示されるように、ノードｎ１３は画像ｐ１乃至ｐ１７を含むノードであり、ノードｎ２３は画像ｐ１８乃至ｐ２１を含むノードである。また、ノードｎ２４は画像ｐ２２乃至ｐ２６を含むノードであり、ノードｎ２０は画像ｐ２７乃至ｐ３０を含むノードである。ノードｎ２１は画像ｐ３１乃至ｐ５７を含むノードであり、ノードｎ２２は画像ｐ５８乃至ｐ６８を含むノードである。
【０１９８】
従って、グループＢ分割フラグの値として１が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像ｐ１乃至ｐ１００のうちの画像ｐ１乃至ｐ６８は、図３１に示されるようなそれぞれのクラスタ（サブイベントクラスタＢ）に分けられる。
【０１９９】
すなわち、ノードｎ１３に含まれる画像ｐ１乃至ｐ１７からクラスタＢ1が構成され、ノードｎ２３に含まれる画像ｐ１８乃至ｐ２１からクラスタＢ2が構成される。
【０２００】
また、ノードｎ２４に含まれる画像ｐ２２乃至ｐ２６からクラスタＢ3が構成され、ノードｎ２０に含まれる画像ｐ２７乃至ｐ３０からクラスタＢ4が構成される。さらに、ノードｎ２１に含まれる画像ｐ３１乃至ｐ５７からクラスタＢ5が構成され、ノードｎ２２に含まれる画像ｐ５８乃至ｐ６８からクラスタＢ6が構成される。
【０２０１】
以上のようにしてグループ化条件Ｂに基づくクラスタリングが行われ、グループ化条件Ｂにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Ｂに基づくクラスタリング結果として取得される。取得されたクラスタリング結果はコンテンツＤＢ３４に出力され、記録される。
【０２０２】
図３２は、グループ化条件Ａに基づくクラスタリング結果（図２９）と、グループ化条件Ｂに基づくクラスタリング結果（図３１）を重ねて示す図である。
【０２０３】
図３２に示されるように、複数のグループ化条件に基づいてグループ化が行われた場合、クラスタリング結果のクラスタは入れ子関係を有する。
【０２０４】
図３２の例においては、クラスタＡ1とクラスタＢ1は同じ範囲の画像を含むクラスタであり、クラスタＡ2にはクラスタＢ2乃至Ｂ4が含まれる。また、クラスタＡ3にはクラスタＢ5とＢ6が含まれる。
【０２０５】
図３２に示されるような関係をそれぞれのクラスタが有する場合、例えば、クラスタＡ2を表すフォルダの下位の階層のフォルダとして、クラスタＢ2乃至Ｂ4を表すフォルダがそれぞれ表示され、クラスタＡ3を表すフォルダの下位の階層のフォルダとして、クラスタＢ5とＢ6を表すフォルダがそれぞれ表示される。
【０２０６】
以上のように、演算部７１においては、階層的なクラスタリングと、分散に基づくクラスタリング（画像全体の撮影間隔の平均を基準としたクラスタリング）が行われる。これにより、単に撮影間隔の近い画像同士が同じクラスタに含まれるようにクラスタリングが行われるのではなく、時間間隔が揃っている画像同士が同じクラスタに含まれるようにクラスタリングが行われることになる。
【０２０７】
従って、撮影間隔の近い画像同士が同じクラスタに含まれるようにクラスタリングを行う場合に較べて、ユーザ個人の主観に沿った形でクラスタリングを行うことが可能となる。
【０２０８】
ユーザが欲しいイベントの単位を見分け、そのイベント単位でクラスタを作成するためには、撮影間隔そのものではなく、撮影の頻度に注目する必要があり、その頻度が変わった部分をクラスタの境界部分とすることで、得られるクラスタは、よりイベントの単位に近づくことになる。撮影の頻度を知るためには、それまで撮った画像全体（クラスタリングの対象の画像全体）を統計的に分析することが必要となり、そのための手法として、上述したような階層的なクラスタリングと、分散に基づくクラスタリングが採用される。
【０２０９】
また、それぞれの画像が階層構造を有する形で管理されていることから、グループ化条件としての閾値を変更することによって、複数のクラスタを１つのクラスタに結合したり、１つのクラスタを複数のクラスタに分割したりするなどの、クラスタの再構成をユーザは容易に行うことができる。上述したように、閾値を高くすることによって、クラスタの粒度を粗くすること、すなわち、複数のクラスタを１つのクラスタに結合することができ、反対に、閾値を低くすることによって、クラスタの粒度を細かくすること、すなわち、１つのクラスタを複数のクラスタに分割することができる。
【０２１０】
これにより、例えば、スライドショー再生によって画像を閲覧しているときに、ビデオでいうチャプタージャンプと同様に、イベント単位（イベントクラスタ単位）でジャンプしたり、イベント内をさらにサブイベントに分けてサブイベント単位（サブイベントクラスタ単位）でジャンプしたりすることが可能となる。
【０２１１】
さらに、画像全体の撮影間隔の平均を基準としてクラスタリングが行われることにより、撮影スタイルの個人差を考慮することなくグループ化条件を設定することが可能となる。すなわち、ユーザが、あまり頻繁に撮らない撮影スタイルの人であっても、頻繁に撮る撮影スタイルの人であっても、個別のグループ化条件を設定しておく必要がない。
【０２１２】
例えば、３０分未満の間に撮影された画像を同じクラスタの画像とする場合、先の画像を撮影してから３０分以上の間隔が空いてしまうと、先に撮影した画像と次に撮影した画 像はそれぞれ別のクラスタの画像とされることから、ユーザが、頻繁に撮影しない撮影スタイルの人であるときには（３０分以上の間隔を空けて撮影するスタイルの人であるときには）、旅行中に撮った画像が１枚ずつ別のクラスタの画像とされてしまったりすることになる。
【０２１３】
一方、１日の間に撮影された画像を同じクラスタの画像とするように、クラスタリングの基準となる時間間隔の設定を長くすると、午前と午後で全く違うイベントで撮影を行ったにもかかわらず、撮影した画像が全て同じクラスタの画像とされてしまったりすることになる。画像全体の撮影間隔の平均を基準としてクラスタリングが行われることにより、ユーザ個人の撮影スタイルに応じた形でのクラスタリングが可能となるから、このようなことが回避される。
【０２１４】
次に、図３３のフローチャートを参照して、クラスタデータを生成する図１６に示した画像処理装置１の処理について説明する。即ち、図３のステップＳ１２において実行されるクラスタリングの処理の詳細について説明する。
【０２１５】
ステップ１１（図３）において、タグ読み取り部２０１により、静止画像ＤＢ３１のクラスタリングの対象となっているフォルダ内の静止画像に関連付けられているEXIFタグが読み出される。必要に応じ、動画像ＤＢ３２に記憶されている動画像の撮影日時に関する情報も読み出される。
【０２１６】
ステップＳ３１において、タグ読み取り部２０１は、撮影された画像のEXIFタグから撮影時刻を取得し、取得した撮影時刻を演算部７１に出力する。すなわち、この例は、１枚の画像が撮影される毎にクラスタリングが行われる場合の例を示している。
【０２１７】
ステップＳ３２において、演算部７１のクラスタリング部９１は、タグ読み取り部２０１から供給された撮影時刻と、コンテンツＤＢ３４に記録されているクラスタデータに基づいて、クラスタリングの対象となる画像全体からなる二分木構造を図１７乃至図２５を参照して説明したようにして作成する。
【０２１８】
ステップＳ３３において、階層決定部９２は、二分木構造の所定の階層にある１つのノードに注目し、ステップＳ３４に進み、注目するノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdを算出する。
【０２１９】
ステップＳ３５において、階層決定部９２は、注目するノードを親のノードとする子ノード間の時間間隔の偏差devを算出する。
【０２２０】
ステップＳ３６において、階層決定部９２は、ステップＳ３５で算出した偏差devの、ステップＳ３４で算出した標準偏差sdに対する比を算出し、算出した比を分割パラメータthとして、いま注目しているノードに記録する。
【０２２１】
ステップＳ３７において、階層決定部９２は、二分木構造の全てのノードに注目したか否かを判定し、注目していないと判定した場合、ステップＳ３３に戻り、注目するノードを切り替えてそれ以降の処理を繰り返す。
【０２２２】
一方、階層決定部９２は、ステップＳ３７において、二分木構成の全てのノードに注目したと判定した場合、ステップＳ３８に進み、グループ化条件としての閾値を設定する。同じ画像を対象として異なる粒度のクラスタを求める場合、ここでは、複数のグループ化条件が設定される。
【０２２３】
ステップＳ３９において、階層決定部９２は、ステップＳ３８で設定したグループ化条件としての閾値と、それぞれのノードに設定された分割パラメータthを比較し、例えば、分割パラメータthが閾値を越えるノードには１の値の分割フラグを設定し、閾値を越えないノードには０の値の分割フラグを設定する。グループ化条件が複数設定されている場合、それぞれのグループ化条件について分割パラメータの設定が行われる。
【０２２４】
ステップＳ４０において、階層決定部９２は、二分木構造のそれぞれのノードに昇順で注目し、分割フラグに１の値が設定されているノードを境界としてクラスタを分け、それぞれのクラスタの範囲を表すクラスタデータを作成する。
【０２２５】
ステップＳ４１において、階層決定部９２は、作成したクラスタデータをコンテンツＤＢ３４に保存させ、処理を終了させる。
【０２２６】
このようにしてクラスタリングが行われる。
【０２２７】
このようなクラスタリングは、配置テンプレートとして用意されている配置テンプレートのうち、最大の枚数を配置する配置テンプレートに依存した、最終的な結果が得られるように行われる。すなわち、、この場合、図９に示したような５枚の画像を配置する配置テンプレートが、最大の枚数を配置する配置テンプレートであるので、クラスタリングの結果、１つのグループ内に含まれる画像の枚数が５枚以下になるように、上記したクラスタリングの処理が行われる。
【０２２８】
［配置テンプレートの選択、設定に関わる処理について］
次に、クラスタリングの結果に基づき配置テンプレートが選択される際の処理について説明する。すなわち、図３のステップＳ１４において実行される背景テンプレート設定処理の詳細について説明を加える。
【０２２９】
背景テンプレートについては、図５乃至図９を参照して説明したように、１乃至５枚の画像が、１ページの中の所定の位置に、所定の大きさで配置される際のテンプレートである。
【０２３０】
図３４は、ステップＳ１４において実行される背景テンプレート設定処理の詳細について説明するフローチャートである。ステップＳ６１において、テンプレート設定部７２（図２）は、クラスタリングされた静止画像の数に応じて、配置テンプレート群を設定する。
【０２３１】
クラスタリングの処理が実行されたことにより、例えば、図３５に示したようなグループ分けがされたとする。グループ１には、３月１日に撮影された３枚の画像が含まれ、グループ２には、３月２日に撮影された２枚の画像が含まれ、グループ３には、３月３日に撮影された３枚の画像が含まれ、グループ４には、３月３日に撮影された２枚の画像が含まれ、グループ５には、３月４日に撮影された５枚の画像が含まれ、グループ６には、３月４日に撮影された１枚の画像と３月５日に撮影された４枚の画像が含まる。
【０２３２】
上記したクラスタリングの手法によれば、例えば、３月３日に撮影された画像は、５枚であるが、グループ３とグループ４に分けられる。このように、同日に撮影された画像群であっても、撮影された時間が離れていると、異なるグループに分けられる。撮影された時間が離れていると、異なる場面（異なるイベント）で撮影された可能性が高く、また、仮に同一のイベントであっても、異なるシーンである可能性が高い。
【０２３３】
また、グループ６には、３月４日に撮影された１枚の画像と３月５日に撮影された４枚の画像が含まれる。このように、異なる日付であっても、時間的に一連性があると判断されるようなときには、同一のグループに分類される。撮影時間に一連性があるときには、同じ場面（同じイベント、同じシーン）で撮影された画像である可能性が高い。
【０２３４】
同じグループに分類された画像は、同一のページに表示される。同一のページに表示される画像には、関連性、一連性がある方がよい。上記したように、関連性があると思われる画像が、同じグループに分類されるため、同一のページに表示される画像は関連性が高い画像同士となる。
【０２３５】
図３５に示した例は、所定のフォルダに、３月１日から３月５日までに撮影された画像が管理されている場合であるため、１つのグループに含まれる画像は、比較的短い時間内に撮影された画像とされている。例えば、所定のフォルダに、１ヶ月毎に１枚の写真が撮影され、１２枚含まれていたような場合であり、上記したクラスタリングの手法でクラスタリングが行われた場合、そのクラスタリングのときの条件にもよるが、４つのグループが作成され、１つのグループに４枚の画像が含まれるように分類される。すなわち、季節毎に画像が分類される。
【０２３６】
このように、１グループに含まれる画像の撮影時刻は、比較的短い時間内である場合もあるし、離れている時間内である場合もある。しかしながら、１グループ内の画像は、何らかの関連性、一連性があるものとされる。
【０２３７】
このように、クラスタリングが行われた後の各グループに分類された画像同士は、関連性が高いため、同一のページに表示されるようにする。同一のページに表示させるようにするために、所定の１つのグループ内で管理されている画像の枚数により配置テンプレート群が選択される。
【０２３８】
例えば、図３５を参照するに、グループ１は、３枚の画像を含むため、グループ１に対して設定される配置テンプレート群は、３枚の画像が配置される配置テンプレート１３３−１乃至１３３−３（図７）のうちのいずれか１枚の配置テンプレート１３３が設定される。
【０２３９】
また例えば、グループ５は、５枚の画像を含むため、グループ５に対して設定される配置テンプレート群は、５枚の画像が配置される配置テンプレート１３５−１乃至１３５−３（図９）のうちのいずれか１枚の配置テンプレート１３５が設定される。
【０２４０】
このように、処理対象とされているグループに含まれる画像の枚数により、配置テンプレート群が選択され、その配置テンプレート群から、さらに１枚の配置テンプレートが選択され、設定される。
【０２４１】
図９を再度参照するに、５枚の画像を配置するための配置テンプレートとして、配置テンプレート１３５−１乃至１３５−３という３枚の配置テンプレートが用意されている。処理対象とされるグループ内に、５枚の画像が含まれる場合、これらの配置テンプレート１３５−１乃至１３５−３から１枚の配置テンプレートが選択されるが、その選択は、所定の条件により行われる。
【０２４２】
例えば、ランダムに選択されることが考えられる。ランダムに選択される場合であっても、同一の配置テンプレートが連続して選択されることがないように制御されると、ユーザにバラエティに富んだアルバムを提供することが可能となる。
【０２４３】
また例えば、順番に選択されるようにしても良い。例えば、配置テンプレート１３５−１が選択された後は、配置テンプレート１３５−２が選択されるといったように、所定の順序に従って選択されるようにしても良い。
【０２４４】
また、以下に説明するように、グループ内の画像同士の撮影時刻に基づいてテンプレートが選択されるようにしても良い。ステップＳ１４（図３）において実行される配置テンプレート設定処理の他の処理について、図３６のフローチャートを参照して説明する。
【０２４５】
テンプレート設定部７２は、ステップＳ７１において、クラスタリングされた静止画像の数と、撮影間隔に応じて配置テンプレートを設定する。
【０２４６】
クラスタリングの処理が施されることにより、例えば、図３５に示したように、複数のグループに分類され、それぞれのグループ内に１枚以上の画像が含まれる状態とされる。グループ内の画像が撮影された時刻を比較すると、上述したように、一連性のある時間内に撮影されている。
【０２４７】
例えば、図３５を再度参照するに、グループ１には３枚の画像が含まれるが、その３枚の画像の撮影時刻は、それぞれ、３月１日の“０：１０”、“０：１２”、および“０：１３”である。また、グループ３にも３枚の画像が含まれるが、その３枚の画像の撮影時刻は、それぞれ、３月３日の“３：０３”、“３：４３”、および“４：０３”である。
【０２４８】
グループ１に含まれる３枚の画像は、３分間の間に撮影された画像であるが、グループ３に含まれる３枚の画像は、１時間の間に撮影された画像である。このように、１つのグループに含まれる画像の数が同じであっても、最も古い撮影時刻と最も新しい撮影時刻との差分値は異なる。換言すれば、１つのグループに含まれる画像の数が同じであっても、そのグループに含まれる画像が撮影された時間の間隔（撮影間隔）は異なる。そこで、画像同士の撮影間隔に応じて、配置テンプレートが選択されるようにする。
【０２４９】
ここでは、画像同士の撮影間隔が短いときには、そのことをユーザに認識させるような（直感的に理解できるような）、画像の配置が行われる配置テンプレートが選択され、画像同士の撮影間隔が長いときには、そのことをユーザに認識させるような（直感的に理解できるような）、画像の配置が行われる配置テンプレートが選択されるようにする。
【０２５０】
このような選択に関し、図３７、図３８を参照し、具体的な例を挙げて説明する。図３７は、３枚の画像が配置されるときの配置テンプレートを示し、図３８は、５枚の画像が配置されるときの配置テンプレートを示す。なお、図３７に示した３枚の画像用の配置テンプレートは、図７に示した３枚の画像用の背景テンプレート１３３と異なる例を示し、図３８に示した５枚の画像用の配置テンプレートは、図９に示した５枚の画像用の背景テンプレート１３５と異なる例を示している。
【０２５１】
図３７に示した配置テンプレート２３１は、配置テンプレート２３２よりも撮影間隔が短いときに設定される配置テンプレートであり、配置テンプレート２３２は、配置テンプレート２３３よりも撮影間隔が短いときに設定される配置テンプレートである。
【０２５２】
すなわちこの場合、配置テンプレート２３１が最も撮影間隔が短いと判断されるときに設定される配置テンプレートである。図３７に示したように、配置テンプレート２３１は、撮影間隔が短いことを表現するために、それぞれの画像が重なるような形で画像が配置されるようにされている。このように、画像自体を近くに配置することで、撮影間隔が短いことをユーザに認識させるような表示とすることが可能となる。
【０２５３】
一方この場合、配置テンプレート２３３が最も撮影間隔が長いと判断されるときに設定される配置テンプレートであるが、図３７に示したように、撮影間隔が長いことを表現するために、各画像が重なることなく、離れた位置に、かつ、直線上に並ぶことがないような形で画像が配置されるようにされている。このように、画像自体を離して配置することで、撮影間隔が長いことをユーザに認識させるような表示とすることが可能となる。
【０２５４】
図３８に示した５枚の画像が配置される配置テンプレート２３４，２３５，２３６も同様である。すなわちこの場合、配置テンプレート２３４が最も撮影間隔が短いと判断されるときに設定される配置テンプレートであり、配置テンプレート２３６が最も撮影間隔が長いと判断されるときに設定される配置テンプレートである。
【０２５５】
図３８に示したように、配置テンプレート２３４は、配置テンプレート２３１（図３７）と同じように、撮影間隔が短いことを表現するために、５枚の画像が、それぞれ重なりあって配置されるようにするためのテンプレートである。また、配置テンプレート２３６は、配置テンプレート２３４（図３７）と同じように、撮影間隔が長いことを表現するために、５枚の画像が、それぞれ重なりあうことなく、離れた位置に、かつ、直線状に並ぶことなく配置されるようにするためのテンプレートである。
【０２５６】
このように、画像の配置により、画像同士の撮影間隔を表現するようにし、撮影間隔により、配置テンプレートが選択されるようにする。
【０２５７】
再度、図３７を参照して説明する。図３７に示したように、配置テンプレート２３１，２３２，２３３のうちの１枚の配置テンプレートを選択するために、閾値Ａと閾値Ｂが設けられており、撮影間隔が閾値Ａ以下であるときには配置テンプレート２３１が選択され、撮影間隔が閾値Ａ以上であり閾値Ｂ以下であるときには配置テンプレート２３２が選択され、撮影間隔が閾値Ｂ以上であるときには配置テンプレート２３３が選択される。
【０２５８】
このように、撮影時間に関する閾値を設け、その閾値と比較することにより、配置テンプレートが選択される。
【０２５９】
同様に、図３８に示した５枚の画像を配置するための配置テンプレート２３４，２３５，２３６のうちの１枚の配置テンプレートを選択するために、閾値Ｃと閾値Ｄが設けられている。この場合、撮影間隔が閾値Ｃ以下であるときには配置テンプレート２３４が選択され、撮影間隔が閾値Ｃ以上であり閾値Ｄ以下であるときには配置テンプレート２３５が選択され、撮影間隔が閾値Ｄ以上であるときには配置テンプレート２３６が選択される。
【０２６０】
閾値Ａ、閾値Ｂ、閾値Ｃ、閾値Ｄは、それぞれ異なる値とされる。または、同一の値としても良い閾値は、同一の値とされる。
【０２６１】
例えば、閾値Ａと閾値Ｃは、共に、撮影間隔が最も短いと判断されるときの配置テンプレート２３１（２３４）を選択するか否かの判断を行うときに用いられる閾値であるので、同一の値としても良いし、選択する配置テンプレートが異なるので異なる値としても良い。この閾値は、設計の段階などで、または、ユーザの設定により、適切な配置テンプレートが適切に選択されるような値に設定されればよい。
【０２６２】
このように閾値と撮影間隔が比較されることにより、配置テンプレートが設定される。閾値と撮影間隔が比較されるときに用いられる撮影間隔の値は、処理対象とされているグループ内の画像の撮影時刻のうち、最も古い撮影時刻と最も新しい撮影時刻との差分が演算され、その差分値とされる。
【０２６３】
または、処理対象とされているグループ内の画像の撮影時刻を、時刻順に並べたときに、隣り合う時刻の差分を演算し、その差分の平均値をさらに演算し、その演算された平均値が撮影間隔の値として用いられるようにしても良い。
【０２６４】
または、処理対象とされているグループ内の画像の撮影時刻を、時刻順に並べたときに、隣り合う時刻の差分を演算し、その差分の最も小さい値を撮影間隔の値とするか、最も大きな値を撮影間隔の値として用いられるようにしても良い。
【０２６５】
勿論、その他の方法により、閾値と比較される撮影間隔の値が決定されるようにしても良い。
【０２６６】
また、１つの閾値に注目したとき、その閾値は、固定値とされていても良いし、可変値とされていても良い。例えば、閾値Ａは、固定値とされ、常に、同じ値が設定されているようにしても良い。または閾値Ａは、可変値とされ、１つのフォルダ内の画像が処理される毎に設定されるような値としても良い。
【０２６７】
閾値を可変値とした場合、例えば、１つのフォルダ内の画像が、例えば、図３５に示したように複数のグループに分類された時点で、閾値が設定されるようにしても良い。
【０２６８】
閾値を固定とした場合、例えば、１年間に撮影された画像を分類したときには、各グループ内の画像の撮影時刻は比較的長い時間となる可能性が高く、そのために、撮影間隔が長いときに選択される配置テンプレート２３３や配置テンプレート２３６が選択される可能性が高くなる。
【０２６９】
連続して同じ配置テンプレートが選択されることにより、バラエティに富んだページ構成を行うことができなくなってしまう可能性がある。また、連続して同じ配置テンプレートが選択されることは、複数の配置テンプレートを用意する意味が無くってしまい、上記したような複数の配置テンプレートを用意することにより得られる効果を得られなく名手しまう。
【０２７０】
よって、このようなことがないように、閾値を固定値としたような場合であっても、処理対象とされているフォルダ内の画像の撮影間隔に応じて、何らかの処理が加えられるほうが好ましい。
【０２７１】
また閾値を可変値とした場合、分類された複数のグループ毎に、最も古い撮影時刻と最も新しい撮影時刻の差分が演算され、そのグループ毎の差分が用いられて、閾値が決定されるようにしても良い。このようにすれば、例えば、図３５に示したように、５日間の間に撮影された画像を分類したときと、１年間に撮影された画像を分類したとき（不図示）とでは、異なる閾値が用いられることになり、より的確な配置テンプレートの設定が行えるようになる。
【０２７２】
すなわち、換言すれば、閾値を可変値とすることで、処理対象とされている画像群が、短期間に撮影された画像群のときと、長期間に撮影された画像群のときとで、同じような配置テンプレートの設定が行われるようにすることができる。
【０２７３】
このように、図３６のフローチャートにおけるステップＳ７１の処理は、撮影間隔と閾値が比較されることにより行われる。ステップＳ７１における処理の詳細は、上記したが、再度図３９のフローチャートを参照し、簡便に説明を加える。
【０２７４】
ステップＳ９１において、処理対象とされているグループで管理されている画像の枚数が把握され、その枚数を配置する配置テンプレート群が選択される。例えば、処理対象とされているグループに、４枚の画像が含まれている場合、配置テンプレート１３４−１乃至１３４−３（図８）を含む配置テンプレート群が選択される。
【０２７５】
ステップＳ９２において、処理対象とされているグループの撮影間隔が算出される。撮影間隔には、上述したように、差分や平均値などが算出されることにより算出された値が用いられる。
【０２７６】
ステップＳ９３において、ステップＳ９１において選択された配置テンプレート群に含まれる複数の配置テンプレートから、１枚の配置テンプレートが選択される。その選択は、上述したように、撮影間隔と閾値が比較されることにより行われる。そして、その選択された配置テンプレートが、処理対象とされているグループに対する配置テンプレートとして設定される。
【０２７７】
ステップＳ９３における処理は、上述したように、撮影間隔が設定されている閾値以上であるか否かなどが判断されることにより行われる。また、閾値が可変値とされているときには、例えば、ステップＳ９２とステップＳ９３の間の処理として、閾値を設定する処理が実行される。
【０２７８】
このような処理が行われることにより、例えば、図３５に示した各グループに対する配置テンプレートは、図４０に示したように設定される。図４０に示した例は、３枚の画像が配置される配置テンプレート群として、図３７に示した配置テンプレート２３１乃至２３３が用意され、５枚の画像が配置される配置テンプレート群として、図３８に示した配置テンプレート２３４乃至２３６が用意されている状態である。なお、２枚の画像が配置される配置テンプレート群の図示および説明は省略する。
【０２７９】
図４０に示したように、グループ１は、３枚の画像を含むため、図３７に示した配置テンプレート群が選択される。そしてグループ１内の画像同士の撮影間隔は、閾値Ａ以下であると判断され、その結果として、配置テンプレート２３１が設定される。
【０２８０】
グループ３は、３枚の画像を含むため、図３７に示した配置テンプレート群が選択される。そしてグループ３内の画像同士の撮影間隔は、閾値Ａ以上であり、閾値Ｂ以下であると判断され、その結果として、配置テンプレート２３２が設定される。
【０２８１】
グループ５は、５枚の画像を含むため、図３８に示した配置テンプレート群が選択される。そしてグループ４内の画像同士の撮影間隔は、閾値Ｃ以上であり閾値Ｄ以下であると判断され、その結果として、配置テンプレート２３５が設定される。
【０２８２】
グループ６は、５枚の画像を含むため、図３８に示した配置テンプレート群が選択される。そしてグループ５内の画像同士の撮影間隔は、閾値Ｃ以下であると判断され、その結果として、配置テンプレート２３４が設定される。
【０２８３】
このようにして、配置テンプレートが設定されるため、ユーザに、同一の画像の配置が続くような単調なアルバムが提供されることを防ぐことができ、バラエティに豊かな画像配置のアルバムを提供することが可能となる。
【０２８４】
［画像の貼り付けの処理について］
このようにして配置テンプレートが設定されると、その配置テンプレートに基づいて、グループ内の画像の貼り付けが行われる。すなわち、図３のフローチャートにおけるステップＳ１５において、画像の貼り付け処理が実行される。このステップＳ１５において実行される画像の貼り付け処理について説明を加える。
【０２８５】
ここで再度、配置テンプレートについて説明を加える。図４１に、配置テンプレート３０１と配置テンプレート３０２を示す。配置テンプレート３０１と配置テンプレート３０２は、共に、２枚の画像が貼り付けられるときの配置テンプレートである。配置テンプレート３０１と配置テンプレート３０２の違いは、配置テンプレート３０１のほうは、貼り付けられる画像同士が重なり合うことなく画像が配置される配置テンプレートであるが、配置テンプレート３０２のほうは、貼り付けられる画像同士の一部が重なり合うように画像が配置され配置テンプレートであることである。
【０２８６】
配置テンプレート３０１や配置テンプレート３０２において、１枚の画像が表示される領域を表示領域と記述する。配置テンプレート３０１において、表示領域３１１と表示領域３１２は、共に四角形である。グループ内に管理されている画像（静止画像ＤＢ３１に記録されている静止画像）も、通常四角形である。よって、表示領域３１１（３１２）の形と、表示される画像の形（画像の枠の形）は一致していることになる。
【０２８７】
配置テンプレート３０２において、表示領域３２１は四角形であるが、表示領域３２２は六角形である。この場合、表示領域３２２の形と、貼り付けられる静止画像の形は異なることになる。このような場合であっても、貼り付けられる静止画像が、表示領域３２２の形に合わせて六角形に加工されてから貼り付けられるのではなく、四角形の静止画像が表示領域３２２内に貼り付けられ、表示される。
【０２８８】
図４１に点線に示した四角形（表示領域３２２と重なる部分は実線で図示してある）は、画像が貼り付けられる領域である。以下、画像が貼り付けられる領域を貼付領域と記述する。
【０２８９】
図４１に示した、表示領域３１１と貼付領域４１１、表示領域３１２と貼付領域４１２、表示領域３２１と貼付領域４２１は、それぞれ同じ形であり、同じ大きさとされている。よって、それらの領域はそれぞれ重なっているので、図４１では表示領域を表す実線しか記載されていない。
【０２９０】
しかしながら、表示領域３２２と貼付領域４２２は、上記したように表示領域３２２が六角形であるのに対し、貼付領域４２２は四角形である。配置テンプレートに貼り付けられる静止画像は、貼付領域の大きさ（この大きさについての定義などの詳細は後述するが、アスペクト比に基づく大きさである）に合わせて切り出される。
【０２９１】
さらに、図４２を参照して表示領域と貼付領域について説明を加える。図４２に示した配置テンプレート３０３には、表示領域として、ハート型をした表示領域３３１と楕円形をした表示領域３３２が設けられている。上記したように、例えば、ハート型の表示領域３１１であっても、貼付領域４３１は、四角形である。そして、表示領域３３１のハート型に合わせて、表示される静止画像が切り出されるわけではなく、貼付領域４３１の形に合わせて静止画像が切り出される。
【０２９２】
同様に、楕円形の表示領域３３２であっても、貼付領域４３２は四角形であり、切り出される静止画像は、貼付領域４３２と同じ形の四角形である。
【０２９３】
このように、例えば、表示領域３３１と貼付領域４３１のように形が異なる場合、貼付領域４３１の形で画像が切り出され、その切り出された画像のうち、表示領域３３１以外の部分がマスキング処理されることにより、表示領域３３１内だけに画像が表示されるように加工される。
【０２９４】
さらに図４３を参照して説明するに、表示領域３４１が、背景テンプレート３０４上で斜めに設けられているような領域である場合、その表示領域３４１を含み、四角形の領域が貼付領域４４１とされる。表示領域３４１は、背景テンプレート３０４に対して斜めに配置されているが、形は四角形である。このように、表示領域３４１の形が四角形であっても、斜めに配置されているような場合には、貼付領域４４１の画枠で画像が切り出され、表示領域３４１以外の部分がマスキング処理されることにより、ユーザ側にはあたかも、斜めに画像が貼り付けられたかのようなページが提供される。
【０２９５】
なお、図４３に示したように斜めに配置された表示領域３４１に画像を表示させるとき、表示領域３４１と同じ貼付領域４４１を設けるようにしても良い。仮に、表示領域３４１と貼付領域４４１を同一とした場合、貼り付けられる画像を斜めの画像に画像変換する必要がある。画像変換を行うには、多大な処理能力が必要とされるため、図４３に示したような配置テンプレート３０４が設定されたページだけ、表示が遅くなるといった不都合が生じる可能性がある。
【０２９６】
そのような画像変換を行わなくても、斜めに画像が貼り付けられたようなページをユーザに提供するには、上記したように、表示領域３４１を含む大きさで四角形の貼付領域４４１で、画像を切り出し、その切り出された画像をマスキング処理して、表示領域３４１内だけ画像が表示されるようにすればよい。このようにすれば、他の配置テンプレート、例えば、配置テンプレート３０１（図４１）が設定されたページのときと同様の処理で、ページの表示に関わる処理を実行することが可能であるので、多大な処理能力を必要とせずに処理を行うことが可能となる。
【０２９７】
このように、表示領域と貼付領域という２つの異なる領域の概念を用いて処理を行うことで、画像表示に関わる処理の能力を低減させることが可能となると共に、ユーザに提供される画像に変化を持たせる（例えば、図４２に示すようなハート型の画像を提供する）ことが可能となる。
【０２９８】
このように、表示領域の形にかかわらず貼付領域は四角形とされている。
【０２９９】
表示領域や貼付領域は、配置テンプレート内で固定の大きさとされている。貼付領域が所定の大きさとされているため、その貼付領域に貼り付ける画像が貼付領域と同じ大きさでなかった場合、何らかの加工が必要とされる。この加工について説明を加える。なお、上記した説明において、“加工”とは“画像の切り出し”などと記述した処理のことである。
【０３００】
静止画像ＤＢ３１（図２）に記憶されている静止画像は、図４４に示すように、複数のアスペクト比を有する画像を含んでいる。図４４に示した例においては、画像５１１のアスペクトは“１６：９”であり、画像５１２のアスペクトは“３：２”であり、画像５１３のアスペクトは“４：３”である。図示はしていないが、ユーザが画像を加工したりすることにより、さらに他のアスペクト比を有する画像もある。このように、静止画像ＤＢ３１（図２）に記録されている静止画像のアスペクト比はさまざまあると考えられる。
【０３０１】
また、画像は、横長の画像と縦長の画像とがある。例えば、図４５に示すように、画像５２１と画像５２２は、共にアスペクト比が“１６：９”であっても、画像５２１は、横長の画像であり、画像５２２は縦長の画像である。このように静止画像ＤＢ３１（図２）に記録されている静止画像には、横長の画像と縦長の画像（方向の異なる画像と適宜記述する）がある。
【０３０２】
このようなアスペクト比や方向が異なる画像から、貼付領域に合う大きさの画像が切り出される。
【０３０３】
図４６を参照して画像の切り出しについて説明する。図４６の上図に示したように、アスペクト比が１６：９の画像５１１から、貼付領域４１１の形で最大の大きさとなる画像を切り出した場合、画像５１１の上側の一部と下側の一部が切れた状態の画像が切り出される。
【０３０４】
“画像５１１から、貼付領域４１１の形で最大の大きさとなる画像を切り出す”とは、貼付領域４１１のアスペクト比を維持した状態で、画像５１１から画像を切り出し、かつ、その切り出される画像が、画像５１１を最大限に含むように切り出しが行われることを意味する。
【０３０５】
図４７を参照して後述するが、画像を切り出すときに貼付領域自体の大きさは関係なく、貼付領域のアスペクト比が関係してくる。
【０３０６】
図４６の下図に示したように、アスペクト比が１６：９の画像５１１から、貼付領域４１２の形で最大の大きさとなる画像を切り出した場合、画像５１１の左側の一部と右側の一部が切れた状態の画像が切り出される。
【０３０７】
このように、図４６に示したように、同じ画像５１１から、貼付領域に合った画像を切り取る場合であっても、貼付領域のアスペクト比が異なると、切り出される画像５１１の領域が異なる。
【０３０８】
貼付領域のアスペクト比についてさらに具体的な数値を挙げて説明を加える。
【０３０９】
図４７の上図は、配置テンプレートと貼付領域との関係を示す図であり、図４７の下図は、貼付領域に貼り付けられる画像（以下、適宜、元画像と記述する）と貼付領域との関係を示す図である。
【０３１０】
図４７の上図を参照するに、配置テンプレート５４１の横の長さは１９２０ドットであり、縦の長さは１０８０ドットである。このような“１９２０：１０８０”のアスペクト比、すなわち“１６：９”のアスペクト比を有する配置テンプレート５４１の上に、横の長さが２００ドットであり、縦の長さが４００ドットの貼付領域５４２が設けられている。貼付領域５４２のアスペクト比は、“２００：４００”、すなわち“１：２”である。
【０３１１】
このような“１：２”のアスペクト比を有する貼付領域５４２に貼り付ける画像が、図４７の下図に示したような元画像５４３であった場合、図４７の下図に示すように、元画像５４３から画像が切り出される。
【０３１２】
元画像５４３は、横の長さが１６００ドットであり、縦の長さが９００ドットである。よって、元画像５４３のアスペクト比は“１６：９”である。元画像５４３のアスペクト比は“１６：９”であり、貼付領域５４２のアスペクト比は“２：１”であるので異なるアスペクト比であることがわかる。このように異なるアスペクト比である場合には、元画像５４３から、貼付領域５４２のアスペクト比で、最大の大きさの画像が切り出されるように制御が行われる。
【０３１３】
図４７の下図に示すように、貼付領域５４２のアスペクト比“２：１”を維持して元画像５４３を最大に含む領域を求めると、横の長さが４５０ドット、縦の長さが９００ドットの領域で切り出せることがわかる。“４５０：９００”は、“２：１”である。
【０３１４】
縦の長さとして設定された９００ドットは、元画像５４３の縦の長さと同じドット数である。すなわちこの場合、元画像５４３の縦方向に関しては、最大限の領域（長さ）を確保できたことになる。
【０３１５】
縦方向を９００ドットした場合、アスペクト比“１：２”を維持するためには、横方向を４５０ドットする必要がある。よって、上記したように、元画像５４３から、アスペクト比が“１：２”である“４５０ドット×９００ドット”の画像が切り出される。
【０３１６】
図４７に示した例においては、貼付領域５４２の大きさは“２００ドット×４００ドット”であり、切り出される画像の大きさは、“４５０ドット×９００ドット”である。よって、大きさで比較すると、貼付領域５４２の大きさと切り出される画像の大きさは異なる大きさである。
【０３１７】
このように、本実施の形態においては、貼付領域５４２の大きさと同一の大きさの画像が元画像５４３から切り出されるのではなく、貼付領域５４２のアスペクト比と同一のアスペクト比を有する画像が元画像５４３から切り出される。
【０３１８】
勿論図４７に示した例の場合、切り出される画像の方が貼付領域５４２よりも大きいため、切り出された画像が貼付領域５４２に貼り付けられときには、画像の縮小の処理などが行われて貼り付けが行われる。
【０３１９】
ところで、このように、貼付領域のアスペクト比に基づき、元画像から貼り付けられる画像が切り出される場合、図４７を参照して説明したように、元画像５４３の一部だけが切り出されることがある。換言すれば、貼付領域には、元画像の全てが貼り付けられるわけではなく、元画像の一部のみが貼り付けられることがある。
【０３２０】
このように元画像の一部のみが切り出される場合、その切り出す位置（領域）によっては、不適切な画像がユーザに提供されてしまう可能性がある。例えば、図４８に示すように、人の顔が大きく写し出されているような元画像５４３に対し、アスペクト比を維持した貼付領域５４２’の領域で画像が切り出された場合、その切り出された画像５４３’は、人の顔の一部しか含まれていないような画像となってしまう。
【０３２１】
元画像５４３を撮影した撮影者は、人の顔を中心に撮影したいという意図で元画像５４３を撮影したと思われる。そのような意図のもと撮影された元画像５４３から切り出された画像５４３’が、人の顔の一部しか含まないような場合、または、全く含まないような画像が切り出されてしまったような場合、撮影者の意図に反していると考えられ、そのような画像は、不適切な画像であるといえる。
【０３２２】
人の顔に限らず、元画像を撮影した撮影者の意図を反映したかたちで、画像が切り出されることが望ましい。
【０３２３】
そこで、切り出しを行うとき、すなわち、配置テンプレートに画像を貼り付ける処理が実行されるとき、その切り出され、貼り付けられる画像が、撮影者の意図ができる限り反映された画像となるようにする。そのような処理について説明を加える。
【０３２４】
［画像の貼り付け処理について］
図３のフローチャートにおけるステップＳ１５において実行される画像の貼り付け処理についてさらに説明を続ける。上記したように、撮影者の意図が反映されるように、表示領域に表示される画像の切り出しが行われるようにする。ここでは、画像に写し出されている人の顔に注目して処理が行われる場合を例に挙げて説明する。
【０３２５】
図４９は、元画像５４３に複数の顔が写し出されている画像を示している。複数の顔のうち、顔６０１は、他の顔（符号は付けず）よりも大きく写し出されている。すなわち、複数の顔が撮影されているような画像であっても、顔６０１だけがアップで写し出されているような画像であれば、撮影者は、顔６０１を撮影する意図でその元画像５４３を撮影したと考えられる。よって、このような元画像５４３の場合には、顔６０１が含まれるように貼付領域５４２’が設定され、その貼付領域５４２’内の画像が元画像５４３から切り出される。
【０３２６】
画像を切り出すときのアルゴリズムとして、元画像内で、最も大きく写し出されている顔が含まれている領域で切り出すアルゴリズムをアルゴリズム１とする。アルゴリズム１を換言すると、元画像内で、所定の大きさ以上の領域の顔の中で、最も大きい領域の顔が含まれる領域で切り出しを行うアルゴリズムである。
【０３２７】
アルゴリム１は、１人で写真に収まっているような場合や、少人数の人が写真に収まっているような場合に適したアルゴリズムである。
【０３２８】
図５０は、アルゴリズム２に関した説明をするための図である。図５０に示した元画像５４３には、複数の顔（いずれも符号は付けず）が写し出されている。図５０に示した元画像５４３と図４９に示した元画像５４３は、ともに複数の顔が写し出されている画像であるが、図５０に示した元画像５４３には、所定の大きさ以上の領域の顔がない画像である点が異なる。
【０３２９】
このように、元画像５４３に複数の顔が写し出されていても、所定の大きさ以上の領域の顔が存在しない画像の場合、できるだけ多くの顔が含まれる領域で切り出しが行われるように制御される。このような複数の小さな顔が写し出されているような画像は、集合写真のような画像であり、そのような集合写真のような場合には、元画像５４３に写し出されている複数の顔のうち、できるだけ多くの顔が含まれる領域で切り出された画像が撮影者の意図に合う画像であると考えられる。
【０３３０】
アルゴリズム２は、元画像内で所定の大きさ以上の領域の顔がないときに、できるだけ多くの顔が含まれている領域で、元画像から画像を切り出すアルゴリズムである。アルゴリズム２は、集合写真など、多くの人が写っているような画像に適したアルゴリズムである。
【０３３１】
図５１は、アルゴリズム３に関した説明をするための図である。図５１に示した元画像５４３には、複数の顔が写し出されている。写し出されている顔のうち、顔６１１、顔６１２、顔６１３は、歪んでいたり、ピントがぼけた状態であったり、または、顔と認識されるが、絵であったりする顔である。顔６１４は、他の顔と比較すると最もきちんと写し出されている顔であり、最も顔らしい顔と判断できる顔である。
【０３３２】
例えば、顔６１４にはピントが合っているが、その他の顔を含む部分にはピントが合っていないような画像がある。また、撮影者が画像を加工し、顔６１４以外の部分を歪ませたり他の画像を合成したりした画像がある。そのような元画像５４３から貼付領域５４２’にあった領域で画像を切り出す場合、最も顔らしいと判断される顔が含まれる領域が、貼付領域５４２’に設定され、その領域内の画像が元画像５４３から切り出されるようにする。
【０３３３】
アルゴリム３は、元画像５４３に複数の顔が含まれると判断されるときに、最も顔である確率が高い顔が含まれている領域を切り出すアルゴリズムである。
【０３３４】
図５２は、アルゴリム４に関した説明をするための図である。図５２に示した元画像５４３には、複数の顔が写し出されている。写し出されている顔のうち、顔６２１は、例えば絵画などに描かれた顔である。顔６２２、顔６２３、顔６２４は、それぞれ実写の顔である。
【０３３５】
例えば、絵画の前で被写体を含めて写真を撮影したような場合、その写真には、被写体は勿論のこと、絵画も撮影されている。その絵画に、顔が描かれているような場合、その顔も検出されることがある。画像から顔を検出する手法については、後述するような文献に記載があるが、どのような手法を用いるかにより検出精度が異なると考えられる。用いる手法の検出精度により、絵画など描かれた顔も的確に抽出できる場合がある。
【０３３６】
このように、絵画などに描かれた顔が抽出される場合、その顔が含まれる領域が切り出されるようにしても良い。絵画などに描かれた顔は、実写の顔に比べると、最も顔らしくない顔であると換言できる。
【０３３７】
アルゴリズム４は、元画像５４３に複数の顔が含まれると判断されるときに、最も顔である確率が低い顔が含まれている領域を、貼付領域５４２’として設定し、その貼付領域５４２’内の画像を、元画像５４３から切り出すアルゴリズムである。
【０３３８】
アルゴリズム４は、アルゴリズム３と反するアルゴリズムである。アルゴリズム３だけで切り出しが行われると、同じ人の顔が連続して表示されるようなアルバムが作成される可能性があるが、適宜、アルゴリズム４を適用して切り出しを行うと、実写の顔の間に絵画の顔などが挟まれるようなアルバムとすることができる。よって、ユーザに単調なアルバムではないアルバムを提供できる（バラエティに富んだアルバムを提供できる）ようになる。
【０３３９】
図５３は、アルゴリズム５を説明するための図である。図５３に示した元画像５４３には、複数の顔が写し出されている。アルゴリズム５は、元画像５４３からランダムに貼付領域５４２’を設定し、切り出しを行うアルゴリズムである。
【０３４０】
例えばアルゴリズム５は、複数の顔が検出されるような場合であっても、アルゴリズム１乃至４で処理できないような場合に適用される。
【０３４１】
またアルゴリズム１乃至４は、撮影者の意図をできるだけ反映させるために行う処理であるが、アルゴリズム５を適用した場合、撮影者の意図にそくした画像が提供されない可能性もある。しかしながら、例えば、アルゴリズム５に従って画像の切り出しが行われる場合、アルバムが閲覧される毎にアルゴリズム５に基づき画像の切り出しが行われ、アルバムが作成されるようにすると、同一の静止画像を扱うアルバムであっても、画像の切り出し方が異なるため（ランダムに切り出が実行されるため）、異なるアルバムが作成されたようになり、ユーザに提供されるアルバムを、閲覧毎に違った内容とすることが可能となる。
【０３４２】
閲覧する人の好みがあるが、人によっては、常に同じ画像が提供されるのがアルバムであると考え、そのようなアルバムの提供を望んでいる人もいるが、閲覧する毎に異なる画像となるようなアルバムの方が面白いと考える人もいる。よって、アルゴリズム５を適用するか否かは、アルバムを閲覧するユーザ側で設定できるようにしても良い。
【０３４３】
ここでは、アルゴリズム１乃至５を例に挙げて説明したが、これらのアルゴリズム１乃至５は、画像の切り出しが行われるときの限定を示す記載ではない。勿論、アルゴリズム乃至５以外のアルゴリズムで切り出しが行われるようにしても良い。さらに、アルゴリズム１乃至５は、単独で用いられるアルゴリズムとしても良いし、組み合わせで用いられるアルゴリズムとしても良い。
【０３４４】
アルゴリズム１乃至５は、顔を検出し、検出された顔をどのように切り出される画像に含ませるかに関するアルゴリズムであった。このようなアルゴリズムを適用するには、画像から顔であると判断される領域を検出する必要がある。画像から顔であると判断される領域を検出する手法として、例えば、本出願人が先に出願した特願２００４―９３００１号（特開２００５−２８４３４８号公報）や、特願２００４−９４７９２（特開２００５−２８４４４７８号公報）を適用することができる。
【０３４５】
適用する手法によっては、画像から顔の領域を検出するだけでなく、その顔が男性の顔であるか女性の顔であるか（性別）をさらに検出できたり、笑っている顔であるか怒っている顔であるか（表情）をさらに検出できたりする。このような、顔の検出だけでなく、性別や表情（表情から読み取れる感情）など、顔の特徴に付随する情報も検出されるような場合には、そのような付随する情報も用いられるような処理が行われるようにしても良い。
【０３４６】
例えば、検出される顔に付随する情報も取得されるような場合、その付随する情報を用いたアルゴリズムをアルゴリズム６とし、そのアルゴリズム６を用いて画像の切り出しが行われるようにしても良い。
【０３４７】
アルゴリズム６は、元画像から顔の領域が検出されたときに、かつ、その検出された顔に付随する情報が取得されたときに、その付随する情報から、その顔が特定の顔の条件を満たしている顔であるか否かを判断し、特定の条件を満たす顔であると判断したときには、その顔が、切り出される画像において中央に配置されるように、元画像から切り出しを行うようにするアルゴリズムである。
【０３４８】
特定の顔の条件とは、付随する情報から判断される条件であり、上記したように例えば、顔の表情、顔の向いている方向、性別などである。
【０３４９】
例えば、アルゴリズム６に基づき画像の切り出しが行われる場合、元画像から複数の顔が検出されたとき、検出された複数の顔のうち、笑っている顔が中央に配置されるように、貼付領域が設定され、切り出しが行われる。また例えば、元画像から男性と女性の顔が検出された場合、その２人が中央に来るように切り出しが行われる。
【０３５０】
このように、複数のアルゴリズムが用いられて、元画像から貼付領域に合った画像が切り出され、配置テンプレートの貼付領域に貼り付けられる処理について、図５４のフローチャートを参照して説明する。図５４のフローチャートを参照して説明する処理は、図３のステップＳ１５において実行される画像の貼り付け処理である。
【０３５１】
ステップＳ１１１において、顔認識処理が行われる。この顔認識処理は、処理対象とされている元画像に含まれる顔を、所定の手法で検出する処理である。この所定の手法については、上記した文献に記載されている手法を用いることが可能であり、ここでは、その説明は省略する。また、上記した文献に記載されている手法以外で顔検出がされたときであっても、本発明を適用できることは言うまでもない。
【０３５２】
ステップＳ１１１において、処理対象とされている元画像から顔が写っている領域が検出されると、ステップＳ１１２に処理が進められる。ステップＳ１１２において、検出された顔の領域のうち、所定のサイズ以上の領域の顔を検出したか否かが判断される。この判断は、上述したアルゴリズム１を実行するために行われる判断である。
【０３５３】
ステップＳ１１２において、検出された顔の領域のうち、所定のサイズ以上の領域の顔を検出したと判断された場合、ステップＳ１１３に処理が進められる。ステップＳ１１３において、貼付領域のアスペクト比で、所定のサイズ以上の領域の顔が含まれるような領域が設定され、その領域内の画像が切り出される。所定のサイズ以上の領域の顔が、複数検出された場合には、最大サイズの領域の顔が含まれるように領域が設定され、画像の切り出しが行われる。
【０３５４】
画像が切り出されると、ステップＳ１１４において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
【０３５５】
一方、ステップＳ１１２において、検出された顔の領域のうち、所定のサイズ以上の領域の顔は検出していないと判断された場合、ステップＳ１１５に処理が進められる。ステップＳ１１５において、所定の数以上の顔を検出したか否かが判断される。この判断は、上述したアルゴリズム２を実行するために行われる判断である。
【０３５６】
ステップＳ１１５において、検出された顔の数が、所定の数以上であると判断された場合、ステップＳ１１６に処理が進められる。ステップＳ１１６において、貼付領域のアスペクト比で、顔の数が最大となるような領域が設定され、画像の切り出しが行われる。画像が切り出されると、ステップＳ１１４において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
【０３５７】
一方、ステップＳ１１５において、検出された顔の数が、所定の数以上ではないと判断された場合、ステップＳ１１７に処理が進められる。ステップＳ１１７において、特定の条件に該当する顔を検出したか否かが判断される。この判断は、顔の検出とともに、顔の特徴（付随する情報）が取得できる場合であって、アルゴリズム６を実行するために行われる判断である。または、顔の特徴が取得されない場合には、アルゴリズム３またはアルゴリズム４を実行するために行われる判断である。
【０３５８】
アルゴリズム３またはアルゴリズム４に基づく処理を実行するためにステップＳ１１７における判断が行われる場合、特定の条件とは、最も顔らしい顔であると判断される条件であるか、最も顔らしくない顔であると判断される条件である。
【０３５９】
アルゴリズム６に基づく処理を実行するためにステップＳ１１７における判断が行われる場合、特定の条件とは、笑っている顔、正面を向いている顔、男性の顔、女性の顔であるなど、顔の特徴を特定するような条件である。
【０３６０】
画像が切り出されると、ステップＳ１１４において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
【０３６１】
一方、ステップＳ１１７において、特定の条件に該当する顔は検出されていないと判断された場合、ステップＳ１１９に処理が進められる。ステップＳ１１９に処理が進められた場合、アルゴリズム５に基づいて切り出しに関わる処理が実行される。すなわち、貼付領域のアスペクト比で、ランダムに画像が切り出される。
【０３６２】
ステップＳ１１９に処理が来る場合、元画像に顔が含まれているが、どの顔に注目して画像を切り出せば良いか判断できないような状態のときであるので、そのような状態の画像のときには、例えば、元画像の中央の領域が含まれる領域が切り出されるように制御される。
【０３６３】
“ランダムに画像が切り出される”場合であっても、所定の条件を設けておいた方がよく、例えば、元画像の中央部分を含むように切り出される、元画像の中央より少し上の方の領域が含まれるように切り出されるなどの条件が設定され、その条件に基づいて切り出しが行われる。
【０３６４】
画像が切り出されると、ステップＳ１１４において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
【０３６５】
このような処理が、配置テンプレートの配置すべき画像の数だけ繰り返されることにより、アルバムを構成する１ページが作成される。作成された１ページは、例えば、図１０に示したページ１５１や図１１に示したページ１５１’である。
【０３６６】
そして、１ページ毎の作成が繰り返されることによりアルバムが作成される。作成されたアルバムは、例えば図１２に示したアルバム１８１である。作成されたアルバムは、コンテンツＤＢ３４（図２）に記録される。
【０３６７】
［作成されたアルバムの閲覧について］
次に、このようにして作成されたアルバムの閲覧について説明を加える。
【０３６８】
図５５は、アルバムの表示処理について説明するためのフローチャートである。
【０３６９】
ステップＳ１４１において、記録再生制御部５２（図２）は、記録再生部１８から記録されているアルバムに関する情報を読み出す。記録再生制御部５２は、アルバムの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、画像処理装置１は、モニタ２にアルバムの一覧を表示させる。
【０３７０】
モニタ２に表示されるアルバムの一覧の表示例を、図５６に示す。図５６に示した画面には、アルバム一覧表示部７０１が設けられている。アルバム一覧表示部７０１には、各アルバムを示すアイコンと、そのアイコンの右側にアルバム名、そして、アルバム名の下側にそのアルバムで管理されている画像が撮影された日時が表示されている。
【０３７１】
図５６に示した画面のアルバム一覧表示部７０１には、アルバム１乃至６をそれぞれ示す６個のアイコン、アルバム名、および、日付が表示されている。図５６では、アイコンを四角形で示したが、例えば、アルバムの表紙となる画像が、各アルバムを示すアイコンとして使用されるようにしても良い。
【０３７２】
図５６において例えば、“アルバム１”というアルバム名が撮影された日時は、“２００５／３／１５”から“２００５／３／１８”であることが表示されている。このように、各アルバム名の下側に表示される日時は、そのアルバムの最も古い写真が撮影された日時と、最も新しい写真が撮影された日時である。
【０３７３】
モニタ２には、アルバム一覧表示部７０１に表示しきれないアルバムのアイコンなどを表示させるときに操作されるスクロールバー７０２が、画面右側に表示されている。さらに、どのアルバムが選択されている状態かを示すカーソル７０３も表示されている。図５６に示した表示例では、“アルバム３”というアルバム名のアイコン上に、カーソル７０３が位置している。
【０３７４】
このような画面が、ステップＳ１４１においてモニタ２に表示される。
【０３７５】
ステップＳ１４２において、選択部５１は、操作部１９から供給される、モニタ２に表示されるアルバムの一覧から、アルバムの１つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるアルバムの一覧からアルバムの１つを示す情報を記録再生制御部５２に供給する。
【０３７６】
例えば、図５６に示した画面の状態のとき、すなわち、カーソル７０３が“アルバム３”のアイコン上にあるときに、ユーザが決定を指示する操作を行うと、その選択されたアルバムを識別するための情報が生成され、記録生成制御部５２に供給される。
【０３７７】
ステップＳ１４３において、記録再生制御部５２は、供給されたアルバムの１つを示す情報に基づいて、選択されたアルバムを表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、画像処理装置１は、モニタ２に選択されたアルバムの最初のページを表示させる。
【０３７８】
ステップＳ１４４において、記録再生制御部５２は、表示されているアルバムの次のページが存在するか否かを判定する。ステップＳ１４４において、次のページが存在しないと判定された場合、処理は終了する。
【０３７９】
一方、ステップＳ１４４において、次のページが存在すると判定された場合、ステップＳ１４５に処理が進められる。ステップＳ１４５において、制御部２０の制御に基づいて、画像処理装置１は、モニタ２に選択されたアルバムの次のページを表示させる。ステップＳ１４４とステップＳ１４５の処理が繰り返されることにより、アルバムを構成するページが順次、ユーザに提供される。
【０３８０】
このように、画像処理装置１は、アルバムを表示させることができる。
【０３８１】
ところで、図１０または図１１に、アルバムの１ページとして表示される表示例を示した。図１１を再度参照するに、ページ１５１’には、３枚の画像が表示されており、そのうち画像１７１と画像１７２は、静止画像ＤＢ３１（図２）から読み出された静止画像であり、画像１６１は、動画像ＤＢ３２に記録されている動画像から抽出された静止画像（サムネイル画像）であると説明した。
【０３８２】
このように、本実施の形態においては、動画像から抽出された、その動画像の１場面を表すサムネイル画像も、アルバム内のページに、静止画像として表示される。このような表示を行うために、クラスタリングされるときに、動画像ＤＢ３２に記録されている動画像の撮影日時も考慮してクラスタリングされると説明した。図３５に、クラスタリングされた結果の一例を示したが、例えば、グループ１の３月１日の０：１３に撮影された画像は動画像である場合もある。
【０３８３】
クラスタリングされるとき、動画像ＤＢ３２が参照され、動画像の撮影日時も含めてクラスタリングが行われれば、結果としてユーザに提供されるアルバムに、動画像のサムネイル画像が含まれるようにできることは既に説明したので、ここではその説明は省略する。さらに、ここでは、ユーザが所定のアルバムに、所定の動画像のサムネイル画像を関連付けるときの処理について説明を加える。
【０３８４】
ユーザが、所望のアルバムに、所望の動画像のサムネイル画像を関連付けることができるようにするのは、以下のような理由がある。
【０３８５】
上述したように、クラスタリングのときに、動画像の撮影日時も考慮されてクラスタリングされれば、結果として動画像のサムネイル画像を所定のページに表示させることができるが、クラスタリングされることにより、静止画像と関連性（この場合、時間的に近傍に位置するという関連性）がある動画像しか表示されないことになる。
【０３８６】
例えば、再度図３５を参照するに、グループ１の“３月１日の０：１３”に撮影された画像が動画像から抽出されたサムネイル画像であった場合、グループ１内の“３月１日の０：１０”に撮影された静止画像や“３月１日の０：１２”に撮影された静止画像と、時間的に近くに撮影された動画像であるので、グループ１に分類された。しかしながら、例えば、１ヶ月前の２月１日に撮影された動画像を、グループ１に関連付けたいような場合、または、グループ１を含むアルバムと関連付けたいよな場合、上記したクラスタリングの手法だけでは関連付けることができない。
【０３８７】
このような、撮影日時的には離れていても、同一のグループ（同一のアルバム）に関連付けたいというユーザ側の要望に対応するために、ユーザが、所望のアルバムに所望の動画像のサムネイル画像を関連付けられるようにする。そのような処理について、図５７のフローチャートを参照して説明する。
【０３８８】
ステップＳ１６１において、ユーザから動画像の関連付けの処理を実行するように指示を受ける。図５８に、動画像の関連付けが指示されるときにモニタ２に表示される画面例を示す。図５８に示した画面は、例えば、図５６に示した画面において、ユーザがメニュー画面の表示を指示したときに、モニタ２に表示される画面である。
【０３８９】
メニュー画面とは、図５８において、右側に示した２つのメニュー項目が表示されている状態の画面のことを示す。すなわち、図５８に示した画面においては、“アルバムの再生”という項目７３１と“動画像の関連付け”という項目７３２が、メニュー画面のメニュー項目として表示されている。このような項目のうち、“動画像の関連付け”という項目７３２が選択された場合、ステップＳ１６１において、ユーザから動画像の関連付けの処理を実行するように指示を受けと判断され、ステップＳ１６２に処理が進められる。
【０３９０】
なお、図５８に示したメニュー画面のうち、“アルバムの再生”という項目１３１が選択された場合、その時点で選択されているアルバム（図５８に示した画面例においては、カーソル７０３が位置する“アルバム３”というアルバム名が付けられたアルバム）の再生が開始される。すなわち、上述した図５５に示したフローチャートに基づく処理が開始される。
【０３９１】
ステップＳ１６２において、選択されているアルバムの日時に近い日時に撮影された動画像が検索される。検索の対象となるのは、ユーザが撮影した動画像であり、テレビジョン放送などの動画像は含まれないとする。換言すれば、個人的な動画像だけが検索の対象とされる。個人的な動画像であるか否か（テレビジョン放送などの著作権があるような動画像であるか否か）は、動画像に付随するメタデータを参照することで判定することができる。
【０３９２】
なおここでは、個人的な動画像のみが検索の対象となるとして説明を続けるが、テレビジョン放送などの動画像も検索の対象とすることは可能である。
【０３９３】
例えば、図５８に示した画面例において、“動画像の関連付け”という項目７３２が選択された場合、“選択されているアルバム”は、カーソル７０３が位置している“アルバム３”というアルバム名を持つアルバムである。よって、“アルバム３”というアルバム名を持つアルバムは、“２００５／５／１５―２００５／５／１８”という日付であるので、この日付に近い日時に撮影された動画像が、動画像ＤＢ３２から検索される。
【０３９４】
ステップＳ１６３（図５７）において、検索結果が用いられ、検索された動画像の一覧表示が行われる。その結果、図５９に示したような画面が、モニタ２に表示される。図５９に示した画面には、動画像一覧表示部７５１が設けられている。動画像一覧表示部７５１には、各動画像を示すアイコンと、そのアイコンの右側に動画像名、そして、動画像名の下側にその動画像が撮影された日時（撮影が開始された日時と終了された日時）が表示されている。
【０３９５】
なお、ステップＳ１６２において、選択されているアルバムの日時に近い日時に撮影された動画像が検索されるのは、ステップＳ１６３において、検索された動画像が一覧表示されるときに、選択されたアルバムに含まれる画像の撮影日時に近い動画像の順に表示されるようにするためである。選択されたアルバムに含まれる画像の撮影日時に近い動画像が、そのアルバムと関連付けられる可能性が高いと考えられるからである。
【０３９６】
動画像の一覧表示を行う際、例えば、撮影日時の古い順や新しい順に表示されるのであれば、その設定されている順に表示が行われるように、ステップＳ１６２における動画像の検索が行われる。
【０３９７】
図５９に示した画面の動画像一覧表示部７５１には、動画像１乃至６をそれぞれ示す６個のアイコン、動画像名、および、日付が表示されている。図５９では、アイコンを四角形で示したが、例えば、動画像の１シーンを示すサムネイル画像が、各動画像を示すアイコンとして使用されるようにしても良い。
【０３９８】
図５９において例えば、“動画像３”という動画像名が撮影された日時は、“２００５／５／１６”から“２００５／５／１６”であることが表示されている。このように、各動画像名の下側に表示される日時は、その動画像の撮影が開始された日時と、撮影が終了された日時である。
【０３９９】
モニタ２には、動画像一覧表示部７５１に表示しきれない動画像のアイコンなどを表示させるときに操作されるスクロールバー７５２が、画面右側に表示されている。さらに、どの動画像が選択されている状態かを示すカーソル７０３も表示されている。図５９に示した表示例では、“動画像３”という動画像名のアイコン上に、カーソル７０３が位置している。
【０４００】
このような画面が、ステップＳ１６３においてモニタ２に表示される。なお、動画像の一覧が表示される画面の構成と、アルバムの一覧が表示される画面の構成は、図５９および図５８にそれぞれ示したように、基本的に同様の構成である。
【０４０１】
図５９に示したような画面が、モニタ２に表示されているときに、ユーザが操作部１９を操作して所定の操作を行うと、モニタ２の画面は、図６０に示したようなメニュー画面に切り替えられる。図６０に示した画面には、モニタ２の右側に、２つのメニュー項目が表示されている。図６０に示した画面においては、“決定”という項目７７１と“戻る”という項目７７２が、メニュー画面のメニュー項目として表示されている。
【０４０２】
このような項目のうち、“決定”という項目７７１が選択された場合、ステップＳ１６４において、ユーザから、選択されているアルバムに、選択されている動画像を関連付けるように指示を受けと判断され、その指示に対応する処理が実行される。
【０４０３】
図６０においては、“動画像３”という動画像名が付けられた動画像を示すアイコン上に、カーソル７０３が位置している。すなわち図６０に示した画面の状態は、ユーザにより“動画像３”という動画像名が付けられた動画像が、アルバムと関連付ける対象として選択されている状態である。関連付けられるアルバムを、ユーザに認識させるために、“動画像３”を示すアイコンの左側に“アルバム３”というアルバム名が表示されるとともに、“アルバム３”というアルバム名が付けられたアルバムを示すアイコンが表示されている。
【０４０４】
図６０に示した画面において、“決定”という項目７７１が操作されたときには、ステップＳ１６４において、“アルバム３”と“動画像３”が関連付けるための処理が実行され、“戻る”という項目７７２が操作されたときには、モニタ２の画面が、図５９または図５８に戻され、それらの画面において行われる処理が実行される。
【０４０５】
このような処理が行われることにより、アルバムと動画像が関連付けられ、アルバムが再生されたとき、再生されたアルバムに、動画像のサムネイル画像が表示されることになる。
【０４０６】
［動画像の削除について］
ところで、動画像は、静止画像に比べてデータサイズが大きい。そのため、動画像ＤＢ３２の記録容量が、新たな動画像を記録する程の残量がないような場合、古い動画像データが削除され、容量が空けられるような処理が行われる。このような処理は、ユーザの指示により行われることもあるし、画像処理装置１の判断により行われることもある。
【０４０７】
このように、動画像ＤＢ３２に記録されている動画像は削除されることがある。勿論、静止画像ＤＢ３３に記録されている静止画像も削除される可能性はあるが、動画像よりデータサイズが小さいため、例えば、容量不足のために削除しなくてはならないといったような状況が発生する可能性が低く、動画像より削除される確率は低いと考えられる。よって、ここでは、動画像が削除されることを前提として説明を続ける。
【０４０８】
上記したように、クラスタリングのときや、ユーザの指示があったときなどに、アルバムに動画像が関連付けられるが、その関連付けられた動画像が削除されてしまった場合、動画像から抽出された静止画像が表示されるページに、その静止画像が表示されないといった不都合が発生する。
【０４０９】
ここで、図６１のフローチャートを参照し、動画像が削除されたときの処理について説明する。図６１のフローチャートの処理は、動画像ＤＢ３２に記録されている動画像のうち、所定の動画像に対し、削除の指示が出されたときに実行される。
【０４１０】
ステップＳ１８１において、ユーザにより削除の対象とされた動画像に、関連付けられていたアルバムが存在するか否かが判断される。ステップＳ１８１において、削除の対象とされた動画像に、関連付けられていたアルバムはないと判断された場合、ステップＳ１８２に処理が進められ、削除の対象とされた動画像が、動画像ＤＢ３２から削除される。
【０４１１】
一方、ステップＳ１８１において、削除の対象とされた動画像に、関連付けられていたアルバムが存在すると判断された場合、ステップＳ１８３に処理が進められる。ステップＳ１８３において、動画像から予め生成され、動画像に関連付けられて記録されていた静止画像が、動画像が関連付けられていたアルバムに、動画像の代わりに関連付けられ保存される。
【０４１２】
“動画像から予め生成され、動画像に関連付けらていた静止画像”として、動画像の１シーンを示すサムネイル画像を用いることができる。また、そのようなサムネイル画像が、“動画像が関連付けられていたアルバムに、動画像の代わりに関連付けられ保存される”とは、サムネイル画像が静止画像ＤＢ３１に新たに記録されることを意味する。また、静止画像ＤＢ３１に記録される際、動画像の撮影日時（撮影が開始された日時、撮影が終了された日時、または、撮影が開始された日時と終了された日時の中間の日時）が、そのサムネイル画像の日時として記録される。
【０４１３】
ステップＳ１８３において、静止画像が静止画像ＤＢ３１に記録されると、ステップＳ１８２に処理が進められ、削除の対象とされた動画像が、動画像ＤＢ３２から削除される。
【０４１４】
図６１のフローチャートを参照して説明した動画像の削除に関わる処理について、図６２を参照し、再度簡便に説明を加える。動画像ＤＢ３２には、動画像１６１’が記録され、その動画像１６１’から抽出されたサムネイル画像（静止画像１６１）が、動画像１６１’と関連付けられて記録されている。
【０４１５】
また、静止画像ＤＢ３１には、静止画像１７１と静止画像１７２が記録されている。図６２に示したような状態のとき（動画像１６１’が削除される前の状況のとき）には、アルバムの１ページとして、図１１に示したようなページ１５１’がユーザに提供される。
【０４１６】
動画像ＤＢ３２に記録されている動画像１６１’が削除の対象とされた場合、動画像１６１’に関連付けられいる静止画像１６１が、静止画像ＤＢ３１に移動される。よって、静止画像ＤＢ３１には、静止画像１７１、静止画像１７２、および、静止画像１６１’が記録されている状態とされる。
【０４１７】
このように、動画像から抽出された静止画像が静止画像ＤＢ３１に記録されれば、そのサムネイル画像も、他の静止画像と同等に扱われ、アルバムに表示されることになる。
【０４１８】
図１１を再度参照するに、図１１は、アルバム内の所定のページの表示例を示しているが、そのページ１５１’に動画像から抽出されたサムネイル画像（静止画像１６１）があると、“Ｖｉｄｅｏ”というマーク１６２が表示されることは既に説明した。
【０４１９】
この静止画像１６１の元となった動画像１６１’が削除された場合であっても、上述した処理が行われることにより、静止画像１６１自体は削除されずに静止画像ＤＢ３１に記録されるため、静止画像１７１や静止画像１７２とともにページ１５１’上に表示されることになる。しかしながら、動画像１６１’は削除されているので、“Ｖｉｄｅｏ”というマーク１６２は表示されないページ１５１’が、ユーザに提供される。
【０４２０】
動画像の削除に関わる他の処理について、図６３のフローチャートを参照して説明する。図６１を参照して説明した処理においては、動画像に予め関連付けられている静止画像があり、その静止画像が、動画像の代わりにアルバムと関連付けられる処理であったが、図６３のフローチャートを参照して説明する処理は、動画像を削除するときに、その動画像から静止画像を生成し、アルバムと関連付ける処理である。
【０４２１】
ステップＳ２０１において、ユーザにより削除の対象とされた動画像に、関連付けられていたアルバムが存在するか否かが判断される。ステップＳ２０１において、削除の対象とされた動画像に、関連付けられていたアルバムはないと判断された場合、ステップＳ２０２に処理が進められ、削除の対象とされた動画像が、動画像ＤＢ３２から削除される。
【０４２２】
一方、ステップＳ２０１において、削除の対象とされた動画像に、関連付けられていたアルバムが存在すると判断された場合、ステップＳ２０３に処理が進められる。ステップＳ２０３において、動画像のシーンチェンジの箇所が検出される。動画像からシーンチェンジを検出する手法としては、例えば、本出願人が先に出願した特願２００２−２５４５６２（特許第３７３１６５７号）に記載されている手法を用いることができる。
【０４２３】
ステップＳ２０３において、削除の対象とされている動画像から、その動画像のシーンチェンジの箇所が検出されると、ステップＳ２０４において、検出されたシーンチェンジの箇所に対応する静止画像が生成される。この場合、シーンチェンジの箇所毎に静止画像が生成されることになるので、シーンチェンジの箇所の個数と同じ数だけ静止画像が生成される。
【０４２４】
なお、シーンチェンジの箇所が多いと、静止画像の数も多くなるので、生成される静止画像の枚数に上限を設定したり、その設定に合わせて、生成された静止画像が間引かれるなどの処理が適宜行われるようにしても良い。
【０４２５】
またここでは、動画像のシーンチェンジの箇所が検出され、その箇所から静止画像が生成されるとしたが、ユーザにより指定された任意の箇所から静止画像が生成されるようにしても良い。
【０４２６】
さらには、生成された静止画像が複数枚であるとき、アルバムに関連付けられ、削除された動画像分の枚数だけ（前提として、１つの動画像から複数の静止画像が抽出され、それらの静止画像がアルバムと関連付けられていた）、生成された静止画像から抽出されるようにしても良い。
【０４２７】
このように、削除される動画像から、静止画像が生成されるようにするのは、動画像より静止画像の方がデータサイズが小さいため、動画像の代わりに記録されるようにしてもデータベースの残量に大きな影響を及ぼすことはないと考えられること、また、動画像が削除されても、その動画像に関連付けられていたアルバムは削除されない限り、ユーザは、動画像のサムネイル画像も含めた形でアルバムを閲覧したいという要望があるということに対応するためである。
【０４２８】
ステップＳ２０４において、生成された静止画像は、ステップＳ２０５において、静止画像ＤＢ３１に記録される。
【０４２９】
このように動画像から静止画像が生成され、静止画像ＤＢ３１に記録されると、ステップＳ２０２において、削除の対象とされた動画像が動画像ＤＢ３２から削除される。
【０４３０】
このように動画像から静止画像が生成され、静止画像ＤＢ３１に記録されると、その静止画像は、静止画像ＤＢ３１に記録されている他の静止画像と同等に扱われる。よって、アルバムが再生されるとき、動画像から生成された静止画像も含められたアルバムの再生が行われる。
【０４３１】
なお、複数の静止画像が生成され、生成された複数の静止画像を全てアルバムに含ませるようにした場合、単に、１枚の動画像のサムネイル画像が表示されていた箇所に、生成された複数の静止画像を貼り付けるといったことはできないため、複数の静止画像を含めたアルバムを再編集することにより生成するなどの処理が適宜行われる。
【０４３２】
［ファイル管理について］
ところで、上述した実施の形態においては、図２に示したように、静止画像ＤＢ３１と動画像ＤＢ３２をそれぞれ設け、静止画像と動画像を、それぞれのデータベースで、それぞれ管理するとした。また、静止画像と動画像を、それぞれのデータベースで管理しているときに、動画像が削除されると、図６１や図６３に示したフローチャートの処理が実行されるとした。
【０４３３】
すなわち、静止画像と動画像が、それぞれのデータベースで別々に管理されるために、動画像ＤＢ３２から所定の動画像が削除されたとき、その削除される動画像から抽出された静止画像が、静止画像ＤＢ３１に新たに記録されるといった処理が行われた。
【０４３４】
静止画像と動画像をそれぞれ異なるデータベースで管理するときだけでなく、静止画像と動画像を同じデータベースで管理したり、同じフォルダで管理したりするときであっても、勿論本発明を適用できる。
【０４３５】
静止画像と動画像を同じフォルダで管理した場合、例えば、図６４に示したようなデータ構成とすることができる。すなわち、図６４に示したフォルダ構成においては、フォルダとして、フォルダ１とフォルダ２が設けられている。フォルダ１は、“静止画像＿０１．ｊｐｇ”、“静止画像＿０２．ｊｐｇ”、“動画像＿０１．ｍｐｇ”を管理し、フォルダ２は、“静止画像＿０３．ｊｐｇ”、“静止画像＿０４．ｊｐｇ”、“静止画像＿０５．ｊｐｇ”、“静止画像＿０６．ｊｐｇ”、“動画像＿０２．ｍｐｇ”を管理している。
【０４３６】
このように、図６４に示したフォルダの構成例では、フォルダ１は、２枚の静止画像と１本の動画像を管理し、フォルダ２は、４枚の静止画像と１本の動画像を管理している。このように、１つのフォルダ内に、静止画像と動画像が管理されるようにしても良い。換言すれば、異なるフォルダやデータベースで、それぞれ静止画像と動画像を管理するのではなく、同一のフォルダやデータベースで、静止画像と動画像を管理するようにしても良い。
【０４３７】
図６４に示したフォルダ構成のときに、フォルダ１で管理されている“動画像＿０１．ｍｐｇ”が削除の対象され、上記したように、例えば、“動画像＿０１．ｍｐｇ”のシーンチェンジの箇所毎に静止画像が生成された場合、“動画像＿０１．ｍｐｇ”が削除された後には、図６５に示したようなフォルダ構成に変更される。
【０４３８】
“動画像＿０１．ｍｐｇ”が削除される際、“動画像＿０１．ｍｐｇ”から“静止画像＿０７．ｊｐｇ”と“静止画像＿０８．ｊｐｇ”が生成されると、図６５に示したように、“動画像＿０１．ｍｐｇ”の代わりに、“静止画像＿０７．ｊｐｇ”と“静止画像＿０８．ｊｐｇ”が、フォルダ１に記録される。
【０４３９】
このように、１つのフォルダ内で、静止画像と動画像が管理されているような場合には、削除された動画像の代わりに、削除された動画像から抽出された静止画像が記録される。
【０４４０】
このように、１つのフォルダ内で静止画像と動画像を管理するときの動画像の削除に関わる処理について、図６６のフローチャートを参照して説明する。
【０４４１】
ステップＳ２２１において、ユーザにより削除の対象とされた動画像に関連付けられていたフォルダが存在するか否かが判断される。ステップＳ２２１において、削除の対象とされた動画像に、関連付けられていたフォルダはないと判断された場合、ステップＳ２２２に処理が進められ、動画像が削除される。
【０４４２】
一方、ステップＳ２２１において、削除の対象とされた動画像に、関連付けられていたフォルダが存在すると判断された場合、ステップＳ２２３に処理が進められる。ステップＳ２２３において、動画像のシーンチェンジの箇所が抽出される。そして、ステップＳ２２４において、検出されたシーンチェンジの箇所に対応する静止画像が生成される。生成された静止画像は、ステップＳ２２５において、削除対象にされた動画像の代わりに、その動画像を管理していたフォルダ内に記録される。
【０４４３】
このように動画像から静止画像が生成され、フォルダ内に記録されると、ステップＳ２２２において、削除の対象とされた動画像がフォルダ内から削除される。
【０４４４】
このように、本実施の形態においては、動画像に関連付けられていたアルバムやフォルダがあった場合、その動画像が削除されるとき、その動画像から静止画像が生成される。そして、削除される動画像の代わりに、生成された静止画像が記録される。
【０４４５】
なお、図２に示したような静止画像ＤＢ３１と動画像ＤＢ３２が、それぞれ設けられ、静止画像と動画像がそれぞれ異なるデータベースで管理されるような場合であっても、上記したように（例えば、図３のフローチャートを参照して説明したように）、アルバムは、１つのフォルダに記録されている画像を対象として作成される。よって、フォルダ内で動画像と静止画像を管理する場合であっても、上述した実施の形態と同様の処理によりアルバムを作成することが可能である。
【０４４６】
例えば、図６４に示したようなファイル構造において、“フォルダ１”がアルバムの作成の対象とされたとき、“動画像＿０１．ｍｐｇ”から抽出される静止画像も含めたアルバムが、上記した実施の形態と同様に作成される。ただしこの場合、１つのフォルダ内に、動画像と静止画像が管理されているため、動画像ＤＢ３２を参照して動画像の撮影日時を読み出すといった処理（それに相当する処理）を省略することが可能であり、フォルダに記録されている画像の撮影日時を読み出すだけでよい。
【０４４７】
また、“動画像＿０１．ｍｐｇ”が削除された後も、図６４に示したように、フォルダ１には、“動画像＿０１．ｍｐｇ”から抽出された“静止画像＿０７．ｍｐｇ”と“静止画像＿０８．ｍｐｇ”が記録されているため、これらの静止画像を含めたアルバムが、上述した実施の形態と同様に作成される。
【０４４８】
すなわち、本発明は、フォルダ内に、動画像と静止画像を共存するような場合であっても、上述した処理と基本的に同様な処理で、アルバムを作成することができる。
【０４４９】
このように、比較的容量の大きなデータ（上記した例では、動画像のデータ）が削除されるとき、比較的容量の小さいデータ（上記した例では、静止画像のデータ）に変換され、その容量の大きなデータの代わりに用いられるようにすることで、上述したアルバムの例の場合のように、一度作成されたデータを有効利用したり、一度ユーザに提示されたデータを内容に変更が合ったとしても、以前に提示した状態に近い形で再度データを提示したりすることができるようになる。
【０４５０】
また、ここではアルバムの例を示したが、また、動画像や静止画像の場合を例に挙げて説明したが、このように、比較的容量の大きなデータが削除されるとき、比較的容量の小さいデータに変換され、その容量の大きなデータの代わりに用いられるようにすることは、アルバム、動画像、静止画像など、上記した例に限定されず適用することできる。
【０４５１】
また、上述した実施の形態においては、画像処理装置１を例に挙げて説明した。例えば、図６４に示したようなファイル構造は、例えば、パーソナルコンピュータなどでデータを管理するときのファイル構造と同じである。すなわち、パーソナルコンピュータなどにおいては、１つのフォルダで、異なる種類のデータを管理することがある。
【０４５２】
このようなことを考慮すると、図６４乃至図６６を参照して説明した処理、すなわち、比較的容量の大きなデータが削除されるとき、比較的容量の小さいデータに変換し、その容量の大きなデータの代わりに用いられるようにするといった処理は、画像処理装置１に限らず、パーソナルコンピュータなどにも適用できる処理である。
【０４５３】
［記録媒体について］
図６７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Central Processing Unit）１００１は、ＲＯＭ（Read Only Memory）１００２、または記憶部１００８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）１００３には、ＣＰＵ１００１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１００１、ＲＯＭ１００２、およびＲＡＭ１００３は、バス１００４により相互に接続されている。
【０４５４】
なお、ＣＰＵ１００１として、”Ｃｅｌｌ誕生”、日経エレクトロニクス、日経BP社、２００５年２月２８日、８９頁乃至１１７頁に記載されているＣｅｌｌを採用することができる。
【０４５５】
ＣＰＵ１００１にはまた、バス１００４を介して入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、キーボード、マウス、マイクロホンなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続されている。ＣＰＵ１００１は、入力部１００６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１００１は、処理の結果を出力部１００７に出力する。
【０４５６】
入出力インターフェース１００５に接続されている記憶部１００８は、例えばハードディスクからなり、ＣＰＵ１００１が実行するプログラムや各種のデータを記憶する。通信部１００９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０４５７】
また、通信部１００９を介してプログラムを取得し、記憶部１００８に記憶してもよい。
【０４５８】
入出力インターフェース１００５に接続されているドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア１０１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１００８に転送され、記憶される。
【０４５９】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０４６０】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図６７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１０１１、または、プログラムが一時的もしくは永続的に格納されるＲＯＭ１００２や、記憶部１００８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１００９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０４６１】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４６２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０４６３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０４６４】
【図１】本発明の画像処理装置の一実施の形態の構成を示す図である。
【図２】画像処理装置の制御部の構成の例を示すブロック図である。
【図３】アルバムの作成に係る処理について説明するフローチャートである。
【図４】背景テンプレートの例を示す図である。
【図５】配置テンプレートの例を示す図である。
【図６】配置テンプレートの例を示す図である。
【図７】配置テンプレートの例を示す図である。
【図８】配置テンプレートの例を示す図である。
【図９】配置テンプレートの例を示す図である。
【図１０】アルバムの所定のページの構成の例を示す図である。
【図１１】アルバムの所定のページの構成の他の例を示す図である。
【図１２】アルバムの構成の例を示す図である。
【図１３】クラスタの例を示す図である。
【図１４】階層構造の例を示す図である。
【図１５】画像の閲覧順序について説明する図である。
【図１６】クラスタリングに関わる処理を実行する部分の構成例である。
【図１７】二分木構造の作成について説明する図である。
【図１８】二分木構造の作成について説明する図１７に続く図である。
【図１９】二分木構造の作成について説明する図１８に続く図である。
【図２０】二分木構造の作成について説明する図１９に続く図である。
【図２１】二分木構造の作成について説明する図２０に続く図である。
【図２２】二分木構造の作成について説明する図２１に続く図である。
【図２３】二分木構造の作成について説明する図２２に続く図である。
【図２４】二分木構造の作成について説明する図２３に続く図である。
【図２５】二分木構造の作成について説明する図２４に続く図である。
【図２６】グループ化条件に基づくクラスタリングについて説明する図である。
【図２７】クラスタの粒度の例を示す図である。
【図２８】グループＡ分割フラグの設定の例を示す図である。
【図２９】グループ化条件Ａに基づくクラスタリング結果の例を示す図である。
【図３０】グループＢ分割フラグの設定の例を示す図である。
【図３１】グループ化条件Ｂに基づくクラスタリング結果の例を示す図である。
【図３２】クラスタの入れ子関係を示す図である。
【図３３】クラスタリングの処理について説明するフローチャートである。
【図３４】配置テンプレートの設定について説明するフローチャートである。
【図３５】クラスタリングの処理結果について説明する図である。
【図３６】配置テンプレートの設定について説明するフローチャートである。
【図３７】撮影間隔と配置テンプレートの関係について説明する図である。
【図３８】撮影間隔と配置テンプレートの関係について説明する図である。
【図３９】配置テンプレートの設定について説明するフローチャートである。
【図４０】撮影間隔と配置テンプレートの関係の具体例を示す図である。
【図４１】アスペクト比と画像の貼り付け領域の関係について説明する図である。
【図４２】アスペクト比と画像の貼り付け領域の関係について説明する図である。
【図４３】アスペクト比と画像の貼り付け領域の関係について説明する図である。
【図４４】静止画像のアスペクト比について説明する図である。
【図４５】縦長と横長の静止画像について説明する図である。
【図４６】画像の切り出しについて説明する図である。
【図４７】貼付領域のアスペクト比と画像の切り出し領域との関係を示す図である。
【図４８】不適切な切り出し領域について説明する図である。
【図４９】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５０】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５１】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５２】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５３】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５４】画像の貼り付け処理について説明するフローチャートである。
【図５５】アルバムの表示処理について説明するフローチャートである。
【図５６】モニタに表示される画面例を示す図である。
【図５７】動画像の関連付けの処理について説明するフローチャートである。
【図５８】モニタに表示される画面例を示す図である。
【図５９】モニタに表示される画面例を示す図である。
【図６０】モニタに表示される画面例を示す図である。
【図６１】動画像の削除に関する処理について説明するフローチャートである。
【図６２】動画像の削除に関する処理について説明する図である。
【図６３】動画像の削除に関する処理について説明するフローチャートである。
【図６４】フォルダにおける画像の管理について説明する図である。
【図６５】フォルダにおける画像の管理について説明する図である。
【図６６】動画像の削除に関する処理について説明するフローチャートである。
【図６７】記録媒体について説明する図である。
【符号の説明】
【０４６５】
１ 画像処理装置， ２ モニタ， １８ 記録再生部， １９ 操作部， ２０ 制御部， ３１ 静止画像ＤＢ， ３２ 動画像ＤＢ， ３３ テンプレートＤＢ， ３４ コンテンツＤＢ， ５１ 選択部， ５２ 記録再生制御部， ５３ 表示制御部， ５４ コンテンツ作成部， ７１ 演算部， ７２ テンプレート設定部， ９１ クラスタリング部， ９２ 階層決定部
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、人の顔などが適切に切り出された画像を、適切に配置したアルバムを作成できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどが普及し、デジタルカメラで撮影された画像を、パーソナコンピュータなどで気軽に閲覧することができる。
【０００３】
デジタルカメラが普及する前には、いわゆるフィルムカメラなどと称されるカメラが一般的に用いられていた。フィルムカメラにより撮影された画像（写真）は、所定の紙に印刷された状態で閲覧することが一般的であった。それらの写真は、台紙に貼付された状態でアルバムなどと称される形式で管理されることがあった。
【０００４】
このようなフィルムカメラにおいて撮影された画像を閲覧するときに用いられていたアルバムを、デジタルカメラにおいて撮影された画像を閲覧するときにも利用することが提案されつつある。デジタルカメラにおいて撮影された画像を閲覧するアルバムは、電子アルバムなどと称されることがある。
【０００５】
電子アルバムは、パーソナルコンピュータのディスプレイや、テレビジョン受像機などで閲覧することができる。また、電子アルバムは、紙媒体のアルバムと同じ感覚で扱えるように、複数のページで構成され、ページをめくると次のページが表示されるといった表示形態を備えているのが一般的である。ユーザは、紙媒体のアルバムと同じ感覚で電子アルバムを楽しむことができる。
【０００６】
紙媒体のアルバムは、ユーザが、自分で写真を台紙に貼ることにより作成される。電子アルバムの場合、ディスプレイ上に表示されているページをイメージした画面に、ユーザが所定の操作を行うことで画像を貼り付けることにより、アルバムを作成することもできるが、ユーザの手を煩わすことなく画像をページ内に配置し、アルバムを作成することも提案されている。アルバムを作成するときなど、適切な画像をページに貼り付けるために、何らかの加工が行われることも提案されている。
【特許文献１】特許第３６９０３９１号
【０００７】
【特許文献２】特開２００５−２６９５６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
電子アルバムを、ユーザの手を煩わすことなく作成するような場合、適切な画像をページに貼り付けるために、何らかの加工が行われることがあるが、撮影者の意図を反映した形で加工が行われることが好ましい。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、画像を加工するとき、その画像を撮影した撮影者の意図を反映した形で加工が行われるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、画像の配置を決定するテンプレートを管理する管理手段と、第１の画像の一部を切り出す切り出し手段と、前記切り出し手段により前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置手段とを備え、前記切り出し手段は、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す。
【００１１】
前記第１の画像から顔と判断される領域を検出する検出手段をさらに備え、前記切り出し手段は、前記検出手段で検出された前記顔と判断される領域を含む領域で前記第２の画像を切り出すようにすることができる。
【００１２】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、最大の領域を有する顔を含む領域で前記第２の画像を切り出すようにすることができる。
【００１３】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、それらの領域を最も多く含む領域で前記第２の画像を切り出すようにすることができる。
【００１４】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、最も顔である確率が高い領域を含む領域で前記第２の画像を切り出すようにすることができる。
【００１５】
前記検出手段は、前記第１の画像に含まれる顔の特徴をさらに検出し、前記切り出し手段は、前記特徴が特定の条件を満たす顔を含む領域で前記第２の画像を切り出すようにすることができる。
【００１６】
本発明の一側面の画像処理方法は、画像の配置を決定するテンプレートを管理する管理ステップと、第１の画像の一部を切り出す切り出しステップと、前記切り出しステップの処理で前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置ステップとを含み、前記切り出しステップは、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す。
【００１７】
本発明の一側面のプログラムは、画像の配置を決定するテンプレートを管理する管理ステップと、第１の画像の一部を切り出す切り出しステップと、前記切り出しステップの処理で前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置ステップとを含み、前記切り出しステップは、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す処理をコンピュータに実行させる。
【００１８】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像の配置を決定するテンプレートが管理され、テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、第１の画像を最大限に含むように第１の画像から第２の画像が切り出される。
【発明の効果】
【００１９】
本発明の一側面によれば、画像を切り出すとき、切り出す領域として設定されている大きさのアスペクト比が維持された状態で、かつ、最大限に元の画像が含まれるように切り出しを行うことができるようになり、撮影者の意図を反映した形で画像の切り出しを行うことができる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２１】
本発明の一側面の画像処理装置（例えば、図１の画像処理装置１）は、画像の配置を決定するテンプレートを管理する管理手段（例えば、図２のテンプレートＤＢ３３）と、第１の画像の一部を切り出す切り出し手段（例えば、図５４のステップＳ１１３，Ｓ１１６，Ｓ１１８，Ｓ１１９）と、前記切り出し手段により前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置手段（例えば、図５４のステップＳ１１４）とを備える。
【００２２】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２３】
［画像処理装置の構成について］
図１は、本発明の一実施の形態である情報処理装置の構成を示す図である。情報処理装置１は、ＨＤＤ（Hard Disc Recorder）レコーダなどである。
【００２４】
図１の画像処理装置１は、図示せぬ外部装置から供給されるＡＶ（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。画像処理装置１は、再生された映像信号を、外部に接続されているモニタ２に出力する。また、画像処理装置１は、再生された音声信号を、外部に接続されているスピーカ３に出力する。
【００２５】
ＡＶ信号を供給する外部装置は、例えば、i.LINK（商標）を介して接続される外部装置、 デジタルＢＳ（Broadcasting Satellite）チューナもしくはデジタルＣＳ（Communications Satellite）チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。
【００２６】
画像処理装置１には、必要に応じてドライブ４が接続される。ドライブ４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどのリムーバブルメディア５が必要に応じて装着され、データの授受を行うようになされている。
【００２７】
図１の画像処理装置１は、コーデック１１、サンプリングレートコンバータ１２、アナログ入力処理部１３、A/Dコンバータ１４、切換部１５、NTSC（National Television System Committee）デコーダ１６、エンコーダ１７、記録再生部１８、操作部１９、制御部２０、デコーダ２１、NTSCエンコーダ２２、およびD/Aコンバータ２３を含む構成とされている。
【００２８】
コーデック１１は、図示せぬ外部装置から供給されるＡＶ信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ１２に供給する。
【００２９】
サンプリングレートコンバータ１２は、図示せぬ外部装置から供給されるＡＶ信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ１２は、変換されたデジタルオーディオ信号を切換部１５に供給する。
【００３０】
アナログ入力処理部１３は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ１６に供給する。また、アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ１４に供給する。
【００３１】
A/Dコンバータ１４は、アナログ入力処理部１３から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ１４は、A/D変換された結果であるデジタルオーディオ信号を切換部１５に供給する。
【００３２】
切換部１５は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ１２から供給されたデジタルオーディオ信号、またはA/Dコンバータ１４から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部１５は、選択されたデジタルオーディオ信号をNTSCデコーダ１６に供給する。
【００３３】
NTSCデコーダ１６は、コーデック１１より供給されたデジタルビデオ信号、またはアナログ入力処理部１３より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。NTSCデコーダ１６は、変換されたNTSC方式のデジタルビデオ信号と、切換部１５から供給されたデジタルオーディオ信号とを合成する。
【００３４】
画像処理装置１に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ１６は、合成された信号であるデジタルＡＶ信号を、エンコーダ１７に供給する。一方、画像処理装置１に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ１６は、合成された信号であるデジタルＡＶ信号を、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。
【００３５】
エンコーダ１７は、NTSCデコーダ１６より供給されたデジタルＡＶ信号に対して、例えば、MPEG（Moving Picture Experts Group）方式などの所定の方式に従ったエンコード処理を施す。エンコーダ１７は、エンコード処理の結果である圧縮符号化された信号データを記録再生部１８に供給する。
【００３６】
記録再生部１８は、例えば、ハードディスク（ＨＤＤ）や光ディスクなどで構成される。記録再生部１８は、エンコーダ１７から供給された信号データを記録する。また、記録再生部１８は、記録された信号データをデコーダ２１に供給する。即ち、記録再生部１８は、記録された信号データを再生する。
【００３７】
操作部１９は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、画像処理装置１に対する指示を入力するために操作部１９を操作する。操作部１９は、ユーザの操作に応じて、ユーザの操作を示す信号を制御部２０に供給する。
【００３８】
制御部２０は、例えば、マイクロプロセッサを含む構成とされ、操作部１９から供給されるユーザの操作を示す信号に基づいて、画像処理装置１内の各部を制御する。
【００３９】
デコーダ２１は、記録再生部１８から供給された信号データに対して、例えば、MPEG方式などに対応する方式に従ったデコード処理を施す。デコーダ２１は、処理の結果である伸張復号化されたデジタルＡＶ信号のうちのデジタルビデオ信号をNTSCエンコーダ２２に供給する。また、デコーダ２１は、処理の結果である伸張復号化されたデジタルＡＶ信号のうちのデジタルオーディオ信号をD/Aコンバータ２３に供給する。
【００４０】
NTSCエンコーダ２２は、デコーダ２１から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換する。NTSCエンコーダ２２は、変換されたビデオ信号をモニタ２に供給する。
【００４１】
D/Aコンバータ２３は、デコーダ２１から供給されたデジタルオーディオ信号をD/A変換する。D/Aコンバータ２３は、変換された結果であるオーディオ信号をスピーカ３に供給する。
【００４２】
このような構成により、画像処理装置１は入力された映像信号および音声信号を記録、または再生することができる。また、画像処理装置１は、記録再生部１８に記録されている映像信号や音声信号を再生することができる。
【００４３】
画像処理装置１は、映像信号の他、静止画像の信号（データ）も入力し、記録したり、再生したりする機能を有する。すなわち、本実施の形態における画像処理装置１は、動画像と静止画像を扱うことが可能な装置であり、例えば、エンコーダ１７やデコーダ２１は、動画像に適した方式や静止画像に適した方式を、サポートするように構成されている。
【００４４】
また、図１に示した構成例においては、映像信号を処理する構成を主に図示したが、同一の構成で、静止画像の画像データを処理できるように構成しても良いし、例えば、記録再生部１８に直接的に静止画像データが記録されるような構成としても良く、図１に示した構成は適宜変更可能である。
【００４５】
図２は、図１の画像処理装置１の記録再生部１８および制御部２０の構成例を示す図である。
【００４６】
記録再生部１８は、静止画像データベース３１、動画像データベース３２、テンプレートデータベース３３、およびコンテンツデータベース３４を含む構成とされている。以下、静止画像データベース３１を静止画像ＤＢ３１と記述し、動画像データベース３２を動画像ＤＢ３２と記述し、テンプレートデータベース３３をテンプレートＤＢ３３と記述し、コンテンツデータベース３４をコンテンツＤＢ３４と記述する。
【００４７】
静止画像ＤＢ３１は、外部の装置から供給された静止画像のデータである静止画像データ、または、後述するように動画像から抽出された静止画像の静止画像データ（サムネイル画像のサムネイルデータ）を記録する。動画像ＤＢ３２は、図１のエンコーダ１７から供給された動画像のデータである動画像データを記憶する。なお、以下の説明において、例えば、“静止画像ＤＢ３１に記録されている画像”との表記をするが、この“画像”は、“画像データ”の意味を含む表記であるとする。
【００４８】
テンプレートＤＢ３３は、コンテンツＤＢ３４に記録されるコンテンツであるアルバムを表示する場合の、アルバムに配置される画像の背景となる背景画像のデータである背景テンプレートおよびアルバムにおける画像の配置を設定する情報である配置テンプレートを記憶する。
【００４９】
コンテンツＤＢ３４は、アルバムのデータを記録する。なお、アルバムの詳細については後述するが、後述するように、アルバムとは、静止画像が貼り付けられたページから構成され、紙媒体のアルバムと同じ感覚で扱うことができ、電子アルバムなどと称されることもある。
【００５０】
制御部２０は、選択部５１、記録再生制御部５２、表示制御部５３、およびコンテンツ作成部５４を含む構成とされている。
【００５１】
選択部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、ユーザにより操作される内容を示す情報を生成し、記録再生制御部５２に供給する。
【００５２】
例えば、選択部５１は、操作部１９から供給される、モニタ２に表示されるアルバムなどを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されたアルバムを示す情報を生成し、記録再生制御部５２に供給する。
【００５３】
また例えば、選択部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を生成し、記録再生制御部５２に供給する。
【００５４】
記録再生制御部５２は、記録再生部１８が行う記録、または再生を制御する。また記録再生制御部５２は、記録再生部１８から画像データ、背景テンプレート、配置テンプレート、またはアルバムのデータを読み出す。
【００５５】
例えば記録再生制御部５２は、選択部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、静止画像ＤＢ３１または動画像ＤＢ３２から所定のフォルダに保存されている画像データを読み出す。
【００５６】
また記録再生制御部５２は、読み出された画像データ、背景テンプレート、配置テンプレート、またはアルバムのデータを、コンテンツ作成部５４に供給する。また、記録再生制御部５２は、コンテンツ作成部５４により作成されたコンテンツ（アルバムのデータ）を、コンテンツＤＢ３４に供給し、記憶させる。
【００５７】
表示制御部５３は、記録再生制御部５２により読み出された画像データ、背景テンプレート、配置テンプレート、またはアルバムのデータを基に、デコーダ２１のデコ ード処理を制御する。
【００５８】
コンテンツ作成部５４は、記録再生制御部５２の制御の基、記録再生部１８から供給される画像データを用いて、コンテンツを作成する。コンテンツ作成部５４は、演算部７１、およびテンプレート設定部７２から構成される。
【００５９】
演算部７１は、記録再生制御部５２から供給される、画像に付随するデータに基づいて、複数の画像をグループに分ける（クラスタリングする）。演算部７１は、クラスタリング部９１、および階層決定部９２から構成される。
【００６０】
クラスタリング部９１は、記録再生制御部５２から供給される、画像に付随するデータに基づいて、画像のクラスタリングを行う。 階層決定部９２は、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。
【００６１】
テンプレート設定部７２は、記録再生瀬領部５２に、背景テンプレートおよび配置テンプレートをテンプレートＤＢ３３から読み出させるための指示を出したり、読み出された背景テンプレートや配置テンプレートを生成されたクラスタに設定したりする。
【００６２】
またコンテンツ作成部５４は、背景テンプレートおよび配置テンプレートが設定されたアルバムを、記録再生制御部５２を介して記録再生部１８のコンテンツＤＢ３４に記録させる。
【００６３】
このような構成を有する画像処理装置１の動作について説明する。以下の説明においては、アルバムを作成するときの画像処理装置１の動作を例に挙げて説明する。
【００６４】
［アルバム（コンテンツ）の作成について］
図３のフローチャートを参照し、アルバムの作成に係わる処理の概略について説明を加え、その後、各ステップの処理の詳細を、他の図面を参照して説明する。
【００６５】
ステップＳ１１において、画像データが読み出される。記録再生制御部５２は、静止画像ＤＢ３１から画像データを読み出す。このステップＳ１１においては、画像データ本体ではなく、ステップＳ１２で行われるクラスタリングの処理で必要とされる画像データに付随するデータが読み出される。画像データに付随するデータとして読み出されるのは、例えば、ＥＸＩＦ（Exchangeable Image File Format）タグである。
【００６６】
画像データが読み出されるタイミング、すなわちこの場合、アルバムが作成されるタイミングとしては、以下のようなタイミングがある。
【００６７】
タイミング１として、ユーザの指示があったときである。ユーザは、アルバムを作成したいときに、アルバム作成の指示を、操作部１９を操作して出す。ユーザが指示を出す場合であっても、例えば、ユーザがアルバムの作成を指示したタイミングで作成されるようにしても良いし、ユーザがアルバムの再生を指示したときに、アルバムが作成され、再生されるようにしても良い。
【００６８】
タイミング２として、静止画像を管理するフォルダが新たに作成されたときである。フォルダが作成されたときには、そのフォルダで管理される画像に対して、アルバムが作成される。
【００６９】
タイミング３として、既に作成されているフォルダに、新たな画像が追加されたときである。新たな画像が、既存のフォルダに追加された場合、その新たな画像を含めたアルバムが作成される。換言すれば、新たな画像を含めたアルバムに再編集される。
【００７０】
タイミング１乃至３は、タイミングの一例であり、限定を示すものではない。よって、タイミング１乃至３以外のタイミングで、アルバムの作成（ステップＳ１１の処理）が開始されるようにしても良い。また、１つのタイミングに限定されるわけではなく、タイミング１乃至タイミング３および他のタイミングを、組み合わせて用いることも可能である。
【００７１】
ステップＳ１１において、画像データに付随し、クラスタリングの処理に必要とされる情報が読み出されると、ステップＳ１２において、クラスタリングの処理が開始される。クラスタリングの処理についての詳細は後述する。クラスタリングの処理が実行されることにより、複数の画像が、複数のグループに分けられる。また１つのグループに注目したとき、その注目したグループ内の画像には、何らかの関連性があるように、クラスタリングが行われる。何らかの関連性とは、以下に説明するように、ここでは、時間的な関連性である。
【００７２】
ステップＳ１２において、クラスタリングが行われると、その処理結果に基づき、ステップＳ１３において背景テンプレートが読み出される。また、ステップＳ１４において、配置テンプレートが読み出される。
【００７３】
ここで、背景テンプレートと配置テンプレートについて説明を加える。
【００７４】
図４は、背景テンプレートの構成の例を示す図である。図４に示される１１１−１乃至１１１−３の背景テンプレートは、それぞれ異なる絵を有し、付随する情報を有する。以下の説明において、背景テンプレート１１１−１乃至１１１−３を個々に区別する必要がない場合、単に、背景テンプレート１１１と記述する。後述する配置テンプレートも同様の記載を行う。
【００７５】
例えば、背景テンプレート１１１−１乃至１１１−３は、それぞれ付随する情報として、日時に関する情報を有し、画像がその撮影日時によりクラスタリングされる場合、クラスタリングされた画像の日時の情報と、背景テンプレート１１１−１乃至１１１−３に付随する日時の情報とが一致する背景テンプレート１１１が、テンプレート設定部７２により選択され、設定される。
【００７６】
例えば、背景テンプレート１１１−１が、“１月１日”という日時情報を有し、所定の画像の撮影日時が１月１日付近である場合、その画像には、背景テンプレート１１１−１が設定される。
【００７７】
また、背景テンプレート１１１が、イベントに関する情報を有し、画像がイベントによりクラスタリングされる場合（例えば、ユーザにより付与されたイベント名（タイトル）に基づきクラスタリングされる場合）、クラスタリングされた画像のイベントの情報と、背景テンプレート１１１に付随するイベントの情報とが一致する背景テンプレートが、テンプレート設定部７２により設定される。
【００７８】
例えば、背景テンプレート１１１−１が、“正月”というイベント情報を有し、所定の画像に示すイベント名として正月と付けられていたような場合、その画像には、背景テンプレート１１１−１が設定される。
【００７９】
背景テンプレート１１１は、図４に示した背景テンプレート１１１−１乃至１１１−３に限定されるわけではなく、３枚以上の背景テンプレートが、テンプレートＤＢ３３に記憶されており、適宜、テンプレート設定部７２により設定される。また、図４に示した、例えば、背景テンプレート１１１−１のように、絵が描いてあるような背景テンプレート１１１だけでなく、例えば、白一色の背景テンプレート１１１なども、背景テンプレート１１１としてテンプレートＤＢ３３に記憶され、テンプレート設定部７２による設定の対象とされる。
【００８０】
図５乃至図９は、テンプレートＤＢ３３に記憶されている配置テンプレートの例を示す図である。各配置テンプレートは、所定の枚数の画像を配置するときに用いられるテンプレートであり、配置される画像の枚数毎に、複数のテンプレートが用意されている。ここでは、所定の枚数の画像、例えば、１枚の画像を配置するための複数のテンプレートをまとめて表記するときは、配置テンプレート群と記述する。
【００８１】
図５乃至図９にそれぞれ示す配置テンプレート群に含まれる、配置テンプレート１３１−１乃至１３１−３、配置テンプレート１３２−１乃至１３２−３、配置テンプレート１３３−１乃至１３３−３、配置テンプレート１３４−１乃至１３４−３、配置テンプレート１３５−１乃至１３５−３は、それぞれ付随する情報を有する。付随する情報は、例えば、背景テンプレート１１１と同じように、日時やイベントに関する情報である。
【００８２】
図５に示した配置テンプレート１３１−１乃至１３１−３という３枚のテンプレートを含む配置テンプレート群は、１ページに１枚の画像が配置されるときの配置テンプレート１３１である。配置テンプレート１３１−１乃至１３１−３は、１枚の画像が配置されるという点で共通であるが、ページ内において、その１枚の画像が配置される位置や大きさはそれぞれ異なるように設定されているテンプレートである。
【００８３】
図６に示した配置テンプレート１３２−１乃至１３２−３という３枚のテンプレートを含む配置テンプレート群は、１ページに２枚の画像が配置されるときの配置テンプレート１３２である。配置テンプレート１３２−１乃至１３２−３は、２枚の画像が配置されるという点で共通であるが、ページ内において、それらの２枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
【００８４】
図７に示した配置テンプレート１３３−１乃至１３３−３という３枚のテンプレートを含む配置テンプレート群は、１ページに３枚の画像が配置されるときの配置テンプレート１３３である。配置テンプレート１３３−１乃至１３３−３は、３枚の画像が配置されるという点で共通であるが、ページ内において、それらの３枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
【００８５】
図８に示した配置テンプレート１３４−１乃至１３４−３という３枚のテンプレートを含む配置テンプレート群は、１ページに４枚の画像が配置されるときの配置テンプレート１３４である。配置テンプレート１３４−１乃至１３４−３は、４枚の画像が配置されるという点で共通であるが、ページ内において、それらの４枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
【００８６】
図９に示した配置テンプレート１３５−１乃至１３５−３という３枚のテンプレートを含む配置テンプレート群は、１ページに５枚の画像が配置されるときの配置テンプレート１３５である。配置テンプレート１３５−１乃至１３５−３は、５枚の画像が配置されるという点で共通であるが、ページ内において、それらの５枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
【００８７】
各配置テンプレート１３１乃至１３５において、各画像が表示される位置と領域（大きさ）は、固定されている。例えば、配置テンプレート１３１―１には、１枚の画像が表示されるが、その画像が表示される位置と大きさは固定されており、仮に、表示される大きさよりも大きなサイズの画像が、配置テンプレート１３１−１に配置されるとしても、その画像が表示される領域の大きさが変更されることはない。よって、大きなサイズの画像が、配置テンプレートに貼り付けられる場合、その画像の一部が切り出され、配置テンプレートに貼り付けられ、表示される。
【００８８】
図５乃至図９に示した配置テンプレート１３１乃至１３５は、一例であり、限定を示すものではない。また、ここでは、最大で５枚の画像が１ページに表示される場合まで例示したが、５枚以上の画像が１ページに表示される配置テンプレートを、テンプレートＤＢ３３に記憶させ、用いるようにしても勿論良い。しかしながら、１ページに表示される画像を多くすると、１枚あたりの表示領域が小さくなり、そのために画像が見づらくなる可能性があるので、あまり多くの画像を１ページに配置するような配置テンプレートを用意するのは好ましくない。
【００８９】
テンプレート設定部７２は、テンプレートＤＢ３３に記憶されている図５乃至図９に示した配置テンプレート１３１乃至１３５のうち、適切な配置テンプレートを設定する。適切な配置テンプレートを設定するための処理については後述するが、クラスタリングの結果が用いられて行われる。
【００９０】
図３のフローチャートの説明に戻り、ステップＳ１３において、背景テンプレートが設定され、ステップＳ１４において、配置テンプレートが設定されると、ステップＳ１５において、画像の貼り付け処理が行われる。ステップＳ１５において実行される画像の貼り付け処理についての詳細な説明は後述するが、設定されている配置テンプレートに、画像を貼り付け、背景テンプレートと合成する処理である。
【００９１】
このようにして、アルバム内の所定の１枚のページが作成される。ステップＳ１１，Ｓ１２の処理により、所定の１つのフォルダに対して行われ、その結果、１つのフォルダ内の複数の静止画像が、複数のクラスタに分類される。そして、１つのクラスタに対して、ステップＳ１３乃至Ｓ１５の処理が実行されることにより、アルバム内の１ページが作成される。
【００９２】
作成されたアルバム内の１ページの例を、図１０に示す。図１０の例において、ページ１５１には、背景テンプレート１１１−１と配置テンプレート１３５−１が設定されている。背景テンプレート１１１−１は、例えば、ページ１５１に配置されている５枚の画像のクラスタ情報と同じクラスタ情報を有する。また、配置テンプレート１３５−１によって、例えば、５枚の画像の配置が決定される。また、ページ１５１には、「○△□×２００５」のコメントが表示されている。このようにユーザが、操作部１９を操作することによって、ページ１５１の任意の位置に、任意のコメントを設定することができるようにしても良い。
【００９３】
このように、アルバム内の所定の１ページは、設定された背景テンプレートの上に、設定された配置テンプレートに基づき画像が貼り付けられたような画像とされる。
【００９４】
また、配置テンプレートに配置される画像、換言すれば、アルバム内の所定の１ページに表示される画像は、静止画像であるが、その静止画像は、静止画像ＤＢ３１に記憶されている静止画像だけでなく、動画像ＤＢ３２に記憶されている動画像から抽出された静止画像が含まれるようにしても良い。
【００９５】
例えば、動画像ＤＢ３２に記憶されている動画像のインデックスなどを作成するときに、ユーザに動画像の内容を示す画像として提供され、動画像の１シーンを示す静止画像が、アルバム内のページに表示されるようにしても良い。そのような静止画像は、サムネイル画像などと称されることがある。また、サムネイル画像は、１つの動画像から複数枚作成されることがあり、それらの複数枚のサムネイル画像の全てが、アルバムを構成するページ内に表示されるようにしても良いし、選択された１枚のサムネイル画像のみが表示されるようにしても良い。
【００９６】
動画像から抽出された静止画像が表示されたときの、ページの画面例を図１１に示す。図１１において、ページ１５１’に表示されている３枚の静止画像のうち、静止画像１６１が、動画像から抽出された静止画像（サムネイル画像）である。この静止画像１６１は、動画像から抽出された静止画像であることをユーザに認識させるための表示として、“Ｖｉｄｅｏ”というマーク１６２が、静止画像１６１の近傍に表示される。
【００９７】
このように、マーク１６２が表示されている静止画像１６１が、ユーザにより選択されると、その静止画像１６１の元の動画像の再生が開始される。ユーザにより選択されるとは、例えば、図示していないカーソルが、静止画像１６１上に位置しているときに、マウス（同じく不図示）がダブルクリックされるなど、所定の操作が行われることを意味する。
【００９８】
また、ページ１５１’に表示されている静止画像１７１または静止画像１７２が選択された場合、その選択された静止画像１７１（静止画像１７２）が、拡大表示される。
【００９９】
図３のフローチャートの説明に戻り、ステップＳ１６において、全てのクラスタに対して処理が終了したか否かが判断される。ステップＳ１６の処理を換言するならば、アルバム内の全てのページが作成されたか否かが判断される処理である。
【０１００】
ステップＳ１６において、全てのクラスタに対して処理は終了していないと判断された場合、ステップＳ１３に処理が戻され、それ以降の処理が実行される。すなわち、次のページの作成が行われる。
【０１０１】
一方、ステップＳ１６において、全てのクラスタに対して処理が終了したと判断された場合、ステップＳ１７に処理が進められる。ステップＳ１７に処理が来るのは、アルバム内の全てのページの作成が終了された場合であり、換言すれば、アルバムが完成した場合である。よって、ステップＳ１７においては、作成されたアルバムが、コンテンツＤＢ３４に記憶（保存）される。
【０１０２】
このようにして、アルバムが作成される。図１２に、作成されたアルバムの構成の一例を示す。
【０１０３】
図１２に示した例において、アルバム１８１は、ページ１５１乃至１５５の５ページで構成されている。アルバム１８１のページ１５１乃至１５５に配置されている画像は、同じフォルダ内に記憶されている画像である。ページ１５１乃至１５５には、それぞれ配置テンプレートによって決定される所定の数の画像が配置されている。
【０１０４】
次に、図３のフローチャートを参照して説明した各ステップの処理について、詳細な説明をする。
【０１０５】
［クラスタリングの処理について］
まず、ステップＳ１２において実行されるクラスタリングの処理について説明する。
【０１０６】
本実施の形態において行われるクラスタリングの概念についてまず説明する。なお、以下に説明するクラスタリングの手法は、一例であり、本発明が、以下に説明するクラスタリングの手法のみに適用されることを意味するものではない。
【０１０７】
図１３は、画像のグループ（クラスタ）の例を示す図である。図１３において、横軸は時間軸を示す。
【０１０８】
図１３は、時刻ｔ1乃至ｔ12のそれぞれのタイミングにおいて撮影された画像ｐ1乃至ｐ12がクラスタリングの対象とされている場合の例を示している。例えば、静止画像ＤＢ３１に記録されている静止画像と、動画像ＤＢ３２に記録されている動画像から抽出された静止画像が、クラスタリングの対象とされる。図１３の１つの四角形は１枚の画像を表す。
【０１０９】
画像処理装置１においては、それぞれの画像の撮影時刻の時間間隔が求められ、時間間隔の分布が、ある条件を満たす連続した画像から１つのクラスタが構成される。撮影されたそれぞれの画像には、EXIF(Exchangeable Image File Format)タグが属性情報として付加されており、このEXIFタグに含まれる撮影時刻の情報がクラスタリングに用いられる。
【０１１０】
図１３の例においては、クラスタを規定する条件として条件Ａと条件Ｂが設定され、そのうちの条件Ａにより、画像ｐ1乃至ｐ12全体からなる１つのクラスタが規定されている。条件Ａにより規定されたクラスタにはイベント名「結婚式」が設定されている。
【０１１１】
クラスタリングの詳細については後述するが、「結婚式」のイベント名が設定されているクラスタは、例えば、画像ｐ1乃至ｐ12のそれぞれの画像の撮影時刻の時間間隔のばらつきの程度が、ある閾値より小さいことなどから規定されたものである。
【０１１２】
また、図１３の例においては、条件Ｂにより、画像ｐ1乃至ｐ12のうちの画像ｐ1乃至ｐ3から１つのクラスタが規定され、画像ｐ4乃至ｐ7から１つのクラスタが規定されている。また、画像ｐ8乃至ｐ12から１つのクラスタが規定されている。
【０１１３】
画像ｐ1乃至ｐ3からなるクラスタには「教会での挙式」、画像ｐ4乃至ｐ7からなるクラスタには「披露宴」、画像ｐ8乃至ｐ12からなるクラスタには「二次会」のイベント名がそれぞれ設定されている。
【０１１４】
「教会での挙式」のイベント名が設定されているクラスタは、それを構成する画像ｐ1乃至ｐ3のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像ｐ3と、次に（時間軸上で次に）撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像ｐ4乃至ｐ7のうちの最初の画像である画像ｐ4との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定されたものである。
【０１１５】
また、「披露宴」のイベント名が設定されているクラスタは、それを構成する画像ｐ4乃至ｐ7のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像ｐ7と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像ｐ8乃至ｐ12のうちの最初の画像である画像ｐ8との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定されたものである。
【０１１６】
「二次会」のイベント名が設定されているクラスタは、それを構成する画像ｐ8乃至ｐ12のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像ｐ12と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりのうちの最初の画像との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定されたものである。
【０１１７】
なお、「結婚式」、「教会での挙式」、「披露宴」、「二次会」のそれぞれのイベント名は、例えば、ユーザにより手動で設定されたものである。
【０１１８】
このように、画像処理装置１においては、同じ対象の画像をクラスタリングする条件として複数の条件が設定され、それぞれの条件に基づいて、異なる粒度のクラスタが規定される。図１３の例においては、条件Ａは粒度の低い（粗い）クラスタを規定する条件であり、条件Ｂは条件Ａより粒度の高い（細かい）クラスタを規定する条件である。
【０１１９】
以上のようにして規定されたそれぞれのクラスタに含まれる画像は仮想的に１つのフォルダによりまとめて管理され、階層構造を有する形でユーザに提示される。
【０１２０】
図１４は、階層構造の例を示す図である。
【０１２１】
図１４の例においては、「私の思い出」の名前が設定されたフォルダの下位の階層のフォルダとして、条件Ａにより規定される「結婚式」のイベント名が設定されたクラスタを表すフォルダと、「北海道旅行」のイベント名が設定されたクラスタを表すフォルダが示されている。
【０１２２】
また、「結婚式」のイベント名が設定されたクラスタを表すフォルダの下位の階層のフォルダとして、条件Ｂにより規定される「教会での挙式」、「披露宴」、「二次会」のそれぞれのイベント名が設定されたクラスタを表すフォルダが示されている。
【０１２３】
さらに、「北海道旅行」のイベント名が設定されたクラスタを表すフォルダの下位の階層のフォルダとして、条件Ｂにより規定される「釧路湿原」、「札幌すすきの」、「稚内カニ」、「富良野」、「網走監獄」のそれぞれのイベント名が設定されたクラスタを表すフォルダが示されている。これらのフォルダにより表されるクラスタも、それぞれのクラスタを構成する画像の撮影時刻の時間間隔の分布により規定されたものである。
【０１２４】
このように、画像処理装置１においては、イベント毎にフォルダが作成され、作成されたフォルダにはそれぞれのイベントのときに撮影された画像が含められるから、ユーザは、階層構造を有するフォルダの中から所定のフォルダを選択することによって、イベ ント単位で画像を閲覧したり、整理したりすることができる。
【０１２５】
例えば、ユーザは、撮影して得られた画像を、図１５の上方に示されるように単に時系列順に閲覧するのではなく、白抜き矢印の先に示されるように、フォルダｆ11，ｆ12，ｆ122，ｆ211，ｆ212，ｆ22のそれぞれに含まれる画像の順序で、すなわち、好みの粒度のフォルダを選択して、好みの順序で、画像を閲覧することができる。
【０１２６】
図１５の１つの楕円は１つのフォルダを表す。図１５において、撮影して得られた画像全体がフォルダｆ1に含まれる画像とフォルダｆ2に含まれる画像に分けられ、このうちのフォルダｆ1に含まれる画像は、さらにフォルダｆ11に含まれる画像とフォルダｆ12に含まれる画像に分けられる。フォルダｆ11に含まれる画像は、フォルダｆ111に含まれる画像とフォルダｆ112に含まれる画像に分けられ、フォルダｆ12に含まれる画像は、フォルダｆ121に含まれる画像とフォルダｆ122に含まれる画像に分けられる。同様に、フォルダｆ2に含まれる画像も下位の階層のフォルダに含まれる画像に分けられる。
【０１２７】
図１６は、画像処理装置１内で、クラスタリングの処理を実行する部分を図１または図２に示した画像処理装置１の構成から抽出するとともに、クラスタリングの処理を実行するうえで必要とされる部分を追加した図である。
【０１２８】
図１６に示したクラスタリングの処理を実行する部分は、静止画像ＤＢ３１、動画像ＤＢ３２、演算部７１（クラスタリング部９１、階層決定部９２）、タグ読み取り部２０１、条件設定部２０２、および、イベント名設定部２０３を含む構成されている。
【０１２９】
静止画像ＤＢ３１には、撮影時刻、撮影日などの情報を含むEXIFタグが、撮影された画像と対応付けられて記録されている。
【０１３０】
タグ読み取り部２０１は、画像のクラスタリングを行うとき、静止画像ＤＢ３１に記録されているEXIFタグから、クラスタリングの対象とするそれぞれの画像の撮影時刻を読み出し、読み出した撮影時刻を演算部７１に出力する。また、タグ読み取り部２０１は、後述するように、ユーザからの指示があった場合など、動画像ＤＢ３３に記録されている動画像の撮影時刻に関する情報を読み出し、読み出した撮影時刻を演算部７１に出力する。
【０１３１】
画像のクラスタリングは、１枚の画像の撮影が行われる毎に行われるようにしてもよいし、ユーザによりクラスタリングを行うことが指示されたときなどの所定のタイミングで行われるようにしてもよい。本実施の形態においては、アルバムが作成されるタイミングで行われるとする（ステップＳ１２の処理として行われるとする）。
【０１３２】
演算部７１はクラスタリング部９１と階層決定部９２から構成される。クラスタリング部９１は、コンテンツＤＢ３４に記録されているクラスタデータを取得し、取得したクラスタデータと、タグ読み取り部２０１から供給された撮影時刻に基づいて画像のクラスタリング を行う。例えば、過去にクラスタリングが行われた画像も含めて、画像全体が二分木構造を有する形で管理されるクラスタリング結果がクラスタリング部９１により取得される。
【０１３３】
コンテンツＤＢ３４に記録されているクラスタデータには、それまでに求められた、それぞれの画像がどのクラスタに属するのかを表す情報や、画像全体の二分木構造を表す情報が含まれる。
【０１３４】
階層決定部９２は、クラスタリング部９１により取得されたクラスタリング結果である二分木構造を表す情報に基づいて、条件設定部２０２により設定された条件にあうクラスタを決定する。例えば、それぞれのクラスタがどの画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが階層決定部９２により取得され、画像全体の二分木構造を表すとともに、最終的なクラスタリングの結果を表すクラスタデータとしてコンテンツＤＢ３４に記録される。
【０１３５】
条件設定部２０２は、クラスタを規定する条件であるグループ化条件を設定し、階層決定部９２に出力する。グループ化条件は、あらかじめ用意される複数の条件の中からユーザにより選択されることによって設定されるようにしてもよいし、複数のクラスタを１つのクラスタに結合したり、１つのクラスタを複数のクラスタに分割したりするなどの、ユーザにより行われたクラスタの編集の履歴が管理されている場合、ユーザが好むと考えられるクラスタの粒度が編集の履歴を用いて学習により求められ、そのような粒度のクラスタを得ることができるような条件が動的に設定されるようにしてもよい。
【０１３６】
コンテンツＤＢ３４は、階層決定部９２から供給されたクラスタデータを、静止画像ＤＢ３１に記録されている画像データと対応付けて記録する。クラスタリング結果により表されるそれぞれのクラスタには、イベント名設定部２０３から供給されたイベント名も対応付けて記録される。このように、画像処理装置１においては、画像データ本体とクラスタデータは別々に管理されるようになされている。
【０１３７】
イベント名設定部２０３は、ユーザにより設定されたイベント名をコンテンツＤＢ３４に出力し、クラスタと対応付けて記録させる。また、イベント名設定部２０３は、ユーザによりイベント名が設定されない場合、コンテンツＤＢ３４に記録されているクラスタデータを用いてそれぞれのクラスタに属する画像を識別し、識別した画像の撮影日や撮影時間帯（午前、午後など）を含むイベント名をクラスタと対応付けて記録させる。
【０１３８】
ここで、演算部７１により行われる処理の詳細について説明する。
【０１３９】
例えば、１００枚の画像ｐ１乃至ｐ１００をクラスタリングの対象として、それらの画像をイベントクラスタＡ（グループ化条件Ａを満たす画像のクラスタ）と、サブイベントクラスタＢ（グループ化条件Ｂを満たす画像のクラスタ）に分ける処理について説明する 。
【０１４０】
はじめに、図１７乃至図２５を参照して、クラスタリング部９１により行われる二分木構造の作成について説明する。
【０１４１】
図１７乃至図２５において、「ｐ」の文字と数字がその中に書かれている１つの円は１枚の画像を表し、「ｎ」の文字と数字がその中に書かれている１つの円は１つのノードを表す。また、図の右方は、左方より時間的に後の方向であるものとする。なお、ここでは、画像ｐ１乃至ｐ１００を、撮影時刻順（画像ｐ１が一番古く、画像ｐ１００が一番新しいデータ）にクラスタリングの対象とする場合について説明する。画像ｐ１とｐ２をクラスタリングの対象とした後（二分木構造に組み込んだ後）で、画像ｐ１よりも新しく、画像ｐ２より古い画像ｐ３を新たにクラスタリングの対象とするように、撮影時刻順にではなく、それぞれの画像を対象として行われるクラスタリングについては後述する。
【０１４２】
クラスタリングがまだ行われていない状態で、最初の撮影により得られた画像ｐ１がツリーに挿入されたとき（クラスタリングの対象とされたとき）、初期の状態ではツリーのルートとなるノードが存在しないから、図１７に示されるように、画像ｐ１自身がルートノードとなる。
【０１４３】
画像ｐ１に続けて撮影された画像ｐ２がツリーに挿入されたとき、図１８に示されるように、ノードｎ１が新たに作られ、画像ｐ２の撮影時刻は画像ｐ１の撮影時刻より後であるから、ノードｎ１には、画像ｐ１が左の子ノードとして連結され、画像ｐ２が右の子ノードとして連結される。ノードｎ１は画像ｐ１に代えてルートノードとなる。
【０１４４】
ノードｎ１の最小時刻として画像ｐ１の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。ノードの時刻として、そのノードを親のノードとする２つの子ノードの撮影時刻の平均値（中間の時刻）が記録されるようにしてもよい。
【０１４５】
画像ｐ２に続けて撮影された画像ｐ３がツリーに挿入され、図１９に示されるように、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3が、画像ｐ２の撮影時刻と画像ｐ１の撮影時刻の時間間隔tdp1p2より小さいとき、図２０に示されるように、ノードｎ２が新たに作られ、ノードｎ２には、その左の子ノードとして画像ｐ２が連結され、右の子ノードとして画像ｐ３が連結される。また、ノードｎ２が、画像ｐ２の代わりに右の子ノードとしてノードｎ１に連結される。
【０１４６】
ノードｎ２の最小時刻として画像ｐ２の撮影時刻が記録され、最大時刻として画像ｐ３の撮影時刻が記録される。また、このとき、ノードｎ２の親のノードであるノードｎ１の最大時刻が画像ｐ３の撮影時刻で上書きされる。
【０１４７】
画像ｐ３に続けて撮影された画像ｐ４がツリーに挿入され、図２１に示されるように、画像ｐ４の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp3p4が、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3より大きく、かつ、画像ｐ４の撮影時刻とノードｎ２の最大時刻の時間間隔tdn2maxp4が、ノードｎ２の最小時刻と画像ｐ１の撮影時刻の時間間隔tdp1n2minより大きいとき、図２２に示されるように、ノードｎ３が新たにルートノードとして作られる。また、ノードｎ３には、その左の子ノードとしてノードｎ１が連結され、右の子ノードとして画像ｐ４が連結される。
【０１４８】
ノードｎ３の最小時刻としてノードｎ１の最小時刻が記録され、最大時刻として画像ｐ４の撮影時刻が記録される。
【０１４９】
画像ｐ４に続けて撮影された画像ｐ５がツリーに挿入され、図２３に示されるように、画像ｐ５の撮影時刻と画像ｐ４の撮影時刻の時間間隔tdp4p5より、画像ｐ４の撮影時刻とノードｎ１の最大時刻の時間間隔tdn1maxp4の方が大きいとき、図２４に示されるように、ノードｎ４が新たに作られる。また、ノードｎ４には、その左の子ノードとして画像ｐ４が連結され、右の子ノードとして画像ｐ５が連結される。さらに、ノードｎ４が、画像ｐ４の代わりに右の子ノードとしてノードｎ３に連結される。
【０１５０】
ノードｎ４の最小時刻として画像ｐ４の撮影時刻が記録され、最大時刻として画像ｐ５の撮影時刻が記録される。また、このとき、ノードｎ４の親のノードであるノードｎ３の最大時刻が画像ｐ５の撮影時刻で上書きされる。
【０１５１】
この時点で、画像ｐ１乃至ｐ５の５枚の画像を含むノードｎ１乃至ｎ４から二分木構造が形成された状態になる。
【０１５２】
それぞれのノードに含まれる画像は、それぞれのノードに直接に、または他のノードを介して間接的に連結される画像であるから、図２４に示されるようなツリーが作成されているとき、ノードｎ３に含まれる画像は画像ｐ１乃至ｐ５の５枚の画像となり、ノードｎ１に含まれる画像は画像ｐ１乃至ｐ３の３枚の画像となる。また、ノードｎ２に含まれる画像は画像ｐ２およびｐ３の２枚の画像となり、ノードｎ４に含まれる画像は画像ｐ４およびｐ５の２枚の画像となる。
【０１５３】
このように、画像が新たに挿入される毎に、撮影時刻の時間間隔のより小さい画像同士、または、撮影時刻と設定された時刻の時間間隔のより小さい画像とノードが、同じノードにぶらさがるように連結されていく。
【０１５４】
撮影が繰り返し行われ、画像ｐ６乃至ｐ１００がツリーに挿入されたときも同様にして処理が行われ、最終的に、ルートノードｎrootに画像ｐ１乃至ｐ１００が含まれる、図２５に示されるような二分木構造が得られる。
【０１５５】
次に、図２６乃至図３２を参照して、階層決定部９２により行われるグループ化条件に基づくクラスタリングについて説明する。
【０１５６】
階層決定部９２においては、二分木構造内のそれぞれのノードが注目され、ノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdが下式（１）により算出される。
【０１５７】
【数１】
【０１５８】
Ｎは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−１」で表される。tdnは、Ｎ個の時間間隔のうちの、時間的に先のものから見てｎ番目の時間間隔である。「￣」が付されたtdはノード内の時間間隔tdの平均値である。
【０１５９】
また、注目するノードを親のノードとする子ノード間の時間間隔の偏差dev（子ノード間の時間間隔と、撮影時刻の時間間隔の平均との差の絶対値）が下式（２）により算出される。
【０１６０】
【数２】
【０１６１】
Ｎは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−１」で表される。tdcは子ノード間の時間間隔である。「￣」が付されたtdはノード内の時間間隔tdの平均値である。なお、子ノード間の時間間隔とは、注目するノードを親のノードとする２つの子ノードのうちの時間的に先の子ノードに含まれる時間的に最後の画像の撮影時刻と、時間的に後の子ノードに含まれる時間的に最初の画像の撮影時刻の時間間隔である。具体例については後述する。
【０１６２】
さらに、式（２）により算出された偏差devの、式（１）により算出された標準偏差sdに対する比が、分割パラメータthとして、注目するノードに設定される。分割パラメータthは下式（３）で表され、注目するノードを親のノードとする子ノードを、それぞれ異なるクラスタに属するものとして分割するか否かを判断する基準となるパラメータである。
【０１６３】
【数３】
【０１６４】
ここで、上式により求められる値について図２６を参照して具体的に説明する。
【０１６５】
図２６は、クラスタリング部９１により作成された二分木構造全体のうちの一部の、図２４と同じ範囲の構造を示す図である。
【０１６６】
図２６において、td1は、画像ｐ１の撮影時刻と画像ｐ２の撮影時刻の時間間隔であり、td2は、画像ｐ２の撮影時刻と画像ｐ３の撮影時刻の時間間隔である。また、td3は、画像ｐ３の撮影時刻と画像ｐ４の撮影時刻の時間間隔であり、td4は、画像ｐ４の撮影時刻と画像ｐ５の撮影時刻の時間間隔である。
【０１６７】
例えば、図２６のうちのルートノードに最も近いノードであるノードｎ３が注目されている場合、はじめに、式（１）にそれぞれの値が代入され、標準偏差sdは下式（４）で表される。また、撮影時刻の時間間隔の平均値は下式（５）で表される。
【０１６８】
【数４】
【０１６９】
【数５】
【０１７０】
偏差devは下式（６）で表される。
【０１７１】
【数６】
【０１７２】
すなわち、注目するノードｎ３を親のノードとする２つの子ノードはノードｎ１とｎ４であり、そのうちの時間的に先のノードｎ１に含まれる時間的に最後の画像ｐ３の撮影時刻と、時間的に後のノードｎ４に含まれる時間的に最初の画像４の撮影時刻の時間間隔td3がノードｎ１とノードｎ４の時間間隔であり、それが、ノードｎ３に注目したときの偏差devの算出に用いられる。
【０１７３】
式（４）により算出された標準偏差sdと、式（６）により算出された偏差devから、ノードｎ３に注目したときの分割パラメータthが算出され、ノードｎ３に設定される。
【０１７４】
以上のようにして全てのノードに対する分割パラメータの設定が終了したとき、階層決定部９２においては、次に、グループ化条件としての閾値が設定される。
【０１７５】
例えば、グループ化条件Ａとして閾値ａが設定され、グループ化条件Ｂとして閾値ｂが設定された場合、「ａ＝３．０」、「ｂ＝２．６」などのように、「ａ＞ｂ」の条件を満たすときには、図２７に示されるように、「グループ化条件Ａにより規定されるクラスタ＞グループ化条件Ｂにより規定されるクラスタ」となる（グループ化条件Ａにより規定されるクラスタの中に、グループ化条件Ｂにより規定されるクラスタがいくつかできることになる）。
【０１７６】
図２７の例においては、対象となる画像全体が、グループ化条件Ａによりグループｇ1とｇ2の２つのクラスタに分けられ、グループ化条件Ｂによりグループｇ3乃至ｇ7の５つのクラスタに分けられている。
【０１７７】
すなわち、後述するように、設定されている分割パラメータの値が閾値より大きい場合に、その分割パラメータが設定されているノードの部分がクラスタの境界部分となるから、閾値が大きいほど、そのノードの部分はクラスタの境界部分となりにくく、従って、全体として見たときにクラスタの粒度は粗くなる。反対に、閾値が小さいほど、そのノードの部分はクラスタの境界部分となりやすく、従って、全体として見たときにクラスタの粒度は細かくなる。
【０１７８】
なお、ある画像の撮影時刻と、次に撮影された画像の撮影時刻の時間間隔が３０分以上ある場合（時間間隔td＞３０min）や１日以上ある場合（時間間隔td＞１day）、その時間間隔のある部分がクラスタの境界部分となるようなグループ化条件、いわば、１つのクラスタに含まれる画像の撮影時刻の時間間隔の上限を規定するようなグループ化条件が設定されるようにしてもよい。これにより、撮影時刻の時間間隔が３０分、あるいは１日以上ある画像同士はそれぞれ異なるクラスタに含まれる画像となる。
【０１７９】
グループ化条件としての閾値が設定された後、階層決定部９２においては、次に、設定された閾値と、上述したようにしてそれぞれのノードに設定された分割パラメータthに基づいてそれぞれのノードに分割フラグが設定される。
【０１８０】
例えば、分割パラメータthが、グループ化条件Ａとして設定された閾値ａを越えるノードには１の値のグループＡ分割フラグが設定され、閾値ａを越えないノードには０の値のグループＡ分割フラグが設定される。
【０１８１】
分割フラグとして１の値が設定されていることは、その分割フラグが設定されているノ ードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔より比較的大きいことを表す。反対に、分割フラグとして０の値が設定されていることは、その分割フラグが設定されているノードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔とあまり変わらないことを表す。
【０１８２】
グループＡ分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で（葉から根の方向に順に）注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループＡ分割フラグとして１の値が設定されているノードを境界として画像が区切られ、グループ化条件Ａによりクラスタが規定される。
【０１８３】
図２８はグループＡ分割フラグの設定の例を示す図である。
【０１８４】
図２８の例においては、ルートノードに最も近いノードであるノードｎ１０には、ノードｎ１１とｎ１２がそれぞれ左右の子ノードとして連結され、ノードｎ１１には、ノードｎ１３とｎ１４がそれぞれ左右の子ノードとして連結される。また、ノードｎ１２には、ノードｎ１５とｎ１６がそれぞれ左右の子ノードとして連結され、ノードｎ１４には、ノードｎ１７とｎ１８がそれぞれ左右の子ノードとして連結される。
【０１８５】
また、図２８の例においては、これらのノードのうちのノードｎ１０，ｎ１１，ｎ１２，ｎ１４のそれぞれにグループＡ分割フラグとして１の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。
【０１８６】
なお、図２８の右方に示されるように、ノードｎ１３は画像ｐ１乃至ｐ１７を含むノードであり、ノードｎ１７は画像ｐ１８乃至ｐ３０を含むノードである。また、ノードｎ１８は画像ｐ３１乃至ｐ６８を含むノードであり、ノードｎ１５は画像ｐ６９乃至ｐ９３を含むノードである。ノードｎ１６は画像ｐ９４乃至ｐ１００を含むノードである。
【０１８７】
従って、グループＡ分割フラグの値として１が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像ｐ１乃至ｐ１００は、図２９に示されるようなそれぞれのクラスタ（イベントクラスタＡ）に分けられる。
【０１８８】
すなわち、ノードｎ１３に含まれる画像ｐ１乃至ｐ１７からクラスタＡ1が構成され、ノードｎ１７に含まれる画像ｐ１８乃至ｐ３０からクラスタＡ2が構成される。
【０１８９】
また、ノードｎ１８に含まれる画像ｐ３１乃至ｐ６８からクラスタＡ3が構成され、ノードｎ１５に含まれる画像ｐ６９乃至ｐ９３からクラスタＡ4が構成される。さらに、ノードｎ１６に含まれる画像ｐ９４乃至ｐ１００からクラスタＡ5が構成される。
【０１９０】
以上のようにしてグループ化条件Ａに基づくクラスタリングが行われ、グループ化条件Ａにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Ａに基づくクラスタリング結果として取得される。
【０１９１】
グループ化条件Ａに基づくクラスタリングが行われたとき、同様にして、グループ化条件Ｂに基づくグループ分けが行われる。
【０１９２】
すなわち、階層決定部９２においては、分割パラメータthが、グループ化条件Ｂとして 設定された閾値ｂを越えるノードには１の値のグループＢ分割フラグが設定され、閾値ｂを越えないノードには０の値のグループＢ分割フラグが設定される。
【０１９３】
グループＢ分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループＢ分割フラグとして１の値が設定されているノードを境界として画像が区切られ、グループ化条件Ｂによりクラスタが規定される。
【０１９４】
図３０はグループＢ分割フラグの設定の例を示す図である。
【０１９５】
図３０の例においては、ルートノードに最も近いノードであるノードｎ１０には、ノードｎ１１が左の子ノードとして連結され、ノードｎ１１には、ノードｎ１３とｎ１４がそれぞれ左右の子ノードとして連結される。また、ノードｎ１４には、ノードｎ１７とｎ１８がそれぞれ左右の子ノードとして連結され、ノードｎ１７には、ノードｎ１９とｎ２０がそれぞれ左右の子ノードとして連結される。さらに、ノードｎ１８には、ノードｎ２１とｎ２２がそれぞれ左右の子ノードとして連結され、ノードｎ１９には、ノードｎ２３とｎ２４がそれぞれ左右の子ノードとして連結される。
【０１９６】
また、図３０の例においては、これらのノードのうちのノードｎ１０，ｎ１１，ｎ１４，ｎ１７，ｎ１８，ｎ１９のそれぞれにグループＢ分割フラグとして１の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。
【０１９７】
なお、図３０の右側に示されるように、ノードｎ１３は画像ｐ１乃至ｐ１７を含むノードであり、ノードｎ２３は画像ｐ１８乃至ｐ２１を含むノードである。また、ノードｎ２４は画像ｐ２２乃至ｐ２６を含むノードであり、ノードｎ２０は画像ｐ２７乃至ｐ３０を含むノードである。ノードｎ２１は画像ｐ３１乃至ｐ５７を含むノードであり、ノードｎ２２は画像ｐ５８乃至ｐ６８を含むノードである。
【０１９８】
従って、グループＢ分割フラグの値として１が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像ｐ１乃至ｐ１００のうちの画像ｐ１乃至ｐ６８は、図３１に示されるようなそれぞれのクラスタ（サブイベントクラスタＢ）に分けられる。
【０１９９】
すなわち、ノードｎ１３に含まれる画像ｐ１乃至ｐ１７からクラスタＢ1が構成され、ノードｎ２３に含まれる画像ｐ１８乃至ｐ２１からクラスタＢ2が構成される。
【０２００】
また、ノードｎ２４に含まれる画像ｐ２２乃至ｐ２６からクラスタＢ3が構成され、ノードｎ２０に含まれる画像ｐ２７乃至ｐ３０からクラスタＢ4が構成される。さらに、ノードｎ２１に含まれる画像ｐ３１乃至ｐ５７からクラスタＢ5が構成され、ノードｎ２２に含まれる画像ｐ５８乃至ｐ６８からクラスタＢ6が構成される。
【０２０１】
以上のようにしてグループ化条件Ｂに基づくクラスタリングが行われ、グループ化条件Ｂにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Ｂに基づくクラスタリング結果として取得される。取得されたクラスタリング結果はコンテンツＤＢ３４に出力され、記録される。
【０２０２】
図３２は、グループ化条件Ａに基づくクラスタリング結果（図２９）と、グループ化条件Ｂに基づくクラスタリング結果（図３１）を重ねて示す図である。
【０２０３】
図３２に示されるように、複数のグループ化条件に基づいてグループ化が行われた場合、クラスタリング結果のクラスタは入れ子関係を有する。
【０２０４】
図３２の例においては、クラスタＡ1とクラスタＢ1は同じ範囲の画像を含むクラスタであり、クラスタＡ2にはクラスタＢ2乃至Ｂ4が含まれる。また、クラスタＡ3にはクラスタＢ5とＢ6が含まれる。
【０２０５】
図３２に示されるような関係をそれぞれのクラスタが有する場合、例えば、クラスタＡ2を表すフォルダの下位の階層のフォルダとして、クラスタＢ2乃至Ｂ4を表すフォルダがそれぞれ表示され、クラスタＡ3を表すフォルダの下位の階層のフォルダとして、クラスタＢ5とＢ6を表すフォルダがそれぞれ表示される。
【０２０６】
以上のように、演算部７１においては、階層的なクラスタリングと、分散に基づくクラスタリング（画像全体の撮影間隔の平均を基準としたクラスタリング）が行われる。これにより、単に撮影間隔の近い画像同士が同じクラスタに含まれるようにクラスタリングが行われるのではなく、時間間隔が揃っている画像同士が同じクラスタに含まれるようにクラスタリングが行われることになる。
【０２０７】
従って、撮影間隔の近い画像同士が同じクラスタに含まれるようにクラスタリングを行う場合に較べて、ユーザ個人の主観に沿った形でクラスタリングを行うことが可能となる。
【０２０８】
ユーザが欲しいイベントの単位を見分け、そのイベント単位でクラスタを作成するためには、撮影間隔そのものではなく、撮影の頻度に注目する必要があり、その頻度が変わった部分をクラスタの境界部分とすることで、得られるクラスタは、よりイベントの単位に近づくことになる。撮影の頻度を知るためには、それまで撮った画像全体（クラスタリングの対象の画像全体）を統計的に分析することが必要となり、そのための手法として、上述したような階層的なクラスタリングと、分散に基づくクラスタリングが採用される。
【０２０９】
また、それぞれの画像が階層構造を有する形で管理されていることから、グループ化条件としての閾値を変更することによって、複数のクラスタを１つのクラスタに結合したり、１つのクラスタを複数のクラスタに分割したりするなどの、クラスタの再構成をユーザは容易に行うことができる。上述したように、閾値を高くすることによって、クラスタの粒度を粗くすること、すなわち、複数のクラスタを１つのクラスタに結合することができ、反対に、閾値を低くすることによって、クラスタの粒度を細かくすること、すなわち、１つのクラスタを複数のクラスタに分割することができる。
【０２１０】
これにより、例えば、スライドショー再生によって画像を閲覧しているときに、ビデオでいうチャプタージャンプと同様に、イベント単位（イベントクラスタ単位）でジャンプしたり、イベント内をさらにサブイベントに分けてサブイベント単位（サブイベントクラスタ単位）でジャンプしたりすることが可能となる。
【０２１１】
さらに、画像全体の撮影間隔の平均を基準としてクラスタリングが行われることにより、撮影スタイルの個人差を考慮することなくグループ化条件を設定することが可能となる。すなわち、ユーザが、あまり頻繁に撮らない撮影スタイルの人であっても、頻繁に撮る撮影スタイルの人であっても、個別のグループ化条件を設定しておく必要がない。
【０２１２】
例えば、３０分未満の間に撮影された画像を同じクラスタの画像とする場合、先の画像を撮影してから３０分以上の間隔が空いてしまうと、先に撮影した画像と次に撮影した画 像はそれぞれ別のクラスタの画像とされることから、ユーザが、頻繁に撮影しない撮影スタイルの人であるときには（３０分以上の間隔を空けて撮影するスタイルの人であるときには）、旅行中に撮った画像が１枚ずつ別のクラスタの画像とされてしまったりすることになる。
【０２１３】
一方、１日の間に撮影された画像を同じクラスタの画像とするように、クラスタリングの基準となる時間間隔の設定を長くすると、午前と午後で全く違うイベントで撮影を行ったにもかかわらず、撮影した画像が全て同じクラスタの画像とされてしまったりすることになる。画像全体の撮影間隔の平均を基準としてクラスタリングが行われることにより、ユーザ個人の撮影スタイルに応じた形でのクラスタリングが可能となるから、このようなことが回避される。
【０２１４】
次に、図３３のフローチャートを参照して、クラスタデータを生成する図１６に示した画像処理装置１の処理について説明する。即ち、図３のステップＳ１２において実行されるクラスタリングの処理の詳細について説明する。
【０２１５】
ステップ１１（図３）において、タグ読み取り部２０１により、静止画像ＤＢ３１のクラスタリングの対象となっているフォルダ内の静止画像に関連付けられているEXIFタグが読み出される。必要に応じ、動画像ＤＢ３２に記憶されている動画像の撮影日時に関する情報も読み出される。
【０２１６】
ステップＳ３１において、タグ読み取り部２０１は、撮影された画像のEXIFタグから撮影時刻を取得し、取得した撮影時刻を演算部７１に出力する。すなわち、この例は、１枚の画像が撮影される毎にクラスタリングが行われる場合の例を示している。
【０２１７】
ステップＳ３２において、演算部７１のクラスタリング部９１は、タグ読み取り部２０１から供給された撮影時刻と、コンテンツＤＢ３４に記録されているクラスタデータに基づいて、クラスタリングの対象となる画像全体からなる二分木構造を図１７乃至図２５を参照して説明したようにして作成する。
【０２１８】
ステップＳ３３において、階層決定部９２は、二分木構造の所定の階層にある１つのノードに注目し、ステップＳ３４に進み、注目するノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdを算出する。
【０２１９】
ステップＳ３５において、階層決定部９２は、注目するノードを親のノードとする子ノード間の時間間隔の偏差devを算出する。
【０２２０】
ステップＳ３６において、階層決定部９２は、ステップＳ３５で算出した偏差devの、ステップＳ３４で算出した標準偏差sdに対する比を算出し、算出した比を分割パラメータthとして、いま注目しているノードに記録する。
【０２２１】
ステップＳ３７において、階層決定部９２は、二分木構造の全てのノードに注目したか否かを判定し、注目していないと判定した場合、ステップＳ３３に戻り、注目するノードを切り替えてそれ以降の処理を繰り返す。
【０２２２】
一方、階層決定部９２は、ステップＳ３７において、二分木構成の全てのノードに注目したと判定した場合、ステップＳ３８に進み、グループ化条件としての閾値を設定する。同じ画像を対象として異なる粒度のクラスタを求める場合、ここでは、複数のグループ化条件が設定される。
【０２２３】
ステップＳ３９において、階層決定部９２は、ステップＳ３８で設定したグループ化条件としての閾値と、それぞれのノードに設定された分割パラメータthを比較し、例えば、分割パラメータthが閾値を越えるノードには１の値の分割フラグを設定し、閾値を越えないノードには０の値の分割フラグを設定する。グループ化条件が複数設定されている場合、それぞれのグループ化条件について分割パラメータの設定が行われる。
【０２２４】
ステップＳ４０において、階層決定部９２は、二分木構造のそれぞれのノードに昇順で注目し、分割フラグに１の値が設定されているノードを境界としてクラスタを分け、それぞれのクラスタの範囲を表すクラスタデータを作成する。
【０２２５】
ステップＳ４１において、階層決定部９２は、作成したクラスタデータをコンテンツＤＢ３４に保存させ、処理を終了させる。
【０２２６】
このようにしてクラスタリングが行われる。
【０２２７】
このようなクラスタリングは、配置テンプレートとして用意されている配置テンプレートのうち、最大の枚数を配置する配置テンプレートに依存した、最終的な結果が得られるように行われる。すなわち、、この場合、図９に示したような５枚の画像を配置する配置テンプレートが、最大の枚数を配置する配置テンプレートであるので、クラスタリングの結果、１つのグループ内に含まれる画像の枚数が５枚以下になるように、上記したクラスタリングの処理が行われる。
【０２２８】
［配置テンプレートの選択、設定に関わる処理について］
次に、クラスタリングの結果に基づき配置テンプレートが選択される際の処理について説明する。すなわち、図３のステップＳ１４において実行される背景テンプレート設定処理の詳細について説明を加える。
【０２２９】
背景テンプレートについては、図５乃至図９を参照して説明したように、１乃至５枚の画像が、１ページの中の所定の位置に、所定の大きさで配置される際のテンプレートである。
【０２３０】
図３４は、ステップＳ１４において実行される背景テンプレート設定処理の詳細について説明するフローチャートである。ステップＳ６１において、テンプレート設定部７２（図２）は、クラスタリングされた静止画像の数に応じて、配置テンプレート群を設定する。
【０２３１】
クラスタリングの処理が実行されたことにより、例えば、図３５に示したようなグループ分けがされたとする。グループ１には、３月１日に撮影された３枚の画像が含まれ、グループ２には、３月２日に撮影された２枚の画像が含まれ、グループ３には、３月３日に撮影された３枚の画像が含まれ、グループ４には、３月３日に撮影された２枚の画像が含まれ、グループ５には、３月４日に撮影された５枚の画像が含まれ、グループ６には、３月４日に撮影された１枚の画像と３月５日に撮影された４枚の画像が含まる。
【０２３２】
上記したクラスタリングの手法によれば、例えば、３月３日に撮影された画像は、５枚であるが、グループ３とグループ４に分けられる。このように、同日に撮影された画像群であっても、撮影された時間が離れていると、異なるグループに分けられる。撮影された時間が離れていると、異なる場面（異なるイベント）で撮影された可能性が高く、また、仮に同一のイベントであっても、異なるシーンである可能性が高い。
【０２３３】
また、グループ６には、３月４日に撮影された１枚の画像と３月５日に撮影された４枚の画像が含まれる。このように、異なる日付であっても、時間的に一連性があると判断されるようなときには、同一のグループに分類される。撮影時間に一連性があるときには、同じ場面（同じイベント、同じシーン）で撮影された画像である可能性が高い。
【０２３４】
同じグループに分類された画像は、同一のページに表示される。同一のページに表示される画像には、関連性、一連性がある方がよい。上記したように、関連性があると思われる画像が、同じグループに分類されるため、同一のページに表示される画像は関連性が高い画像同士となる。
【０２３５】
図３５に示した例は、所定のフォルダに、３月１日から３月５日までに撮影された画像が管理されている場合であるため、１つのグループに含まれる画像は、比較的短い時間内に撮影された画像とされている。例えば、所定のフォルダに、１ヶ月毎に１枚の写真が撮影され、１２枚含まれていたような場合であり、上記したクラスタリングの手法でクラスタリングが行われた場合、そのクラスタリングのときの条件にもよるが、４つのグループが作成され、１つのグループに４枚の画像が含まれるように分類される。すなわち、季節毎に画像が分類される。
【０２３６】
このように、１グループに含まれる画像の撮影時刻は、比較的短い時間内である場合もあるし、離れている時間内である場合もある。しかしながら、１グループ内の画像は、何らかの関連性、一連性があるものとされる。
【０２３７】
このように、クラスタリングが行われた後の各グループに分類された画像同士は、関連性が高いため、同一のページに表示されるようにする。同一のページに表示させるようにするために、所定の１つのグループ内で管理されている画像の枚数により配置テンプレート群が選択される。
【０２３８】
例えば、図３５を参照するに、グループ１は、３枚の画像を含むため、グループ１に対して設定される配置テンプレート群は、３枚の画像が配置される配置テンプレート１３３−１乃至１３３−３（図７）のうちのいずれか１枚の配置テンプレート１３３が設定される。
【０２３９】
また例えば、グループ５は、５枚の画像を含むため、グループ５に対して設定される配置テンプレート群は、５枚の画像が配置される配置テンプレート１３５−１乃至１３５−３（図９）のうちのいずれか１枚の配置テンプレート１３５が設定される。
【０２４０】
このように、処理対象とされているグループに含まれる画像の枚数により、配置テンプレート群が選択され、その配置テンプレート群から、さらに１枚の配置テンプレートが選択され、設定される。
【０２４１】
図９を再度参照するに、５枚の画像を配置するための配置テンプレートとして、配置テンプレート１３５−１乃至１３５−３という３枚の配置テンプレートが用意されている。処理対象とされるグループ内に、５枚の画像が含まれる場合、これらの配置テンプレート１３５−１乃至１３５−３から１枚の配置テンプレートが選択されるが、その選択は、所定の条件により行われる。
【０２４２】
例えば、ランダムに選択されることが考えられる。ランダムに選択される場合であっても、同一の配置テンプレートが連続して選択されることがないように制御されると、ユーザにバラエティに富んだアルバムを提供することが可能となる。
【０２４３】
また例えば、順番に選択されるようにしても良い。例えば、配置テンプレート１３５−１が選択された後は、配置テンプレート１３５−２が選択されるといったように、所定の順序に従って選択されるようにしても良い。
【０２４４】
また、以下に説明するように、グループ内の画像同士の撮影時刻に基づいてテンプレートが選択されるようにしても良い。ステップＳ１４（図３）において実行される配置テンプレート設定処理の他の処理について、図３６のフローチャートを参照して説明する。
【０２４５】
テンプレート設定部７２は、ステップＳ７１において、クラスタリングされた静止画像の数と、撮影間隔に応じて配置テンプレートを設定する。
【０２４６】
クラスタリングの処理が施されることにより、例えば、図３５に示したように、複数のグループに分類され、それぞれのグループ内に１枚以上の画像が含まれる状態とされる。グループ内の画像が撮影された時刻を比較すると、上述したように、一連性のある時間内に撮影されている。
【０２４７】
例えば、図３５を再度参照するに、グループ１には３枚の画像が含まれるが、その３枚の画像の撮影時刻は、それぞれ、３月１日の“０：１０”、“０：１２”、および“０：１３”である。また、グループ３にも３枚の画像が含まれるが、その３枚の画像の撮影時刻は、それぞれ、３月３日の“３：０３”、“３：４３”、および“４：０３”である。
【０２４８】
グループ１に含まれる３枚の画像は、３分間の間に撮影された画像であるが、グループ３に含まれる３枚の画像は、１時間の間に撮影された画像である。このように、１つのグループに含まれる画像の数が同じであっても、最も古い撮影時刻と最も新しい撮影時刻との差分値は異なる。換言すれば、１つのグループに含まれる画像の数が同じであっても、そのグループに含まれる画像が撮影された時間の間隔（撮影間隔）は異なる。そこで、画像同士の撮影間隔に応じて、配置テンプレートが選択されるようにする。
【０２４９】
ここでは、画像同士の撮影間隔が短いときには、そのことをユーザに認識させるような（直感的に理解できるような）、画像の配置が行われる配置テンプレートが選択され、画像同士の撮影間隔が長いときには、そのことをユーザに認識させるような（直感的に理解できるような）、画像の配置が行われる配置テンプレートが選択されるようにする。
【０２５０】
このような選択に関し、図３７、図３８を参照し、具体的な例を挙げて説明する。図３７は、３枚の画像が配置されるときの配置テンプレートを示し、図３８は、５枚の画像が配置されるときの配置テンプレートを示す。なお、図３７に示した３枚の画像用の配置テンプレートは、図７に示した３枚の画像用の背景テンプレート１３３と異なる例を示し、図３８に示した５枚の画像用の配置テンプレートは、図９に示した５枚の画像用の背景テンプレート１３５と異なる例を示している。
【０２５１】
図３７に示した配置テンプレート２３１は、配置テンプレート２３２よりも撮影間隔が短いときに設定される配置テンプレートであり、配置テンプレート２３２は、配置テンプレート２３３よりも撮影間隔が短いときに設定される配置テンプレートである。
【０２５２】
すなわちこの場合、配置テンプレート２３１が最も撮影間隔が短いと判断されるときに設定される配置テンプレートである。図３７に示したように、配置テンプレート２３１は、撮影間隔が短いことを表現するために、それぞれの画像が重なるような形で画像が配置されるようにされている。このように、画像自体を近くに配置することで、撮影間隔が短いことをユーザに認識させるような表示とすることが可能となる。
【０２５３】
一方この場合、配置テンプレート２３３が最も撮影間隔が長いと判断されるときに設定される配置テンプレートであるが、図３７に示したように、撮影間隔が長いことを表現するために、各画像が重なることなく、離れた位置に、かつ、直線上に並ぶことがないような形で画像が配置されるようにされている。このように、画像自体を離して配置することで、撮影間隔が長いことをユーザに認識させるような表示とすることが可能となる。
【０２５４】
図３８に示した５枚の画像が配置される配置テンプレート２３４，２３５，２３６も同様である。すなわちこの場合、配置テンプレート２３４が最も撮影間隔が短いと判断されるときに設定される配置テンプレートであり、配置テンプレート２３６が最も撮影間隔が長いと判断されるときに設定される配置テンプレートである。
【０２５５】
図３８に示したように、配置テンプレート２３４は、配置テンプレート２３１（図３７）と同じように、撮影間隔が短いことを表現するために、５枚の画像が、それぞれ重なりあって配置されるようにするためのテンプレートである。また、配置テンプレート２３６は、配置テンプレート２３４（図３７）と同じように、撮影間隔が長いことを表現するために、５枚の画像が、それぞれ重なりあうことなく、離れた位置に、かつ、直線状に並ぶことなく配置されるようにするためのテンプレートである。
【０２５６】
このように、画像の配置により、画像同士の撮影間隔を表現するようにし、撮影間隔により、配置テンプレートが選択されるようにする。
【０２５７】
再度、図３７を参照して説明する。図３７に示したように、配置テンプレート２３１，２３２，２３３のうちの１枚の配置テンプレートを選択するために、閾値Ａと閾値Ｂが設けられており、撮影間隔が閾値Ａ以下であるときには配置テンプレート２３１が選択され、撮影間隔が閾値Ａ以上であり閾値Ｂ以下であるときには配置テンプレート２３２が選択され、撮影間隔が閾値Ｂ以上であるときには配置テンプレート２３３が選択される。
【０２５８】
このように、撮影時間に関する閾値を設け、その閾値と比較することにより、配置テンプレートが選択される。
【０２５９】
同様に、図３８に示した５枚の画像を配置するための配置テンプレート２３４，２３５，２３６のうちの１枚の配置テンプレートを選択するために、閾値Ｃと閾値Ｄが設けられている。この場合、撮影間隔が閾値Ｃ以下であるときには配置テンプレート２３４が選択され、撮影間隔が閾値Ｃ以上であり閾値Ｄ以下であるときには配置テンプレート２３５が選択され、撮影間隔が閾値Ｄ以上であるときには配置テンプレート２３６が選択される。
【０２６０】
閾値Ａ、閾値Ｂ、閾値Ｃ、閾値Ｄは、それぞれ異なる値とされる。または、同一の値としても良い閾値は、同一の値とされる。
【０２６１】
例えば、閾値Ａと閾値Ｃは、共に、撮影間隔が最も短いと判断されるときの配置テンプレート２３１（２３４）を選択するか否かの判断を行うときに用いられる閾値であるので、同一の値としても良いし、選択する配置テンプレートが異なるので異なる値としても良い。この閾値は、設計の段階などで、または、ユーザの設定により、適切な配置テンプレートが適切に選択されるような値に設定されればよい。
【０２６２】
このように閾値と撮影間隔が比較されることにより、配置テンプレートが設定される。閾値と撮影間隔が比較されるときに用いられる撮影間隔の値は、処理対象とされているグループ内の画像の撮影時刻のうち、最も古い撮影時刻と最も新しい撮影時刻との差分が演算され、その差分値とされる。
【０２６３】
または、処理対象とされているグループ内の画像の撮影時刻を、時刻順に並べたときに、隣り合う時刻の差分を演算し、その差分の平均値をさらに演算し、その演算された平均値が撮影間隔の値として用いられるようにしても良い。
【０２６４】
または、処理対象とされているグループ内の画像の撮影時刻を、時刻順に並べたときに、隣り合う時刻の差分を演算し、その差分の最も小さい値を撮影間隔の値とするか、最も大きな値を撮影間隔の値として用いられるようにしても良い。
【０２６５】
勿論、その他の方法により、閾値と比較される撮影間隔の値が決定されるようにしても良い。
【０２６６】
また、１つの閾値に注目したとき、その閾値は、固定値とされていても良いし、可変値とされていても良い。例えば、閾値Ａは、固定値とされ、常に、同じ値が設定されているようにしても良い。または閾値Ａは、可変値とされ、１つのフォルダ内の画像が処理される毎に設定されるような値としても良い。
【０２６７】
閾値を可変値とした場合、例えば、１つのフォルダ内の画像が、例えば、図３５に示したように複数のグループに分類された時点で、閾値が設定されるようにしても良い。
【０２６８】
閾値を固定とした場合、例えば、１年間に撮影された画像を分類したときには、各グループ内の画像の撮影時刻は比較的長い時間となる可能性が高く、そのために、撮影間隔が長いときに選択される配置テンプレート２３３や配置テンプレート２３６が選択される可能性が高くなる。
【０２６９】
連続して同じ配置テンプレートが選択されることにより、バラエティに富んだページ構成を行うことができなくなってしまう可能性がある。また、連続して同じ配置テンプレートが選択されることは、複数の配置テンプレートを用意する意味が無くってしまい、上記したような複数の配置テンプレートを用意することにより得られる効果を得られなく名手しまう。
【０２７０】
よって、このようなことがないように、閾値を固定値としたような場合であっても、処理対象とされているフォルダ内の画像の撮影間隔に応じて、何らかの処理が加えられるほうが好ましい。
【０２７１】
また閾値を可変値とした場合、分類された複数のグループ毎に、最も古い撮影時刻と最も新しい撮影時刻の差分が演算され、そのグループ毎の差分が用いられて、閾値が決定されるようにしても良い。このようにすれば、例えば、図３５に示したように、５日間の間に撮影された画像を分類したときと、１年間に撮影された画像を分類したとき（不図示）とでは、異なる閾値が用いられることになり、より的確な配置テンプレートの設定が行えるようになる。
【０２７２】
すなわち、換言すれば、閾値を可変値とすることで、処理対象とされている画像群が、短期間に撮影された画像群のときと、長期間に撮影された画像群のときとで、同じような配置テンプレートの設定が行われるようにすることができる。
【０２７３】
このように、図３６のフローチャートにおけるステップＳ７１の処理は、撮影間隔と閾値が比較されることにより行われる。ステップＳ７１における処理の詳細は、上記したが、再度図３９のフローチャートを参照し、簡便に説明を加える。
【０２７４】
ステップＳ９１において、処理対象とされているグループで管理されている画像の枚数が把握され、その枚数を配置する配置テンプレート群が選択される。例えば、処理対象とされているグループに、４枚の画像が含まれている場合、配置テンプレート１３４−１乃至１３４−３（図８）を含む配置テンプレート群が選択される。
【０２７５】
ステップＳ９２において、処理対象とされているグループの撮影間隔が算出される。撮影間隔には、上述したように、差分や平均値などが算出されることにより算出された値が用いられる。
【０２７６】
ステップＳ９３において、ステップＳ９１において選択された配置テンプレート群に含まれる複数の配置テンプレートから、１枚の配置テンプレートが選択される。その選択は、上述したように、撮影間隔と閾値が比較されることにより行われる。そして、その選択された配置テンプレートが、処理対象とされているグループに対する配置テンプレートとして設定される。
【０２７７】
ステップＳ９３における処理は、上述したように、撮影間隔が設定されている閾値以上であるか否かなどが判断されることにより行われる。また、閾値が可変値とされているときには、例えば、ステップＳ９２とステップＳ９３の間の処理として、閾値を設定する処理が実行される。
【０２７８】
このような処理が行われることにより、例えば、図３５に示した各グループに対する配置テンプレートは、図４０に示したように設定される。図４０に示した例は、３枚の画像が配置される配置テンプレート群として、図３７に示した配置テンプレート２３１乃至２３３が用意され、５枚の画像が配置される配置テンプレート群として、図３８に示した配置テンプレート２３４乃至２３６が用意されている状態である。なお、２枚の画像が配置される配置テンプレート群の図示および説明は省略する。
【０２７９】
図４０に示したように、グループ１は、３枚の画像を含むため、図３７に示した配置テンプレート群が選択される。そしてグループ１内の画像同士の撮影間隔は、閾値Ａ以下であると判断され、その結果として、配置テンプレート２３１が設定される。
【０２８０】
グループ３は、３枚の画像を含むため、図３７に示した配置テンプレート群が選択される。そしてグループ３内の画像同士の撮影間隔は、閾値Ａ以上であり、閾値Ｂ以下であると判断され、その結果として、配置テンプレート２３２が設定される。
【０２８１】
グループ５は、５枚の画像を含むため、図３８に示した配置テンプレート群が選択される。そしてグループ４内の画像同士の撮影間隔は、閾値Ｃ以上であり閾値Ｄ以下であると判断され、その結果として、配置テンプレート２３５が設定される。
【０２８２】
グループ６は、５枚の画像を含むため、図３８に示した配置テンプレート群が選択される。そしてグループ５内の画像同士の撮影間隔は、閾値Ｃ以下であると判断され、その結果として、配置テンプレート２３４が設定される。
【０２８３】
このようにして、配置テンプレートが設定されるため、ユーザに、同一の画像の配置が続くような単調なアルバムが提供されることを防ぐことができ、バラエティに豊かな画像配置のアルバムを提供することが可能となる。
【０２８４】
［画像の貼り付けの処理について］
このようにして配置テンプレートが設定されると、その配置テンプレートに基づいて、グループ内の画像の貼り付けが行われる。すなわち、図３のフローチャートにおけるステップＳ１５において、画像の貼り付け処理が実行される。このステップＳ１５において実行される画像の貼り付け処理について説明を加える。
【０２８５】
ここで再度、配置テンプレートについて説明を加える。図４１に、配置テンプレート３０１と配置テンプレート３０２を示す。配置テンプレート３０１と配置テンプレート３０２は、共に、２枚の画像が貼り付けられるときの配置テンプレートである。配置テンプレート３０１と配置テンプレート３０２の違いは、配置テンプレート３０１のほうは、貼り付けられる画像同士が重なり合うことなく画像が配置される配置テンプレートであるが、配置テンプレート３０２のほうは、貼り付けられる画像同士の一部が重なり合うように画像が配置され配置テンプレートであることである。
【０２８６】
配置テンプレート３０１や配置テンプレート３０２において、１枚の画像が表示される領域を表示領域と記述する。配置テンプレート３０１において、表示領域３１１と表示領域３１２は、共に四角形である。グループ内に管理されている画像（静止画像ＤＢ３１に記録されている静止画像）も、通常四角形である。よって、表示領域３１１（３１２）の形と、表示される画像の形（画像の枠の形）は一致していることになる。
【０２８７】
配置テンプレート３０２において、表示領域３２１は四角形であるが、表示領域３２２は六角形である。この場合、表示領域３２２の形と、貼り付けられる静止画像の形は異なることになる。このような場合であっても、貼り付けられる静止画像が、表示領域３２２の形に合わせて六角形に加工されてから貼り付けられるのではなく、四角形の静止画像が表示領域３２２内に貼り付けられ、表示される。
【０２８８】
図４１に点線に示した四角形（表示領域３２２と重なる部分は実線で図示してある）は、画像が貼り付けられる領域である。以下、画像が貼り付けられる領域を貼付領域と記述する。
【０２８９】
図４１に示した、表示領域３１１と貼付領域４１１、表示領域３１２と貼付領域４１２、表示領域３２１と貼付領域４２１は、それぞれ同じ形であり、同じ大きさとされている。よって、それらの領域はそれぞれ重なっているので、図４１では表示領域を表す実線しか記載されていない。
【０２９０】
しかしながら、表示領域３２２と貼付領域４２２は、上記したように表示領域３２２が六角形であるのに対し、貼付領域４２２は四角形である。配置テンプレートに貼り付けられる静止画像は、貼付領域の大きさ（この大きさについての定義などの詳細は後述するが、アスペクト比に基づく大きさである）に合わせて切り出される。
【０２９１】
さらに、図４２を参照して表示領域と貼付領域について説明を加える。図４２に示した配置テンプレート３０３には、表示領域として、ハート型をした表示領域３３１と楕円形をした表示領域３３２が設けられている。上記したように、例えば、ハート型の表示領域３１１であっても、貼付領域４３１は、四角形である。そして、表示領域３３１のハート型に合わせて、表示される静止画像が切り出されるわけではなく、貼付領域４３１の形に合わせて静止画像が切り出される。
【０２９２】
同様に、楕円形の表示領域３３２であっても、貼付領域４３２は四角形であり、切り出される静止画像は、貼付領域４３２と同じ形の四角形である。
【０２９３】
このように、例えば、表示領域３３１と貼付領域４３１のように形が異なる場合、貼付領域４３１の形で画像が切り出され、その切り出された画像のうち、表示領域３３１以外の部分がマスキング処理されることにより、表示領域３３１内だけに画像が表示されるように加工される。
【０２９４】
さらに図４３を参照して説明するに、表示領域３４１が、背景テンプレート３０４上で斜めに設けられているような領域である場合、その表示領域３４１を含み、四角形の領域が貼付領域４４１とされる。表示領域３４１は、背景テンプレート３０４に対して斜めに配置されているが、形は四角形である。このように、表示領域３４１の形が四角形であっても、斜めに配置されているような場合には、貼付領域４４１の画枠で画像が切り出され、表示領域３４１以外の部分がマスキング処理されることにより、ユーザ側にはあたかも、斜めに画像が貼り付けられたかのようなページが提供される。
【０２９５】
なお、図４３に示したように斜めに配置された表示領域３４１に画像を表示させるとき、表示領域３４１と同じ貼付領域４４１を設けるようにしても良い。仮に、表示領域３４１と貼付領域４４１を同一とした場合、貼り付けられる画像を斜めの画像に画像変換する必要がある。画像変換を行うには、多大な処理能力が必要とされるため、図４３に示したような配置テンプレート３０４が設定されたページだけ、表示が遅くなるといった不都合が生じる可能性がある。
【０２９６】
そのような画像変換を行わなくても、斜めに画像が貼り付けられたようなページをユーザに提供するには、上記したように、表示領域３４１を含む大きさで四角形の貼付領域４４１で、画像を切り出し、その切り出された画像をマスキング処理して、表示領域３４１内だけ画像が表示されるようにすればよい。このようにすれば、他の配置テンプレート、例えば、配置テンプレート３０１（図４１）が設定されたページのときと同様の処理で、ページの表示に関わる処理を実行することが可能であるので、多大な処理能力を必要とせずに処理を行うことが可能となる。
【０２９７】
このように、表示領域と貼付領域という２つの異なる領域の概念を用いて処理を行うことで、画像表示に関わる処理の能力を低減させることが可能となると共に、ユーザに提供される画像に変化を持たせる（例えば、図４２に示すようなハート型の画像を提供する）ことが可能となる。
【０２９８】
このように、表示領域の形にかかわらず貼付領域は四角形とされている。
【０２９９】
表示領域や貼付領域は、配置テンプレート内で固定の大きさとされている。貼付領域が所定の大きさとされているため、その貼付領域に貼り付ける画像が貼付領域と同じ大きさでなかった場合、何らかの加工が必要とされる。この加工について説明を加える。なお、上記した説明において、“加工”とは“画像の切り出し”などと記述した処理のことである。
【０３００】
静止画像ＤＢ３１（図２）に記憶されている静止画像は、図４４に示すように、複数のアスペクト比を有する画像を含んでいる。図４４に示した例においては、画像５１１のアスペクトは“１６：９”であり、画像５１２のアスペクトは“３：２”であり、画像５１３のアスペクトは“４：３”である。図示はしていないが、ユーザが画像を加工したりすることにより、さらに他のアスペクト比を有する画像もある。このように、静止画像ＤＢ３１（図２）に記録されている静止画像のアスペクト比はさまざまあると考えられる。
【０３０１】
また、画像は、横長の画像と縦長の画像とがある。例えば、図４５に示すように、画像５２１と画像５２２は、共にアスペクト比が“１６：９”であっても、画像５２１は、横長の画像であり、画像５２２は縦長の画像である。このように静止画像ＤＢ３１（図２）に記録されている静止画像には、横長の画像と縦長の画像（方向の異なる画像と適宜記述する）がある。
【０３０２】
このようなアスペクト比や方向が異なる画像から、貼付領域に合う大きさの画像が切り出される。
【０３０３】
図４６を参照して画像の切り出しについて説明する。図４６の上図に示したように、アスペクト比が１６：９の画像５１１から、貼付領域４１１の形で最大の大きさとなる画像を切り出した場合、画像５１１の上側の一部と下側の一部が切れた状態の画像が切り出される。
【０３０４】
“画像５１１から、貼付領域４１１の形で最大の大きさとなる画像を切り出す”とは、貼付領域４１１のアスペクト比を維持した状態で、画像５１１から画像を切り出し、かつ、その切り出される画像が、画像５１１を最大限に含むように切り出しが行われることを意味する。
【０３０５】
図４７を参照して後述するが、画像を切り出すときに貼付領域自体の大きさは関係なく、貼付領域のアスペクト比が関係してくる。
【０３０６】
図４６の下図に示したように、アスペクト比が１６：９の画像５１１から、貼付領域４１２の形で最大の大きさとなる画像を切り出した場合、画像５１１の左側の一部と右側の一部が切れた状態の画像が切り出される。
【０３０７】
このように、図４６に示したように、同じ画像５１１から、貼付領域に合った画像を切り取る場合であっても、貼付領域のアスペクト比が異なると、切り出される画像５１１の領域が異なる。
【０３０８】
貼付領域のアスペクト比についてさらに具体的な数値を挙げて説明を加える。
【０３０９】
図４７の上図は、配置テンプレートと貼付領域との関係を示す図であり、図４７の下図は、貼付領域に貼り付けられる画像（以下、適宜、元画像と記述する）と貼付領域との関係を示す図である。
【０３１０】
図４７の上図を参照するに、配置テンプレート５４１の横の長さは１９２０ドットであり、縦の長さは１０８０ドットである。このような“１９２０：１０８０”のアスペクト比、すなわち“１６：９”のアスペクト比を有する配置テンプレート５４１の上に、横の長さが２００ドットであり、縦の長さが４００ドットの貼付領域５４２が設けられている。貼付領域５４２のアスペクト比は、“２００：４００”、すなわち“１：２”である。
【０３１１】
このような“１：２”のアスペクト比を有する貼付領域５４２に貼り付ける画像が、図４７の下図に示したような元画像５４３であった場合、図４７の下図に示すように、元画像５４３から画像が切り出される。
【０３１２】
元画像５４３は、横の長さが１６００ドットであり、縦の長さが９００ドットである。よって、元画像５４３のアスペクト比は“１６：９”である。元画像５４３のアスペクト比は“１６：９”であり、貼付領域５４２のアスペクト比は“２：１”であるので異なるアスペクト比であることがわかる。このように異なるアスペクト比である場合には、元画像５４３から、貼付領域５４２のアスペクト比で、最大の大きさの画像が切り出されるように制御が行われる。
【０３１３】
図４７の下図に示すように、貼付領域５４２のアスペクト比“２：１”を維持して元画像５４３を最大に含む領域を求めると、横の長さが４５０ドット、縦の長さが９００ドットの領域で切り出せることがわかる。“４５０：９００”は、“２：１”である。
【０３１４】
縦の長さとして設定された９００ドットは、元画像５４３の縦の長さと同じドット数である。すなわちこの場合、元画像５４３の縦方向に関しては、最大限の領域（長さ）を確保できたことになる。
【０３１５】
縦方向を９００ドットした場合、アスペクト比“１：２”を維持するためには、横方向を４５０ドットする必要がある。よって、上記したように、元画像５４３から、アスペクト比が“１：２”である“４５０ドット×９００ドット”の画像が切り出される。
【０３１６】
図４７に示した例においては、貼付領域５４２の大きさは“２００ドット×４００ドット”であり、切り出される画像の大きさは、“４５０ドット×９００ドット”である。よって、大きさで比較すると、貼付領域５４２の大きさと切り出される画像の大きさは異なる大きさである。
【０３１７】
このように、本実施の形態においては、貼付領域５４２の大きさと同一の大きさの画像が元画像５４３から切り出されるのではなく、貼付領域５４２のアスペクト比と同一のアスペクト比を有する画像が元画像５４３から切り出される。
【０３１８】
勿論図４７に示した例の場合、切り出される画像の方が貼付領域５４２よりも大きいため、切り出された画像が貼付領域５４２に貼り付けられときには、画像の縮小の処理などが行われて貼り付けが行われる。
【０３１９】
ところで、このように、貼付領域のアスペクト比に基づき、元画像から貼り付けられる画像が切り出される場合、図４７を参照して説明したように、元画像５４３の一部だけが切り出されることがある。換言すれば、貼付領域には、元画像の全てが貼り付けられるわけではなく、元画像の一部のみが貼り付けられることがある。
【０３２０】
このように元画像の一部のみが切り出される場合、その切り出す位置（領域）によっては、不適切な画像がユーザに提供されてしまう可能性がある。例えば、図４８に示すように、人の顔が大きく写し出されているような元画像５４３に対し、アスペクト比を維持した貼付領域５４２’の領域で画像が切り出された場合、その切り出された画像５４３’は、人の顔の一部しか含まれていないような画像となってしまう。
【０３２１】
元画像５４３を撮影した撮影者は、人の顔を中心に撮影したいという意図で元画像５４３を撮影したと思われる。そのような意図のもと撮影された元画像５４３から切り出された画像５４３’が、人の顔の一部しか含まないような場合、または、全く含まないような画像が切り出されてしまったような場合、撮影者の意図に反していると考えられ、そのような画像は、不適切な画像であるといえる。
【０３２２】
人の顔に限らず、元画像を撮影した撮影者の意図を反映したかたちで、画像が切り出されることが望ましい。
【０３２３】
そこで、切り出しを行うとき、すなわち、配置テンプレートに画像を貼り付ける処理が実行されるとき、その切り出され、貼り付けられる画像が、撮影者の意図ができる限り反映された画像となるようにする。そのような処理について説明を加える。
【０３２４】
［画像の貼り付け処理について］
図３のフローチャートにおけるステップＳ１５において実行される画像の貼り付け処理についてさらに説明を続ける。上記したように、撮影者の意図が反映されるように、表示領域に表示される画像の切り出しが行われるようにする。ここでは、画像に写し出されている人の顔に注目して処理が行われる場合を例に挙げて説明する。
【０３２５】
図４９は、元画像５４３に複数の顔が写し出されている画像を示している。複数の顔のうち、顔６０１は、他の顔（符号は付けず）よりも大きく写し出されている。すなわち、複数の顔が撮影されているような画像であっても、顔６０１だけがアップで写し出されているような画像であれば、撮影者は、顔６０１を撮影する意図でその元画像５４３を撮影したと考えられる。よって、このような元画像５４３の場合には、顔６０１が含まれるように貼付領域５４２’が設定され、その貼付領域５４２’内の画像が元画像５４３から切り出される。
【０３２６】
画像を切り出すときのアルゴリズムとして、元画像内で、最も大きく写し出されている顔が含まれている領域で切り出すアルゴリズムをアルゴリズム１とする。アルゴリズム１を換言すると、元画像内で、所定の大きさ以上の領域の顔の中で、最も大きい領域の顔が含まれる領域で切り出しを行うアルゴリズムである。
【０３２７】
アルゴリム１は、１人で写真に収まっているような場合や、少人数の人が写真に収まっているような場合に適したアルゴリズムである。
【０３２８】
図５０は、アルゴリズム２に関した説明をするための図である。図５０に示した元画像５４３には、複数の顔（いずれも符号は付けず）が写し出されている。図５０に示した元画像５４３と図４９に示した元画像５４３は、ともに複数の顔が写し出されている画像であるが、図５０に示した元画像５４３には、所定の大きさ以上の領域の顔がない画像である点が異なる。
【０３２９】
このように、元画像５４３に複数の顔が写し出されていても、所定の大きさ以上の領域の顔が存在しない画像の場合、できるだけ多くの顔が含まれる領域で切り出しが行われるように制御される。このような複数の小さな顔が写し出されているような画像は、集合写真のような画像であり、そのような集合写真のような場合には、元画像５４３に写し出されている複数の顔のうち、できるだけ多くの顔が含まれる領域で切り出された画像が撮影者の意図に合う画像であると考えられる。
【０３３０】
アルゴリズム２は、元画像内で所定の大きさ以上の領域の顔がないときに、できるだけ多くの顔が含まれている領域で、元画像から画像を切り出すアルゴリズムである。アルゴリズム２は、集合写真など、多くの人が写っているような画像に適したアルゴリズムである。
【０３３１】
図５１は、アルゴリズム３に関した説明をするための図である。図５１に示した元画像５４３には、複数の顔が写し出されている。写し出されている顔のうち、顔６１１、顔６１２、顔６１３は、歪んでいたり、ピントがぼけた状態であったり、または、顔と認識されるが、絵であったりする顔である。顔６１４は、他の顔と比較すると最もきちんと写し出されている顔であり、最も顔らしい顔と判断できる顔である。
【０３３２】
例えば、顔６１４にはピントが合っているが、その他の顔を含む部分にはピントが合っていないような画像がある。また、撮影者が画像を加工し、顔６１４以外の部分を歪ませたり他の画像を合成したりした画像がある。そのような元画像５４３から貼付領域５４２’にあった領域で画像を切り出す場合、最も顔らしいと判断される顔が含まれる領域が、貼付領域５４２’に設定され、その領域内の画像が元画像５４３から切り出されるようにする。
【０３３３】
アルゴリム３は、元画像５４３に複数の顔が含まれると判断されるときに、最も顔である確率が高い顔が含まれている領域を切り出すアルゴリズムである。
【０３３４】
図５２は、アルゴリム４に関した説明をするための図である。図５２に示した元画像５４３には、複数の顔が写し出されている。写し出されている顔のうち、顔６２１は、例えば絵画などに描かれた顔である。顔６２２、顔６２３、顔６２４は、それぞれ実写の顔である。
【０３３５】
例えば、絵画の前で被写体を含めて写真を撮影したような場合、その写真には、被写体は勿論のこと、絵画も撮影されている。その絵画に、顔が描かれているような場合、その顔も検出されることがある。画像から顔を検出する手法については、後述するような文献に記載があるが、どのような手法を用いるかにより検出精度が異なると考えられる。用いる手法の検出精度により、絵画など描かれた顔も的確に抽出できる場合がある。
【０３３６】
このように、絵画などに描かれた顔が抽出される場合、その顔が含まれる領域が切り出されるようにしても良い。絵画などに描かれた顔は、実写の顔に比べると、最も顔らしくない顔であると換言できる。
【０３３７】
アルゴリズム４は、元画像５４３に複数の顔が含まれると判断されるときに、最も顔である確率が低い顔が含まれている領域を、貼付領域５４２’として設定し、その貼付領域５４２’内の画像を、元画像５４３から切り出すアルゴリズムである。
【０３３８】
アルゴリズム４は、アルゴリズム３と反するアルゴリズムである。アルゴリズム３だけで切り出しが行われると、同じ人の顔が連続して表示されるようなアルバムが作成される可能性があるが、適宜、アルゴリズム４を適用して切り出しを行うと、実写の顔の間に絵画の顔などが挟まれるようなアルバムとすることができる。よって、ユーザに単調なアルバムではないアルバムを提供できる（バラエティに富んだアルバムを提供できる）ようになる。
【０３３９】
図５３は、アルゴリズム５を説明するための図である。図５３に示した元画像５４３には、複数の顔が写し出されている。アルゴリズム５は、元画像５４３からランダムに貼付領域５４２’を設定し、切り出しを行うアルゴリズムである。
【０３４０】
例えばアルゴリズム５は、複数の顔が検出されるような場合であっても、アルゴリズム１乃至４で処理できないような場合に適用される。
【０３４１】
またアルゴリズム１乃至４は、撮影者の意図をできるだけ反映させるために行う処理であるが、アルゴリズム５を適用した場合、撮影者の意図にそくした画像が提供されない可能性もある。しかしながら、例えば、アルゴリズム５に従って画像の切り出しが行われる場合、アルバムが閲覧される毎にアルゴリズム５に基づき画像の切り出しが行われ、アルバムが作成されるようにすると、同一の静止画像を扱うアルバムであっても、画像の切り出し方が異なるため（ランダムに切り出が実行されるため）、異なるアルバムが作成されたようになり、ユーザに提供されるアルバムを、閲覧毎に違った内容とすることが可能となる。
【０３４２】
閲覧する人の好みがあるが、人によっては、常に同じ画像が提供されるのがアルバムであると考え、そのようなアルバムの提供を望んでいる人もいるが、閲覧する毎に異なる画像となるようなアルバムの方が面白いと考える人もいる。よって、アルゴリズム５を適用するか否かは、アルバムを閲覧するユーザ側で設定できるようにしても良い。
【０３４３】
ここでは、アルゴリズム１乃至５を例に挙げて説明したが、これらのアルゴリズム１乃至５は、画像の切り出しが行われるときの限定を示す記載ではない。勿論、アルゴリズム乃至５以外のアルゴリズムで切り出しが行われるようにしても良い。さらに、アルゴリズム１乃至５は、単独で用いられるアルゴリズムとしても良いし、組み合わせで用いられるアルゴリズムとしても良い。
【０３４４】
アルゴリズム１乃至５は、顔を検出し、検出された顔をどのように切り出される画像に含ませるかに関するアルゴリズムであった。このようなアルゴリズムを適用するには、画像から顔であると判断される領域を検出する必要がある。画像から顔であると判断される領域を検出する手法として、例えば、本出願人が先に出願した特願２００４―９３００１号（特開２００５−２８４３４８号公報）や、特願２００４−９４７９２（特開２００５−２８４４４７８号公報）を適用することができる。
【０３４５】
適用する手法によっては、画像から顔の領域を検出するだけでなく、その顔が男性の顔であるか女性の顔であるか（性別）をさらに検出できたり、笑っている顔であるか怒っている顔であるか（表情）をさらに検出できたりする。このような、顔の検出だけでなく、性別や表情（表情から読み取れる感情）など、顔の特徴に付随する情報も検出されるような場合には、そのような付随する情報も用いられるような処理が行われるようにしても良い。
【０３４６】
例えば、検出される顔に付随する情報も取得されるような場合、その付随する情報を用いたアルゴリズムをアルゴリズム６とし、そのアルゴリズム６を用いて画像の切り出しが行われるようにしても良い。
【０３４７】
アルゴリズム６は、元画像から顔の領域が検出されたときに、かつ、その検出された顔に付随する情報が取得されたときに、その付随する情報から、その顔が特定の顔の条件を満たしている顔であるか否かを判断し、特定の条件を満たす顔であると判断したときには、その顔が、切り出される画像において中央に配置されるように、元画像から切り出しを行うようにするアルゴリズムである。
【０３４８】
特定の顔の条件とは、付随する情報から判断される条件であり、上記したように例えば、顔の表情、顔の向いている方向、性別などである。
【０３４９】
例えば、アルゴリズム６に基づき画像の切り出しが行われる場合、元画像から複数の顔が検出されたとき、検出された複数の顔のうち、笑っている顔が中央に配置されるように、貼付領域が設定され、切り出しが行われる。また例えば、元画像から男性と女性の顔が検出された場合、その２人が中央に来るように切り出しが行われる。
【０３５０】
このように、複数のアルゴリズムが用いられて、元画像から貼付領域に合った画像が切り出され、配置テンプレートの貼付領域に貼り付けられる処理について、図５４のフローチャートを参照して説明する。図５４のフローチャートを参照して説明する処理は、図３のステップＳ１５において実行される画像の貼り付け処理である。
【０３５１】
ステップＳ１１１において、顔認識処理が行われる。この顔認識処理は、処理対象とされている元画像に含まれる顔を、所定の手法で検出する処理である。この所定の手法については、上記した文献に記載されている手法を用いることが可能であり、ここでは、その説明は省略する。また、上記した文献に記載されている手法以外で顔検出がされたときであっても、本発明を適用できることは言うまでもない。
【０３５２】
ステップＳ１１１において、処理対象とされている元画像から顔が写っている領域が検出されると、ステップＳ１１２に処理が進められる。ステップＳ１１２において、検出された顔の領域のうち、所定のサイズ以上の領域の顔を検出したか否かが判断される。この判断は、上述したアルゴリズム１を実行するために行われる判断である。
【０３５３】
ステップＳ１１２において、検出された顔の領域のうち、所定のサイズ以上の領域の顔を検出したと判断された場合、ステップＳ１１３に処理が進められる。ステップＳ１１３において、貼付領域のアスペクト比で、所定のサイズ以上の領域の顔が含まれるような領域が設定され、その領域内の画像が切り出される。所定のサイズ以上の領域の顔が、複数検出された場合には、最大サイズの領域の顔が含まれるように領域が設定され、画像の切り出しが行われる。
【０３５４】
画像が切り出されると、ステップＳ１１４において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
【０３５５】
一方、ステップＳ１１２において、検出された顔の領域のうち、所定のサイズ以上の領域の顔は検出していないと判断された場合、ステップＳ１１５に処理が進められる。ステップＳ１１５において、所定の数以上の顔を検出したか否かが判断される。この判断は、上述したアルゴリズム２を実行するために行われる判断である。
【０３５６】
ステップＳ１１５において、検出された顔の数が、所定の数以上であると判断された場合、ステップＳ１１６に処理が進められる。ステップＳ１１６において、貼付領域のアスペクト比で、顔の数が最大となるような領域が設定され、画像の切り出しが行われる。画像が切り出されると、ステップＳ１１４において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
【０３５７】
一方、ステップＳ１１５において、検出された顔の数が、所定の数以上ではないと判断された場合、ステップＳ１１７に処理が進められる。ステップＳ１１７において、特定の条件に該当する顔を検出したか否かが判断される。この判断は、顔の検出とともに、顔の特徴（付随する情報）が取得できる場合であって、アルゴリズム６を実行するために行われる判断である。または、顔の特徴が取得されない場合には、アルゴリズム３またはアルゴリズム４を実行するために行われる判断である。
【０３５８】
アルゴリズム３またはアルゴリズム４に基づく処理を実行するためにステップＳ１１７における判断が行われる場合、特定の条件とは、最も顔らしい顔であると判断される条件であるか、最も顔らしくない顔であると判断される条件である。
【０３５９】
アルゴリズム６に基づく処理を実行するためにステップＳ１１７における判断が行われる場合、特定の条件とは、笑っている顔、正面を向いている顔、男性の顔、女性の顔であるなど、顔の特徴を特定するような条件である。
【０３６０】
画像が切り出されると、ステップＳ１１４において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
【０３６１】
一方、ステップＳ１１７において、特定の条件に該当する顔は検出されていないと判断された場合、ステップＳ１１９に処理が進められる。ステップＳ１１９に処理が進められた場合、アルゴリズム５に基づいて切り出しに関わる処理が実行される。すなわち、貼付領域のアスペクト比で、ランダムに画像が切り出される。
【０３６２】
ステップＳ１１９に処理が来る場合、元画像に顔が含まれているが、どの顔に注目して画像を切り出せば良いか判断できないような状態のときであるので、そのような状態の画像のときには、例えば、元画像の中央の領域が含まれる領域が切り出されるように制御される。
【０３６３】
“ランダムに画像が切り出される”場合であっても、所定の条件を設けておいた方がよく、例えば、元画像の中央部分を含むように切り出される、元画像の中央より少し上の方の領域が含まれるように切り出されるなどの条件が設定され、その条件に基づいて切り出しが行われる。
【０３６４】
画像が切り出されると、ステップＳ１１４において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
【０３６５】
このような処理が、配置テンプレートの配置すべき画像の数だけ繰り返されることにより、アルバムを構成する１ページが作成される。作成された１ページは、例えば、図１０に示したページ１５１や図１１に示したページ１５１’である。
【０３６６】
そして、１ページ毎の作成が繰り返されることによりアルバムが作成される。作成されたアルバムは、例えば図１２に示したアルバム１８１である。作成されたアルバムは、コンテンツＤＢ３４（図２）に記録される。
【０３６７】
［作成されたアルバムの閲覧について］
次に、このようにして作成されたアルバムの閲覧について説明を加える。
【０３６８】
図５５は、アルバムの表示処理について説明するためのフローチャートである。
【０３６９】
ステップＳ１４１において、記録再生制御部５２（図２）は、記録再生部１８から記録されているアルバムに関する情報を読み出す。記録再生制御部５２は、アルバムの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、画像処理装置１は、モニタ２にアルバムの一覧を表示させる。
【０３７０】
モニタ２に表示されるアルバムの一覧の表示例を、図５６に示す。図５６に示した画面には、アルバム一覧表示部７０１が設けられている。アルバム一覧表示部７０１には、各アルバムを示すアイコンと、そのアイコンの右側にアルバム名、そして、アルバム名の下側にそのアルバムで管理されている画像が撮影された日時が表示されている。
【０３７１】
図５６に示した画面のアルバム一覧表示部７０１には、アルバム１乃至６をそれぞれ示す６個のアイコン、アルバム名、および、日付が表示されている。図５６では、アイコンを四角形で示したが、例えば、アルバムの表紙となる画像が、各アルバムを示すアイコンとして使用されるようにしても良い。
【０３７２】
図５６において例えば、“アルバム１”というアルバム名が撮影された日時は、“２００５／３／１５”から“２００５／３／１８”であることが表示されている。このように、各アルバム名の下側に表示される日時は、そのアルバムの最も古い写真が撮影された日時と、最も新しい写真が撮影された日時である。
【０３７３】
モニタ２には、アルバム一覧表示部７０１に表示しきれないアルバムのアイコンなどを表示させるときに操作されるスクロールバー７０２が、画面右側に表示されている。さらに、どのアルバムが選択されている状態かを示すカーソル７０３も表示されている。図５６に示した表示例では、“アルバム３”というアルバム名のアイコン上に、カーソル７０３が位置している。
【０３７４】
このような画面が、ステップＳ１４１においてモニタ２に表示される。
【０３７５】
ステップＳ１４２において、選択部５１は、操作部１９から供給される、モニタ２に表示されるアルバムの一覧から、アルバムの１つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるアルバムの一覧からアルバムの１つを示す情報を記録再生制御部５２に供給する。
【０３７６】
例えば、図５６に示した画面の状態のとき、すなわち、カーソル７０３が“アルバム３”のアイコン上にあるときに、ユーザが決定を指示する操作を行うと、その選択されたアルバムを識別するための情報が生成され、記録生成制御部５２に供給される。
【０３７７】
ステップＳ１４３において、記録再生制御部５２は、供給されたアルバムの１つを示す情報に基づいて、選択されたアルバムを表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、画像処理装置１は、モニタ２に選択されたアルバムの最初のページを表示させる。
【０３７８】
ステップＳ１４４において、記録再生制御部５２は、表示されているアルバムの次のページが存在するか否かを判定する。ステップＳ１４４において、次のページが存在しないと判定された場合、処理は終了する。
【０３７９】
一方、ステップＳ１４４において、次のページが存在すると判定された場合、ステップＳ１４５に処理が進められる。ステップＳ１４５において、制御部２０の制御に基づいて、画像処理装置１は、モニタ２に選択されたアルバムの次のページを表示させる。ステップＳ１４４とステップＳ１４５の処理が繰り返されることにより、アルバムを構成するページが順次、ユーザに提供される。
【０３８０】
このように、画像処理装置１は、アルバムを表示させることができる。
【０３８１】
ところで、図１０または図１１に、アルバムの１ページとして表示される表示例を示した。図１１を再度参照するに、ページ１５１’には、３枚の画像が表示されており、そのうち画像１７１と画像１７２は、静止画像ＤＢ３１（図２）から読み出された静止画像であり、画像１６１は、動画像ＤＢ３２に記録されている動画像から抽出された静止画像（サムネイル画像）であると説明した。
【０３８２】
このように、本実施の形態においては、動画像から抽出された、その動画像の１場面を表すサムネイル画像も、アルバム内のページに、静止画像として表示される。このような表示を行うために、クラスタリングされるときに、動画像ＤＢ３２に記録されている動画像の撮影日時も考慮してクラスタリングされると説明した。図３５に、クラスタリングされた結果の一例を示したが、例えば、グループ１の３月１日の０：１３に撮影された画像は動画像である場合もある。
【０３８３】
クラスタリングされるとき、動画像ＤＢ３２が参照され、動画像の撮影日時も含めてクラスタリングが行われれば、結果としてユーザに提供されるアルバムに、動画像のサムネイル画像が含まれるようにできることは既に説明したので、ここではその説明は省略する。さらに、ここでは、ユーザが所定のアルバムに、所定の動画像のサムネイル画像を関連付けるときの処理について説明を加える。
【０３８４】
ユーザが、所望のアルバムに、所望の動画像のサムネイル画像を関連付けることができるようにするのは、以下のような理由がある。
【０３８５】
上述したように、クラスタリングのときに、動画像の撮影日時も考慮されてクラスタリングされれば、結果として動画像のサムネイル画像を所定のページに表示させることができるが、クラスタリングされることにより、静止画像と関連性（この場合、時間的に近傍に位置するという関連性）がある動画像しか表示されないことになる。
【０３８６】
例えば、再度図３５を参照するに、グループ１の“３月１日の０：１３”に撮影された画像が動画像から抽出されたサムネイル画像であった場合、グループ１内の“３月１日の０：１０”に撮影された静止画像や“３月１日の０：１２”に撮影された静止画像と、時間的に近くに撮影された動画像であるので、グループ１に分類された。しかしながら、例えば、１ヶ月前の２月１日に撮影された動画像を、グループ１に関連付けたいような場合、または、グループ１を含むアルバムと関連付けたいよな場合、上記したクラスタリングの手法だけでは関連付けることができない。
【０３８７】
このような、撮影日時的には離れていても、同一のグループ（同一のアルバム）に関連付けたいというユーザ側の要望に対応するために、ユーザが、所望のアルバムに所望の動画像のサムネイル画像を関連付けられるようにする。そのような処理について、図５７のフローチャートを参照して説明する。
【０３８８】
ステップＳ１６１において、ユーザから動画像の関連付けの処理を実行するように指示を受ける。図５８に、動画像の関連付けが指示されるときにモニタ２に表示される画面例を示す。図５８に示した画面は、例えば、図５６に示した画面において、ユーザがメニュー画面の表示を指示したときに、モニタ２に表示される画面である。
【０３８９】
メニュー画面とは、図５８において、右側に示した２つのメニュー項目が表示されている状態の画面のことを示す。すなわち、図５８に示した画面においては、“アルバムの再生”という項目７３１と“動画像の関連付け”という項目７３２が、メニュー画面のメニュー項目として表示されている。このような項目のうち、“動画像の関連付け”という項目７３２が選択された場合、ステップＳ１６１において、ユーザから動画像の関連付けの処理を実行するように指示を受けと判断され、ステップＳ１６２に処理が進められる。
【０３９０】
なお、図５８に示したメニュー画面のうち、“アルバムの再生”という項目１３１が選択された場合、その時点で選択されているアルバム（図５８に示した画面例においては、カーソル７０３が位置する“アルバム３”というアルバム名が付けられたアルバム）の再生が開始される。すなわち、上述した図５５に示したフローチャートに基づく処理が開始される。
【０３９１】
ステップＳ１６２において、選択されているアルバムの日時に近い日時に撮影された動画像が検索される。検索の対象となるのは、ユーザが撮影した動画像であり、テレビジョン放送などの動画像は含まれないとする。換言すれば、個人的な動画像だけが検索の対象とされる。個人的な動画像であるか否か（テレビジョン放送などの著作権があるような動画像であるか否か）は、動画像に付随するメタデータを参照することで判定することができる。
【０３９２】
なおここでは、個人的な動画像のみが検索の対象となるとして説明を続けるが、テレビジョン放送などの動画像も検索の対象とすることは可能である。
【０３９３】
例えば、図５８に示した画面例において、“動画像の関連付け”という項目７３２が選択された場合、“選択されているアルバム”は、カーソル７０３が位置している“アルバム３”というアルバム名を持つアルバムである。よって、“アルバム３”というアルバム名を持つアルバムは、“２００５／５／１５―２００５／５／１８”という日付であるので、この日付に近い日時に撮影された動画像が、動画像ＤＢ３２から検索される。
【０３９４】
ステップＳ１６３（図５７）において、検索結果が用いられ、検索された動画像の一覧表示が行われる。その結果、図５９に示したような画面が、モニタ２に表示される。図５９に示した画面には、動画像一覧表示部７５１が設けられている。動画像一覧表示部７５１には、各動画像を示すアイコンと、そのアイコンの右側に動画像名、そして、動画像名の下側にその動画像が撮影された日時（撮影が開始された日時と終了された日時）が表示されている。
【０３９５】
なお、ステップＳ１６２において、選択されているアルバムの日時に近い日時に撮影された動画像が検索されるのは、ステップＳ１６３において、検索された動画像が一覧表示されるときに、選択されたアルバムに含まれる画像の撮影日時に近い動画像の順に表示されるようにするためである。選択されたアルバムに含まれる画像の撮影日時に近い動画像が、そのアルバムと関連付けられる可能性が高いと考えられるからである。
【０３９６】
動画像の一覧表示を行う際、例えば、撮影日時の古い順や新しい順に表示されるのであれば、その設定されている順に表示が行われるように、ステップＳ１６２における動画像の検索が行われる。
【０３９７】
図５９に示した画面の動画像一覧表示部７５１には、動画像１乃至６をそれぞれ示す６個のアイコン、動画像名、および、日付が表示されている。図５９では、アイコンを四角形で示したが、例えば、動画像の１シーンを示すサムネイル画像が、各動画像を示すアイコンとして使用されるようにしても良い。
【０３９８】
図５９において例えば、“動画像３”という動画像名が撮影された日時は、“２００５／５／１６”から“２００５／５／１６”であることが表示されている。このように、各動画像名の下側に表示される日時は、その動画像の撮影が開始された日時と、撮影が終了された日時である。
【０３９９】
モニタ２には、動画像一覧表示部７５１に表示しきれない動画像のアイコンなどを表示させるときに操作されるスクロールバー７５２が、画面右側に表示されている。さらに、どの動画像が選択されている状態かを示すカーソル７０３も表示されている。図５９に示した表示例では、“動画像３”という動画像名のアイコン上に、カーソル７０３が位置している。
【０４００】
このような画面が、ステップＳ１６３においてモニタ２に表示される。なお、動画像の一覧が表示される画面の構成と、アルバムの一覧が表示される画面の構成は、図５９および図５８にそれぞれ示したように、基本的に同様の構成である。
【０４０１】
図５９に示したような画面が、モニタ２に表示されているときに、ユーザが操作部１９を操作して所定の操作を行うと、モニタ２の画面は、図６０に示したようなメニュー画面に切り替えられる。図６０に示した画面には、モニタ２の右側に、２つのメニュー項目が表示されている。図６０に示した画面においては、“決定”という項目７７１と“戻る”という項目７７２が、メニュー画面のメニュー項目として表示されている。
【０４０２】
このような項目のうち、“決定”という項目７７１が選択された場合、ステップＳ１６４において、ユーザから、選択されているアルバムに、選択されている動画像を関連付けるように指示を受けと判断され、その指示に対応する処理が実行される。
【０４０３】
図６０においては、“動画像３”という動画像名が付けられた動画像を示すアイコン上に、カーソル７０３が位置している。すなわち図６０に示した画面の状態は、ユーザにより“動画像３”という動画像名が付けられた動画像が、アルバムと関連付ける対象として選択されている状態である。関連付けられるアルバムを、ユーザに認識させるために、“動画像３”を示すアイコンの左側に“アルバム３”というアルバム名が表示されるとともに、“アルバム３”というアルバム名が付けられたアルバムを示すアイコンが表示されている。
【０４０４】
図６０に示した画面において、“決定”という項目７７１が操作されたときには、ステップＳ１６４において、“アルバム３”と“動画像３”が関連付けるための処理が実行され、“戻る”という項目７７２が操作されたときには、モニタ２の画面が、図５９または図５８に戻され、それらの画面において行われる処理が実行される。
【０４０５】
このような処理が行われることにより、アルバムと動画像が関連付けられ、アルバムが再生されたとき、再生されたアルバムに、動画像のサムネイル画像が表示されることになる。
【０４０６】
［動画像の削除について］
ところで、動画像は、静止画像に比べてデータサイズが大きい。そのため、動画像ＤＢ３２の記録容量が、新たな動画像を記録する程の残量がないような場合、古い動画像データが削除され、容量が空けられるような処理が行われる。このような処理は、ユーザの指示により行われることもあるし、画像処理装置１の判断により行われることもある。
【０４０７】
このように、動画像ＤＢ３２に記録されている動画像は削除されることがある。勿論、静止画像ＤＢ３３に記録されている静止画像も削除される可能性はあるが、動画像よりデータサイズが小さいため、例えば、容量不足のために削除しなくてはならないといったような状況が発生する可能性が低く、動画像より削除される確率は低いと考えられる。よって、ここでは、動画像が削除されることを前提として説明を続ける。
【０４０８】
上記したように、クラスタリングのときや、ユーザの指示があったときなどに、アルバムに動画像が関連付けられるが、その関連付けられた動画像が削除されてしまった場合、動画像から抽出された静止画像が表示されるページに、その静止画像が表示されないといった不都合が発生する。
【０４０９】
ここで、図６１のフローチャートを参照し、動画像が削除されたときの処理について説明する。図６１のフローチャートの処理は、動画像ＤＢ３２に記録されている動画像のうち、所定の動画像に対し、削除の指示が出されたときに実行される。
【０４１０】
ステップＳ１８１において、ユーザにより削除の対象とされた動画像に、関連付けられていたアルバムが存在するか否かが判断される。ステップＳ１８１において、削除の対象とされた動画像に、関連付けられていたアルバムはないと判断された場合、ステップＳ１８２に処理が進められ、削除の対象とされた動画像が、動画像ＤＢ３２から削除される。
【０４１１】
一方、ステップＳ１８１において、削除の対象とされた動画像に、関連付けられていたアルバムが存在すると判断された場合、ステップＳ１８３に処理が進められる。ステップＳ１８３において、動画像から予め生成され、動画像に関連付けられて記録されていた静止画像が、動画像が関連付けられていたアルバムに、動画像の代わりに関連付けられ保存される。
【０４１２】
“動画像から予め生成され、動画像に関連付けらていた静止画像”として、動画像の１シーンを示すサムネイル画像を用いることができる。また、そのようなサムネイル画像が、“動画像が関連付けられていたアルバムに、動画像の代わりに関連付けられ保存される”とは、サムネイル画像が静止画像ＤＢ３１に新たに記録されることを意味する。また、静止画像ＤＢ３１に記録される際、動画像の撮影日時（撮影が開始された日時、撮影が終了された日時、または、撮影が開始された日時と終了された日時の中間の日時）が、そのサムネイル画像の日時として記録される。
【０４１３】
ステップＳ１８３において、静止画像が静止画像ＤＢ３１に記録されると、ステップＳ１８２に処理が進められ、削除の対象とされた動画像が、動画像ＤＢ３２から削除される。
【０４１４】
図６１のフローチャートを参照して説明した動画像の削除に関わる処理について、図６２を参照し、再度簡便に説明を加える。動画像ＤＢ３２には、動画像１６１’が記録され、その動画像１６１’から抽出されたサムネイル画像（静止画像１６１）が、動画像１６１’と関連付けられて記録されている。
【０４１５】
また、静止画像ＤＢ３１には、静止画像１７１と静止画像１７２が記録されている。図６２に示したような状態のとき（動画像１６１’が削除される前の状況のとき）には、アルバムの１ページとして、図１１に示したようなページ１５１’がユーザに提供される。
【０４１６】
動画像ＤＢ３２に記録されている動画像１６１’が削除の対象とされた場合、動画像１６１’に関連付けられいる静止画像１６１が、静止画像ＤＢ３１に移動される。よって、静止画像ＤＢ３１には、静止画像１７１、静止画像１７２、および、静止画像１６１’が記録されている状態とされる。
【０４１７】
このように、動画像から抽出された静止画像が静止画像ＤＢ３１に記録されれば、そのサムネイル画像も、他の静止画像と同等に扱われ、アルバムに表示されることになる。
【０４１８】
図１１を再度参照するに、図１１は、アルバム内の所定のページの表示例を示しているが、そのページ１５１’に動画像から抽出されたサムネイル画像（静止画像１６１）があると、“Ｖｉｄｅｏ”というマーク１６２が表示されることは既に説明した。
【０４１９】
この静止画像１６１の元となった動画像１６１’が削除された場合であっても、上述した処理が行われることにより、静止画像１６１自体は削除されずに静止画像ＤＢ３１に記録されるため、静止画像１７１や静止画像１７２とともにページ１５１’上に表示されることになる。しかしながら、動画像１６１’は削除されているので、“Ｖｉｄｅｏ”というマーク１６２は表示されないページ１５１’が、ユーザに提供される。
【０４２０】
動画像の削除に関わる他の処理について、図６３のフローチャートを参照して説明する。図６１を参照して説明した処理においては、動画像に予め関連付けられている静止画像があり、その静止画像が、動画像の代わりにアルバムと関連付けられる処理であったが、図６３のフローチャートを参照して説明する処理は、動画像を削除するときに、その動画像から静止画像を生成し、アルバムと関連付ける処理である。
【０４２１】
ステップＳ２０１において、ユーザにより削除の対象とされた動画像に、関連付けられていたアルバムが存在するか否かが判断される。ステップＳ２０１において、削除の対象とされた動画像に、関連付けられていたアルバムはないと判断された場合、ステップＳ２０２に処理が進められ、削除の対象とされた動画像が、動画像ＤＢ３２から削除される。
【０４２２】
一方、ステップＳ２０１において、削除の対象とされた動画像に、関連付けられていたアルバムが存在すると判断された場合、ステップＳ２０３に処理が進められる。ステップＳ２０３において、動画像のシーンチェンジの箇所が検出される。動画像からシーンチェンジを検出する手法としては、例えば、本出願人が先に出願した特願２００２−２５４５６２（特許第３７３１６５７号）に記載されている手法を用いることができる。
【０４２３】
ステップＳ２０３において、削除の対象とされている動画像から、その動画像のシーンチェンジの箇所が検出されると、ステップＳ２０４において、検出されたシーンチェンジの箇所に対応する静止画像が生成される。この場合、シーンチェンジの箇所毎に静止画像が生成されることになるので、シーンチェンジの箇所の個数と同じ数だけ静止画像が生成される。
【０４２４】
なお、シーンチェンジの箇所が多いと、静止画像の数も多くなるので、生成される静止画像の枚数に上限を設定したり、その設定に合わせて、生成された静止画像が間引かれるなどの処理が適宜行われるようにしても良い。
【０４２５】
またここでは、動画像のシーンチェンジの箇所が検出され、その箇所から静止画像が生成されるとしたが、ユーザにより指定された任意の箇所から静止画像が生成されるようにしても良い。
【０４２６】
さらには、生成された静止画像が複数枚であるとき、アルバムに関連付けられ、削除された動画像分の枚数だけ（前提として、１つの動画像から複数の静止画像が抽出され、それらの静止画像がアルバムと関連付けられていた）、生成された静止画像から抽出されるようにしても良い。
【０４２７】
このように、削除される動画像から、静止画像が生成されるようにするのは、動画像より静止画像の方がデータサイズが小さいため、動画像の代わりに記録されるようにしてもデータベースの残量に大きな影響を及ぼすことはないと考えられること、また、動画像が削除されても、その動画像に関連付けられていたアルバムは削除されない限り、ユーザは、動画像のサムネイル画像も含めた形でアルバムを閲覧したいという要望があるということに対応するためである。
【０４２８】
ステップＳ２０４において、生成された静止画像は、ステップＳ２０５において、静止画像ＤＢ３１に記録される。
【０４２９】
このように動画像から静止画像が生成され、静止画像ＤＢ３１に記録されると、ステップＳ２０２において、削除の対象とされた動画像が動画像ＤＢ３２から削除される。
【０４３０】
このように動画像から静止画像が生成され、静止画像ＤＢ３１に記録されると、その静止画像は、静止画像ＤＢ３１に記録されている他の静止画像と同等に扱われる。よって、アルバムが再生されるとき、動画像から生成された静止画像も含められたアルバムの再生が行われる。
【０４３１】
なお、複数の静止画像が生成され、生成された複数の静止画像を全てアルバムに含ませるようにした場合、単に、１枚の動画像のサムネイル画像が表示されていた箇所に、生成された複数の静止画像を貼り付けるといったことはできないため、複数の静止画像を含めたアルバムを再編集することにより生成するなどの処理が適宜行われる。
【０４３２】
［ファイル管理について］
ところで、上述した実施の形態においては、図２に示したように、静止画像ＤＢ３１と動画像ＤＢ３２をそれぞれ設け、静止画像と動画像を、それぞれのデータベースで、それぞれ管理するとした。また、静止画像と動画像を、それぞれのデータベースで管理しているときに、動画像が削除されると、図６１や図６３に示したフローチャートの処理が実行されるとした。
【０４３３】
すなわち、静止画像と動画像が、それぞれのデータベースで別々に管理されるために、動画像ＤＢ３２から所定の動画像が削除されたとき、その削除される動画像から抽出された静止画像が、静止画像ＤＢ３１に新たに記録されるといった処理が行われた。
【０４３４】
静止画像と動画像をそれぞれ異なるデータベースで管理するときだけでなく、静止画像と動画像を同じデータベースで管理したり、同じフォルダで管理したりするときであっても、勿論本発明を適用できる。
【０４３５】
静止画像と動画像を同じフォルダで管理した場合、例えば、図６４に示したようなデータ構成とすることができる。すなわち、図６４に示したフォルダ構成においては、フォルダとして、フォルダ１とフォルダ２が設けられている。フォルダ１は、“静止画像＿０１．ｊｐｇ”、“静止画像＿０２．ｊｐｇ”、“動画像＿０１．ｍｐｇ”を管理し、フォルダ２は、“静止画像＿０３．ｊｐｇ”、“静止画像＿０４．ｊｐｇ”、“静止画像＿０５．ｊｐｇ”、“静止画像＿０６．ｊｐｇ”、“動画像＿０２．ｍｐｇ”を管理している。
【０４３６】
このように、図６４に示したフォルダの構成例では、フォルダ１は、２枚の静止画像と１本の動画像を管理し、フォルダ２は、４枚の静止画像と１本の動画像を管理している。このように、１つのフォルダ内に、静止画像と動画像が管理されるようにしても良い。換言すれば、異なるフォルダやデータベースで、それぞれ静止画像と動画像を管理するのではなく、同一のフォルダやデータベースで、静止画像と動画像を管理するようにしても良い。
【０４３７】
図６４に示したフォルダ構成のときに、フォルダ１で管理されている“動画像＿０１．ｍｐｇ”が削除の対象され、上記したように、例えば、“動画像＿０１．ｍｐｇ”のシーンチェンジの箇所毎に静止画像が生成された場合、“動画像＿０１．ｍｐｇ”が削除された後には、図６５に示したようなフォルダ構成に変更される。
【０４３８】
“動画像＿０１．ｍｐｇ”が削除される際、“動画像＿０１．ｍｐｇ”から“静止画像＿０７．ｊｐｇ”と“静止画像＿０８．ｊｐｇ”が生成されると、図６５に示したように、“動画像＿０１．ｍｐｇ”の代わりに、“静止画像＿０７．ｊｐｇ”と“静止画像＿０８．ｊｐｇ”が、フォルダ１に記録される。
【０４３９】
このように、１つのフォルダ内で、静止画像と動画像が管理されているような場合には、削除された動画像の代わりに、削除された動画像から抽出された静止画像が記録される。
【０４４０】
このように、１つのフォルダ内で静止画像と動画像を管理するときの動画像の削除に関わる処理について、図６６のフローチャートを参照して説明する。
【０４４１】
ステップＳ２２１において、ユーザにより削除の対象とされた動画像に関連付けられていたフォルダが存在するか否かが判断される。ステップＳ２２１において、削除の対象とされた動画像に、関連付けられていたフォルダはないと判断された場合、ステップＳ２２２に処理が進められ、動画像が削除される。
【０４４２】
一方、ステップＳ２２１において、削除の対象とされた動画像に、関連付けられていたフォルダが存在すると判断された場合、ステップＳ２２３に処理が進められる。ステップＳ２２３において、動画像のシーンチェンジの箇所が抽出される。そして、ステップＳ２２４において、検出されたシーンチェンジの箇所に対応する静止画像が生成される。生成された静止画像は、ステップＳ２２５において、削除対象にされた動画像の代わりに、その動画像を管理していたフォルダ内に記録される。
【０４４３】
このように動画像から静止画像が生成され、フォルダ内に記録されると、ステップＳ２２２において、削除の対象とされた動画像がフォルダ内から削除される。
【０４４４】
このように、本実施の形態においては、動画像に関連付けられていたアルバムやフォルダがあった場合、その動画像が削除されるとき、その動画像から静止画像が生成される。そして、削除される動画像の代わりに、生成された静止画像が記録される。
【０４４５】
なお、図２に示したような静止画像ＤＢ３１と動画像ＤＢ３２が、それぞれ設けられ、静止画像と動画像がそれぞれ異なるデータベースで管理されるような場合であっても、上記したように（例えば、図３のフローチャートを参照して説明したように）、アルバムは、１つのフォルダに記録されている画像を対象として作成される。よって、フォルダ内で動画像と静止画像を管理する場合であっても、上述した実施の形態と同様の処理によりアルバムを作成することが可能である。
【０４４６】
例えば、図６４に示したようなファイル構造において、“フォルダ１”がアルバムの作成の対象とされたとき、“動画像＿０１．ｍｐｇ”から抽出される静止画像も含めたアルバムが、上記した実施の形態と同様に作成される。ただしこの場合、１つのフォルダ内に、動画像と静止画像が管理されているため、動画像ＤＢ３２を参照して動画像の撮影日時を読み出すといった処理（それに相当する処理）を省略することが可能であり、フォルダに記録されている画像の撮影日時を読み出すだけでよい。
【０４４７】
また、“動画像＿０１．ｍｐｇ”が削除された後も、図６４に示したように、フォルダ１には、“動画像＿０１．ｍｐｇ”から抽出された“静止画像＿０７．ｍｐｇ”と“静止画像＿０８．ｍｐｇ”が記録されているため、これらの静止画像を含めたアルバムが、上述した実施の形態と同様に作成される。
【０４４８】
すなわち、本発明は、フォルダ内に、動画像と静止画像を共存するような場合であっても、上述した処理と基本的に同様な処理で、アルバムを作成することができる。
【０４４９】
このように、比較的容量の大きなデータ（上記した例では、動画像のデータ）が削除されるとき、比較的容量の小さいデータ（上記した例では、静止画像のデータ）に変換され、その容量の大きなデータの代わりに用いられるようにすることで、上述したアルバムの例の場合のように、一度作成されたデータを有効利用したり、一度ユーザに提示されたデータを内容に変更が合ったとしても、以前に提示した状態に近い形で再度データを提示したりすることができるようになる。
【０４５０】
また、ここではアルバムの例を示したが、また、動画像や静止画像の場合を例に挙げて説明したが、このように、比較的容量の大きなデータが削除されるとき、比較的容量の小さいデータに変換され、その容量の大きなデータの代わりに用いられるようにすることは、アルバム、動画像、静止画像など、上記した例に限定されず適用することできる。
【０４５１】
また、上述した実施の形態においては、画像処理装置１を例に挙げて説明した。例えば、図６４に示したようなファイル構造は、例えば、パーソナルコンピュータなどでデータを管理するときのファイル構造と同じである。すなわち、パーソナルコンピュータなどにおいては、１つのフォルダで、異なる種類のデータを管理することがある。
【０４５２】
このようなことを考慮すると、図６４乃至図６６を参照して説明した処理、すなわち、比較的容量の大きなデータが削除されるとき、比較的容量の小さいデータに変換し、その容量の大きなデータの代わりに用いられるようにするといった処理は、画像処理装置１に限らず、パーソナルコンピュータなどにも適用できる処理である。
【０４５３】
［記録媒体について］
図６７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Central Processing Unit）１００１は、ＲＯＭ（Read Only Memory）１００２、または記憶部１００８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）１００３には、ＣＰＵ１００１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１００１、ＲＯＭ１００２、およびＲＡＭ１００３は、バス１００４により相互に接続されている。
【０４５４】
なお、ＣＰＵ１００１として、”Ｃｅｌｌ誕生”、日経エレクトロニクス、日経BP社、２００５年２月２８日、８９頁乃至１１７頁に記載されているＣｅｌｌを採用することができる。
【０４５５】
ＣＰＵ１００１にはまた、バス１００４を介して入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、キーボード、マウス、マイクロホンなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続されている。ＣＰＵ１００１は、入力部１００６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１００１は、処理の結果を出力部１００７に出力する。
【０４５６】
入出力インターフェース１００５に接続されている記憶部１００８は、例えばハードディスクからなり、ＣＰＵ１００１が実行するプログラムや各種のデータを記憶する。通信部１００９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０４５７】
また、通信部１００９を介してプログラムを取得し、記憶部１００８に記憶してもよい。
【０４５８】
入出力インターフェース１００５に接続されているドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア１０１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１００８に転送され、記憶される。
【０４５９】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０４６０】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図６７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１０１１、または、プログラムが一時的もしくは永続的に格納されるＲＯＭ１００２や、記憶部１００８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１００９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０４６１】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４６２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０４６３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０４６４】
【図１】本発明の画像処理装置の一実施の形態の構成を示す図である。
【図２】画像処理装置の制御部の構成の例を示すブロック図である。
【図３】アルバムの作成に係る処理について説明するフローチャートである。
【図４】背景テンプレートの例を示す図である。
【図５】配置テンプレートの例を示す図である。
【図６】配置テンプレートの例を示す図である。
【図７】配置テンプレートの例を示す図である。
【図８】配置テンプレートの例を示す図である。
【図９】配置テンプレートの例を示す図である。
【図１０】アルバムの所定のページの構成の例を示す図である。
【図１１】アルバムの所定のページの構成の他の例を示す図である。
【図１２】アルバムの構成の例を示す図である。
【図１３】クラスタの例を示す図である。
【図１４】階層構造の例を示す図である。
【図１５】画像の閲覧順序について説明する図である。
【図１６】クラスタリングに関わる処理を実行する部分の構成例である。
【図１７】二分木構造の作成について説明する図である。
【図１８】二分木構造の作成について説明する図１７に続く図である。
【図１９】二分木構造の作成について説明する図１８に続く図である。
【図２０】二分木構造の作成について説明する図１９に続く図である。
【図２１】二分木構造の作成について説明する図２０に続く図である。
【図２２】二分木構造の作成について説明する図２１に続く図である。
【図２３】二分木構造の作成について説明する図２２に続く図である。
【図２４】二分木構造の作成について説明する図２３に続く図である。
【図２５】二分木構造の作成について説明する図２４に続く図である。
【図２６】グループ化条件に基づくクラスタリングについて説明する図である。
【図２７】クラスタの粒度の例を示す図である。
【図２８】グループＡ分割フラグの設定の例を示す図である。
【図２９】グループ化条件Ａに基づくクラスタリング結果の例を示す図である。
【図３０】グループＢ分割フラグの設定の例を示す図である。
【図３１】グループ化条件Ｂに基づくクラスタリング結果の例を示す図である。
【図３２】クラスタの入れ子関係を示す図である。
【図３３】クラスタリングの処理について説明するフローチャートである。
【図３４】配置テンプレートの設定について説明するフローチャートである。
【図３５】クラスタリングの処理結果について説明する図である。
【図３６】配置テンプレートの設定について説明するフローチャートである。
【図３７】撮影間隔と配置テンプレートの関係について説明する図である。
【図３８】撮影間隔と配置テンプレートの関係について説明する図である。
【図３９】配置テンプレートの設定について説明するフローチャートである。
【図４０】撮影間隔と配置テンプレートの関係の具体例を示す図である。
【図４１】アスペクト比と画像の貼り付け領域の関係について説明する図である。
【図４２】アスペクト比と画像の貼り付け領域の関係について説明する図である。
【図４３】アスペクト比と画像の貼り付け領域の関係について説明する図である。
【図４４】静止画像のアスペクト比について説明する図である。
【図４５】縦長と横長の静止画像について説明する図である。
【図４６】画像の切り出しについて説明する図である。
【図４７】貼付領域のアスペクト比と画像の切り出し領域との関係を示す図である。
【図４８】不適切な切り出し領域について説明する図である。
【図４９】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５０】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５１】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５２】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５３】画像の切り出しに関するアルゴリズムについて説明する図である。
【図５４】画像の貼り付け処理について説明するフローチャートである。
【図５５】アルバムの表示処理について説明するフローチャートである。
【図５６】モニタに表示される画面例を示す図である。
【図５７】動画像の関連付けの処理について説明するフローチャートである。
【図５８】モニタに表示される画面例を示す図である。
【図５９】モニタに表示される画面例を示す図である。
【図６０】モニタに表示される画面例を示す図である。
【図６１】動画像の削除に関する処理について説明するフローチャートである。
【図６２】動画像の削除に関する処理について説明する図である。
【図６３】動画像の削除に関する処理について説明するフローチャートである。
【図６４】フォルダにおける画像の管理について説明する図である。
【図６５】フォルダにおける画像の管理について説明する図である。
【図６６】動画像の削除に関する処理について説明するフローチャートである。
【図６７】記録媒体について説明する図である。
【符号の説明】
【０４６５】
１ 画像処理装置， ２ モニタ， １８ 記録再生部， １９ 操作部， ２０ 制御部， ３１ 静止画像ＤＢ， ３２ 動画像ＤＢ， ３３ テンプレートＤＢ， ３４ コンテンツＤＢ， ５１ 選択部， ５２ 記録再生制御部， ５３ 表示制御部， ５４ コンテンツ作成部， ７１ 演算部， ７２ テンプレート設定部， ９１ クラスタリング部， ９２ 階層決定部
【特許請求の範囲】
【請求項１】
画像の配置を決定するテンプレートを管理する管理手段と、
第１の画像の一部を切り出す切り出し手段と、
前記切り出し手段により前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置手段と
を備え、
前記切り出し手段は、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す
画像処理装置。
【請求項２】
前記第１の画像から顔と判断される領域を検出する検出手段をさらに備え、
前記切り出し手段は、前記検出手段で検出された前記顔と判断される領域を含む領域で前記第２の画像を切り出す
請求項１に記載の画像処理装置。
【請求項３】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、最大の領域を有する顔を含む領域で前記第２の画像を切り出す
請求項２に記載の画像処理装置。
【請求項４】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、それらの領域を最も多く含む領域で前記第２の画像を切り出す
請求項２に記載の画像処理装置。
【請求項５】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、最も顔である確率が高い領域を含む領域で前記第２の画像を切り出す
請求項２に記載の画像処理装置。
【請求項６】
前記検出手段は、前記第１の画像に含まれる顔の特徴をさらに検出し、
前記切り出し手段は、前記特徴が特定の条件を満たす顔を含む領域で前記第２の画像を切り出す
請求項２に記載の画像処理装置。
【請求項７】
画像の配置を決定するテンプレートを管理する管理ステップと、
第１の画像の一部を切り出す切り出しステップと、
前記切り出しステップの処理で前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置ステップと
を含み、
前記切り出しステップは、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す
画像処理方法。
【請求項８】
画像の配置を決定するテンプレートを管理する管理ステップと、
第１の画像の一部を切り出す切り出しステップと、
前記切り出しステップの処理で前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置ステップと
を含み、
前記切り出しステップは、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す
処理をコンピュータに実行させるプログラム。
【請求項１】
画像の配置を決定するテンプレートを管理する管理手段と、
第１の画像の一部を切り出す切り出し手段と、
前記切り出し手段により前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置手段と
を備え、
前記切り出し手段は、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す
画像処理装置。
【請求項２】
前記第１の画像から顔と判断される領域を検出する検出手段をさらに備え、
前記切り出し手段は、前記検出手段で検出された前記顔と判断される領域を含む領域で前記第２の画像を切り出す
請求項１に記載の画像処理装置。
【請求項３】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、最大の領域を有する顔を含む領域で前記第２の画像を切り出す
請求項２に記載の画像処理装置。
【請求項４】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、それらの領域を最も多く含む領域で前記第２の画像を切り出す
請求項２に記載の画像処理装置。
【請求項５】
前記切り出し手段は、前記検出手段により前記顔と判断される領域が複数検出された場合、最も顔である確率が高い領域を含む領域で前記第２の画像を切り出す
請求項２に記載の画像処理装置。
【請求項６】
前記検出手段は、前記第１の画像に含まれる顔の特徴をさらに検出し、
前記切り出し手段は、前記特徴が特定の条件を満たす顔を含む領域で前記第２の画像を切り出す
請求項２に記載の画像処理装置。
【請求項７】
画像の配置を決定するテンプレートを管理する管理ステップと、
第１の画像の一部を切り出す切り出しステップと、
前記切り出しステップの処理で前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置ステップと
を含み、
前記切り出しステップは、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す
画像処理方法。
【請求項８】
画像の配置を決定するテンプレートを管理する管理ステップと、
第１の画像の一部を切り出す切り出しステップと、
前記切り出しステップの処理で前記第１の画像より切り出された第２の画像を前記テンプレートに配置する配置ステップと
を含み、
前記切り出しステップは、前記テンプレートの画像を配置する領域のアスペクト比を維持した領域で、かつ、前記第１の画像を最大限に含むように前記第１の画像から前記第２の画像を切り出す
処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【公開番号】特開２００８−６５７９３（Ｐ２００８−６５７９３Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００６−２４６１７５（Ｐ２００６−２４６１７５）
【出願日】平成１８年９月１１日（２００６．９．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１８年９月１１日（２００６．９．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]