アルバム作成装置、アルバム作成方法、及びプログラム
【課題】望ましい撮像対象をアルバムにおいて強調してレイアウトすること。
【解決手段】アルバム作成装置は、複数の画像を格納する画像格納部と、画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部と、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数のオブジェクト毎に、オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部と、オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部とを備える。
【解決手段】アルバム作成装置は、複数の画像を格納する画像格納部と、画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部と、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数のオブジェクト毎に、オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部と、オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アルバム作成装置、アルバム作成方法、及びプログラムに関する。特に本発明は、アルバムを作成するアルバム作成装置及びアルバム作成方法、並びに、アルバム作成装置用のプログラムに関する。
【背景技術】
【０００２】
旅行先で撮影した画像データに付帯された位置情報、撮影時間情報等のタグ情報を元にして、画面の中心に旅行先の地図を配置して、地図の周囲に配置された画像と地図上における撮像位置とを線で結ぶなどして、地図と画像との関連がわかるようにレイアウトされたアルバムを作成するアルバム作成システムが知られている（例えば、特許文献１参照。）。
【特許文献１】特開平１０−１２６７３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１の技術によってアルバムを作成したとき、例えば観光地の最も代表的なモニュメントなど、撮像者が興味を持った被写体が写った画像がページの端の方に小さくレイアウトされてしまい、撮像者にとってさほど興味を持っていない被写体が写った画像がページの中央に大きくレイアウトされてしまう場合がある。このようなアルバムは撮像者の意図と違ったものになってしまう。したがって、アルバムを作成するときには、撮像者が興味を持って撮像した画像がページの中央などにレイアウトされるのが望ましい。しかし、アルバムの作成者は、撮像された画像の内容を見て、撮像者がどの画像に興味を持って撮像したかを判断して画像をレイアウトする必要があるので、アルバムの作成に手間がかかってしまうという課題があった。
【０００４】
そこで本発明は、上記の課題を解決することができるアルバム作成装置、アルバム作成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態におけるアルバム作成装置は、複数の画像を格納する画像格納部と、画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部と、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数のオブジェクト毎に、オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部と、オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部とを備える。
【０００６】
オブジェクト画像数算出部が算出した画像の数が予め定められた基準数より多いオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部が格納している複数の画像から選択する主画像選択部と、主画像選択部が選択した主画像の内容に基づいて、主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部が格納している複数の画像から選択する従画像選択部とをさらに備え、レイアウト決定部は、主画像選択部が選択した主画像を、従画像選択部が選択した従画像より強調してレイアウトしてよい。
【０００７】
レイアウト決定部は、オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトしてよい。
【０００８】
オブジェクト画像数算出部が算出した画像の数が予め定められた基準数より多いオブジェクトの領域画像をトリミングするトリミング部をさらに備え、レイアウト決定部は、トリミング部がトリミングしたオブジェクトの領域画像をアルバムにレイアウトしてよい。
【０００９】
オブジェクト画像数算出部は、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数のオブジェクト毎に、オブジェクト抽出部が抽出したオブジェクトと同一の種類のオブジェクトが含まれる画像の数を算出し、レイアウト決定部は、オブジェクト画像数算出部が算出した画像の数がより多い種類のオブジェクトを、アルバムにおいてより強調してレイアウトしてよい。
【００１０】
オブジェクト抽出部が抽出したオブジェクトが人物であるか否かを認識する人物認識部をさらに備え、オブジェクト画像数算出部は、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数の人物毎に、オブジェクト抽出部が抽出した人物と同一の人物が含まれる画像の数を算出し、レイアウト決定部は、オブジェクト画像数算出部が算出した画像の数がより多い人物を、アルバムにおいてより強調してレイアウトしてよい。
【００１１】
本発明の第２の形態におけるアルバム作成方法は、複数の画像を格納する画像格納段階と、画像格納段階において格納されている複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出段階と、画像格納段階において格納されている複数の画像のうち、オブジェクト抽出段階において抽出された複数のオブジェクト毎に、オブジェクト抽出段階において抽出されたオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出段階と、オブジェクト画像数算出段階において算出された画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定段階とを備える。
【００１２】
本発明の第３の形態によると、アルバムを作成するアルバム作成装置用のプログラムであって、アルバム作成装置を、複数の画像を格納する画像格納部、画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数のオブジェクト毎に、オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部、オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部として機能させる。
【００１３】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１４】
本発明によれば、望ましい撮像対象をアルバムにおいて強調してレイアウトすることができる。
【発明を実施するための最良の形態】
【００１５】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は、本発明の一実施形態に係るアルバム作成装置１００の利用環境の一例を示す。撮像装置１１０は、ユーザ１８０が画像を撮像すべくレリーズボタンを押したときに、撮像された画像に撮像時刻及び撮像位置をタグ情報として付帯させて記録する。そして、アルバム作成装置１００は、撮像装置１１０から半導体メモリ等の記録媒体、インターネット、無線ＬＡＮ等の通信回線１５０を介して画像を受け取る。そして、アルバム作成装置１００は、受け取った画像の中から画像を選択してレイアウトして、プリンタ、ディスプレイ等にアルバムとして出力させる。
【００１７】
アルバム作成装置１００は、互いに近い時刻に撮像された画像若しくは互いに近い位置で撮像された画像がアルバムのページに収められるように、アルバムの各ページに画像を割り振る。このとき、アルバム作成装置１００は、画像が撮像された撮像位置の分布に地理的な偏りがある場合には、撮像位置が近い画像がページに収めらるよう画像を割り振る。また、地理的な偏りがない場合には、撮像時刻が近い画像がページに収められるよう画像を割り振る。
【００１８】
そしてアルバム作成装置１００は、各ページに割り振られた複数の画像の中で、頻繁に登場する被写体が写っている画像を、各ページを代表する主画像として選択する。また、アルバム作成装置１００は、各ページに割り振られた複数の画像の中で、より被写体が動きのある画像を、主画像として選択する。そして、アルバム作成装置１００は、各ページの主画像に写った人物の友人等、主画像の被写体と関連する被写体が写った画像を、主画像の周囲に配置する従画像として選択する。また、アルバム作成装置１００は、各ページにおける主画像に写った人物以外の被写体が写った画像を従画像として選択する。そして、アルバム作成装置１００は、アルバムの各ページにおいて、主画像を従画像よりも大きくより中央寄りに配置する等のレイアウトをしてアルバムを出力する。
【００１９】
なお、アルバム作成装置１００は、複数の画像を含むアルバムを作成して印刷する装置であってもよいし、複数の画像を同時に画面に表示する装置であってもよい。例えばアルバム作成装置１００は、パーソナルコンピュータ、電子アルバム、ＨＤＴＶ、プリンタ等であってよい。
【００２０】
以上説明したアルバム作成装置１００によれば、撮像位置又は撮像時刻が近い画像を同じページに割り振るので、閲覧者にとって違和感のないアルバムを作成することができる。また、アルバム作成装置１００は、より多くの画像に写っている人物、より大きいアクションをして写っている人物等を被写体として含む画像を主画像としてレイアウトするので、より特徴的な画像が強調されたアルバムを作成することができる。また、各ページにおいて主画像に写った人物と関連の深い人物が写った画像が従画像として自動的に選択されるので、各ページの画像の組合せを適切なものにすることができる。このため、ユーザ１８０は、手間をかけることなくアルバムを手にすることができる。
【００２１】
図２は、アルバムのページのレイアウト結果３００の一例を示す。本実施形態でいう主画像とは、閲覧者に対してページにおいて最も強く印象づけることが意図されている画像をいう。例えば主画像とは、ページに配置された複数の画像のうち、最も強調された画像であってよい。具体的には、主画像とは、他の画像に比べてサイズが大きい画像、他の画像に比べて前面に配置される画像、最も中央寄りに配置される画像であってよい。他にも主画像とは、周囲を枠で強調された画像であったり、被写体にエフェクト等の視覚効果が施された画像であってもよい。また、本実施形態でいう従画像とは、主画像よりも小さく、中央より外に配置される画像であってよい。図２の例においては、画像３０１が主画像の一例であって、画像３０２、３０３、及び、３０４は従画像の一例を示す。なお、アルバム作成装置１００は、画像の中から特定の被写体をトリミングして、レイアウトしてもよい。例えば、画像３０５は、特定の被写体をトリミングしてレイアウトされた画像の一例を示す。
【００２２】
なお、ページには、それぞれテーマがあることが好ましい。テーマは、閲覧者に訴えたい内容であり、例えば、公園の美しさ等の特定の場所の情景であったり、ある場所における人物の心情の動きであったり、犬のかわいらしさ等の特定のオブジェクトの様子であったりする。いずれの場合でも、ページのテーマは主画像によって決定される。そして、主画像が決まると、同一のテーマの従画像を選択することができる。
【００２３】
なお、アルバム作成装置１００は、ページ内に画像をはめ込むべき画像枠が定められた複数のテンプレートを有していて、テンプレートで示される画像枠に対して画像をはめ込むことによってアルバムを作成してもよい。この場合、当該テンプレートには、主画像をはめ込むべき主画像用の画像枠が予め決定されてもよい。また、アルバム作成装置１００は、主画像をはめ込むべき画像枠の重要度を、画像枠の位置、大きさ、及び深さに基づいて判断し、重要度の高い画像枠に主画像をはめ込んでもよい。具体的には、アルバム作成装置１００は、画像枠の位置、大きさ、及び深さを変数として、閲覧者への印象度に応じて各変数に重みを付け、当該変数に基づいて画像枠の重要度を判断してよい。なお、アルバム作成装置１００は、画像の形、画像の傾き等をパラメータとして有する画像枠（例えば画像３０３がはめ込まれている画像枠）が定義されたテンプレートを有してもよい。
【００２４】
なお、本実施形態におけるページとは、アルバムの見開きページのことであってよく、アルバムの見開きの片方のページであってもよい。また、アルバム作成装置１００が、ディスプレイ等の表示デバイスにアルバムとして出力する装置である場合においては、ページとは、表示デバイスに複数の画像が同時に表示される表示領域のことであってよい。
【００２５】
図３は、アルバム作成装置１００のブロック構成の一例を示す。アルバム作成装置１００は、画像格納部２０２、オブジェクト抽出部２０６、オブジェクト画像数算出部２０８、レイアウト決定部２１０、主画像選択部２１２、従画像選択部２２２、トリミング部２２４、人物認識部２３０、動作量算出部２３２、面積輪郭比算出部２３４、画像分類部２４０、類似度算出部２４２、撮像時刻分布算出部２５２、撮像位置分布算出部２５４、重要性判断部２６０、関連性判断部２７２、及び距離算出部２７４を備える。画像分類部２４０は、撮像時刻分類部２６２及び撮像位置分類部２６４を有する。レイアウト決定部２１０は、配置位置決定部２８２及びサイズ決定部２８４を有する。
【００２６】
画像格納部２０２は、複数の画像を格納する。また、画像格納部２０２は、画像と、当該画像の撮像時刻及び撮像位置とを対応づけて格納する。具体的には、撮像装置１１０が撮像したタイミングで撮像時刻及び撮像位置を画像のタグ情報として記録する。そして、アルバム作成装置１００は、撮像時刻及び撮像位置が記録された画像を撮像装置１１０から受け取って格納する。なお、撮像画像は、画像の一例である。
【００２７】
撮像位置分布算出部２５４は、画像格納部２０２が格納している複数の画像の撮像位置に基づいて、画像格納部２０２が格納している複数の画像の撮像位置分布を算出する。また、撮像時刻分布算出部２５２は、画像格納部２０２が格納している複数の画像の撮像時刻に基づいて、画像格納部２０２が格納している複数の画像の撮像時刻分布を算出する。
【００２８】
画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像の撮像環境に基づくイベント毎に分類する。イベントとは、例えば、撮像時刻、撮像位置等であってよい。具体的には、画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像の撮像時刻に応じて、アルバムにおけるページ毎に分類する。また、画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像の撮像位置に応じて、アルバムにおけるページ毎に分類する。
【００２９】
具体的には、画像分類部２４０は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。また、画像分類部２４０は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。
【００３０】
このとき、画像分類部２４０は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。また、画像分類部２４０は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。そして、レイアウト決定部２１０は、画像分類部２４０がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトする。
【００３１】
主画像選択部２１２は、アルバムにおいて主要な画像となるべき主画像を、画像格納部２０２が格納している複数の画像から選択する。そして、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部２０２が格納している複数の画像から選択する。具体的には、主画像選択部２１２は、画像分類部２４０が分類したイベント毎に主画像をそれぞれ選択する。そして、従画像選択部２２２は、画像分類部２４０が分類したイベント毎に従画像をそれぞれ選択する。
【００３２】
より具体的には、主画像選択部２１２は、アルバムの所定のページにおいて主要な画像となるべき主画像を、画像分類部２４０が所定のページに分類した画像から選択する。そして、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムの所定のページにおいて従属する画像となるべき従画像を、画像分類部２４０が所定のページに分類した画像から選択する。具体的には、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の内容に基づいて、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像を、アルバムにおける所定のページにレイアウトする。
【００３３】
より具体的には、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の内容に基づいて、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の、アルバムにおけるレイアウトを決定する。具体的には、配置位置決定部２８２は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の、アルバムにおける配置位置を決定する。サイズ決定部２８４は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の、アルバムにおけるサイズを決定する。より具体的には、サイズ決定部２８４は、主画像選択部２１２が選択した主画像のサイズを、従画像選択部２２２が選択した従画像のサイズより大きく決定する。
【００３４】
類似度算出部２４２は、主画像選択部２１２が選択した主画像と、主画像選択部２１２が選択した主画像と同一のイベントに分類された他の画像のそれぞれとの類似度を算出する。そして、従画像選択部２２２は、画像分類部２４０が分類したイベント毎に、主画像選択部２１２が選択した主画像との類似度が小さい画像を従画像として選択する。類似度とは、撮像されたときの合焦距離、撮像時刻、撮像位置、又は撮像された画像の色相等を指標にするものであってよい。このため、同じページに収められる画像が、例えば同じ撮像場所で撮像された画像ばかりになってしまったり、遠方を写した画像ばかりになってしまったりすることを防ぐことができる。
【００３５】
他にも、従画像選択部２２２は、主画像選択部２１２が選択した主画像の被写体と異なる被写体を含む画像を従画像として選択する。例えば、従画像選択部２２２は、主画像の被写体が海であるときには、人物が写った画像を従画像として選択する。このため、主画像と従画像の内容が重複してしまうことを未然に防ぐことができる。また、従画像選択部２２２は、主画像選択部２１２が選択した主画像の被写体である人物と異なる人物を被写体として含む画像を従画像として選択する。このため、同じページに同一人物が写った画像ばかりになることを防ぐことができる。また、従画像選択部２２２は、画像分類部２４０が分類したイベントに属する画像の数がより多い場合により多い数の従画像を選択する。このため、撮像者が興味を持って沢山撮像するほど、沢山の従画像をレイアウトするので、撮像者にとって望ましいアルバムを提供することができる。
【００３６】
重要性判断部２６０は、画像格納部２０２が格納している複数の画像における撮像時刻及び撮像位置の重要性を判断する。具体的には、重要性判断部２６０は、撮像位置分布算出部２５４が算出した撮像位置分布の偏りが予め定められた基準値より大きい場合に、撮像位置が撮像時刻よりも重要性が高いと判断する。例えば、観光地を移動しながら撮像した旅行記録と、家庭で撮像した成長記録の場合を比較すると、旅行記録の撮像位置の分布は成長記録の場合に比べて広い分布となり、かつ偏った撮像位置で撮像された分布になる。この場合、重要性判断部２６０は、撮像位置の偏りを検出した場合に、撮像位置の重要性が撮像時刻の重要性よりも大きいと判断する。なお、アルバム作成装置１００は、撮像位置と撮像時刻とのどちらが重要性が高いかをユーザ１８０に指示させてもよい。
【００３７】
撮像位置分類部２６４は、重要性判断部２６０によって撮像位置が撮像時刻よりも重要性が高いと判断された場合に、画像格納部２０２が格納している撮像位置に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。撮像時刻分類部２６２は、重要性判断部２６０によって撮像時刻が撮像位置よりも重要性が高いと判断された場合に、画像格納部２０２が格納している撮像時刻に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。
【００３８】
なお、撮像位置分類部２６４は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。また、撮像時刻分類部２６２は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。
【００３９】
主画像選択部２１２は、アルバムの所定のページにおいて主要な画像となるべき主画像を、撮像時刻分類部２６２又は撮像位置分類部２６４が所定のページに分類した画像から選択する。また、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムの所定のページにおいて従属する画像となるべき従画像を、撮像時刻分類部２６２又は撮像位置分類部２６４が所定のページに分類した画像から選択する。そして、レイアウト決定部２１０は、撮像時刻分類部２６２又は撮像位置分類部２６４がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトする。
【００４０】
オブジェクト抽出部２０６は、画像格納部２０２が格納している複数の画像にそれぞれ含まれる複数のオブジェクトを抽出する。具体的には、オブジェクト抽出部２０６は、画像に対してエッジ抽出等によって被写体の輪郭を抽出して、当該被写体の領域をオブジェクトとして抽出する。そして、オブジェクト画像数算出部２０８は、画像格納部２０２が格納している複数の画像のうち、オブジェクト抽出部２０６が抽出した複数のオブジェクト毎に、オブジェクト抽出部２０６が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出する。
【００４１】
そして、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトする。具体的には、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多いオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする。
【００４２】
より具体的には、主画像選択部２１２は、オブジェクト画像数算出部２０８が算出した画像の数が予め定められた基準数より多いオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部２０２が格納している複数の画像から選択する。そして、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像を、従画像選択部２２２が選択した従画像より強調してレイアウトする。
【００４３】
また、トリミング部２２４は、オブジェクト画像数算出部２０８が算出した画像の数が予め定められた基準数より多いオブジェクトの領域画像をトリミングする。そして、レイアウト決定部２１０は、トリミング部２２４がトリミングしたオブジェクトの領域画像をアルバムにレイアウトする。
【００４４】
オブジェクト画像数算出部２０８は、画像格納部２０２が格納している複数の画像のうち、オブジェクト抽出部２０６が抽出した複数のオブジェクト毎に、オブジェクト抽出部２０６が抽出したオブジェクトと同一の種類のオブジェクトが含まれる画像の数を算出する。そして、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多い種類のオブジェクトを、アルバムにおいてより強調してレイアウトする。例えば、オブジェクト画像数算出部２０８は、撮像場所又は撮像時刻が近いと同一種類であると判断してよい。この場合、ユーザ１８０が同じ場所において連続して撮像した画像同士が同一種類の画像として判断されて、アルバムにおいて強調されてレイアウトされるので、ユーザ１８０の撮像意図をアルバムに適切に反映することができる。
【００４５】
人物認識部２３０は、オブジェクト抽出部２０６が抽出したオブジェクトが人物であるか否かを認識する。人物認識部２３０は、エッジ抽出等によって抽出されたオブジェクトの輪郭のパターンと、予め定めた人間の体のパターンとのパターンマッチング等によって、オブジェクトが人物であるか否かを判断する。また、人物認識部２３０は、顔の輪郭形状、或いは、眼、鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、又はそれぞれの部位の間の位置関係等に基づいて人物を識別する。
【００４６】
そして、オブジェクト画像数算出部２０８は、画像格納部２０２が格納している複数の画像のうち、オブジェクト抽出部２０６が抽出した複数の人物毎に、オブジェクト抽出部２０６が抽出した人物と同一の人物が含まれる画像の数を算出する。そして、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多い人物を、アルバムにおいてより強調してレイアウトする。例えば、主画像選択部２１２が当該人物を含む画像を主画像として選択して、レイアウト決定部２１０が、当該画像を主画像として強調してレイアウトする。このため、より多くの画像に被写体として写っている人物を強調してレイアウトさせることができる。
【００４７】
なお、オブジェクト画像数算出部２０８は、オブジェクトの種類に応じて、同一又は類似のオブジェクトとして判断する判断基準を予め定めておく。例えば、オブジェクトが人物認識部２３０によって人物と判断された場合には、同一人物を同一のオブジェクトとして扱う。また、オブジェクトが直方体であって、実寸法が大きい等の特徴を持つオブジェクトについては、当該オブジェクトをビル等の建物として判断し、全く同一の建物でなくても類似のオブジェクトとして扱う。このようにして、オブジェクト画像数算出部２０８は、被写体の人物に対しては人物毎に画像をカウントし、ビル等に対しては建物という分類毎に画像をカウントすることによって、閲覧者にとって望ましい分類で画像をカウントすることができる。
【００４８】
なお、画像格納部２０２は、画像格納部２０２が格納している複数の画像のそれぞれに対応づけて、画像格納部２０２が格納している画像の前又は後に連続して撮像された予備画像をさらに格納している。具体的には、撮像装置１１０が、ユーザ１８０によってレリーズボタンが押下される前及び又はのタイミングで予備画像を撮像しておき、レリーズボタンが押下されたタイミングで撮像された画像に対応づけて当該予備画像を記録する。そして画像格納部２０２は、撮像装置１１０から画像及び予備画像を受け取って格納する。オブジェクト抽出部２０６は、画像格納部２０２が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出する。
【００４９】
動作量算出部２３２は、オブジェクト抽出部２０６が抽出したオブジェクトの動作の大きさを示す動作量を算出する。具体的には、動作量算出部２３２は、画像格納部２０２が格納している画像と予備画像とを比較することにより、オブジェクト抽出部２０６が抽出したオブジェクトの動作量を算出する。面積輪郭比算出部２３４は、画像におけるオブジェクトの面積に対する、画像におけるオブジェクトの輪郭線の長さを算出する。そして、動作量算出部２３２は、面積輪郭比算出部２３４の算出結果がより大きい場合に、オブジェクトの動作量をより大きく算出する。
【００５０】
そして、レイアウト決定部２１０は、動作量算出部２３２が算出した動作量がより大きいオブジェクトを、アルバムにおいてより強調してレイアウトする。例えば、レイアウト決定部２１０は、動作量算出部２３２が算出した動作量がより大きいオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする。具体的には、レイアウト決定部２１０は、動作量算出部２３２が算出した動作量がより大きいオブジェクトを主画像としてレイアウトする。このため、より大きなアクションをしている人物が強調されたアルバムを作成することができる。
【００５１】
具体的には、主画像選択部２１２は、動作量算出部２３２が算出した動作量が予め定められた基準量より大きいオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部２０２が格納している複数の画像から選択する。そして、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部２０２が格納している複数の画像から選択する。そして、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像を従画像選択部２２２が選択した従画像より強調してレイアウトする。なお、トリミング部２２４は、動作量算出部２３２が算出した動作量が予め定められた基準量より大きいオブジェクトの領域画像をトリミングしてよい。
【００５２】
距離算出部２７４は、オブジェクト抽出部２０６によって抽出された第１のオブジェクトと第２のオブジェクトとが含まれる画像における、第１のオブジェクトと第２のオブジェクトとの距離を算出する。なお、距離算出部２７４は、第１のオブジェクトと第２のオブジェクトとの実空間における距離を算出してもよい。例えば、距離算出部２７４は、画像領域毎の合焦距離を画像とともに記録しておき、当該画像領域毎の合焦距離及びオブジェクトの画像上の位置に基づいて、実空間における位置をオブジェクト毎に算出して、実空間におけるオブジェクト同士の距離を算出してよい。
【００５３】
関連性判断部２７２は、画像格納部２０２が格納している複数の画像において、オブジェクト抽出部２０６が抽出した第１のオブジェクトと第２のオブジェクトとが含まれる画像の数が予め定められた基準数より多い場合に、第１のオブジェクトと第２のオブジェクトとの関連性が高いと判断する。また、関連性判断部２７２は、距離算出部２７４が算出した距離がより近い場合に、第１のオブジェクトと第２のオブジェクトとの関連性がより高いと判断してよい。なお、関連性判断部２７２は、人物認識部２３０が人物であると認識したオブジェクト同士の関連性を、人物認識部２３０が人物でないと認識したオブジェクト同士の関連性より高く判断してよい。このため、例えば友人同士でグループ旅行に行った場合において、友人同士が同じ画像に写っている画像が沢山あると、関連性判断部２７２によって当該友人同士の関連性をより高く判断することができる。
【００５４】
そして、従画像選択部２２２は、関連性判断部２７２によって主画像選択部２１２が選択した主画像に含まれる第１のオブジェクトと関連性が高いと判断された第２のオブジェクトを含む画像を、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像として、画像格納部２０２が格納している複数の画像から選択する。
【００５５】
なお、撮像装置１１０は、アルバム作成装置１００として機能してもよい。例えば、撮像装置１１０は、撮像装置１１０が撮像した複数の画像からアルバムを作成してよい。例えば撮像装置１１０は、作成したアルバムデータをモニタ画面に表示したり、インターネット等の通信回線１５０を介して撮像装置１１０以外の出力デバイスにアルバムデータを出力してもよい。
【００５６】
以上説明したアルバム作成装置１００によれば、画像を適切に分類して各ページに割り振って、その中から代表的な画像を選択して各ページの主画像としたアルバムを作成することができる。また、アルバム作成装置１００は、各ページに収められる主画像と従画像の内容の組合せを、閲覧者にとって望ましい組合せにすることができる。したがって、ユーザ１８０は、手間をかけることなく望ましいアルバムを得ることができる。
【００５７】
図４は、アルバムを作成する処理フローの一例を示す。画像分類部２４０は、画像を各ページに分類する（Ｓ４０２）。主画像選択部２１２は、Ｓ４０２において各ページに分類された画像の中から、主画像を選択する（Ｓ４０４）。そして、従画像選択部２２２は、Ｓ４０２において各ページに分類された画像の中から、主画像の内容に基づいて従画像を選択する（Ｓ４０６）。そして、レイアウト決定部２１０は、Ｓ４０４で選択された主画像をレイアウトする（Ｓ４０８）。そして、レイアウト決定部２１０は、Ｓ４０６で選択された従画像をレイアウトする（Ｓ４１０）。なお、アルバム作成の手順は、図４で示した手順以外にも、主画像のレイアウトを決定してから、当該レイアウトに基づいて収めるべき従画像の枚数を決定してよい。そして、アルバム作成装置１００は、当該従画像の枚数に応じて従画像を選択し、従画像をレイアウトしてもよい。
【００５８】
図５は、画像を分類する処理フローの一例を示す。図５は、図４における画像を分類する処理（Ｓ４０２）の詳細を示す。撮像時刻分布算出部２５２は、複数の画像の撮像位置の分布を算出する（Ｓ５０２）。そして、撮像位置分布算出部２５４は、複数の画像の撮像位置の分布を算出する（Ｓ５０４）。そして、重要性判断部２６０は、Ｓ５０２において算出された撮像位置の分布に基づいて、撮像位置の偏りを計算する（Ｓ５０６）。
【００５９】
そして、重要性判断部２６０は、Ｓ５０６において計算された撮像位置分布の偏りが、予め定められた基準値よりも大きいか否かを判断する（Ｓ５０８）。Ｓ５０８において、撮像位置分布の偏りが予め定められた基準値よりも大きい場合、重要性判断部２６０は、撮像位置分布に基づいて、各ページに画像を割り振る（Ｓ５１０）。なお、Ｓ５０８において、撮像位置の偏りが予め定められた基準値以下である場合、重要性判断部２６０は、撮像時刻分布に基づいて各ページに画像を割り振る（Ｓ５１２）。以上説明した画像の分類処理によって、画像が撮像された地域毎のページに画像を割り当てたり、画像を撮像した日毎のページに画像を割り当てることができる。したがって、閲覧者にとって所望の分類でアルバムを作成することができる。
【００６０】
図６は、撮像位置分布によるページ分けが望ましいケースの一例を示す。図６は、長崎、広島、京都、東京を訪れて、それぞれの地域で集中的に撮像した画像を用いてアルバムを撮像するケースを示す。このケースにおいては、訪れた各地で撮像しており、各地における撮像活動の位置的な範囲を十分に超える距離を移動して、次の観光地に移動している。このような場合、重要性判断部２６０は撮像位置の偏りを大きく判定して、撮像位置が撮像時刻よりも重要であると判断する。このようにして、アルバム作成装置１００は、画像の撮像位置に応じて、画像を地域別のページに適切に割り振ることができる。
【００６１】
図７は、撮像時刻によるページ分けが望ましいケースの一例を示す。図６は、例えば子供の成長記録用の画像を撮像した場合等のように、ユーザ１８０が略同一の地域で撮像しており、撮像した時期が広く分散しているケースを示す。この場合、重要性判断部２６０は、撮像位置の偏りを小さく判定して、撮像位置の重要性より撮像時刻の重要性が大きいと判断する。このようにして、アルバム作成装置１００は、子供の成長記録用に撮像した画像を撮像時期で分類して、各ページが撮像時期の順に並んでいるアルバムを作成することができる。このためユーザ１８０は、ページをめくる毎に、子供が成長していく様子を見ることができるので、違和感を感じることなく楽しくアルバムを閲覧することができる。なお、アルバム作成装置１００は、撮像時刻分布に基づいて画像を分類する場合であっても、同一ページ内に分類された画像を、撮像時刻分布基づいてレイアウトしなくてもよい。
【００６２】
図８は、重要性判断部２６０が撮像位置分布の重要性を判断する方法の一例を示す。撮像位置分布算出部２５４は、画像格納部２０２に格納されている画像のそれぞれについて、画像が撮像された撮像位置と、当該画像より以前の直近の時刻に撮像された画像の撮像位置との間の距離を、画像を撮像するために移動した移動距離として算出する。そして、撮像位置分布算出部２５４は、算出した移動距離に対する画像の枚数分布を算出する。
【００６３】
そして、重要性判断部２６０は、算出した枚数分布に基づいて、移動距離の分散値よりも予め定められた係数を乗じた移動距離以上の移動距離で撮像された画像の枚数を計算して、当該枚数の全体の枚数に占める割合を、撮像位置分布の偏りとして計算する。これにより、重要性判断部２６０は、例えばユーザ１８０が欧州各国の首都を訪れた記録アルバムを作成する場合、撮像位置が撮像時刻より重要であると判断することができる。
【００６４】
図９は、撮像時刻分布に基づく画像のページ分けの一例を示す。撮像時刻分類部２６２は、撮像された画像の枚数をアルバムの総ページ数で割った値を、一ページに割り振るべき画像数として計算する。例えば図９の例では、４．５枚と判断する。そして、撮像時刻分布算出部２５２は、画像格納部２０２に格納されている画像を撮像時刻の順に撮像時間の間隔を計算する。
【００６５】
そして、撮像時刻分類部２６２は、撮像時間の間隔の長い順（Δｔ９０１、Δｔ９０３、Δｔ９０２、・・・）に画像群に分類していく。例えば、撮像間隔Δｔ９０１の位置において、画像群Ａが他の画像群と分離されて分類される。そして、撮像時刻分類部２６２は、分類された画像群の画像数が一ページに割り振るべき画像数と略同一となる分類を決定して、決定した分類における各画像群を同一ページに割り当てる。図９の例では、撮像時刻分類部２６２は、画像群ＡとＢに含まれる画像、画像群Ｃに含まれる画像、画像群Ｄに含まれる画像を、それぞれ同一のページに分類する。このようにして撮像時刻分類部２６２が撮像時刻の分布に基づいて画像を各ページに分類することによって、近い時刻で撮像された画像が全く離れたページに収められてしまうことを未然に防ぎつつ、適切にページに割り振ることができる。
【００６６】
図１０は、撮像位置分布に基づく画像のページ分けの一例を示す。撮像位置分類部２６４は、画像格納部２０２に格納されている画像を撮像時刻の順に撮像位置の間隔を計算する。撮像時刻分類部２６２は、撮像位置の間隔の長い順（Ｄ１００４、Ｄ１００２、Ｄ１００３、・・・）に画像群に分類していく。例えば、撮像間隔Ｄ１００４の位置において、画像群Ａ、Ｂ及びＣが、画像群Ｄと分離されて分類される。そして、撮像時刻分類部２６２は、分類された画像群の画像数が一ページに割り振るべき画像数と略同一となる分類を決定して、決定した分類における各画像群を同一ページに割り当てる。図１０の例では、撮像位置分類部２６４は、画像群ＡとＢに含まれる画像、画像群Ｃに含まれる画像、及び画像群Ｄに含まれる画像を、それぞれ同一のページに分類する。
【００６７】
図１１は、主画像を選択する処理フローの一例を示す。図１１は、図４における主画像を選択する処理（Ｓ４０４）の詳細を示す。オブジェクト抽出部２０６は、画像分類部２４０によって分類された画像の中から一の画像を選択する（Ｓ１１０２）。そしてオブジェクト抽出部２０６は、選択した画像からエッジ抽出等によって複数の被写体の輪郭を抽出して複数のオブジェクトを検出して、その中の一のオブジェクトを抽出する（Ｓ１１０４）。そして、人物認識部２３０は、Ｓ１１０４において抽出されたオブジェクトが人物であるか否かを判断する。
【００６８】
Ｓ１１０６において、抽出されたオブジェクトが人物であると判断された場合には、オブジェクト画像数算出部２０８は、オブジェクトが含まれる画像数を、人物毎にカウントする（Ｓ１１０８）。Ｓ１１０６において、抽出されたオブジェクトが人物でないと判断された場合には、同じ種類のオブジェクトを判断して、オブジェクトが含まれる画像数を種類毎にカウントを加算する。
【００６９】
そして、オブジェクト抽出部２０６がＳ１１０２において選択された一の画像に含まれる全てのオブジェクトについて、オブジェクト画像数算出部２０８による計数処理が完了したか否かを判断する（Ｓ１１１２）。Ｓ１１１２において、全てのオブジェクトについて計数処理が完了していない場合は、Ｓ１１０４に処理を移して、他のオブジェクトを選択する。Ｓ１１１２において、全てのオブジェクトについて計数処理が完了した場合は、画像分類部２４０によって分類された全画像からのオブジェクトの抽出処理がなされたか否かを判断する（Ｓ１１１４）。Ｓ１１１４において、全画像からの抽出処理がなされていない場合、Ｓ１１０２に処理を移して、新たに他の画像を選択する。
【００７０】
Ｓ１１１４において、全画像からの抽出処理がなされた場合、主画像選択部２１２は、Ｓ１１０８又はＳ１１１０において算出された人物毎の画像数又はオブジェクトの種類毎の画像数のうち、予め定められた基準画像数よりも多い数がカウントされた人物又はオブジェクトの種類を判断して、選択した人物毎の画像又は選択したオブジェクトの種類に含まれるオブジェクトを含む画像を主画像として選択する（Ｓ１１１６）。以上説明したようにして、アルバム作成装置１００は、ユーザ１８０がより興味を持つ等して数多く撮像した被写体の画像の中から主画像を自動的に選択するので、ユーザ１８０にとって望ましいアルバムを作成することができる。
【００７１】
図１２は、オブジェクトの動作量を算出する方法の一例を示す。撮像装置１１０は、ユーザ１８０によってレリーズボタンが押されたタイミングで画像１２２２を撮像するとともに、当該タイミングの前及び／又は後のタイミングにおいて、予備画像（１２２１、１２２３、・・・）を撮像する。そして、動作量算出部２３２は、例えば予備画像１２２１と画像１２２２との差分画像、画像１２２２と予備画像１２２３との差分画像に対してエッジ抽出等を施して、画像を撮像する間に移動したオブジェクトの輪郭を抽出する。そして動作量算出部２３２は、当該オブジェクトが移動した画像上の移動量を、オブジェクトの動作量として算出する。図１２の例では、被写体の人物の両腕の動きが差分画像に残るので、その両腕の移動量を判断する。そして、主画像選択部２１２は、移動量が大きい被写体を含むオブジェクトが含まれる画像を主画像として選択する。このため、より大きい動きをしている被写体を含む画像を、アルバムの主画像として選択することができる。
【００７２】
なお、アルバム作成装置１００は、抽出されたオブジェクトのそれぞれについて、他のオブジェクトとの間の相対的な移動量に基づいてオブジェクトの動作量を算出してもよい。例えば、動作量算出部２３２は、予備画像１２２１及び画像１２２２のそれぞれにおいて、被写体の両腕と背景の山との間の相対的な距離の変化量を動作量として算出してもよい。これにより、例えばユーザ１８０が撮像装置１１０をパン及び／又はチルトさせながら撮像した場合でも、オブジェクトの動作量を適切に算出することができる。
【００７３】
なお、撮像装置１１０は、画像及び予備画像を撮像したときの撮像条件を記録しておき、当該撮像条件に基づいてオブジェクトの動作量を算出してもよい。例えば撮像装置１１０は、画像及び予備画像を撮像したタイミングにおける、撮像装置１１０の合焦位置の実空間上における移動速度を記録しておく。そして、アルバム作成装置１００は、当該合焦位置の実空間上における移動速度と、予備画像及び画像から判断されるオブジェクトの画像上の移動量とに基づいて、オブジェクトの動作量を算出してもよい。
【００７４】
図１３は、オブジェクトの重要度を判断する方法の一例を示す。動作量算出部２３２は、オブジェクト抽出部２０６によって抽出されたオブジェクトの輪郭線１３０２の長さのを算出して、算出された長さに比例した係数を、動作量算出部２３２が算出した移動量に乗じる。他にも、動作量算出部２３２は、オブジェクト抽出部２０６によって抽出されたオブジェクトに外接する外接矩形１３０４の辺の合計長を、オブジェクトの輪郭線の長さとして算出してもよい。これによって、動作している被写体のうちより大きい画像領域を占める被写体を含む画像が主画像として優先的に選択されるので、ユーザ１８０にとて望ましいアルバムを作成することができる。
【００７５】
図１４は、従画像を選択する処理フローの一例を示す。図１４は、図４における従画像を選択する処理（Ｓ４０６）の詳細を示す。オブジェクト抽出部２０６がオブジェクトを抽出する（Ｓ１４０２）。そして、距離算出部２７４は、同一画像に含まれるオブジェクトの各組み合わせについて、オブジェクト同士の画像上又は実空間上の距離Ｄを算出する（Ｓ１４０４）。なお、Ｓ１４０４において、距離算出部２７４は、抽出されたオブジェクトの画像上における重心位置間の距離を、オブジェクト同士の画像上の距離Ｄとして算出してよい。
【００７６】
そして、オブジェクト画像数算出部２０８は、オブジェクト同士が共に同一画像に含まれている画像数Ｎを算出する。そして、人物認識部２３０は、Ｓ１４０２において抽出されたオブジェクト同士が共に人物であるか否かを判断する（Ｓ１４０８）。Ｓ１４０８においてオブジェクト同士が共に人物であると判断された場合には、人物係数αにα１を設定し、Ｓ１４０８においてオジェクト同士の少なくとも一方が人物でないと判断された場合には、人物係数αにはα１よりも小さいα２を設定する。
【００７７】
そして、関連性判断部２７２は、二つのオブジェクトの組合せのそれぞれについて、Ｓ１４０４において算出された距離Ｄ、Ｓ１４０６において算出された画像数Ｎ、及びＳ１４１０又はＳ１４１２において設定された人物係数αの積を関連性として算出する（Ｓ１４１４）。そして、従画像選択部２２２は、Ｓ１４１４において算出されたオブジェクトの組合せの関連性に基づいて、主画像として選択された画像に含まれるオブジェクトとの組合せの関連性が、予め定められた関連性の基準値よりも大きいオブジェクトを選択する。そして選択したオブジェクトを含む画像を従画像として選択する（Ｓ１４１６）。以上説明したように、アルバム作成装置１００によると、主画像に写っている人物と一緒に写っている人物の画像が従画像として自動的に選択される。したがって、ユーザ１８０は違和感を感じることなくアルバムを閲覧することができる。
【００７８】
図１５は、従画像を選択する処理フローの他の一例を示す。図１５は、図４における従画像を選択する処理（Ｓ４０６）の詳細の他の例を示す。人物認識部２３０は、主画像選択部２１２によって選択された主画像に人物が含まれる否かを判断する（Ｓ１５０２）。Ｓ１５０２において、主画像に人物が含まれると判断された場合、従画像選択部２２２は、主画像の人物とは異なる人物が含まれる画像または人物認識部２３０によって人物と判断されたオブジェクトを含まない画像を、従画像として選択する（Ｓ１５０４）。
【００７９】
Ｓ１５０２において、主画像に人物が含まれないと判断された場合、従画像選択部２２２は、人物が含まれる画像又は異なる種類の被写体が含まれる画像を、従画像として選択する（Ｓ１５０６）。これによって、従画像選択部２２２は、同一ページに収められる画像が同じ人物が写った画像ばかりになったり、同じ種類の被写体が写った画像ばかりになることを未然に防ぐことができ、各ページに収められる画像の内容がバランスのとれたものにすることができる。
【００８０】
図１６は、従画像を選択する処理フローの更なる他の一例を示す。類似度算出部２４２は、主画像選択部２１２によって選択された主画像と、他の画像との類似度を算出する（Ｓ１６０２）。具体的には、類似度算出部２４２は、主画像の撮像時刻との時間差が大きい画像に対して、類似度をより小さく算出する。他にも、類似度算出部２４２は、主画像の撮像位置との距離がより大きい画像に対して、類似度をより小さく算出してよい。他にも、類似度算出部２４２は、主画像に含まれる色と異なる色を持つ画像に対して、類似度をより小さく算出してよい。他にも、主画像の合焦距離との差がより大きい画像に対して、類似度をより小さく算出してよい。
【００８１】
そして、従画像選択部２２２は、Ｓ１６０２において算出された、主画像との類似度がより小さい画像を、従画像として選択する（Ｓ１６０４）。これによって、従画像選択部２２２は、主画像とは類似していない内容の画像を従画像として選択することができる。例えば、アルバム作成装置１００は、合焦距離の遠い風景画像と、合焦距離の近いスナップ写真などの組合せのページを作成する。これにより、アルバムのページが合焦距離の遠い風景画像ばかりになってしまい、面白みのないアルバムになってしまうのを防ぐことができる。
【００８２】
図１７は、アルバム作成装置１００に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００８３】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００８４】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介してアルバム作成装置１００と通信し、アルバム作成装置１００にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００８５】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００８６】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介してアルバム作成装置１００に送信される。アルバム作成装置１００に送信されたプログラムは、アルバム作成装置１００においてインストールされて実行される。
【００８７】
アルバム作成装置１００にインストールされて実行されるプログラムは、アルバム作成装置１００を、図１から図１６において説明した画像格納部２０２、オブジェクト抽出部２０６、オブジェクト画像数算出部２０８、レイアウト決定部２１０、主画像選択部２１２、従画像選択部２２２、トリミング部２２４、人物認識部２３０、動作量算出部２３２、面積輪郭比算出部２３４、画像分類部２４０、類似度算出部２４２、撮像時刻分布算出部２５２、撮像位置分布算出部２５４、重要性判断部２６０、関連性判断部２７２、及び距離算出部２７４として機能させる。また、アルバム作成装置１００にインストールされて実行されるプログラムは、画像分類部２４０を、撮像時刻分類部２６２及び撮像位置分類部２６４として機能させ、レイアウト決定部２１０を、配置位置決定部２８２及びサイズ決定部２８４として機能させる。
【００８８】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００８９】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００９０】
【図１】アルバム作成装置１００の利用環境の一例を示す図である。
【図２】アルバムのページのレイアウト結果の一例を示す図である。
【図３】アルバム作成装置１００ブロック構成の一例を示す図である。
【図４】アルバムを作成する処理フローの一例を示す図である。
【図５】画像を分類する処理フローの一例を示す図である。
【図６】撮像位置分布によるページ分けが望ましいケースの一例を示す図である。
【図７】撮像時刻分布によるページ分けが望ましいケースの一例を示す図である。
【図８】撮像位置の重要性を判断する方法の一例を示す図である。
【図９】撮像時刻分布に基づく画像のページ分けの一例を示す図である。
【図１０】撮像位置分布に基づく画像のページ分けの一例を示す図である。
【図１１】主画像を選択する処理フローの一例を示す図である。
【図１２】オブジェクトの動作量を算出する方法の一例を示す図である。
【図１３】オブジェクトの重要度を判断する方法の一例を示す図である。
【図１４】従画像を選択する処理フローの一例を示す図である。
【図１５】従画像を選択する処理フローの他の一例を示す図である。
【図１６】従画像を選択する処理フローの更なる他の一例を示す図である。
【図１７】アルバム作成装置１００に係るコンピュータのハードウェア構成の一例を示す図である。
【符号の説明】
【００９１】
１００ アルバム作成装置
１１０ 撮像装置
１５０ 通信回線
１８０ ユーザ
２０２ 画像格納部
２０６ オブジェクト抽出部
２０８ オブジェクト画像数算出部
２１０ レイアウト決定部
２１２ 主画像選択部
２２２ 従画像選択部
２２４ トリミング部
２３０ 人物認識部
２３２ 動作量算出部
２３４ 面積輪郭比算出部
２４０ 画像分類部
２４２ 類似度算出部
２５２ 撮像時刻分布算出部
２５４ 撮像位置分布算出部
２６２ 撮像時刻分類部
２６４ 撮像位置分類部
２６０ 重要性判断部
２７２ 関連性判断部
２７４ 距離算出部
２８２ 配置位置決定部
２８４ サイズ決定部
【技術分野】
【０００１】
本発明は、アルバム作成装置、アルバム作成方法、及びプログラムに関する。特に本発明は、アルバムを作成するアルバム作成装置及びアルバム作成方法、並びに、アルバム作成装置用のプログラムに関する。
【背景技術】
【０００２】
旅行先で撮影した画像データに付帯された位置情報、撮影時間情報等のタグ情報を元にして、画面の中心に旅行先の地図を配置して、地図の周囲に配置された画像と地図上における撮像位置とを線で結ぶなどして、地図と画像との関連がわかるようにレイアウトされたアルバムを作成するアルバム作成システムが知られている（例えば、特許文献１参照。）。
【特許文献１】特開平１０−１２６７３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１の技術によってアルバムを作成したとき、例えば観光地の最も代表的なモニュメントなど、撮像者が興味を持った被写体が写った画像がページの端の方に小さくレイアウトされてしまい、撮像者にとってさほど興味を持っていない被写体が写った画像がページの中央に大きくレイアウトされてしまう場合がある。このようなアルバムは撮像者の意図と違ったものになってしまう。したがって、アルバムを作成するときには、撮像者が興味を持って撮像した画像がページの中央などにレイアウトされるのが望ましい。しかし、アルバムの作成者は、撮像された画像の内容を見て、撮像者がどの画像に興味を持って撮像したかを判断して画像をレイアウトする必要があるので、アルバムの作成に手間がかかってしまうという課題があった。
【０００４】
そこで本発明は、上記の課題を解決することができるアルバム作成装置、アルバム作成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態におけるアルバム作成装置は、複数の画像を格納する画像格納部と、画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部と、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数のオブジェクト毎に、オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部と、オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部とを備える。
【０００６】
オブジェクト画像数算出部が算出した画像の数が予め定められた基準数より多いオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部が格納している複数の画像から選択する主画像選択部と、主画像選択部が選択した主画像の内容に基づいて、主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部が格納している複数の画像から選択する従画像選択部とをさらに備え、レイアウト決定部は、主画像選択部が選択した主画像を、従画像選択部が選択した従画像より強調してレイアウトしてよい。
【０００７】
レイアウト決定部は、オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトしてよい。
【０００８】
オブジェクト画像数算出部が算出した画像の数が予め定められた基準数より多いオブジェクトの領域画像をトリミングするトリミング部をさらに備え、レイアウト決定部は、トリミング部がトリミングしたオブジェクトの領域画像をアルバムにレイアウトしてよい。
【０００９】
オブジェクト画像数算出部は、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数のオブジェクト毎に、オブジェクト抽出部が抽出したオブジェクトと同一の種類のオブジェクトが含まれる画像の数を算出し、レイアウト決定部は、オブジェクト画像数算出部が算出した画像の数がより多い種類のオブジェクトを、アルバムにおいてより強調してレイアウトしてよい。
【００１０】
オブジェクト抽出部が抽出したオブジェクトが人物であるか否かを認識する人物認識部をさらに備え、オブジェクト画像数算出部は、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数の人物毎に、オブジェクト抽出部が抽出した人物と同一の人物が含まれる画像の数を算出し、レイアウト決定部は、オブジェクト画像数算出部が算出した画像の数がより多い人物を、アルバムにおいてより強調してレイアウトしてよい。
【００１１】
本発明の第２の形態におけるアルバム作成方法は、複数の画像を格納する画像格納段階と、画像格納段階において格納されている複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出段階と、画像格納段階において格納されている複数の画像のうち、オブジェクト抽出段階において抽出された複数のオブジェクト毎に、オブジェクト抽出段階において抽出されたオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出段階と、オブジェクト画像数算出段階において算出された画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定段階とを備える。
【００１２】
本発明の第３の形態によると、アルバムを作成するアルバム作成装置用のプログラムであって、アルバム作成装置を、複数の画像を格納する画像格納部、画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部、画像格納部が格納している複数の画像のうち、オブジェクト抽出部が抽出した複数のオブジェクト毎に、オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部、オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部として機能させる。
【００１３】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１４】
本発明によれば、望ましい撮像対象をアルバムにおいて強調してレイアウトすることができる。
【発明を実施するための最良の形態】
【００１５】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は、本発明の一実施形態に係るアルバム作成装置１００の利用環境の一例を示す。撮像装置１１０は、ユーザ１８０が画像を撮像すべくレリーズボタンを押したときに、撮像された画像に撮像時刻及び撮像位置をタグ情報として付帯させて記録する。そして、アルバム作成装置１００は、撮像装置１１０から半導体メモリ等の記録媒体、インターネット、無線ＬＡＮ等の通信回線１５０を介して画像を受け取る。そして、アルバム作成装置１００は、受け取った画像の中から画像を選択してレイアウトして、プリンタ、ディスプレイ等にアルバムとして出力させる。
【００１７】
アルバム作成装置１００は、互いに近い時刻に撮像された画像若しくは互いに近い位置で撮像された画像がアルバムのページに収められるように、アルバムの各ページに画像を割り振る。このとき、アルバム作成装置１００は、画像が撮像された撮像位置の分布に地理的な偏りがある場合には、撮像位置が近い画像がページに収めらるよう画像を割り振る。また、地理的な偏りがない場合には、撮像時刻が近い画像がページに収められるよう画像を割り振る。
【００１８】
そしてアルバム作成装置１００は、各ページに割り振られた複数の画像の中で、頻繁に登場する被写体が写っている画像を、各ページを代表する主画像として選択する。また、アルバム作成装置１００は、各ページに割り振られた複数の画像の中で、より被写体が動きのある画像を、主画像として選択する。そして、アルバム作成装置１００は、各ページの主画像に写った人物の友人等、主画像の被写体と関連する被写体が写った画像を、主画像の周囲に配置する従画像として選択する。また、アルバム作成装置１００は、各ページにおける主画像に写った人物以外の被写体が写った画像を従画像として選択する。そして、アルバム作成装置１００は、アルバムの各ページにおいて、主画像を従画像よりも大きくより中央寄りに配置する等のレイアウトをしてアルバムを出力する。
【００１９】
なお、アルバム作成装置１００は、複数の画像を含むアルバムを作成して印刷する装置であってもよいし、複数の画像を同時に画面に表示する装置であってもよい。例えばアルバム作成装置１００は、パーソナルコンピュータ、電子アルバム、ＨＤＴＶ、プリンタ等であってよい。
【００２０】
以上説明したアルバム作成装置１００によれば、撮像位置又は撮像時刻が近い画像を同じページに割り振るので、閲覧者にとって違和感のないアルバムを作成することができる。また、アルバム作成装置１００は、より多くの画像に写っている人物、より大きいアクションをして写っている人物等を被写体として含む画像を主画像としてレイアウトするので、より特徴的な画像が強調されたアルバムを作成することができる。また、各ページにおいて主画像に写った人物と関連の深い人物が写った画像が従画像として自動的に選択されるので、各ページの画像の組合せを適切なものにすることができる。このため、ユーザ１８０は、手間をかけることなくアルバムを手にすることができる。
【００２１】
図２は、アルバムのページのレイアウト結果３００の一例を示す。本実施形態でいう主画像とは、閲覧者に対してページにおいて最も強く印象づけることが意図されている画像をいう。例えば主画像とは、ページに配置された複数の画像のうち、最も強調された画像であってよい。具体的には、主画像とは、他の画像に比べてサイズが大きい画像、他の画像に比べて前面に配置される画像、最も中央寄りに配置される画像であってよい。他にも主画像とは、周囲を枠で強調された画像であったり、被写体にエフェクト等の視覚効果が施された画像であってもよい。また、本実施形態でいう従画像とは、主画像よりも小さく、中央より外に配置される画像であってよい。図２の例においては、画像３０１が主画像の一例であって、画像３０２、３０３、及び、３０４は従画像の一例を示す。なお、アルバム作成装置１００は、画像の中から特定の被写体をトリミングして、レイアウトしてもよい。例えば、画像３０５は、特定の被写体をトリミングしてレイアウトされた画像の一例を示す。
【００２２】
なお、ページには、それぞれテーマがあることが好ましい。テーマは、閲覧者に訴えたい内容であり、例えば、公園の美しさ等の特定の場所の情景であったり、ある場所における人物の心情の動きであったり、犬のかわいらしさ等の特定のオブジェクトの様子であったりする。いずれの場合でも、ページのテーマは主画像によって決定される。そして、主画像が決まると、同一のテーマの従画像を選択することができる。
【００２３】
なお、アルバム作成装置１００は、ページ内に画像をはめ込むべき画像枠が定められた複数のテンプレートを有していて、テンプレートで示される画像枠に対して画像をはめ込むことによってアルバムを作成してもよい。この場合、当該テンプレートには、主画像をはめ込むべき主画像用の画像枠が予め決定されてもよい。また、アルバム作成装置１００は、主画像をはめ込むべき画像枠の重要度を、画像枠の位置、大きさ、及び深さに基づいて判断し、重要度の高い画像枠に主画像をはめ込んでもよい。具体的には、アルバム作成装置１００は、画像枠の位置、大きさ、及び深さを変数として、閲覧者への印象度に応じて各変数に重みを付け、当該変数に基づいて画像枠の重要度を判断してよい。なお、アルバム作成装置１００は、画像の形、画像の傾き等をパラメータとして有する画像枠（例えば画像３０３がはめ込まれている画像枠）が定義されたテンプレートを有してもよい。
【００２４】
なお、本実施形態におけるページとは、アルバムの見開きページのことであってよく、アルバムの見開きの片方のページであってもよい。また、アルバム作成装置１００が、ディスプレイ等の表示デバイスにアルバムとして出力する装置である場合においては、ページとは、表示デバイスに複数の画像が同時に表示される表示領域のことであってよい。
【００２５】
図３は、アルバム作成装置１００のブロック構成の一例を示す。アルバム作成装置１００は、画像格納部２０２、オブジェクト抽出部２０６、オブジェクト画像数算出部２０８、レイアウト決定部２１０、主画像選択部２１２、従画像選択部２２２、トリミング部２２４、人物認識部２３０、動作量算出部２３２、面積輪郭比算出部２３４、画像分類部２４０、類似度算出部２４２、撮像時刻分布算出部２５２、撮像位置分布算出部２５４、重要性判断部２６０、関連性判断部２７２、及び距離算出部２７４を備える。画像分類部２４０は、撮像時刻分類部２６２及び撮像位置分類部２６４を有する。レイアウト決定部２１０は、配置位置決定部２８２及びサイズ決定部２８４を有する。
【００２６】
画像格納部２０２は、複数の画像を格納する。また、画像格納部２０２は、画像と、当該画像の撮像時刻及び撮像位置とを対応づけて格納する。具体的には、撮像装置１１０が撮像したタイミングで撮像時刻及び撮像位置を画像のタグ情報として記録する。そして、アルバム作成装置１００は、撮像時刻及び撮像位置が記録された画像を撮像装置１１０から受け取って格納する。なお、撮像画像は、画像の一例である。
【００２７】
撮像位置分布算出部２５４は、画像格納部２０２が格納している複数の画像の撮像位置に基づいて、画像格納部２０２が格納している複数の画像の撮像位置分布を算出する。また、撮像時刻分布算出部２５２は、画像格納部２０２が格納している複数の画像の撮像時刻に基づいて、画像格納部２０２が格納している複数の画像の撮像時刻分布を算出する。
【００２８】
画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像の撮像環境に基づくイベント毎に分類する。イベントとは、例えば、撮像時刻、撮像位置等であってよい。具体的には、画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像の撮像時刻に応じて、アルバムにおけるページ毎に分類する。また、画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像の撮像位置に応じて、アルバムにおけるページ毎に分類する。
【００２９】
具体的には、画像分類部２４０は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。また、画像分類部２４０は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。
【００３０】
このとき、画像分類部２４０は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。また、画像分類部２４０は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。そして、レイアウト決定部２１０は、画像分類部２４０がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトする。
【００３１】
主画像選択部２１２は、アルバムにおいて主要な画像となるべき主画像を、画像格納部２０２が格納している複数の画像から選択する。そして、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部２０２が格納している複数の画像から選択する。具体的には、主画像選択部２１２は、画像分類部２４０が分類したイベント毎に主画像をそれぞれ選択する。そして、従画像選択部２２２は、画像分類部２４０が分類したイベント毎に従画像をそれぞれ選択する。
【００３２】
より具体的には、主画像選択部２１２は、アルバムの所定のページにおいて主要な画像となるべき主画像を、画像分類部２４０が所定のページに分類した画像から選択する。そして、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムの所定のページにおいて従属する画像となるべき従画像を、画像分類部２４０が所定のページに分類した画像から選択する。具体的には、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の内容に基づいて、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像を、アルバムにおける所定のページにレイアウトする。
【００３３】
より具体的には、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の内容に基づいて、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の、アルバムにおけるレイアウトを決定する。具体的には、配置位置決定部２８２は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の、アルバムにおける配置位置を決定する。サイズ決定部２８４は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の、アルバムにおけるサイズを決定する。より具体的には、サイズ決定部２８４は、主画像選択部２１２が選択した主画像のサイズを、従画像選択部２２２が選択した従画像のサイズより大きく決定する。
【００３４】
類似度算出部２４２は、主画像選択部２１２が選択した主画像と、主画像選択部２１２が選択した主画像と同一のイベントに分類された他の画像のそれぞれとの類似度を算出する。そして、従画像選択部２２２は、画像分類部２４０が分類したイベント毎に、主画像選択部２１２が選択した主画像との類似度が小さい画像を従画像として選択する。類似度とは、撮像されたときの合焦距離、撮像時刻、撮像位置、又は撮像された画像の色相等を指標にするものであってよい。このため、同じページに収められる画像が、例えば同じ撮像場所で撮像された画像ばかりになってしまったり、遠方を写した画像ばかりになってしまったりすることを防ぐことができる。
【００３５】
他にも、従画像選択部２２２は、主画像選択部２１２が選択した主画像の被写体と異なる被写体を含む画像を従画像として選択する。例えば、従画像選択部２２２は、主画像の被写体が海であるときには、人物が写った画像を従画像として選択する。このため、主画像と従画像の内容が重複してしまうことを未然に防ぐことができる。また、従画像選択部２２２は、主画像選択部２１２が選択した主画像の被写体である人物と異なる人物を被写体として含む画像を従画像として選択する。このため、同じページに同一人物が写った画像ばかりになることを防ぐことができる。また、従画像選択部２２２は、画像分類部２４０が分類したイベントに属する画像の数がより多い場合により多い数の従画像を選択する。このため、撮像者が興味を持って沢山撮像するほど、沢山の従画像をレイアウトするので、撮像者にとって望ましいアルバムを提供することができる。
【００３６】
重要性判断部２６０は、画像格納部２０２が格納している複数の画像における撮像時刻及び撮像位置の重要性を判断する。具体的には、重要性判断部２６０は、撮像位置分布算出部２５４が算出した撮像位置分布の偏りが予め定められた基準値より大きい場合に、撮像位置が撮像時刻よりも重要性が高いと判断する。例えば、観光地を移動しながら撮像した旅行記録と、家庭で撮像した成長記録の場合を比較すると、旅行記録の撮像位置の分布は成長記録の場合に比べて広い分布となり、かつ偏った撮像位置で撮像された分布になる。この場合、重要性判断部２６０は、撮像位置の偏りを検出した場合に、撮像位置の重要性が撮像時刻の重要性よりも大きいと判断する。なお、アルバム作成装置１００は、撮像位置と撮像時刻とのどちらが重要性が高いかをユーザ１８０に指示させてもよい。
【００３７】
撮像位置分類部２６４は、重要性判断部２６０によって撮像位置が撮像時刻よりも重要性が高いと判断された場合に、画像格納部２０２が格納している撮像位置に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。撮像時刻分類部２６２は、重要性判断部２６０によって撮像時刻が撮像位置よりも重要性が高いと判断された場合に、画像格納部２０２が格納している撮像時刻に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。
【００３８】
なお、撮像位置分類部２６４は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。また、撮像時刻分類部２６２は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。
【００３９】
主画像選択部２１２は、アルバムの所定のページにおいて主要な画像となるべき主画像を、撮像時刻分類部２６２又は撮像位置分類部２６４が所定のページに分類した画像から選択する。また、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムの所定のページにおいて従属する画像となるべき従画像を、撮像時刻分類部２６２又は撮像位置分類部２６４が所定のページに分類した画像から選択する。そして、レイアウト決定部２１０は、撮像時刻分類部２６２又は撮像位置分類部２６４がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトする。
【００４０】
オブジェクト抽出部２０６は、画像格納部２０２が格納している複数の画像にそれぞれ含まれる複数のオブジェクトを抽出する。具体的には、オブジェクト抽出部２０６は、画像に対してエッジ抽出等によって被写体の輪郭を抽出して、当該被写体の領域をオブジェクトとして抽出する。そして、オブジェクト画像数算出部２０８は、画像格納部２０２が格納している複数の画像のうち、オブジェクト抽出部２０６が抽出した複数のオブジェクト毎に、オブジェクト抽出部２０６が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出する。
【００４１】
そして、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトする。具体的には、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多いオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする。
【００４２】
より具体的には、主画像選択部２１２は、オブジェクト画像数算出部２０８が算出した画像の数が予め定められた基準数より多いオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部２０２が格納している複数の画像から選択する。そして、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像を、従画像選択部２２２が選択した従画像より強調してレイアウトする。
【００４３】
また、トリミング部２２４は、オブジェクト画像数算出部２０８が算出した画像の数が予め定められた基準数より多いオブジェクトの領域画像をトリミングする。そして、レイアウト決定部２１０は、トリミング部２２４がトリミングしたオブジェクトの領域画像をアルバムにレイアウトする。
【００４４】
オブジェクト画像数算出部２０８は、画像格納部２０２が格納している複数の画像のうち、オブジェクト抽出部２０６が抽出した複数のオブジェクト毎に、オブジェクト抽出部２０６が抽出したオブジェクトと同一の種類のオブジェクトが含まれる画像の数を算出する。そして、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多い種類のオブジェクトを、アルバムにおいてより強調してレイアウトする。例えば、オブジェクト画像数算出部２０８は、撮像場所又は撮像時刻が近いと同一種類であると判断してよい。この場合、ユーザ１８０が同じ場所において連続して撮像した画像同士が同一種類の画像として判断されて、アルバムにおいて強調されてレイアウトされるので、ユーザ１８０の撮像意図をアルバムに適切に反映することができる。
【００４５】
人物認識部２３０は、オブジェクト抽出部２０６が抽出したオブジェクトが人物であるか否かを認識する。人物認識部２３０は、エッジ抽出等によって抽出されたオブジェクトの輪郭のパターンと、予め定めた人間の体のパターンとのパターンマッチング等によって、オブジェクトが人物であるか否かを判断する。また、人物認識部２３０は、顔の輪郭形状、或いは、眼、鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、又はそれぞれの部位の間の位置関係等に基づいて人物を識別する。
【００４６】
そして、オブジェクト画像数算出部２０８は、画像格納部２０２が格納している複数の画像のうち、オブジェクト抽出部２０６が抽出した複数の人物毎に、オブジェクト抽出部２０６が抽出した人物と同一の人物が含まれる画像の数を算出する。そして、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多い人物を、アルバムにおいてより強調してレイアウトする。例えば、主画像選択部２１２が当該人物を含む画像を主画像として選択して、レイアウト決定部２１０が、当該画像を主画像として強調してレイアウトする。このため、より多くの画像に被写体として写っている人物を強調してレイアウトさせることができる。
【００４７】
なお、オブジェクト画像数算出部２０８は、オブジェクトの種類に応じて、同一又は類似のオブジェクトとして判断する判断基準を予め定めておく。例えば、オブジェクトが人物認識部２３０によって人物と判断された場合には、同一人物を同一のオブジェクトとして扱う。また、オブジェクトが直方体であって、実寸法が大きい等の特徴を持つオブジェクトについては、当該オブジェクトをビル等の建物として判断し、全く同一の建物でなくても類似のオブジェクトとして扱う。このようにして、オブジェクト画像数算出部２０８は、被写体の人物に対しては人物毎に画像をカウントし、ビル等に対しては建物という分類毎に画像をカウントすることによって、閲覧者にとって望ましい分類で画像をカウントすることができる。
【００４８】
なお、画像格納部２０２は、画像格納部２０２が格納している複数の画像のそれぞれに対応づけて、画像格納部２０２が格納している画像の前又は後に連続して撮像された予備画像をさらに格納している。具体的には、撮像装置１１０が、ユーザ１８０によってレリーズボタンが押下される前及び又はのタイミングで予備画像を撮像しておき、レリーズボタンが押下されたタイミングで撮像された画像に対応づけて当該予備画像を記録する。そして画像格納部２０２は、撮像装置１１０から画像及び予備画像を受け取って格納する。オブジェクト抽出部２０６は、画像格納部２０２が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出する。
【００４９】
動作量算出部２３２は、オブジェクト抽出部２０６が抽出したオブジェクトの動作の大きさを示す動作量を算出する。具体的には、動作量算出部２３２は、画像格納部２０２が格納している画像と予備画像とを比較することにより、オブジェクト抽出部２０６が抽出したオブジェクトの動作量を算出する。面積輪郭比算出部２３４は、画像におけるオブジェクトの面積に対する、画像におけるオブジェクトの輪郭線の長さを算出する。そして、動作量算出部２３２は、面積輪郭比算出部２３４の算出結果がより大きい場合に、オブジェクトの動作量をより大きく算出する。
【００５０】
そして、レイアウト決定部２１０は、動作量算出部２３２が算出した動作量がより大きいオブジェクトを、アルバムにおいてより強調してレイアウトする。例えば、レイアウト決定部２１０は、動作量算出部２３２が算出した動作量がより大きいオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする。具体的には、レイアウト決定部２１０は、動作量算出部２３２が算出した動作量がより大きいオブジェクトを主画像としてレイアウトする。このため、より大きなアクションをしている人物が強調されたアルバムを作成することができる。
【００５１】
具体的には、主画像選択部２１２は、動作量算出部２３２が算出した動作量が予め定められた基準量より大きいオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部２０２が格納している複数の画像から選択する。そして、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部２０２が格納している複数の画像から選択する。そして、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像を従画像選択部２２２が選択した従画像より強調してレイアウトする。なお、トリミング部２２４は、動作量算出部２３２が算出した動作量が予め定められた基準量より大きいオブジェクトの領域画像をトリミングしてよい。
【００５２】
距離算出部２７４は、オブジェクト抽出部２０６によって抽出された第１のオブジェクトと第２のオブジェクトとが含まれる画像における、第１のオブジェクトと第２のオブジェクトとの距離を算出する。なお、距離算出部２７４は、第１のオブジェクトと第２のオブジェクトとの実空間における距離を算出してもよい。例えば、距離算出部２７４は、画像領域毎の合焦距離を画像とともに記録しておき、当該画像領域毎の合焦距離及びオブジェクトの画像上の位置に基づいて、実空間における位置をオブジェクト毎に算出して、実空間におけるオブジェクト同士の距離を算出してよい。
【００５３】
関連性判断部２７２は、画像格納部２０２が格納している複数の画像において、オブジェクト抽出部２０６が抽出した第１のオブジェクトと第２のオブジェクトとが含まれる画像の数が予め定められた基準数より多い場合に、第１のオブジェクトと第２のオブジェクトとの関連性が高いと判断する。また、関連性判断部２７２は、距離算出部２７４が算出した距離がより近い場合に、第１のオブジェクトと第２のオブジェクトとの関連性がより高いと判断してよい。なお、関連性判断部２７２は、人物認識部２３０が人物であると認識したオブジェクト同士の関連性を、人物認識部２３０が人物でないと認識したオブジェクト同士の関連性より高く判断してよい。このため、例えば友人同士でグループ旅行に行った場合において、友人同士が同じ画像に写っている画像が沢山あると、関連性判断部２７２によって当該友人同士の関連性をより高く判断することができる。
【００５４】
そして、従画像選択部２２２は、関連性判断部２７２によって主画像選択部２１２が選択した主画像に含まれる第１のオブジェクトと関連性が高いと判断された第２のオブジェクトを含む画像を、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像として、画像格納部２０２が格納している複数の画像から選択する。
【００５５】
なお、撮像装置１１０は、アルバム作成装置１００として機能してもよい。例えば、撮像装置１１０は、撮像装置１１０が撮像した複数の画像からアルバムを作成してよい。例えば撮像装置１１０は、作成したアルバムデータをモニタ画面に表示したり、インターネット等の通信回線１５０を介して撮像装置１１０以外の出力デバイスにアルバムデータを出力してもよい。
【００５６】
以上説明したアルバム作成装置１００によれば、画像を適切に分類して各ページに割り振って、その中から代表的な画像を選択して各ページの主画像としたアルバムを作成することができる。また、アルバム作成装置１００は、各ページに収められる主画像と従画像の内容の組合せを、閲覧者にとって望ましい組合せにすることができる。したがって、ユーザ１８０は、手間をかけることなく望ましいアルバムを得ることができる。
【００５７】
図４は、アルバムを作成する処理フローの一例を示す。画像分類部２４０は、画像を各ページに分類する（Ｓ４０２）。主画像選択部２１２は、Ｓ４０２において各ページに分類された画像の中から、主画像を選択する（Ｓ４０４）。そして、従画像選択部２２２は、Ｓ４０２において各ページに分類された画像の中から、主画像の内容に基づいて従画像を選択する（Ｓ４０６）。そして、レイアウト決定部２１０は、Ｓ４０４で選択された主画像をレイアウトする（Ｓ４０８）。そして、レイアウト決定部２１０は、Ｓ４０６で選択された従画像をレイアウトする（Ｓ４１０）。なお、アルバム作成の手順は、図４で示した手順以外にも、主画像のレイアウトを決定してから、当該レイアウトに基づいて収めるべき従画像の枚数を決定してよい。そして、アルバム作成装置１００は、当該従画像の枚数に応じて従画像を選択し、従画像をレイアウトしてもよい。
【００５８】
図５は、画像を分類する処理フローの一例を示す。図５は、図４における画像を分類する処理（Ｓ４０２）の詳細を示す。撮像時刻分布算出部２５２は、複数の画像の撮像位置の分布を算出する（Ｓ５０２）。そして、撮像位置分布算出部２５４は、複数の画像の撮像位置の分布を算出する（Ｓ５０４）。そして、重要性判断部２６０は、Ｓ５０２において算出された撮像位置の分布に基づいて、撮像位置の偏りを計算する（Ｓ５０６）。
【００５９】
そして、重要性判断部２６０は、Ｓ５０６において計算された撮像位置分布の偏りが、予め定められた基準値よりも大きいか否かを判断する（Ｓ５０８）。Ｓ５０８において、撮像位置分布の偏りが予め定められた基準値よりも大きい場合、重要性判断部２６０は、撮像位置分布に基づいて、各ページに画像を割り振る（Ｓ５１０）。なお、Ｓ５０８において、撮像位置の偏りが予め定められた基準値以下である場合、重要性判断部２６０は、撮像時刻分布に基づいて各ページに画像を割り振る（Ｓ５１２）。以上説明した画像の分類処理によって、画像が撮像された地域毎のページに画像を割り当てたり、画像を撮像した日毎のページに画像を割り当てることができる。したがって、閲覧者にとって所望の分類でアルバムを作成することができる。
【００６０】
図６は、撮像位置分布によるページ分けが望ましいケースの一例を示す。図６は、長崎、広島、京都、東京を訪れて、それぞれの地域で集中的に撮像した画像を用いてアルバムを撮像するケースを示す。このケースにおいては、訪れた各地で撮像しており、各地における撮像活動の位置的な範囲を十分に超える距離を移動して、次の観光地に移動している。このような場合、重要性判断部２６０は撮像位置の偏りを大きく判定して、撮像位置が撮像時刻よりも重要であると判断する。このようにして、アルバム作成装置１００は、画像の撮像位置に応じて、画像を地域別のページに適切に割り振ることができる。
【００６１】
図７は、撮像時刻によるページ分けが望ましいケースの一例を示す。図６は、例えば子供の成長記録用の画像を撮像した場合等のように、ユーザ１８０が略同一の地域で撮像しており、撮像した時期が広く分散しているケースを示す。この場合、重要性判断部２６０は、撮像位置の偏りを小さく判定して、撮像位置の重要性より撮像時刻の重要性が大きいと判断する。このようにして、アルバム作成装置１００は、子供の成長記録用に撮像した画像を撮像時期で分類して、各ページが撮像時期の順に並んでいるアルバムを作成することができる。このためユーザ１８０は、ページをめくる毎に、子供が成長していく様子を見ることができるので、違和感を感じることなく楽しくアルバムを閲覧することができる。なお、アルバム作成装置１００は、撮像時刻分布に基づいて画像を分類する場合であっても、同一ページ内に分類された画像を、撮像時刻分布基づいてレイアウトしなくてもよい。
【００６２】
図８は、重要性判断部２６０が撮像位置分布の重要性を判断する方法の一例を示す。撮像位置分布算出部２５４は、画像格納部２０２に格納されている画像のそれぞれについて、画像が撮像された撮像位置と、当該画像より以前の直近の時刻に撮像された画像の撮像位置との間の距離を、画像を撮像するために移動した移動距離として算出する。そして、撮像位置分布算出部２５４は、算出した移動距離に対する画像の枚数分布を算出する。
【００６３】
そして、重要性判断部２６０は、算出した枚数分布に基づいて、移動距離の分散値よりも予め定められた係数を乗じた移動距離以上の移動距離で撮像された画像の枚数を計算して、当該枚数の全体の枚数に占める割合を、撮像位置分布の偏りとして計算する。これにより、重要性判断部２６０は、例えばユーザ１８０が欧州各国の首都を訪れた記録アルバムを作成する場合、撮像位置が撮像時刻より重要であると判断することができる。
【００６４】
図９は、撮像時刻分布に基づく画像のページ分けの一例を示す。撮像時刻分類部２６２は、撮像された画像の枚数をアルバムの総ページ数で割った値を、一ページに割り振るべき画像数として計算する。例えば図９の例では、４．５枚と判断する。そして、撮像時刻分布算出部２５２は、画像格納部２０２に格納されている画像を撮像時刻の順に撮像時間の間隔を計算する。
【００６５】
そして、撮像時刻分類部２６２は、撮像時間の間隔の長い順（Δｔ９０１、Δｔ９０３、Δｔ９０２、・・・）に画像群に分類していく。例えば、撮像間隔Δｔ９０１の位置において、画像群Ａが他の画像群と分離されて分類される。そして、撮像時刻分類部２６２は、分類された画像群の画像数が一ページに割り振るべき画像数と略同一となる分類を決定して、決定した分類における各画像群を同一ページに割り当てる。図９の例では、撮像時刻分類部２６２は、画像群ＡとＢに含まれる画像、画像群Ｃに含まれる画像、画像群Ｄに含まれる画像を、それぞれ同一のページに分類する。このようにして撮像時刻分類部２６２が撮像時刻の分布に基づいて画像を各ページに分類することによって、近い時刻で撮像された画像が全く離れたページに収められてしまうことを未然に防ぎつつ、適切にページに割り振ることができる。
【００６６】
図１０は、撮像位置分布に基づく画像のページ分けの一例を示す。撮像位置分類部２６４は、画像格納部２０２に格納されている画像を撮像時刻の順に撮像位置の間隔を計算する。撮像時刻分類部２６２は、撮像位置の間隔の長い順（Ｄ１００４、Ｄ１００２、Ｄ１００３、・・・）に画像群に分類していく。例えば、撮像間隔Ｄ１００４の位置において、画像群Ａ、Ｂ及びＣが、画像群Ｄと分離されて分類される。そして、撮像時刻分類部２６２は、分類された画像群の画像数が一ページに割り振るべき画像数と略同一となる分類を決定して、決定した分類における各画像群を同一ページに割り当てる。図１０の例では、撮像位置分類部２６４は、画像群ＡとＢに含まれる画像、画像群Ｃに含まれる画像、及び画像群Ｄに含まれる画像を、それぞれ同一のページに分類する。
【００６７】
図１１は、主画像を選択する処理フローの一例を示す。図１１は、図４における主画像を選択する処理（Ｓ４０４）の詳細を示す。オブジェクト抽出部２０６は、画像分類部２４０によって分類された画像の中から一の画像を選択する（Ｓ１１０２）。そしてオブジェクト抽出部２０６は、選択した画像からエッジ抽出等によって複数の被写体の輪郭を抽出して複数のオブジェクトを検出して、その中の一のオブジェクトを抽出する（Ｓ１１０４）。そして、人物認識部２３０は、Ｓ１１０４において抽出されたオブジェクトが人物であるか否かを判断する。
【００６８】
Ｓ１１０６において、抽出されたオブジェクトが人物であると判断された場合には、オブジェクト画像数算出部２０８は、オブジェクトが含まれる画像数を、人物毎にカウントする（Ｓ１１０８）。Ｓ１１０６において、抽出されたオブジェクトが人物でないと判断された場合には、同じ種類のオブジェクトを判断して、オブジェクトが含まれる画像数を種類毎にカウントを加算する。
【００６９】
そして、オブジェクト抽出部２０６がＳ１１０２において選択された一の画像に含まれる全てのオブジェクトについて、オブジェクト画像数算出部２０８による計数処理が完了したか否かを判断する（Ｓ１１１２）。Ｓ１１１２において、全てのオブジェクトについて計数処理が完了していない場合は、Ｓ１１０４に処理を移して、他のオブジェクトを選択する。Ｓ１１１２において、全てのオブジェクトについて計数処理が完了した場合は、画像分類部２４０によって分類された全画像からのオブジェクトの抽出処理がなされたか否かを判断する（Ｓ１１１４）。Ｓ１１１４において、全画像からの抽出処理がなされていない場合、Ｓ１１０２に処理を移して、新たに他の画像を選択する。
【００７０】
Ｓ１１１４において、全画像からの抽出処理がなされた場合、主画像選択部２１２は、Ｓ１１０８又はＳ１１１０において算出された人物毎の画像数又はオブジェクトの種類毎の画像数のうち、予め定められた基準画像数よりも多い数がカウントされた人物又はオブジェクトの種類を判断して、選択した人物毎の画像又は選択したオブジェクトの種類に含まれるオブジェクトを含む画像を主画像として選択する（Ｓ１１１６）。以上説明したようにして、アルバム作成装置１００は、ユーザ１８０がより興味を持つ等して数多く撮像した被写体の画像の中から主画像を自動的に選択するので、ユーザ１８０にとって望ましいアルバムを作成することができる。
【００７１】
図１２は、オブジェクトの動作量を算出する方法の一例を示す。撮像装置１１０は、ユーザ１８０によってレリーズボタンが押されたタイミングで画像１２２２を撮像するとともに、当該タイミングの前及び／又は後のタイミングにおいて、予備画像（１２２１、１２２３、・・・）を撮像する。そして、動作量算出部２３２は、例えば予備画像１２２１と画像１２２２との差分画像、画像１２２２と予備画像１２２３との差分画像に対してエッジ抽出等を施して、画像を撮像する間に移動したオブジェクトの輪郭を抽出する。そして動作量算出部２３２は、当該オブジェクトが移動した画像上の移動量を、オブジェクトの動作量として算出する。図１２の例では、被写体の人物の両腕の動きが差分画像に残るので、その両腕の移動量を判断する。そして、主画像選択部２１２は、移動量が大きい被写体を含むオブジェクトが含まれる画像を主画像として選択する。このため、より大きい動きをしている被写体を含む画像を、アルバムの主画像として選択することができる。
【００７２】
なお、アルバム作成装置１００は、抽出されたオブジェクトのそれぞれについて、他のオブジェクトとの間の相対的な移動量に基づいてオブジェクトの動作量を算出してもよい。例えば、動作量算出部２３２は、予備画像１２２１及び画像１２２２のそれぞれにおいて、被写体の両腕と背景の山との間の相対的な距離の変化量を動作量として算出してもよい。これにより、例えばユーザ１８０が撮像装置１１０をパン及び／又はチルトさせながら撮像した場合でも、オブジェクトの動作量を適切に算出することができる。
【００７３】
なお、撮像装置１１０は、画像及び予備画像を撮像したときの撮像条件を記録しておき、当該撮像条件に基づいてオブジェクトの動作量を算出してもよい。例えば撮像装置１１０は、画像及び予備画像を撮像したタイミングにおける、撮像装置１１０の合焦位置の実空間上における移動速度を記録しておく。そして、アルバム作成装置１００は、当該合焦位置の実空間上における移動速度と、予備画像及び画像から判断されるオブジェクトの画像上の移動量とに基づいて、オブジェクトの動作量を算出してもよい。
【００７４】
図１３は、オブジェクトの重要度を判断する方法の一例を示す。動作量算出部２３２は、オブジェクト抽出部２０６によって抽出されたオブジェクトの輪郭線１３０２の長さのを算出して、算出された長さに比例した係数を、動作量算出部２３２が算出した移動量に乗じる。他にも、動作量算出部２３２は、オブジェクト抽出部２０６によって抽出されたオブジェクトに外接する外接矩形１３０４の辺の合計長を、オブジェクトの輪郭線の長さとして算出してもよい。これによって、動作している被写体のうちより大きい画像領域を占める被写体を含む画像が主画像として優先的に選択されるので、ユーザ１８０にとて望ましいアルバムを作成することができる。
【００７５】
図１４は、従画像を選択する処理フローの一例を示す。図１４は、図４における従画像を選択する処理（Ｓ４０６）の詳細を示す。オブジェクト抽出部２０６がオブジェクトを抽出する（Ｓ１４０２）。そして、距離算出部２７４は、同一画像に含まれるオブジェクトの各組み合わせについて、オブジェクト同士の画像上又は実空間上の距離Ｄを算出する（Ｓ１４０４）。なお、Ｓ１４０４において、距離算出部２７４は、抽出されたオブジェクトの画像上における重心位置間の距離を、オブジェクト同士の画像上の距離Ｄとして算出してよい。
【００７６】
そして、オブジェクト画像数算出部２０８は、オブジェクト同士が共に同一画像に含まれている画像数Ｎを算出する。そして、人物認識部２３０は、Ｓ１４０２において抽出されたオブジェクト同士が共に人物であるか否かを判断する（Ｓ１４０８）。Ｓ１４０８においてオブジェクト同士が共に人物であると判断された場合には、人物係数αにα１を設定し、Ｓ１４０８においてオジェクト同士の少なくとも一方が人物でないと判断された場合には、人物係数αにはα１よりも小さいα２を設定する。
【００７７】
そして、関連性判断部２７２は、二つのオブジェクトの組合せのそれぞれについて、Ｓ１４０４において算出された距離Ｄ、Ｓ１４０６において算出された画像数Ｎ、及びＳ１４１０又はＳ１４１２において設定された人物係数αの積を関連性として算出する（Ｓ１４１４）。そして、従画像選択部２２２は、Ｓ１４１４において算出されたオブジェクトの組合せの関連性に基づいて、主画像として選択された画像に含まれるオブジェクトとの組合せの関連性が、予め定められた関連性の基準値よりも大きいオブジェクトを選択する。そして選択したオブジェクトを含む画像を従画像として選択する（Ｓ１４１６）。以上説明したように、アルバム作成装置１００によると、主画像に写っている人物と一緒に写っている人物の画像が従画像として自動的に選択される。したがって、ユーザ１８０は違和感を感じることなくアルバムを閲覧することができる。
【００７８】
図１５は、従画像を選択する処理フローの他の一例を示す。図１５は、図４における従画像を選択する処理（Ｓ４０６）の詳細の他の例を示す。人物認識部２３０は、主画像選択部２１２によって選択された主画像に人物が含まれる否かを判断する（Ｓ１５０２）。Ｓ１５０２において、主画像に人物が含まれると判断された場合、従画像選択部２２２は、主画像の人物とは異なる人物が含まれる画像または人物認識部２３０によって人物と判断されたオブジェクトを含まない画像を、従画像として選択する（Ｓ１５０４）。
【００７９】
Ｓ１５０２において、主画像に人物が含まれないと判断された場合、従画像選択部２２２は、人物が含まれる画像又は異なる種類の被写体が含まれる画像を、従画像として選択する（Ｓ１５０６）。これによって、従画像選択部２２２は、同一ページに収められる画像が同じ人物が写った画像ばかりになったり、同じ種類の被写体が写った画像ばかりになることを未然に防ぐことができ、各ページに収められる画像の内容がバランスのとれたものにすることができる。
【００８０】
図１６は、従画像を選択する処理フローの更なる他の一例を示す。類似度算出部２４２は、主画像選択部２１２によって選択された主画像と、他の画像との類似度を算出する（Ｓ１６０２）。具体的には、類似度算出部２４２は、主画像の撮像時刻との時間差が大きい画像に対して、類似度をより小さく算出する。他にも、類似度算出部２４２は、主画像の撮像位置との距離がより大きい画像に対して、類似度をより小さく算出してよい。他にも、類似度算出部２４２は、主画像に含まれる色と異なる色を持つ画像に対して、類似度をより小さく算出してよい。他にも、主画像の合焦距離との差がより大きい画像に対して、類似度をより小さく算出してよい。
【００８１】
そして、従画像選択部２２２は、Ｓ１６０２において算出された、主画像との類似度がより小さい画像を、従画像として選択する（Ｓ１６０４）。これによって、従画像選択部２２２は、主画像とは類似していない内容の画像を従画像として選択することができる。例えば、アルバム作成装置１００は、合焦距離の遠い風景画像と、合焦距離の近いスナップ写真などの組合せのページを作成する。これにより、アルバムのページが合焦距離の遠い風景画像ばかりになってしまい、面白みのないアルバムになってしまうのを防ぐことができる。
【００８２】
図１７は、アルバム作成装置１００に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００８３】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００８４】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介してアルバム作成装置１００と通信し、アルバム作成装置１００にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００８５】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００８６】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介してアルバム作成装置１００に送信される。アルバム作成装置１００に送信されたプログラムは、アルバム作成装置１００においてインストールされて実行される。
【００８７】
アルバム作成装置１００にインストールされて実行されるプログラムは、アルバム作成装置１００を、図１から図１６において説明した画像格納部２０２、オブジェクト抽出部２０６、オブジェクト画像数算出部２０８、レイアウト決定部２１０、主画像選択部２１２、従画像選択部２２２、トリミング部２２４、人物認識部２３０、動作量算出部２３２、面積輪郭比算出部２３４、画像分類部２４０、類似度算出部２４２、撮像時刻分布算出部２５２、撮像位置分布算出部２５４、重要性判断部２６０、関連性判断部２７２、及び距離算出部２７４として機能させる。また、アルバム作成装置１００にインストールされて実行されるプログラムは、画像分類部２４０を、撮像時刻分類部２６２及び撮像位置分類部２６４として機能させ、レイアウト決定部２１０を、配置位置決定部２８２及びサイズ決定部２８４として機能させる。
【００８８】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００８９】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００９０】
【図１】アルバム作成装置１００の利用環境の一例を示す図である。
【図２】アルバムのページのレイアウト結果の一例を示す図である。
【図３】アルバム作成装置１００ブロック構成の一例を示す図である。
【図４】アルバムを作成する処理フローの一例を示す図である。
【図５】画像を分類する処理フローの一例を示す図である。
【図６】撮像位置分布によるページ分けが望ましいケースの一例を示す図である。
【図７】撮像時刻分布によるページ分けが望ましいケースの一例を示す図である。
【図８】撮像位置の重要性を判断する方法の一例を示す図である。
【図９】撮像時刻分布に基づく画像のページ分けの一例を示す図である。
【図１０】撮像位置分布に基づく画像のページ分けの一例を示す図である。
【図１１】主画像を選択する処理フローの一例を示す図である。
【図１２】オブジェクトの動作量を算出する方法の一例を示す図である。
【図１３】オブジェクトの重要度を判断する方法の一例を示す図である。
【図１４】従画像を選択する処理フローの一例を示す図である。
【図１５】従画像を選択する処理フローの他の一例を示す図である。
【図１６】従画像を選択する処理フローの更なる他の一例を示す図である。
【図１７】アルバム作成装置１００に係るコンピュータのハードウェア構成の一例を示す図である。
【符号の説明】
【００９１】
１００ アルバム作成装置
１１０ 撮像装置
１５０ 通信回線
１８０ ユーザ
２０２ 画像格納部
２０６ オブジェクト抽出部
２０８ オブジェクト画像数算出部
２１０ レイアウト決定部
２１２ 主画像選択部
２２２ 従画像選択部
２２４ トリミング部
２３０ 人物認識部
２３２ 動作量算出部
２３４ 面積輪郭比算出部
２４０ 画像分類部
２４２ 類似度算出部
２５２ 撮像時刻分布算出部
２５４ 撮像位置分布算出部
２６２ 撮像時刻分類部
２６４ 撮像位置分類部
２６０ 重要性判断部
２７２ 関連性判断部
２７４ 距離算出部
２８２ 配置位置決定部
２８４ サイズ決定部
【特許請求の範囲】
【請求項１】
複数の画像を格納する画像格納部と、
前記画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部と、
前記画像格納部が格納している複数の画像のうち、前記オブジェクト抽出部が抽出した複数のオブジェクト毎に、前記オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部と、
前記オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部と
を備えるアルバム作成装置。
【請求項２】
前記オブジェクト画像数算出部が算出した画像の数が予め定められた基準数より多いオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として前記画像格納部が格納している複数の画像から選択する主画像選択部と、
前記主画像選択部が選択した主画像の内容に基づいて、前記主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、前記画像格納部が格納している複数の画像から選択する従画像選択部と
をさらに備え、
前記レイアウト決定部は、前記主画像選択部が選択した主画像を、前記従画像選択部が選択した従画像より強調してレイアウトする
請求項１に記載のアルバム作成装置。
【請求項３】
前記レイアウト決定部は、前記オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする
請求項１に記載のアルバム作成装置。
【請求項４】
前記オブジェクト画像数算出部が算出した画像の数が予め定められた基準数より多いオブジェクトの領域画像をトリミングするトリミング部
をさらに備え、
前記レイアウト決定部は、前記トリミング部がトリミングしたオブジェクトの領域画像をアルバムにレイアウトする
請求項１に記載のアルバム作成装置。
【請求項５】
前記オブジェクト画像数算出部は、前記画像格納部が格納している複数の画像のうち、前記オブジェクト抽出部が抽出した複数のオブジェクト毎に、前記オブジェクト抽出部が抽出したオブジェクトと同一の種類のオブジェクトが含まれる画像の数を算出し、
前記レイアウト決定部は、前記オブジェクト画像数算出部が算出した画像の数がより多い種類のオブジェクトを、アルバムにおいてより強調してレイアウトする
請求項１に記載のアルバム作成装置。
【請求項６】
前記オブジェクト抽出部が抽出したオブジェクトが人物であるか否かを認識する人物認識部
をさらに備え、
前記オブジェクト画像数算出部は、前記画像格納部が格納している複数の画像のうち、前記オブジェクト抽出部が抽出した複数の人物毎に、前記オブジェクト抽出部が抽出した人物と同一の人物が含まれる画像の数を算出し、
前記レイアウト決定部は、前記オブジェクト画像数算出部が算出した画像の数がより多い人物を、アルバムにおいてより強調してレイアウトする
請求項１に記載のアルバム作成装置。
【請求項７】
複数の画像を格納する画像格納段階と、
前記画像格納段階において格納されている複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出段階と、
前記画像格納段階において格納されている複数の画像のうち、前記オブジェクト抽出段階において抽出された複数のオブジェクト毎に、前記オブジェクト抽出段階において抽出されたオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出段階と、
前記オブジェクト画像数算出段階において算出された画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定段階と
を備えるアルバム作成方法。
【請求項８】
アルバムを作成するアルバム作成装置用のプログラムであって、前記アルバム作成装置を、
複数の画像を格納する画像格納部、
前記画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部、
前記画像格納部が格納している複数の画像のうち、前記オブジェクト抽出部が抽出した複数のオブジェクト毎に、前記オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部、
前記オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部
として機能させるプログラム。
【請求項１】
複数の画像を格納する画像格納部と、
前記画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部と、
前記画像格納部が格納している複数の画像のうち、前記オブジェクト抽出部が抽出した複数のオブジェクト毎に、前記オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部と、
前記オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部と
を備えるアルバム作成装置。
【請求項２】
前記オブジェクト画像数算出部が算出した画像の数が予め定められた基準数より多いオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として前記画像格納部が格納している複数の画像から選択する主画像選択部と、
前記主画像選択部が選択した主画像の内容に基づいて、前記主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、前記画像格納部が格納している複数の画像から選択する従画像選択部と
をさらに備え、
前記レイアウト決定部は、前記主画像選択部が選択した主画像を、前記従画像選択部が選択した従画像より強調してレイアウトする
請求項１に記載のアルバム作成装置。
【請求項３】
前記レイアウト決定部は、前記オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする
請求項１に記載のアルバム作成装置。
【請求項４】
前記オブジェクト画像数算出部が算出した画像の数が予め定められた基準数より多いオブジェクトの領域画像をトリミングするトリミング部
をさらに備え、
前記レイアウト決定部は、前記トリミング部がトリミングしたオブジェクトの領域画像をアルバムにレイアウトする
請求項１に記載のアルバム作成装置。
【請求項５】
前記オブジェクト画像数算出部は、前記画像格納部が格納している複数の画像のうち、前記オブジェクト抽出部が抽出した複数のオブジェクト毎に、前記オブジェクト抽出部が抽出したオブジェクトと同一の種類のオブジェクトが含まれる画像の数を算出し、
前記レイアウト決定部は、前記オブジェクト画像数算出部が算出した画像の数がより多い種類のオブジェクトを、アルバムにおいてより強調してレイアウトする
請求項１に記載のアルバム作成装置。
【請求項６】
前記オブジェクト抽出部が抽出したオブジェクトが人物であるか否かを認識する人物認識部
をさらに備え、
前記オブジェクト画像数算出部は、前記画像格納部が格納している複数の画像のうち、前記オブジェクト抽出部が抽出した複数の人物毎に、前記オブジェクト抽出部が抽出した人物と同一の人物が含まれる画像の数を算出し、
前記レイアウト決定部は、前記オブジェクト画像数算出部が算出した画像の数がより多い人物を、アルバムにおいてより強調してレイアウトする
請求項１に記載のアルバム作成装置。
【請求項７】
複数の画像を格納する画像格納段階と、
前記画像格納段階において格納されている複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出段階と、
前記画像格納段階において格納されている複数の画像のうち、前記オブジェクト抽出段階において抽出された複数のオブジェクト毎に、前記オブジェクト抽出段階において抽出されたオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出段階と、
前記オブジェクト画像数算出段階において算出された画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定段階と
を備えるアルバム作成方法。
【請求項８】
アルバムを作成するアルバム作成装置用のプログラムであって、前記アルバム作成装置を、
複数の画像を格納する画像格納部、
前記画像格納部が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出するオブジェクト抽出部、
前記画像格納部が格納している複数の画像のうち、前記オブジェクト抽出部が抽出した複数のオブジェクト毎に、前記オブジェクト抽出部が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出するオブジェクト画像数算出部、
前記オブジェクト画像数算出部が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトするレイアウト決定部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−２５９９３２（Ｐ２００６−２５９９３２Ａ）
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願番号】特願２００５−７４０８６（Ｐ２００５−７４０８６）
【出願日】平成１７年３月１５日（２００５．３．１５）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願日】平成１７年３月１５日（２００５．３．１５）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]