画像処理装置、画像処理プログラム及び画像処理システム
【課題】複数の写真情報から電子アルバムを作成する場合に、簡易な構成で利用者の利便性を向上させると共に利用者に単調なイメージを感じさせることがなく、且つ、利用者の意図を反映した電子アルバムを自動で作成すること。
【解決手段】初期情報と写真データとに基づいて各写真情報の重要度を算出し、算出された重要度に基づいて複数枚ある写真情報から電子アルバムに使用する写真情報を自動で選択する。
【解決手段】初期情報と写真データとに基づいて各写真情報の重要度を算出し、算出された重要度に基づいて複数枚ある写真情報から電子アルバムに使用する写真情報を自動で選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラム及び画像処理システムに関し、特に、画像処理装置における写真情報の加工処理に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の普及に伴い、手軽に写真を撮る機会が増えてきている。利用者はこのデジタルカメラ等で撮影した画像をＤＶＤやハードディスクドライブ等の記録媒体に記録させることにより撮り溜めておくことができる。そして、利用者は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末を使用して撮り溜めておいた画像一枚一枚に「いつ、どこで、何を撮影したのか」などの題名を付加することにより、好きな時に電子アルバムを作成することができる。
【０００３】
ところが、上述したデジタルカメラは手軽に写真を撮ることができる上に、大量の画像を記録させておくことができ、また、別の記録媒体にも画像を記録させることができるので、撮り溜めた画像の枚数は利用者が気付かない間に膨大な数になってしまうことがある。そのため、利用者がこれらに一枚一枚手作業で題名を付けて保存することは困難である。しかも、利用者はこの作業を撮影後にすぐ行わないと、どこで撮影したのか等の画像に関する情報を忘れてしまい、電子アルバムを作成することが困難となってしまう。
【０００４】
そこで、このような困難を解決するものとして、自動で電子アルバムを作成する電子アルバム作成装置が考案され既に知られている（例えば、特許文献１、特許文献２、特許文献３）。このような電子アルバム作成装置はＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等の撮影情報に基づいて画像にタイトルや文字情報を付加することにより電子アルバムを自動で作成するものである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、このような電子アルバム作成装置で電子アルバムを作成させるためには、利用者は撮り溜めておいた画像から電子アルバムに使用したい画像を予め選定しなければならない。画像の選定には、例えば、「構図が良いから」、「ピントが合っているから」、「人物が映っているから」などの理由が考えられるが、何れにしても画像を一枚一枚閲覧して目視で確認する必要がある。しかし、膨大な枚数の画像から電子アルバムに使用したい画像を目視により選定する作業には多くの時間と労力を要するといった問題がある。
【０００６】
本発明は、このような課題を解決するためになされたものであり、複数の写真情報から電子アルバムを作成する場合に、簡易な構成で利用者の利便性を向上させると共に利用者に単調なイメージを感じさせることがなく、且つ、利用者の意図を反映した電子アルバムを自動で作成することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理装置であって、前記写真情報を取得する写真取得部と、前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類する状況分類部と、前記付加情報に基づいて前記分類された写真情報の重要度を算出する重要度算出部と、前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択する写真選択部と、前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するページ分類部と、前記分類された写真情報を各ページに配置する写真配置部とを備えることを特徴とする。
【０００８】
また、本発明の他の態様は、撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理プログラムであって、前記写真情報を取得するステップと、前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類するステップと、前記付加情報に基づいて前記分類された写真情報の重要度を算出するステップと、前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択するステップと、前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するステップと、前記分類された写真情報を各ページに配置するステップとを実行することを特徴とする。
【０００９】
また、本発明の更に他の態様は、撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理システムであって、前記写真情報を取得する写真取得部と、前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類する状況分類部と、前記付加情報に基づいて前記分類された写真情報の重要度を算出する重要度算出部と、前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択する写真選択部と、前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するページ分類部と、前記分類された写真情報を各ページに配置する写真配置部とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の写真情報から電子アルバムを作成する場合に、簡易な構成で利用者の利便性を向上させると共に利用者に単調なイメージを感じさせることがなく、且つ、利用者の意図を反映した電子アルバムを自動で作成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る電子アルバム作成装置のハードウェア構成を模式的に示す図である。
【図２】本発明の実施形態に係る電子アルバム作成装置の機能構成を示すブロック図である。
【図３】本発明の実施形態に係る電子アルバム作成装置の初期値設定画面の表示例を示す図である。
【図４】本発明の実施形態に係る位置情報データベースのデータ構造の例を示す図である。
【図５】本発明の実施形態に係る画像情報データベースのデータ構造の例を示す図である。
【図６】本発明の実施形態に係る画像情報データベースのデータ構造の例を示す図である。
【図７】本発明の実施形態に係るテンプレートデータベースのデータ構造の例を示す図である。
【図８】本発明の実施形態に係る背景データベースのデータ構造の例を示す図である。
【図９】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理手順を示すフローチャートである。
【図１０】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、写真情報を状況別に分類する処理手順を模式的に示す図である。
【図１１】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、分類された写真情報から電子アルバムに使用する写真情報を選択する処理手順を模式的に示す図である。
【図１２】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、電子アルバムに使用する写真情報を各ページに分類する処理手順を模式的に示す図である。
【図１３】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、各ページに分類された写真情報をテンプレートに配置する処理手順を模式的に示す図である。
【図１４】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、テンプレートに配置された写真情報にコメントを挿入し、背景を設定する処理手順を模式的に示す図である。
【図１５】本発明の実施形態に係る電子アルバム作成装置が取得した写真情報を状況別に分類する処理手順を示すフローチャートである。
【図１６】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して画像検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。
【図１７】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して画像検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【図１８】本発明の実施形態に係る電子アルバム作成装置が状況別に分類した写真情報の重要度を算出する処理手順を示すフローチャートである。
【図１９】本発明の実施形態に係る電子アルバム作成装置が写真情報の画質に基づいて重要度の加減算を行う処理手順を示すフローチャートである。
【図２０】本発明の実施形態に係る写真情報の構図の判定に用いる三分割構図法を示す図である。
【図２１】本発明の実施形態に係る電子アルバム作成装置が算出された重要度に基づいて電子アルバムに使用する写真情報を選択する処理手順を示すフローチャートである。
【図２２】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して位置検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。
【図２３】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して位置検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【図２４】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して人物検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。
【図２５】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して人物検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【図２６】本発明の実施形態に係る電子アルバム作成装置が作成した電子アルバム内の写真の完成例を示す図である。
【図２７】本発明の実施形態に係る写真情報に付加されている写真データの例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、電子アルバム作成装置の例として、複数の写真情報から電子アルバムに使用する写真情報を選択し、選択された写真情報を撮影状況や１ページ当たりの枚数に応じて各ページに配置することにより、電子アルバムを自動で作成する電子アルバム作成装置を例として説明する。尚、本実施形態において“状況”とは、例えば、「遠足での、自由行動時間における、特定の建物内で撮影」などといったことが挙げられる。つまり、複数枚ある写真の中で、撮影した場所と時間が近く、同じものが写っている写真同士は同じ状況で撮影されたものであると判断される。
【００１３】
尚、本実施形態に係る写真情報はデジタルカメラ等の撮像装置により被写体を撮影することにより作成され、その写真情報には、撮影した時の撮影日時、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報、撮影方向、写真情報の解像度やピクセル数等の写真データが付加されて記録されている。このような写真データが付加された写真情報の形式には例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等がある。この写真データのフォーマットは、図２７に示す通りであり、「画像に関する情報」と「撮影した状況に関する情報」とに分けることができる。
【００１４】
図１は本実施系に係る電子アルバム作成装置１のハードウェア構成を模式的に示すブロック図である。図１に示すように本実施形態に係る電子アルバム作成装置１は、一般的なサーバやＰＣ等と同様の構成を含む。即ち、本実施形態に係る電子アルバム作成装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。
【００１５】
ＣＰＵ１０は演算手段であり、電子アルバム作成装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。
【００１６】
Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが電子アルバム作成装置１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが電子アルバム作成装置１に情報を入力するためのユーザインタフェースである。
【００１７】
このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０がＲＡＭ２０にロードされたプログラムに従って演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る電子アルバム作成装置１の機能を実現する機能ブロックが構成される。
【００１８】
尚、本実施形態に係る電子アルバム作成装置１は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等の外部記憶媒体から写真情報を直接読み込むためのインタフェースや、ネットワーク経由で外部から写真情報を受け取るためのネットワークインタフェースを備える。これらのインタフェースは図１に示すＩ／Ｆ５０により実現される。
【００１９】
次に、本実施形態に係る電子アルバム作成装置１の機能構成について図２を参照して説明する。図２は、本実施形態に係る電子アルバム作成装置１の機能構成を示すブロック図である。図２に示すように本実施形態に係る電子アルバム作成装置１は、写真取得部１００、写真選択部１１０、写真グルーピング部１２０、アルバム作成部１３０、表示部１４０、顔認識システム１５０、画像類似度測定システム１６０、位置情報データベース１７０、画像情報データベース１８０、テンプレートデータベース１９０及び背景データベース２００により構成されている。
【００２０】
写真取得部１００は、外部記憶媒体から若しくはネットワーク経由で写真情報を取得する。写真選択部１１０は、画質計算部１１１、指定画像検出部１１２、重要度算出部１１３、特徴画像抽出部１１４を備え、電子アルバムに使用する写真情報を選択する機能を提供する。
【００２１】
画質計算部１１１は、写真情報全体の構図の良し悪しの判定やピントが合っているか否かの判定、前後の写真情報との類似度の判定を行う。指定画像検出部１１２は、ユーザが予め指定した画像と類似している画像が写真情報上に存在するか否かの判定を行う。
【００２２】
重要度算出部１１３は、画質計算部１１１や指定画像検出部１１２の判定結果に基づいて重要度の算出を行い、算出された重要度に基づいて電子アルバムに使用する写真情報を選択する。ここで、重要度とは、電子アルバムに使用する写真情報を選択するための基準となるパラメータであり、重要度が高ければ高いほど、電子アルバムに使用する写真情報として選択される可能性が高いことを表す。
【００２３】
特徴画像抽出部１１４は、写真情報から特徴的な画像を抽出し、抽出された特徴画像を画質計算部１１１が構図の良し悪しの判定に用いたり、指定画像検出部１１２が指定画像の有無の判定に用いることができる。
【００２４】
写真グルーピング部１２０は、画像検索部１２１、状況分類部１２２、ページ分類部１２３、特徴画像抽出部１２４を備え、状況が類似するもの同士で写真情報を状況別に分類し、電子アルバムの各ページに写真情報を割り当てる機能を提供する。画像検索部１２１は、特徴画像抽出部１２４により抽出された特徴画像と画像情報データベース１８０に格納されている画像とを比較することにより画像情報データベース１８０からキーワードを抽出する。
【００２５】
状況分類部１２２は、写真取得部１００が取得した写真情報を撮影日時順に並べた後に状況別に分類する。ページ分類部１２３は、写真選択部１１０で選択された写真情報を状況分類部１２２による分類よりも更に細かく状況別に分類し、分類された写真情報を各ページに割り当てる。特徴画像抽出部１２４は、写真情報から特徴的な画像を抽出する。特徴が像抽出部１２４によって抽出された特徴画像は、画像検索部１２１が後述する画像検索に用いる。
【００２６】
アルバム作成部１３０は、コメント挿入部１３１、写真配置部１３２、背景選択部１３３を備え、ページ分類部１２３で各ページに割り当てられた写真情報を加工して電子アルバムとして仕上げる機能を提供する。コメント挿入部１３１は、写真データに含まれる撮影位置情報や撮影した人物、写真情報に写っている特徴画像などに基づいて写真情報毎にコメントを挿入する。
【００２７】
写真配置部１３２は、ページ分類部１２３で割り当てられた写真情報を各ページに配置するためのテンプレートをテンプレートデータベース１９０から選択し、そのテンプレートに合わせて写真情報を配置する。背景選択部１３３は、背景データベース２００から背景を選択して、選択された背景を各写真情報に設定する。
【００２８】
表示部１４０は、初期値設定部１４１、閲覧部１４２、編集部１４３を備え、電子アルバム作成装置１の状態を視覚的に表示する出力インタフェースであると共に、ユーザが電子アルバム作成装置１を直接操作し、若しくは電子アルバム作成装置１に対して情報を入力する際の入力インタフェースとして機能する。表示部１４０は、図１に示すＬＣＤ６０及び操作部７０によって実現される。
【００２９】
初期値設定部１４１は、初期情報を入力するための初期値設定画面を閲覧部１４２に表示させて、ユーザが入力した初期情報を初期値として設定する。ユーザが初期情報を入力することにより、その初期情報を含む写真情報は、優先的に電子アルバムに使用する写真情報として選択される。
【００３０】
初期情報としては、人物指定、状況指定、画像指定、位置指定、キーワード指定、必須写真指定等が挙げられる。即ち、これらの指定項目を含む写真情報は、無条件に重要度が加算される等により優先的に選択されることになる。図３に初期値設定画面の表示例を示す。図３に示す例では、初期情報として、人物指定には「Ａさん」及びそれに対応する人物の顔画像、状況指定には「Ａさんの入社式」、キーワード指定には「○○○株式会社本社」、指定画像には「▲」、必須写真には「写真１」が入力されていることがわかる。
【００３１】
閲覧部１４２は、初期値設定画面の表示や完成した電子アルバムのチェック画面の表示、完成した電子アルバムの修正画面の表示を行う。編集部１４３は、完成した電子アルバムのチェック画面や修正画面を閲覧部１４２に表示させて、ユーザの操作に応じて電子アルバムのチェックや修正を行う。
【００３２】
顔認識システム１５０は写真情報から人物の顔画像を検索して抽出する。画像類似度測定システム１６０は、特徴画像抽出部１１４や特徴画像抽出部１２４、顔認識システム１５０により抽出された特徴画像や顔画像と画像情報データベース１８０に格納されている画像との類似度を測定する。
【００３３】
位置情報データベース１７０（以下、「位置情報ＤＢ１７０」とする）は、写真データの撮影位置情報から撮影位置を特定するためのデータベースであって、位置情報ＤＢ１７０には撮影位置情報と撮影位置とが関連付けられて登録されている。
【００３４】
図４に位置情報ＤＢ１７０のデータ構造の例を示す。図４に示す例では、撮影位置情報が「緯度」と「経度」によって定められており、各撮影位置情報に対応する撮影位置が登録されていることがわかる。
【００３５】
画像情報データベース１８０（以下、「画像情報ＤＢ１８０」とする）は、特徴画像抽出部１１４や特徴画像抽出部１２４、顔認識システム１５０により抽出された特徴画像や顔画像に対応するキーワードを特定するためのデータベースであって、画像識別情報とキーワードとが関連付けられて登録されている。
【００３６】
図５及び図６に画像情報ＤＢ１８０のデータ構造の例を示す。図５は、画像情報ＤＢ１８０に格納されているテーブルのうち、画像とキーワードとを関連付けるテーブルであり、各画像の識別情報、格納場所及びその画像に対応するキーワードが登録されている。図６は、画像情報ＤＢ１８０に格納されているテーブルのうち、画像と人物名とを関連付けるテーブルであり、各画像の識別情報、格納場所及びその画像に対応する人物名が登録されている。以下では、画像情報ＤＢ１８０を利用する際には、図５及び図６における画像識別情報と画像格納場所とをまとめて画像情報として扱う。
【００３７】
テンプレートデータベース１９０（以下、「テンプレートＤＢ１９０」とする）は、電子アルバムの１ページ当たりの写真情報の枚数とそのページにおける各写真情報の配置パターンから、そのページに写真情報を配置するためのテンプレートを特定するためのデータベースである。テンプレートＤＢ１９０には、１ページ当たりの写真情報の枚数、各写真情報の配置パターン、テンプレート識別情報及びテンプレートデータの格納場所が関連付けられて登録されている。
【００３８】
図７にテンプレートＤＢ１９０のデータ構造の例を示す。図７に示す例では、配置パターンが「日時の順番−重要度の順番−向き」によって定められており、各配置パターンに対応するテンプレート識別情報が登録されていることがわかる。
【００３９】
背景データベース２００（以下、「背景ＤＢ２００」とする）は、写真情報の色情報からその写真情報の背景を特定するためのデータベースであって、写真情報の色情報と背景とが関連付けられて登録されている。図８に背景ＤＢ２００のデータ構造の例を示す。
【００４０】
図８に示す例では、色情報が「彩度」、「明度」及び「色相」によって定められており、各色情報に対応する背景識別情報及び背景情報の格納場所が登録されている。
【００４１】
このように構成された電子アルバム作成装置１において、本実施形態に係る要旨の一つは、電子アルバム作成装置１が初期情報と写真データとに基づいて各写真情報の重要度を算出し、算出された重要度に基づいて複数枚ある写真情報から電子アルバムに使用する写真情報を自動で選択することにある。これにより、本実施形態に係る電子アルバム作成装置１はユーザが所望する写真情報を使用した電子アルバムを自動で作成することができる。
【００４２】
さらに、本実施形態に係る電子アルバム作成装置１は、算出された重要度や初期情報、写真データに基づいて、選択された写真情報の各ページへの割り当てや割り当てられた写真情報を配置するためのテンプレートの選択、各写真情報へのコメントの挿入を自動で行うことができる。これにより、本実施形態に係る電子アルバム作成装置１は、ユーザに単調なイメージを感じさせることがなく、且つ、ユーザの意図を反映した電子アルバムを自動で作成することができる。
【００４３】
次に、本実施形態に係るアルバム作成装置１が電子アルバムを作成する処理について図９〜図１４を参照して説明する。図９は本実施形態に係る電子アルバム作成装置１が電子アルバムを作成する処理手順を示すフローチャートである。図１０〜図１４は本実施形態に係る電子アルバム作成装置１が電子アルバムを作成する処理手順を模式的に示す図である。図１０〜図１４においては、写真情報を長方形で示し、長方形の中に記載されている数字は撮影日時の順番を示し、同じ色の長方形は同じ状況で撮影されたことを示している。
【００４４】
図９に示すように、本実施形態に係る電子アルバム作成装置１が電子アルバムを作成するにはまず、写真取得部１００が写真情報を取得する（Ｓ９０１）。この時のイメージとしては図１０に示すＳ１００１である。
【００４５】
そして、状況分類部１２２は、写真取得部１００が取得した写真情報を撮影日時順に並べた後に状況別に分類する（Ｓ９０２）。この時のイメージとしては図１０に示すＳ１００２、Ｓ１００３である。図１０に示す例では、写真取得部１００が取得した写真情報は最終的に、状況１、状況２及び状況３の３種類の状況に分類され、それぞれ、８枚、１２枚、８枚に分類されていることがわかる。
【００４６】
写真情報が状況別に分類されたら、重要度算出部１１３は、分類された状況毎に重要度に基づいて電子アルバムに使用する写真情報を選択する（Ｓ９０３）。この時のイメージとしては図１１に示す通りである。図１１に示す例では、状況１からは４枚、状況２からは６枚、状況３からは３枚が選択されていることがわかる。このように、本実施形態に係る電子アルバム作成装置１は、分類された状況毎に写真情報を選択するので、同じ状況の写真情報ばかりが選択されることを避けることができる。
【００４７】
写真情報の選択が終了すると、ページ分類部１２３は、選択された写真情報を更に細かく状況別に分類し、分類された写真情報を各ページに割り当てる（Ｓ９０４）。この時のイメージとしては図１２に示す通りである。図１２に示す例では、状況１においては、状況１−１と状況１−２の２種類の状況に更に分類され、それぞれ、３枚と１枚に分類されていることがわかる。また、状況２においては、状況２−１と状況２−２の２種類の状況に更に分類され、それぞれ、２枚と４枚に分類されていることがわかる。また、状況３においては、分類は行われずにそのままであることがわかる。
【００４８】
このように、本実施形態に係る電子アルバム作成装置１は、選択された写真情報を更に細かく状況別に分類するので、同じページには状況がより類似した写真情報が割り当てられることになる。従って、本実施形態に係る電子アルバム作成装置１はユーザにとって観賞しやすい電子アルバムを作成することができる。
【００４９】
次に、写真配置部１３２は、１ページ当たりの写真情報の枚数、配置パターンとして定えられている「各写真情報の撮影日時順、各写真情報の重要度の順番、各写真情報の向き」に基づいて、該当するテンプレートを図７に示すテンプレートＤＢ１９０から選択し、Ｓ９０４で割り当てられた写真情報を選択されたテンプレートに合わせて配置する（Ｓ９０５）。
【００５０】
この時のイメージとしては図１３に示す通りである。図１３では、状況１−１を例として挙げている。図１３に示す例では、状況１−１は、写真情報の枚数が「３枚」であり、配置パターンとして「日時の順番―重要度の順番―写真情報の向き」の組み合わせが「１番目―２番目―横」、「２番目―１番目―縦」、「３番目―３番目―横」であることがわかる。そして、図７に示すテンプレートＤＢ１９０から上記枚数と配置パターンに該当するテンプレート１が選択され、そのテンプレートに合わせて写真情報が配置されていることがわかる。
【００５１】
このように、本実施形態に係る電子アルバム作成装置１は、１ページ当たりの写真の枚数と配置パターンにより、各ページのテンプレートを選択するので、ユーザに単調なイメージを感じさせることのない電子アルバムを作成することができる。
【００５２】
また、図１３に示すように、テンプレートＤＢ１９０に登録されているテンプレートは、重要度が高い写真情報であるほどサイズを大きくして配置するようになっている。従って、本実施形態に係る電子アルバム作成装置１は、ユーザの意図を反映して写真情報を配置することができる。
【００５３】
尚、テンプレートＤＢ１９０に登録されているテンプレートの写真配置部分のサイズは、重要度の大小に応じて、時間変化と共に変化するように構成されていても良い。また、写真配置部分が時間変化と共に移動するように構成されていても良い。このような構成とすることにより、ユーザはより単調なイメージを感じることがなくなる。
【００５４】
各ページに写真情報が配置されたら、背景選択部１３３は各写真情報の「彩度」、「明度」、「色相」に基づいて、図８に示す背景ＤＢ２００から背景を選択して設定する（Ｓ９０６）。
【００５５】
ここで、各写真情報の「彩度」、「明度」、「色相」を決定する方法について説明する。これに関する方法はいくつか考えられるが、一つ目は、写真情報の全画素の「彩度」、「明度」、「色相」の平均をそれぞれ求め、この平均値をその写真情報の「彩度」、「明度」、「色相」とする方法である。
【００５６】
その他には、「彩度」、「明度」、「色相」の全領域をそれぞれ複数に区切り、写真情報の各画素の「彩度」、「明度」、「色相」が属する領域を全画素についてカウントし、カウントの結果、属する画素が最も多い領域のそれぞれの代表値をその写真情報の「彩度」、「明度」、「色相」とする方法等がある。尚、各領域の代表値は予め設定されているものとする。
【００５７】
この時のイメージとしては図１４に示す通りである。図１４に示す例では、各写真情報の「彩度」、「明度」、「色相」の組み合わせが、写真情報３においては「η」、「θ」、「ι」であり、写真情報１３においては「κ」、「λ」、「μ」であり、写真情報２０においては、「ν」、「ξ」、「ο」であるため、図８に示す背景ＤＢ２００からそれぞれ、背景１、背景２、背景３が選択されていることがわかる。
【００５８】
このように、本実施形態に係る電子アルバム作成装置１は、「彩度」、「明度」、「色相」に基づいて、各写真の背景を設定するので、ユーザに単調なイメージを感じさせることのない電子アルバムを作成することができる。
【００５９】
尚、図８や図９のＳ９０６では、背景の選択には色情報として「彩度」、「明度」、「色相」のみを使用する例について説明したが、その他の写真データを使用しても良く、例えば、写真情報の複雑度や、撮影時間帯、撮影時期などを使用することもできる。このような構成とすることにより、ユーザはより単調なイメージを感じることがなくなる。
【００６０】
背景の設定が終了すると、コメント挿入部１３１は各写真情報にコメントを挿入し（Ｓ９０７）、電子アルバム作成装置１は電子アルバムの作成処理を完了する。この時のイメージとしては図１４に示す通りであり、各写真情報にコメントが挿入されていることがわかる。
【００６１】
次に、図９に示したＳ９０２の処理、つまり、電子アルバム作成装置１が取得した写真情報を状況別に分類する処理について図１５を参照して説明する。図１５は、本実施形態に係る電子アルバ作成装置１が取得した写真情報を状況別に分類する処理手順を示すフローチャートである。
【００６２】
図１５に示すように電子アルバム作成装置１が取得した写真情報を状況別に分類するにはまず、状況分類部１２２は、写真情報の写真データに含まれる撮影日時に関する情報に基づいて、写真取得部１００が取得した写真情報を撮影日時順に並べる（Ｓ１５０１）。
【００６３】
そして、状況分類部１２２は、撮影日時順に並べられた複数枚の写真情報から１枚選択し、選択した写真情報（以下、「注目している写真情報」とする）とその一つ前の写真情報との類似度を画像類似度測定システム１６０に測定させる（Ｓ１５０２）。ここで、類似度の測定は、特徴画像抽出部１２４が、注目している写真情報とその一つ前の写真情報から特徴画像を抽出し、抽出された特徴画像を画像類似度測定システム１６０が比較することにより行われる。類似度測定の具体的な処理については公知のアルゴリズムを用いることができるので、これについての詳細は省略する。
【００６４】
Ｓ１５０２の測定結果に基づいて、状況分類部１２２は、注目している写真情報とその一つ前の写真情報とが類似していると判定した場合（Ｓ１５０３／ＹＥＳ）には、写真情報の写真データに含まれる撮影日時に関する情報に基づいて、注目している写真情報の撮影日時とその一つ前の写真情報の撮影日時とが一定以上異なるか判定する（Ｓ１５０５）。
【００６５】
写真情報の類似度が高い写真情報同士はお互いに類似した状況であると考えられるため、Ｓ１５０２の処理のように、写真情報の類似度に基づいて状況分類を行うようにすれば、複数枚の写真情報を適切に状況別に分類することができる。
【００６６】
また、撮影日時が近い写真情報同士はお互いに類似した状況であると考えられるため、Ｓ１５０５の処理のように、撮影日時に基づいて状況分類を行うようにすれば、複数枚の写真情報を適切に状況別に分類することができる。
【００６７】
一方、Ｓ１５０２の測定結果に基づいて、状況分類部１２２は、注目している写真情報とその一つ前の写真情報とが類似していないと判定した場合（Ｓ１５０３／ＮＯ）には、写真情報の写真データに含まれる撮影位置に関する情報に基づいて、注目している写真情報の撮影位置とその一つ前の写真情報の撮影位置とが一定以上異なるか判定する（Ｓ１５０４）。
【００６８】
尚、撮影位置が近い写真情報同士はお互いに類似した状況であると考えられるため、Ｓ１５０４の処理のように、撮影位置に基づいて状況分類を行うようにすれば、複数枚の写真情報を適切に状況別に分類することができる。
【００６９】
そして、状況分類部１２２は、注目している写真情報の撮影位置とその一つ前の写真情報の撮影位置とが一定以上異ならないと判定した場合（Ｓ１５０４／ＮＯ）には、上述したＳ１５０５の判定を行う。Ｓ１５０５の処理において、状況分類部１２２は、注目している写真情報の撮影日時とその一つ前の写真情報の撮影日時とが一定以上異ならないと判定した場合（Ｓ１５０５／ＮＯ）には、注目している写真情報とその一つ前の写真情報とが同じ状況であると判断する（Ｓ１５０９）。
【００７０】
他方、状況分類部１２２が注目している写真情報の撮影日時とその一つ前の写真情報の撮影日時が一定以上異なると判定した場合（Ｓ１５０５／ＹＥＳ）、画像検索部１２１は、注目している写真情報の特徴画像に対して画像検索を行い、その写真情報にキーワードを設定する（Ｓ１５０６）。また、状況分類部１２２が注目している写真情報の撮影位置とその一つ前の写真情報の撮影位置とが一定以上異なると判定した場合（Ｓ１５０４／ＹＥＳ）にもＳ１５０６の処理を行う。Ｓ１５０６の処理については図１６及び図１７を参照して後述する。
【００７１】
そして、状況分類部１２２は、注目している写真情報のキーワードと一つ前の写真情報のキーワードとが一致するか判定し（Ｓ１５０７）、注目している写真情報のキーワードと一つ前の写真情報のキーワードとが一致すると判定した場合（Ｓ１５０７／ＹＥＳ）には、注目している写真情報とその一つ前の写真情報とが同じ状況であると判断する（Ｓ１５０９）。
【００７２】
一方、状況分類部１２２は、注目している写真情報のキーワードと一つ前の写真情報のキーワードとが一致しないと判定した場合（Ｓ１５０７／ＮＯ）には、注目している写真情報とその一つ前の写真情報とが異なる状況であると判断する（Ｓ１５０８）。
【００７３】
尚、後述する図１６及び図１７に示すキーワードを設定する処理を考慮すると、キーワードが同じ写真情報同士はお互いに類似した状況であると考えられるため、Ｓ１５０７の処理のように、キーワードに基づいて状況分類を行うようにすれば、複数枚の写真情報を適切に状況別に分類することができる。
【００７４】
状況分類部１２２は、写真取得部１００が取得した全写真情報において、一つ前の写真との組み合わせについて状況判断を終了するまで（Ｓ１５１１／ＮＯ）、他の写真情報についてもＳ１５０２〜Ｓ１５０９と同様の処理を行う（Ｓ１５１０）。全写真情報について状況判断が終了すると（Ｓ１５１１／ＹＥＳ）、状況分類部１２２は、お互いに類似する写真情報同士でグループ化し（Ｓ１５１２）、電子アルバム作成装置１は状況別に分類する処理を終了する。尚、図１５においては、撮影位置、撮影日時、キーワードに基づいて状況分類を行ったが、他の写真データやその他の組み合わせに基づいて状況分類を行っても良い。
【００７５】
ここで、画像検索部１２１が注目している写真情報の特徴画像に対して画像検索を行い、その写真情報にキーワードを設定する処理、つまり、図１５におけるＳ１５０６の処理について図１６及び図１７を参照して説明する。
【００７６】
図１６は本実施形態に係る電子アルバム作成装置１が写真情報に対して画像検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。図１７は、本実施形態に係る電子アルバム作成装置１が写真情報に対して画像検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【００７７】
図１６に示すように、本実施形態に係る電子アルバム作成装置１が写真情報に対して画像検索を行い、その写真情報にキーワードを設定するにはまず、特徴画像抽出部１２４は、注目している写真情報から特徴画像を抽出する（Ｓ１６０１）。この時のイメージとしては図１７に示すＳ１７０１〜Ｓ１７０３である。尚、図１５のＳ１５０２の類似度測定の処理の際に抽出した特徴画像を使用するようにすれば、Ｓ１６０１の処理は行わなくても良い。
【００７８】
次に、画像検索部１２１は、抽出された特徴画像と画像情報ＤＢ１８０に格納されている画像との類似度を画像類似度測定システム１６０に測定させることにより、その特徴画像の画像検索を行う（Ｓ１６０２）。この時のイメージとしては図１７に示すＳ１７０４〜Ｓ１７０６である。
【００７９】
Ｓ１６０２における類似度測定の結果から、画像検索部１２１は、画像情報ＤＢ１８０に格納されている画像のうち最も類似度の高い画像を、Ｓ１６０１で抽出された特徴画像として特定する（Ｓ１６０３）。この時のイメージとしては図１７に示すＳ１７０７〜Ｓ１７０９であり、特徴画像１は画像１として、特徴画像２は画像２として、特徴画像３は画像３として特定されていることがわかる。
【００８０】
画像検索部１２１は、図５に示す画像情報ＤＢ１８０の対応関係を参照して、Ｓ１６０３の処理で特定された画像に対応するキーワードを抽出し、抽出されたキーワードをその特徴画像のキーワードとしてこれを画像検索の検索結果とする（Ｓ１６０４）。
【００８１】
この時のイメージとしては図１７に示すＳ１７１０〜Ｓ１７１２である。図１７に示す例では、画像検索の検索結果は、特徴画像１については「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」であり、特徴画像２ついては「ＡＡＡ」、「ＢＢＢ」であり、特徴画像３については「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」、「ＥＥＥ」であることがわかる。
【００８２】
そして、画像検索部１２１は、抽出された全特徴画像について検索結果が得られるまで、他の特徴画像についてもＳ１６０２〜Ｓ１６０４と同様の処理を行う（Ｓ１６０５／ＮＯ）。全特徴画像について検索結果が得られると（Ｓ１６０５／ＹＥＳ）、状況分類部１２２は、得られた検索結果から夫々のキーワードの重複回数をカウントする（Ｓ１６０６）。
【００８３】
カウントの結果、状況分類部１２２は、最も重複回数が多いキーワードを注目している写真情報のキーワードとして設定して（Ｓ１６０７）、電子アルバム作成装置１は画像検索及びキーワード設定の処理を終了する。
【００８４】
この時のイメージとしては図１７に示すＳ１７１３及びＳ１７１４である。図１７に示す例では、重複回数は、「ＡＡＡ」については１回、「ＢＢＢ」については３回、「ＣＣＣ」については２回、「ＤＤＤ」については２回、「ＥＥＥ」については１回であることがわかる。また、図１７に示す例では、最も重複回数が多いキーワードは「ＢＢＢ」であるため、「ＢＢＢ」がキーワードとして設定されていることがわかる。
【００８５】
次に、図９に示したＳ９０３の処理、つまり、電子アルバム作成装置１が状況別に分類した写真情報から電子アルバムに使用する写真情報を選択する処理について図１８及び図２１を参照して説明する。図１８は、本実施形態に係る電子アルバム作成装置１が状況別に分類した写真情報の重要度を算出する処理手順を示すフローチャートである。図２１は、本実施形態に係る電子アルバム作成装置１が算出された重要度に基づいて電子アルバムに使用する写真情報を選択する処理手順を示すフローチャートである。
【００８６】
まず、図１８を参照して、電子アルバム作成装置１が状況別に分類した写真情報の重要度を算出する処理について説明する。重要度算出部１１３は、写真データとして重要度を写真情報に付加する（Ｓ１８０１）。このとき、重要度は全ての写真情報について共通のデフォルト値に設定されているものとする。
【００８７】
次に、重要度算出部１１３は、注目している写真情報が必須写真として指定されているか否かの判定を行う（Ｓ１８０２）。ここで、必須写真であるか否かは、電子アルバムの作成に際して、ユーザが表示部１４０を操作することにより、図３に示す画面において初期値として予め指定することにより決定されている。
【００８８】
重要度算出部１１３は、注目している写真情報を必須写真であると判定した場合（Ｓ１８０２／ＹＥＳ）には、その写真情報の重要度を最大に更新する（Ｓ１８０３）。一方、重要度算出部１１３は、注目している写真情報を必須写真ではないと判定した場合（Ｓ１８０２／ＮＯ）には、その写真情報の画質に基づいて重要度の算出を行う（Ｓ１８０４）。
【００８９】
ここで、重要度算出部１１３は、写真情報の画質に基づいて重要度の算出を行う処理について図１９を参照して説明する。図１９は、本実施形態に係る電子アルバム作成装置１が写真情報の画質に基づいて重要度の算出を行う処理手順を示すフローチャートである。
【００９０】
図１９に示すように、本実施形態に係る電子アルバム作成装置１が写真情報の画質に基づいて重要度の算出を行うにはまず、画質計算部１１１は、注目している写真情報の写真データから画素数を取得し（Ｓ１９０１）、取得した画素数が一定値以上であるか否か判定する（Ｓ１９０２）。
【００９１】
画質計算部１１１が画素数は一定値以上ではないと判定した場合（Ｓ１９０２／ＮＯ）には、重要度算出部１１３は、注目している写真情報の重要度を減算して（Ｓ１９０３）する。そして、画質計算部１１１は注目している写真情報からエッジを検知する（Ｓ１９０４）。一方、画質計算部１１１は、画素数は一定値以上であると判定した場合（Ｓ１９０２／ＹＥＳ）には、そのままＳ１９０４の処理を行う。
【００９２】
そして、Ｓ１９０４の結果から、画質計算部１１１は、一定以上のエッジが存在するか否か判定し（Ｓ１９０５）、一定以上のエッジが存在すると判定した場合（Ｓ１９０５／ＹＥＳ）には、電子アルバム作成装置１は画質に基づく重要度の算出処理を終了する。
【００９３】
一方、画質計算部１１１が一定以上のエッジが存在しないと判定した場合（Ｓ１９０５／ＮＯ）には、重要度算出部１１３は、注目している写真情報の重要度を減算する（Ｓ１９０６）。そして、画質計算部１１１は注目している写真情報の構図が良いか否か判定する（Ｓ１９０７）。
【００９４】
ここで、構図の良し悪しの判定には、例えば、図２０に示すような三分割構図等を用いることにより判定する方法がある。三分割構図法とは、図２０に示すように写真情報を縦横三分割した線の交点上に特徴画像が存在すれば、その写真情報の構図が良いと判定する方法である。この他、構図の良し悪しの判定には、三角構図法や日の丸構図法、曲線構図法等の方法が用いられるがこれらに限られるものではない。
【００９５】
そして、画質計算部１１１が構図が良いと判定した場合には（Ｓ１９０７／ＹＥＳ）、重要度算出部１１３は、その写真情報の重要度を加算し（Ｓ１９０８）、電子アルバム作成装置１は画質に基づく重要度の算出処理を終了する。
【００９６】
尚、図１９においては、画素数、エッジ及び構図に着目して重要度の算出を行う処理について説明したが、画質に関する他の写真データやその他の組み合わせに基づいて重要度の算出が行われるように構成されていても良い。
【００９７】
画質に基づく重要度の算出処理（Ｓ１８０４）が終了したら、次に、指定画像検出部１１２は、注目している写真情報に予め指定されている人物が存在するか否か判定する（Ｓ１８０５）。指定画像検出部１１２が指定人物が存在すると判定した場合には（Ｓ１８０５／ＹＥＳ）、重要度算出部１１３は、その写真情報の重要度を加算して（Ｓ１８０６）次の処理（Ｓ１８０７）に移行する。
【００９８】
一方、指定画像検出部１１２は、指定人物が存在しないと判定した場合には（Ｓ１８０５／ＮＯ）、そのまま次の処理（Ｓ１８０７）に移行する。ここで、注目している写真情報に指定人物が存在するか否かの判定は、指定画像検出部１１２が、顔認識システム１５０に人物の顔を検索させ、検索された人物の顔と指定人物の顔画像の類似度を画像類似度測定システム１６０に測定させる。そして、指定画像検出部１１２は、類似度測定の結果に基づいて、検出された顔が指定人物であるか否か判定することにより行われる。
【００９９】
指定人物の有無に基づく重要度の算出処理（Ｓ１８０５、Ｓ１８０６）が終了したら、指定画像検出部１１２は、注目している写真情報に予め指定されている特徴画像が存在するか否か判定する（Ｓ１８０７）。指定画像検出部１１２が指定された特徴画像が存在すると判定した場合には（Ｓ１８０７／ＹＥＳ）、重要度算出部１１３は、その写真情報の重要度を加算して（Ｓ１８０８）次の処理（Ｓ１８０９）に移行する。
【０１００】
一方、指定画像検出部１１２は、指定された特徴画像が存在しないと判定した場合には（Ｓ１８０７／ＮＯ）、そのまま次の処理（Ｓ１８０９）に移行する。ここで、指定された特徴画像が存在するか否かの判定は、特徴画像抽出部１１４が注目している写真情報から特徴画像を抽出し、指定画像検出部１１２が、抽出された特徴画像と指定された画像の類似度を画像類似度測定システム１６０に測定させる。そして、指定画像検出部１１２は、類似度測定の結果に基づいて、抽出された特徴画像が指定された画像であるか否か判定することにより行われる。
【０１０１】
指定画像の有無に基づく重要度の算出処理（Ｓ１８０７、Ｓ１８０８）が終了したら、次に、重要度算出部１１３は、注目している写真情報に予め指定されているキーワードが含まれるか否か判定する（Ｓ１８０９）。重要度算出部１１３は、指定されたキーワードが含まれると判定した場合には（Ｓ１８０９／ＹＥＳ）、その写真情報の重要度を加算して（Ｓ１８１０）次の処理（Ｓ１８１１）に移行する。
【０１０２】
一方、重要度算出部１１３は、指定されたキーワードが含まれないと判定した場合には（Ｓ１８０９／ＮＯ）、そのまま次の処理（Ｓ１８１１）に移行する。ここで、指定されたキーワードが含まれるか否かの判定は、重要度算出部１１３が、図１６に示すＳ１６０４及び図１７に示すＳ１７１０〜Ｓ１７１２による画像検索の結果で得られたキーワードと予め指定されたキーワードとを比較することにより行われる。
【０１０３】
指定キーワードの有無に基づく重要度の算出処理（Ｓ１８０９、Ｓ１８１０）が終了したら、重要度算出部１１３は、これまでの算出処理に基づいて、注目している写真情報の重要度を更新する（Ｓ１８１１）。そして、電子アルバム作成装置１は、全ての写真情報について重要度の更新が終了するまでＳ１８０２〜Ｓ１８１１と同様の処理を繰り返し（Ｓ１８１２／ＮＯ）、終了したら（Ｓ１８１２／ＹＥＳ）電重要度の算出処理を終了する。
【０１０４】
重要度の算出処理が終了すると、電子アルバム作成装置１は、図１８において算出された重要度に基づいて、電子アルバムに使用する写真情報を選択する。本実施形態に係る電子アルバム作成装置１が算出された重要度に基づいて電子アルバムに使用する写真情報を選択するにはまず、図２１に示すように、画質計算部１１１は、撮影日時順に並べられた複数枚の写真情報から１枚選択し、選択した写真情報（以下、「注目している写真情報」とする）とその一つ前の写真情報及び後の写真情報との類似度を画像類似度測定システム１６０に測定させる（Ｓ２１０１）。ここで、類似度の測定は、図１５のＳ１５０２の処理と同様に行うことができる。
【０１０５】
次に、画質計算部１１１は、Ｓ２１０１において測定された類似度に基づいて、注目している写真情報とその一つ前の写真情報及び後の写真情報とが類似しているか判定する（Ｓ２１０２）。画質計算部１１１が注目している写真情報とその一つ前の写真情報及び後の写真情報とが類似していないと判定した場合には（Ｓ２１０２／ＮＯ）、重要度算出部１１３は、注目している写真情報の重要度が閾値以上であるか否か判定する（Ｓ２１０５）
【０１０６】
一方、画質計算部１１１が注目している写真情報とその一つ前の写真情報及び後の写真情報とが類似していると判定した場合には（Ｓ２１０２／ＹＥＳ）、重要度算出部１１３は、注目している写真情報の重要度がその一つ前及び後の写真情報の重要度より高いか否か判定する（Ｓ２１０３）。重要度算出部１１３は、注目している写真情報の重要度がその一つ前及び後の写真情報の重要度よりも高くないと判定した場合には（Ｓ２１０３／ＮＯ）、注目している写真情報の重要度が閾値以上であるか否か判定する（Ｓ２１０５）
【０１０７】
一方、重要度算出部１１３は、注目している写真情報の重要度がその一つ前及び後の写真情報の重要度よりも高いと判定した場合には（Ｓ２１０３／ＹＥＳ）、注目している写真情報の重要度を加算し、その一つ前の写真情報及び後の写真情報の重要度を減算する（Ｓ２１０４）。そして、重要度算出部１１３は注目している写真情報の重要度が閾値以上であるか否か判定する（Ｓ２１０５）。
【０１０８】
重要度算出部１１３は、注目している写真情報の重要度が閾値以上であると判定した場合には（Ｓ２１０５／ＹＥＳ）、注目している写真情報を電子アルバムに使用する写真情報として設定する（Ｓ２１０６）。一方、重要度算出部１１３は、注目している写真情報の重要度が閾値以上でないと判定した場合には（Ｓ２１０５／ＮＯ）、注目している写真情報を電子アルバムに使用しない写真情報として設定する（Ｓ２１０７）。
【０１０９】
電子アルバム作成装置１は、全ての写真情報について電子アルバムに使用するか否かの設定処理が施されるまで（Ｓ２１０９／ＮＯ）、他の写真情報についてもＳ２１０１〜Ｓ２１０７の処理を繰り返す（Ｓ２１０８）。全写真情報において、一つ前後の写真との組み合わせについて上記設定が終了したら（Ｓ２１０９／ＹＥＳ）、重要度算出部１１３は電子アルバムに使用する写真情報として設定された写真情報を選択する（Ｓ２１１０）。そして、電子アルバム作成装置１は電子アルバムに使用する写真情報を選択する処理を終了する。
【０１１０】
次に、図９に示したＳ９０４の処理、つまり、電子アルバム作成装置１が、選択された写真情報を各ページに割り当てる処理について説明する。但し、この処理は、状況分類部１２２による図１５及び図１６に示す状況分類と同様の処理をページ分類部１２３が行うことにより実現されるため、詳細は省略する。
【０１１１】
ページ分類部１２３が選択された写真情報を各ページに割り当てる処理は、状況分類部１２２による状況分類と同様であるが、上述したように状況分類よりもさらに類似した写真情報同士で分類する必要がある。そのため、この処理においては、状況分類部１２２による状況分類の場合よりも、類似度測定や撮影位置、撮影日時等の閾値をより細かく設定する。
【０１１２】
次に、図９に示したＳ９０７の処理、つまり、電子アルバム作成装置１が、各写真情報にコメントを挿入する処理について説明する。コメントの挿入は、位置検索により得られる撮影位置と人物検索により得られる人物名をキーワードとして設定することにより行われる。
【０１１３】
まず、位置検索により得られる撮影位置をキーワードとして設定する処理について図２２及び図２３を参照して説明する。図２２は、本実施形態に係る電子アルバム作成装置１が写真情報に対して位置検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。図２３は、本実施形態に係る電子アルバム作成装置１が写真情報に対して位置検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【０１１４】
本実施形態に係る電子アルバム作成装置１が写真情報に対して位置検索を行い、その写真情報にキーワードを設定するにはまず、コメント挿入部１３１は、注目している写真情報の写真データから撮影位置情報を抽出する（Ｓ２２０１）。この時のイメージとしては図２３に示すＳ２３０１である。次に、コメント挿入部１３１は、図４に示す位置情報ＤＢ１７０の対応関係を参照して、抽出された撮影位置情報の位置検索を行う（Ｓ２２０２）。この時のイメージとしては図２３に示すＳ２３０２である。
【０１１５】
次に、コメント挿入部１３１は、抽出された撮影位置情報に対応するキーワードを位置情報ＤＢ１７０から抽出し、抽出されたキーワードを位置検索の検索結果とし（Ｓ２２０３）、位置検索によるキーワードとして設定する（Ｓ２２０３）。そして、電子アルバム作成装置１は位置検索によるキーワード設定の処理を終了する。この時のイメージとしては図２３に示すＳ２３０３、Ｓ２３０４である。
【０１１６】
図２３に示す例では、写真データから抽出された撮影位置情報が「緯度：α 経度：β」であるため、図４に示す位置情報ＤＢ１７０から抽出されたキーワードは「○○○株式会社本社」であることがわかる。そして、この「○○○株式会社本社」がキーワードとして設定されていることがわかる。
【０１１７】
次に、人物検索により得られる人物名をキーワードとして設定する処理について図２４及び図２５を参照して説明する。図２４は、本実施形態に係る電子アルバム作成装置１が写真情報に対して人物検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。図２５は、本実施形態に係る電子アルバム作成装置１が写真情報に対して人物検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【０１１８】
本実施形態に係る電子アルバム作成装置１が写真情報に対して人物検索を行い、その写真情報にキーワードを設定するにはまず、顔認識システム１５０は、注目している写真情報から人物の顔画像を抽出する（Ｓ２４０１）。この時のイメージとしては図２５に示すＳ２５０１である。
【０１１９】
次に、コメント挿入部１３１は、抽出された顔画像と画像情報ＤＢ１８０に格納されている顔画像との類似度を画像類似度測定システム１６０に測定させることにより、抽出された顔画像の人物検索を行う（Ｓ２４０２）。この時のイメージとしては図２５に示すＳ２５０２である。
【０１２０】
Ｓ２４０２における類似度測定の結果を基に、コメント挿入部１３１は、画像情報ＤＢ１８０に格納されている顔画像のうち最も類似度の高い顔画像を、抽出された顔画像の真の顔画像として特定する（Ｓ２４０３）。この時のイメージとしては図２５に示すＳ２５０３であり、抽出された人物の顔画像は顔画像１として特定されていることがわかる。
【０１２１】
コメント挿入部１３１は、図６に示す画像情報ＤＢ１８０の対応関係を参照して、Ｓ２４０３の処理で特定された顔画像に対応する人物名を抽出し、抽出された人物名を抽出された顔画像の人物名としてこれを人物検索の検索結果とする（Ｓ２４０４）。この時のイメージとしては図２５に示すＳ２５０４であり、人物検索の検索結果は「Ａさん」であることがわかる。
【０１２２】
コメント挿入部１３１は、抽出された全顔画像について検索結果が得られるまで、他の顔画像についてもＳ２４０２〜Ｓ２４０４と同様の処理を行い（Ｓ２４０５／ＮＯ）、全顔画像について検索結果が得られると（Ｓ２４０５／ＹＥＳ）、コメント挿入部１３１は、得られた検索結果をキーワードとして設定する（Ｓ２４０６）。そして、電子アルバム作成装置１は人物検索によるキーワード設定の処理を終了する。この時のイメージとしては、図２５に示すＳ２５０５である。
【０１２３】
尚、図２２〜図２５では、コメントの挿入には位置検索によるキーワードと人物検索によるキーワードのみを使用する例について説明したが、図１６及び図１７に説明した画像検索により得られたキーワードを使用しても良い。
【０１２４】
このようにして設定されたキーワードを基に、コメント挿入部１３１は、注目している写真情報にコメントを挿入する。この時のイメージとしては図２６に示すように、「Ａさんを○○○株式会社本社にて撮影」がコメントとして挿入されていることがわかる。
【０１２５】
以上、説明したように、本実施形態に係る電子アルバム作成装置１は、初期情報と写真データとに基づいて各写真情報の重要度を算出し、算出された重要度に基づいて複数枚ある写真情報から電子アルバムに使用する写真情報を自動で選択することができる。これにより、本実施形態に係る電子アルバム作成装置１は、ユーザが所望する写真情報を使用した電子アルバムを自動で作成することができる。
【０１２６】
さらに、本実施形態に係る電子アルバム作成装置１は、算出された重要度や初期情報、写真データに基づいて、選択された写真情報の各ページへの割り当てや割り当てられた写真情報を配置するためのテンプレートの選択、各写真情報へのコメントの挿入を自動で行うことができる。これにより、ユーザに単調なイメージを感じさせることがなく、且つ、ユーザの意図を反映した電子アルバムを自動で作成することができる。
【符号の説明】
【０１２７】
１ 電子アルバム作成装置
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ バス
１００ 写真取得部
１１０ 写真選択部
１１１ 画質計算部
１１２ 指定画像検出部
１１３ 重要度算出部
１１４ 特徴画像抽出部
１２０ 写真グルーピング部
１２１ 画像検索部
１２２ 状況分類部
１２３ ページ分類部
１２４ 特徴画像抽出部
１３０ アルバム作成部
１３１ コメント挿入部
１３２ 写真配置部
１３３ 背景選択部
１４０ 表示部
１４１ 初期値設定部
１４２ 閲覧部
１４３ 編集部
１５０ 顔認識システム
１６０ 画像類似度測定システム
１７０ 位置情報データベース
１８０ 画像情報データベース
１９０ テンプレートデータベース
２００ 背景データベース
【先行技術文献】
【特許文献】
【０１２８】
【特許文献１】特開２００７−２７２４２８号公報
【特許文献２】特開２００６−１０８９９９号公報
【特許文献３】特開２００６−１８５２６２号公報
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラム及び画像処理システムに関し、特に、画像処理装置における写真情報の加工処理に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の普及に伴い、手軽に写真を撮る機会が増えてきている。利用者はこのデジタルカメラ等で撮影した画像をＤＶＤやハードディスクドライブ等の記録媒体に記録させることにより撮り溜めておくことができる。そして、利用者は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末を使用して撮り溜めておいた画像一枚一枚に「いつ、どこで、何を撮影したのか」などの題名を付加することにより、好きな時に電子アルバムを作成することができる。
【０００３】
ところが、上述したデジタルカメラは手軽に写真を撮ることができる上に、大量の画像を記録させておくことができ、また、別の記録媒体にも画像を記録させることができるので、撮り溜めた画像の枚数は利用者が気付かない間に膨大な数になってしまうことがある。そのため、利用者がこれらに一枚一枚手作業で題名を付けて保存することは困難である。しかも、利用者はこの作業を撮影後にすぐ行わないと、どこで撮影したのか等の画像に関する情報を忘れてしまい、電子アルバムを作成することが困難となってしまう。
【０００４】
そこで、このような困難を解決するものとして、自動で電子アルバムを作成する電子アルバム作成装置が考案され既に知られている（例えば、特許文献１、特許文献２、特許文献３）。このような電子アルバム作成装置はＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等の撮影情報に基づいて画像にタイトルや文字情報を付加することにより電子アルバムを自動で作成するものである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、このような電子アルバム作成装置で電子アルバムを作成させるためには、利用者は撮り溜めておいた画像から電子アルバムに使用したい画像を予め選定しなければならない。画像の選定には、例えば、「構図が良いから」、「ピントが合っているから」、「人物が映っているから」などの理由が考えられるが、何れにしても画像を一枚一枚閲覧して目視で確認する必要がある。しかし、膨大な枚数の画像から電子アルバムに使用したい画像を目視により選定する作業には多くの時間と労力を要するといった問題がある。
【０００６】
本発明は、このような課題を解決するためになされたものであり、複数の写真情報から電子アルバムを作成する場合に、簡易な構成で利用者の利便性を向上させると共に利用者に単調なイメージを感じさせることがなく、且つ、利用者の意図を反映した電子アルバムを自動で作成することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理装置であって、前記写真情報を取得する写真取得部と、前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類する状況分類部と、前記付加情報に基づいて前記分類された写真情報の重要度を算出する重要度算出部と、前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択する写真選択部と、前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するページ分類部と、前記分類された写真情報を各ページに配置する写真配置部とを備えることを特徴とする。
【０００８】
また、本発明の他の態様は、撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理プログラムであって、前記写真情報を取得するステップと、前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類するステップと、前記付加情報に基づいて前記分類された写真情報の重要度を算出するステップと、前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択するステップと、前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するステップと、前記分類された写真情報を各ページに配置するステップとを実行することを特徴とする。
【０００９】
また、本発明の更に他の態様は、撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理システムであって、前記写真情報を取得する写真取得部と、前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類する状況分類部と、前記付加情報に基づいて前記分類された写真情報の重要度を算出する重要度算出部と、前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択する写真選択部と、前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するページ分類部と、前記分類された写真情報を各ページに配置する写真配置部とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の写真情報から電子アルバムを作成する場合に、簡易な構成で利用者の利便性を向上させると共に利用者に単調なイメージを感じさせることがなく、且つ、利用者の意図を反映した電子アルバムを自動で作成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る電子アルバム作成装置のハードウェア構成を模式的に示す図である。
【図２】本発明の実施形態に係る電子アルバム作成装置の機能構成を示すブロック図である。
【図３】本発明の実施形態に係る電子アルバム作成装置の初期値設定画面の表示例を示す図である。
【図４】本発明の実施形態に係る位置情報データベースのデータ構造の例を示す図である。
【図５】本発明の実施形態に係る画像情報データベースのデータ構造の例を示す図である。
【図６】本発明の実施形態に係る画像情報データベースのデータ構造の例を示す図である。
【図７】本発明の実施形態に係るテンプレートデータベースのデータ構造の例を示す図である。
【図８】本発明の実施形態に係る背景データベースのデータ構造の例を示す図である。
【図９】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理手順を示すフローチャートである。
【図１０】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、写真情報を状況別に分類する処理手順を模式的に示す図である。
【図１１】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、分類された写真情報から電子アルバムに使用する写真情報を選択する処理手順を模式的に示す図である。
【図１２】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、電子アルバムに使用する写真情報を各ページに分類する処理手順を模式的に示す図である。
【図１３】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、各ページに分類された写真情報をテンプレートに配置する処理手順を模式的に示す図である。
【図１４】本発明の実施形態に係る電子アルバム作成装置が電子アルバムを作成する処理のうち、テンプレートに配置された写真情報にコメントを挿入し、背景を設定する処理手順を模式的に示す図である。
【図１５】本発明の実施形態に係る電子アルバム作成装置が取得した写真情報を状況別に分類する処理手順を示すフローチャートである。
【図１６】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して画像検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。
【図１７】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して画像検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【図１８】本発明の実施形態に係る電子アルバム作成装置が状況別に分類した写真情報の重要度を算出する処理手順を示すフローチャートである。
【図１９】本発明の実施形態に係る電子アルバム作成装置が写真情報の画質に基づいて重要度の加減算を行う処理手順を示すフローチャートである。
【図２０】本発明の実施形態に係る写真情報の構図の判定に用いる三分割構図法を示す図である。
【図２１】本発明の実施形態に係る電子アルバム作成装置が算出された重要度に基づいて電子アルバムに使用する写真情報を選択する処理手順を示すフローチャートである。
【図２２】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して位置検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。
【図２３】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して位置検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【図２４】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して人物検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。
【図２５】本発明の実施形態に係る電子アルバム作成装置が写真情報に対して人物検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【図２６】本発明の実施形態に係る電子アルバム作成装置が作成した電子アルバム内の写真の完成例を示す図である。
【図２７】本発明の実施形態に係る写真情報に付加されている写真データの例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、電子アルバム作成装置の例として、複数の写真情報から電子アルバムに使用する写真情報を選択し、選択された写真情報を撮影状況や１ページ当たりの枚数に応じて各ページに配置することにより、電子アルバムを自動で作成する電子アルバム作成装置を例として説明する。尚、本実施形態において“状況”とは、例えば、「遠足での、自由行動時間における、特定の建物内で撮影」などといったことが挙げられる。つまり、複数枚ある写真の中で、撮影した場所と時間が近く、同じものが写っている写真同士は同じ状況で撮影されたものであると判断される。
【００１３】
尚、本実施形態に係る写真情報はデジタルカメラ等の撮像装置により被写体を撮影することにより作成され、その写真情報には、撮影した時の撮影日時、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報、撮影方向、写真情報の解像度やピクセル数等の写真データが付加されて記録されている。このような写真データが付加された写真情報の形式には例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等がある。この写真データのフォーマットは、図２７に示す通りであり、「画像に関する情報」と「撮影した状況に関する情報」とに分けることができる。
【００１４】
図１は本実施系に係る電子アルバム作成装置１のハードウェア構成を模式的に示すブロック図である。図１に示すように本実施形態に係る電子アルバム作成装置１は、一般的なサーバやＰＣ等と同様の構成を含む。即ち、本実施形態に係る電子アルバム作成装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。
【００１５】
ＣＰＵ１０は演算手段であり、電子アルバム作成装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。
【００１６】
Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが電子アルバム作成装置１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが電子アルバム作成装置１に情報を入力するためのユーザインタフェースである。
【００１７】
このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０がＲＡＭ２０にロードされたプログラムに従って演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る電子アルバム作成装置１の機能を実現する機能ブロックが構成される。
【００１８】
尚、本実施形態に係る電子アルバム作成装置１は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等の外部記憶媒体から写真情報を直接読み込むためのインタフェースや、ネットワーク経由で外部から写真情報を受け取るためのネットワークインタフェースを備える。これらのインタフェースは図１に示すＩ／Ｆ５０により実現される。
【００１９】
次に、本実施形態に係る電子アルバム作成装置１の機能構成について図２を参照して説明する。図２は、本実施形態に係る電子アルバム作成装置１の機能構成を示すブロック図である。図２に示すように本実施形態に係る電子アルバム作成装置１は、写真取得部１００、写真選択部１１０、写真グルーピング部１２０、アルバム作成部１３０、表示部１４０、顔認識システム１５０、画像類似度測定システム１６０、位置情報データベース１７０、画像情報データベース１８０、テンプレートデータベース１９０及び背景データベース２００により構成されている。
【００２０】
写真取得部１００は、外部記憶媒体から若しくはネットワーク経由で写真情報を取得する。写真選択部１１０は、画質計算部１１１、指定画像検出部１１２、重要度算出部１１３、特徴画像抽出部１１４を備え、電子アルバムに使用する写真情報を選択する機能を提供する。
【００２１】
画質計算部１１１は、写真情報全体の構図の良し悪しの判定やピントが合っているか否かの判定、前後の写真情報との類似度の判定を行う。指定画像検出部１１２は、ユーザが予め指定した画像と類似している画像が写真情報上に存在するか否かの判定を行う。
【００２２】
重要度算出部１１３は、画質計算部１１１や指定画像検出部１１２の判定結果に基づいて重要度の算出を行い、算出された重要度に基づいて電子アルバムに使用する写真情報を選択する。ここで、重要度とは、電子アルバムに使用する写真情報を選択するための基準となるパラメータであり、重要度が高ければ高いほど、電子アルバムに使用する写真情報として選択される可能性が高いことを表す。
【００２３】
特徴画像抽出部１１４は、写真情報から特徴的な画像を抽出し、抽出された特徴画像を画質計算部１１１が構図の良し悪しの判定に用いたり、指定画像検出部１１２が指定画像の有無の判定に用いることができる。
【００２４】
写真グルーピング部１２０は、画像検索部１２１、状況分類部１２２、ページ分類部１２３、特徴画像抽出部１２４を備え、状況が類似するもの同士で写真情報を状況別に分類し、電子アルバムの各ページに写真情報を割り当てる機能を提供する。画像検索部１２１は、特徴画像抽出部１２４により抽出された特徴画像と画像情報データベース１８０に格納されている画像とを比較することにより画像情報データベース１８０からキーワードを抽出する。
【００２５】
状況分類部１２２は、写真取得部１００が取得した写真情報を撮影日時順に並べた後に状況別に分類する。ページ分類部１２３は、写真選択部１１０で選択された写真情報を状況分類部１２２による分類よりも更に細かく状況別に分類し、分類された写真情報を各ページに割り当てる。特徴画像抽出部１２４は、写真情報から特徴的な画像を抽出する。特徴が像抽出部１２４によって抽出された特徴画像は、画像検索部１２１が後述する画像検索に用いる。
【００２６】
アルバム作成部１３０は、コメント挿入部１３１、写真配置部１３２、背景選択部１３３を備え、ページ分類部１２３で各ページに割り当てられた写真情報を加工して電子アルバムとして仕上げる機能を提供する。コメント挿入部１３１は、写真データに含まれる撮影位置情報や撮影した人物、写真情報に写っている特徴画像などに基づいて写真情報毎にコメントを挿入する。
【００２７】
写真配置部１３２は、ページ分類部１２３で割り当てられた写真情報を各ページに配置するためのテンプレートをテンプレートデータベース１９０から選択し、そのテンプレートに合わせて写真情報を配置する。背景選択部１３３は、背景データベース２００から背景を選択して、選択された背景を各写真情報に設定する。
【００２８】
表示部１４０は、初期値設定部１４１、閲覧部１４２、編集部１４３を備え、電子アルバム作成装置１の状態を視覚的に表示する出力インタフェースであると共に、ユーザが電子アルバム作成装置１を直接操作し、若しくは電子アルバム作成装置１に対して情報を入力する際の入力インタフェースとして機能する。表示部１４０は、図１に示すＬＣＤ６０及び操作部７０によって実現される。
【００２９】
初期値設定部１４１は、初期情報を入力するための初期値設定画面を閲覧部１４２に表示させて、ユーザが入力した初期情報を初期値として設定する。ユーザが初期情報を入力することにより、その初期情報を含む写真情報は、優先的に電子アルバムに使用する写真情報として選択される。
【００３０】
初期情報としては、人物指定、状況指定、画像指定、位置指定、キーワード指定、必須写真指定等が挙げられる。即ち、これらの指定項目を含む写真情報は、無条件に重要度が加算される等により優先的に選択されることになる。図３に初期値設定画面の表示例を示す。図３に示す例では、初期情報として、人物指定には「Ａさん」及びそれに対応する人物の顔画像、状況指定には「Ａさんの入社式」、キーワード指定には「○○○株式会社本社」、指定画像には「▲」、必須写真には「写真１」が入力されていることがわかる。
【００３１】
閲覧部１４２は、初期値設定画面の表示や完成した電子アルバムのチェック画面の表示、完成した電子アルバムの修正画面の表示を行う。編集部１４３は、完成した電子アルバムのチェック画面や修正画面を閲覧部１４２に表示させて、ユーザの操作に応じて電子アルバムのチェックや修正を行う。
【００３２】
顔認識システム１５０は写真情報から人物の顔画像を検索して抽出する。画像類似度測定システム１６０は、特徴画像抽出部１１４や特徴画像抽出部１２４、顔認識システム１５０により抽出された特徴画像や顔画像と画像情報データベース１８０に格納されている画像との類似度を測定する。
【００３３】
位置情報データベース１７０（以下、「位置情報ＤＢ１７０」とする）は、写真データの撮影位置情報から撮影位置を特定するためのデータベースであって、位置情報ＤＢ１７０には撮影位置情報と撮影位置とが関連付けられて登録されている。
【００３４】
図４に位置情報ＤＢ１７０のデータ構造の例を示す。図４に示す例では、撮影位置情報が「緯度」と「経度」によって定められており、各撮影位置情報に対応する撮影位置が登録されていることがわかる。
【００３５】
画像情報データベース１８０（以下、「画像情報ＤＢ１８０」とする）は、特徴画像抽出部１１４や特徴画像抽出部１２４、顔認識システム１５０により抽出された特徴画像や顔画像に対応するキーワードを特定するためのデータベースであって、画像識別情報とキーワードとが関連付けられて登録されている。
【００３６】
図５及び図６に画像情報ＤＢ１８０のデータ構造の例を示す。図５は、画像情報ＤＢ１８０に格納されているテーブルのうち、画像とキーワードとを関連付けるテーブルであり、各画像の識別情報、格納場所及びその画像に対応するキーワードが登録されている。図６は、画像情報ＤＢ１８０に格納されているテーブルのうち、画像と人物名とを関連付けるテーブルであり、各画像の識別情報、格納場所及びその画像に対応する人物名が登録されている。以下では、画像情報ＤＢ１８０を利用する際には、図５及び図６における画像識別情報と画像格納場所とをまとめて画像情報として扱う。
【００３７】
テンプレートデータベース１９０（以下、「テンプレートＤＢ１９０」とする）は、電子アルバムの１ページ当たりの写真情報の枚数とそのページにおける各写真情報の配置パターンから、そのページに写真情報を配置するためのテンプレートを特定するためのデータベースである。テンプレートＤＢ１９０には、１ページ当たりの写真情報の枚数、各写真情報の配置パターン、テンプレート識別情報及びテンプレートデータの格納場所が関連付けられて登録されている。
【００３８】
図７にテンプレートＤＢ１９０のデータ構造の例を示す。図７に示す例では、配置パターンが「日時の順番−重要度の順番−向き」によって定められており、各配置パターンに対応するテンプレート識別情報が登録されていることがわかる。
【００３９】
背景データベース２００（以下、「背景ＤＢ２００」とする）は、写真情報の色情報からその写真情報の背景を特定するためのデータベースであって、写真情報の色情報と背景とが関連付けられて登録されている。図８に背景ＤＢ２００のデータ構造の例を示す。
【００４０】
図８に示す例では、色情報が「彩度」、「明度」及び「色相」によって定められており、各色情報に対応する背景識別情報及び背景情報の格納場所が登録されている。
【００４１】
このように構成された電子アルバム作成装置１において、本実施形態に係る要旨の一つは、電子アルバム作成装置１が初期情報と写真データとに基づいて各写真情報の重要度を算出し、算出された重要度に基づいて複数枚ある写真情報から電子アルバムに使用する写真情報を自動で選択することにある。これにより、本実施形態に係る電子アルバム作成装置１はユーザが所望する写真情報を使用した電子アルバムを自動で作成することができる。
【００４２】
さらに、本実施形態に係る電子アルバム作成装置１は、算出された重要度や初期情報、写真データに基づいて、選択された写真情報の各ページへの割り当てや割り当てられた写真情報を配置するためのテンプレートの選択、各写真情報へのコメントの挿入を自動で行うことができる。これにより、本実施形態に係る電子アルバム作成装置１は、ユーザに単調なイメージを感じさせることがなく、且つ、ユーザの意図を反映した電子アルバムを自動で作成することができる。
【００４３】
次に、本実施形態に係るアルバム作成装置１が電子アルバムを作成する処理について図９〜図１４を参照して説明する。図９は本実施形態に係る電子アルバム作成装置１が電子アルバムを作成する処理手順を示すフローチャートである。図１０〜図１４は本実施形態に係る電子アルバム作成装置１が電子アルバムを作成する処理手順を模式的に示す図である。図１０〜図１４においては、写真情報を長方形で示し、長方形の中に記載されている数字は撮影日時の順番を示し、同じ色の長方形は同じ状況で撮影されたことを示している。
【００４４】
図９に示すように、本実施形態に係る電子アルバム作成装置１が電子アルバムを作成するにはまず、写真取得部１００が写真情報を取得する（Ｓ９０１）。この時のイメージとしては図１０に示すＳ１００１である。
【００４５】
そして、状況分類部１２２は、写真取得部１００が取得した写真情報を撮影日時順に並べた後に状況別に分類する（Ｓ９０２）。この時のイメージとしては図１０に示すＳ１００２、Ｓ１００３である。図１０に示す例では、写真取得部１００が取得した写真情報は最終的に、状況１、状況２及び状況３の３種類の状況に分類され、それぞれ、８枚、１２枚、８枚に分類されていることがわかる。
【００４６】
写真情報が状況別に分類されたら、重要度算出部１１３は、分類された状況毎に重要度に基づいて電子アルバムに使用する写真情報を選択する（Ｓ９０３）。この時のイメージとしては図１１に示す通りである。図１１に示す例では、状況１からは４枚、状況２からは６枚、状況３からは３枚が選択されていることがわかる。このように、本実施形態に係る電子アルバム作成装置１は、分類された状況毎に写真情報を選択するので、同じ状況の写真情報ばかりが選択されることを避けることができる。
【００４７】
写真情報の選択が終了すると、ページ分類部１２３は、選択された写真情報を更に細かく状況別に分類し、分類された写真情報を各ページに割り当てる（Ｓ９０４）。この時のイメージとしては図１２に示す通りである。図１２に示す例では、状況１においては、状況１−１と状況１−２の２種類の状況に更に分類され、それぞれ、３枚と１枚に分類されていることがわかる。また、状況２においては、状況２−１と状況２−２の２種類の状況に更に分類され、それぞれ、２枚と４枚に分類されていることがわかる。また、状況３においては、分類は行われずにそのままであることがわかる。
【００４８】
このように、本実施形態に係る電子アルバム作成装置１は、選択された写真情報を更に細かく状況別に分類するので、同じページには状況がより類似した写真情報が割り当てられることになる。従って、本実施形態に係る電子アルバム作成装置１はユーザにとって観賞しやすい電子アルバムを作成することができる。
【００４９】
次に、写真配置部１３２は、１ページ当たりの写真情報の枚数、配置パターンとして定えられている「各写真情報の撮影日時順、各写真情報の重要度の順番、各写真情報の向き」に基づいて、該当するテンプレートを図７に示すテンプレートＤＢ１９０から選択し、Ｓ９０４で割り当てられた写真情報を選択されたテンプレートに合わせて配置する（Ｓ９０５）。
【００５０】
この時のイメージとしては図１３に示す通りである。図１３では、状況１−１を例として挙げている。図１３に示す例では、状況１−１は、写真情報の枚数が「３枚」であり、配置パターンとして「日時の順番―重要度の順番―写真情報の向き」の組み合わせが「１番目―２番目―横」、「２番目―１番目―縦」、「３番目―３番目―横」であることがわかる。そして、図７に示すテンプレートＤＢ１９０から上記枚数と配置パターンに該当するテンプレート１が選択され、そのテンプレートに合わせて写真情報が配置されていることがわかる。
【００５１】
このように、本実施形態に係る電子アルバム作成装置１は、１ページ当たりの写真の枚数と配置パターンにより、各ページのテンプレートを選択するので、ユーザに単調なイメージを感じさせることのない電子アルバムを作成することができる。
【００５２】
また、図１３に示すように、テンプレートＤＢ１９０に登録されているテンプレートは、重要度が高い写真情報であるほどサイズを大きくして配置するようになっている。従って、本実施形態に係る電子アルバム作成装置１は、ユーザの意図を反映して写真情報を配置することができる。
【００５３】
尚、テンプレートＤＢ１９０に登録されているテンプレートの写真配置部分のサイズは、重要度の大小に応じて、時間変化と共に変化するように構成されていても良い。また、写真配置部分が時間変化と共に移動するように構成されていても良い。このような構成とすることにより、ユーザはより単調なイメージを感じることがなくなる。
【００５４】
各ページに写真情報が配置されたら、背景選択部１３３は各写真情報の「彩度」、「明度」、「色相」に基づいて、図８に示す背景ＤＢ２００から背景を選択して設定する（Ｓ９０６）。
【００５５】
ここで、各写真情報の「彩度」、「明度」、「色相」を決定する方法について説明する。これに関する方法はいくつか考えられるが、一つ目は、写真情報の全画素の「彩度」、「明度」、「色相」の平均をそれぞれ求め、この平均値をその写真情報の「彩度」、「明度」、「色相」とする方法である。
【００５６】
その他には、「彩度」、「明度」、「色相」の全領域をそれぞれ複数に区切り、写真情報の各画素の「彩度」、「明度」、「色相」が属する領域を全画素についてカウントし、カウントの結果、属する画素が最も多い領域のそれぞれの代表値をその写真情報の「彩度」、「明度」、「色相」とする方法等がある。尚、各領域の代表値は予め設定されているものとする。
【００５７】
この時のイメージとしては図１４に示す通りである。図１４に示す例では、各写真情報の「彩度」、「明度」、「色相」の組み合わせが、写真情報３においては「η」、「θ」、「ι」であり、写真情報１３においては「κ」、「λ」、「μ」であり、写真情報２０においては、「ν」、「ξ」、「ο」であるため、図８に示す背景ＤＢ２００からそれぞれ、背景１、背景２、背景３が選択されていることがわかる。
【００５８】
このように、本実施形態に係る電子アルバム作成装置１は、「彩度」、「明度」、「色相」に基づいて、各写真の背景を設定するので、ユーザに単調なイメージを感じさせることのない電子アルバムを作成することができる。
【００５９】
尚、図８や図９のＳ９０６では、背景の選択には色情報として「彩度」、「明度」、「色相」のみを使用する例について説明したが、その他の写真データを使用しても良く、例えば、写真情報の複雑度や、撮影時間帯、撮影時期などを使用することもできる。このような構成とすることにより、ユーザはより単調なイメージを感じることがなくなる。
【００６０】
背景の設定が終了すると、コメント挿入部１３１は各写真情報にコメントを挿入し（Ｓ９０７）、電子アルバム作成装置１は電子アルバムの作成処理を完了する。この時のイメージとしては図１４に示す通りであり、各写真情報にコメントが挿入されていることがわかる。
【００６１】
次に、図９に示したＳ９０２の処理、つまり、電子アルバム作成装置１が取得した写真情報を状況別に分類する処理について図１５を参照して説明する。図１５は、本実施形態に係る電子アルバ作成装置１が取得した写真情報を状況別に分類する処理手順を示すフローチャートである。
【００６２】
図１５に示すように電子アルバム作成装置１が取得した写真情報を状況別に分類するにはまず、状況分類部１２２は、写真情報の写真データに含まれる撮影日時に関する情報に基づいて、写真取得部１００が取得した写真情報を撮影日時順に並べる（Ｓ１５０１）。
【００６３】
そして、状況分類部１２２は、撮影日時順に並べられた複数枚の写真情報から１枚選択し、選択した写真情報（以下、「注目している写真情報」とする）とその一つ前の写真情報との類似度を画像類似度測定システム１６０に測定させる（Ｓ１５０２）。ここで、類似度の測定は、特徴画像抽出部１２４が、注目している写真情報とその一つ前の写真情報から特徴画像を抽出し、抽出された特徴画像を画像類似度測定システム１６０が比較することにより行われる。類似度測定の具体的な処理については公知のアルゴリズムを用いることができるので、これについての詳細は省略する。
【００６４】
Ｓ１５０２の測定結果に基づいて、状況分類部１２２は、注目している写真情報とその一つ前の写真情報とが類似していると判定した場合（Ｓ１５０３／ＹＥＳ）には、写真情報の写真データに含まれる撮影日時に関する情報に基づいて、注目している写真情報の撮影日時とその一つ前の写真情報の撮影日時とが一定以上異なるか判定する（Ｓ１５０５）。
【００６５】
写真情報の類似度が高い写真情報同士はお互いに類似した状況であると考えられるため、Ｓ１５０２の処理のように、写真情報の類似度に基づいて状況分類を行うようにすれば、複数枚の写真情報を適切に状況別に分類することができる。
【００６６】
また、撮影日時が近い写真情報同士はお互いに類似した状況であると考えられるため、Ｓ１５０５の処理のように、撮影日時に基づいて状況分類を行うようにすれば、複数枚の写真情報を適切に状況別に分類することができる。
【００６７】
一方、Ｓ１５０２の測定結果に基づいて、状況分類部１２２は、注目している写真情報とその一つ前の写真情報とが類似していないと判定した場合（Ｓ１５０３／ＮＯ）には、写真情報の写真データに含まれる撮影位置に関する情報に基づいて、注目している写真情報の撮影位置とその一つ前の写真情報の撮影位置とが一定以上異なるか判定する（Ｓ１５０４）。
【００６８】
尚、撮影位置が近い写真情報同士はお互いに類似した状況であると考えられるため、Ｓ１５０４の処理のように、撮影位置に基づいて状況分類を行うようにすれば、複数枚の写真情報を適切に状況別に分類することができる。
【００６９】
そして、状況分類部１２２は、注目している写真情報の撮影位置とその一つ前の写真情報の撮影位置とが一定以上異ならないと判定した場合（Ｓ１５０４／ＮＯ）には、上述したＳ１５０５の判定を行う。Ｓ１５０５の処理において、状況分類部１２２は、注目している写真情報の撮影日時とその一つ前の写真情報の撮影日時とが一定以上異ならないと判定した場合（Ｓ１５０５／ＮＯ）には、注目している写真情報とその一つ前の写真情報とが同じ状況であると判断する（Ｓ１５０９）。
【００７０】
他方、状況分類部１２２が注目している写真情報の撮影日時とその一つ前の写真情報の撮影日時が一定以上異なると判定した場合（Ｓ１５０５／ＹＥＳ）、画像検索部１２１は、注目している写真情報の特徴画像に対して画像検索を行い、その写真情報にキーワードを設定する（Ｓ１５０６）。また、状況分類部１２２が注目している写真情報の撮影位置とその一つ前の写真情報の撮影位置とが一定以上異なると判定した場合（Ｓ１５０４／ＹＥＳ）にもＳ１５０６の処理を行う。Ｓ１５０６の処理については図１６及び図１７を参照して後述する。
【００７１】
そして、状況分類部１２２は、注目している写真情報のキーワードと一つ前の写真情報のキーワードとが一致するか判定し（Ｓ１５０７）、注目している写真情報のキーワードと一つ前の写真情報のキーワードとが一致すると判定した場合（Ｓ１５０７／ＹＥＳ）には、注目している写真情報とその一つ前の写真情報とが同じ状況であると判断する（Ｓ１５０９）。
【００７２】
一方、状況分類部１２２は、注目している写真情報のキーワードと一つ前の写真情報のキーワードとが一致しないと判定した場合（Ｓ１５０７／ＮＯ）には、注目している写真情報とその一つ前の写真情報とが異なる状況であると判断する（Ｓ１５０８）。
【００７３】
尚、後述する図１６及び図１７に示すキーワードを設定する処理を考慮すると、キーワードが同じ写真情報同士はお互いに類似した状況であると考えられるため、Ｓ１５０７の処理のように、キーワードに基づいて状況分類を行うようにすれば、複数枚の写真情報を適切に状況別に分類することができる。
【００７４】
状況分類部１２２は、写真取得部１００が取得した全写真情報において、一つ前の写真との組み合わせについて状況判断を終了するまで（Ｓ１５１１／ＮＯ）、他の写真情報についてもＳ１５０２〜Ｓ１５０９と同様の処理を行う（Ｓ１５１０）。全写真情報について状況判断が終了すると（Ｓ１５１１／ＹＥＳ）、状況分類部１２２は、お互いに類似する写真情報同士でグループ化し（Ｓ１５１２）、電子アルバム作成装置１は状況別に分類する処理を終了する。尚、図１５においては、撮影位置、撮影日時、キーワードに基づいて状況分類を行ったが、他の写真データやその他の組み合わせに基づいて状況分類を行っても良い。
【００７５】
ここで、画像検索部１２１が注目している写真情報の特徴画像に対して画像検索を行い、その写真情報にキーワードを設定する処理、つまり、図１５におけるＳ１５０６の処理について図１６及び図１７を参照して説明する。
【００７６】
図１６は本実施形態に係る電子アルバム作成装置１が写真情報に対して画像検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。図１７は、本実施形態に係る電子アルバム作成装置１が写真情報に対して画像検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【００７７】
図１６に示すように、本実施形態に係る電子アルバム作成装置１が写真情報に対して画像検索を行い、その写真情報にキーワードを設定するにはまず、特徴画像抽出部１２４は、注目している写真情報から特徴画像を抽出する（Ｓ１６０１）。この時のイメージとしては図１７に示すＳ１７０１〜Ｓ１７０３である。尚、図１５のＳ１５０２の類似度測定の処理の際に抽出した特徴画像を使用するようにすれば、Ｓ１６０１の処理は行わなくても良い。
【００７８】
次に、画像検索部１２１は、抽出された特徴画像と画像情報ＤＢ１８０に格納されている画像との類似度を画像類似度測定システム１６０に測定させることにより、その特徴画像の画像検索を行う（Ｓ１６０２）。この時のイメージとしては図１７に示すＳ１７０４〜Ｓ１７０６である。
【００７９】
Ｓ１６０２における類似度測定の結果から、画像検索部１２１は、画像情報ＤＢ１８０に格納されている画像のうち最も類似度の高い画像を、Ｓ１６０１で抽出された特徴画像として特定する（Ｓ１６０３）。この時のイメージとしては図１７に示すＳ１７０７〜Ｓ１７０９であり、特徴画像１は画像１として、特徴画像２は画像２として、特徴画像３は画像３として特定されていることがわかる。
【００８０】
画像検索部１２１は、図５に示す画像情報ＤＢ１８０の対応関係を参照して、Ｓ１６０３の処理で特定された画像に対応するキーワードを抽出し、抽出されたキーワードをその特徴画像のキーワードとしてこれを画像検索の検索結果とする（Ｓ１６０４）。
【００８１】
この時のイメージとしては図１７に示すＳ１７１０〜Ｓ１７１２である。図１７に示す例では、画像検索の検索結果は、特徴画像１については「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」であり、特徴画像２ついては「ＡＡＡ」、「ＢＢＢ」であり、特徴画像３については「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」、「ＥＥＥ」であることがわかる。
【００８２】
そして、画像検索部１２１は、抽出された全特徴画像について検索結果が得られるまで、他の特徴画像についてもＳ１６０２〜Ｓ１６０４と同様の処理を行う（Ｓ１６０５／ＮＯ）。全特徴画像について検索結果が得られると（Ｓ１６０５／ＹＥＳ）、状況分類部１２２は、得られた検索結果から夫々のキーワードの重複回数をカウントする（Ｓ１６０６）。
【００８３】
カウントの結果、状況分類部１２２は、最も重複回数が多いキーワードを注目している写真情報のキーワードとして設定して（Ｓ１６０７）、電子アルバム作成装置１は画像検索及びキーワード設定の処理を終了する。
【００８４】
この時のイメージとしては図１７に示すＳ１７１３及びＳ１７１４である。図１７に示す例では、重複回数は、「ＡＡＡ」については１回、「ＢＢＢ」については３回、「ＣＣＣ」については２回、「ＤＤＤ」については２回、「ＥＥＥ」については１回であることがわかる。また、図１７に示す例では、最も重複回数が多いキーワードは「ＢＢＢ」であるため、「ＢＢＢ」がキーワードとして設定されていることがわかる。
【００８５】
次に、図９に示したＳ９０３の処理、つまり、電子アルバム作成装置１が状況別に分類した写真情報から電子アルバムに使用する写真情報を選択する処理について図１８及び図２１を参照して説明する。図１８は、本実施形態に係る電子アルバム作成装置１が状況別に分類した写真情報の重要度を算出する処理手順を示すフローチャートである。図２１は、本実施形態に係る電子アルバム作成装置１が算出された重要度に基づいて電子アルバムに使用する写真情報を選択する処理手順を示すフローチャートである。
【００８６】
まず、図１８を参照して、電子アルバム作成装置１が状況別に分類した写真情報の重要度を算出する処理について説明する。重要度算出部１１３は、写真データとして重要度を写真情報に付加する（Ｓ１８０１）。このとき、重要度は全ての写真情報について共通のデフォルト値に設定されているものとする。
【００８７】
次に、重要度算出部１１３は、注目している写真情報が必須写真として指定されているか否かの判定を行う（Ｓ１８０２）。ここで、必須写真であるか否かは、電子アルバムの作成に際して、ユーザが表示部１４０を操作することにより、図３に示す画面において初期値として予め指定することにより決定されている。
【００８８】
重要度算出部１１３は、注目している写真情報を必須写真であると判定した場合（Ｓ１８０２／ＹＥＳ）には、その写真情報の重要度を最大に更新する（Ｓ１８０３）。一方、重要度算出部１１３は、注目している写真情報を必須写真ではないと判定した場合（Ｓ１８０２／ＮＯ）には、その写真情報の画質に基づいて重要度の算出を行う（Ｓ１８０４）。
【００８９】
ここで、重要度算出部１１３は、写真情報の画質に基づいて重要度の算出を行う処理について図１９を参照して説明する。図１９は、本実施形態に係る電子アルバム作成装置１が写真情報の画質に基づいて重要度の算出を行う処理手順を示すフローチャートである。
【００９０】
図１９に示すように、本実施形態に係る電子アルバム作成装置１が写真情報の画質に基づいて重要度の算出を行うにはまず、画質計算部１１１は、注目している写真情報の写真データから画素数を取得し（Ｓ１９０１）、取得した画素数が一定値以上であるか否か判定する（Ｓ１９０２）。
【００９１】
画質計算部１１１が画素数は一定値以上ではないと判定した場合（Ｓ１９０２／ＮＯ）には、重要度算出部１１３は、注目している写真情報の重要度を減算して（Ｓ１９０３）する。そして、画質計算部１１１は注目している写真情報からエッジを検知する（Ｓ１９０４）。一方、画質計算部１１１は、画素数は一定値以上であると判定した場合（Ｓ１９０２／ＹＥＳ）には、そのままＳ１９０４の処理を行う。
【００９２】
そして、Ｓ１９０４の結果から、画質計算部１１１は、一定以上のエッジが存在するか否か判定し（Ｓ１９０５）、一定以上のエッジが存在すると判定した場合（Ｓ１９０５／ＹＥＳ）には、電子アルバム作成装置１は画質に基づく重要度の算出処理を終了する。
【００９３】
一方、画質計算部１１１が一定以上のエッジが存在しないと判定した場合（Ｓ１９０５／ＮＯ）には、重要度算出部１１３は、注目している写真情報の重要度を減算する（Ｓ１９０６）。そして、画質計算部１１１は注目している写真情報の構図が良いか否か判定する（Ｓ１９０７）。
【００９４】
ここで、構図の良し悪しの判定には、例えば、図２０に示すような三分割構図等を用いることにより判定する方法がある。三分割構図法とは、図２０に示すように写真情報を縦横三分割した線の交点上に特徴画像が存在すれば、その写真情報の構図が良いと判定する方法である。この他、構図の良し悪しの判定には、三角構図法や日の丸構図法、曲線構図法等の方法が用いられるがこれらに限られるものではない。
【００９５】
そして、画質計算部１１１が構図が良いと判定した場合には（Ｓ１９０７／ＹＥＳ）、重要度算出部１１３は、その写真情報の重要度を加算し（Ｓ１９０８）、電子アルバム作成装置１は画質に基づく重要度の算出処理を終了する。
【００９６】
尚、図１９においては、画素数、エッジ及び構図に着目して重要度の算出を行う処理について説明したが、画質に関する他の写真データやその他の組み合わせに基づいて重要度の算出が行われるように構成されていても良い。
【００９７】
画質に基づく重要度の算出処理（Ｓ１８０４）が終了したら、次に、指定画像検出部１１２は、注目している写真情報に予め指定されている人物が存在するか否か判定する（Ｓ１８０５）。指定画像検出部１１２が指定人物が存在すると判定した場合には（Ｓ１８０５／ＹＥＳ）、重要度算出部１１３は、その写真情報の重要度を加算して（Ｓ１８０６）次の処理（Ｓ１８０７）に移行する。
【００９８】
一方、指定画像検出部１１２は、指定人物が存在しないと判定した場合には（Ｓ１８０５／ＮＯ）、そのまま次の処理（Ｓ１８０７）に移行する。ここで、注目している写真情報に指定人物が存在するか否かの判定は、指定画像検出部１１２が、顔認識システム１５０に人物の顔を検索させ、検索された人物の顔と指定人物の顔画像の類似度を画像類似度測定システム１６０に測定させる。そして、指定画像検出部１１２は、類似度測定の結果に基づいて、検出された顔が指定人物であるか否か判定することにより行われる。
【００９９】
指定人物の有無に基づく重要度の算出処理（Ｓ１８０５、Ｓ１８０６）が終了したら、指定画像検出部１１２は、注目している写真情報に予め指定されている特徴画像が存在するか否か判定する（Ｓ１８０７）。指定画像検出部１１２が指定された特徴画像が存在すると判定した場合には（Ｓ１８０７／ＹＥＳ）、重要度算出部１１３は、その写真情報の重要度を加算して（Ｓ１８０８）次の処理（Ｓ１８０９）に移行する。
【０１００】
一方、指定画像検出部１１２は、指定された特徴画像が存在しないと判定した場合には（Ｓ１８０７／ＮＯ）、そのまま次の処理（Ｓ１８０９）に移行する。ここで、指定された特徴画像が存在するか否かの判定は、特徴画像抽出部１１４が注目している写真情報から特徴画像を抽出し、指定画像検出部１１２が、抽出された特徴画像と指定された画像の類似度を画像類似度測定システム１６０に測定させる。そして、指定画像検出部１１２は、類似度測定の結果に基づいて、抽出された特徴画像が指定された画像であるか否か判定することにより行われる。
【０１０１】
指定画像の有無に基づく重要度の算出処理（Ｓ１８０７、Ｓ１８０８）が終了したら、次に、重要度算出部１１３は、注目している写真情報に予め指定されているキーワードが含まれるか否か判定する（Ｓ１８０９）。重要度算出部１１３は、指定されたキーワードが含まれると判定した場合には（Ｓ１８０９／ＹＥＳ）、その写真情報の重要度を加算して（Ｓ１８１０）次の処理（Ｓ１８１１）に移行する。
【０１０２】
一方、重要度算出部１１３は、指定されたキーワードが含まれないと判定した場合には（Ｓ１８０９／ＮＯ）、そのまま次の処理（Ｓ１８１１）に移行する。ここで、指定されたキーワードが含まれるか否かの判定は、重要度算出部１１３が、図１６に示すＳ１６０４及び図１７に示すＳ１７１０〜Ｓ１７１２による画像検索の結果で得られたキーワードと予め指定されたキーワードとを比較することにより行われる。
【０１０３】
指定キーワードの有無に基づく重要度の算出処理（Ｓ１８０９、Ｓ１８１０）が終了したら、重要度算出部１１３は、これまでの算出処理に基づいて、注目している写真情報の重要度を更新する（Ｓ１８１１）。そして、電子アルバム作成装置１は、全ての写真情報について重要度の更新が終了するまでＳ１８０２〜Ｓ１８１１と同様の処理を繰り返し（Ｓ１８１２／ＮＯ）、終了したら（Ｓ１８１２／ＹＥＳ）電重要度の算出処理を終了する。
【０１０４】
重要度の算出処理が終了すると、電子アルバム作成装置１は、図１８において算出された重要度に基づいて、電子アルバムに使用する写真情報を選択する。本実施形態に係る電子アルバム作成装置１が算出された重要度に基づいて電子アルバムに使用する写真情報を選択するにはまず、図２１に示すように、画質計算部１１１は、撮影日時順に並べられた複数枚の写真情報から１枚選択し、選択した写真情報（以下、「注目している写真情報」とする）とその一つ前の写真情報及び後の写真情報との類似度を画像類似度測定システム１６０に測定させる（Ｓ２１０１）。ここで、類似度の測定は、図１５のＳ１５０２の処理と同様に行うことができる。
【０１０５】
次に、画質計算部１１１は、Ｓ２１０１において測定された類似度に基づいて、注目している写真情報とその一つ前の写真情報及び後の写真情報とが類似しているか判定する（Ｓ２１０２）。画質計算部１１１が注目している写真情報とその一つ前の写真情報及び後の写真情報とが類似していないと判定した場合には（Ｓ２１０２／ＮＯ）、重要度算出部１１３は、注目している写真情報の重要度が閾値以上であるか否か判定する（Ｓ２１０５）
【０１０６】
一方、画質計算部１１１が注目している写真情報とその一つ前の写真情報及び後の写真情報とが類似していると判定した場合には（Ｓ２１０２／ＹＥＳ）、重要度算出部１１３は、注目している写真情報の重要度がその一つ前及び後の写真情報の重要度より高いか否か判定する（Ｓ２１０３）。重要度算出部１１３は、注目している写真情報の重要度がその一つ前及び後の写真情報の重要度よりも高くないと判定した場合には（Ｓ２１０３／ＮＯ）、注目している写真情報の重要度が閾値以上であるか否か判定する（Ｓ２１０５）
【０１０７】
一方、重要度算出部１１３は、注目している写真情報の重要度がその一つ前及び後の写真情報の重要度よりも高いと判定した場合には（Ｓ２１０３／ＹＥＳ）、注目している写真情報の重要度を加算し、その一つ前の写真情報及び後の写真情報の重要度を減算する（Ｓ２１０４）。そして、重要度算出部１１３は注目している写真情報の重要度が閾値以上であるか否か判定する（Ｓ２１０５）。
【０１０８】
重要度算出部１１３は、注目している写真情報の重要度が閾値以上であると判定した場合には（Ｓ２１０５／ＹＥＳ）、注目している写真情報を電子アルバムに使用する写真情報として設定する（Ｓ２１０６）。一方、重要度算出部１１３は、注目している写真情報の重要度が閾値以上でないと判定した場合には（Ｓ２１０５／ＮＯ）、注目している写真情報を電子アルバムに使用しない写真情報として設定する（Ｓ２１０７）。
【０１０９】
電子アルバム作成装置１は、全ての写真情報について電子アルバムに使用するか否かの設定処理が施されるまで（Ｓ２１０９／ＮＯ）、他の写真情報についてもＳ２１０１〜Ｓ２１０７の処理を繰り返す（Ｓ２１０８）。全写真情報において、一つ前後の写真との組み合わせについて上記設定が終了したら（Ｓ２１０９／ＹＥＳ）、重要度算出部１１３は電子アルバムに使用する写真情報として設定された写真情報を選択する（Ｓ２１１０）。そして、電子アルバム作成装置１は電子アルバムに使用する写真情報を選択する処理を終了する。
【０１１０】
次に、図９に示したＳ９０４の処理、つまり、電子アルバム作成装置１が、選択された写真情報を各ページに割り当てる処理について説明する。但し、この処理は、状況分類部１２２による図１５及び図１６に示す状況分類と同様の処理をページ分類部１２３が行うことにより実現されるため、詳細は省略する。
【０１１１】
ページ分類部１２３が選択された写真情報を各ページに割り当てる処理は、状況分類部１２２による状況分類と同様であるが、上述したように状況分類よりもさらに類似した写真情報同士で分類する必要がある。そのため、この処理においては、状況分類部１２２による状況分類の場合よりも、類似度測定や撮影位置、撮影日時等の閾値をより細かく設定する。
【０１１２】
次に、図９に示したＳ９０７の処理、つまり、電子アルバム作成装置１が、各写真情報にコメントを挿入する処理について説明する。コメントの挿入は、位置検索により得られる撮影位置と人物検索により得られる人物名をキーワードとして設定することにより行われる。
【０１１３】
まず、位置検索により得られる撮影位置をキーワードとして設定する処理について図２２及び図２３を参照して説明する。図２２は、本実施形態に係る電子アルバム作成装置１が写真情報に対して位置検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。図２３は、本実施形態に係る電子アルバム作成装置１が写真情報に対して位置検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【０１１４】
本実施形態に係る電子アルバム作成装置１が写真情報に対して位置検索を行い、その写真情報にキーワードを設定するにはまず、コメント挿入部１３１は、注目している写真情報の写真データから撮影位置情報を抽出する（Ｓ２２０１）。この時のイメージとしては図２３に示すＳ２３０１である。次に、コメント挿入部１３１は、図４に示す位置情報ＤＢ１７０の対応関係を参照して、抽出された撮影位置情報の位置検索を行う（Ｓ２２０２）。この時のイメージとしては図２３に示すＳ２３０２である。
【０１１５】
次に、コメント挿入部１３１は、抽出された撮影位置情報に対応するキーワードを位置情報ＤＢ１７０から抽出し、抽出されたキーワードを位置検索の検索結果とし（Ｓ２２０３）、位置検索によるキーワードとして設定する（Ｓ２２０３）。そして、電子アルバム作成装置１は位置検索によるキーワード設定の処理を終了する。この時のイメージとしては図２３に示すＳ２３０３、Ｓ２３０４である。
【０１１６】
図２３に示す例では、写真データから抽出された撮影位置情報が「緯度：α 経度：β」であるため、図４に示す位置情報ＤＢ１７０から抽出されたキーワードは「○○○株式会社本社」であることがわかる。そして、この「○○○株式会社本社」がキーワードとして設定されていることがわかる。
【０１１７】
次に、人物検索により得られる人物名をキーワードとして設定する処理について図２４及び図２５を参照して説明する。図２４は、本実施形態に係る電子アルバム作成装置１が写真情報に対して人物検索を行い、その写真情報にキーワードを設定する処理手順を示すフローチャートである。図２５は、本実施形態に係る電子アルバム作成装置１が写真情報に対して人物検索を行い、その写真情報にキーワードを設定する処理手順を模式的に示す図である。
【０１１８】
本実施形態に係る電子アルバム作成装置１が写真情報に対して人物検索を行い、その写真情報にキーワードを設定するにはまず、顔認識システム１５０は、注目している写真情報から人物の顔画像を抽出する（Ｓ２４０１）。この時のイメージとしては図２５に示すＳ２５０１である。
【０１１９】
次に、コメント挿入部１３１は、抽出された顔画像と画像情報ＤＢ１８０に格納されている顔画像との類似度を画像類似度測定システム１６０に測定させることにより、抽出された顔画像の人物検索を行う（Ｓ２４０２）。この時のイメージとしては図２５に示すＳ２５０２である。
【０１２０】
Ｓ２４０２における類似度測定の結果を基に、コメント挿入部１３１は、画像情報ＤＢ１８０に格納されている顔画像のうち最も類似度の高い顔画像を、抽出された顔画像の真の顔画像として特定する（Ｓ２４０３）。この時のイメージとしては図２５に示すＳ２５０３であり、抽出された人物の顔画像は顔画像１として特定されていることがわかる。
【０１２１】
コメント挿入部１３１は、図６に示す画像情報ＤＢ１８０の対応関係を参照して、Ｓ２４０３の処理で特定された顔画像に対応する人物名を抽出し、抽出された人物名を抽出された顔画像の人物名としてこれを人物検索の検索結果とする（Ｓ２４０４）。この時のイメージとしては図２５に示すＳ２５０４であり、人物検索の検索結果は「Ａさん」であることがわかる。
【０１２２】
コメント挿入部１３１は、抽出された全顔画像について検索結果が得られるまで、他の顔画像についてもＳ２４０２〜Ｓ２４０４と同様の処理を行い（Ｓ２４０５／ＮＯ）、全顔画像について検索結果が得られると（Ｓ２４０５／ＹＥＳ）、コメント挿入部１３１は、得られた検索結果をキーワードとして設定する（Ｓ２４０６）。そして、電子アルバム作成装置１は人物検索によるキーワード設定の処理を終了する。この時のイメージとしては、図２５に示すＳ２５０５である。
【０１２３】
尚、図２２〜図２５では、コメントの挿入には位置検索によるキーワードと人物検索によるキーワードのみを使用する例について説明したが、図１６及び図１７に説明した画像検索により得られたキーワードを使用しても良い。
【０１２４】
このようにして設定されたキーワードを基に、コメント挿入部１３１は、注目している写真情報にコメントを挿入する。この時のイメージとしては図２６に示すように、「Ａさんを○○○株式会社本社にて撮影」がコメントとして挿入されていることがわかる。
【０１２５】
以上、説明したように、本実施形態に係る電子アルバム作成装置１は、初期情報と写真データとに基づいて各写真情報の重要度を算出し、算出された重要度に基づいて複数枚ある写真情報から電子アルバムに使用する写真情報を自動で選択することができる。これにより、本実施形態に係る電子アルバム作成装置１は、ユーザが所望する写真情報を使用した電子アルバムを自動で作成することができる。
【０１２６】
さらに、本実施形態に係る電子アルバム作成装置１は、算出された重要度や初期情報、写真データに基づいて、選択された写真情報の各ページへの割り当てや割り当てられた写真情報を配置するためのテンプレートの選択、各写真情報へのコメントの挿入を自動で行うことができる。これにより、ユーザに単調なイメージを感じさせることがなく、且つ、ユーザの意図を反映した電子アルバムを自動で作成することができる。
【符号の説明】
【０１２７】
１ 電子アルバム作成装置
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ バス
１００ 写真取得部
１１０ 写真選択部
１１１ 画質計算部
１１２ 指定画像検出部
１１３ 重要度算出部
１１４ 特徴画像抽出部
１２０ 写真グルーピング部
１２１ 画像検索部
１２２ 状況分類部
１２３ ページ分類部
１２４ 特徴画像抽出部
１３０ アルバム作成部
１３１ コメント挿入部
１３２ 写真配置部
１３３ 背景選択部
１４０ 表示部
１４１ 初期値設定部
１４２ 閲覧部
１４３ 編集部
１５０ 顔認識システム
１６０ 画像類似度測定システム
１７０ 位置情報データベース
１８０ 画像情報データベース
１９０ テンプレートデータベース
２００ 背景データベース
【先行技術文献】
【特許文献】
【０１２８】
【特許文献１】特開２００７−２７２４２８号公報
【特許文献２】特開２００６−１０８９９９号公報
【特許文献３】特開２００６−１８５２６２号公報
【特許請求の範囲】
【請求項１】
撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理装置であって、
前記写真情報を取得する写真取得部と、
前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類する状況分類部と、
前記付加情報に基づいて前記分類された写真情報の重要度を算出する重要度算出部と、
前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択する写真選択部と、
前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するページ分類部と、
前記分類された写真情報を各ページに配置する写真配置部と、
を備えることを特徴とする画像処理装置。
【請求項２】
特徴画像とキーワードが関連付けられた画像情報データベースに格納されている特徴画像を、前記取得された写真情報から検索する画像検索を行い、前記画像検索において前記写真情報から前記特徴画像に類似する部分がヒットした場合、前記特徴画像に関連付けられているキーワードを取得する画像検索部を備え、
前記状況分類部は、前記取得されたキーワードに基づいて前記取得された写真情報を状況別に分類することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影した状況に関する情報は、前記画像情報が撮影された位置に関する情報である撮影位置情報を含み、
前記状況分類部は、前記撮影位置情報に基づいて前記取得された写真情報を状況別に分類することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記撮影した状況に関する情報は、前記画像情報が撮影された日時に関する情報である撮影日時情報を含み、
前記状況分類部は、前記撮影日時情報に基づいて前記取得された写真情報を状況別に分類することを特徴とする請求項１乃至３いずれか１項に記載の画像処理装置。
【請求項５】
前記画像に関する情報は前記写真情報の画質に関する情報である画質情報を含み、
前記画質情報に基づいて前記分類された写真情報の画質を計算する画質計算部を備え、
前記重要度算出部は、前記計算された画質に基づいて重要度を算出することを特徴とする請求項１乃至４いずれか１項に記載の画像処理装置。
【請求項６】
前記電子アルバムを作成する前に、ユーザ操作により初期値として指定キーワードを設定する初期値設定部を備え、
前記重要度算出部は、前記分類された写真情報に前記設定された指定キーワードが含まれるか否か判定し、前記判定結果に基づいて重要度を算出することを特徴とする請求項２乃至５いずれか１項に記載の画像処理装置。
【請求項７】
前記画像に関する情報は、前記写真情報の各画素の色に関する情報である色情報を含み、
背景情報と前記色情報とが関連付けられた背景データベースから、前記選択された写真情報の色情報に関連付けられている背景情報を選択する背景選択部を備えることを特徴とする請求項１乃至６いずれか１項に記載の画像処理装置。
【請求項８】
前記撮影位置情報とキーワードとが関連付けられた位置情報データベースから、前記取得された写真情報の撮影位置情報に対応するキーワードを検索する位置検索を行い、前記位置検索において前記取得された写真情報の撮影位置情報に関連付けられているキーワードを取得し、前記画像検索されたキーワードと前記位置検索されたキーワードとに基づいて、前記選択された写真情報にコメントを挿入するコメント挿入部と、
を備えることを特徴とする請求項１乃至７いずれか１項に記載の画像処理装置。
【請求項９】
撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理プログラムであって、
前記写真情報を取得するステップと、
前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類するステップと、
前記付加情報に基づいて前記分類された写真情報の重要度を算出するステップと、
前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択するステップと、
前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するステップと、
前記分類された写真情報を各ページに配置するステップと、
を実行することを特徴とする画像処理プログラム。
【請求項１０】
撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理システムであって、
前記写真情報を取得する写真取得部と、
前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類する状況分類部と、
前記付加情報に基づいて前記分類された写真情報の重要度を算出する重要度算出部と、
前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択する写真選択部と、
前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するページ分類部と、
前記分類された写真情報を各ページに配置する写真配置部と、
を備えることを特徴とする画像処理システム。
【請求項１】
撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理装置であって、
前記写真情報を取得する写真取得部と、
前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類する状況分類部と、
前記付加情報に基づいて前記分類された写真情報の重要度を算出する重要度算出部と、
前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択する写真選択部と、
前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するページ分類部と、
前記分類された写真情報を各ページに配置する写真配置部と、
を備えることを特徴とする画像処理装置。
【請求項２】
特徴画像とキーワードが関連付けられた画像情報データベースに格納されている特徴画像を、前記取得された写真情報から検索する画像検索を行い、前記画像検索において前記写真情報から前記特徴画像に類似する部分がヒットした場合、前記特徴画像に関連付けられているキーワードを取得する画像検索部を備え、
前記状況分類部は、前記取得されたキーワードに基づいて前記取得された写真情報を状況別に分類することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影した状況に関する情報は、前記画像情報が撮影された位置に関する情報である撮影位置情報を含み、
前記状況分類部は、前記撮影位置情報に基づいて前記取得された写真情報を状況別に分類することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記撮影した状況に関する情報は、前記画像情報が撮影された日時に関する情報である撮影日時情報を含み、
前記状況分類部は、前記撮影日時情報に基づいて前記取得された写真情報を状況別に分類することを特徴とする請求項１乃至３いずれか１項に記載の画像処理装置。
【請求項５】
前記画像に関する情報は前記写真情報の画質に関する情報である画質情報を含み、
前記画質情報に基づいて前記分類された写真情報の画質を計算する画質計算部を備え、
前記重要度算出部は、前記計算された画質に基づいて重要度を算出することを特徴とする請求項１乃至４いずれか１項に記載の画像処理装置。
【請求項６】
前記電子アルバムを作成する前に、ユーザ操作により初期値として指定キーワードを設定する初期値設定部を備え、
前記重要度算出部は、前記分類された写真情報に前記設定された指定キーワードが含まれるか否か判定し、前記判定結果に基づいて重要度を算出することを特徴とする請求項２乃至５いずれか１項に記載の画像処理装置。
【請求項７】
前記画像に関する情報は、前記写真情報の各画素の色に関する情報である色情報を含み、
背景情報と前記色情報とが関連付けられた背景データベースから、前記選択された写真情報の色情報に関連付けられている背景情報を選択する背景選択部を備えることを特徴とする請求項１乃至６いずれか１項に記載の画像処理装置。
【請求項８】
前記撮影位置情報とキーワードとが関連付けられた位置情報データベースから、前記取得された写真情報の撮影位置情報に対応するキーワードを検索する位置検索を行い、前記位置検索において前記取得された写真情報の撮影位置情報に関連付けられているキーワードを取得し、前記画像検索されたキーワードと前記位置検索されたキーワードとに基づいて、前記選択された写真情報にコメントを挿入するコメント挿入部と、
を備えることを特徴とする請求項１乃至７いずれか１項に記載の画像処理装置。
【請求項９】
撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理プログラムであって、
前記写真情報を取得するステップと、
前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類するステップと、
前記付加情報に基づいて前記分類された写真情報の重要度を算出するステップと、
前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択するステップと、
前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するステップと、
前記分類された写真情報を各ページに配置するステップと、
を実行することを特徴とする画像処理プログラム。
【請求項１０】
撮影された画像情報に撮影した状況に関する情報及び画像に関する情報を含む付加情報が付加された写真情報から電子アルバムを作成する画像処理システムであって、
前記写真情報を取得する写真取得部と、
前記取得された写真情報を、前記撮影した状況に関する情報に基づいて状況別に分類する状況分類部と、
前記付加情報に基づいて前記分類された写真情報の重要度を算出する重要度算出部と、
前記算出された重要度に基づいて前記電子アルバムに使用する写真情報を選択する写真選択部と、
前記選択された写真情報を、前記撮影した状況に関する情報に基づいて前記電子アルバムの各ページに分類するページ分類部と、
前記分類された写真情報を各ページに配置する写真配置部と、
を備えることを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２７】
【図１０】
【図１１】
【図１２】
【図１４】
【図２０】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２７】
【図１０】
【図１１】
【図１２】
【図１４】
【図２０】
【図２６】
【公開番号】特開２０１３−１０９５７８（Ｐ２０１３−１０９５７８Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５４０７７（Ｐ２０１１−２５４０７７）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]