画像処理装置、画像処理の制御方法および画像処理システム
【課題】 フォトアルバムに挿入される画像の撮影を、撮影者に指示するための撮影指示情報を簡単に生成すること。
【解決手段】 写真画像が配置されたページの画像データを取得し、写真画像の領域を判定し、判定された写真画像の領域の配置を定義するテンプレートを生成し、写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成することを特徴とする。
【解決手段】 写真画像が配置されたページの画像データを取得し、写真画像の領域を判定し、判定された写真画像の領域の配置を定義するテンプレートを生成し、写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォトアルバム作成を支援するための画像処理装置及びその方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及により、撮影した画像から各種アプリケーションを操作することによって、フォトアルバムを作成することが容易にできるようになった。しかしながら、見栄えの良いフォトアルバムを作成するために、どのようなテンプレートにどの画像を配置してレイアウトすればよいのかを決定するには、熟練した技術者やデザイナーによる作業が必要である。
【０００３】
特許文献１では、レイアウト作業を補助する方法が開示されている。すなわち、まず画像挿入領域に挿入されるべき画像の構図情報が与えられ、編集者がその画像を選択する。そして選択された画像が与えられた構図情報に適合するように、拡大率の変更やトリミング位置を示す加工情報が生成され、その加工情報に従って選択画像を加工する方法が提示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１８２７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、構図情報は予め与えられえるものであって、構図情報自体を作成する方法については、言及されていなかった。また、特許文献１は、構図情報を用いて撮影済みの画像を加工するものに過ぎず、撮影時にこれらの構図情報を利用することは考慮されていなかった。本発明はこのような課題を解決するため、フォトアルバムに挿入される画像として撮影すべき構図などの内容を撮影者に指示するための、撮影指示情報を生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明における画像処理装置は、写真画像が配置された画像データを取得する取得手段と、前記画像データにおける前記写真画像の領域を判定する判定手段と、前記判定された写真画像の領域の配置を定義するテンプレートを生成するテンプレート生成手段と、前記写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成する撮影指示情報生成手段とを備えることを特徴とする画像処理装置。
【発明の効果】
【０００７】
フォトアルバムに挿入される画像の撮影を撮影者に指示するための、撮影指示情報を簡単に生成することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の構成を表す図である。
【図２】主要な処理の流れを表すフローチャートである。
【図３】画像が挿入されたアルバム台紙の例を示す図である。
【図４】アルバムからテンプレートと撮影指示情報を作成するフローチャートである。
【図５】写真部分を解析して画像の特徴量を算出するフローチャートである。
【図６】テンプレートと撮影指示情報の例を示す図である。
【図７】テンプレートと撮影指示情報を記録した構造化文書の例を示す図である。
【図８】撮影指示情報を利用し、撮影する動作のフローチャートである。
【図９】顔情報を用いた撮影情報の表示例を示す図である。
【図１０】シーン情報を用いた撮影情報の表示例を示す図である。
【図１１】色情報を用いた撮影情報の表示例を示す図である。
【図１２】全ての特徴量の情報を用いた撮影情報の表示例を示す図である。
【図１３】画像情報を用いた撮影情報の表示例を示す図である。
【発明を実施するための形態】
【０００９】
＜実施形態１＞
図１は、本実施形態を実現する画像処理システムにおける画像処理装置の概略を示した図である。画像処理システムは、画像処理装置と画像の撮影装置（撮影デバイス）を含む。ＣＰＵ１０１は、コンピュータのシステム全体の動作をコントロールし、一次記憶１０２に格納されたプログラムの実行などを行う。
【００１０】
一次記憶１０２は、主メモリであり、二次記憶１０３に記憶されたプログラムなどを読み込んで格納する。二次記憶１０３は、例えばハードディスクなどがこれに該当する。一般に一次記憶の容量は二次記憶の容量より小さく、一次記憶に格納しきれないプログラムやデータなどは二次記憶に格納される。また、長時間記憶しなくてはならないデータなども二次記憶に格納される。本実施形態における処理手順を実現するようなコンピュータプログラムは二次記憶１０３に格納し、プログラム実行時に一次記憶１０２に読み込んで、ＣＰＵ１０１が実行処理を行う。
【００１１】
入力デバイス１０４とは、例えばマウスやキーボード、タッチパネルデバイス、ボタンなどがこれに該当する。これらの入力デバイス１０４は、プログラムなどに割り込み信号を送る場合に用いる。
【００１２】
出力デバイス１０５とは、例えば液晶パネルや外部モニタ、プリンタなどが該当する。
【００１３】
撮影デバイス１０６は、カメラなどが該当する。撮影デバイス１０６は、撮影レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、撮像素子から出力された撮像信号を画像データに変換して出力するＡ／Ｄ変換部と、Ａ／Ｄ変換部の出力した画像データを記憶する記憶部などを備える。また撮影デバイス１０６で撮影された画像は、直接又は間接的に一次記憶１０２や二次記憶１０３へ読み込まれる。
【００１４】
Ｉ／Ｏデバイス１０７は、メモリーカードなどの外部メモリ入出力デバイスや、ＵＳＢケーブルなどの入出力部などが該当し、例えばスキャナーなどを接続することで外部から情報を取得することができる。
【００１５】
図２は、本実施形態における全体の主要なフローを示すものである。
【００１６】
Ｓ２０１において、まずＣＰＵ１０１は、スキャナーなどに接続されたＩ／Ｏデバイス１０７を介して、１以上の写真画像を含む既存のアルバムをスキャンし、アルバムの情報を入力する。ここでの既存のアルバムは、撮影時に参照する、既に写真画像が挿入されたアルバムを意味する。このアルバムは、図３に示すような実際に製本された冊子の写真画像の挿入されたアルバム台紙でも良いし、ＰＤＦファイルや画像ファイルなどの電子データでもかまわない。
【００１７】
Ｓ２０２において、ＣＰＵ１０１は、取得したアルバムの情報のデータから、挿入画像の構図を示すテンプレートデータ生成と撮影指示情報生成を行う。次にステップＳ２０３において、ＣＰＵ１０１は、生成した撮影指示情報を撮像デバイス（カメラ）１０６に転送し、カメラの表示部に撮影指示情報を表示する。
【００１８】
ステップＳ２０４において、ユーザは、カメラに表示された撮影指示情報に従って撮影する。次に、以上述べたアルバムの情報の読み込みから撮影指示情報の生成までについて、図４のフローチャートを用いて詳細に説明する。
【００１９】
ステップＳ４０１において、ステップＳ２０１で述べたようにアルバムを読み込む。ステップＳ４０２において、ＣＰＵ１０１は、読み込んだアルバム情報におけるアルバム台紙領域とその台紙領域に挿入された画像領域をそれぞれ判定し、２つに分割する。この領域の判定には、例えば特開平０９−２２３２４０公報などによる公知の領域認識・領域分割技術を用いて良い。
【００２０】
ステップＳ４０３において、ＣＰＵ１０１は、アルバム台紙の空白部分、そして文字やグラフィックス部と判定した部分をテンプレートデータと決定し、テンプレート生成を行う。また挿入画像と判定した部分を写真画像のデータとする。ここでのテンプレートは、決定された１以上の写真画像の領域の配置を定義するためのものである。
【００２１】
ここで、テンプレートデータ内の写真画像のデータの部分は、プレースホルダー（以下「ＰＨ」と言う）と呼ばれる。このＰＨは、アルバム作成時に画像が挿入される部分であり、例えば図６（ａ）のように示される。
【００２２】
テンプレートデータにはその他に様々な情報が含まれるが、本発明の主題ではないため、ここでは説明を省略する。
【００２３】
ステップＳ４０４において、ＣＰＵ１０１は、読み込んだアルバム情報内の写真画像のデータの解析を行う。この写真画像のデータの解析については、図５のフローチャートを用いて詳細に説明する。
【００２４】
Ｓ５０１において、まずＣＰＵ１０１は、写真画像のデータの中に人物の顔が検出されたか否かを判断する。もし顔が検出された場合はステップＳ５０２に進み、顔が検出されなかった場合はステップＳ５０４に進む。
【００２５】
次にＳ５０２において、ＣＰＵ１０１は、人物の顔の数を計数し、またその位置、サイズ、向き、表情などにつき周知技術を用いて計測する。更にＳ５０３において、ＣＰＵ１０１は、全ての顔について計測したかどうかを判断する。もしまだ未計測の顔が残っている場合にはステップＳ５０２に進み、未測の写真画像について計測する。全ての顔を計測した場合にはステップＳ５０４にすすむ。
【００２６】
Ｓ５０４においては、ＣＰＵ１０１は、画像シーン決定のため各画像のシーンを検出し決定する。例えば、画像シーンとはポートレート・シーン、風景・シーン、夜景・シーン、集合写真・シーンなどに対応する画像シーン決定および画像シーンが縦位置か横位置かについて検出する。
【００２７】
画像シーン決定の方法としては、画像の顔の数が一定値以上であった場合には集合写真、顔のサイズが一定サイズ以上であった場合にはポートレート、画像の平均輝度が閾値より低かった場合には夜景、それ以外の場合には風景といったように決定する。
【００２８】
次にＳ５０５においては、ＣＰＵ１０１は、画像の色を計測し色の画素配置を検出する。ここで計測するのは画像中の代表色であり、所定の閾値以上の出現頻度の高い色とする。また、写真画像の中で、計測された出現頻度の高い色について、その色が画像のどの画素に配置されているかについての色画素配置取得を行い、決定する。
【００２９】
以上のように図５のフローチャートに従って、ＣＰＵ１０１は、全ての写真画像のデータの部分を解析する。全ての写真の解析結果は、例えば図６（ｂ）のようにまとめられ、一次記憶１０２または二次記憶１０３に格納される。
【００３０】
次にステップＳ４０５において、ＣＰＵ１０１はテンプレートデータと全ての写真の解析結果から撮影装置で撮影者が撮影するときの撮影補助を行う撮影指示情報を生成し、その撮影指示情報を一次記憶１０２または二次記憶１０３のメモリに格納する。ここで、撮影指示情報とはテンプレートデータ内のＰＨにどのような写真を撮影すればよいかを指示する情報である。
【００３１】
テンプレートデータと撮影指示情報は、例えば図７のように示すような内容が一次記憶１０２または二次記憶１０３のメモリに格納される。ここで、図７の領域７０１はテンプレートデータをあらわしており、領域７０２はＰＨの撮影指示情報をあらわしている。
【００３２】
ＸＭＬやＨＴＭＬなどの構造化文書として記録しても良いし、各ページの画像データにメタデータとして付加しても良い。本実施形態の撮影指示情報とは、テンプレートの何れのＰＨにどのような被写体の写真を撮影していくかを指示するものである。
【００３３】
最後にＳ４０６において、ＣＰＵ１０１は、全てのアルバムのページを読み込んだかどうかを判断する。もし全てのページを読み込んでいなかったら、ステップＳ４０１に戻り、読み込み終わったら処理を終了する。
【００３４】
以上、テンプレートデータと撮影指示情報との作成方法について説明した。
【００３５】
次に、撮影装置において、作成した撮影指示情報を利用して撮影する動作について、図８のフローチャートを用いて説明する。ここで言う撮影装置は、この画像処理装置と直接接続された撮影デバイス１０６を言う。しかし、この撮影装置は、図１で示す画像処理装置に直接接続される必要はなく、間接的にＩ／Ｏデバイス１０７を介してネットワークで接続されたカメラ（不図示）や、撮影指示情報が転送されたメモリーカードを装着したカメラ（不図示）でもよい。ここでは、撮影デバイス１０６に撮影指示情報が送信された場合について説明する。
【００３６】
Ｓ８０１において、撮影デバイス１０６は、内部の受信手段により、テンプレートおよび撮影指示情報を受信し、撮影デバイス１０６内のメモリ（不図示）に読み込む。次にステップＳ８０２において、撮影デバイス１０６の制御部（不図示）は、最初のＰＨの撮影指示情報を解読し、撮影デバイスの表示部（不図示）へ表示する。ここでの撮影指示情報は、図６（ｂ）で示した、ＰＨ毎に顔に関する情報、シーンに関する情報および色に関する情報などである。
【００３７】
図９を用いて、これらの表示方法について説明する。図９は撮影デバイス１０６であるデジタルカメラの背面部をあらわしている。カメラ操作部９０１は、シャッタースピードやモードの切替、また表示の切替などを行い、撮影スルー画像９０２は、撮影中の画像を表示する。撮影指示情報表示部９０３はユーザに対して、撮影する画像に関する撮影指示情報を表示する。はアルバムレイアウト表示部９０４は、アルバムの台紙全体と挿入画像を表示する。
【００３８】
図９は顔の情報を使った撮影指示情報を表示している。ここで、ＰＨ１に入れるべき画像に関して、顔に関する撮影指示情報が表示される。また、撮影スルー画像９０２も表示され、ユーザである撮影者は両者の画像を比較しながら撮影する。
【００３９】
図１０はシーンの情報を使った撮影指示情報を表示している。ここで、ＰＨ１に入れるべき画像に関して、シーン情報が表示される。ここでは、撮影スルー画像９０２も表示され、撮影者は両者を比較しながら撮影する。
【００４０】
図１１は色の情報を使った撮影指示情報を示している。ここで、ＰＨ１に入れるべき画像の色の配置が表示される。さらに撮影スルー画像９０２も表示され、撮影者は両者を比較しながら撮影する。以上、撮影指示情報を３つに分けて表示したが、全ての撮影指示情報を一緒に表示しても良い。
【００４１】
図１２は、顔、シーン、色の全ての情報を用いた撮影指示情報を示している。撮影者はこの全情報と撮影スルー画像とを比較しながら、撮影する。また、特徴量だけでなく、画像を表示しても良い。図１３はＰＨ１にもともとスキャンしたアルバムに入っていた画像の各々に対して撮影指示情報を表示する。撮影者はこのＰＨの撮影指示情報とこれから撮ろうとする撮影スルー画像９０２とを比較する。
【００４２】
Ｓ８０３において、撮影者は撮影指示情報を参照しながら、撮影を行う。Ｓ８０４において、撮影後に、ＣＰＵ１０１は、撮影デバイス１０６で撮影された画像を解析し、画像の特徴量を算出する。ここでの特徴量としては、図６(ｂ)に示されるような顔情報、シーン情報および色情報である。
【００４３】
Ｓ８０５において、ＣＰＵ１０１は撮影画像とＰＨの撮影指示情報の特徴量とを比較する。ここで、ＰＨ内の撮影指示情報ともっとも合致度が高く、未だ撮影されていないＰＨに撮影画像を関連付ける。
【００４４】
Ｓ８０６において、ＣＰＵ１０１は、全てのＰＨに撮影画像が挿入されたかどうかを判断する。ここで、全ての撮影が完了しておらず、ＰＨに未だ挿入されていないものがある場合にはステップＳ８０２に戻り、全てのＰＨが挿入された場合にはステップＳ８０７に進む。
【００４５】
Ｓ８０７において、ＣＰＵ１０１は、アルバム内の画像が全て埋まったというメッセージを、撮影デバイスの表示部、例えば撮影指示情報表示部９０３に表示して、撮影を終了する。このように、本実施形態では既存のアルバムの情報を取得することによって、撮影指示情報とテンプレートを作成し、作成した撮影指示情報を用いてアルバムに適した撮影を行うことができる。
【００４６】
尚、本実施形態では、画像の撮影を静止画撮影として説明したが、静止画のみならず動画撮影であっても、実施可能であることは言うまでもない。このようにして、本実施形態では既存のアルバムの情報を取得することによって、撮影指示情報とテンプレートを作成し、作成した撮影指示情報を用いることで、撮影者は誤ることなく、アルバムに基づいた撮影を行うことができる。
【００４７】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、フォトアルバム作成を支援するための画像処理装置及びその方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及により、撮影した画像から各種アプリケーションを操作することによって、フォトアルバムを作成することが容易にできるようになった。しかしながら、見栄えの良いフォトアルバムを作成するために、どのようなテンプレートにどの画像を配置してレイアウトすればよいのかを決定するには、熟練した技術者やデザイナーによる作業が必要である。
【０００３】
特許文献１では、レイアウト作業を補助する方法が開示されている。すなわち、まず画像挿入領域に挿入されるべき画像の構図情報が与えられ、編集者がその画像を選択する。そして選択された画像が与えられた構図情報に適合するように、拡大率の変更やトリミング位置を示す加工情報が生成され、その加工情報に従って選択画像を加工する方法が提示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１８２７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、構図情報は予め与えられえるものであって、構図情報自体を作成する方法については、言及されていなかった。また、特許文献１は、構図情報を用いて撮影済みの画像を加工するものに過ぎず、撮影時にこれらの構図情報を利用することは考慮されていなかった。本発明はこのような課題を解決するため、フォトアルバムに挿入される画像として撮影すべき構図などの内容を撮影者に指示するための、撮影指示情報を生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明における画像処理装置は、写真画像が配置された画像データを取得する取得手段と、前記画像データにおける前記写真画像の領域を判定する判定手段と、前記判定された写真画像の領域の配置を定義するテンプレートを生成するテンプレート生成手段と、前記写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成する撮影指示情報生成手段とを備えることを特徴とする画像処理装置。
【発明の効果】
【０００７】
フォトアルバムに挿入される画像の撮影を撮影者に指示するための、撮影指示情報を簡単に生成することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の構成を表す図である。
【図２】主要な処理の流れを表すフローチャートである。
【図３】画像が挿入されたアルバム台紙の例を示す図である。
【図４】アルバムからテンプレートと撮影指示情報を作成するフローチャートである。
【図５】写真部分を解析して画像の特徴量を算出するフローチャートである。
【図６】テンプレートと撮影指示情報の例を示す図である。
【図７】テンプレートと撮影指示情報を記録した構造化文書の例を示す図である。
【図８】撮影指示情報を利用し、撮影する動作のフローチャートである。
【図９】顔情報を用いた撮影情報の表示例を示す図である。
【図１０】シーン情報を用いた撮影情報の表示例を示す図である。
【図１１】色情報を用いた撮影情報の表示例を示す図である。
【図１２】全ての特徴量の情報を用いた撮影情報の表示例を示す図である。
【図１３】画像情報を用いた撮影情報の表示例を示す図である。
【発明を実施するための形態】
【０００９】
＜実施形態１＞
図１は、本実施形態を実現する画像処理システムにおける画像処理装置の概略を示した図である。画像処理システムは、画像処理装置と画像の撮影装置（撮影デバイス）を含む。ＣＰＵ１０１は、コンピュータのシステム全体の動作をコントロールし、一次記憶１０２に格納されたプログラムの実行などを行う。
【００１０】
一次記憶１０２は、主メモリであり、二次記憶１０３に記憶されたプログラムなどを読み込んで格納する。二次記憶１０３は、例えばハードディスクなどがこれに該当する。一般に一次記憶の容量は二次記憶の容量より小さく、一次記憶に格納しきれないプログラムやデータなどは二次記憶に格納される。また、長時間記憶しなくてはならないデータなども二次記憶に格納される。本実施形態における処理手順を実現するようなコンピュータプログラムは二次記憶１０３に格納し、プログラム実行時に一次記憶１０２に読み込んで、ＣＰＵ１０１が実行処理を行う。
【００１１】
入力デバイス１０４とは、例えばマウスやキーボード、タッチパネルデバイス、ボタンなどがこれに該当する。これらの入力デバイス１０４は、プログラムなどに割り込み信号を送る場合に用いる。
【００１２】
出力デバイス１０５とは、例えば液晶パネルや外部モニタ、プリンタなどが該当する。
【００１３】
撮影デバイス１０６は、カメラなどが該当する。撮影デバイス１０６は、撮影レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、撮像素子から出力された撮像信号を画像データに変換して出力するＡ／Ｄ変換部と、Ａ／Ｄ変換部の出力した画像データを記憶する記憶部などを備える。また撮影デバイス１０６で撮影された画像は、直接又は間接的に一次記憶１０２や二次記憶１０３へ読み込まれる。
【００１４】
Ｉ／Ｏデバイス１０７は、メモリーカードなどの外部メモリ入出力デバイスや、ＵＳＢケーブルなどの入出力部などが該当し、例えばスキャナーなどを接続することで外部から情報を取得することができる。
【００１５】
図２は、本実施形態における全体の主要なフローを示すものである。
【００１６】
Ｓ２０１において、まずＣＰＵ１０１は、スキャナーなどに接続されたＩ／Ｏデバイス１０７を介して、１以上の写真画像を含む既存のアルバムをスキャンし、アルバムの情報を入力する。ここでの既存のアルバムは、撮影時に参照する、既に写真画像が挿入されたアルバムを意味する。このアルバムは、図３に示すような実際に製本された冊子の写真画像の挿入されたアルバム台紙でも良いし、ＰＤＦファイルや画像ファイルなどの電子データでもかまわない。
【００１７】
Ｓ２０２において、ＣＰＵ１０１は、取得したアルバムの情報のデータから、挿入画像の構図を示すテンプレートデータ生成と撮影指示情報生成を行う。次にステップＳ２０３において、ＣＰＵ１０１は、生成した撮影指示情報を撮像デバイス（カメラ）１０６に転送し、カメラの表示部に撮影指示情報を表示する。
【００１８】
ステップＳ２０４において、ユーザは、カメラに表示された撮影指示情報に従って撮影する。次に、以上述べたアルバムの情報の読み込みから撮影指示情報の生成までについて、図４のフローチャートを用いて詳細に説明する。
【００１９】
ステップＳ４０１において、ステップＳ２０１で述べたようにアルバムを読み込む。ステップＳ４０２において、ＣＰＵ１０１は、読み込んだアルバム情報におけるアルバム台紙領域とその台紙領域に挿入された画像領域をそれぞれ判定し、２つに分割する。この領域の判定には、例えば特開平０９−２２３２４０公報などによる公知の領域認識・領域分割技術を用いて良い。
【００２０】
ステップＳ４０３において、ＣＰＵ１０１は、アルバム台紙の空白部分、そして文字やグラフィックス部と判定した部分をテンプレートデータと決定し、テンプレート生成を行う。また挿入画像と判定した部分を写真画像のデータとする。ここでのテンプレートは、決定された１以上の写真画像の領域の配置を定義するためのものである。
【００２１】
ここで、テンプレートデータ内の写真画像のデータの部分は、プレースホルダー（以下「ＰＨ」と言う）と呼ばれる。このＰＨは、アルバム作成時に画像が挿入される部分であり、例えば図６（ａ）のように示される。
【００２２】
テンプレートデータにはその他に様々な情報が含まれるが、本発明の主題ではないため、ここでは説明を省略する。
【００２３】
ステップＳ４０４において、ＣＰＵ１０１は、読み込んだアルバム情報内の写真画像のデータの解析を行う。この写真画像のデータの解析については、図５のフローチャートを用いて詳細に説明する。
【００２４】
Ｓ５０１において、まずＣＰＵ１０１は、写真画像のデータの中に人物の顔が検出されたか否かを判断する。もし顔が検出された場合はステップＳ５０２に進み、顔が検出されなかった場合はステップＳ５０４に進む。
【００２５】
次にＳ５０２において、ＣＰＵ１０１は、人物の顔の数を計数し、またその位置、サイズ、向き、表情などにつき周知技術を用いて計測する。更にＳ５０３において、ＣＰＵ１０１は、全ての顔について計測したかどうかを判断する。もしまだ未計測の顔が残っている場合にはステップＳ５０２に進み、未測の写真画像について計測する。全ての顔を計測した場合にはステップＳ５０４にすすむ。
【００２６】
Ｓ５０４においては、ＣＰＵ１０１は、画像シーン決定のため各画像のシーンを検出し決定する。例えば、画像シーンとはポートレート・シーン、風景・シーン、夜景・シーン、集合写真・シーンなどに対応する画像シーン決定および画像シーンが縦位置か横位置かについて検出する。
【００２７】
画像シーン決定の方法としては、画像の顔の数が一定値以上であった場合には集合写真、顔のサイズが一定サイズ以上であった場合にはポートレート、画像の平均輝度が閾値より低かった場合には夜景、それ以外の場合には風景といったように決定する。
【００２８】
次にＳ５０５においては、ＣＰＵ１０１は、画像の色を計測し色の画素配置を検出する。ここで計測するのは画像中の代表色であり、所定の閾値以上の出現頻度の高い色とする。また、写真画像の中で、計測された出現頻度の高い色について、その色が画像のどの画素に配置されているかについての色画素配置取得を行い、決定する。
【００２９】
以上のように図５のフローチャートに従って、ＣＰＵ１０１は、全ての写真画像のデータの部分を解析する。全ての写真の解析結果は、例えば図６（ｂ）のようにまとめられ、一次記憶１０２または二次記憶１０３に格納される。
【００３０】
次にステップＳ４０５において、ＣＰＵ１０１はテンプレートデータと全ての写真の解析結果から撮影装置で撮影者が撮影するときの撮影補助を行う撮影指示情報を生成し、その撮影指示情報を一次記憶１０２または二次記憶１０３のメモリに格納する。ここで、撮影指示情報とはテンプレートデータ内のＰＨにどのような写真を撮影すればよいかを指示する情報である。
【００３１】
テンプレートデータと撮影指示情報は、例えば図７のように示すような内容が一次記憶１０２または二次記憶１０３のメモリに格納される。ここで、図７の領域７０１はテンプレートデータをあらわしており、領域７０２はＰＨの撮影指示情報をあらわしている。
【００３２】
ＸＭＬやＨＴＭＬなどの構造化文書として記録しても良いし、各ページの画像データにメタデータとして付加しても良い。本実施形態の撮影指示情報とは、テンプレートの何れのＰＨにどのような被写体の写真を撮影していくかを指示するものである。
【００３３】
最後にＳ４０６において、ＣＰＵ１０１は、全てのアルバムのページを読み込んだかどうかを判断する。もし全てのページを読み込んでいなかったら、ステップＳ４０１に戻り、読み込み終わったら処理を終了する。
【００３４】
以上、テンプレートデータと撮影指示情報との作成方法について説明した。
【００３５】
次に、撮影装置において、作成した撮影指示情報を利用して撮影する動作について、図８のフローチャートを用いて説明する。ここで言う撮影装置は、この画像処理装置と直接接続された撮影デバイス１０６を言う。しかし、この撮影装置は、図１で示す画像処理装置に直接接続される必要はなく、間接的にＩ／Ｏデバイス１０７を介してネットワークで接続されたカメラ（不図示）や、撮影指示情報が転送されたメモリーカードを装着したカメラ（不図示）でもよい。ここでは、撮影デバイス１０６に撮影指示情報が送信された場合について説明する。
【００３６】
Ｓ８０１において、撮影デバイス１０６は、内部の受信手段により、テンプレートおよび撮影指示情報を受信し、撮影デバイス１０６内のメモリ（不図示）に読み込む。次にステップＳ８０２において、撮影デバイス１０６の制御部（不図示）は、最初のＰＨの撮影指示情報を解読し、撮影デバイスの表示部（不図示）へ表示する。ここでの撮影指示情報は、図６（ｂ）で示した、ＰＨ毎に顔に関する情報、シーンに関する情報および色に関する情報などである。
【００３７】
図９を用いて、これらの表示方法について説明する。図９は撮影デバイス１０６であるデジタルカメラの背面部をあらわしている。カメラ操作部９０１は、シャッタースピードやモードの切替、また表示の切替などを行い、撮影スルー画像９０２は、撮影中の画像を表示する。撮影指示情報表示部９０３はユーザに対して、撮影する画像に関する撮影指示情報を表示する。はアルバムレイアウト表示部９０４は、アルバムの台紙全体と挿入画像を表示する。
【００３８】
図９は顔の情報を使った撮影指示情報を表示している。ここで、ＰＨ１に入れるべき画像に関して、顔に関する撮影指示情報が表示される。また、撮影スルー画像９０２も表示され、ユーザである撮影者は両者の画像を比較しながら撮影する。
【００３９】
図１０はシーンの情報を使った撮影指示情報を表示している。ここで、ＰＨ１に入れるべき画像に関して、シーン情報が表示される。ここでは、撮影スルー画像９０２も表示され、撮影者は両者を比較しながら撮影する。
【００４０】
図１１は色の情報を使った撮影指示情報を示している。ここで、ＰＨ１に入れるべき画像の色の配置が表示される。さらに撮影スルー画像９０２も表示され、撮影者は両者を比較しながら撮影する。以上、撮影指示情報を３つに分けて表示したが、全ての撮影指示情報を一緒に表示しても良い。
【００４１】
図１２は、顔、シーン、色の全ての情報を用いた撮影指示情報を示している。撮影者はこの全情報と撮影スルー画像とを比較しながら、撮影する。また、特徴量だけでなく、画像を表示しても良い。図１３はＰＨ１にもともとスキャンしたアルバムに入っていた画像の各々に対して撮影指示情報を表示する。撮影者はこのＰＨの撮影指示情報とこれから撮ろうとする撮影スルー画像９０２とを比較する。
【００４２】
Ｓ８０３において、撮影者は撮影指示情報を参照しながら、撮影を行う。Ｓ８０４において、撮影後に、ＣＰＵ１０１は、撮影デバイス１０６で撮影された画像を解析し、画像の特徴量を算出する。ここでの特徴量としては、図６(ｂ)に示されるような顔情報、シーン情報および色情報である。
【００４３】
Ｓ８０５において、ＣＰＵ１０１は撮影画像とＰＨの撮影指示情報の特徴量とを比較する。ここで、ＰＨ内の撮影指示情報ともっとも合致度が高く、未だ撮影されていないＰＨに撮影画像を関連付ける。
【００４４】
Ｓ８０６において、ＣＰＵ１０１は、全てのＰＨに撮影画像が挿入されたかどうかを判断する。ここで、全ての撮影が完了しておらず、ＰＨに未だ挿入されていないものがある場合にはステップＳ８０２に戻り、全てのＰＨが挿入された場合にはステップＳ８０７に進む。
【００４５】
Ｓ８０７において、ＣＰＵ１０１は、アルバム内の画像が全て埋まったというメッセージを、撮影デバイスの表示部、例えば撮影指示情報表示部９０３に表示して、撮影を終了する。このように、本実施形態では既存のアルバムの情報を取得することによって、撮影指示情報とテンプレートを作成し、作成した撮影指示情報を用いてアルバムに適した撮影を行うことができる。
【００４６】
尚、本実施形態では、画像の撮影を静止画撮影として説明したが、静止画のみならず動画撮影であっても、実施可能であることは言うまでもない。このようにして、本実施形態では既存のアルバムの情報を取得することによって、撮影指示情報とテンプレートを作成し、作成した撮影指示情報を用いることで、撮影者は誤ることなく、アルバムに基づいた撮影を行うことができる。
【００４７】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
写真画像が配置された画像データを取得する取得手段と、
前記画像データにおける前記写真画像の領域を判定する判定手段と、
前記判定された写真画像の領域の配置を定義するテンプレートを生成するテンプレート生成手段と、
前記写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成する撮影指示情報生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記テンプレートと前記撮影指示情報とを撮影装置に送信することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影指示情報生成手段は、
前記写真画像の各々の写真画像について人物の顔の数を計数する計数手段と、
前記写真画像の画像シーンを決定する画像シーン決定手段と、
前記写真画像で出現頻度が所定の閾値以上の色について該色の画素の配置に関する情報を取得する色画素配置取得手段との少なくとも１つを備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像シーン決定手段は、ポートレート・シーン、風景・シーン、夜景・シーン、集合写真・シーンの少なくとも１つを含む画像シーンに基づき、前記写真画像の領域に対応する画像シーンを決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像処理装置と撮影装置とを備える画像処理システムであって、
前記画像処理装置は、
写真画像が配置された画像データを取得する取得手段と、
前記画像データにおける前記写真画像の領域を判定する判定手段と、
前記判定された写真画像の領域の配置を定義するテンプレートを生成するテンプレート生成手段と、
前記写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成する撮影指示情報生成手段と
前記テンプレートと前記撮影指示情報を前記撮影装置に送信する送信手段とを含み、
前記撮影装置は、
前記送信された前記テンプレートと前記撮影指示情報とを受信する受信手段と、
前記テンプレートと前記撮影指示情報を表示する表示手段とを含むことを特徴とする画像処理システム。
【請求項６】
写真画像が配置された画像データを取得する取得工程と、
前記画像データにおける前記写真画像の領域を判定する判定工程と、
前記判定された写真画像の領域の配置を定義するテンプレートを生成するテンプレート生成工程と、
前記写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成する撮影指示情報生成工程とを備えることを特徴とする画像処理装置の制御方法。
【請求項７】
請求項６に記載の画像処理装置の制御方法における各工程をコンピュータに実行させるためのコンピュータプログラム。
【請求項１】
写真画像が配置された画像データを取得する取得手段と、
前記画像データにおける前記写真画像の領域を判定する判定手段と、
前記判定された写真画像の領域の配置を定義するテンプレートを生成するテンプレート生成手段と、
前記写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成する撮影指示情報生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記テンプレートと前記撮影指示情報とを撮影装置に送信することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影指示情報生成手段は、
前記写真画像の各々の写真画像について人物の顔の数を計数する計数手段と、
前記写真画像の画像シーンを決定する画像シーン決定手段と、
前記写真画像で出現頻度が所定の閾値以上の色について該色の画素の配置に関する情報を取得する色画素配置取得手段との少なくとも１つを備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像シーン決定手段は、ポートレート・シーン、風景・シーン、夜景・シーン、集合写真・シーンの少なくとも１つを含む画像シーンに基づき、前記写真画像の領域に対応する画像シーンを決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像処理装置と撮影装置とを備える画像処理システムであって、
前記画像処理装置は、
写真画像が配置された画像データを取得する取得手段と、
前記画像データにおける前記写真画像の領域を判定する判定手段と、
前記判定された写真画像の領域の配置を定義するテンプレートを生成するテンプレート生成手段と、
前記写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成する撮影指示情報生成手段と
前記テンプレートと前記撮影指示情報を前記撮影装置に送信する送信手段とを含み、
前記撮影装置は、
前記送信された前記テンプレートと前記撮影指示情報とを受信する受信手段と、
前記テンプレートと前記撮影指示情報を表示する表示手段とを含むことを特徴とする画像処理システム。
【請求項６】
写真画像が配置された画像データを取得する取得工程と、
前記画像データにおける前記写真画像の領域を判定する判定工程と、
前記判定された写真画像の領域の配置を定義するテンプレートを生成するテンプレート生成工程と、
前記写真画像の各々の画像の特徴量を計測し、該特徴量に基づいて撮影すべき内容を指示する撮影指示情報を生成する撮影指示情報生成工程とを備えることを特徴とする画像処理装置の制御方法。
【請求項７】
請求項６に記載の画像処理装置の制御方法における各工程をコンピュータに実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１１】
【図１２】
【公開番号】特開２０１１−２４０５２（Ｐ２０１１−２４０５２Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６８２８０（Ｐ２００９−１６８２８０）
【出願日】平成２１年７月１６日（２００９．７．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１６日（２００９．７．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]