撮像装置および撮像方法
【課題】撮像装置が構図を提案する際に、撮影者と被写体との位置関係を含めた最適な構図を提案することができる撮像装置および撮像方法を提供する。
【解決手段】入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出した情報を出力する被写体検出部と、被写体の情報に基づいて、それぞれの被写体の位置関係が予め定めた条件を満足するか否かを被写体毎に判定した判定結果を出力する構図判定部と、被写体の情報および判定結果に基づいて、移動可能な被写体の位置を構図内で移動させて、予め定めた条件を満足する良好な位置関係を探索し、そのときの被写体の位置の情報を出力する構図探索部と、移動不可能な被写体の情報と移動可能な被写体を移動させたときの位置の情報とに基づいて、画像データの構図内で移動させた後の移動可能な被写体を合成して表示用の画像データとする画像合成部と、を備える。
【解決手段】入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出した情報を出力する被写体検出部と、被写体の情報に基づいて、それぞれの被写体の位置関係が予め定めた条件を満足するか否かを被写体毎に判定した判定結果を出力する構図判定部と、被写体の情報および判定結果に基づいて、移動可能な被写体の位置を構図内で移動させて、予め定めた条件を満足する良好な位置関係を探索し、そのときの被写体の位置の情報を出力する構図探索部と、移動不可能な被写体の情報と移動可能な被写体を移動させたときの位置の情報とに基づいて、画像データの構図内で移動させた後の移動可能な被写体を合成して表示用の画像データとする画像合成部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影する画像の構図を提案する撮像装置、および撮像方法に関する。
【背景技術】
【０００２】
電子カメラなどの撮像装置（以下、「デジタルカメラ」という）において画像（写真）の撮影を行う場合に、一般的に好まれる構図のパターンがある。そして、好まれる構図に近づけるように、デジタルカメラが推奨する構図を提案する様々な技術が提案されている。例えば、特許文献１では、初心者でも簡単に良い構図の写真が撮れるようにすることを目的として、フレーミングの提案を行う技術が開示されている。また、特許文献１に開示された技術では、被写体の中から人物を認識し、人物の何らかのアクションを最適な撮影タイミング（シャッターチャンス）として、撮影者に通知する技術も開示されている。
【０００３】
また、特許文献２には、撮影前の現在の構図を評価し、その構図の評価結果に基づいて、推奨する構図を提案する技術が開示されている。特許文献２に開示された技術では、写真撮影をする際の構図の考え方において多く用いられる黄金分割という概念に基づいて、現在の構図を評価している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１９４５１号公報
【特許文献２】特開２００９−５５４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１および２に開示された技術は、撮影者と被写体との現在の位置関係は変えずに、例えば、デジタルカメラにおけるズーム倍率の変更などによるトリミングによって、現状取り得る構図の中で、最適と思われる構図を提案する技術である。このため、撮影者と被写体との現在の位置関係が悪ければ、それなりの構図を提案することは可能であるが、さらに良い構図を提案することはできないという問題がある。
【０００６】
例えば、人物のように、撮影者の指示によって移動することができる被写体がある場合には、その被写体の位置を変えることによって、さらに良い構図を提案することができる可能性がある。また、例えば、撮影する位置、つまり、撮影者の位置を変えることによっても、さらに良い構図を提案することができる可能性がある。しかしながら、特許文献１および２に開示された技術には、撮影者と被写体との位置関係を含めて現在の構図を評価し、最適な構図を提案する技術は開示されていない。
【０００７】
本発明は、上記の課題認識に基づいてなされたものであり、撮像装置が構図を提案する際に、撮影者と被写体との位置関係を含めた最適な構図を提案することができる撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の撮像装置は、入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出し、該検出した前記移動可能な被写体の情報と前記移動不可能な被写体の情報とをそれぞれ出力する被写体検出部と、前記移動可能な被写体の情報と前記移動不可能な被写体の情報とに基づいて、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、予め定めた条件を満足するか否かをそれぞれの被写体毎に判定し、該判定したそれぞれの判定結果を出力する構図判定部と、前記移動可能な被写体の情報、前記移動不可能な被写体の情報、および前記それぞれの判定結果に基づいて、前記移動可能な被写体の位置を構図内で移動させて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記移動可能な被写体を移動させたときの位置の情報を出力する構図探索部と、前記移動不可能な被写体の情報と前記移動可能な被写体を移動させたときの位置の情報とに基づいて、前記画像データの構図内で移動させた後の前記移動可能な被写体を合成し、該合成した画像データを表示用の画像データとする画像合成部と、を備えることを特徴とする。
【０００９】
また、本発明の前記構図判定部は、それぞれの被写体に設定された重要度に応じてそれぞれの被写体に重み付けし、該重み付けされたそれぞれの被写体の位置関係を判定する、ことを特徴とする。
【００１０】
また、本発明の前記被写体検出部は、検出したそれぞれの被写体の位置および大きさの情報を、前記移動可能な被写体の情報および前記移動不可能な被写体の情報に含めて出力し、前記構図探索部は、前記それぞれの被写体の位置と大きさとの情報に基づいて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索する、ことを特徴とする。
【００１１】
また、本発明の前記構図判定部は、前記画像データの画角を含めて前記それぞれの被写体の位置関係を判定し、該判定したときの画角の情報を出力し、前記構図探索部は、前記画角の情報に基づいて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記画像合成部は、前記画角の情報に基づいた画角のデータを、前記画像データの構図内にさらに合成する、ことを特徴とする。
【００１２】
また、本発明の前記構図判定部は、該撮像装置が撮影するときのモードに応じて、前記それぞれの被写体の重要度を設定する、ことを特徴とする。
【００１３】
また、本発明の前記予め定めた条件は複数あり、前記構図判定部は、前記複数の条件のそれぞれ毎に、前記移動可能な被写体と前記移動不可能な被写体との位置関係を判定し、前記構図探索部は、前記複数の条件のそれぞれ毎に、前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記画像合成部は、前記構図探索部によって前記複数の条件のそれぞれ毎に探索された前記移動可能な被写体を移動させたときの位置の情報に基づいた前記合成した画像データを順次表示用の画像データとし、該撮像装置は、選択された表示用の画像データに応じた構図を、撮影するときの構図とする、ことを特徴とする。
【００１４】
また、本発明の前記画像合成部は、前記選択された表示用の画像データに応じた構図内の前記移動可能な被写体と前記移動不可能な被写体との位置関係となるように、前記移動可能な被写体を移動させるための情報を、前記画像データの構図内にさらに合成する、ことを特徴とする。
【００１５】
また、本発明の設定された画角で被写体を結像するレンズ部と、撮影する画角に応じて前記レンズ部のズーム倍率を設定するレンズ制御部と、をさらに備え、前記レンズ制御部は、前記選択された表示用の画像データに応じた構図に応じた画角となるように、前記レンズ部のズーム倍率の設定を変更することを特徴とする。
【００１６】
また、本発明の該撮像装置は、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、前記選択された表示用の画像データに応じた構図の範囲内となったときに、該構図での撮影を行う、ことを特徴とする。
【００１７】
また、本発明の撮像方法は、入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出し、該検出した前記移動可能な被写体の情報と前記移動不可能な被写体の情報とをそれぞれ出力する被写体検出ステップと、前記移動可能な被写体の情報と前記移動不可能な被写体の情報とに基づいて、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、予め定めた条件を満足するか否かをそれぞれの被写体毎に判定し、該判定したそれぞれの判定結果を出力する構図判定ステップと、前記移動可能な被写体の情報、前記移動不可能な被写体の情報、および前記それぞれの判定結果に基づいて、前記移動可能な被写体の位置を構図内で移動させて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記移動可能な被写体を移動させたときの位置の情報を出力する構図探索ステップと、前記移動不可能な被写体の情報と前記移動可能な被写体を移動させたときの位置の情報とに基づいて、前記画像データの構図内で移動させた後の前記移動可能な被写体を合成し、該合成した画像データを表示用の画像データとする画像合成ステップと、を含むことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、撮像装置が構図を提案する際に、撮影者と被写体との位置関係を含めた最適な構図を提案することができるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態によるデジタルカメラの概略構成を示したブロック図である。
【図２】本実施形態のデジタルカメラにおける構図の判定に係る動作を説明するブロック図である。
【図３】本実施形態のデジタルカメラにおける構図提案の処理手順を示したフローチャートである。
【図４】本実施形態のデジタルカメラにおける被写体の優先順位付けの処理手順を示したフローチャートである。
【図５】本実施形態のデジタルカメラにおける構図探索の処理手順を示したフローチャートである。
【図６】本実施形態のデジタルカメラにおける構図選択の処理手順を示したフローチャートである。
【図７】本実施形態のデジタルカメラによって撮影される現在の構図の一例を示した図である。
【図８】本実施形態のデジタルカメラによって認識された被写体の一例を示した図である。
【図９】本実施形態のデジタルカメラによって被写体の優先順位を決定する方法の一例を示した図である。
【図１０】本実施形態のデジタルカメラが被写体を配置する構図パターンの一例を示した図である。
【図１１】本実施形態のデジタルカメラが被写体を配置する構図パターンの別の一例を示した図である。
【図１２】本実施形態のデジタルカメラが被写体を配置した構図の一例を示した図である。
【図１３】本実施形態のデジタルカメラが構図を判定する際のスコアの算出方法の一例を説明する図である。
【図１４】本実施形態のデジタルカメラが配置する被写体を移動するときの一例を示した図である。
【図１５】本実施形態のデジタルカメラが被写体を配置した構図の別の一例を示した図である。
【図１６】本実施形態のデジタルカメラが被写体の配置を決定した推奨する構図の一例を示した図である。
【図１７】本実施形態のデジタルカメラが推奨する構図を実現するために表示する指示の別の一例を示した図である。
【図１８】本実施形態のデジタルカメラが推奨する構図を実現するために撮影位置を変更する場合の一例を模式的に示した図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態によるデジタルカメラの概略構成を示したブロック図である。図１において、デジタルカメラ１は、レンズ１０と、イメージャ１１と、プリプロセス部１２と、画像処理部２０と、被写体検出部３０と、構図判定部４０と、構図探索部５０と、画像合成部６０と、表示部７０と、表示装置７１と、制御部８０と、操作部８１と、メモリ９０と、データバス１００とから構成される。
【００２１】
図１に示したデジタルカメラ１では、レンズ１０を介して入射した被写体光が撮像素子であるイメージャ１１に結像される。そして、イメージャ１１に結像された被写体光に応じた画像信号が、プリプロセス部１２に入力され、以降の処理が行われる。また、デジタルカメラ１における一連の処理においては、撮影された画像データや、各処理において生成された画像データなどのデータをメモリ９０に一時記憶し、各処理において必要なデータを読み出しながら、それぞれの処理を行う。
【００２２】
プリプロセス部１２は、レンズ１０やイメージャ１１の制御部である。プリプロセス部１２は、デジタルカメラ１が撮影する際の被写体への合焦（フォーカス）制御、撮影倍率（ズーム倍率）制御などのレンズ制御や、イメージャ１１の露光制御などの撮像制御を行う。また、プリプロセス部１２では、イメージャ１１から入力された画像信号に対して、ゲインコントロールや、ホワイトバランスの調整など、一部の画像信号処理も行う。プリプロセス部１２が処理した後の画像信号は、データバス１００を介してメモリ９０に一時記憶される。
【００２３】
画像処理部２０は、データバス１００を介してメモリ９０からプリプロセス部１２が処理した画像信号を読み出し、イメージャ１１の画素配列（例えば、ベイヤー配列）に応じた色信号処理や、ノイズ低減処理などの画像処理を行う。そして、画像処理部２０は、画像処理後の画像データを、再びデータバス１００を介してメモリ９０に一時記憶する。また、画像処理部２０は、メモリ９０から読み出した画像信号に基づいて、デジタルカメラ１が推奨する構図の提案に用いるための、輝度画像データの生成も行う。そして、画像処理部２０は、生成した輝度画像データを、データバス１００を介してメモリ９０に記憶する。
【００２４】
被写体検出部３０は、データバス１００を介してメモリ９０から画像処理部２０が生成した輝度画像データを読み出し、読み出した輝度画像データに基づいて、背景の構造物（建物）や人物などの被写体の候補を検出する。例えば、被写体検出部３０は、顔検出などの既知の方法によって人物を検出し、検出した人物の位置や大きさなどの情報を生成する。また、例えば、被写体検出部３０は、輪郭線や動きベクトルの相関性から領域分割するなどの既知の方法によって、背景の建物を検出し、検出した建物などの位置や大きさなどの情報を生成する。なお、被写体検出部３０における人物とそれ以外の被写体（例えば、建物など）の判別方法には種々の方法が考えられるため、上述した方法以外の判別方法によって被写体の候補を検出することもできる。被写体検出部３０は、生成したそれぞれの被写体（人物や建物など）の位置や大きさなどの情報を、制御部８０に出力する。
【００２５】
構図判定部４０は、データバス１００を介してメモリ９０から画像処理部２０が生成した輝度画像データを読み出し、読み出した輝度画像データに基づいて、撮影する画角を変更（トリミング）することができる水平および垂直の位置を探索する。そして、構図判定部４０は、探索した水平および垂直の位置の情報（以下、「トリミングライン情報」という）を、制御部８０に出力する。また、構図判定部４０は、制御部８０から入力された、被写体検出部３０によって検出された被写体の情報から得られる各被写体候補の大きさ、広がり、輪郭線の骨格、それぞれの被写体候補の位置関係などを考慮して、一般的な構図として相応しいとされる、例えば、黄金分割などの構図パターンを当てはめたときの判定を行う。構図判定部４０による構図の判定においては、当てはめた構図パターン毎にスコア（点数）を計算し、計算されたスコアを判定結果として構図探索部５０に出力する。また、構図判定部４０は、計算されたスコアが予め定めたスコアの閾値よりも低い構図パターンについては、スコアが低い要因となった理由を示す情報（以下、「スコア情報」という）を構図探索部５０に通知するようにしてもよい。なお、構図判定部４０による構図の判定に関する詳細な説明は、後述する。
【００２６】
構図探索部５０は、データバス１００を介してメモリ９０から画像処理部２０が生成した輝度画像データを読み出し、構図判定部４０から入力された構図パターンの判定結果（およびスコア情報）に基づいて、より相応しい構図の候補を選択する。例えば、移動可能な被写体である人物が含まれている画像データである場合には、人物を構図内で移動、縮小、拡大などを行った仮の画像データを想定し、仮の画像データの検証を行うことにより、構図の候補を選択する。そして、構図探索部５０は、選択した構図の情報を、制御部８０に出力する。
【００２７】
画像合成部６０は、データバス１００を介してメモリ９０から画像処理部２０が生成した画像データを読み出し、読み出した画像データに移動可能な被写体を合成した表示用の画像データを生成する。この表示用の画像データは、被写体の移動を撮影者に促すために、後述する表示装置７１に表示される。画像合成部６０による被写体の合成においては、移動可能な被写体の位置が、構図探索部５０によって選択された構図となるように、移動可能な被写体を推奨する位置に移動させて合成する。このとき、画像データ中に含まれている移動可能な被写体の元の位置には、例えば、ローパスフィルタ（以下「ＬＰＦ」という）の処理によって元の位置の被写体をぼかすなど、被写体が重複しないようにする。また、例えば、移動可能な被写体以外、すなわち、移動不可能な被写体のみが含まれる同様の画像データがメモリ９０に記憶されている場合には、その画像データに対して、推奨する位置に移動させた被写体を合成することもできる。
【００２８】
表示部７０は、データバス１００を介してメモリ９０から画像処理部２０が生成した画像データを読み出し、読み出した画像データを、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置７１に表示させる。これにより、イメージャ１１から連続的に得られた画像信号に応じた画像データを連続的に表示装置７１に表示させる、いわゆるライブビュー画像（スルー画像）を、撮影者に提示することができる。また、表示部７０は、画像合成部６０によって合成された表示用の画像データ、被写体検出部３０によって検出された被写体の候補を表す矩形領域や人物位置の枠線、撮影者による操作を促すメッセージや推奨する構図を実現するための方法を撮影者に伝えるメッセージなどを、表示している画像に重畳する。
【００２９】
操作部８１は、各種ボタンやスイッチ類、タッチパネルなど、デジタルカメラ１のユーザーである撮影者によって操作されるユーザーインタフェースである。撮影者は、表示装置７１に表示された画像やメッセージなどの情報を確認し、操作部８１を操作することによってデジタルカメラ１に動作を指示する。そして、操作部８１は、撮影者によって操作された内容を表す情報を制御部８０に出力する。
【００３０】
制御部８０は、デジタルカメラ１が推奨する構図を撮影者に提示するための処理のシーケンスに従って、デジタルカメラ１内の構成要素、すなわち、デジタルカメラ１全体を制御する。また、制御部８０は、被写体検出部３０が生成したそれぞれの被写体の位置や大きさなどの情報、構図判定部４０が探索したトリミングライン情報、および構図探索部５０が選択した構図パターンの情報を保持し、管理する。制御部８０は、被写体検出部３０が生成した人物の位置や大きさなどの情報に基づいて、移動可能な被写体を設定し、設定した情報（以下、「移動可能被写体情報」という）を、構図判定部４０に出力する。
【００３１】
次に、本実施形態のデジタルカメラ１において構図を判定する動作について説明する。図２は、本実施形態のデジタルカメラ１における構図の判定に係る動作を説明するブロック図である。図２に示したように、構図判定部４０は、背景構図判定部４１と、人物構図判定部４２と、トータル判定部４３とを備えている。
【００３２】
上記に述べたように、構図判定部４０における構図の判定では、スコアによって行われる。スコアは、例えば、三角形や黄金分割のような一般的な構図に対してどれくらい合致しているかを定量的に示す指標である。より具体的には、例えば、背景の構図、人物の構図、背景と人物とを含めた位置の関係や大きさなどのバランス、背景と人物との重なりなどの指標がある。構図判定部４０内の背景構図判定部４１、人物構図判定部４２、およびトータル判定部４３は、それぞれ、背景の構図、人物の構図、および背景と人物とを含めた総合（トータル）の構図におけるスコアを計算し、判定結果として構図探索部５０に出力する。なお、構図判定部４０内の各構成要素において、人物に関するスコアを計算する際には、制御部８０から入力される移動可能被写体情報で指定された位置に、移動可能な被写体が存在するものとして、それぞれのスコアを計算する。
【００３３】
背景構図判定部４１は、背景の構図の変化を判定したスコアを計算し、計算したスコアを背景判定結果として構図探索部５０に出力する。これは、撮影者が移動することによって起こる可能性がある背景の構図の移動量を判断するものである。
人物構図判定部４２は、黄金分割線上からの人物の被写体の位置を判定したスコアを計算し、計算したスコアを人物判定結果として構図探索部５０に出力する。これは、人物は、黄金分割線上にいるのが好ましいとされることが多いため、人物の位置が黄金分割線上からどれくらい離れているかを判断するものである。
【００３４】
トータル判定部４３は、それぞれの被写体の重心位置と、背景と人物の大きさおよび重なりに基づいて、判定したスコアを計算し、計算したスコアをトータル判定結果として構図探索部５０に出力する。なお、重心位置の判定は、全ての被写体を合算した重心位置が中央にある構図の方が、一般的に好ましいとされる構図であることによるものである。また、大きさの判定は、人物が優先される構図では、人物の被写体が大きい方が、一般的に好ましいとされる構図であることによるものである。また、重なりの判定は、背景が優先される構図では、背景に重なっている人物の被写体が少ない方が、一般的に好ましいとされる構図であることによるものである。
なお、構図判定部４０内の背景構図判定部４１と、人物構図判定部４２と、トータル判定部４３とのそれぞれの判定部における構図の判定に関する詳細な説明は、後述する。
【００３５】
構図探索部５０は、制御部８０から入力されるトリミングライン情報、被写体の位置や大きさなどの情報、および構図判定部４０から入力される判定結果に基づいて、移動可能な被写体を、構図内で移動させる。構図探索部５０は、最初に、例えば、黄金分割などの構図パターンの線上で、移動可能な被写体を移動させた仮の配置を行う。このとき、構図探索部５０は、人物と、背景である建物の被写体とのバランス（重心）を考慮しながら、移動可能な被写体を黄金分割線上で移動させる。また、構図探索部５０は、移動可能な人物の被写体を移動させる際、例えば、人物のトリミングラインは胸から上（バストアップ）、上半身、全身などを基本的なトリミング候補位置とする。さらに、移動可能な被写体は、デジタルカメラ１との距離によって大きさを変えることができるため、移動可能な被写体の大きさの変化も考慮し、移動可能な被写体の縮小や拡大も行う。
【００３６】
次に、本実施形態のデジタルカメラ１が構図を提案する際の処理について説明する。図３〜図６は、本実施形態のデジタルカメラ１における構図提案の処理手順を示したフローチャートである。図３には、デジタルカメラ１が構図を提案する際の全体の処理手順を示している。そして、図４には、被写体の優先順位を付ける際の処理手順、図５には、構図を探索する際の処理手順、図６には、構図を選択する際の処理を示している。また、図７〜図１８には、構図を提案する際のそれぞれの処理段階の一例を示した図である。なお、以下の説明においては、図３に示した構図提案の全体の処理手順に従って順次説明を行い、適宜、図４〜図１８を参照して説明することとする。
【００３７】
まず、ステップＳ１において、撮影者が操作部８１を操作して、デジタルカメラ１が構図の提案を行うモードをＯＮに設定する。これにより、制御部８０は、推奨する構図を撮影者に提示するための処理のシーケンスを開始する。そして、撮影者は、例えば、図７に示したような、撮影したい範囲の全てが構図内に収まるような構図で、デジタルカメラ１を構える。このとき、撮影者は、少し広角よりの倍率でデジタルカメラ１を構えることが望ましい。
【００３８】
続いて、撮影者による操作部８１のシャッタボタンの半押し、または予め定めた一定時間の間、図７に示した構図が維持されると、ステップＳ２において、制御部８０は、現在の構図が撮影者の希望するシーンであると判断する。そして、制御部８０は、被写体検出部３０に、被写体の検出を開始する指示を出力する。被写体検出部３０は、制御部８０から被写体の検出の指示が入力されると、データバス１００を介してメモリ９０に記憶している輝度画像データを読み出して、建物や人物などの被写体の候補を検出する。ここでは、例えば、図８に示したような被写体Ａ〜Ｃが検出される。そして、被写体検出部３０は、検出した被写体の候補の位置や大きさなどの情報を、制御部８０に出力する。
【００３９】
なお、ステップＳ１におけるデジタルカメラ１が構図の提案を行うモードへの設定、およびステップＳ２における撮影者の希望するシーンを判断する方法は、上記に述べた方法に限定されるものではない。例えば、予め定めた操作部８１に備える専用のボタンを押下したとき、または押下した後の予め定めた一定時間のみ有効となる専用のボタンを備え、この専用ボタンの操作によって、構図の提案を行うモードのＯＮとＯＦＦとを設定、または撮影者が希望するシーンであることを伝える構成にすることもできる。このような構成によって、撮影者が必要とするときのみ、デジタルカメラ１が構図の提案を行う機能をＯＮ状態にして実行するようにすることができる。
【００４０】
続いて、ステップＳ３において、制御部８０は、認識した被写体を撮影者に伝えるために、被写体検出部３０から入力された被写体の候補の位置や大きさなどの情報に基づいて、認識した被写体を表す枠線などを表示する指示を、表示部７０に出力する。そして、表示部７０は、認識した被写体を表す枠線を、現在表示している画像に重畳し、表示装置７１に表示させる。
【００４１】
続いて、ステップＳ４において、制御部８０は、認識した被写体の優先順位の設定を撮影者に促し、認識したそれぞれの被写体に優先順位を付ける。被写体の優先順位付けの処理においては、優先順位を付ける対象の被写体を、検出順に順次切り換えながら、撮影者が、被写体の重要度に応じた優先順位を設定する。
【００４２】
ここで、ステップＳ４における被写体への優先順位付けの処理について、図４に示した被写体の優先順位を付ける際のフローチャートを参照して、さらに詳しく説明する。まず、制御部８０は、優先順位を付ける被写体を撮影者に示すため、表示部７０に優先順位付けの設定操作用の表示をする指示を、表示部７０に出力する。これにより、表示部７０は、優先順位の設定用の表示（例えば、ハイライト表示）を、現在表示している画像に重畳し、表示装置７１に表示させる（ステップＳ４０）。
【００４３】
続いて、撮影者は、操作部８１のボタン（設定ボタン）を操作して、希望する優先順位の数値を設定する（ステップＳ４０１）。続いて、制御部８０は、設定終了であるか否かを判断する（ステップＳ４０２）。この判断は、例えば、撮影者が操作部８１によって設定終了の操作を行ったか否かによって判断することができる。ステップＳ４０２において、被写体の優先順位の設定が終了したと判断された場合には、図４に示した被写体の優先順位付けの処理を終了する。また、ステップＳ４０２において、被写体の優先順位の設定が終了していないと判断された場合には、ステップＳ４０に戻って、次に検出された被写体の優先順位付けの処理を繰り返す。
【００４４】
このようにして、例えば、図８に示した被写体Ａ〜Ｃのそれぞれに優先順位が付けられる。より具体的には、図８に示した被写体Ａ〜Ｃのそれぞれ優先順位を付ける場合には、撮影者が操作部８１を操作することによって、被写体Ａ→Ｂ→Ｃ→Ａ・・・のように順次ハイライト表示され、ハイライト表示された被写体、すなわち、選択された被写体に、重要度に応じた優先順位の数値を設定する。図９に示した一例では、被写体Ｂに優先順位「１０」を設定する場合を示している。
【００４５】
なお、優先順位の数値は、小さい数値から大きい数値になるにしたがって、順に重要度（優先度）が高くなる。また、優先順位の数値「０」は、その被写体が不要であることを意味する。例えば、図８に示した被写体Ａが、意図せず写り込んだ不要な被写体である場合には、優先順位の数値「０」を設定する。また、優先順位の数値を設定しない場合には、例えば、不要ではないが最低の優先度（例えば、優先順位の数値「１」）となる。
【００４６】
なお、例えば、ポートレートモードや風景モードなど、デジタルカメラ１の撮影モードに応じて、被写体の優先度の初期値を自動的に設定する構成にすることもできる。この場合においても、必要に応じて、撮影者が優先順位の数値を変更することができる。
【００４７】
なお、ステップＳ４における認識した被写体に優先順位を付ける方法は、上記に述べた方法に限定されるものではない。例えば、撮影者が直接的に優先順位を認識することができるように、スライドバーなどを表示することによって、グラフィカルに優先順位の数値を設定する構成にすることもできる。また、例えば、撮影者が直感的に優先順位を認識することができるように、デジタルカメラ１によって自動的に設定した優先度順に被写体を並べて表示し、撮影者が並べ替えの操作を行う構成にすることもできる。また、例えば、撮影者による優先順位の設定の操作を容易にするため、撮影者が最重要の被写体と、不要な被写体のみを選択する操作に簡略化する構成にすることもできる。また、例えば、表示装置７１がタッチパネルである場合には、タッチパネルを押下（タッチ）した被写体の順に自動的に優先順位が付けられる構成にすることにより、撮影者による優先順位の設定の操作を簡略化することもできる。
【００４８】
図３に示した構図提案の全体の処理手順に戻って説明を続ける。ステップＳ５において、制御部８０は、被写体の選択と優先順位付けの処理が終了したか否かを判断する。被写体の選択と優先順位付けの処理が終了していない場合には、ステップＳ３に戻って、認識した被写体の表示装置７１への表示と、認識した被写体への優先順位付けの処理を繰り返す。また、被写体の選択と優先順位付けの処理が終了した場合には、ステップＳ６に進む。
【００４９】
続いて、ステップＳ６において、制御部８０は、被写体検出部３０から入力された被写体の候補の位置や大きさなどの情報に基づいて、人物などの移動可能な被写体を判定する。移動可能な被写体の判定は、例えば、被写体検出部３０が被写体を検出したときの方法によって判定することができる。より具体的には、被写体検出部３０が顔検出によって検出した被写体は人物であり、輪郭線や動きベクトルの相関性から領域分割するなどの既知の方法によって、検出した被写体は建物、すなわち、移動不可能な被写体であると判定することができる。
【００５０】
なお、ステップＳ６における移動可能な被写体を判定する方法は、上記に述べた方法に限定されるものではない。例えば、ポートレートモードや風景モードなどのデジタルカメラ１の撮影モードの設定と、撮影者によって設定された被写体の優先順位とによって判定することができる。より具体的には、ポートレートモードの場合には、高い優先順位が設定された被写体が人物であり、風景モードの場合には、高い優先順位が設定された被写体が風景、すなわち、移動不可能な被写体であると判定することができる。
【００５１】
続いて、ステップＳ７において、制御部８０は、構図判定部４０に、優先順位の数値「０」である不要な被写体の情報、および人物などの移動可能な被写体の情報を出力すると共に、トリミング候補位置の探索の指示を出力する。構図判定部４０は、制御部８０からトリミング候補位置の探索の指示が入力されると、制御部８０から入力された不要な被写体および移動可能な被写体の全てを、一旦、存在しないものと見なし、移動不可能な被写体だけのトリミング候補位置の探索を開始する。なお、以下の説明においては、移動不可能な被写体だけのトリミング候補位置の探索を、「第１の構図探索」という。
【００５２】
構図判定部４０における第１の構図探索では、トリミングを行う候補の位置を、移動不可能な被写体を分割しない水平および垂直の区切りを示す線（図１０に示した点線ｄ１〜ｄ４）の位置とする。また、移動不可能な被写体の輪郭線をなるべく横切らない位置に設定することができる区切りを示す線（図１０に示した点線ｄ５およびｄ６）の位置も、低優先度のトリミング候補の位置とすることができる。
【００５３】
そして、構図判定部４０は、トリミング候補の位置の情報に基づいて、移動不可能な被写体のみの画像において好ましい構図を判定する。なお、第１の構図探索における構図の判定では、移動可能な被写体を構図内のどこに配置するかを考えず、移動不可能な被写体の構図のみに基づいて、好ましい構図を判断する。図１０に示した一例では、好ましい構図として、図１１に示したような、一般的に知られている三角形構図、かつ左右対称構図であると判定し、これを考慮した位置を、トリミング位置とする。そして、構図判定部４０は、トリミング位置の情報（トリミングライン情報）を、制御部８０に出力する。
【００５４】
続いて、ステップＳ８において、制御部８０は、ステップＳ６における移動可能な被写体の判定において、移動可能な被写体があったか否かに応じて、次の処理を実施するか否かを判定する。移動可能な被写体があった場合には、ステップＳ９に進み、移動可能な被写体がなかった場合には、ステップＳ１１に進む。
【００５５】
続いて、ステップＳ９において、制御部８０は、構図判定部４０および構図探索部５０に、人物などの移動可能な被写体の情報、建物などの移動不可能な被写体の情報、およびトリミングライン情報を出力すると共に、移動可能な被写体を含めた状態での構図の判定の指示を出力する。構図判定部４０および構図探索部５０は、制御部８０から構図の判定の指示が入力されると、制御部８０から入力された移動可能な被写体の情報に基づいて、構図の判定を開始する。なお、以下の説明においては、移動可能な被写体を含めた状態での構図の判定を、「第２の構図探索」という。
【００５６】
第２の構図探索では、構図判定部４０内の背景構図判定部４１と、人物構図判定部４２と、トータル判定部４３とが、それぞれの被写体を構図パターンに当てはめたときのスコアを計算する。また、構図探索部５０が、構図判定部４０が計算したスコアに基づいて、移動可能な被写体を、構図内で移動させて、より相応しい構図の候補を選択する。ここで、ステップＳ９における第２の構図探索における全体の処理について、図５に示した構図を探索する際のフローチャートを参照して、さらに詳しく説明する。
【００５７】
第２の構図探索では、構図探索部５０が、移動可能な被写体を構図内で移動し、構図判定部４０が移動した後の被写体の位置でのスコアを計算し、構図探索部５０が計算したスコアに基づいて、移動可能な被写体を構図内でさらに移動させるという、ステップＳ９０に示した構図探索の処理のループを繰り返す。ステップＳ９０の構図探索の処理ループは、構図判定部４０が計算したスコアが予め定めたスコアに収束するまで、または予め定めた時間が経過するまで、すなわち、第２の構図探索を行っている処理時間がタイムアップするまで、繰り返される。なお、第２の構図探索の処理を最も良い結果が得られるまで時間をかけて行わず、予め定めた時間で終了させる理由は、撮影者や被写体である人物に、違和感や不快感を与えないようにするためである。
【００５８】
第２の構図探索では、まず、構図探索部５０が、制御部８０から入力された人物などの移動可能な被写体の情報、建物などの移動不可能な被写体の情報、およびトリミングライン情報を参照して、例えば、黄金分割などの構図パターンに移動不可能な被写体および必要な移動可能な被写体、すなわち、優先順付けされた被写体を当てはめ、黄金分割線上で、移動可能な人物の被写体を移動させて配置する（図１２参照）。このとき、構図探索部５０は、人物と、背景である建物の被写体とのバランス（重心）を考慮して、黄金分割線上からずれた位置に人物の被写体を移動させることもある（ステップＳ９０１）。
【００５９】
続いて、構図判定部４０内の背景構図判定部４１と、人物構図判定部４２と、トータル判定部４３とは、それぞれ、構図探索部５０によって移動可能な被写体が配置された構図の判定を行ったスコアを計算し、構図探索部５０に出力する（ステップＳ９０２）。
【００６０】
ここで、構図判定部４０内の背景構図判定部４１、人物構図判定部４２、およびトータル判定部４３におけるスコアの計算方法について説明する。トータル判定部４３は、それぞれの被写体の重心位置と、背景と人物の大きさおよび重なりに基づいて、以下のようにスコアを計算する。
【００６１】
＜重心位置のスコアの判定＞
重心位置のスコアの判定では、被写体が占有する画素数を重さＭと定義し、重さＭと被写体の重心位置（Ｘ，Ｙ）との３つの要素のパラメータを有する構図の中心位置からのベクトルＧを、それぞれの被写体に対して設定する。図１３に示した一例では、被写体Ｂの重さＭおよびベクトルＧを、それぞれ、重さＭｂおよびベクトルＧｂとし、被写体Ｃの重さＭおよびベクトルＧを、それぞれ、重さＭｃおよびベクトルＧｃとしている。そして、全ての被写体を合算したときのベクトルＧｅを、下式（１）によって計算する。
【００６２】
【数１】
【００６３】
そして、構図の中心から重心位置までの距離ｒに基づいて、重心スコアｆｇを計算する。例えば、ベクトルＧが構図の中心位置にある、すなわち、距離ｒ＝０のときに重心スコアｆｇ＝１００とし、ベクトルＧが構図の縁の位置にあるときに重心スコアｆｇ＝０として、距離ｒに応じた全ての被写体を合算したときのベクトルＧｅの重心スコアｆｇ（Ｇｅ）を計算する。重心位置の判定では、全ての被写体を合算したベクトルＧｅが構図の中心位置に近い方が、一般的に好ましいとされる。上記に述べたように重心スコアｆｇを計算することによって、ベクトルＧが構図の中心位置に近いほど、重心スコアｆｇの値が大きくなる重心スコアｆｇを計算することができる。
【００６４】
背景構図判定部４１による背景の構図判定、および人物構図判定部４２による人物の構図判定においても、構図の中心から重心位置までの距離に基づいて、重心スコアを計算する。第１の構図探索において、背景に関する構図は最適化されているため、背景構図判定部４１における背景の構図判定では、第１の構図探索を行った背景の位置からの移動量に基づいて重心スコアを計算する。人物構図判定部４２による人物の構図判定では、人物は、黄金分割線上にいるのが好ましいとされるため、黄金分割線と人物の位置との距離に基づいて重心スコアを計算する。なお、背景構図判定部４１および人物構図判定部４２による重心スコアを計算方法は、トータル判定部４３における重心スコアを計算方法と同様であるため、詳細な説明は省略する。以下の説明では、背景構図判定部４１による背景の重心スコアを、重心スコアｆｂとし、人物構図判定部４２による人物の重心スコアを、重心スコアｆｃとする。
【００６５】
＜重なりのスコアの判定＞
重なりのスコアの判定では、被写体が重なっている部分の画素数を画素数Ｓとして、背景の被写体と人物の被写体との重なりの面積とをパラメータとする重なりスコアｆｓを計算する。例えば、重なりスコアｆｓは、被写体Ｂの重さＭａと被写体が重なっている部分の画素数Ｓとの比（Ｍｂ／Ｓ）に応じて、下式（２）のように重なりスコアｆｓ（Ｍｂ，Ｓ）を計算する。
【００６６】
【数２】
【００６７】
重なりの判定では、背景が優先される構図において、背景に重なっている人物の被写体が少ない方が、一般的に好ましいとされる。上記に述べたように重なりスコアｆｓ（Ｍｂ，Ｓ）を計算することによって、背景に人物の被写体が重なっている面積が少ないほど、重なりスコアｆｓ（Ｍｂ，Ｓ）の値が大きくなる重なりスコアｆｓを計算することができる。
【００６８】
＜大きさのスコアの判定＞
大きさのスコアの判定では、全ての被写体の面積を面積ΣＭｋ、人物の顔の面積を面積Ｆとして、全ての被写体の面積と人物の顔の面積とをパラメータとする大きさスコアｆｆを計算する。例えば、大きさスコアｆｆは、全ての被写体の面積ΣＭｋと人物の顔の面積Ｆとの比（ΣＭｋ／Ｆ）に応じて、下式（３）のように大きさスコアｆｆ（ΣＭｋ，Ｆ）を計算する。
【００６９】
【数３】
【００７０】
大きさの判定では、人物が優先される構図において、人物の顔の面積が大きい方が、一般的に好ましいとされる。上記に述べたように大きさスコアｆｆ（ΣＭｋ，Ｆ）を計算することによって、人物の顔の面積が大きいほど、大きさスコアｆｆ（ΣＭｋ，Ｆ）の値が大きくなる大きさスコアｆｆを計算することができる。ただし、人物の顔の面積が大きすぎると、逆に好ましくないため、全ての被写体の面積ΣＭｋと人物の顔の面積Ｆとの比（ΣＭｋ／Ｆ）が予め定めた大きさ以上である場合には、大きさスコアｆｆ（ΣＭｋ，Ｆ）の値が小さくなるように、大きさスコアｆｆを計算している。
【００７１】
＜トータルスコアの計算＞
トータル判定部４３は、上記に述べた重心スコアｆｇ、重なりスコアｆｓ、および大きさスコアｆｆに基づいて、トータルスコアｆｔを算出する。なお、トータルスコアｆｔを算出する際には、例えば、ポートレートモードや風景モードなど、デジタルカメラ１の撮影モードを考慮する。すなわち、撮影モードに応じて、重心スコアｆｇ、重なりスコアｆｓ、および大きさスコアｆｆの比率を変更したトータルスコアｆｔ（ｆｇ，ｆｓ，ｆｆ）を計算する。
【００７２】
デジタルカメラ１の撮影モードが、背景を優先するモード（例えば、風景モード）である場合には、例えば、下式（４）に示したように、重心スコアｆｇの比率を高くしたトータルスコアｆｔ（ｆｇ，ｆｓ，ｆｆ）を計算する。
【００７３】
【数４】
【００７４】
また、デジタルカメラ１の撮影モードが、人物を優先するモード（例えば、ポートレートモード）である場合には、例えば、下式（５）に示したように、大きさスコアｆｆの比率を高くしたトータルスコアｆｔ（ｆｇ，ｆｓ，ｆｆ）を計算する。
【００７５】
【数５】
【００７６】
＜最終スコアの計算＞
構図判定部４０は、背景構図判定部４１が計算した重心スコアｆｂと、人物構図判定部４２が計算した重心スコアｆｃと、トータル判定部４３が計算したトータルスコアｆｔとに基づいて、構図パターンにおける最終のスコアである最終スコアｆａｌｌを算出する。なお、最終スコアｆａｌｌを算出する際には、例えば、ポートレートモードや風景モードなど、デジタルカメラ１の撮影モードを考慮し、撮影モードに応じて、トータルスコアｆｔ、重心スコアｆｂ、重心スコアｆｃの比率を変更した最終スコアｆａｌｌ（ｆｔ，ｆｂ，ｆｃ）を計算する。
【００７７】
デジタルカメラ１の撮影モードが、背景を優先するモード（例えば、風景モード）である場合には、例えば、下式（６）に示したように、背景構図判定部４１が計算した重心スコアｆｂの比率を、人物構図判定部４２が計算した重心スコアｆｃの比率よりも高くした最終スコアｆａｌｌ（ｆｔ，ｆｂ，ｆｃ）を計算する。
【００７８】
【数６】
【００７９】
また、デジタルカメラ１の撮影モードが、人物を優先するモード（例えば、ポートレートモード）である場合には、例えば、下式（７）に示したように、人物構図判定部４２が計算した重心スコアｆｃの比率を、背景構図判定部４１が計算した重心スコアｆｂの比率よりも高くした最終スコアｆａｌｌ（ｆｔ，ｆｂ，ｆｃ）を計算する。
【００８０】
【数７】
【００８１】
そして、構図判定部４０は、背景構図判定部４１が計算した重心スコアｆｂを背景判定結果とし、人物構図判定部４２が計算した重心スコアｆｃを人物判定結果とし、トータル判定部４３が計算したトータルスコアｆｔをトータル判定結果とし、最終スコアｆａｌｌを最終判定結果として、それぞれ、構図探索部５０に出力する。
【００８２】
続いて、構図探索部５０は、構図判定部４０から入力された判定結果（スコア）に基づいて、今回被写体を配置した構図（図１２参照）を評価する。構図探索部５０による構図の評価では、スコアが一般的な構図（例えば、三角形構図や黄金分割）に対してどれだけ合致しているか（守られているか）を定量的に示す指標として評価を行う。より具体的には、構図判定部４０から入力された判定結果（スコア）に基づいて、例えば、背景の構図、人物の構図、背景と人物とを含めたバランス（位置関係や大きさ）、背景と人物との重なりなどを評価する。このとき、優先度の高い被写体ほど重みを大きく設定する。例えば、デジタルカメラ１の撮影モードが、人物を優先するモード（例えば、ポートレートモード）である場合には、背景の建物が推奨されている構図からある程度ずれても、人物の配置のバランスを優先する（図１４（ａ）参照）。また、例えば、デジタルカメラ１の撮影モードが、背景を優先するモード（例えば、風景モード）である場合には、人物が背景を遮らないように、移動可能な被写体である人物を移動させるようにする（図１４（ｂ）参照）。そして、構図探索部５０は、構図判定部４０から入力された前回の判定結果（スコア）による評価結果と、今回計算された判定結果（スコア）による評価結果とを比較し、良い評価結果（スコア）が得られた、被写体の配置位置の情報を記憶（更新）する（ステップＳ９０３）。
【００８３】
なお、良い評価結果（スコア）が得られた被写体の配置位置の情報は、最も良い評価結果（スコア）が得られた被写体の配置位置の情報のみを記憶するのではなく、全ての被写体の配置位置の情報を記憶することもできる。また、予め定められた個数の被写体の配置位置の情報を記憶するものとし、記憶している被写体の配置位置の情報の評価結果（スコア）よりも良い評価結果（スコア）が得られたときに、記憶している被写体の配置位置の情報の評価結果（スコア）の中で一番悪い評価結果（スコア）の被写体の配置位置の情報を書き換える（更新）することもできる。
【００８４】
その後、構図探索部５０は、評価結果に基づいて、移動可能な被写体を構図内で移動、縮小、拡大などを行って、新たな構図とする。このとき、構図探索部５０は、上記に述べたように、例えば、人物のトリミングラインは胸から上（バストアップ）、上半身、全身などを基本的なトリミング候補位置とする。また、上記に述べたように、デジタルカメラ１との距離によって変わる移動可能な被写体の大きさの変更も考慮する（図１５参照）。そして、ステップＳ９０１に戻って、構図判定部４０による新たな構図の判定を繰り返す。
【００８５】
このように、第２の構図探索では、構図探索部５０が移動可能な被写体を、構図内で移動させ、構図判定部４０が、それぞれの被写体の位置でのスコアを計算する。そして、構図判定部４０が計算したスコアに基づいて、構図探索部５０が、それぞれの被写体の位置関係を変えながら、スコアの値が最も改善されると思われる方向に、移動可能な被写体の位置を調整する。そして、ステップＳ９の第２の構図探索では、ステップＳ７での第１の構図探索で決定したトリミング位置を小変更してバランスを調整しつつ、構図判定部４０が計算したスコアが予め定めたスコアに収束するまで、または第２の構図探索を行っている処理時間がタイムアップするまで、移動可能な被写体の位置の調整を繰り返す。
【００８６】
図３に示した構図提案の全体の処理手順に戻って説明を続ける。ステップＳ９の第２の構図探索が、スコアが予め定めたスコアに収束、または第２の構図探索の処理時間がタイムアップすることにより終了すると、ステップＳ１０において、制御部８０は、評価結果（スコア）の良い被写体配置の構図（以下、「推奨構図」という）を提示し、撮影者に構図の選択を促す。推奨構図の選択においては、撮影者が、表示装置７１に表示された推奨構図を、操作部８１を操作することによって選択する。ここで、ステップＳ１０における推奨構図の選択の処理について、図６に示した構図を選択する際のフローチャートを参照して、さらに詳しく説明する。
【００８７】
推奨構図の選択では、制御部８０が評価結果（スコア）が良い順に推奨構図の情報を取得し、画像合成部６０が移動可能な被写体を合成した表示用の画像データ（図１６参照）を生成し、表示部７０が、表示用の画像データを表示装置７１に表示させるという、ステップＳ１００に示した推奨構図選択の処理のループを繰り返す。ステップＳ１００の推奨構図選択の処理のループは、提示した推奨構図が撮影者によって選択される、すなわち、撮影者が好ましいと思う推奨構図の採用を決定するまで、繰り返される。
【００８８】
推奨構図の選択では、まず、制御部８０は、画像合成部６０に、取得した推奨構図の情報を出力すると共に、推奨構図の情報に基づいた表示用の画像データ生成の指示を出力する。画像合成部６０は、制御部８０から表示用の画像データ生成の指示が入力されると、推奨構図の情報に基づいた表示用の画像データの生成を開始する（ステップＳ１００）。
【００８９】
画像合成部６０における表示用の画像データの生成では、メモリ９０から読み出した画像データに含まれる移動可能な被写体である人物の位置、すなわち、移動前の人物を消去する。移動前の人物消去では、人物被写体の位置に、例えば、ＬＰＦ処理を行うことによって、図１６に被写体Ｃ１で示した人物被写体を見えにくくする（ステップＳ１０１）。なお、人物の消去は、ＬＰＦ処理に限定されるものではなく、他の処理によって人物を消去してもよい。また、人物以外の被写体のみが含まれている、例えば、建物のみの画像データがメモリ９０に記憶されている、またはスルー画像を切り出すことによって建物のみの画像データを生成することができる場合には、その画像データを、表示用の画像データを生成する際の画像データとて使用することもできる。
【００９０】
続いて、画像合成部６０は、制御部８０から入力された推奨構図の情報に基づいて、図１６に被写体Ｃ２で示したように、人物被写体を移動した後の位置に、移動後の大きさに拡大または縮小した人物被写体を合成した表示用の画像データを生成する。このとき、画像合成部６０は、推奨構図の情報に基づいたトリミングラインも合成する（ステップＳ１０２）。
【００９１】
続いて、制御部８０は、画像合成部６０が生成した表示用の画像データを表示する指示を、表示部７０に出力する。表示部７０は、制御部８０から表示用の画像データの表示の指示が入力されると、表示用の画像データ、すなわち、現在の推奨構図を表示装置７１に出力して表示させる（ステップＳ１０３）。なお、表示部７０が、推奨構図を表示装置７１に表示させるとき、例えば、表示装置７１に現在のスルー画像を表示させている状態であった場合には、画像合成部６０が合成した推奨構図とスルー画像とを、交互に表示する構成とすることもできる。また、例えば、画像合成部６０が合成した推奨構図を半透明にして、スルー画像に重ねて表示させる構成とすることもできる。
【００９２】
続いて、制御部８０は、提示した（表示した）推奨構図が撮影者によって選択されたか否かを判断する（ステップＳ１０４）。この判断は、例えば、撮影者が操作部８１によって推奨構図を選択する操作を行ったか、または推奨構図に切り換える操作を行ったかによって判断することができる。ステップＳ１０４において、提示した推奨構図が選択されたと判断された場合には、図６に示した推奨構図の選択の処理を終了する。また、ステップＳ１０４において、提示した推奨構図が選択されなかったと判断された場合には、ステップＳ１００に戻って、次に評価結果（スコア）が良い推奨構図の情報を制御部８０が取得して、図６に示した推奨構図の選択の処理を繰り返す。
【００９３】
このようにして、撮影者は、表示装置７１に表示された推奨構図を確認し、好ましいと思う推奨構図を選択することができる。なお、提示した全ての推奨構図が選択されなかった場合には、推奨構図の提示を終了することもできるが、再度、評価結果（スコア）が良い順に推奨構図を提示することもできる。また、撮影者による操作部８１の操作または自動的に、再度、推奨構図の探索（第１の構図探索および第２の構図探索）をやり直す構成にすることもできる。
【００９４】
図３に示した構図提案の全体の処理手順に戻って説明を続ける。ステップＳ１０の推奨構図の選択が終了すると、ステップＳ１１において、制御部８０は、推奨構図で撮影するためのアシスト画面の表示を、表示部７０に指示する。アシスト画面には、選択された推奨構図における被写体の輪郭線やトリミングラインなどが表示される（図１７参照）。撮影者は、表示装置７１に表示されたアシスト画面の推奨構図に合わせて撮影位置、撮影方向、ズーム倍率の調整のほか、被写体である人物に移動を促すなどを行って、推奨構図に合致したときに、操作部８１のシャッタボタンを全押しして、撮影を行う。撮影が終了すると、デジタルカメラ１が構図を提案するモードを終了する。
【００９５】
なお、アシスト画面の表示では、撮影者が選択した推奨構図に合わせて被写体である人物を移動させるのを容易にするため、アシスト画面上にメッセージなどを重畳して表示することもできる。より具体的には、被写体を大きくしたい場合には、図１７（ａ）に示したように、「人物をカメラに近づけてください」というようなメッセージをアシスト画面に重畳して、被写体の移動を促す。また、例えば、被写体を上部に平行移動させたい場合には、図１７（ｂ）に示したように、「撮影者はしゃがんでください」というようなメッセージをアシスト画面に重畳して、撮影者の姿勢の変更を促す。なお、アシスト画面にメッセージを重畳する代わりに、音声によって撮影者にメッセージを伝える構成にすることもできる。
【００９６】
また、背景の被写体である建物が、撮影位置から十分な遠方にある場合には、図１８に示したように、撮影する位置が左右に少し移動しても、背景の建物の見え方は変化しない。このような場合には、被写体の人物を移動したり、デジタルカメラ１の角度を変更したりするのみではなく、撮影位置の移動を含めてそれぞれの被写体の位置関係を変更する方法を提示することにより、推奨構図を実現することができる。このような場合にも、アシスト画面に、撮影者の移動を促すメッセージを重畳する。図１８には、例えば、「撮影者は右（または左）に移動してください」というようなメッセージをアシスト画面に重畳して撮影者の位置（撮影位置）を移動した場合の一例を模式的に示している。なお、図１８に示した一例では、図１８（ａ）と図１８（ｂ）とで、撮影される画像内の人物の位置が異なっているが、撮影位置の移動に加えて、被写体である人物の移動を促すことによって、同様の画像を撮影することもできる。
【００９７】
また、撮影する構図が決まればズーム倍率も決まるため、制御部８０は、プリプロセス部１２に、レンズ１０のズーム制御を指示することによって、ズーム倍率を自動的に変更することもできる。この場合、撮影者は、撮影位置、撮影方向、人物に移動を促すなどによって、アシスト画面に表示された推奨構図の輪郭線やトリミングラインなどに撮影方向の修正をするのみで、所望の推奨構図の画像を撮影することができる。なお、撮影者によって、ズーム倍率の自動制御を行うか否かを、操作部８１を操作してデジタルカメラ１内の制御部８０に通知し、ズーム倍率の自動制御を行うことを表す通知があったときのみ、制御部８０がプリプロセス部１２にレンズ１０のズーム制御を指示する構成とすることもできる。
【００９８】
また、撮影者が撮影位置、撮影方向、ズーム倍率の調整、人物に移動を促すなどによって、アシスト画面に表示された推奨構図の輪郭線やトリミングラインなどの範囲内に全ての被写体が収まったときには、自動的に撮影を行うこともできる。この場合、デジタルカメラ１内の制御部８０は、推奨構図と現在の構図とが一致し、かつ人物の被写体のブレが少ないタイミングで、プリプロセス部１２に、イメージャ１１の露光制御を指示（撮影指示）する。なお、制御部８０は、現在の構図内に不要な被写体が存在する場合には、不要な被写体が現在の構図外に移動した後に、撮影指示を出力する。
【００９９】
上記に述べたとおり、本発明を実施するための最良の形態によれば、撮像装置が構図を提案する際に、移動可能な被写体と移動不可能な被写体とに分けて、推奨する構図を探索する。このとき、撮像装置は、移動可能な被写体の移動まで含めて推奨する構図を提案する。これにより、撮像装置は、構図を提案する際に、撮影者と被写体との位置関係までを含めた最適な構図を撮影者に提案することができる。
【０１００】
また、本発明を実施するための最良の形態によれば、撮像装置は、推奨する構図を実現するための方法を、被写体である人物や撮影者の移動も含めて、撮影者に提示する。これにより、撮影者は、最適な構図の撮影を、容易に行うことができる。
【０１０１】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１０２】
１・・・デジタルカメラ（撮像装置）
１０・・・レンズ（レンズ部）
１１・・・イメージャ
１２・・・プリプロセス部（レンズ制御部）
２０・・・画像処理部
３０・・・被写体検出部（被写体検出部）
４０・・・構図判定部（構図判定部）
５０・・・構図探索部（構図探索部）
６０・・・画像合成部（画像合成部）
７０・・・表示部（画像合成部）
７１・・・表示装置
８０・・・制御部（被写体検出部，構図判定部，構図探索部，画像合成部）
８１・・・操作部
９０・・・メモリ
１００・・・データバス
【技術分野】
【０００１】
本発明は、撮影する画像の構図を提案する撮像装置、および撮像方法に関する。
【背景技術】
【０００２】
電子カメラなどの撮像装置（以下、「デジタルカメラ」という）において画像（写真）の撮影を行う場合に、一般的に好まれる構図のパターンがある。そして、好まれる構図に近づけるように、デジタルカメラが推奨する構図を提案する様々な技術が提案されている。例えば、特許文献１では、初心者でも簡単に良い構図の写真が撮れるようにすることを目的として、フレーミングの提案を行う技術が開示されている。また、特許文献１に開示された技術では、被写体の中から人物を認識し、人物の何らかのアクションを最適な撮影タイミング（シャッターチャンス）として、撮影者に通知する技術も開示されている。
【０００３】
また、特許文献２には、撮影前の現在の構図を評価し、その構図の評価結果に基づいて、推奨する構図を提案する技術が開示されている。特許文献２に開示された技術では、写真撮影をする際の構図の考え方において多く用いられる黄金分割という概念に基づいて、現在の構図を評価している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１９４５１号公報
【特許文献２】特開２００９−５５４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１および２に開示された技術は、撮影者と被写体との現在の位置関係は変えずに、例えば、デジタルカメラにおけるズーム倍率の変更などによるトリミングによって、現状取り得る構図の中で、最適と思われる構図を提案する技術である。このため、撮影者と被写体との現在の位置関係が悪ければ、それなりの構図を提案することは可能であるが、さらに良い構図を提案することはできないという問題がある。
【０００６】
例えば、人物のように、撮影者の指示によって移動することができる被写体がある場合には、その被写体の位置を変えることによって、さらに良い構図を提案することができる可能性がある。また、例えば、撮影する位置、つまり、撮影者の位置を変えることによっても、さらに良い構図を提案することができる可能性がある。しかしながら、特許文献１および２に開示された技術には、撮影者と被写体との位置関係を含めて現在の構図を評価し、最適な構図を提案する技術は開示されていない。
【０００７】
本発明は、上記の課題認識に基づいてなされたものであり、撮像装置が構図を提案する際に、撮影者と被写体との位置関係を含めた最適な構図を提案することができる撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の撮像装置は、入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出し、該検出した前記移動可能な被写体の情報と前記移動不可能な被写体の情報とをそれぞれ出力する被写体検出部と、前記移動可能な被写体の情報と前記移動不可能な被写体の情報とに基づいて、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、予め定めた条件を満足するか否かをそれぞれの被写体毎に判定し、該判定したそれぞれの判定結果を出力する構図判定部と、前記移動可能な被写体の情報、前記移動不可能な被写体の情報、および前記それぞれの判定結果に基づいて、前記移動可能な被写体の位置を構図内で移動させて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記移動可能な被写体を移動させたときの位置の情報を出力する構図探索部と、前記移動不可能な被写体の情報と前記移動可能な被写体を移動させたときの位置の情報とに基づいて、前記画像データの構図内で移動させた後の前記移動可能な被写体を合成し、該合成した画像データを表示用の画像データとする画像合成部と、を備えることを特徴とする。
【０００９】
また、本発明の前記構図判定部は、それぞれの被写体に設定された重要度に応じてそれぞれの被写体に重み付けし、該重み付けされたそれぞれの被写体の位置関係を判定する、ことを特徴とする。
【００１０】
また、本発明の前記被写体検出部は、検出したそれぞれの被写体の位置および大きさの情報を、前記移動可能な被写体の情報および前記移動不可能な被写体の情報に含めて出力し、前記構図探索部は、前記それぞれの被写体の位置と大きさとの情報に基づいて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索する、ことを特徴とする。
【００１１】
また、本発明の前記構図判定部は、前記画像データの画角を含めて前記それぞれの被写体の位置関係を判定し、該判定したときの画角の情報を出力し、前記構図探索部は、前記画角の情報に基づいて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記画像合成部は、前記画角の情報に基づいた画角のデータを、前記画像データの構図内にさらに合成する、ことを特徴とする。
【００１２】
また、本発明の前記構図判定部は、該撮像装置が撮影するときのモードに応じて、前記それぞれの被写体の重要度を設定する、ことを特徴とする。
【００１３】
また、本発明の前記予め定めた条件は複数あり、前記構図判定部は、前記複数の条件のそれぞれ毎に、前記移動可能な被写体と前記移動不可能な被写体との位置関係を判定し、前記構図探索部は、前記複数の条件のそれぞれ毎に、前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記画像合成部は、前記構図探索部によって前記複数の条件のそれぞれ毎に探索された前記移動可能な被写体を移動させたときの位置の情報に基づいた前記合成した画像データを順次表示用の画像データとし、該撮像装置は、選択された表示用の画像データに応じた構図を、撮影するときの構図とする、ことを特徴とする。
【００１４】
また、本発明の前記画像合成部は、前記選択された表示用の画像データに応じた構図内の前記移動可能な被写体と前記移動不可能な被写体との位置関係となるように、前記移動可能な被写体を移動させるための情報を、前記画像データの構図内にさらに合成する、ことを特徴とする。
【００１５】
また、本発明の設定された画角で被写体を結像するレンズ部と、撮影する画角に応じて前記レンズ部のズーム倍率を設定するレンズ制御部と、をさらに備え、前記レンズ制御部は、前記選択された表示用の画像データに応じた構図に応じた画角となるように、前記レンズ部のズーム倍率の設定を変更することを特徴とする。
【００１６】
また、本発明の該撮像装置は、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、前記選択された表示用の画像データに応じた構図の範囲内となったときに、該構図での撮影を行う、ことを特徴とする。
【００１７】
また、本発明の撮像方法は、入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出し、該検出した前記移動可能な被写体の情報と前記移動不可能な被写体の情報とをそれぞれ出力する被写体検出ステップと、前記移動可能な被写体の情報と前記移動不可能な被写体の情報とに基づいて、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、予め定めた条件を満足するか否かをそれぞれの被写体毎に判定し、該判定したそれぞれの判定結果を出力する構図判定ステップと、前記移動可能な被写体の情報、前記移動不可能な被写体の情報、および前記それぞれの判定結果に基づいて、前記移動可能な被写体の位置を構図内で移動させて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記移動可能な被写体を移動させたときの位置の情報を出力する構図探索ステップと、前記移動不可能な被写体の情報と前記移動可能な被写体を移動させたときの位置の情報とに基づいて、前記画像データの構図内で移動させた後の前記移動可能な被写体を合成し、該合成した画像データを表示用の画像データとする画像合成ステップと、を含むことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、撮像装置が構図を提案する際に、撮影者と被写体との位置関係を含めた最適な構図を提案することができるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態によるデジタルカメラの概略構成を示したブロック図である。
【図２】本実施形態のデジタルカメラにおける構図の判定に係る動作を説明するブロック図である。
【図３】本実施形態のデジタルカメラにおける構図提案の処理手順を示したフローチャートである。
【図４】本実施形態のデジタルカメラにおける被写体の優先順位付けの処理手順を示したフローチャートである。
【図５】本実施形態のデジタルカメラにおける構図探索の処理手順を示したフローチャートである。
【図６】本実施形態のデジタルカメラにおける構図選択の処理手順を示したフローチャートである。
【図７】本実施形態のデジタルカメラによって撮影される現在の構図の一例を示した図である。
【図８】本実施形態のデジタルカメラによって認識された被写体の一例を示した図である。
【図９】本実施形態のデジタルカメラによって被写体の優先順位を決定する方法の一例を示した図である。
【図１０】本実施形態のデジタルカメラが被写体を配置する構図パターンの一例を示した図である。
【図１１】本実施形態のデジタルカメラが被写体を配置する構図パターンの別の一例を示した図である。
【図１２】本実施形態のデジタルカメラが被写体を配置した構図の一例を示した図である。
【図１３】本実施形態のデジタルカメラが構図を判定する際のスコアの算出方法の一例を説明する図である。
【図１４】本実施形態のデジタルカメラが配置する被写体を移動するときの一例を示した図である。
【図１５】本実施形態のデジタルカメラが被写体を配置した構図の別の一例を示した図である。
【図１６】本実施形態のデジタルカメラが被写体の配置を決定した推奨する構図の一例を示した図である。
【図１７】本実施形態のデジタルカメラが推奨する構図を実現するために表示する指示の別の一例を示した図である。
【図１８】本実施形態のデジタルカメラが推奨する構図を実現するために撮影位置を変更する場合の一例を模式的に示した図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態によるデジタルカメラの概略構成を示したブロック図である。図１において、デジタルカメラ１は、レンズ１０と、イメージャ１１と、プリプロセス部１２と、画像処理部２０と、被写体検出部３０と、構図判定部４０と、構図探索部５０と、画像合成部６０と、表示部７０と、表示装置７１と、制御部８０と、操作部８１と、メモリ９０と、データバス１００とから構成される。
【００２１】
図１に示したデジタルカメラ１では、レンズ１０を介して入射した被写体光が撮像素子であるイメージャ１１に結像される。そして、イメージャ１１に結像された被写体光に応じた画像信号が、プリプロセス部１２に入力され、以降の処理が行われる。また、デジタルカメラ１における一連の処理においては、撮影された画像データや、各処理において生成された画像データなどのデータをメモリ９０に一時記憶し、各処理において必要なデータを読み出しながら、それぞれの処理を行う。
【００２２】
プリプロセス部１２は、レンズ１０やイメージャ１１の制御部である。プリプロセス部１２は、デジタルカメラ１が撮影する際の被写体への合焦（フォーカス）制御、撮影倍率（ズーム倍率）制御などのレンズ制御や、イメージャ１１の露光制御などの撮像制御を行う。また、プリプロセス部１２では、イメージャ１１から入力された画像信号に対して、ゲインコントロールや、ホワイトバランスの調整など、一部の画像信号処理も行う。プリプロセス部１２が処理した後の画像信号は、データバス１００を介してメモリ９０に一時記憶される。
【００２３】
画像処理部２０は、データバス１００を介してメモリ９０からプリプロセス部１２が処理した画像信号を読み出し、イメージャ１１の画素配列（例えば、ベイヤー配列）に応じた色信号処理や、ノイズ低減処理などの画像処理を行う。そして、画像処理部２０は、画像処理後の画像データを、再びデータバス１００を介してメモリ９０に一時記憶する。また、画像処理部２０は、メモリ９０から読み出した画像信号に基づいて、デジタルカメラ１が推奨する構図の提案に用いるための、輝度画像データの生成も行う。そして、画像処理部２０は、生成した輝度画像データを、データバス１００を介してメモリ９０に記憶する。
【００２４】
被写体検出部３０は、データバス１００を介してメモリ９０から画像処理部２０が生成した輝度画像データを読み出し、読み出した輝度画像データに基づいて、背景の構造物（建物）や人物などの被写体の候補を検出する。例えば、被写体検出部３０は、顔検出などの既知の方法によって人物を検出し、検出した人物の位置や大きさなどの情報を生成する。また、例えば、被写体検出部３０は、輪郭線や動きベクトルの相関性から領域分割するなどの既知の方法によって、背景の建物を検出し、検出した建物などの位置や大きさなどの情報を生成する。なお、被写体検出部３０における人物とそれ以外の被写体（例えば、建物など）の判別方法には種々の方法が考えられるため、上述した方法以外の判別方法によって被写体の候補を検出することもできる。被写体検出部３０は、生成したそれぞれの被写体（人物や建物など）の位置や大きさなどの情報を、制御部８０に出力する。
【００２５】
構図判定部４０は、データバス１００を介してメモリ９０から画像処理部２０が生成した輝度画像データを読み出し、読み出した輝度画像データに基づいて、撮影する画角を変更（トリミング）することができる水平および垂直の位置を探索する。そして、構図判定部４０は、探索した水平および垂直の位置の情報（以下、「トリミングライン情報」という）を、制御部８０に出力する。また、構図判定部４０は、制御部８０から入力された、被写体検出部３０によって検出された被写体の情報から得られる各被写体候補の大きさ、広がり、輪郭線の骨格、それぞれの被写体候補の位置関係などを考慮して、一般的な構図として相応しいとされる、例えば、黄金分割などの構図パターンを当てはめたときの判定を行う。構図判定部４０による構図の判定においては、当てはめた構図パターン毎にスコア（点数）を計算し、計算されたスコアを判定結果として構図探索部５０に出力する。また、構図判定部４０は、計算されたスコアが予め定めたスコアの閾値よりも低い構図パターンについては、スコアが低い要因となった理由を示す情報（以下、「スコア情報」という）を構図探索部５０に通知するようにしてもよい。なお、構図判定部４０による構図の判定に関する詳細な説明は、後述する。
【００２６】
構図探索部５０は、データバス１００を介してメモリ９０から画像処理部２０が生成した輝度画像データを読み出し、構図判定部４０から入力された構図パターンの判定結果（およびスコア情報）に基づいて、より相応しい構図の候補を選択する。例えば、移動可能な被写体である人物が含まれている画像データである場合には、人物を構図内で移動、縮小、拡大などを行った仮の画像データを想定し、仮の画像データの検証を行うことにより、構図の候補を選択する。そして、構図探索部５０は、選択した構図の情報を、制御部８０に出力する。
【００２７】
画像合成部６０は、データバス１００を介してメモリ９０から画像処理部２０が生成した画像データを読み出し、読み出した画像データに移動可能な被写体を合成した表示用の画像データを生成する。この表示用の画像データは、被写体の移動を撮影者に促すために、後述する表示装置７１に表示される。画像合成部６０による被写体の合成においては、移動可能な被写体の位置が、構図探索部５０によって選択された構図となるように、移動可能な被写体を推奨する位置に移動させて合成する。このとき、画像データ中に含まれている移動可能な被写体の元の位置には、例えば、ローパスフィルタ（以下「ＬＰＦ」という）の処理によって元の位置の被写体をぼかすなど、被写体が重複しないようにする。また、例えば、移動可能な被写体以外、すなわち、移動不可能な被写体のみが含まれる同様の画像データがメモリ９０に記憶されている場合には、その画像データに対して、推奨する位置に移動させた被写体を合成することもできる。
【００２８】
表示部７０は、データバス１００を介してメモリ９０から画像処理部２０が生成した画像データを読み出し、読み出した画像データを、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置７１に表示させる。これにより、イメージャ１１から連続的に得られた画像信号に応じた画像データを連続的に表示装置７１に表示させる、いわゆるライブビュー画像（スルー画像）を、撮影者に提示することができる。また、表示部７０は、画像合成部６０によって合成された表示用の画像データ、被写体検出部３０によって検出された被写体の候補を表す矩形領域や人物位置の枠線、撮影者による操作を促すメッセージや推奨する構図を実現するための方法を撮影者に伝えるメッセージなどを、表示している画像に重畳する。
【００２９】
操作部８１は、各種ボタンやスイッチ類、タッチパネルなど、デジタルカメラ１のユーザーである撮影者によって操作されるユーザーインタフェースである。撮影者は、表示装置７１に表示された画像やメッセージなどの情報を確認し、操作部８１を操作することによってデジタルカメラ１に動作を指示する。そして、操作部８１は、撮影者によって操作された内容を表す情報を制御部８０に出力する。
【００３０】
制御部８０は、デジタルカメラ１が推奨する構図を撮影者に提示するための処理のシーケンスに従って、デジタルカメラ１内の構成要素、すなわち、デジタルカメラ１全体を制御する。また、制御部８０は、被写体検出部３０が生成したそれぞれの被写体の位置や大きさなどの情報、構図判定部４０が探索したトリミングライン情報、および構図探索部５０が選択した構図パターンの情報を保持し、管理する。制御部８０は、被写体検出部３０が生成した人物の位置や大きさなどの情報に基づいて、移動可能な被写体を設定し、設定した情報（以下、「移動可能被写体情報」という）を、構図判定部４０に出力する。
【００３１】
次に、本実施形態のデジタルカメラ１において構図を判定する動作について説明する。図２は、本実施形態のデジタルカメラ１における構図の判定に係る動作を説明するブロック図である。図２に示したように、構図判定部４０は、背景構図判定部４１と、人物構図判定部４２と、トータル判定部４３とを備えている。
【００３２】
上記に述べたように、構図判定部４０における構図の判定では、スコアによって行われる。スコアは、例えば、三角形や黄金分割のような一般的な構図に対してどれくらい合致しているかを定量的に示す指標である。より具体的には、例えば、背景の構図、人物の構図、背景と人物とを含めた位置の関係や大きさなどのバランス、背景と人物との重なりなどの指標がある。構図判定部４０内の背景構図判定部４１、人物構図判定部４２、およびトータル判定部４３は、それぞれ、背景の構図、人物の構図、および背景と人物とを含めた総合（トータル）の構図におけるスコアを計算し、判定結果として構図探索部５０に出力する。なお、構図判定部４０内の各構成要素において、人物に関するスコアを計算する際には、制御部８０から入力される移動可能被写体情報で指定された位置に、移動可能な被写体が存在するものとして、それぞれのスコアを計算する。
【００３３】
背景構図判定部４１は、背景の構図の変化を判定したスコアを計算し、計算したスコアを背景判定結果として構図探索部５０に出力する。これは、撮影者が移動することによって起こる可能性がある背景の構図の移動量を判断するものである。
人物構図判定部４２は、黄金分割線上からの人物の被写体の位置を判定したスコアを計算し、計算したスコアを人物判定結果として構図探索部５０に出力する。これは、人物は、黄金分割線上にいるのが好ましいとされることが多いため、人物の位置が黄金分割線上からどれくらい離れているかを判断するものである。
【００３４】
トータル判定部４３は、それぞれの被写体の重心位置と、背景と人物の大きさおよび重なりに基づいて、判定したスコアを計算し、計算したスコアをトータル判定結果として構図探索部５０に出力する。なお、重心位置の判定は、全ての被写体を合算した重心位置が中央にある構図の方が、一般的に好ましいとされる構図であることによるものである。また、大きさの判定は、人物が優先される構図では、人物の被写体が大きい方が、一般的に好ましいとされる構図であることによるものである。また、重なりの判定は、背景が優先される構図では、背景に重なっている人物の被写体が少ない方が、一般的に好ましいとされる構図であることによるものである。
なお、構図判定部４０内の背景構図判定部４１と、人物構図判定部４２と、トータル判定部４３とのそれぞれの判定部における構図の判定に関する詳細な説明は、後述する。
【００３５】
構図探索部５０は、制御部８０から入力されるトリミングライン情報、被写体の位置や大きさなどの情報、および構図判定部４０から入力される判定結果に基づいて、移動可能な被写体を、構図内で移動させる。構図探索部５０は、最初に、例えば、黄金分割などの構図パターンの線上で、移動可能な被写体を移動させた仮の配置を行う。このとき、構図探索部５０は、人物と、背景である建物の被写体とのバランス（重心）を考慮しながら、移動可能な被写体を黄金分割線上で移動させる。また、構図探索部５０は、移動可能な人物の被写体を移動させる際、例えば、人物のトリミングラインは胸から上（バストアップ）、上半身、全身などを基本的なトリミング候補位置とする。さらに、移動可能な被写体は、デジタルカメラ１との距離によって大きさを変えることができるため、移動可能な被写体の大きさの変化も考慮し、移動可能な被写体の縮小や拡大も行う。
【００３６】
次に、本実施形態のデジタルカメラ１が構図を提案する際の処理について説明する。図３〜図６は、本実施形態のデジタルカメラ１における構図提案の処理手順を示したフローチャートである。図３には、デジタルカメラ１が構図を提案する際の全体の処理手順を示している。そして、図４には、被写体の優先順位を付ける際の処理手順、図５には、構図を探索する際の処理手順、図６には、構図を選択する際の処理を示している。また、図７〜図１８には、構図を提案する際のそれぞれの処理段階の一例を示した図である。なお、以下の説明においては、図３に示した構図提案の全体の処理手順に従って順次説明を行い、適宜、図４〜図１８を参照して説明することとする。
【００３７】
まず、ステップＳ１において、撮影者が操作部８１を操作して、デジタルカメラ１が構図の提案を行うモードをＯＮに設定する。これにより、制御部８０は、推奨する構図を撮影者に提示するための処理のシーケンスを開始する。そして、撮影者は、例えば、図７に示したような、撮影したい範囲の全てが構図内に収まるような構図で、デジタルカメラ１を構える。このとき、撮影者は、少し広角よりの倍率でデジタルカメラ１を構えることが望ましい。
【００３８】
続いて、撮影者による操作部８１のシャッタボタンの半押し、または予め定めた一定時間の間、図７に示した構図が維持されると、ステップＳ２において、制御部８０は、現在の構図が撮影者の希望するシーンであると判断する。そして、制御部８０は、被写体検出部３０に、被写体の検出を開始する指示を出力する。被写体検出部３０は、制御部８０から被写体の検出の指示が入力されると、データバス１００を介してメモリ９０に記憶している輝度画像データを読み出して、建物や人物などの被写体の候補を検出する。ここでは、例えば、図８に示したような被写体Ａ〜Ｃが検出される。そして、被写体検出部３０は、検出した被写体の候補の位置や大きさなどの情報を、制御部８０に出力する。
【００３９】
なお、ステップＳ１におけるデジタルカメラ１が構図の提案を行うモードへの設定、およびステップＳ２における撮影者の希望するシーンを判断する方法は、上記に述べた方法に限定されるものではない。例えば、予め定めた操作部８１に備える専用のボタンを押下したとき、または押下した後の予め定めた一定時間のみ有効となる専用のボタンを備え、この専用ボタンの操作によって、構図の提案を行うモードのＯＮとＯＦＦとを設定、または撮影者が希望するシーンであることを伝える構成にすることもできる。このような構成によって、撮影者が必要とするときのみ、デジタルカメラ１が構図の提案を行う機能をＯＮ状態にして実行するようにすることができる。
【００４０】
続いて、ステップＳ３において、制御部８０は、認識した被写体を撮影者に伝えるために、被写体検出部３０から入力された被写体の候補の位置や大きさなどの情報に基づいて、認識した被写体を表す枠線などを表示する指示を、表示部７０に出力する。そして、表示部７０は、認識した被写体を表す枠線を、現在表示している画像に重畳し、表示装置７１に表示させる。
【００４１】
続いて、ステップＳ４において、制御部８０は、認識した被写体の優先順位の設定を撮影者に促し、認識したそれぞれの被写体に優先順位を付ける。被写体の優先順位付けの処理においては、優先順位を付ける対象の被写体を、検出順に順次切り換えながら、撮影者が、被写体の重要度に応じた優先順位を設定する。
【００４２】
ここで、ステップＳ４における被写体への優先順位付けの処理について、図４に示した被写体の優先順位を付ける際のフローチャートを参照して、さらに詳しく説明する。まず、制御部８０は、優先順位を付ける被写体を撮影者に示すため、表示部７０に優先順位付けの設定操作用の表示をする指示を、表示部７０に出力する。これにより、表示部７０は、優先順位の設定用の表示（例えば、ハイライト表示）を、現在表示している画像に重畳し、表示装置７１に表示させる（ステップＳ４０）。
【００４３】
続いて、撮影者は、操作部８１のボタン（設定ボタン）を操作して、希望する優先順位の数値を設定する（ステップＳ４０１）。続いて、制御部８０は、設定終了であるか否かを判断する（ステップＳ４０２）。この判断は、例えば、撮影者が操作部８１によって設定終了の操作を行ったか否かによって判断することができる。ステップＳ４０２において、被写体の優先順位の設定が終了したと判断された場合には、図４に示した被写体の優先順位付けの処理を終了する。また、ステップＳ４０２において、被写体の優先順位の設定が終了していないと判断された場合には、ステップＳ４０に戻って、次に検出された被写体の優先順位付けの処理を繰り返す。
【００４４】
このようにして、例えば、図８に示した被写体Ａ〜Ｃのそれぞれに優先順位が付けられる。より具体的には、図８に示した被写体Ａ〜Ｃのそれぞれ優先順位を付ける場合には、撮影者が操作部８１を操作することによって、被写体Ａ→Ｂ→Ｃ→Ａ・・・のように順次ハイライト表示され、ハイライト表示された被写体、すなわち、選択された被写体に、重要度に応じた優先順位の数値を設定する。図９に示した一例では、被写体Ｂに優先順位「１０」を設定する場合を示している。
【００４５】
なお、優先順位の数値は、小さい数値から大きい数値になるにしたがって、順に重要度（優先度）が高くなる。また、優先順位の数値「０」は、その被写体が不要であることを意味する。例えば、図８に示した被写体Ａが、意図せず写り込んだ不要な被写体である場合には、優先順位の数値「０」を設定する。また、優先順位の数値を設定しない場合には、例えば、不要ではないが最低の優先度（例えば、優先順位の数値「１」）となる。
【００４６】
なお、例えば、ポートレートモードや風景モードなど、デジタルカメラ１の撮影モードに応じて、被写体の優先度の初期値を自動的に設定する構成にすることもできる。この場合においても、必要に応じて、撮影者が優先順位の数値を変更することができる。
【００４７】
なお、ステップＳ４における認識した被写体に優先順位を付ける方法は、上記に述べた方法に限定されるものではない。例えば、撮影者が直接的に優先順位を認識することができるように、スライドバーなどを表示することによって、グラフィカルに優先順位の数値を設定する構成にすることもできる。また、例えば、撮影者が直感的に優先順位を認識することができるように、デジタルカメラ１によって自動的に設定した優先度順に被写体を並べて表示し、撮影者が並べ替えの操作を行う構成にすることもできる。また、例えば、撮影者による優先順位の設定の操作を容易にするため、撮影者が最重要の被写体と、不要な被写体のみを選択する操作に簡略化する構成にすることもできる。また、例えば、表示装置７１がタッチパネルである場合には、タッチパネルを押下（タッチ）した被写体の順に自動的に優先順位が付けられる構成にすることにより、撮影者による優先順位の設定の操作を簡略化することもできる。
【００４８】
図３に示した構図提案の全体の処理手順に戻って説明を続ける。ステップＳ５において、制御部８０は、被写体の選択と優先順位付けの処理が終了したか否かを判断する。被写体の選択と優先順位付けの処理が終了していない場合には、ステップＳ３に戻って、認識した被写体の表示装置７１への表示と、認識した被写体への優先順位付けの処理を繰り返す。また、被写体の選択と優先順位付けの処理が終了した場合には、ステップＳ６に進む。
【００４９】
続いて、ステップＳ６において、制御部８０は、被写体検出部３０から入力された被写体の候補の位置や大きさなどの情報に基づいて、人物などの移動可能な被写体を判定する。移動可能な被写体の判定は、例えば、被写体検出部３０が被写体を検出したときの方法によって判定することができる。より具体的には、被写体検出部３０が顔検出によって検出した被写体は人物であり、輪郭線や動きベクトルの相関性から領域分割するなどの既知の方法によって、検出した被写体は建物、すなわち、移動不可能な被写体であると判定することができる。
【００５０】
なお、ステップＳ６における移動可能な被写体を判定する方法は、上記に述べた方法に限定されるものではない。例えば、ポートレートモードや風景モードなどのデジタルカメラ１の撮影モードの設定と、撮影者によって設定された被写体の優先順位とによって判定することができる。より具体的には、ポートレートモードの場合には、高い優先順位が設定された被写体が人物であり、風景モードの場合には、高い優先順位が設定された被写体が風景、すなわち、移動不可能な被写体であると判定することができる。
【００５１】
続いて、ステップＳ７において、制御部８０は、構図判定部４０に、優先順位の数値「０」である不要な被写体の情報、および人物などの移動可能な被写体の情報を出力すると共に、トリミング候補位置の探索の指示を出力する。構図判定部４０は、制御部８０からトリミング候補位置の探索の指示が入力されると、制御部８０から入力された不要な被写体および移動可能な被写体の全てを、一旦、存在しないものと見なし、移動不可能な被写体だけのトリミング候補位置の探索を開始する。なお、以下の説明においては、移動不可能な被写体だけのトリミング候補位置の探索を、「第１の構図探索」という。
【００５２】
構図判定部４０における第１の構図探索では、トリミングを行う候補の位置を、移動不可能な被写体を分割しない水平および垂直の区切りを示す線（図１０に示した点線ｄ１〜ｄ４）の位置とする。また、移動不可能な被写体の輪郭線をなるべく横切らない位置に設定することができる区切りを示す線（図１０に示した点線ｄ５およびｄ６）の位置も、低優先度のトリミング候補の位置とすることができる。
【００５３】
そして、構図判定部４０は、トリミング候補の位置の情報に基づいて、移動不可能な被写体のみの画像において好ましい構図を判定する。なお、第１の構図探索における構図の判定では、移動可能な被写体を構図内のどこに配置するかを考えず、移動不可能な被写体の構図のみに基づいて、好ましい構図を判断する。図１０に示した一例では、好ましい構図として、図１１に示したような、一般的に知られている三角形構図、かつ左右対称構図であると判定し、これを考慮した位置を、トリミング位置とする。そして、構図判定部４０は、トリミング位置の情報（トリミングライン情報）を、制御部８０に出力する。
【００５４】
続いて、ステップＳ８において、制御部８０は、ステップＳ６における移動可能な被写体の判定において、移動可能な被写体があったか否かに応じて、次の処理を実施するか否かを判定する。移動可能な被写体があった場合には、ステップＳ９に進み、移動可能な被写体がなかった場合には、ステップＳ１１に進む。
【００５５】
続いて、ステップＳ９において、制御部８０は、構図判定部４０および構図探索部５０に、人物などの移動可能な被写体の情報、建物などの移動不可能な被写体の情報、およびトリミングライン情報を出力すると共に、移動可能な被写体を含めた状態での構図の判定の指示を出力する。構図判定部４０および構図探索部５０は、制御部８０から構図の判定の指示が入力されると、制御部８０から入力された移動可能な被写体の情報に基づいて、構図の判定を開始する。なお、以下の説明においては、移動可能な被写体を含めた状態での構図の判定を、「第２の構図探索」という。
【００５６】
第２の構図探索では、構図判定部４０内の背景構図判定部４１と、人物構図判定部４２と、トータル判定部４３とが、それぞれの被写体を構図パターンに当てはめたときのスコアを計算する。また、構図探索部５０が、構図判定部４０が計算したスコアに基づいて、移動可能な被写体を、構図内で移動させて、より相応しい構図の候補を選択する。ここで、ステップＳ９における第２の構図探索における全体の処理について、図５に示した構図を探索する際のフローチャートを参照して、さらに詳しく説明する。
【００５７】
第２の構図探索では、構図探索部５０が、移動可能な被写体を構図内で移動し、構図判定部４０が移動した後の被写体の位置でのスコアを計算し、構図探索部５０が計算したスコアに基づいて、移動可能な被写体を構図内でさらに移動させるという、ステップＳ９０に示した構図探索の処理のループを繰り返す。ステップＳ９０の構図探索の処理ループは、構図判定部４０が計算したスコアが予め定めたスコアに収束するまで、または予め定めた時間が経過するまで、すなわち、第２の構図探索を行っている処理時間がタイムアップするまで、繰り返される。なお、第２の構図探索の処理を最も良い結果が得られるまで時間をかけて行わず、予め定めた時間で終了させる理由は、撮影者や被写体である人物に、違和感や不快感を与えないようにするためである。
【００５８】
第２の構図探索では、まず、構図探索部５０が、制御部８０から入力された人物などの移動可能な被写体の情報、建物などの移動不可能な被写体の情報、およびトリミングライン情報を参照して、例えば、黄金分割などの構図パターンに移動不可能な被写体および必要な移動可能な被写体、すなわち、優先順付けされた被写体を当てはめ、黄金分割線上で、移動可能な人物の被写体を移動させて配置する（図１２参照）。このとき、構図探索部５０は、人物と、背景である建物の被写体とのバランス（重心）を考慮して、黄金分割線上からずれた位置に人物の被写体を移動させることもある（ステップＳ９０１）。
【００５９】
続いて、構図判定部４０内の背景構図判定部４１と、人物構図判定部４２と、トータル判定部４３とは、それぞれ、構図探索部５０によって移動可能な被写体が配置された構図の判定を行ったスコアを計算し、構図探索部５０に出力する（ステップＳ９０２）。
【００６０】
ここで、構図判定部４０内の背景構図判定部４１、人物構図判定部４２、およびトータル判定部４３におけるスコアの計算方法について説明する。トータル判定部４３は、それぞれの被写体の重心位置と、背景と人物の大きさおよび重なりに基づいて、以下のようにスコアを計算する。
【００６１】
＜重心位置のスコアの判定＞
重心位置のスコアの判定では、被写体が占有する画素数を重さＭと定義し、重さＭと被写体の重心位置（Ｘ，Ｙ）との３つの要素のパラメータを有する構図の中心位置からのベクトルＧを、それぞれの被写体に対して設定する。図１３に示した一例では、被写体Ｂの重さＭおよびベクトルＧを、それぞれ、重さＭｂおよびベクトルＧｂとし、被写体Ｃの重さＭおよびベクトルＧを、それぞれ、重さＭｃおよびベクトルＧｃとしている。そして、全ての被写体を合算したときのベクトルＧｅを、下式（１）によって計算する。
【００６２】
【数１】
【００６３】
そして、構図の中心から重心位置までの距離ｒに基づいて、重心スコアｆｇを計算する。例えば、ベクトルＧが構図の中心位置にある、すなわち、距離ｒ＝０のときに重心スコアｆｇ＝１００とし、ベクトルＧが構図の縁の位置にあるときに重心スコアｆｇ＝０として、距離ｒに応じた全ての被写体を合算したときのベクトルＧｅの重心スコアｆｇ（Ｇｅ）を計算する。重心位置の判定では、全ての被写体を合算したベクトルＧｅが構図の中心位置に近い方が、一般的に好ましいとされる。上記に述べたように重心スコアｆｇを計算することによって、ベクトルＧが構図の中心位置に近いほど、重心スコアｆｇの値が大きくなる重心スコアｆｇを計算することができる。
【００６４】
背景構図判定部４１による背景の構図判定、および人物構図判定部４２による人物の構図判定においても、構図の中心から重心位置までの距離に基づいて、重心スコアを計算する。第１の構図探索において、背景に関する構図は最適化されているため、背景構図判定部４１における背景の構図判定では、第１の構図探索を行った背景の位置からの移動量に基づいて重心スコアを計算する。人物構図判定部４２による人物の構図判定では、人物は、黄金分割線上にいるのが好ましいとされるため、黄金分割線と人物の位置との距離に基づいて重心スコアを計算する。なお、背景構図判定部４１および人物構図判定部４２による重心スコアを計算方法は、トータル判定部４３における重心スコアを計算方法と同様であるため、詳細な説明は省略する。以下の説明では、背景構図判定部４１による背景の重心スコアを、重心スコアｆｂとし、人物構図判定部４２による人物の重心スコアを、重心スコアｆｃとする。
【００６５】
＜重なりのスコアの判定＞
重なりのスコアの判定では、被写体が重なっている部分の画素数を画素数Ｓとして、背景の被写体と人物の被写体との重なりの面積とをパラメータとする重なりスコアｆｓを計算する。例えば、重なりスコアｆｓは、被写体Ｂの重さＭａと被写体が重なっている部分の画素数Ｓとの比（Ｍｂ／Ｓ）に応じて、下式（２）のように重なりスコアｆｓ（Ｍｂ，Ｓ）を計算する。
【００６６】
【数２】
【００６７】
重なりの判定では、背景が優先される構図において、背景に重なっている人物の被写体が少ない方が、一般的に好ましいとされる。上記に述べたように重なりスコアｆｓ（Ｍｂ，Ｓ）を計算することによって、背景に人物の被写体が重なっている面積が少ないほど、重なりスコアｆｓ（Ｍｂ，Ｓ）の値が大きくなる重なりスコアｆｓを計算することができる。
【００６８】
＜大きさのスコアの判定＞
大きさのスコアの判定では、全ての被写体の面積を面積ΣＭｋ、人物の顔の面積を面積Ｆとして、全ての被写体の面積と人物の顔の面積とをパラメータとする大きさスコアｆｆを計算する。例えば、大きさスコアｆｆは、全ての被写体の面積ΣＭｋと人物の顔の面積Ｆとの比（ΣＭｋ／Ｆ）に応じて、下式（３）のように大きさスコアｆｆ（ΣＭｋ，Ｆ）を計算する。
【００６９】
【数３】
【００７０】
大きさの判定では、人物が優先される構図において、人物の顔の面積が大きい方が、一般的に好ましいとされる。上記に述べたように大きさスコアｆｆ（ΣＭｋ，Ｆ）を計算することによって、人物の顔の面積が大きいほど、大きさスコアｆｆ（ΣＭｋ，Ｆ）の値が大きくなる大きさスコアｆｆを計算することができる。ただし、人物の顔の面積が大きすぎると、逆に好ましくないため、全ての被写体の面積ΣＭｋと人物の顔の面積Ｆとの比（ΣＭｋ／Ｆ）が予め定めた大きさ以上である場合には、大きさスコアｆｆ（ΣＭｋ，Ｆ）の値が小さくなるように、大きさスコアｆｆを計算している。
【００７１】
＜トータルスコアの計算＞
トータル判定部４３は、上記に述べた重心スコアｆｇ、重なりスコアｆｓ、および大きさスコアｆｆに基づいて、トータルスコアｆｔを算出する。なお、トータルスコアｆｔを算出する際には、例えば、ポートレートモードや風景モードなど、デジタルカメラ１の撮影モードを考慮する。すなわち、撮影モードに応じて、重心スコアｆｇ、重なりスコアｆｓ、および大きさスコアｆｆの比率を変更したトータルスコアｆｔ（ｆｇ，ｆｓ，ｆｆ）を計算する。
【００７２】
デジタルカメラ１の撮影モードが、背景を優先するモード（例えば、風景モード）である場合には、例えば、下式（４）に示したように、重心スコアｆｇの比率を高くしたトータルスコアｆｔ（ｆｇ，ｆｓ，ｆｆ）を計算する。
【００７３】
【数４】
【００７４】
また、デジタルカメラ１の撮影モードが、人物を優先するモード（例えば、ポートレートモード）である場合には、例えば、下式（５）に示したように、大きさスコアｆｆの比率を高くしたトータルスコアｆｔ（ｆｇ，ｆｓ，ｆｆ）を計算する。
【００７５】
【数５】
【００７６】
＜最終スコアの計算＞
構図判定部４０は、背景構図判定部４１が計算した重心スコアｆｂと、人物構図判定部４２が計算した重心スコアｆｃと、トータル判定部４３が計算したトータルスコアｆｔとに基づいて、構図パターンにおける最終のスコアである最終スコアｆａｌｌを算出する。なお、最終スコアｆａｌｌを算出する際には、例えば、ポートレートモードや風景モードなど、デジタルカメラ１の撮影モードを考慮し、撮影モードに応じて、トータルスコアｆｔ、重心スコアｆｂ、重心スコアｆｃの比率を変更した最終スコアｆａｌｌ（ｆｔ，ｆｂ，ｆｃ）を計算する。
【００７７】
デジタルカメラ１の撮影モードが、背景を優先するモード（例えば、風景モード）である場合には、例えば、下式（６）に示したように、背景構図判定部４１が計算した重心スコアｆｂの比率を、人物構図判定部４２が計算した重心スコアｆｃの比率よりも高くした最終スコアｆａｌｌ（ｆｔ，ｆｂ，ｆｃ）を計算する。
【００７８】
【数６】
【００７９】
また、デジタルカメラ１の撮影モードが、人物を優先するモード（例えば、ポートレートモード）である場合には、例えば、下式（７）に示したように、人物構図判定部４２が計算した重心スコアｆｃの比率を、背景構図判定部４１が計算した重心スコアｆｂの比率よりも高くした最終スコアｆａｌｌ（ｆｔ，ｆｂ，ｆｃ）を計算する。
【００８０】
【数７】
【００８１】
そして、構図判定部４０は、背景構図判定部４１が計算した重心スコアｆｂを背景判定結果とし、人物構図判定部４２が計算した重心スコアｆｃを人物判定結果とし、トータル判定部４３が計算したトータルスコアｆｔをトータル判定結果とし、最終スコアｆａｌｌを最終判定結果として、それぞれ、構図探索部５０に出力する。
【００８２】
続いて、構図探索部５０は、構図判定部４０から入力された判定結果（スコア）に基づいて、今回被写体を配置した構図（図１２参照）を評価する。構図探索部５０による構図の評価では、スコアが一般的な構図（例えば、三角形構図や黄金分割）に対してどれだけ合致しているか（守られているか）を定量的に示す指標として評価を行う。より具体的には、構図判定部４０から入力された判定結果（スコア）に基づいて、例えば、背景の構図、人物の構図、背景と人物とを含めたバランス（位置関係や大きさ）、背景と人物との重なりなどを評価する。このとき、優先度の高い被写体ほど重みを大きく設定する。例えば、デジタルカメラ１の撮影モードが、人物を優先するモード（例えば、ポートレートモード）である場合には、背景の建物が推奨されている構図からある程度ずれても、人物の配置のバランスを優先する（図１４（ａ）参照）。また、例えば、デジタルカメラ１の撮影モードが、背景を優先するモード（例えば、風景モード）である場合には、人物が背景を遮らないように、移動可能な被写体である人物を移動させるようにする（図１４（ｂ）参照）。そして、構図探索部５０は、構図判定部４０から入力された前回の判定結果（スコア）による評価結果と、今回計算された判定結果（スコア）による評価結果とを比較し、良い評価結果（スコア）が得られた、被写体の配置位置の情報を記憶（更新）する（ステップＳ９０３）。
【００８３】
なお、良い評価結果（スコア）が得られた被写体の配置位置の情報は、最も良い評価結果（スコア）が得られた被写体の配置位置の情報のみを記憶するのではなく、全ての被写体の配置位置の情報を記憶することもできる。また、予め定められた個数の被写体の配置位置の情報を記憶するものとし、記憶している被写体の配置位置の情報の評価結果（スコア）よりも良い評価結果（スコア）が得られたときに、記憶している被写体の配置位置の情報の評価結果（スコア）の中で一番悪い評価結果（スコア）の被写体の配置位置の情報を書き換える（更新）することもできる。
【００８４】
その後、構図探索部５０は、評価結果に基づいて、移動可能な被写体を構図内で移動、縮小、拡大などを行って、新たな構図とする。このとき、構図探索部５０は、上記に述べたように、例えば、人物のトリミングラインは胸から上（バストアップ）、上半身、全身などを基本的なトリミング候補位置とする。また、上記に述べたように、デジタルカメラ１との距離によって変わる移動可能な被写体の大きさの変更も考慮する（図１５参照）。そして、ステップＳ９０１に戻って、構図判定部４０による新たな構図の判定を繰り返す。
【００８５】
このように、第２の構図探索では、構図探索部５０が移動可能な被写体を、構図内で移動させ、構図判定部４０が、それぞれの被写体の位置でのスコアを計算する。そして、構図判定部４０が計算したスコアに基づいて、構図探索部５０が、それぞれの被写体の位置関係を変えながら、スコアの値が最も改善されると思われる方向に、移動可能な被写体の位置を調整する。そして、ステップＳ９の第２の構図探索では、ステップＳ７での第１の構図探索で決定したトリミング位置を小変更してバランスを調整しつつ、構図判定部４０が計算したスコアが予め定めたスコアに収束するまで、または第２の構図探索を行っている処理時間がタイムアップするまで、移動可能な被写体の位置の調整を繰り返す。
【００８６】
図３に示した構図提案の全体の処理手順に戻って説明を続ける。ステップＳ９の第２の構図探索が、スコアが予め定めたスコアに収束、または第２の構図探索の処理時間がタイムアップすることにより終了すると、ステップＳ１０において、制御部８０は、評価結果（スコア）の良い被写体配置の構図（以下、「推奨構図」という）を提示し、撮影者に構図の選択を促す。推奨構図の選択においては、撮影者が、表示装置７１に表示された推奨構図を、操作部８１を操作することによって選択する。ここで、ステップＳ１０における推奨構図の選択の処理について、図６に示した構図を選択する際のフローチャートを参照して、さらに詳しく説明する。
【００８７】
推奨構図の選択では、制御部８０が評価結果（スコア）が良い順に推奨構図の情報を取得し、画像合成部６０が移動可能な被写体を合成した表示用の画像データ（図１６参照）を生成し、表示部７０が、表示用の画像データを表示装置７１に表示させるという、ステップＳ１００に示した推奨構図選択の処理のループを繰り返す。ステップＳ１００の推奨構図選択の処理のループは、提示した推奨構図が撮影者によって選択される、すなわち、撮影者が好ましいと思う推奨構図の採用を決定するまで、繰り返される。
【００８８】
推奨構図の選択では、まず、制御部８０は、画像合成部６０に、取得した推奨構図の情報を出力すると共に、推奨構図の情報に基づいた表示用の画像データ生成の指示を出力する。画像合成部６０は、制御部８０から表示用の画像データ生成の指示が入力されると、推奨構図の情報に基づいた表示用の画像データの生成を開始する（ステップＳ１００）。
【００８９】
画像合成部６０における表示用の画像データの生成では、メモリ９０から読み出した画像データに含まれる移動可能な被写体である人物の位置、すなわち、移動前の人物を消去する。移動前の人物消去では、人物被写体の位置に、例えば、ＬＰＦ処理を行うことによって、図１６に被写体Ｃ１で示した人物被写体を見えにくくする（ステップＳ１０１）。なお、人物の消去は、ＬＰＦ処理に限定されるものではなく、他の処理によって人物を消去してもよい。また、人物以外の被写体のみが含まれている、例えば、建物のみの画像データがメモリ９０に記憶されている、またはスルー画像を切り出すことによって建物のみの画像データを生成することができる場合には、その画像データを、表示用の画像データを生成する際の画像データとて使用することもできる。
【００９０】
続いて、画像合成部６０は、制御部８０から入力された推奨構図の情報に基づいて、図１６に被写体Ｃ２で示したように、人物被写体を移動した後の位置に、移動後の大きさに拡大または縮小した人物被写体を合成した表示用の画像データを生成する。このとき、画像合成部６０は、推奨構図の情報に基づいたトリミングラインも合成する（ステップＳ１０２）。
【００９１】
続いて、制御部８０は、画像合成部６０が生成した表示用の画像データを表示する指示を、表示部７０に出力する。表示部７０は、制御部８０から表示用の画像データの表示の指示が入力されると、表示用の画像データ、すなわち、現在の推奨構図を表示装置７１に出力して表示させる（ステップＳ１０３）。なお、表示部７０が、推奨構図を表示装置７１に表示させるとき、例えば、表示装置７１に現在のスルー画像を表示させている状態であった場合には、画像合成部６０が合成した推奨構図とスルー画像とを、交互に表示する構成とすることもできる。また、例えば、画像合成部６０が合成した推奨構図を半透明にして、スルー画像に重ねて表示させる構成とすることもできる。
【００９２】
続いて、制御部８０は、提示した（表示した）推奨構図が撮影者によって選択されたか否かを判断する（ステップＳ１０４）。この判断は、例えば、撮影者が操作部８１によって推奨構図を選択する操作を行ったか、または推奨構図に切り換える操作を行ったかによって判断することができる。ステップＳ１０４において、提示した推奨構図が選択されたと判断された場合には、図６に示した推奨構図の選択の処理を終了する。また、ステップＳ１０４において、提示した推奨構図が選択されなかったと判断された場合には、ステップＳ１００に戻って、次に評価結果（スコア）が良い推奨構図の情報を制御部８０が取得して、図６に示した推奨構図の選択の処理を繰り返す。
【００９３】
このようにして、撮影者は、表示装置７１に表示された推奨構図を確認し、好ましいと思う推奨構図を選択することができる。なお、提示した全ての推奨構図が選択されなかった場合には、推奨構図の提示を終了することもできるが、再度、評価結果（スコア）が良い順に推奨構図を提示することもできる。また、撮影者による操作部８１の操作または自動的に、再度、推奨構図の探索（第１の構図探索および第２の構図探索）をやり直す構成にすることもできる。
【００９４】
図３に示した構図提案の全体の処理手順に戻って説明を続ける。ステップＳ１０の推奨構図の選択が終了すると、ステップＳ１１において、制御部８０は、推奨構図で撮影するためのアシスト画面の表示を、表示部７０に指示する。アシスト画面には、選択された推奨構図における被写体の輪郭線やトリミングラインなどが表示される（図１７参照）。撮影者は、表示装置７１に表示されたアシスト画面の推奨構図に合わせて撮影位置、撮影方向、ズーム倍率の調整のほか、被写体である人物に移動を促すなどを行って、推奨構図に合致したときに、操作部８１のシャッタボタンを全押しして、撮影を行う。撮影が終了すると、デジタルカメラ１が構図を提案するモードを終了する。
【００９５】
なお、アシスト画面の表示では、撮影者が選択した推奨構図に合わせて被写体である人物を移動させるのを容易にするため、アシスト画面上にメッセージなどを重畳して表示することもできる。より具体的には、被写体を大きくしたい場合には、図１７（ａ）に示したように、「人物をカメラに近づけてください」というようなメッセージをアシスト画面に重畳して、被写体の移動を促す。また、例えば、被写体を上部に平行移動させたい場合には、図１７（ｂ）に示したように、「撮影者はしゃがんでください」というようなメッセージをアシスト画面に重畳して、撮影者の姿勢の変更を促す。なお、アシスト画面にメッセージを重畳する代わりに、音声によって撮影者にメッセージを伝える構成にすることもできる。
【００９６】
また、背景の被写体である建物が、撮影位置から十分な遠方にある場合には、図１８に示したように、撮影する位置が左右に少し移動しても、背景の建物の見え方は変化しない。このような場合には、被写体の人物を移動したり、デジタルカメラ１の角度を変更したりするのみではなく、撮影位置の移動を含めてそれぞれの被写体の位置関係を変更する方法を提示することにより、推奨構図を実現することができる。このような場合にも、アシスト画面に、撮影者の移動を促すメッセージを重畳する。図１８には、例えば、「撮影者は右（または左）に移動してください」というようなメッセージをアシスト画面に重畳して撮影者の位置（撮影位置）を移動した場合の一例を模式的に示している。なお、図１８に示した一例では、図１８（ａ）と図１８（ｂ）とで、撮影される画像内の人物の位置が異なっているが、撮影位置の移動に加えて、被写体である人物の移動を促すことによって、同様の画像を撮影することもできる。
【００９７】
また、撮影する構図が決まればズーム倍率も決まるため、制御部８０は、プリプロセス部１２に、レンズ１０のズーム制御を指示することによって、ズーム倍率を自動的に変更することもできる。この場合、撮影者は、撮影位置、撮影方向、人物に移動を促すなどによって、アシスト画面に表示された推奨構図の輪郭線やトリミングラインなどに撮影方向の修正をするのみで、所望の推奨構図の画像を撮影することができる。なお、撮影者によって、ズーム倍率の自動制御を行うか否かを、操作部８１を操作してデジタルカメラ１内の制御部８０に通知し、ズーム倍率の自動制御を行うことを表す通知があったときのみ、制御部８０がプリプロセス部１２にレンズ１０のズーム制御を指示する構成とすることもできる。
【００９８】
また、撮影者が撮影位置、撮影方向、ズーム倍率の調整、人物に移動を促すなどによって、アシスト画面に表示された推奨構図の輪郭線やトリミングラインなどの範囲内に全ての被写体が収まったときには、自動的に撮影を行うこともできる。この場合、デジタルカメラ１内の制御部８０は、推奨構図と現在の構図とが一致し、かつ人物の被写体のブレが少ないタイミングで、プリプロセス部１２に、イメージャ１１の露光制御を指示（撮影指示）する。なお、制御部８０は、現在の構図内に不要な被写体が存在する場合には、不要な被写体が現在の構図外に移動した後に、撮影指示を出力する。
【００９９】
上記に述べたとおり、本発明を実施するための最良の形態によれば、撮像装置が構図を提案する際に、移動可能な被写体と移動不可能な被写体とに分けて、推奨する構図を探索する。このとき、撮像装置は、移動可能な被写体の移動まで含めて推奨する構図を提案する。これにより、撮像装置は、構図を提案する際に、撮影者と被写体との位置関係までを含めた最適な構図を撮影者に提案することができる。
【０１００】
また、本発明を実施するための最良の形態によれば、撮像装置は、推奨する構図を実現するための方法を、被写体である人物や撮影者の移動も含めて、撮影者に提示する。これにより、撮影者は、最適な構図の撮影を、容易に行うことができる。
【０１０１】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１０２】
１・・・デジタルカメラ（撮像装置）
１０・・・レンズ（レンズ部）
１１・・・イメージャ
１２・・・プリプロセス部（レンズ制御部）
２０・・・画像処理部
３０・・・被写体検出部（被写体検出部）
４０・・・構図判定部（構図判定部）
５０・・・構図探索部（構図探索部）
６０・・・画像合成部（画像合成部）
７０・・・表示部（画像合成部）
７１・・・表示装置
８０・・・制御部（被写体検出部，構図判定部，構図探索部，画像合成部）
８１・・・操作部
９０・・・メモリ
１００・・・データバス
【特許請求の範囲】
【請求項１】
入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出し、該検出した前記移動可能な被写体の情報と前記移動不可能な被写体の情報とをそれぞれ出力する被写体検出部と、
前記移動可能な被写体の情報と前記移動不可能な被写体の情報とに基づいて、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、予め定めた条件を満足するか否かをそれぞれの被写体毎に判定し、該判定したそれぞれの判定結果を出力する構図判定部と、
前記移動可能な被写体の情報、前記移動不可能な被写体の情報、および前記それぞれの判定結果に基づいて、前記移動可能な被写体の位置を構図内で移動させて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記移動可能な被写体を移動させたときの位置の情報を出力する構図探索部と、
前記移動不可能な被写体の情報と前記移動可能な被写体を移動させたときの位置の情報とに基づいて、前記画像データの構図内で移動させた後の前記移動可能な被写体を合成し、該合成した画像データを表示用の画像データとする画像合成部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記構図判定部は、
それぞれの被写体に設定された重要度に応じてそれぞれの被写体に重み付けし、該重み付けされたそれぞれの被写体の位置関係を判定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体検出部は、
検出したそれぞれの被写体の位置および大きさの情報を、前記移動可能な被写体の情報および前記移動不可能な被写体の情報に含めて出力し、
前記構図探索部は、
前記それぞれの被写体の位置と大きさとの情報に基づいて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記構図判定部は、
前記画像データの画角を含めて前記それぞれの被写体の位置関係を判定し、該判定したときの画角の情報を出力し、
前記構図探索部は、
前記画角の情報に基づいて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、
前記画像合成部は、
前記画角の情報に基づいた画角のデータを、前記画像データの構図内にさらに合成する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記構図判定部は、
該撮像装置が撮影するときのモードに応じて、前記それぞれの被写体の重要度を設定する、
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記予め定めた条件は複数あり、
前記構図判定部は、
前記複数の条件のそれぞれ毎に、前記移動可能な被写体と前記移動不可能な被写体との位置関係を判定し、
前記構図探索部は、
前記複数の条件のそれぞれ毎に、前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、
前記画像合成部は、
前記構図探索部によって前記複数の条件のそれぞれ毎に探索された前記移動可能な被写体を移動させたときの位置の情報に基づいた前記合成した画像データを順次表示用の画像データとし、
該撮像装置は、
選択された表示用の画像データに応じた構図を、撮影するときの構図とする、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記画像合成部は、
前記選択された表示用の画像データに応じた構図内の前記移動可能な被写体と前記移動不可能な被写体との位置関係となるように、前記移動可能な被写体を移動させるための情報を、前記画像データの構図内にさらに合成する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
設定された画角で被写体を結像するレンズ部と、
撮影する画角に応じて前記レンズ部のズーム倍率を設定するレンズ制御部と、
をさらに備え、
前記レンズ制御部は、
前記選択された表示用の画像データに応じた構図に応じた画角となるように、前記レンズ部のズーム倍率の設定を変更する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
該撮像装置は、
前記移動可能な被写体と前記移動不可能な被写体との位置関係が、前記選択された表示用の画像データに応じた構図の範囲内となったときに、該構図での撮影を行う、
ことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出し、該検出した前記移動可能な被写体の情報と前記移動不可能な被写体の情報とをそれぞれ出力する被写体検出ステップと、
前記移動可能な被写体の情報と前記移動不可能な被写体の情報とに基づいて、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、予め定めた条件を満足するか否かをそれぞれの被写体毎に判定し、該判定したそれぞれの判定結果を出力する構図判定ステップと、
前記移動可能な被写体の情報、前記移動不可能な被写体の情報、および前記それぞれの判定結果に基づいて、前記移動可能な被写体の位置を構図内で移動させて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記移動可能な被写体を移動させたときの位置の情報を出力する構図探索ステップと、
前記移動不可能な被写体の情報と前記移動可能な被写体を移動させたときの位置の情報とに基づいて、前記画像データの構図内で移動させた後の前記移動可能な被写体を合成し、該合成した画像データを表示用の画像データとする画像合成ステップと、
を含むことを特徴とする撮像方法。
【請求項１】
入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出し、該検出した前記移動可能な被写体の情報と前記移動不可能な被写体の情報とをそれぞれ出力する被写体検出部と、
前記移動可能な被写体の情報と前記移動不可能な被写体の情報とに基づいて、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、予め定めた条件を満足するか否かをそれぞれの被写体毎に判定し、該判定したそれぞれの判定結果を出力する構図判定部と、
前記移動可能な被写体の情報、前記移動不可能な被写体の情報、および前記それぞれの判定結果に基づいて、前記移動可能な被写体の位置を構図内で移動させて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記移動可能な被写体を移動させたときの位置の情報を出力する構図探索部と、
前記移動不可能な被写体の情報と前記移動可能な被写体を移動させたときの位置の情報とに基づいて、前記画像データの構図内で移動させた後の前記移動可能な被写体を合成し、該合成した画像データを表示用の画像データとする画像合成部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記構図判定部は、
それぞれの被写体に設定された重要度に応じてそれぞれの被写体に重み付けし、該重み付けされたそれぞれの被写体の位置関係を判定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体検出部は、
検出したそれぞれの被写体の位置および大きさの情報を、前記移動可能な被写体の情報および前記移動不可能な被写体の情報に含めて出力し、
前記構図探索部は、
前記それぞれの被写体の位置と大きさとの情報に基づいて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記構図判定部は、
前記画像データの画角を含めて前記それぞれの被写体の位置関係を判定し、該判定したときの画角の情報を出力し、
前記構図探索部は、
前記画角の情報に基づいて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、
前記画像合成部は、
前記画角の情報に基づいた画角のデータを、前記画像データの構図内にさらに合成する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記構図判定部は、
該撮像装置が撮影するときのモードに応じて、前記それぞれの被写体の重要度を設定する、
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記予め定めた条件は複数あり、
前記構図判定部は、
前記複数の条件のそれぞれ毎に、前記移動可能な被写体と前記移動不可能な被写体との位置関係を判定し、
前記構図探索部は、
前記複数の条件のそれぞれ毎に、前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、
前記画像合成部は、
前記構図探索部によって前記複数の条件のそれぞれ毎に探索された前記移動可能な被写体を移動させたときの位置の情報に基づいた前記合成した画像データを順次表示用の画像データとし、
該撮像装置は、
選択された表示用の画像データに応じた構図を、撮影するときの構図とする、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記画像合成部は、
前記選択された表示用の画像データに応じた構図内の前記移動可能な被写体と前記移動不可能な被写体との位置関係となるように、前記移動可能な被写体を移動させるための情報を、前記画像データの構図内にさらに合成する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
設定された画角で被写体を結像するレンズ部と、
撮影する画角に応じて前記レンズ部のズーム倍率を設定するレンズ制御部と、
をさらに備え、
前記レンズ制御部は、
前記選択された表示用の画像データに応じた構図に応じた画角となるように、前記レンズ部のズーム倍率の設定を変更する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
該撮像装置は、
前記移動可能な被写体と前記移動不可能な被写体との位置関係が、前記選択された表示用の画像データに応じた構図の範囲内となったときに、該構図での撮影を行う、
ことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
入力された画像データに含まれる移動可能な被写体と移動不可能な被写体とを検出し、該検出した前記移動可能な被写体の情報と前記移動不可能な被写体の情報とをそれぞれ出力する被写体検出ステップと、
前記移動可能な被写体の情報と前記移動不可能な被写体の情報とに基づいて、前記移動可能な被写体と前記移動不可能な被写体との位置関係が、予め定めた条件を満足するか否かをそれぞれの被写体毎に判定し、該判定したそれぞれの判定結果を出力する構図判定ステップと、
前記移動可能な被写体の情報、前記移動不可能な被写体の情報、および前記それぞれの判定結果に基づいて、前記移動可能な被写体の位置を構図内で移動させて、前記予め定めた条件を満足する前記移動不可能な被写体と前記移動可能な被写体とにおける良好な位置関係を探索し、前記移動可能な被写体を移動させたときの位置の情報を出力する構図探索ステップと、
前記移動不可能な被写体の情報と前記移動可能な被写体を移動させたときの位置の情報とに基づいて、前記画像データの構図内で移動させた後の前記移動可能な被写体を合成し、該合成した画像データを表示用の画像データとする画像合成ステップと、
を含むことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−２４４２４９（Ｐ２０１２−２４４２４９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１０９８２２（Ｐ２０１１−１０９８２２）
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]