画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
【課題】容易に所望の構図の画像を得ることができる画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置を提供する。
【解決手段】所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理装置において、撮像部の撮像に応じて得られる撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定する画像条件判定部と、画像条件判定部の判定に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行する画像取得関連処理部と、画像取得関連処理部による処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して本画像を生成する画像加工部とを備えた画像処理装置である。
【解決手段】所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理装置において、撮像部の撮像に応じて得られる撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定する画像条件判定部と、画像条件判定部の判定に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行する画像取得関連処理部と、画像取得関連処理部による処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して本画像を生成する画像加工部とを備えた画像処理装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
ユーザはカメラを用いて所望の被写体を撮影する他に、自分自身を撮影するいわゆる自分撮りを行う場合がある。自分撮りを行うには、ユーザはカメラを手で持ち、レンズを自分の方向に向けて撮像を行う。しかし、スルー画が表示される表示画面は通常、レンズとは反対の方向に設けられているため、ユーザは自分自身がカメラの画枠に収まっているか否かを確認することができない。したがって、画枠内の所望の位置に自分自身の顔の位置を一致させて撮影を行うことは難しい。
【０００３】
また、自分撮りを行う際には、自分自身だけでなく、自分自身と共に建物や自然物などの背景を構成するものも画枠内に収めて撮影を行う場合もある。
【０００４】
そこで、まず、背景としての風景を撮像して第１画像データを取得し、次に、その背景を背にして自分自身を撮影して第２の画像データを取得し、その第１の画像データと第２の画像データとの一致度を判定することにより所望の背景を含めて自分撮りを行うことを可能とする撮像装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８８９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述の特許文献１に記載の撮像装置においては、背景として得た第１画像データと背景を背にして自分自身を撮像して得た第２画像データとの一致度の判定を動きベクトルに基づいて画枠全体について行うものである。したがって、第１画像データと第２画像データとの間において背景全体について一致していることが要求されるため、画枠調整の難易度が高く、容易に所望の背景を含めた自分撮りを行うことはできない。
【０００７】
また、一般的にユーザは自分撮りにおいては、背景全体を画像に収めたいのではなく、背景の構成物の中の所望のものが画像内に収まっていればよい場合が多いと考えられる。したがって、特許文献１に記載の技術のように第１画像データと第２画像データとを用いて背景全体を一致させる必要はない。
【０００８】
したがって、本技術の目的は、容易に所望の背景を構成する物を画枠内に収めながら自分撮りを行うことができる画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理装置において、撮像部の撮像に応じて得られる撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、条件判定部の判定に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部とを備えた画像処理装置である。
【００１０】
第２の技術は、所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、撮像部の撮像に応じて得られる撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定し、判定の結果に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行し、処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して本画像を生成する画像処理方法である。
【００１１】
第３の技術は、所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、撮像部の撮像に応じて得られる撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定し、判定の結果に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行し、処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して前記本画像を生成する画像処理方法をコンピュータに実行させる画像処理プログラムである。
【００１２】
第４の技術は、筐体の一方の面に設けられたレンズと、レンズを介した光を受光して画像信号に変える撮像素子と、筐体のレンズが設けられた一方の面に対して裏側に位置する他方の面に設けられ、前記画像信号に基づく画像を表示する表示部とを備え、撮像素子により得られる撮像画像から所定の構図に関する条件を示す本構図条件を満たす本画像を生成する撮像装置において、撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、条件判定部の判定に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、処理部による処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して本画像を生成する画像加工部とを備えた撮像装置である。
【発明の効果】
【００１３】
本技術によれば、所望の構図の画像を容易に得ることができる。
【図面の簡単な説明】
【００１４】
【図１】撮像装置の概略構成を示すブロック図である。
【図２】画像加工部の概略構成を示すブロック図である。
【図３】撮像装置の外観構成を示す図である。
【図４】自分撮りの全体フローを示すフローチャートである。
【図５】表示部に表示されるモード切り替え画面を示す図である。
【図６】背景物／目標顔位置指定処理の流れを示すフローチャートである。
【図７】表示部に表示される背景物／顔指定選択画面を示す図である。
【図８】表示部に表示される背景物指定用画面の一例を示す図である。
【図９】背景物検出用画像生成処理の流れを示すフローチャートである。
【図１０】背景物検出用画像の生成について説明するための図である。
【図１１】表示部に表示される顔位置指定用画面の一例を示す図である。
【図１２】背景物指定用画面のその他の例を示す図である。
【図１３】背景物指定用画面および顔位置指定用画面の変形例を示す図である。
【図１４】自分撮りにおける処理の流れを示すフローチャートである。
【図１５】背景物検出処理について説明するための図である。
【図１６】顔位置判定処理について説明するための図である。
【図１７】顔位置判定処理のその他の例について説明するための図である。
【図１８】顔位置判定処理のその他の例について説明するための図である。
【図１９】誘導通知の手法について説明するための図である。
【図２０】撮像装置の外観構成の変形例を示す図である。
【図２１】顔位置調整処理について説明するための図である。
【図２２】顔位置調整処理の流れを示すフローチャートである。
【図２３】顔位置調整処理によって生成された本画像を示す図である。
【図２４】背景物検出領域について説明するための図である。
【図２５】傾き補正処理について説明するための図である。
【図２６】傾き補正処理の流れを示すフローチャートである。
【図２７】背景物サイズ調整処理について説明するための図である。
【図２８】背景物サイズ調整処理の流れを示すフローチャートである。
【図２９】表示部に表示される背景物種別指定画面の一例を示す図である。
【図３０】最適構図調整処理の一例について説明するための図である。
【図３１】最適構図調整処理の流れを示すフローチャートである。
【図３２】最適構図調整処理のその他の例について説明するための図である。
【図３３】最適構図調整処理のその他の例の流れを示すフローチャートである。
【図３４】縦横変換処理について説明するための図である。
【図３５】縦横変換処理の流れを示すフローチャートである。
【図３６】顔向き対応調整処理について説明するための図である。
【図３７】顔向き対応調整処理の流れを示すフローチャートである。
【図３８】黄金比に基づく拡大処理について説明するための図である。
【図３９】黄金比に基づく拡大処理の流れを示すフローチャートである。
【図４０】本技術の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図４１】撮像装置の構成を示すブロック図である。
【図４２】撮像装置のモニターの表示態様を示す図である。
【図４３】トリミング処理の説明のための図である。
【図４４】画像処理装置において行われる処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．用語の定義＞
＜２．第１の実施の形態＞
［２−１．撮像装置の構成］
［２−２．撮像装置により行われる処理］
「２−２−１．背景物条件設定」
「２−２−２．本画像条件設定」
「２−２−３．自分撮りの際に行われる処理」
［２−３．画像加工処理］
「２−３−１．顔位置調整処理」
「２−３−２．傾き補正処理」
「２−３−３．背景物サイズ調整処理」
「２−３−４．最適構図調整処理」
「２−３−５．縦横変換処理」
「２−３−６．顔向き対応調整処理」
「２−３−７．黄金比に基づく拡大処理」
＜３．第２の実施の形態＞
［３−１．画像処理装置および撮像装置の構成］
［３−２．画像処理装置における処理］
【００１６】
＜１．用語の定義＞
まず、本技術の各実施形態の説明に先立ち、本明細書で用いる各種の用語の定義について説明する。
【００１７】
「自分撮り」とは、ユーザが撮像装置のレンズを自分自身に向けて自らを被写体として撮像を行うことであり、撮像装置を手に持って行う場合、撮像装置を置いて行う場合を含むものである。また、ユーザが一人で行う場合に限られず、複数人が被写体となり、その複数人のうちのいずれか一人が撮像装置を手に持って行う場合、撮像装置を置いて複数人が被写体となる場合も含むものである。
【００１８】
「撮像」とは、撮像装置において、撮像素子が像を表す光を受光して電気信号に変換することを意味する。「画枠」とは、撮像素子の有効領域により撮像される全領域または全領域よりも若干小さい領域を表すものである。「構図」とは、被写体が所定のアルゴリズムによって決定される位置に配置された状態、すなわち、画枠に対する被写体の配置状態である。
【００１９】
「予備画像」とは、画像加工処理が施される前に背景物についての条件（背景物条件）および顔についての条件（顔条件）を満たす場合に保存される画像である。「本画像」とは、予備画像に対して画像加工処理が施されることにより、最終的に得られる画像である。
【００２０】
「背景物」とは、ユーザが自分撮りを行う際に画枠内に収まるユーザ以外の被写体のことであり、人物、建築物、自然物などユーザの後ろの広がる背景を構成するものである。
「背景物検出用画像」とは、背景物を検出するために背景物を画枠に入れた状態で撮像される画像である。自分撮り時におけるテンプレートマッチングにより背景物の検出において、テンプレートとなる画像である。
【００２１】
＜２．実施の形態＞
［２−１．撮像装置の構成］
【００２２】
図１は、撮像装置１の概略構成を示すブロック図である。撮像装置１は、静止画像の撮像が可能ないわゆるデジタルスチルカメラである。撮像装置１は、光学撮像系２、撮像素子３、Ａ／Ｄ変換部４、信号処理部５、駆動部６、バッファメモリ７、記憶部８、音声出力部９、発光部１０、表示部１１、入力部１２および制御部１３とから構成されている。
【００２３】
光学撮像系２は、例えば、撮像レンズ、ズームレンズ、フォーカスレンズおよび絞りなどを有し、被写体の光画像を入射する。光学撮像系２を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子３上に結像される。
【００２４】
撮像素子３は、結像された光画像を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子３から出力されるアナログ撮像信号は、Ａ／Ｄ変換部４に出力される。撮像素子３としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。Ａ／Ｄ変換部４は、撮像素子３から供給されるアナログ撮像信号をデジタル撮像信号に変換し、信号処理部５に出力する。
【００２５】
信号処理部５は、Ａ／Ｄ変換部４から出力されるデジタル撮像信号に対して所定の信号処理を施すとともに、デジタル撮像信号を例えば輝度信号と色差信号からなる画像データに変換して出力する。信号処理部５によって施される処理としては、リニアマトリクス処理、ホワイトバランス調整処理、ガンマ補正処理、Ｙ／Ｃ変換処理などがある。
【００２６】
駆動部６は、制御部１３からの制御信号に従って基づいて光学撮像系２が備えるズームレンズ、フォーカスレンズおよび絞りなどの制御を行う。
【００２７】
バッファメモリ７は、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory)を用いて構成されている。バッファメモリ７には、信号処理部５から出力された画像データ、予備画像、背景物検出用画像３１１、背景物生成用画像３１２、その他の情報などが一時的に記録される。それら各種画像および情報の詳細については後述する。
【００２８】
記憶部８は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどにより構成される大容量記憶媒体であり、撮像装置１によって撮像された画像を保存するためのものである。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
【００２９】
音声出力部９は、通知制御部３５による制御に従い、ユーザに対する誘導指示、メッセージ伝達のための音声メッセージなどの各種音声を出力するための音声出力手段である。発光部１０は、例えばＬＥＤ（Light Emitting Diode）を用いて構成され、通知制御部３５による制御に従い、点灯、点滅などによってユーザに対して誘導指示、メッセージ伝達を行うための発光手段である。
【００３０】
表示部１１は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部１１には撮像時においてはスルー画が表示される。上述したように、信号処理部５においては、撮像信号に所定の処理が施されることにより１枚の静止画に相当する画像データが生成される。この１枚の静止画に相当する画像データの生成が継続して行われることにより、動画におけるフレーム画像に相当する画像データが順次生成される。そして、その順次生成される画像データを表示部１１に出力することにより、表示部１１には、静止画単位の画像が連続して順次的に表示される。これにより、スルー画が表示される。
【００３１】
また、表示部１１では、記憶部８に保存されている画像の表示も行われる。制御部１３がユーザによって入力部１２を介して指令された画像データを記憶部８から読み出し、それが表示部１１に出力されることにより画像の再生表示が行なわれる。これにより、ユーザには記憶部８に保存されている画像を見ることができる。
【００３２】
さらに、表示部１１には入力手段としてのタッチパネルにおけるソフトボタン、各種ハードボタンの説明アイコン、撮像装置１の各種設定を行うためのメニュー画面などのユーザインターフェース画像も表示される。制御部１３は、撮像装置１の動作状態、モードなどに応じて必要なユーザインターフェース画像としての画像データを生成し、これを表示部１１に出力する。これにより、表示部１１にはユーザインターフェース画像が表示されることになる。ユーザインターフェース画像は、スルー画や再生表示されている画像データ上に重畳させた状態で表示させることも可能である。
【００３３】
入力部１２は、例えばキー、ボタン、ダイヤル、タッチパネル、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、その他各種入力を受け付けるタッチパネルなどからなる入力手段である。入力部１２に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１３に出力される。そして、制御部１３はその制御信号に対応した演算処理や制御を行う。
【００３４】
制御部１３は、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）から構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１全体の制御を行う。また、制御部１３は、所定のプログラムを実行することにより、背景物画像生成部３１、本画像条件設定部３２、背景物検出部３３、顔検出部３４、通知制御部３５、記録制御部３６および画像加工部３７として機能する。
【００３５】
背景物画像生成部３１は、表示部１１に背景物条件用画面を表示し、ユーザにより背景物の指定が行われたら、背景物検出用画像を生成する。これにより背景物が設定される。背景物画像生成部３１は特許請求の範囲における背景物設定手段に相当するものである。生成された背景物検出用画像は背景物検出部３３による背景物の検出において用いられる。
【００３６】
本画像条件設定部３２は、表示部１１に本画像条件用画面を表示し、ユーザにより目標顔位置の指定が行われたら、その指定された目標顔位置を本画像条件として設定する。本画像条件とは、ユーザが最終的に生成される本画像において顔をどこに位置させたいかを示すものである。後述する画像加工処理の１つである顔位置調整処理ではこの本画像条件を満たすように画像の加工が行われる。
【００３７】
背景物検出部３３は、背景物画像生成部３１により生成された背景物検出用画像を利用したテンプレートマッチングによる背景物の検出を行い、自分撮り時において背景物が画枠内に入っているか否かを判定するものである。背景物が画枠内に入っているか否かを背景物条件と定義する。背景物検出部３３による判定の詳細については後述する。
【００３８】
顔検出部３４は、例えばテンプレートマッチングにより、自分撮り時において画枠内にユーザの顔が入っているか否かの検出を行う。そして、検出された顔が顔条件を満たすか否かを判定するものである。顔条件とは、自分撮り時における画枠内の顔の位置についての条件であるが、本画像における目標顔位置としての本画像条件よりもゆるい条件である。本実施の形態においては上述した背景物条件を満たし、かつ、顔条件を満たす場合に撮像が行われる。顔条件および顔検出部３４による判定の詳細については後述する。
【００３９】
通知制御部３５は、顔検出部３４により検出された顔の位置が顔条件を満たすことができるようにスピーカ２２から出力される音声、ＬＥＤ２３の発光などによる誘導情報の通知の制御を行うものである。さらに、通知制御部３５は、背景物検出部３３により背景物条件を満たすと判定された場合、および、顔検出部３４により顔条件を満たすと判定された場合、その判定結果に従い、ユーザに対して行うその旨の通知の制御も行うものである。通知制御の詳細については後述する。
【００４０】
記録制御部３６は、自分撮り時において、背景物検出部３３により背景物条件を満たすと判定され、かつ、顔検出部３４により顔条件を満たすと判定された場合に信号処理部５から出力された画像データを予備画像としてバッファメモリに保存するように制御を行うものである。記録制御部３６は特許請求の範囲における記録手段に相当する。
【００４１】
画像加工部３７は、自分撮りにより生成された予備画像に対して所定の画像加工処理を施して本画像の生成を行うものである。図２は、所定のプログラムを実行する制御部１３によって実現される画像加工部３７の機能の詳細を示すブロック図である。画像加工部３７は、切り出し領域設定部４１、背景物位置判定部４２、画像切り出し部４３、拡大処理部４４、傾き検出部４５、画像回転部４６、背景物種別設定部４７、重心算出部４８、顔向き検出部４９とからなる。画像加工部３７を構成する各部の詳細および画像加工部３７により行われる画像加工処理の詳細については後述する。
【００４２】
図３は、本技術に係る撮像装置１の外観構成を示す図である。図３Ａは正面図、図３Ｂは背面図、図３Ｃは上面図である。撮像装置１は、扁平な横長の略直方体状に形成されている。
【００４３】
撮像装置１の前面には撮像レンズ２１が設けられている。ユーザはこの撮像レンズ２１を自分の方向に向けて自分撮りを行う。また、撮像装置１の前面にはスピーカ２２が設けられている。スピーカ２２は、ブロック図における音声出力部９に相当し、ユーザに対して誘導指示のための音声などの各種音声を出力する音声出力手段である。さらに、撮像装置１の前面にはＬＥＤ２３が設けられている。ＬＥＤ２３は、ブロック図における発光部１０に相当し、発光、点滅することによってユーザに対して誘導指示、各種メッセージの伝達を行うためのものである。
【００４４】
撮像装置１の上面には撮像時にユーザにより押圧操作されるレリーズボタン２４が設けられている。レリーズボタン２４は、オートフォーカス用、被写体検出用の検出指示用、レリーズ指示入力用およびその他の指示用の入力手段として機能する。例えば、レリーズボタン２４を途中まで押下（半押し）することで検出指示が入力され、レリーズボタン２４を最後まで押下（全押し）することで、レリーズ指示が入力される。レリーズボタン２４はブロック図における入力部１２に含まれるものである。
【００４５】
撮像装置１の背面にはモニター２５が設けられている。モニター２５は、ブロック図における表示部１１に相当し、ＬＣＤ、ＰＤＰ、有機ＥＬパネルなどからなる表示手段である。モニター２５には、スルー画、撮像により得られた画像、ユーザインターフェース画像などが表示される。
【００４６】
また、撮像装置１の背面にはモニター２５と一体的に構成されたタッチパネル２６が設けられている。タッチパネル２６は例えば静電容量方式によるタッチパネルである。タッチパネル２６はユーザが指を接触させることにより撮像装置１に各種入力を行うことができる入力手段として機能するものである。タッチパネルはブロック図における入力部１２に含まれるものである。
【００４７】
タッチパネル２６は、操作面上の複数の箇所に同時になされた操作のそれぞれを検出し、その接触位置のそれぞれを示す座標データを出力することができる。また、タッチパネル２６は、操作面に対して繰り返しなれた操作のそれぞれを検出し、そのそれぞれの接触位置を示す座標データを出力することもできる。
【００４８】
これにより、タッチパネル２６は、いわゆるタップ入力、ダブルタップ入力、ドラッグ操作、ピンチ操作、フリック操作などのユーザからの様々な入力、操作を受け付けて、それらを検出することができる。
【００４９】
タップ入力とは、ユーザの指などを操作面上に短時間１回だけ接触させる入力動作である。ダブルタップ入力とは、指などを操作面上に短い間隔で連続して２回接触させる入力動作である。これらは主に決定の入力などに用いられる。
【００５０】
また、ドラッグ操作とは、ユーザの指などを操作面上に接触させたまま移動させる入力動作である。これにより例えば、モニター２５に表示されている領域を示す枠の移動指示などの入力が可能となる。フリック操作とは、ユーザの指など操作面上の１点を指示してから、そのまま任意の方向に素早くはじくようにする入力動作である。これにより、例えば、記憶部８に保存されている複数の画像をモニター２５に表示させて見る際に、画像をめくるようにして切り替えることができる。
【００５１】
また、ピンチ操作は、まず、ユーザの２本の指などを同時に操作面上に接触させて、次にその２本の指などを開いたり、つまむように閉じたりする入力動作である。ピンチ操作により例えば、モニター２５に表示されている領域を示す枠の拡大、縮小などの入力が可能となる。なお、ピンチ操作において、接触させた２本の指などを開く操作をピンチアウト操作、２本の指などを閉じる操作をピンチイン操作と称する。
【００５２】
［２−１．撮像装置により行われる処理］
撮像装置１は上述のように構成されている。次に、自分撮りの際に行われる処理について説明する。図４は自分撮りの全体フローを示すフローチャートである。まず、ステップＳ１で図５に示すようなモード切り替え画面１００がモニター２５に表示される。図５に示す例では、撮像装置１において通常の撮像を行うための通常モードを示すＮｏｒｍａｌボタン１０１と、自分撮りを行うための自分撮りモードを示すＳｅｌｆボタン１０２の二つのソフトボタンが表示されている。「通常モード」とは、自分撮りではなく、モニター２５に表示されるスルー画を見ながら自分以外の被写体方向にレンズを向けて撮像を行うモードである。
【００５３】
そして、ユーザがＮｏｒｍａｌボタン１０１とＳｅｌｆボタン１０２のうちのいずれか一方のソフトボタンの位置に指を接触させることによってモードの選択が行われると、次にステップＳ２で、その選択されたモードへの遷移が行われる。モードが遷移すると、それ以降、撮像装置１によってその選択されたモードに基づく表示、処理などが行われる。以下、ユーザによりＳｅｌｆモード（自分撮りモード）が選択されたものとして説明を行う。
【００５４】
Ｓｅｌｆモード（自分撮りモード）が選択されると、次に、ステップＳ３で「背景物条件／本画像条件設定」処理が行われ、そして、ステップＳ４の「自分撮り処理」が行われる。ステップＳ３における「背景物条件／本画像条件設定」およびステップＳ４の「自分撮り処理」の詳細については別フローチャートを参照して説明する。
【００５５】
図６は、図４のフローチャートにおけるステップＳ３の「背景物条件／本画像条件設定」の詳細を示すフローチャートである。まず、ステップＳ３１でモニター２５に図７に示すような背景物条件／本画像条件選択画面２００が表示される。背景物条件／本画像条件選択画面２００においては、ユーザが背景物条件モードを選択するための背景物条件モードボタン３００と、本画像条件モード選択のための本画像条件モードボタン４００とが表示される。
【００５６】
ここで、背景物条件設定処理とは、自分撮りを行う際に背にする背景を構成する様々な被写体の中からユーザが最終的に生成される本画像内に収めたい被写体（背景物）の指定を行うことである。指定された背景物が画枠内に収まることが背景物条件となる。また、本画像条件設定処理とは、ユーザが本画像において自分の顔を配置させたい位置を指定することである。その指定された位置に顔が一致することが本画像条件となる。
【００５７】
「２−２−１．背景物条件設定」
以下、背景物条件設定処理について説明する。ステップＳ３２で、背景物条件モードボタン３００に対して入力が行われたか否かが判定される。背景物条件モードボタン３００に対して入力が行われた場合（ステップＳ３２のＹｅｓ）、処理はステップＳ３３に進み、モニター２５に背景物条件用画面が表示される。背景物条件用画面は例えば、図８に示すものである。背景物条件用画面においてはまず、背景物条件モードが選択されたことを示すために、図８Ａに示すように背景物条件モードボタン３００が反転表示される。その後、図８Ｂに示すようにスルー画３０１が表示される。次にステップＳ３４で、背景物条件設定が行われたか否かが判定される。
【００５８】
ユーザがスルー画３０１として表示されている背景中の任意の場所に対応するタッチパネル２６の操作面に指を接触させて入力を行うと、図８Ｃに示すようにその接触位置を中心とした所定のサイズの長方形の枠（以下、背景物指定枠３０２と称する。）がスルー画３０１上に重畳した状態で表示される。この背景物指定枠３０２に囲まれた範囲内の画像が背景物として指定されることとなる。
【００５９】
背景物指定枠３０２は、その位置、形状およびサイズが変更可能となっている。例えば、指を背景物指定枠３０２内に接触させた状態でドラック操作を行うことによって背景物指定枠３０２の位置を変更可能とする。また、指を背景物指定枠３０２を構成する各辺のいずれかに接触させた状態でドラック操作を行うことによって、背景物指定枠３０２をその辺の方向に延長させて形状を変更可能とする。さらに、背景物指定枠３０２上に２本の指を接触させて、ピンチアウト操作を行うことによって背景物指定枠３０２のサイズを拡大、ピンチイン操作を行うことによってサイズの縮小を可能とする。これらの各種操作で背景物指定枠３０２を任意の位置、形状およびサイズに調整することによってユーザは背景物を的確に指定することができる。また、例えば、背景物指定枠３０２内をタップすることにより背景物にピントを合わせるようにしてもよい。
【００６０】
そして、ユーザは背景物指定枠３０２の位置、形状およびサイズが決定したら、すなわち、指定する背景物が決定したら、例えば、背景物指定枠３０２内をダブルタップすることにより、背景物指定の決定入力を行う。なお、背景物指定の決定入力の方法は他にも、レリーズボタン２４を半押しする、という手法を採用してもよい。このようにして指定された背景物が自分撮り時において画枠内に入ることが背景物条件である。すなわち、背景物指定時と自分撮り時において背景全体が一致している必要はなく、背景の構成物である背景物のみが一致していればよい。よって、自分撮りにおいてユーザは撮像装置１のレンズの方向の細かい調整を行う必要がなく、所望の背景物を収めた自分撮りを容易に行うことができる。
【００６１】
決定入力が行われたら、背景物条件が設定されたとして処理はステップＳ３５に進む（ステップＳ３４のＹｅｓ）。そして、ステップＳ３５で、背景物指定枠３０２内の画像に基づいて背景物検出用画像３１１が生成されてバッファメモリ７に保存される。この背景物検出用画像３１１は、自分撮りにおける背景物検出部３３による判定に用いられる。
【００６２】
なお、本実施の形態においては、背景物指定枠３０２内に存在する背景物の物体認識は行っておらず、背景物指定枠３０２内の画像そのものを背景物検出用画像３１１としている。ただし、物体認識を行うことを否定するものではなく、例えば、テンプレートマッチングなどによる物体認識を行い、背景物の指定を行うようにしてもよい。物体認識を行うことにより、より高精度な背景物指定を行うことができる。
【００６３】
ここで、ステップＳ３５における背景物検出用画像３１１の生成について図９のフローチャートおよび図１０を参照して説明する。まず、ステップＳ３５１で上述したダブルタップなどの背景物の決定入力をトリガーとして高速連写が行われる。これにより、背景物検出用画像３１１の生成に用いられる複数枚（本実施の形態においては２枚）の画像（以下、背景物生成用画像３１２と称する。）が取得される。図１０Ａはそのようにして取得された２つの背景物生成用画像３１２Ａ、３１２Ｂである。
【００６４】
次にステップＳ３５２で、２つの背景物生成用画像３１２Ａ、３１２Ｂ間における画像全体のズレが算出される。このズレは２つの背景物生成用画像３１２Ａ、３１２Ｂそれぞれの画像全体における動きベクトルを算出することにより求めることができる。例えば、２つの背景物生成用画像３１２Ａ、３１２Ｂ間でマッチング処理を行い、２つの背景物生成用画像３１２Ａ、３１２Ｂの一致性を計算することにより動きベクトルにあたる画素ずれを算出する。または、２つの背景物生成用画像３１２Ａ、３１２Ｂにおいてそれぞれ、何らかの特徴点を複数検出し、それら２つの背景物生成用画像３１２Ａ、３１２Ｂ間で特徴点の対応付けを行うことで背景物生成用画像３１２Ａ、３１２Ｂ間の画像全体のズレを求める。
【００６５】
次にステップＳ３５３で、図１０Ｂに示すように、２つの背景物生成用画像３１２Ａ、３１２Ｂを共に所定のサイズのブロックに分割し、対応するブロックごとにズレとして動きベクトルを求める。次にステップＳ３５４で、ステップＳ３５３で算出された各ブロックのズレと、ステップＳ３５２で算出された背景物生成用画像３１２Ａ、３１２Ｂ間における画像全体のズレとを比較する。この比較により、各ブロックのうち、背景物生成用画像３１２Ａ、３１２Ｂ間における画像全体のズレとは異なるズレが生じているブロックを「ズレブロック」として求める。ズレの比較は、背景物生成用画像３１２Ａ、３１２Ｂ間における画像全体についてズレとして求めた動きベクトルと各ブロックのズレとして求めた動きベクトルとを比較することにより求めることができる。
【００６６】
次にステップＳ３５５で、２つの背景物生成用画像３１２Ａ、３１２Ｂのうちいずれか一方から「ズレブロック」にあたる部分を除くことにより背景物検出用画像３１１が生成される。生成された背景物検出用画像３１１はバッファメモリ７に保存される。図１０Ｃはこのようにして生成された背景物検出用画像３１１の一例を示すものである。この背景物検出用画像３１１においては左側の木の葉が写っていた部分が欠けている。この欠けている部分が除かれた「ズレブロック」に相当する部分である。
【００６７】
なお、２つの背景物生成用画像３１２Ａ、３１２Ｂは以後利用されることはないため、保存せず破棄してもよい。このようにして、例えば葉っぱなどの動的な部分が除かれ、動いていない静的な部分のみによって背景物検出用画像３１１が構成される。したがって、動的な部分によるノイズを低減し、背景物検出用画像３１１を用いた背景物検出の精度を高めることができる。
【００６８】
上述の説明では背景物生成用画像を２つ用いて背景物検出用画像を生成する場合を例として挙げたが、用いる背景物生成用画像の数は２つに限られない。高速連写によりさらに多くの背景物生成用画像を取得し、それらを用いて背景物検出用画像を生成してもよい。
【００６９】
次に図６の「背景物条件／本画像条件設定」のフローチャートの説明に戻る。「背景物条件／本画像条件設定」では、次にステップＳ３６で、本画像条件モードボタン４００に対して入力が行われたか否かが判定される。本画像条件モードボタン４００に対して入力が行われた場合（ステップＳ３６のＹｅｓ）、処理はステップＳ３７に進み、本画像条件用画面が表示される。
【００７０】
「２−２−２．本画像条件設定」
以下、本画像条件設定処理について説明する。ステップ３７でモニター２５に本画像条件用画面が表示される。本画像条件用画面は例えば、図１１に示すものである。本画像条件用画面においてはまず、本画像条件モードが選択されたことを示すために、図１１Ａに示すように、本画像条件モードボタン４００が反転表示される。次に、図１１Ｂに示すように、指定可能な位置を示す複数の顔アイコン４１０が表示される。図１１Ｂに示す例ではモニター２５には縦３×横３の合計９つの顔アイコン４１０が表示されている。それら各顔アイコン４１０の中心が目標顔位置４１１となる。上述のように、最終的に生成される本画像において、この目標顔位置に顔が一致することが本画像条件である。
【００７１】
次に、ステップＳ３８で本画像条件としての目標顔位置の指定が行われたか否かが判定される。目標顔位置指定は、ユーザがモニター２５に表示されている複数の顔アイコン４１０のうち、任意の顔アイコン４１０に指を接触させることにより行われる。指定された顔アイコン４１０は図１１Ｃに示すように反転表示される。そして、目標顔位置４１１の指定が行われると（ステップＳ３８のＹｅｓ）、処理はステップＳ３９に進み、指定された顔アイコン４１０に対応する位置が本画像条件としてバッファメモリ７に保存される。
【００７２】
なお、目標顔位置の指定をユーザに促す本画像条件用画面は図１１に示すものに限られない。図１１では縦３×横３の合計９つの顔アイコン４１０が表示される例を挙げたが、顔アイコン４１０の数はそれに限られず、例えば、縦２×横２の合計４つ、縦４×横４の合計１６個の顔アイコンを表示するようにしてもよい。
【００７３】
また、ユーザが複数の顔アイコン４１０を指定することができるようにしてもよい。図１１Ｄに示す例では、右側の縦に並んだ３つの顔アイコン４１０が指定されている。例えば、ユーザが顔を画枠内において右側に位置させたいが上下の位置は問わないという場合には図１１Ｄに示すように複数の顔アイコンを指定することができるようにするとよい。
【００７４】
また、顔アイコン４１０は表示せず、例えば、ユーザがタッチパネル２６の操作面の任意の位置に指を接触させて入力を行うと、図１２Ａに示すようにその接触位置を中心とした所定のサイズの顔位置指定枠４０２が表示されるようにしてもよい。この顔位置指定枠４０２に囲まれた範囲内が目標顔位置として指定される。
【００７５】
顔位置指定枠４０２は、その位置およびサイズが変更することが可能となっている。例えば、指を顔位置指定枠４０２内に接触させた状態でドラック操作を行うことによってその位置を変更可能とする。さらに、顔位置指定枠４０２上に２本の指を接触させて、ピンチアウト操作を行うことによって顔位置指定枠４０２のサイズを拡大、ピンチイン操作を行うことによって縮小を可能とする。
【００７６】
これら各種操作で顔位置指定枠４０２を任意の位置およびサイズに調整することによってユーザは任意の顔位置を指定することができる。そして、ユーザは顔位置指定枠４０２の位置およびサイズが決定したら、例えば、顔位置指定枠４０２内をダブルタップすることにより顔領域の決定入力を行う。なお、決定入力の方法は他にも、レリーズボタン２４を半押しする、という手法を採用してもよい。
【００７７】
また、図１２Ｂに示すように、撮像装置１が備える入力手段としての十字キー（図示せず。）などに対するユーザの入力に応じて、その顔位置指定枠４０２が移動するようにしてもよい。
【００７８】
さらに、図１２Ｃに示すように、数値入力を行うことにより顔位置指定枠４０２の位置およびサイズを変更することができるようにしてもよい。図１２Ｃの例では、顔位置指定枠４０２のＸ座標、Ｙ座標およびサイズが入力可能であり、入力された値に応じて顔位置指定枠４０２の移動、サイズの変更が行われる。図１２Ｂおよび図１２Ｃに示す例は、入力手段がタッチパネル２６ではなくボタンや十字キーなどである場合に有効であると考えられる。
【００７９】
一方、ステップＳ３６で、本画像条件モードボタン４００に対して入力が行われないと判定した場合、処理はステップＳ４０に進む（ステップＳ３６のＮｏ）。そして、ステップＳ４０で本画像条件が予め定められたデフォルトの条件に設定される。デフォルトの条件としては例えば画枠内全体が考えられる。ユーザが、本画像においては顔の位置は問わず、画枠に顔が入っていればどこでもよいと考える場合には、本画像条件が画枠内全体に設定するようにするとよい。また、デフォルトの条件としては画枠の中央も考えられる。
【００８０】
以上で「背景物条件／本画像条件設定」は終了となる。なお、上述の説明では、背景物条件設定がなされた後、本画像条件設定が行われるという順序で説明を行った。しかし、順序はそれに限られず、先に本画像条件設定を行い、その後に背景物条件設定を行うようにしてもよい。
【００８１】
背景物条件設定が先に行われ、その後に本画像条件設定が行なわれる場合、背景物検出用画像生成時における画枠全体の画像（以下、背景物条件設定時画像５０１と称する。）を生成してバッファメモリ７に保持しておく。そして、図１３Ａに示すように、モニター２５に背景物条件設定時画像５０１を表示させ、その上に顔アイコン４１０を重畳するように表示させてもよい。これにより、背景物の位置、サイズなどを考慮しながら顔位置の指定を行うことができる。
【００８２】
また、逆に、先に本画像条件設定が行われ、その後に背景物条件設定が行われる場合、図１３Ｂに示すように、スルー画３０１の表示に重畳させて、事前に指定されている顔位置を示すように指定済み顔位置アイコン５０２を表示させておくとよい。これにより、ユーザは背景物指定枠３０２の設定中においても自分が指定した顔位置を常に認識することができるので、顔と背景物の位置関係を容易に把握することができる。
【００８３】
「２−２−３．自分撮りの際に行われる処理」
次に、図４の全体フローにおけるステップＳ４の「自分撮り」処理の詳細を図１４のフローチャートに基づいて説明する。なお、「自分撮り」処理の開始前（「背景物条件／本画像条件設定」処理が終了した時点）に例えば、「カメラを自分に向けてください。」などのメッセージを音声としてスピーカ２２から出力するようにするとよい。または、「カメラを自分に向けてください。」などの文字列をモニター２５に表示してもよい。このようにして「背景物条件／本画像条件設定」処理が終了して自分撮りが可能となったことをユーザに通知するとよい。
【００８４】
まず、ステップＳ４１で、背景物検出部３３により背景物条件を満たすか否かが判定される。上述したように、背景物条件とは画枠内に背景物が入ることである。よって、ステップＳ４１における判定は、スルー画を構成する画像の画枠内において背景物が検出されるか否かに基づいて行われる。背景物の検出は、テンプレートマッチング処理により行われる。そして、テンプレートマッチングに用いられるテンプレート画像として、背景物画像生成部３１により生成された背景物検出用画像が用いられる。
【００８５】
具体的には、図１５Ａに示すように、まず、テンプレート画像として用いられる背景物検出用画像３１１がバッファメモリ７から読み込まれる。また、検出対象であるスルー画を構成している画像（以下、スルー画用画像３０１Ａと称する。）にテンプレート画像である背景物検出用画像３１１とのマッチングを行うための探索領域が設定される。なお、スルー画を構成する画像全てに対してテンプレートマッチング処理を行うと処理が重くなってしまう。そこで、スルー画よりも更新頻度の低い画像をスルー画から用意して、その画像に対してテンプレートマッチング処理を行うようにしてもよい。
【００８６】
そして、図１５Ｂに示すように、スルー画用画像３０１Ａに設定された探索領域の位置を検出対象である画像内で所定量ずつ、例えば１画素ずつ移動させながら、それぞれの位置における探索領域内の画像と背景物検出用画像３１１との類似度を算出する。類似度の算出は例えば、残差法、相互相関法などの手法を用いて行われる。そして、画像全体に対して類似度の算出を行い、類似度が最大となる探索領域に背景物が存在すると判断することにより背景物の検出を行う。
【００８７】
このようにして、スルー画用画像３０１Ａ内に背景物が存在する場合には図１５Ｃに示すように背景物が検出される。図１５Ｃに示す背景物検出用画像３１１と同形の枠は背景物として検出された領域（以下、背景物領域６０１と称する。）を示すものである。なお、背景物の全体が画枠内に入っておらず、背景物の一部が画枠内に入っている場合には、背景物検出用画像３１１の所定量の面積（例えば、７５％など）との関係で類似度が最大になった場合に背景物条件を満たすと判断するようにしてもよい。
【００８８】
背景物検出部３３により背景物が検出され、背景物条件を満たすと判定された場合、背景物領域の位置、サイズ、画枠に対する傾きは背景物領域情報として、自分撮りによって生成される予備画像に関連付けられてバッファメモリ７に保存される。さらに、背景物指定時における背景物指定枠３０２のサイズも背景物指定枠サイズ情報として予備画像に関連付けられて保存される。背景物領域情報および背景物指定枠サイズ情報は後述する画像加工処理に用いられる。
【００８９】
そして、ステップＳ４１において画枠内において背景物が検出された場合、すなわち背景物条件を満たしていると判定された場合、次にステップＳ４２で通知制御部３５の制御に基づき、ユーザに対して、背景物条件を満たしている旨の通知が行われる。これにより、ユーザは事前に指定した背景物が画枠内に入ったことを知ることができる。通知方法としては例えば、スピーカ２２から予め定められた音色の音を出力する、または、「背景物が入りました。」などの音声メッセージを出力する方法などが挙げられる。また、音声以外の手法として、ＬＥＤ２３を予め定められた色で発光させることにより通知を行ってもよい。
【００９０】
ステップＳ４１で背景物条件を満たしていないと判定された場合（ステップＳ４１のＮｏ）、ステップＳ４２でユーザに対して通知を行った場合（ステップＳ４１のＹｅｓ）共に、次にステップＳ４３で、顔検出部３４により顔条件を満たすか否かが判定される。顔条件を満たすか否かは、まず、本画像条件として設定された目標顔位置を含んだ所定のサイズの顔条件範囲を設定し、その顔条件範囲に顔が重なるか否かで判断される。顔条件範囲に顔が一部でも重なる場合には顔条件を満たすと判定される。ステップ４３における判定はおいては、まず、顔検出部３４によりスルー画用画像中からユーザの顔の検出が行われる。
【００９１】
顔検出部３４による顔検出は例えば、背景物検出と同様にテンプレートマッチング処理により行われる。具体的には、まず、検出対象であるスルー画用画像に顔検出用のテンプレート画像とのマッチングを行うための矩形枠を探索領域として設定する。次に、その探索領域画像内で所定量ずつ移動させながら、それぞれの位置における探索領域内の画像とテンプレート画像との類似度を算出する。そして、画像全体に対して類似度の算出を行い、類似度が最大の探索領域に顔が存在すると判断することにより顔の検出を行う。なお、顔検出方法としては、他に、顔の輝度分布情報が記録されているテンプレートとのマッチングによる方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて顔検出の精度を高めるようにしてもよい。
【００９２】
また、所定の登録操作を行うことにより、ユーザおよび撮像装置１を頻繁に利用する者の顔をテンプレート画像として予め登録しておき、そのテンプレート画像を用いたテンプレートマッチング処理に顔検出を行うようにしてもよい。
【００９３】
顔検出部３４により顔として検出された領域（以下、顔領域と称する。）の位置、サイズは顔領域情報として、自分撮りによって生成される予備画像に関連付けられてバッファメモリ７に保存される。
【００９４】
そして、検出された顔領域が顔条件を満たすか否かの判定が行われる。ここで、図１６乃至図１８を参照して顔条件を満たすか否かの判定について説明する。
【００９５】
図１６は、顔検出部３４による判定の第１の手法について説明する図である。図１６Ａに示される顔アイコンの中心が本画像条件設定部３２により設定された本画像条件としての目標顔位置４１１である。その目標顔位置４１１を中心として矩形の顔条件範囲６１０が設定される。なお、顔条件範囲６１０は顔アイコンと同一のサイズの円形状にしてもよい。
【００９６】
そして、本実施の形態では、図１６Ｂに示すように、検出された顔領域６２０が顔条件範囲６１０にわずかにでも重なった場合に顔条件を満たすと判定される。なお、当然、顔領域６２０全体が顔条件範囲６１０に重なった場合にも顔条件を満たすと判定される。また、顔領域６２０の中心が顔条件範囲６１０内位置した場合に顔条件を満たすと判定するようにしてもよい。一方、図１６Ｃに示すように、顔領域６２０と顔条件範囲６１０とが離間している場合には顔条件を満たすとは判定されない。
【００９７】
本願開示の撮像装置においては、顔領域６２０が顔条件範囲６１０に完全に重なった場合、または顔領域６２０の大部分が顔条件範囲６１０に重なった場合に顔条件を満たすと判定するのではなく、わずかにでも重なった場合に顔条件を満たすと判定する。これにより、ユーザは自分撮りの際に顔を目標顔位置４１１に正確に一致させる必要がなくなる。なお、このようにして本画像条件としての目標顔位置４１１よりもゆるい顔条件としての顔条件範囲６１０を設定すると、顔は目標顔位置４１１からずれた状態で撮像がなされることになる。そこで、本技術では、後述する画像加工処理によって、顔を目標顔位置４１１に一致させて本画像条件を満たすように画像加工を行う。画像加工の詳細については後述する。
【００９８】
次に、顔検出部３４による判定の第２の手法について説明する。第２の手法では、図１７Ａに示すように目標顔位置４１１を基準として顔条件範囲６１０よりもサイズが大きい予備顔条件範囲６１１を設定する。そして、図１７Ｂに示すように顔領域６２０が顔条件範囲６１０ではなく予備顔条件範囲６１１にわずかにでも重なった場合に顔条件を満たすと判定する。
【００９９】
自分撮りにおいては、ユーザはスルー画を見ることはできず、自らの顔を目標顔位置４１１または顔条件範囲６１０に接近させるのは困難である。よって、顔条件範囲６１０よりもさらに広い予備顔条件範囲６１１を設定することによって、顔条件を満たすとの判定を得ることをさらに容易にすることができる。なお、予備画像取得後、画像加工処理によって顔を目標顔位置４１１に一致させる点については第１の手法と同様である。
【０１００】
顔条件範囲６１０および予備顔条件範囲６１１はユーザによって設定されるのではなく、ユーザが本画像条件として目標顔位置４１１の指定を行うとそれに伴なって自動的に設定されるものとする。ただし、顔条件範囲６１０および予備顔条件範囲６１１が目標顔位置４１１を基準としてどの程度のサイズに設定されるかはユーザが設定可能にしてもよい。
【０１０１】
次に、顔検出部３４による判定の第３の手法について説明する。第３の手法では、まず、図１８Ａ、図１８Ｂに示すように目標顔位置４１１と検出された顔領域６２０の中心との距離を算出する。そして、その距離が所定の閾値以下であるか否かを判断することによって、顔条件を満たすか否かの判定を行う。
【０１０２】
図１８Ａに示す状態では、算出された距離が閾値以上であるため、顔条件を満たしてはいないと判定される。一方、図１８Ｂに示す状態では、距離が閾値以下となったため、顔条件を満たすと判定される。この判定の基準となる閾値はデフォルトで所定の値に設定されていてもよく、ユーザが任意の値に設定できるようにしてもよい。
【０１０３】
一方、本画像条件としての目標顔位置４１１の指定が行われない場合には、目標顔位置４１１はデフォルトの位置に設定される。例えば、デフォルトの位置が画枠全体である場合には、顔が画枠内に入った時点で顔条件を満たすと判定される。
【０１０４】
そして、ステップＳ４３において、顔条件を満たすと判定された場合（ステップＳ４３のＹｅｓ）は、次にステップＳ４４で、通知制御部３５による制御に基づいて、ユーザに対して、顔条件を満たしている旨の通知が行われる。これにより、ユーザは事前に指定しておいた顔条件を満たし、顔が目標顔位置４１１に接近しているということを知ることができる。
【０１０５】
通知方法としては例えば、スピーカ２２から予め定められた音色の音を出力する、または、「顔が目標位置に一致しました。」などの音声メッセージを出力するなどが挙げられる。また、音声以外の手法として、ＬＥＤ２３を予め定められた色で発光させることにより通知を行ってもよい。ただし、背景物条件を満たす旨の通知と区別するために、音色、ＬＥＤ２３の色、発光方法は背景物条件を満たす旨の通知で用いるものとは異なるものにするとよい。また、背景物条件についてはスピーカ２２からの音声で通知を行い、顔条件についてはＬＥＤ２３によって通知を行うなど通知手段と通知内容を対応付けてもよい。
【０１０６】
ステップＳ４３で顔条件を満たしていないと判定された場合（ステップＳ４３のＮｏ）、ステップＳ４４でユーザに対して通知を行った場合（ステップＳ４３のＹｅｓ）共に、次にステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすか否かが判定される。これはすなわち、自画撮りの準備が整った否かを判定するステップであるといえる。
【０１０７】
ステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすとは判定されない場合、すなわち、自画撮りの準備が整ってはいないと判定された場合（ステップＳ４５のＮｏ）、処理はステップＳ４６に進む。そして、ステップＳ４６で通知制御部３５による制御に基づいて、ユーザに対して、顔条件を満たすように誘導情報の通知が行われる。
【０１０８】
誘導情報の通知方法としては、例えば、予めＲＯＭなどに記憶されておりスピーカ２２から出力される音声によるもの、ＬＥＤ２３の発光によるもの、バイブレータ（図示せず。）の振動によるものなどがある。そして、検出された顔と顔条件範囲６１０との距離応じて、音声内容を変更するようにするとよい。例えば、音声による通知の場合、顔と目標顔位置４１１との距離が大きく離れている場合には「もっと右」と出力し、顔と目標顔位置４１１との距離が近づいた場合には「もう少し右」と出力するなどである。
【０１０９】
通知の手法について図１９を参照して説明する。図１９Ａに示す例では、画枠内を顔条件範囲６１０とその周辺の６つの領域（以下、目標外領域と称する。）に分割している。そして、目標外領域ごとに異なる誘導用音声を対応させておく。例えば、目標顔位置４１１から遠い目標外領域（１）および（６）には「もっと左（右）」、という音声を割り当てておき、目標外領域（２）（５）には「もう少し左（右）」という音声を割り当てておく。また、目標外領域（３）には「もっと下」という音声を割り当てておき、目標外領域（４）には「もっと上」という音声を割り当てておく。そして、検出された顔領域の位置に応じて各目標外領域に割り当てられた誘導用音声を出力する。これにより、顔の位置に応じた誘導情報の通知を行うことができる。
【０１１０】
なお、当然、顔条件範囲６１０の場所によって領域の分割の仕方などは変更される。例えば、目標顔位置４１１が右下である場合には図１９Ｂに示すように分割が行われる。なお、図１９Ａおよび図１９Ｂに示す目標外領域は一例にすぎず、分割の仕方、分割数および各目標外領域への音声の割り当ては様々なパターンを採用することが可能である。
【０１１１】
また、目標顔位置４１１と共に目標顔サイズも指定している場合には、「もっと手前」「もう少し手前」、「もっと奥」、「もう少し奥」というような誘導音声を出力するとよい。
【０１１２】
また、各目標外領域に誘導用の声ではなく、ビープ音を割り当てるようにしてもよい。ビープ音を割り当てる場合には、目標外領域ごとに異なる高さ、長さ、出力間隔などが異なるビープ音を割り当てるとよい。例えば、図１９Ａにおいては、目標外領域（１）、（２）、（５）、（６）の左右方向の誘導については音程の高いビープ音で誘導を行い、目標外領域（３）、（４）の上下方向の誘導については音程の低いビープ音で誘導を行う。そして、顔条件範囲６１０から遠い目標外領域（１）および（６）には出力間隔が長いビープ音を割り当てておき、目標外領域（２）（５）には出力間隔が短いビープ音を割り当てておく。これにより、顔が顔条件範囲６１０に近づくとビープ音の出力間隔が短くなるため、ユーザは感覚的に顔が顔条件範囲６１０に近づいているということ認識することができる。
【０１１３】
なお、顔が顔条件範囲６１０に近づくにつれて、「ピ・・ピ・・ピ・・」から「ピピピピ」というようにビープ音の出力間隔が短くする場合は、顔条件を満たす旨の通知として、「ピーーーー」というような発音時間が長いビープ音を出力することも考えられる。これにより、ユーザは顔条件を満たしたことを感覚的に認識することができると考えられる。なお、上述した領域へのビープ音の割り当ては一例にすぎず、様々なパターンを採用することが可能である。
【０１１４】
さらに、誘導情報の通知はＬＥＤ２３の発光により行うことも可能である。例えば、音声による誘導と同様に画面を複数の目標外領域に分割し、各目標外領域に異なる色を割り当てるなどである。また、図２０に示すように撮像装置１に複数のＬＥＤ２３を設け、各ＬＥＤ２３を誘導方向に対応させるようにしてもよい。図２０Ａの例は４つのＬＥＤ２３を四角形状に配置した例である。この例においては、ユーザを斜め方向に誘導をする場合には２つのＬＥＤ２３を同時に発光させて通知するようにしてもよい。例えば、右上に誘導する場合には上のＬＥＤ２３と右のＬＥＤ２３を同時に発光させる。
【０１１５】
図２０ＢはＬＥＤ２３を横一列に設けて、各ＬＥＤ２３がどの方向に対応しているかをＵ（ＵＰ）、Ｄ（ＤＯＷＮ）、Ｌ（ＬＥＦＴ）、Ｒ（ＲＩＧＨＴ）の文字で示している。さらに、図２０Ｃは８つのＬＥＤ２３を四角形状に配置している。なお、上述したＬＥＤ２３の数および配置は一例にすぎず、より多くのＬＥＤ２３を設けてもよい。また、他の配置パターンを採用してもよい。
【０１１６】
そしてステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすと判定されるまでステップＳ４１乃至ステップＳ４６が繰り返されてユーザの調整に合わせて、誘導指示、通知がなされる。なお、背景物、顔が画枠から出た場合にもその旨の通知を行うようにするとよい。その場合、ビープ音は警告の意味合いをユーザに伝えるためにブービー音などにするとよい。
【０１１７】
そして、ステップＳ４６による誘導情報の通知が繰り返し行われながら、ステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすと判定されるまで、ステップＳ４１乃至ステップＳ４６が繰り返される。そして、ステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすと判定された場合、すなわち、自分撮り条件が整ったと判定された場合、処理はステップＳ４７に進む（ステップＳ４５のＹｅｓ）。次にステップＳ４７で、撮像装置１による撮像が行われて予備画像の生成が行われる。そして、生成された予備画像はバッファメモリ７に保存される。
【０１１８】
なお、撮像は様々なタイミングで行うことが考えられる。例えば、自分撮り条件が整った時点（背景物条件を満たし、かつ、顔条件を満たすと判定された時点）で自動的に撮像が行われるようにする。または、自分撮り条件が整った時点で音声または／およびＬＥＤ２３の発光でユーザにレリーズボタン２４の押下を促すようにする。この手法によれば、ユーザが自分のタイミングで撮像を行うことができる。
【０１１９】
さらに、自分撮り条件が整った時点から「５」、「４」、「３」、「２」、「１」と音声によるカウントダウンを開始し、カウントダウン終了とともに自動で撮像を行うようにしてもよい。この手法によれば、自分撮り条件が整った時点から撮像までの間に所定の時間があるため、その間にユーザは表情を整えることが可能となる。また、レリーズボタン２４を自分で押下する必要がないため、レリーズボタン２４を押下しようとして誤って撮像装置１を動かしてしまい、顔の位置がずれることなどを防止することができる。
【０１２０】
ステップＳ４７における撮像により得られた画像は予備画像としてバッファメモリ７に保存される。なお、生成された予備画像をバッファメモリ７に保存する際には、後述する画像加工処理で用いるために、背景物領域６０１の位置、サイズ、角度などが背景物領域情報として予備画像に関連付けて保存される。さらに、顔検出部３４により検出された顔領域もの位置、サイズなども顔領域情報として予備画像に関連付けて保存される。
【０１２１】
次に、ステップＳ４８で予備画像に対して画像加工処理が施されることによって、最終的に本画像が生成される。そして、ステップＳ４９で、生成された本画像は記憶部８に保存される。なお、本画像の生成に用いられた予備画像も再生可能な状態で記憶部８に保存するようにしてもよい。
【０１２２】
［２−３．画像加工処理］
以下、画像加工処理について説明する。本実施の形態における撮像装置１で行われる画像加工処理は、顔位置調整処理、傾き補正処理、背景物サイズ調整処理、最適構図調整処理、縦横変換処理、顔向き対応調整処理、黄金比に基づく拡大処理である。なお、顔位置調整処理以外の処理、すなわち、傾き補正処理、背景物サイズ調整処理、最適構図調整処理、縦横変換処理、顔向き対応調整処理、黄金比に基づく拡大処理はユーザによる本画像条件設定が行われなかった場合に施される処理である。
【０１２３】
「２−３−１．顔位置調整処理」
まず、図２１乃至図２４を参照して、顔位置調整処理について説明する。本技術は、ユーザが顔を目標顔位置に一致させる困難性に鑑みて、顔が目標顔位置に一致したときではなく、顔が所定の広さを有する顔条件範囲にわずかにでも重なった場合に顔条件を満たすとして撮像を行うように構成してある。これはすなわち、予備画像においては、顔はユーザが希望する目標顔位置に完全に一致してはいないということである。そこで、顔位置調整処理は、本画像において顔が目標顔位置に一致するように、すなわち、本画像条件を満たすように画像の加工を行う処理である。顔位置調整処理は、切り出し領域設定部４１、背景物位置判定部４２、画像切り出し部４３、拡大処理部４４により行われる。
【０１２４】
切り出し領域設定部４１は、予備画像における顔が目標顔位置に一致するように予備画像の切り出し領域を設定するものである。切り出し領域設定部４１は、顔として検領域の中心が目標顔位置に一致するように切り出し領域を設定する。背景物位置判定部４２は、切り出し領域設定部４１により設定された切り出し領域内に背景物が入っているか否かを判定するものである。判定は、例えば、背景物領域情報に示される背景物領域の位置、サイズを参照して、予備画像において背景物として検出された背景物領域全体が切り出し領域内に収まっているか否かに基づいて行われる。なお、本実施の形態では背景物領域が切り出し領域内に収まっている場合にのみ、背景物が切り出し領域内に入っていると判定するものとする。
【０１２５】
画像切り出し部４３は、予備画像から切り出し領域設定部４１により設定された切り出し領域を切り出すことにより切り出し画像を生成するものである。拡大処理部４４は、画像切り出し部４３により生成された切り出し画像に対して拡大処理を施すことにより、本画像を生成するものである。本実施の形態においては、拡大処理部４４は切り出し画像を本画像用のサイズに拡大するものとする。本画像用のサイズとは予備画像と同一のサイズである。
【０１２６】
画像の拡大処理は、例えば、補間されるピクセルに最も近いピクセルの画素値を補間用の画素値とするニアレストネイバー法(nearest neighbor)を用いて行うことができる。また、補間される画素の周りの４個のピクセルの画素値を用いた一次近似によって補間用の画素値を求めるバイリニア法（bi-linear interpolation）を用いることも可能である。さらに、補間されるピクセルの周りの１６個のピクセルの画素値から３次関数を用いて算出した値を補間用の画素値とするバイキュービック法（bi-cubic convolution）を用いることも可能である。
【０１２７】
図２１Ａは、ユーザによって指定された本画像条件としての目標顔位置４１１を示すものである。そして、図２１Ｂは自分撮り撮像時において、顔領域６２０と顔条件範囲６１０とが重なり、顔条件を満たしていると判定された状態である。この状態で予備画像７０１の生成が行われる。生成された予備画像７０１は図２１Ｃに示すようになる。図２１Ａと図２１Ｃとを比較するとわかるように、予備画像７０１における顔の位置と目標顔位置４１１との間にはズレが生じている。
【０１２８】
図２２は顔位置調整処理の流れを示すフローチャートである。顔位置調整処理においてはまず、ステップＳ１００１で、顔位置調整処理後の本画像において、顔が目標顔位置４１１に一致するように（本画像条件を満たすように）切り出し領域設定部４１によって切り出し領域７０２が設定される。図２１Ｄはそのようにして設定された切り出し領域７０２を示すものである。この切り出し領域７０２のアスペクト比は予備画像７０１と同一である。切り出し領域７０２を予備画像７０１と同一のサイズに拡大すると、切り出し領域７０２における目標顔位置４１１Ａが目標顔位置４１１に一致するようになっている。切り出し領域７０２においては顔領域６２０と目標顔位置４１１Ａとが一致している。なお、図２１Ｄにおいては図面の見やすさを考慮して顔における目、鼻、口を省略している。
【０１２９】
次に、ステップＳ１００２で、切り出し領域７０２に背景物領域６０１が入っているか否かが判定される。ステップＳ１００２で、切り出し領域７０２に背景物領域６０１が入っていると判定された場合、処理はステップＳ１００４に進む（ステップＳ１００２のＹｅｓ）。一方、ステップＳ１００２で、切り出し領域７０２に背景物領域６０１が入っていないと判定された場合、処理はステップＳ１００３に進む（ステップＳ１００２のＮｏ）。
【０１３０】
ステップＳ１００３では、切り出し領域７０２内に背景物領域６０１が入る範囲内で、顔領域６２０と目標顔位置４１１Ａとが最も接近するように切り出し領域７０２の再設定が行われる。ただし、顔領域６２０を目標顔位置４１１Ａに一致させることを優先させる場合にはステップＳ１００２の判定およびステップＳ１００３の切り出し領域７０２の設定は行わないようにしてもよい。
【０１３１】
次に、ステップＳ１００４で、予備画像から切り出し領域７０２を切り出すことによって図２１Ｅに示すような切り出し画像７０３が生成される。そして、ステップＳ１００５で、切り出し画像７０３を本画像用のサイズに拡大することにより図２１Ｆに示す本画像８００が生成される。
【０１３２】
図２３は上述のようにして生成された本画像８００を撮像装置１のモニター２５に表示した状態である。本画像８００においては、顔が目標顔位置４１１に一致していることがわかる。このように、この顔位置調整処理によって、ユーザは自分撮り撮像時においては顔を目標顔位置４１１に正確に合わせる必要がないため、容易に自分撮り撮像を行うことができるとともに、最終的に生成される本画像においては顔を目標顔位置４１１に一致させることができる。さらに、図２１Ｃと図２１Ｆとを比較してわかるように、顔位置調整処理によって予備画像７０１の上側、右側の余白が削られるため、不要な余白のなくして適切な構図とするという効果も奏することができる。
【０１３３】
なお、顔位置調整処理は予備画像７０１の一部分を切り出す処理である。したがって、背景物が予備画像７０１において端に位置していると顔位置調整処理によって背景物が削られてしまい、顔を目標顔位置４１１に一致させることと背景物を切り出し領域７０２内に収めることを両立できない場合がある。そこで、図２４に示すように、画枠よりも狭い背景物探索範囲９００を設定する。そして、上述した背景物検出部３３による判定においては、テンプレートマッチングによって背景物領域６０１が背景物探索範囲９００内で検出された場合にのみ背景物が画枠内に入ったと判定するようにする。これにより、背景物探索範囲９００より外側の領域が顔位置調整処理により削られても背景物が削られてしまうことがない。
【０１３４】
図２４Ａに示す例では、検出された背景物領域６０１が背景物探索範囲９００内に位置しているため、背景物条件を満たすと判定される場合である。一方、図２４Ｂに示す例は、背景物領域６０１は検出されているが、背景物領域６０１が背景物探索範囲９００内に収まっていないため、背景物条件を満たすとは判定されない場合である。
【０１３５】
なお、図１０Ｅに示すように、ユーザが複数の目標顔位置４１１を指定することができるようにした場合は、複数の目標顔位置４１１の中から予備画像において顔が最も近い目標顔位置４１１に顔を一致させるようにしてもよい。また、指定された複数の目標顔位置４１１の略中心に顔を一致させるようにしてもよい。
【０１３６】
「２−３−２．傾き補正処理」
次に、傾き補正処理について説明する。傾き補正処理は、予備画像において背景物が傾いている場合に、予備画像を回転させることよって背景物が略水平になった本画像を生成する処理である。傾き補正処理は、傾き検出部４５、画像回転部４６、切り出し領域設定部４１、画像切り出し部４３、拡大処理部４４により行われる。
【０１３７】
傾き検出部４５は、予備画像における背景物の傾きを検出するものである。検出は、例えば、背景物領域情報に示される背景物として検出された領域の傾きと画枠の水平軸とを比較することにより行われる。画像回転部４６は、例えば、背景物領域を示す枠を構成する辺の内、上下の辺が画枠の上下の辺と略水平になるように、傾き検出部４５により検出された傾きの分予備画像を回転させる。回転処理は例えば、アフィン変換などにより行われる。
【０１３８】
切り出し領域設定部４１は、回転処理が施された予備画像に対して回転処理によって生じた空白部分７５０を除きつつ、予備画像内において切り出し領域７０２の大きさが最大となるように切り出し領域７０２を設定する。画像切り出し部４３は、予備画像から切り出し領域７０２を切り出すことにより切り出し画像７０３を生成するものである。拡大処理部４４は、切り出し画像７０３に対して拡大処理を施すことにより、本画像を生成するものである。
【０１３９】
図２５Ａは自分撮りによって取得された予備画像７０１である。まず、ステップＳ１０１１において、背景物領域６０１の傾きが検出される。図２５Ａに示す予備画像７０１においては、背景物領域６０１と画枠とが水平になっていない。すなわち、画枠に対して背景物が傾いている。次にステップＳ１０１２で、図２５Ｂに示すように、検出された傾きに基づいて、予備画像７０１に対して回転処理が施される。
【０１４０】
次にステップＳ１０１３で、図２５Ｃに示すように、回転処理が施された予備画像７０１に対して空白部分を除きつつ、予備画像内において切り出し領域７０２の大きさが最大となるように切り出し領域７０２が設定される。次に、ステップＳ１０１４で、設定された切り出し領域７０２が切り出されることにより図２５Ｄに示すような切り出し画像７０３を生成される。そして、ステップＳ１０１５で、その切り出し画像７０３が本画像用サイズに拡大されることにより最終的に図２５Ｅに示すような本画像８００が生成される。
【０１４１】
一般的に、ユーザは撮像装置１を片手で持ち、腕を伸ばして自分撮りを行う場合が多いと考えられる。したがって、自分撮り時には撮像装置１が傾いてしまうおそれがある。一方、背景物の指定は、通常の撮像と同様に両手で撮像装置１を持ってスルー画を見ながら行うので、背景物の指定時においては撮像装置１を水平に保つのは容易であると考えられる。また、一般的にユーザは背景物指定時は撮像装置１を略水平に保って行うと考えられる。したがって、背景物領域は水平基準に適していると考えられる。したがって、本実施の形態においては背景物領域と画枠とが略平行になるように回転処理を施すようにしている。また、背景物を回転の基準としたのは、ユーザは自分の顔が傾いて写っている画像を取得するために撮像装置１を傾けて自分撮りを行う場合があり得るからである。
【０１４２】
「２−３−３．背景物サイズ調整処理」
次に背景物サイズ調整について説明する。背景物サイズ調整とは、背景物指定枠３０２サイズ情報に示される背景物条件設定時における背景物指定枠のサイズと、予備画像中における背景物領域のサイズとが異なる場合にそれらを一致させるように予備画像に対して、拡大処理を施すものである。これにより、本画像における背景物のサイズを背景物条件設定時と略同一にすることができる。背景物サイズ調整処理は、拡大処理部４４、切り出し領域設定部４１、画像切り出し部４３により行われる。
【０１４３】
拡大処理部４４は、背景物条件設定時における背景物指定枠３０２のサイズと予備画像における背景物領域のサイズが略同一となるように予備画像に対して拡大処理を施すものである。なお、拡大処理部４４によって拡大処理が施された画像を拡大画像と称する。
【０１４４】
切り出し領域設定部４１は、拡大画像に対して本画像用サイズの切り出し領域を設定するものである。切り出し領域の設定は、例えば、予備画像における背景物領域の中心座標と、切り出し画像における背景物領域の中心座標とが一致するように設定される。画像切り出し部４３は、予備画像から切り出し領域を切り出すことにより本画像を生成するものである。
【０１４５】
図２７Ａは背景物条件設定時における背景物指定枠３０２を示すものである。図２７Ｂは撮像により取得された予備画像７０１およびその予備画像７０１における背景物領域６０１を示すものである。図２７Ａと図２７Ｂとを比較してわかるように、予備画像７０１における背景物領域６０１は背景物条件設定時における背景物指定枠３０２よりも小さくなっている。これは、例えば、背景物条件設定時と自分撮り時とにおいて背景物と撮像装置１との距離が変わることにより生じる。
【０１４６】
まず、ステップＳ１０２１で、図２７Ｃに示すように、背景物条件設定時における背景物指定枠３０２のサイズと予備画像７０１における背景物領域６０１のサイズが略同一となるように予備画像７０１に対して拡大処理が施される。これにより拡大画像７６０が生成される。次にステップＳ１０２２で、図２７Ｃに示すように、拡大画像７６０に対して切り出し領域７０２が設定される。そして、ステップＳ１０２３で、拡大画像７６０から切り出し領域７０２を切り出すことによって、図２７Ｄに示すような本画像８００が生成される。
【０１４７】
ユーザは背景物条件設定時においては、背景物をどれにするかだけではなく、背景物のサイズも考慮して背景物指定枠３０２の調整を行う場合があると考えられる。しかし、自分撮り時においては、体の位置を移動させたり、撮像装置１を持ち替えたりするため、背景物を背景物条件設定時と略同一のサイズで画枠内に収めるのは難しい。そこで、この背景物サイズ調整処理を行うことによって、本画像において背景物のサイズをユーザが望むサイズにすることができる。
【０１４８】
「２−３−４．最適構図調整処理」
次に、最適構図調整処理について説明する。最適構図調整処理とは、例えば２本の水平線と２本の垂直線（以下、分割線と称する。）とにより本画像を分割し、その分割線上または分割線の交点上に顔を位置させることにより、美感を起こさせる最適な構図の本画像を生成するものである。また、顔と背景物の重心を分割線上または分割線の交点に位置させることのより、最適な構図の本画像の生成も行う。分割線による分割法としては黄金比分割、３分割などがある。最適構図調整処理は、背景物種別設定部４７、重心算出部４８、切り出し領域設定部４１、背景物位置判定部４２、画像切り出し部４３、拡大処理部４４により行われる。
【０１４９】
背景物種別設定部４７は、ユーザによる入力などに基づき、指定された背景物が「景色」であるか、「モノ」であるかの設定を行うものである。背景物が「景色」である場合とは、例えば、背景物として富士山のようないわゆる景色が指定された場合である。また、背景物が「モノ」である場合とは、背景物として例えば人形、置物、看板などが指定された場合である。背景物種別設定部４７により設定された背景物種別情報は重心算出部４８、切り出し領域設定部４１に出力される。
【０１５０】
本実施の形態においては、背景物が「景色」であると設定された場合には、分割線上または交点に顔領域が配置されるように処理が行われる。一方、背景物が「モノ」であると設定された場合には、分割線上、または分割線の交点に顔領域と背景物領域の重心が配置されるように処理が行われる。背景物が「景色」であるか、「モノ」であるかは、例えば、図２９Ａに示す背景物指定の決定入力がなされた後に図２９Ｂに示すような所定の入力用画面１０００をモニター２５に表示し、ユーザが選択することができるようにするとよい。このユーザの入力に基づいて背景物種別設定部４７により、背景物が「景色」であるか、「モノ」であるかが設定される。
【０１５１】
重心算出部４８は、例えば、顔領域の中心座標および背景物の中心座標から、顔領域と背景物領域との全体重心を算出する。重心算出部４８による重心の算出は、背景物種別設定部４７から背景物として「モノ」が設定されたことを示す背景物種別情報を取得した場合に行われる。
【０１５２】
切り出し領域設定部４１は、背景物種別設定部４７から取得した背景物種別情報が背景物が「景色」であることを示す場合には、顔領域が分割線上または交点上に配置されるように予備画像に対して切り出し領域を設定する。一方、背景物種別情報が背景物が「モノ」であることを示す場合には、重心算出部４８により算出された重心が分割線上、または分割線の交点に配置されるように予備画像に対して切り出し領域を設定する。
【０１５３】
背景物位置判定部４２は、背景物領域情報に示される背景物領域の位置、サイズに基づいて、切り出し領域内に背景物領域が入っているか否かを判定する。画像切り出し部４３は、予備画像から切り出し領域７０２を切り出すことにより切り出し画像７０３を生成するものである。拡大処理部４４は、切り出し画像に対して拡大処理を施すことにより、本画像を生成するものである。
【０１５４】
まず、一例として、図３０および図３１を参照して、本画像を黄金比に基づいて分割し、分割線の交点に顔を配置する場合について説明する。これは、背景物として「景色」が選択された場合である。
【０１５５】
図３０Ａは自分撮りによって取得された予備画像７０１である。「景色」の背景物として富士山が指定されている。まず、ステップＳ１０３１で、図３０Ｂに示すように、切り出し領域７０２が予備画像７０１内において最大の大きさとなり、さらに、顔領域６２０が切り出し領域７０２を分割する分割線の交点上に位置するように切り出し領域７０２が設定される。なお、分割線の交点は４つであるが、顔を４つの交点のうちのどの交点上に位置させるかは様々な基準に基づき決定することができる。例えば、予備画像７０１を黄金比に基づき分割して顔に最も近い交点に位置させる。また、顔が右に傾いている場合には左側の２つの交点のうちの顔の近い交点、顔が左の傾いている場合には右側の２つの交点のうちの顔の近い交点に位置させるようにしてもよい。
【０１５６】
次にステップＳ１０３２で、切り出し領域７０２内に背景物領域６０１が入っているか否かが判定される。入っていないと判定された場合、処理はステップＳ１０３３に進む（ステップＳ１０３２のＮｏ）。ステップＳ１０３３で他の交点に顔が位置するように切り出し領域７０２が決定される。そして、ステップＳ１０３２で切り出し領域７０２内に背景物領域６０１が入っているか否かが判定される。入っていると判定された場合、処理はステップＳ１０３４に進む（ステップＳ１０３２のＹｅｓ）。
【０１５７】
次に、ステップＳ１０３４で、予備画像７０１から切り出し領域７０２が切り出されることにより、図３０Ｃに示すような切り出し画像７０３が生成される。そして、ステップＳ１０３５で、切り出し画像７０３が本画像用のサイズに拡大されることにより図３０Ｄに示す本画像８００が生成される。
【０１５８】
図３０Ａに示す予備画像７０１はユーザの顔が略中央に位置しており、一般的に好ましくないとされるいわゆる日の丸構図になっている。そして、この予備画像７０１に最適構図調整処理を施すことにより、容易に図３０Ｄに示すような黄金比に基づいた構図の本画像８００を生成することができる。
【０１５９】
なお、いずれの交点に顔を一致させても背景物領域６０１が切り出し領域７０２内に収まらない場合には、背景物領域６０１が切り出し領域７０２内に収まる範囲内で顔を交点の近くに位置させるようにするとよい。また、上述の説明では黄金比に基づいて分割した分割線の交点に顔領域６２０を位置させる場合を例にして説明したが、同様の手法で顔を３分割の分割線の交点に位置させるように最適構図調整処理を施すことも可能である。
【０１６０】
次に他の例として、図３２および図３３を参照して、画枠内を３分割法に基づいて分割し、分割線の上に背景物と顔の全体重心を配置する最適構図調整処理について説明する。なお、上述のように、背景物領域と顔領域との全体重心を分割線上または交点に位置させるのは、背景物として「モノ」が指定された場合である。
【０１６１】
図３２Ａは自分撮りによって取得された予備画像７０１である。予備画像７０１においては背景物領域６０１、顔領域６２０が検出されている。まず、ステップＳ１０４１で、背景物領域６０１と顔領域６２０の全体重心６３０が算出される。全体重心６３０は例えば、背景物領域６０１の中心座標と顔６２０の中心座標とから算出される。具体的には、背景物領域６０１の中心座標を（Ｘb、Ｙb）、顔領域６２０の中心座標を（Ｘf、Ｙf）とすると、全体重心の座標（Ｘc、Ｙc）は、Ｘc=（Ｘb+Ｘf）／２、Ｙc=（Ｙb+Ｙf）／２、で求めることができる。図３２Ｂにこのようにして求められた全体重心６３０を示す。なお、背景物領域の中心座標を用いて全体重心を求めるのは、一般的にユーザは背景物として指定したい被写体を背景物指定枠３０２の略中央に位置させて背景物の指定を行うと考えられるためである。
【０１６２】
次にステップＳ１０４２で、図３２Ｃに示すように、切り出し領域７０２が予備画像７０１内において最大の大きさとなり、さらに、重心が切り出し領域７０２を分割する分割線上に位置するように切り出し領域７０２が設定される。次にステップＳ１０４３で、切り出し領域７０２内に背景物領域６０１と顔領域６２０とが入っているか否かが判定される。入っていないと判定された場合、処理はステップＳ１０４４に進む（ステップＳ１０４３のＮｏ）。
【０１６３】
次に、ステップＳ１０４４で全体重心６３０が分割線上の他の位置に位置するように切り出し領域７０２が決定される。そして、ステップＳ１０４３で切り出し領域７０２内に背景物領域６０１および顔領域６２０が入っているか否かが判定される。入っていると判定された場合、処理はステップＳ１０４５に進む（ステップＳ１０４３のＹｅｓ）。次に、ステップＳ１０４５で、予備画像７０１から切り出し領域７０２が切り出されることにより、図３２Ｄに示すような切り出し画像７０３が生成される。そして、ステップＳ１０４６で、切り出し画像７０３が本画像用のサイズに拡大されることにより図３２Ｅに示す本画像８００が生成される。この本画像は３分割に基づいた構図となっており、背景物と顔との重心が下段の水平線上に位置している。
【０１６４】
「２−３−５．縦横変換処理」
次に、縦横変換処理について説明する。縦横変換処理とは、上述した最適構図調整処理において、縦の寸法に比べて横の寸法が長い横長長方形状の切り出し領域では、分割線の線上または分割線の交点に顔を位置させると、背景物領域が切り出し領域内に収まらない場合に行われる処理である。切り出し領域を９０度回転させて、切り出し領域を横の寸法に比べて縦の寸法が長い縦長長方形状にすることにより、分割線の線上または分割線の交点に顔を位置させつつ、背景物領域を切り出し領域内に収めることを可能とする。縦横変換処理は、重心算出部４８、切り出し領域設定部４１、背景物位置判定部４２、画像切り出し部４３、拡大処理部４４により行われる。
【０１６５】
図３４Ａは自分撮りによって取得された予備画像７０１である。予備画像７０１においては背景物領域６０１、顔領域６２０が検出されている。まずステップＳ１０５１で、図３４Ｂに示すように、重心算出部４８により背景物領域６０１と顔領域６２０の重心６３０が算出される。なお、重心６３０の算出方法は上述の最適構図調整処理におけるものと同様である。次にステップＳ１０５２で、重心６３０が切り出し領域７０２を分割する分割線上または分割線の交点上に位置すると共に、予備画像７０１内において切り出し領域７０２Ａが最大の大きさとなるように切り出し領域７０２Ａが決定される。次にステップＳ１０５３で切り出し領域７０２Ａ内に背景物領域６０１および顔領域６２０が入っているか否かが判定される。ステップＳ１０５３において、切り出し領域７０２Ａに顔および背景物が入っていると判定された場合、処理はステップＳ１０５８に進む（ステップＳ１０５３のＹｅｓ）。
【０１６６】
そしてステップＳ１０５８で、予備画像から切り出し領域７０２Ａが切り出されることにより切り出し画像７０３が生成され、ステップＳ１０５９でその切り出し画像７０３を本画像用のサイズに拡大することにより本画像が生成される。このステップＳ１０５１乃至１０５３、ステップＳ１０５８およびステップＳ１０５９による処理は最適構図調整処理と同様のものである。
【０１６７】
一方、ステップＳ１０５３で切り出し領域７０２Ａ内に背景物領域６０１および顔領域６２０が入っていないと判定された場合、処理はステップＳ１０５４に進む（ステップＳ１０５３のＮｏ）。図３４Ｃにおいては、背景物領域６０１が切り出し領域７０２Ａからはみ出ている。このような場合にステップＳ１０５３で切り出し領域７０２Ａ内に背景物領域６０１および顔領域６２０が入っていないと判定される。
【０１６８】
そして、ステップＳ１０５４で切り出し領域を９０度回転させる。すなわち、切り出し領域が縦長長方形状に設定される。次にステップＳ１０５５で、重心６３０が分割線上または分割線の交点上に位置すると共に、予備画像７０１内において切り出し領域７０２Ｂの大きさが最大となるように切り出し領域７０２Ｂが決定される。次にステップＳ１０５６で、切り出し領域７０２Ｂ内に背景物領域６０１および顔領域６２０が入っているか否かが判定される。ステップＳ１０５６において、切り出し領域７０２Ｂに背景物領域６０１および顔領域６２０が入ってはいないと判定された場合、処理はステップＳ１０５７に進み（ステップＳ１０５６のＹｅｓ）、再度切り出し領域７０２Ｂの設定が行われる。
【０１６９】
図３４Ｄにおいては、９０度回転させることにより切り出し領域７０２Ｂが縦長長方形状になっているため、重心６３０を分割線上に位置させつつ、背景物領域６０１および顔領域６２０を切り出し領域７０２Ｂ内に収めることが可能となっている。
【０１７０】
次に、ステップＳ１０５８で、予備画像７０１から切り出し領域７０２Ｂを切り出すことにより、図３４Ｅに示すような切り出し画像７０３が生成される。そして、ステップＳ１０５９でその切り出し画像７０３を本画像用のサイズに拡大することにより、図３４Ｆに示すような本画像８００が生成される。
【０１７１】
「２−３−６．顔向き対応調整処理」
次に、顔向き対応調整処理について説明する。顔向き対応調整処理とは、ユーザの顔の向きに応じて本画像内に空間を形成することにより、最適な構図の本画像を生成するものである。顔向き対応調整処理は、顔向き検出部４９、背景物位置判定部４２、切り出し領域設定部４１、画像切り出し部４３、拡大処理部４４によって行われる。
【０１７２】
顔向き検出部４９は、予備画像における顔の向きを検出するものである。検出される顔の向きは、例えば、「右向き」、「左向き」である。例えば、エッジ検出などの手法を用いることで、予備画像中から顔の両端位置と顔の中心位置（鼻先を通る線）とが検出され、その顔両端位置と顔中心位置とから顔の向きの方向が検出される。なお、顔向き検出方法として、例えば、目、鼻、口などの顔の構成要素の形状的な特徴を利用した方法や、検出対象となる顔の２点間の輝度値の差分値を用いた検出方法など、顔の向きを検出できる手法であれば別の方式を用いてもよい。
【０１７３】
背景物位置判定部４２は、顔向き検出部４９により検出された顔が向く方向に背景物領域が存在しているか否かを判定する。判定は、背景物領域の位置、サイズなどを示す背景物領域情報を参照して、例えば、顔領域の中心を基準として、顔向き検出部４９によって検出された顔が向く方向に背景物領域が存在しているか否かを判定することにより行われる。また、背景物位置判定部４２は、設定された切り出し領域内に背景物が入っているか否かを判定する。判定も背景物領域の位置、サイズなどを示す背景物領域情報を参照することにより行われる。画像切り出し部４３は、予備画像から切り出し領域を切り出すことにより切り出し画像を生成するものである。拡大処理部４４は、切り出し画像に対して拡大処理を施すことにより、本画像を生成するものである。
【０１７４】
図３６Ａは自分撮りによって取得された予備画像７０１である。予備画像７０１においては背景物領域６０１、顔領域６２０が検出されている。まず、ステップＳ１０６１で、顔向き検出部４９により顔の向きが検出される。図３６Ａの予備画像７０１においては顔は「左向き」である。
【０１７５】
次にステップＳ１０６２で顔が向く方向に背景物領域６０１が存在するか否かが判定される。そして、ステップＳ１０６２の判定の結果、顔が向く方向に背景物領域６０１が存在しないと判定された場合、処理は終了となる（ステップＳ１０６２のＮｏ）。このように、本実施の形態においては、顔が向く方向に背景物領域６０１が存在する場合にのみ顔向き対応調整処理が行われるものとする。
【０１７６】
一方、ステップＳ１０６２で、顔が向く方向に背景物領域６０１が存在すると判定された場合、処理はステップＳ１０６３に進む。（ステップＳ１０６２のＹｅｓ）。そして、ステップＳ１０６３で、切り出し領域設定部４１により顔領域６２０が切り出し領域７０２を３分割法に基づいて分割する分割線の交点に位置すると共に、予備画像７０１において切り出し領域７０２の面積が最大となるように切り出し領域７０２が決定される。
【０１７７】
本実施の形態においては、顔の向きが左向きの場合には、分割線の４つの交点のうち右側の交点に顔領域６２０が位置するように切り出し領域７０２が決定される。一方、顔の向きが右向きの場合には、分割線の４つの交点のうち左側の交点に顔領域６２０が位置するように切り出し領域７０２が決定される。このように、顔が向く方向とは逆方向の分割線の交点に顔領域６２０を位置させるように切り出し領域７０２を決定することにより、顔が向く方向に空間を形成することができ、バランスのよい構図となった本画像を生成することができる。
【０１７８】
次にステップＳ１０６４で切り出し領域７０２内に背景物領域６０１が入っているか否かが判定される。そして、ステップＳ１０６４の判定の結果、切り出し領域７０２内に背景物領域６０１が入っていないと判定された場合、処理はステップＳ１０６５に進む（ステップＳ１０６４のＮｏ）。
【０１７９】
次にステップＳ１０６５で、顔領域６２０が分割線の他の交点に位置するように予備画像７０１に対して切り出し領域７０２が決定される。黄金比分割、３分割共に左右の分割線の交点は２つずつである。よって、例えば、ステップＳ１０６３で上側の交点に顔が位置するように切り出し領域７０２が設定された場合には、ステップＳ１０６５では下側の交点に顔が位置するように切り出し領域７０２が設定される。
【０１８０】
そして、再び、ステップＳ１０６４で背景物領域６０１が切り出し領域７０２内に入っているか否かが判定される。ステップＳ１０６４で背景物領域６０１が切り出し領域７０２内に入っていると判定された場合、処理はステップＳ１０６６に進む（ステップＳ１０６４のＹｅｓ）。図３６Ｂはこのようにして決定された切り出し領域７０２を示すものである。図３６Ｂにおいては顔は「左向き」であるため、顔が右側の交点に位置するように切り出し領域７０２が決定されている。なお、分割方法は３分割としてある。ただし、黄金比に基づいて分割してもよい。
【０１８１】
次にステップＳ１０６６で、予備画像から切り出し領域７０２が切り出されることにより、図３６Ｃに示すような切り出し画像７０３が生成される。そして、ステップＳ１０６７で、切り出し画像７０３を本画像用のサイズに拡大することにより図３１Ｄに示す本画像８００が生成される。この本画像では、顔が左向きであるため、顔が右側の交点に位置しており、左側に空間が形成された構図となっている。
【０１８２】
「２−３−７．黄金比に基づく拡大処理」
次に、黄金比に基づく拡大処理について説明する。黄金比に基づく拡大処理とは、ユーザの顔として検出された顔領域の長さと顔領域の下端から本画像の画枠の下端までの距離の比率が黄金比となるような本画像を生成するものである。黄金比に基づく拡大処理は、切り出し領域設定部４１、画像切り出し部４３、拡大処理部４４によって行われる。
【０１８３】
図３８Ａは、自分撮りによって生成された予備画像７０１である。予備画像７０１においては富士山の頂が背景物領域６０１として検出されている。ユーザの顔は顔領域６２０として検出されている。まず、ステップＳ１０７１で、この予備画像７０１における顔領域の長さが取得される。顔領域の長さは予備画像生成の際に関連付けて保存された顔領域のサイズを示す顔領域情報を参照することにより取得することができる。
【０１８４】
次にステップＳ１０７２で、図３８Ｂに示すように、背景物領域６０１が入るとともに、顔領域６２０の長さと顔領域６２０の下端から切り出し領域７０２の下端までの距離の比が黄金比（１：１．６１８）になるように切り出し領域７０２が設定される。次に、ステップＳ１０７３で予備画像７０１から切り出し領域７０２が切り出されることにより、図３８Ｃに示すような切り出し画像７０３が生成される。この切り出し画像７０３においては、顔領域６２０の長さと顔領域６２０の下端から切り出し画像７０３の下端までの距離の比が黄金比となっている。そして、ステップＳ１０７４で、切り出し画像７０３を本画像用のサイズに拡大することにより図３８Ｄに示す本画像８００が生成される。
【０１８５】
黄金比に基づく拡大処理においては、顔領域６２０の下端から本画像８００の下端まで（すなわち、顔領域６２０の下）にユーザの体があると考える。そして、顔領域６２０の長さと顔領域６２０の下端から本画像８００の下端までの距離の比率が黄金比となるように処理を行うことによって、図３８Ｄの本画像８００に示すように顔と体の比率が黄金比となる。これにより、美感を起こさせる構図の本画像を生成することができる。
【０１８６】
なお、上述した各種画像加工処理は必ずしも全てを行う必要があるわけではなく、いずれか１つのみを行ってもよいし、複数行ってもよい。また、複数の画像加工処理を行う場合、どのような順序で行ってもよい。
【０１８７】
＜３．第２の実施の形態＞
［３−１．画像処理装置および撮像装置の構成］
次に本技術の第２の実施の形態について説明する。図４０は第２の実施の形態に係る画像処理装置２１００の構成を示すブロック図である。画像処理装置２１００は画像条件設定部２２００、条件判定部２３００、画像取得関連処理部２４００、画像加工部２５００とから構成されている。また、図４１は画像処理装置２１００の機能を備える撮像装置３０００の構成を示すブロック図である。
【０１８８】
第２の実施の形態における撮像装置３０００は、制御部３１００が画像条件設定部２２００、条件判定部２３００、画像取得関連処理部２４００、画像加工部２５００として機能する点で第１の実施の形態と相違する。その他の撮像装置３０００の構成は第１の実施の形態と同様であるため、説明を省略する。
【０１８９】
なお、第２の実施の形態において「予備画像」とは、画像加工処理が施される前に画像が予備画像としての条件（以下、予備構図条件と称する）を満たす場合に保存される画像である。「本画像」とは、予備画像に対して、本画像としての条件（以下、本構図条件と称する）が満たされるように画像加工処理が施されることにより、最終的に得られる画像である。
【０１９０】
画像条件設定部２２００は、本構図条件と、予備構図条件とを設定するものである。画像条件設定部２２００は、図１１、図１２に示されるように、モニター２５に表示される本画像条件用画面に対してユーザにより入力される主被写体の位置に基づいて本構図条件を設定する。よって、本構図条件はユーザが最終的に希望する主被写体の位置などを示すものである。
【０１９１】
本構図条件は、例えば、画枠の左上を基準として、水平方向をＸ方向(０〜１００)、鉛直方向をＹ方向(０〜１００)としてパラメータ化した場合に、主被写体の位置（主被写体として判定された領域の重心位置）を示すＸの値とＹの値として設定される。例えば、「Ｘ＝６５、Ｙ＝５０」などである。また、本構図条件は「６３≦Ｘ≦６７、４８≦Ｙ≦５２」のように所定の幅を有するように設定するようにしてもよい。なお、パラメータの範囲は０〜１００に限られるものではなく、それよりも大きな値に設定してもよいし、小さな値に設定してもよい。
【０１９２】
なお、「主被写体」とは、ユーザがその被写体を重視して画像を得たいと思う被写体である。主被写体は人物の顔の他、所定の検出アルゴリズムにより画像内から被写体として検出されるものであればどのようなものでもよい。例えば、人物の手などの人体の一部または全身、動物、建築物、自動車、花、山などの物体などである。なお、注目被写体は１つとは限らず、複数であってもよい。
【０１９３】
また、主被写体の位置の他に、主被写体の大きさも本構図条件として設定可能としてもよい。主被写体の大きさは例えば図１２Ｃに示されるように、主被写体指定枠のサイズ入力可能とし、入力された値に応じて主被写体指定用の枠のサイズが変更されるようにすることが考えられる。
【０１９４】
さらに、画枠に対する主被写体の傾きも本構図条件として設定可能としてもよい。ユーザが被写体の傾きを入力する方法としては例えば、図４２Ａに示されるように傾きを示す値を入力可能とし、その値に応じて主被写体指定用枠４０００が回転するようにしてもよい。また、図４２Ｂに示されるように、タッチパネル３１００を備えるモニター３２００に主被写体指定用枠４０００と共に主被写体指定用枠４０００を回転操作可能な回転ハンドル４１００を表示させ、ユーザがその回転ハンドル４１００をタッチパネル３１００のタッチ操作などにより操作することにより被写体の傾きを入力可能としてもよい。
【０１９５】
また、表示部１１がタッチパネルを備えるモニターである場合、タッチしたユーザの指の向きを検出し、その向きに主被写体の向きを合わせるようにしてもよい。また、同時に２本以上の指でタッチ操作を行ういわゆるマルチタッチ操作で主被写体指定枠を回転させることにより主被写体の傾きを入力することができるようにしてもよい。さらに、撮像装置３０００に加速度センサを設けて、撮像装置３０００を傾かせることにより主被写体の傾きを入力することができるようにしてもよい。
【０１９６】
なお、撮像部の撮像により得られる画像から検出される主被写体の位置、大きさ、向きなどに応じて最適な構図を求め、その構図を本構図条件として設定するようにしてもよい。主被写体の位置、大きさ、向きなどに応じて最適な構図を求める手法としては例えば特開２０１１−２９８３１号公報、特開２００９−１００３００号公報などに記載されている手法を採用することができる。
【０１９７】
さらに、「背景物の位置」を本構図条件として設定可能としてもよい。主被写体の位置を指定した方法と同様の方法で背景物の位置が指定されると、それに基づいて画像条件設定部２２００は本構図条件を設定する。
【０１９８】
本構図条件として背景物を指定する方法としては、例えば、第１の実施の形態において図８を参照して説明したように、スルー画３０１として表示されている背景中の任意の場所に対応するタッチパネル２６の操作面に指を接触させ、その接触位置を中心として表示される背景物指定枠３０２によって指定する手法が挙げられる。
【０１９９】
背景物指定枠３０２は、その位置、形状およびサイズが変更可能となっている。例えば、指を背景物指定枠３０２内に接触させた状態でドラック操作を行うことによって背景物指定枠３０２の位置を変更可能とする。また、指を、背景物指定枠３０２を構成する各辺のいずれかに接触させた状態でドラック操作を行うことによって、背景物指定枠３０２をその辺の方向に延長させて形状を変更可能とする。さらに、背景物指定枠３０２上に２本の指を接触させて、ピンチアウト操作を行うことによって背景物指定枠３０２のサイズを拡大、ピンチイン操作を行うことによってサイズの縮小を可能とする。これらの各種操作で背景物指定枠３０２を任意の位置、形状およびサイズに調整することによってユーザは背景物を的確に指定することができる。
【０２００】
また、主被写体の入力と同様に、背景物の位置を示す値を入力することにより背景物の指定を行うことができるようにしてもよい。背景物についての本構図条件は、座標によって設定されてもよいし、所定の面積の範囲として設定されてもよい。
【０２０１】
画像条件設定部２２００は、本構図条件に基づいて予備構図条件を定める。予備構図条件は本構図条件よりもゆるい条件として設定される。
【０２０２】
例えば、本構図条件が主被写体の位置「Ｘ＝６５、Ｙ＝５０」として設定された場合、予備構図条件は、主被写体の位置「６０≦Ｘ≦７０、４５≦Ｙ≦５５」のように、本構図条件を包含するように所定の幅を有する値として設定される。詳しくは後述するが、撮像により得られた画像が予備構図条件を満たす場合には画像取得関連処理部２４００の処理により、撮像画像が予備画像として取得される。よって、上述のように予備構図条件を本構図条件よりもゆるい条件として設定することにより、予備画像の取得が容易となる。
【０２０３】
なお、上述した予備構図条件の範囲は説明の便宜上の一例であり、その値に限られるものではない。本構図条件が「Ｘ＝６５、Ｙ＝５０」である場合、「５５≦Ｘ≦７５、４０≦Ｙ≦５０」のように、予備構図条件の幅が大きくなるように設定してもよいし、「６２≦Ｘ≦６７、４８≦Ｙ≦５２」のように、予備構図条件の幅が小さくなるように設定してもよい。
【０２０４】
また、構図条件が例えば「６３≦Ｘ≦６７、４８≦Ｙ≦５２」のように所定の幅を有するように設定されている場合、予備構図条件を「６０≦Ｘ≦７０、４５≦Ｙ≦５５」のように幅を有する本構図条件を包含するように所定の幅を有する値として設定するとよい。
【０２０５】
なお、予備構図条件は必ずしも本構図条件としての値を中心値とした範囲として設定されるとは限らない。例えば「Ｘ＝０、Ｙ＝５０」のように設定された場合には、予備構図条件のＸの値が「Ｘ≦１０」のように上限値のみ、または下限値のみが設定されるようにしてもよい。
【０２０６】
また、背景物が所定の範囲に含まれることが本構図条件として設定された場合、その範囲よりも広い範囲に背景物が含まれることを予備構図条件として設定する。これにより、撮影時に正確に背景物を目的の位置に合わせる必要がなくなるので、撮影を容易に行うことができる。
【０２０７】
予備構図条件は、予め用意された所定のテンプレートに基づいて設定されるようにしてもよいし、ユーザが予め、予備構図条件の本構図条件を包含する値の幅を設定しておき、それに基づいて自動的に設定されるようにしてもよい。
【０２０８】
また、予備構図条件を本構図条件よりも少ない条件とすることによって、予備構図条件を本構図条件よりもゆるい条件として設定するようにしてもよい。例えば、本構図条件が主被写体の位置の他に、主被写体の大きさ、傾きなども含む場合、予備構図条件を主被写体の位置のみとする、主被写体の傾きのみとする、主被写体の大きさ及び傾きとするなど、である。また、本構図条件の背景物についての条件を除いて予備構図条件とする、などである。
【０２０９】
条件判定部２３００は、撮像により取得した撮像画像が予備構図条件を満たすか否かを判定するものである。条件判定部２３００による判定結果は画像取得関連処理部２４００に供給される。
【０２１０】
画像取得関連処理部２４００は、予備画像の取得に関する処理を行うものである。画像取得関連処理部２４００は特許請求の範囲における処理部に相当するものである。予備画像の取得には、撮像装置３０００が自動で行う場合（いわゆるオートレリーズ）と、ユーザが手動で行う、場合（いわゆるマニュアルレリーズ）の場合とがある。
【０２１１】
オートレリーズの場合、画像取得関連処理部２４００は、条件判定部２３００により撮像画像が予備構図条件を満たすと判定された場合、その撮像画像を予備画像としてバッファメモリ７または記憶部８に記憶させる処理を行う。なお、条件判定部２３００により撮像画像が予備構図条件を満たすと判定された場合に記憶される画像は、予備構図条件を満たすと判定された撮像画像そのものであってもよいし、予備構図条件を満たすと判定された撮像画像の前後所定期間内に取得されたフレーム画像であってもよい。画像取得関連処理部２４００がこのような処理を行う場合、予備画像の取得は条件判定部２３００の判定結果に基づいて自動的に行われることとなる。
【０２１２】
一方、マニュアルレリーズの場合、画像取得関連処理部２４００は、条件判定部２３００により撮像画像が予備構図条件を満たすと判定されたタイミングでシャッタ操作を行うようにユーザに通知する処理を行う。通知は例えば、図２０に示されるように撮像装置３０００がＬＥＤまたは／およびスピーカを備える場合には、ＬＥＤの点灯による通知、音声による通知などが挙げられる。そして、その通知後にユーザによりレリーズ操作がなされるとそれに応じて撮像画像を予備画像としてバッファメモリ７または記憶部８に記憶させる処理を行う。
【０２１３】
なお、通知後にユーザによるシャッタ操作が行われたが、そのシャッタ操作の時点では撮像画像が予備構図条件を満たしていないと条件判定部２３００に判定された場合、画像取得関連処理部２４００はシャッタ操作を無効とし、予備画像の取得処理を行わないようにしてもよい。このような処理を行うために条件判定部２３００は、一度、撮像画像が予備構図条件を満たすと判定した後も、画像取得関連処理部２４００により予備画像を取得する処理が行われるまでは予備構図条件を満たしているかの判定を繰り返し行う必要がある。なお、予備画像の取得が行われなかった場合には、その旨をＬＥＤの点灯による通知、音声による通知などによりユーザに通知するようにしてもよい。
【０２１４】
画像加工部２５００は、予備画像に対して本構図条件に基づいてトリミングなどの画像処理を施すことにより本画像を生成するものである。本画像生成のために行う画像処理としては、第１の実施の形態で述べた、画像加工処理を用いることができる。
【０２１５】
主被写体の位置を本構図条件の位置に合わせるトリミング処理は例えば図４３に示されるように行う。図４３Ａにおいて点はユーザによって指定された本構図条件であるユーザが望む主被写体の位置５０００を示すものである。図４３Ｂは、予備構図条件を満たしたことによって取得された予備画像５１００である。図４３Ｃは、本構図条件と予備画像５１００とを重ねたものである。図４３Ｃに示されるように、本構図条件としての主被写体の位置５０００と、主被写体である顔５２００の位置はずれている。
【０２１６】
この予備画像５１００に対して図４３Ｄに示されるように、本構図条件である主被写体の位置５０００と顔５２００とが一致するようにトリミング範囲５３００が決定される。このトリミング範囲５３００のアスペクト比は予備画像５１００と同一である。トリミング範囲５３００で予備画像５１００を切り出すと図４３Ｅに示すようになる。そして、図４３Ｆに示されるように切り出されたトリミング範囲５３００を予備画像５１００と同一のサイズに拡大すると、顔が本構図条件に一致した本画像５４００を生成することができる。
【０２１７】
同様に手法を用いることによって、背景物をユーザが指定する位置に配置した本画像を生成することもできる。
【０２１８】
また、主被写体の大きさを本構図条件に合わせるのは、第１の実施の形態において説明した背景物サイズ調整処理と同様の処理を主被写体に対して行うことにより実現することができる。
【０２１９】
また、主被写体の画枠に対する傾きを本構図条件に合わせるのは、第１の実施の形態において説明した傾き補正処理を行うことで実現することができる。
【０２２０】
なお、主被写体の位置だけでなく、大きさ、傾きも本構図条件として設定されている場合には上述した複数の画像加工処理を施して本画像を生成するとよい。
【０２２１】
［３−２．画像処理装置における処理］
次に図４４のフローチャートを参照して第２の実施の形態における処理について説明する。まずステップＳ２００１で、画像条件設定部２２００は本構図条件を設定する。上述したように本構図条件はユーザの入力などに基づいて設定される。次にステップＳ２００２で、画像条件設定部２２００は、本構図条件に基づいて予備構図条件を設定する。設定された本構図条件は画像加工部２５００に供給され、予備構図条件は条件判定部２３００に供給される。
【０２２２】
次にステップＳ２００３で、条件判定部２３００は撮像画像が予備構図条件を満たしているか否かを判定する。予備構図条件を満たしていない場合には予備構図条件を満たすまでステップＳ２００３の判定が繰り返される（ステップＳ２００３のＮｏ）。なお、撮像画像が予備構図条件を満たしていない場合には上述したように、ＬＥＤの点灯、音声などによる誘導通知をユーザに対して行うようにしてもよい。
【０２２３】
ステップＳ２００３で撮像画像が予備構図条件を満たしていると判定された場合、処理はステップＳ２００４に進む（ステップＳ２００３のＹｅｓ）。そして、ステップＳ２００４で、画像取得関連処理部２４００は画像取得関連処理を行う。画像取得関連処理は、上述したように、オートレリーズである場合には撮像画像を予備画像として記憶部８などに記憶させることにより予備画像を取得する処理である。また、画像取得関連処理は、マニュアルレリーズの場合には、ユーザに予備画像の取得を促すための通知を行う処理と、ユーザによるレリーズ操作が行われたときに撮像画像を予備画像として記憶部８などに記憶させることにより予備画像を取得する処理である。
【０２２４】
予備画像の取得が行われた後に、ステップＳ２００５で画像加工部２５００は、本構図条件を満たすように予備画像に対して加工処理を施すことにより本画像を生成する。
【０２２５】
以上のようにして本実施の形態に係る画像処理装置２１００による処理が行われる。本実施の形態によれば、最終的な画像についての条件である本構図条件よりもゆるい予備構図条件を満たした場合に画像の取得が行われるため、ユーザは正確に本構図条件に合うように撮影を行う必要ない。よって、撮影を容易に行うことができる。そして、撮影により取得された予備画像は画像加工により最終的に本構図条件に合うものとなるため、ユーザは希望する構図の画像を得ることができる。
【０２２６】
本実施の形態は、ユーザが撮像装置３０００のレンズを自分自身に向けて自らを被写体として撮像を行う「自分撮り」に適用することができる。この場合、主被写体はユーザ自身の顔、バストショット、全身などとなる。自分撮りの際には通常ユーザはスルー画を見ながら撮影を行うことができないが、本実施の形態を適用することにより、スルー画を見なくても、自分自身が希望する構図に収まった本構図条件を満たした画像を得ることができる。また、予備構図条件は本構図条件よりもゆるい条件として設定されるため、スルー画を見なくても予備構図条件を満たして画像を取得することが容易となる。
【０２２７】
また、本実施の形態は自分撮りに限られず、スルー画を見ることができない状態での撮影においても顕著な効果を奏する。そのような撮影としては、例えば、腕を高々と伸ばして撮像装置３０００を高く掲げて撮影を行ういわゆるハイアングルの撮影がある。さらに、撮像装置３０００を足元など低い位置に構えて撮影するいわゆるローアングルの撮影もある。これらの撮影においては、ユーザはスルー画を見ることができないが、スルー画を見なくても、本構図条件を満たした本画像を得ることができる。また、予備構図条件は本構図条件よりもゆるい条件として設定されるため、スルー画を見なくても予備構図条件を満たして画像を取得することが容易となる。
【０２２８】
なお、本技術は以下のような構成も取ることができる。
【０２２９】
（１）所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理装置において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
画像処理装置。
【０２３０】
（２）前記予備構図条件は前記本構図条件よりも易しい条件である
前記（１）に記載の画像処理装置。
【０２３１】
（３）前記処理は、前記条件判定部が前記予備構図条件を満たすと判定することに応じて前記撮像画像を予備画像として記憶部に記憶させる処理である
前記（１）または（２）に記載の画像処理装置。
【０２３２】
（４）前記予備構図条件に設定されるパラメータの範囲は、前記本構図条件として設定されるパラメータの範囲よりも広い
前記（１）から（３）のいずれかに記載の画像処理装置。
【０２３３】
（５）前記予備構図条件として設定される条件よりも、前記本構図条件として設定される条件が多い
前記（１）から（４）のいずれかに記載の画像処理装置。
【０２３４】
（６）前記本構図条件は、前記予備画像条件に所定の条件を追加した条件である
前記（１）から（５）のいずれかに画像処理装置。
【０２３５】
（７）前記本構図条件は、第１の範囲に被写体が含まれることを条件として含み、前記予備構図条件は前記第１の範囲よりも広い第２の範囲に前記被写体が含まれることを条件として含む
前記（１）から（６）のいずれかに記載の画像処理装置
【０２３６】
（８）前記本構図条件は、第３の範囲に背景物が含まれることを条件として含み、前記予備構図条件は、前記第３の範囲よりも広い第４の範囲に前記背景物が含まれることを条件として含む
前記（１）から（７）のいずれかに記載の画像処理装置。
【０２３７】
（９）前記本構図条件は、前記予備構図条件に、前記本画像中に背景物が含まれる条件を追加した条件である
前記（１）から（８）のいずれかに記載の画像処理装置。
【０２３８】
（１０）前記処理は、前記条件判定部により前記予備条件を満たすと判定された場合に、前記ユーザに対して、前記予備条件を満たしている旨の通知が行われるように通知処理を行う
前記（１）から（９）のいずれかに記載の撮像装置。
【０２３９】
（１１）前記画像加工部は、前記被写体の位置が前記本構図条件として設定されている場合、前記被写体の位置を前記本構図条件に合わせるように前記予備画像に対してトリミング処理を行う
前記（１）から（１０）のいずれかに記載の画像処理装置。
【０２４０】
（１２）所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法。
【０２４１】
（１３）所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
【０２４２】
（１４）筐体の一方の面に設けられたレンズと、
該レンズを介した光を受光して画像信号に変える撮像素子と、
前記筐体の前記レンズが設けられた一方の面に対して裏側に位置する他方の面に設けられ、前記画像信号に基づく画像を表示する表示部と、
を備え、
前記撮像素子により得られる撮像画像から所定の構図に関する条件を示す本構図条件を満たす本画像を生成する撮像装置において、
前記撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理部による処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
撮像装置。
【符号の説明】
【０２４３】
１・・・・撮像装置
２・・・・光学撮像系
３・・・・撮像素子
９・・・・音声出力部
１０・・・発光部
１１・・・表示部
３２・・・本画像条件設定部
３３・・・背景物検出部
３４・・・顔検出部
３６・・・記録制御部
３７・・・画像加工部
４１・・・切り出し領域設定部
４２・・・背景物位置判定部
４３・・・画像切り出し部
４４・・・拡大処理部
４８・・・重心算出部
４９・・・顔向き検出部
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
ユーザはカメラを用いて所望の被写体を撮影する他に、自分自身を撮影するいわゆる自分撮りを行う場合がある。自分撮りを行うには、ユーザはカメラを手で持ち、レンズを自分の方向に向けて撮像を行う。しかし、スルー画が表示される表示画面は通常、レンズとは反対の方向に設けられているため、ユーザは自分自身がカメラの画枠に収まっているか否かを確認することができない。したがって、画枠内の所望の位置に自分自身の顔の位置を一致させて撮影を行うことは難しい。
【０００３】
また、自分撮りを行う際には、自分自身だけでなく、自分自身と共に建物や自然物などの背景を構成するものも画枠内に収めて撮影を行う場合もある。
【０００４】
そこで、まず、背景としての風景を撮像して第１画像データを取得し、次に、その背景を背にして自分自身を撮影して第２の画像データを取得し、その第１の画像データと第２の画像データとの一致度を判定することにより所望の背景を含めて自分撮りを行うことを可能とする撮像装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８８９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述の特許文献１に記載の撮像装置においては、背景として得た第１画像データと背景を背にして自分自身を撮像して得た第２画像データとの一致度の判定を動きベクトルに基づいて画枠全体について行うものである。したがって、第１画像データと第２画像データとの間において背景全体について一致していることが要求されるため、画枠調整の難易度が高く、容易に所望の背景を含めた自分撮りを行うことはできない。
【０００７】
また、一般的にユーザは自分撮りにおいては、背景全体を画像に収めたいのではなく、背景の構成物の中の所望のものが画像内に収まっていればよい場合が多いと考えられる。したがって、特許文献１に記載の技術のように第１画像データと第２画像データとを用いて背景全体を一致させる必要はない。
【０００８】
したがって、本技術の目的は、容易に所望の背景を構成する物を画枠内に収めながら自分撮りを行うことができる画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理装置において、撮像部の撮像に応じて得られる撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、条件判定部の判定に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部とを備えた画像処理装置である。
【００１０】
第２の技術は、所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、撮像部の撮像に応じて得られる撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定し、判定の結果に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行し、処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して本画像を生成する画像処理方法である。
【００１１】
第３の技術は、所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、撮像部の撮像に応じて得られる撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定し、判定の結果に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行し、処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して前記本画像を生成する画像処理方法をコンピュータに実行させる画像処理プログラムである。
【００１２】
第４の技術は、筐体の一方の面に設けられたレンズと、レンズを介した光を受光して画像信号に変える撮像素子と、筐体のレンズが設けられた一方の面に対して裏側に位置する他方の面に設けられ、前記画像信号に基づく画像を表示する表示部とを備え、撮像素子により得られる撮像画像から所定の構図に関する条件を示す本構図条件を満たす本画像を生成する撮像装置において、撮像画像が、本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、条件判定部の判定に応じて予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、処理部による処理に基づき得られる予備画像に、本構図条件に応じた画像加工を施して本画像を生成する画像加工部とを備えた撮像装置である。
【発明の効果】
【００１３】
本技術によれば、所望の構図の画像を容易に得ることができる。
【図面の簡単な説明】
【００１４】
【図１】撮像装置の概略構成を示すブロック図である。
【図２】画像加工部の概略構成を示すブロック図である。
【図３】撮像装置の外観構成を示す図である。
【図４】自分撮りの全体フローを示すフローチャートである。
【図５】表示部に表示されるモード切り替え画面を示す図である。
【図６】背景物／目標顔位置指定処理の流れを示すフローチャートである。
【図７】表示部に表示される背景物／顔指定選択画面を示す図である。
【図８】表示部に表示される背景物指定用画面の一例を示す図である。
【図９】背景物検出用画像生成処理の流れを示すフローチャートである。
【図１０】背景物検出用画像の生成について説明するための図である。
【図１１】表示部に表示される顔位置指定用画面の一例を示す図である。
【図１２】背景物指定用画面のその他の例を示す図である。
【図１３】背景物指定用画面および顔位置指定用画面の変形例を示す図である。
【図１４】自分撮りにおける処理の流れを示すフローチャートである。
【図１５】背景物検出処理について説明するための図である。
【図１６】顔位置判定処理について説明するための図である。
【図１７】顔位置判定処理のその他の例について説明するための図である。
【図１８】顔位置判定処理のその他の例について説明するための図である。
【図１９】誘導通知の手法について説明するための図である。
【図２０】撮像装置の外観構成の変形例を示す図である。
【図２１】顔位置調整処理について説明するための図である。
【図２２】顔位置調整処理の流れを示すフローチャートである。
【図２３】顔位置調整処理によって生成された本画像を示す図である。
【図２４】背景物検出領域について説明するための図である。
【図２５】傾き補正処理について説明するための図である。
【図２６】傾き補正処理の流れを示すフローチャートである。
【図２７】背景物サイズ調整処理について説明するための図である。
【図２８】背景物サイズ調整処理の流れを示すフローチャートである。
【図２９】表示部に表示される背景物種別指定画面の一例を示す図である。
【図３０】最適構図調整処理の一例について説明するための図である。
【図３１】最適構図調整処理の流れを示すフローチャートである。
【図３２】最適構図調整処理のその他の例について説明するための図である。
【図３３】最適構図調整処理のその他の例の流れを示すフローチャートである。
【図３４】縦横変換処理について説明するための図である。
【図３５】縦横変換処理の流れを示すフローチャートである。
【図３６】顔向き対応調整処理について説明するための図である。
【図３７】顔向き対応調整処理の流れを示すフローチャートである。
【図３８】黄金比に基づく拡大処理について説明するための図である。
【図３９】黄金比に基づく拡大処理の流れを示すフローチャートである。
【図４０】本技術の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図４１】撮像装置の構成を示すブロック図である。
【図４２】撮像装置のモニターの表示態様を示す図である。
【図４３】トリミング処理の説明のための図である。
【図４４】画像処理装置において行われる処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．用語の定義＞
＜２．第１の実施の形態＞
［２−１．撮像装置の構成］
［２−２．撮像装置により行われる処理］
「２−２−１．背景物条件設定」
「２−２−２．本画像条件設定」
「２−２−３．自分撮りの際に行われる処理」
［２−３．画像加工処理］
「２−３−１．顔位置調整処理」
「２−３−２．傾き補正処理」
「２−３−３．背景物サイズ調整処理」
「２−３−４．最適構図調整処理」
「２−３−５．縦横変換処理」
「２−３−６．顔向き対応調整処理」
「２−３−７．黄金比に基づく拡大処理」
＜３．第２の実施の形態＞
［３−１．画像処理装置および撮像装置の構成］
［３−２．画像処理装置における処理］
【００１６】
＜１．用語の定義＞
まず、本技術の各実施形態の説明に先立ち、本明細書で用いる各種の用語の定義について説明する。
【００１７】
「自分撮り」とは、ユーザが撮像装置のレンズを自分自身に向けて自らを被写体として撮像を行うことであり、撮像装置を手に持って行う場合、撮像装置を置いて行う場合を含むものである。また、ユーザが一人で行う場合に限られず、複数人が被写体となり、その複数人のうちのいずれか一人が撮像装置を手に持って行う場合、撮像装置を置いて複数人が被写体となる場合も含むものである。
【００１８】
「撮像」とは、撮像装置において、撮像素子が像を表す光を受光して電気信号に変換することを意味する。「画枠」とは、撮像素子の有効領域により撮像される全領域または全領域よりも若干小さい領域を表すものである。「構図」とは、被写体が所定のアルゴリズムによって決定される位置に配置された状態、すなわち、画枠に対する被写体の配置状態である。
【００１９】
「予備画像」とは、画像加工処理が施される前に背景物についての条件（背景物条件）および顔についての条件（顔条件）を満たす場合に保存される画像である。「本画像」とは、予備画像に対して画像加工処理が施されることにより、最終的に得られる画像である。
【００２０】
「背景物」とは、ユーザが自分撮りを行う際に画枠内に収まるユーザ以外の被写体のことであり、人物、建築物、自然物などユーザの後ろの広がる背景を構成するものである。
「背景物検出用画像」とは、背景物を検出するために背景物を画枠に入れた状態で撮像される画像である。自分撮り時におけるテンプレートマッチングにより背景物の検出において、テンプレートとなる画像である。
【００２１】
＜２．実施の形態＞
［２−１．撮像装置の構成］
【００２２】
図１は、撮像装置１の概略構成を示すブロック図である。撮像装置１は、静止画像の撮像が可能ないわゆるデジタルスチルカメラである。撮像装置１は、光学撮像系２、撮像素子３、Ａ／Ｄ変換部４、信号処理部５、駆動部６、バッファメモリ７、記憶部８、音声出力部９、発光部１０、表示部１１、入力部１２および制御部１３とから構成されている。
【００２３】
光学撮像系２は、例えば、撮像レンズ、ズームレンズ、フォーカスレンズおよび絞りなどを有し、被写体の光画像を入射する。光学撮像系２を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子３上に結像される。
【００２４】
撮像素子３は、結像された光画像を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子３から出力されるアナログ撮像信号は、Ａ／Ｄ変換部４に出力される。撮像素子３としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。Ａ／Ｄ変換部４は、撮像素子３から供給されるアナログ撮像信号をデジタル撮像信号に変換し、信号処理部５に出力する。
【００２５】
信号処理部５は、Ａ／Ｄ変換部４から出力されるデジタル撮像信号に対して所定の信号処理を施すとともに、デジタル撮像信号を例えば輝度信号と色差信号からなる画像データに変換して出力する。信号処理部５によって施される処理としては、リニアマトリクス処理、ホワイトバランス調整処理、ガンマ補正処理、Ｙ／Ｃ変換処理などがある。
【００２６】
駆動部６は、制御部１３からの制御信号に従って基づいて光学撮像系２が備えるズームレンズ、フォーカスレンズおよび絞りなどの制御を行う。
【００２７】
バッファメモリ７は、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory)を用いて構成されている。バッファメモリ７には、信号処理部５から出力された画像データ、予備画像、背景物検出用画像３１１、背景物生成用画像３１２、その他の情報などが一時的に記録される。それら各種画像および情報の詳細については後述する。
【００２８】
記憶部８は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどにより構成される大容量記憶媒体であり、撮像装置１によって撮像された画像を保存するためのものである。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
【００２９】
音声出力部９は、通知制御部３５による制御に従い、ユーザに対する誘導指示、メッセージ伝達のための音声メッセージなどの各種音声を出力するための音声出力手段である。発光部１０は、例えばＬＥＤ（Light Emitting Diode）を用いて構成され、通知制御部３５による制御に従い、点灯、点滅などによってユーザに対して誘導指示、メッセージ伝達を行うための発光手段である。
【００３０】
表示部１１は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部１１には撮像時においてはスルー画が表示される。上述したように、信号処理部５においては、撮像信号に所定の処理が施されることにより１枚の静止画に相当する画像データが生成される。この１枚の静止画に相当する画像データの生成が継続して行われることにより、動画におけるフレーム画像に相当する画像データが順次生成される。そして、その順次生成される画像データを表示部１１に出力することにより、表示部１１には、静止画単位の画像が連続して順次的に表示される。これにより、スルー画が表示される。
【００３１】
また、表示部１１では、記憶部８に保存されている画像の表示も行われる。制御部１３がユーザによって入力部１２を介して指令された画像データを記憶部８から読み出し、それが表示部１１に出力されることにより画像の再生表示が行なわれる。これにより、ユーザには記憶部８に保存されている画像を見ることができる。
【００３２】
さらに、表示部１１には入力手段としてのタッチパネルにおけるソフトボタン、各種ハードボタンの説明アイコン、撮像装置１の各種設定を行うためのメニュー画面などのユーザインターフェース画像も表示される。制御部１３は、撮像装置１の動作状態、モードなどに応じて必要なユーザインターフェース画像としての画像データを生成し、これを表示部１１に出力する。これにより、表示部１１にはユーザインターフェース画像が表示されることになる。ユーザインターフェース画像は、スルー画や再生表示されている画像データ上に重畳させた状態で表示させることも可能である。
【００３３】
入力部１２は、例えばキー、ボタン、ダイヤル、タッチパネル、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、その他各種入力を受け付けるタッチパネルなどからなる入力手段である。入力部１２に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１３に出力される。そして、制御部１３はその制御信号に対応した演算処理や制御を行う。
【００３４】
制御部１３は、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）から構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１全体の制御を行う。また、制御部１３は、所定のプログラムを実行することにより、背景物画像生成部３１、本画像条件設定部３２、背景物検出部３３、顔検出部３４、通知制御部３５、記録制御部３６および画像加工部３７として機能する。
【００３５】
背景物画像生成部３１は、表示部１１に背景物条件用画面を表示し、ユーザにより背景物の指定が行われたら、背景物検出用画像を生成する。これにより背景物が設定される。背景物画像生成部３１は特許請求の範囲における背景物設定手段に相当するものである。生成された背景物検出用画像は背景物検出部３３による背景物の検出において用いられる。
【００３６】
本画像条件設定部３２は、表示部１１に本画像条件用画面を表示し、ユーザにより目標顔位置の指定が行われたら、その指定された目標顔位置を本画像条件として設定する。本画像条件とは、ユーザが最終的に生成される本画像において顔をどこに位置させたいかを示すものである。後述する画像加工処理の１つである顔位置調整処理ではこの本画像条件を満たすように画像の加工が行われる。
【００３７】
背景物検出部３３は、背景物画像生成部３１により生成された背景物検出用画像を利用したテンプレートマッチングによる背景物の検出を行い、自分撮り時において背景物が画枠内に入っているか否かを判定するものである。背景物が画枠内に入っているか否かを背景物条件と定義する。背景物検出部３３による判定の詳細については後述する。
【００３８】
顔検出部３４は、例えばテンプレートマッチングにより、自分撮り時において画枠内にユーザの顔が入っているか否かの検出を行う。そして、検出された顔が顔条件を満たすか否かを判定するものである。顔条件とは、自分撮り時における画枠内の顔の位置についての条件であるが、本画像における目標顔位置としての本画像条件よりもゆるい条件である。本実施の形態においては上述した背景物条件を満たし、かつ、顔条件を満たす場合に撮像が行われる。顔条件および顔検出部３４による判定の詳細については後述する。
【００３９】
通知制御部３５は、顔検出部３４により検出された顔の位置が顔条件を満たすことができるようにスピーカ２２から出力される音声、ＬＥＤ２３の発光などによる誘導情報の通知の制御を行うものである。さらに、通知制御部３５は、背景物検出部３３により背景物条件を満たすと判定された場合、および、顔検出部３４により顔条件を満たすと判定された場合、その判定結果に従い、ユーザに対して行うその旨の通知の制御も行うものである。通知制御の詳細については後述する。
【００４０】
記録制御部３６は、自分撮り時において、背景物検出部３３により背景物条件を満たすと判定され、かつ、顔検出部３４により顔条件を満たすと判定された場合に信号処理部５から出力された画像データを予備画像としてバッファメモリに保存するように制御を行うものである。記録制御部３６は特許請求の範囲における記録手段に相当する。
【００４１】
画像加工部３７は、自分撮りにより生成された予備画像に対して所定の画像加工処理を施して本画像の生成を行うものである。図２は、所定のプログラムを実行する制御部１３によって実現される画像加工部３７の機能の詳細を示すブロック図である。画像加工部３７は、切り出し領域設定部４１、背景物位置判定部４２、画像切り出し部４３、拡大処理部４４、傾き検出部４５、画像回転部４６、背景物種別設定部４７、重心算出部４８、顔向き検出部４９とからなる。画像加工部３７を構成する各部の詳細および画像加工部３７により行われる画像加工処理の詳細については後述する。
【００４２】
図３は、本技術に係る撮像装置１の外観構成を示す図である。図３Ａは正面図、図３Ｂは背面図、図３Ｃは上面図である。撮像装置１は、扁平な横長の略直方体状に形成されている。
【００４３】
撮像装置１の前面には撮像レンズ２１が設けられている。ユーザはこの撮像レンズ２１を自分の方向に向けて自分撮りを行う。また、撮像装置１の前面にはスピーカ２２が設けられている。スピーカ２２は、ブロック図における音声出力部９に相当し、ユーザに対して誘導指示のための音声などの各種音声を出力する音声出力手段である。さらに、撮像装置１の前面にはＬＥＤ２３が設けられている。ＬＥＤ２３は、ブロック図における発光部１０に相当し、発光、点滅することによってユーザに対して誘導指示、各種メッセージの伝達を行うためのものである。
【００４４】
撮像装置１の上面には撮像時にユーザにより押圧操作されるレリーズボタン２４が設けられている。レリーズボタン２４は、オートフォーカス用、被写体検出用の検出指示用、レリーズ指示入力用およびその他の指示用の入力手段として機能する。例えば、レリーズボタン２４を途中まで押下（半押し）することで検出指示が入力され、レリーズボタン２４を最後まで押下（全押し）することで、レリーズ指示が入力される。レリーズボタン２４はブロック図における入力部１２に含まれるものである。
【００４５】
撮像装置１の背面にはモニター２５が設けられている。モニター２５は、ブロック図における表示部１１に相当し、ＬＣＤ、ＰＤＰ、有機ＥＬパネルなどからなる表示手段である。モニター２５には、スルー画、撮像により得られた画像、ユーザインターフェース画像などが表示される。
【００４６】
また、撮像装置１の背面にはモニター２５と一体的に構成されたタッチパネル２６が設けられている。タッチパネル２６は例えば静電容量方式によるタッチパネルである。タッチパネル２６はユーザが指を接触させることにより撮像装置１に各種入力を行うことができる入力手段として機能するものである。タッチパネルはブロック図における入力部１２に含まれるものである。
【００４７】
タッチパネル２６は、操作面上の複数の箇所に同時になされた操作のそれぞれを検出し、その接触位置のそれぞれを示す座標データを出力することができる。また、タッチパネル２６は、操作面に対して繰り返しなれた操作のそれぞれを検出し、そのそれぞれの接触位置を示す座標データを出力することもできる。
【００４８】
これにより、タッチパネル２６は、いわゆるタップ入力、ダブルタップ入力、ドラッグ操作、ピンチ操作、フリック操作などのユーザからの様々な入力、操作を受け付けて、それらを検出することができる。
【００４９】
タップ入力とは、ユーザの指などを操作面上に短時間１回だけ接触させる入力動作である。ダブルタップ入力とは、指などを操作面上に短い間隔で連続して２回接触させる入力動作である。これらは主に決定の入力などに用いられる。
【００５０】
また、ドラッグ操作とは、ユーザの指などを操作面上に接触させたまま移動させる入力動作である。これにより例えば、モニター２５に表示されている領域を示す枠の移動指示などの入力が可能となる。フリック操作とは、ユーザの指など操作面上の１点を指示してから、そのまま任意の方向に素早くはじくようにする入力動作である。これにより、例えば、記憶部８に保存されている複数の画像をモニター２５に表示させて見る際に、画像をめくるようにして切り替えることができる。
【００５１】
また、ピンチ操作は、まず、ユーザの２本の指などを同時に操作面上に接触させて、次にその２本の指などを開いたり、つまむように閉じたりする入力動作である。ピンチ操作により例えば、モニター２５に表示されている領域を示す枠の拡大、縮小などの入力が可能となる。なお、ピンチ操作において、接触させた２本の指などを開く操作をピンチアウト操作、２本の指などを閉じる操作をピンチイン操作と称する。
【００５２】
［２−１．撮像装置により行われる処理］
撮像装置１は上述のように構成されている。次に、自分撮りの際に行われる処理について説明する。図４は自分撮りの全体フローを示すフローチャートである。まず、ステップＳ１で図５に示すようなモード切り替え画面１００がモニター２５に表示される。図５に示す例では、撮像装置１において通常の撮像を行うための通常モードを示すＮｏｒｍａｌボタン１０１と、自分撮りを行うための自分撮りモードを示すＳｅｌｆボタン１０２の二つのソフトボタンが表示されている。「通常モード」とは、自分撮りではなく、モニター２５に表示されるスルー画を見ながら自分以外の被写体方向にレンズを向けて撮像を行うモードである。
【００５３】
そして、ユーザがＮｏｒｍａｌボタン１０１とＳｅｌｆボタン１０２のうちのいずれか一方のソフトボタンの位置に指を接触させることによってモードの選択が行われると、次にステップＳ２で、その選択されたモードへの遷移が行われる。モードが遷移すると、それ以降、撮像装置１によってその選択されたモードに基づく表示、処理などが行われる。以下、ユーザによりＳｅｌｆモード（自分撮りモード）が選択されたものとして説明を行う。
【００５４】
Ｓｅｌｆモード（自分撮りモード）が選択されると、次に、ステップＳ３で「背景物条件／本画像条件設定」処理が行われ、そして、ステップＳ４の「自分撮り処理」が行われる。ステップＳ３における「背景物条件／本画像条件設定」およびステップＳ４の「自分撮り処理」の詳細については別フローチャートを参照して説明する。
【００５５】
図６は、図４のフローチャートにおけるステップＳ３の「背景物条件／本画像条件設定」の詳細を示すフローチャートである。まず、ステップＳ３１でモニター２５に図７に示すような背景物条件／本画像条件選択画面２００が表示される。背景物条件／本画像条件選択画面２００においては、ユーザが背景物条件モードを選択するための背景物条件モードボタン３００と、本画像条件モード選択のための本画像条件モードボタン４００とが表示される。
【００５６】
ここで、背景物条件設定処理とは、自分撮りを行う際に背にする背景を構成する様々な被写体の中からユーザが最終的に生成される本画像内に収めたい被写体（背景物）の指定を行うことである。指定された背景物が画枠内に収まることが背景物条件となる。また、本画像条件設定処理とは、ユーザが本画像において自分の顔を配置させたい位置を指定することである。その指定された位置に顔が一致することが本画像条件となる。
【００５７】
「２−２−１．背景物条件設定」
以下、背景物条件設定処理について説明する。ステップＳ３２で、背景物条件モードボタン３００に対して入力が行われたか否かが判定される。背景物条件モードボタン３００に対して入力が行われた場合（ステップＳ３２のＹｅｓ）、処理はステップＳ３３に進み、モニター２５に背景物条件用画面が表示される。背景物条件用画面は例えば、図８に示すものである。背景物条件用画面においてはまず、背景物条件モードが選択されたことを示すために、図８Ａに示すように背景物条件モードボタン３００が反転表示される。その後、図８Ｂに示すようにスルー画３０１が表示される。次にステップＳ３４で、背景物条件設定が行われたか否かが判定される。
【００５８】
ユーザがスルー画３０１として表示されている背景中の任意の場所に対応するタッチパネル２６の操作面に指を接触させて入力を行うと、図８Ｃに示すようにその接触位置を中心とした所定のサイズの長方形の枠（以下、背景物指定枠３０２と称する。）がスルー画３０１上に重畳した状態で表示される。この背景物指定枠３０２に囲まれた範囲内の画像が背景物として指定されることとなる。
【００５９】
背景物指定枠３０２は、その位置、形状およびサイズが変更可能となっている。例えば、指を背景物指定枠３０２内に接触させた状態でドラック操作を行うことによって背景物指定枠３０２の位置を変更可能とする。また、指を背景物指定枠３０２を構成する各辺のいずれかに接触させた状態でドラック操作を行うことによって、背景物指定枠３０２をその辺の方向に延長させて形状を変更可能とする。さらに、背景物指定枠３０２上に２本の指を接触させて、ピンチアウト操作を行うことによって背景物指定枠３０２のサイズを拡大、ピンチイン操作を行うことによってサイズの縮小を可能とする。これらの各種操作で背景物指定枠３０２を任意の位置、形状およびサイズに調整することによってユーザは背景物を的確に指定することができる。また、例えば、背景物指定枠３０２内をタップすることにより背景物にピントを合わせるようにしてもよい。
【００６０】
そして、ユーザは背景物指定枠３０２の位置、形状およびサイズが決定したら、すなわち、指定する背景物が決定したら、例えば、背景物指定枠３０２内をダブルタップすることにより、背景物指定の決定入力を行う。なお、背景物指定の決定入力の方法は他にも、レリーズボタン２４を半押しする、という手法を採用してもよい。このようにして指定された背景物が自分撮り時において画枠内に入ることが背景物条件である。すなわち、背景物指定時と自分撮り時において背景全体が一致している必要はなく、背景の構成物である背景物のみが一致していればよい。よって、自分撮りにおいてユーザは撮像装置１のレンズの方向の細かい調整を行う必要がなく、所望の背景物を収めた自分撮りを容易に行うことができる。
【００６１】
決定入力が行われたら、背景物条件が設定されたとして処理はステップＳ３５に進む（ステップＳ３４のＹｅｓ）。そして、ステップＳ３５で、背景物指定枠３０２内の画像に基づいて背景物検出用画像３１１が生成されてバッファメモリ７に保存される。この背景物検出用画像３１１は、自分撮りにおける背景物検出部３３による判定に用いられる。
【００６２】
なお、本実施の形態においては、背景物指定枠３０２内に存在する背景物の物体認識は行っておらず、背景物指定枠３０２内の画像そのものを背景物検出用画像３１１としている。ただし、物体認識を行うことを否定するものではなく、例えば、テンプレートマッチングなどによる物体認識を行い、背景物の指定を行うようにしてもよい。物体認識を行うことにより、より高精度な背景物指定を行うことができる。
【００６３】
ここで、ステップＳ３５における背景物検出用画像３１１の生成について図９のフローチャートおよび図１０を参照して説明する。まず、ステップＳ３５１で上述したダブルタップなどの背景物の決定入力をトリガーとして高速連写が行われる。これにより、背景物検出用画像３１１の生成に用いられる複数枚（本実施の形態においては２枚）の画像（以下、背景物生成用画像３１２と称する。）が取得される。図１０Ａはそのようにして取得された２つの背景物生成用画像３１２Ａ、３１２Ｂである。
【００６４】
次にステップＳ３５２で、２つの背景物生成用画像３１２Ａ、３１２Ｂ間における画像全体のズレが算出される。このズレは２つの背景物生成用画像３１２Ａ、３１２Ｂそれぞれの画像全体における動きベクトルを算出することにより求めることができる。例えば、２つの背景物生成用画像３１２Ａ、３１２Ｂ間でマッチング処理を行い、２つの背景物生成用画像３１２Ａ、３１２Ｂの一致性を計算することにより動きベクトルにあたる画素ずれを算出する。または、２つの背景物生成用画像３１２Ａ、３１２Ｂにおいてそれぞれ、何らかの特徴点を複数検出し、それら２つの背景物生成用画像３１２Ａ、３１２Ｂ間で特徴点の対応付けを行うことで背景物生成用画像３１２Ａ、３１２Ｂ間の画像全体のズレを求める。
【００６５】
次にステップＳ３５３で、図１０Ｂに示すように、２つの背景物生成用画像３１２Ａ、３１２Ｂを共に所定のサイズのブロックに分割し、対応するブロックごとにズレとして動きベクトルを求める。次にステップＳ３５４で、ステップＳ３５３で算出された各ブロックのズレと、ステップＳ３５２で算出された背景物生成用画像３１２Ａ、３１２Ｂ間における画像全体のズレとを比較する。この比較により、各ブロックのうち、背景物生成用画像３１２Ａ、３１２Ｂ間における画像全体のズレとは異なるズレが生じているブロックを「ズレブロック」として求める。ズレの比較は、背景物生成用画像３１２Ａ、３１２Ｂ間における画像全体についてズレとして求めた動きベクトルと各ブロックのズレとして求めた動きベクトルとを比較することにより求めることができる。
【００６６】
次にステップＳ３５５で、２つの背景物生成用画像３１２Ａ、３１２Ｂのうちいずれか一方から「ズレブロック」にあたる部分を除くことにより背景物検出用画像３１１が生成される。生成された背景物検出用画像３１１はバッファメモリ７に保存される。図１０Ｃはこのようにして生成された背景物検出用画像３１１の一例を示すものである。この背景物検出用画像３１１においては左側の木の葉が写っていた部分が欠けている。この欠けている部分が除かれた「ズレブロック」に相当する部分である。
【００６７】
なお、２つの背景物生成用画像３１２Ａ、３１２Ｂは以後利用されることはないため、保存せず破棄してもよい。このようにして、例えば葉っぱなどの動的な部分が除かれ、動いていない静的な部分のみによって背景物検出用画像３１１が構成される。したがって、動的な部分によるノイズを低減し、背景物検出用画像３１１を用いた背景物検出の精度を高めることができる。
【００６８】
上述の説明では背景物生成用画像を２つ用いて背景物検出用画像を生成する場合を例として挙げたが、用いる背景物生成用画像の数は２つに限られない。高速連写によりさらに多くの背景物生成用画像を取得し、それらを用いて背景物検出用画像を生成してもよい。
【００６９】
次に図６の「背景物条件／本画像条件設定」のフローチャートの説明に戻る。「背景物条件／本画像条件設定」では、次にステップＳ３６で、本画像条件モードボタン４００に対して入力が行われたか否かが判定される。本画像条件モードボタン４００に対して入力が行われた場合（ステップＳ３６のＹｅｓ）、処理はステップＳ３７に進み、本画像条件用画面が表示される。
【００７０】
「２−２−２．本画像条件設定」
以下、本画像条件設定処理について説明する。ステップ３７でモニター２５に本画像条件用画面が表示される。本画像条件用画面は例えば、図１１に示すものである。本画像条件用画面においてはまず、本画像条件モードが選択されたことを示すために、図１１Ａに示すように、本画像条件モードボタン４００が反転表示される。次に、図１１Ｂに示すように、指定可能な位置を示す複数の顔アイコン４１０が表示される。図１１Ｂに示す例ではモニター２５には縦３×横３の合計９つの顔アイコン４１０が表示されている。それら各顔アイコン４１０の中心が目標顔位置４１１となる。上述のように、最終的に生成される本画像において、この目標顔位置に顔が一致することが本画像条件である。
【００７１】
次に、ステップＳ３８で本画像条件としての目標顔位置の指定が行われたか否かが判定される。目標顔位置指定は、ユーザがモニター２５に表示されている複数の顔アイコン４１０のうち、任意の顔アイコン４１０に指を接触させることにより行われる。指定された顔アイコン４１０は図１１Ｃに示すように反転表示される。そして、目標顔位置４１１の指定が行われると（ステップＳ３８のＹｅｓ）、処理はステップＳ３９に進み、指定された顔アイコン４１０に対応する位置が本画像条件としてバッファメモリ７に保存される。
【００７２】
なお、目標顔位置の指定をユーザに促す本画像条件用画面は図１１に示すものに限られない。図１１では縦３×横３の合計９つの顔アイコン４１０が表示される例を挙げたが、顔アイコン４１０の数はそれに限られず、例えば、縦２×横２の合計４つ、縦４×横４の合計１６個の顔アイコンを表示するようにしてもよい。
【００７３】
また、ユーザが複数の顔アイコン４１０を指定することができるようにしてもよい。図１１Ｄに示す例では、右側の縦に並んだ３つの顔アイコン４１０が指定されている。例えば、ユーザが顔を画枠内において右側に位置させたいが上下の位置は問わないという場合には図１１Ｄに示すように複数の顔アイコンを指定することができるようにするとよい。
【００７４】
また、顔アイコン４１０は表示せず、例えば、ユーザがタッチパネル２６の操作面の任意の位置に指を接触させて入力を行うと、図１２Ａに示すようにその接触位置を中心とした所定のサイズの顔位置指定枠４０２が表示されるようにしてもよい。この顔位置指定枠４０２に囲まれた範囲内が目標顔位置として指定される。
【００７５】
顔位置指定枠４０２は、その位置およびサイズが変更することが可能となっている。例えば、指を顔位置指定枠４０２内に接触させた状態でドラック操作を行うことによってその位置を変更可能とする。さらに、顔位置指定枠４０２上に２本の指を接触させて、ピンチアウト操作を行うことによって顔位置指定枠４０２のサイズを拡大、ピンチイン操作を行うことによって縮小を可能とする。
【００７６】
これら各種操作で顔位置指定枠４０２を任意の位置およびサイズに調整することによってユーザは任意の顔位置を指定することができる。そして、ユーザは顔位置指定枠４０２の位置およびサイズが決定したら、例えば、顔位置指定枠４０２内をダブルタップすることにより顔領域の決定入力を行う。なお、決定入力の方法は他にも、レリーズボタン２４を半押しする、という手法を採用してもよい。
【００７７】
また、図１２Ｂに示すように、撮像装置１が備える入力手段としての十字キー（図示せず。）などに対するユーザの入力に応じて、その顔位置指定枠４０２が移動するようにしてもよい。
【００７８】
さらに、図１２Ｃに示すように、数値入力を行うことにより顔位置指定枠４０２の位置およびサイズを変更することができるようにしてもよい。図１２Ｃの例では、顔位置指定枠４０２のＸ座標、Ｙ座標およびサイズが入力可能であり、入力された値に応じて顔位置指定枠４０２の移動、サイズの変更が行われる。図１２Ｂおよび図１２Ｃに示す例は、入力手段がタッチパネル２６ではなくボタンや十字キーなどである場合に有効であると考えられる。
【００７９】
一方、ステップＳ３６で、本画像条件モードボタン４００に対して入力が行われないと判定した場合、処理はステップＳ４０に進む（ステップＳ３６のＮｏ）。そして、ステップＳ４０で本画像条件が予め定められたデフォルトの条件に設定される。デフォルトの条件としては例えば画枠内全体が考えられる。ユーザが、本画像においては顔の位置は問わず、画枠に顔が入っていればどこでもよいと考える場合には、本画像条件が画枠内全体に設定するようにするとよい。また、デフォルトの条件としては画枠の中央も考えられる。
【００８０】
以上で「背景物条件／本画像条件設定」は終了となる。なお、上述の説明では、背景物条件設定がなされた後、本画像条件設定が行われるという順序で説明を行った。しかし、順序はそれに限られず、先に本画像条件設定を行い、その後に背景物条件設定を行うようにしてもよい。
【００８１】
背景物条件設定が先に行われ、その後に本画像条件設定が行なわれる場合、背景物検出用画像生成時における画枠全体の画像（以下、背景物条件設定時画像５０１と称する。）を生成してバッファメモリ７に保持しておく。そして、図１３Ａに示すように、モニター２５に背景物条件設定時画像５０１を表示させ、その上に顔アイコン４１０を重畳するように表示させてもよい。これにより、背景物の位置、サイズなどを考慮しながら顔位置の指定を行うことができる。
【００８２】
また、逆に、先に本画像条件設定が行われ、その後に背景物条件設定が行われる場合、図１３Ｂに示すように、スルー画３０１の表示に重畳させて、事前に指定されている顔位置を示すように指定済み顔位置アイコン５０２を表示させておくとよい。これにより、ユーザは背景物指定枠３０２の設定中においても自分が指定した顔位置を常に認識することができるので、顔と背景物の位置関係を容易に把握することができる。
【００８３】
「２−２−３．自分撮りの際に行われる処理」
次に、図４の全体フローにおけるステップＳ４の「自分撮り」処理の詳細を図１４のフローチャートに基づいて説明する。なお、「自分撮り」処理の開始前（「背景物条件／本画像条件設定」処理が終了した時点）に例えば、「カメラを自分に向けてください。」などのメッセージを音声としてスピーカ２２から出力するようにするとよい。または、「カメラを自分に向けてください。」などの文字列をモニター２５に表示してもよい。このようにして「背景物条件／本画像条件設定」処理が終了して自分撮りが可能となったことをユーザに通知するとよい。
【００８４】
まず、ステップＳ４１で、背景物検出部３３により背景物条件を満たすか否かが判定される。上述したように、背景物条件とは画枠内に背景物が入ることである。よって、ステップＳ４１における判定は、スルー画を構成する画像の画枠内において背景物が検出されるか否かに基づいて行われる。背景物の検出は、テンプレートマッチング処理により行われる。そして、テンプレートマッチングに用いられるテンプレート画像として、背景物画像生成部３１により生成された背景物検出用画像が用いられる。
【００８５】
具体的には、図１５Ａに示すように、まず、テンプレート画像として用いられる背景物検出用画像３１１がバッファメモリ７から読み込まれる。また、検出対象であるスルー画を構成している画像（以下、スルー画用画像３０１Ａと称する。）にテンプレート画像である背景物検出用画像３１１とのマッチングを行うための探索領域が設定される。なお、スルー画を構成する画像全てに対してテンプレートマッチング処理を行うと処理が重くなってしまう。そこで、スルー画よりも更新頻度の低い画像をスルー画から用意して、その画像に対してテンプレートマッチング処理を行うようにしてもよい。
【００８６】
そして、図１５Ｂに示すように、スルー画用画像３０１Ａに設定された探索領域の位置を検出対象である画像内で所定量ずつ、例えば１画素ずつ移動させながら、それぞれの位置における探索領域内の画像と背景物検出用画像３１１との類似度を算出する。類似度の算出は例えば、残差法、相互相関法などの手法を用いて行われる。そして、画像全体に対して類似度の算出を行い、類似度が最大となる探索領域に背景物が存在すると判断することにより背景物の検出を行う。
【００８７】
このようにして、スルー画用画像３０１Ａ内に背景物が存在する場合には図１５Ｃに示すように背景物が検出される。図１５Ｃに示す背景物検出用画像３１１と同形の枠は背景物として検出された領域（以下、背景物領域６０１と称する。）を示すものである。なお、背景物の全体が画枠内に入っておらず、背景物の一部が画枠内に入っている場合には、背景物検出用画像３１１の所定量の面積（例えば、７５％など）との関係で類似度が最大になった場合に背景物条件を満たすと判断するようにしてもよい。
【００８８】
背景物検出部３３により背景物が検出され、背景物条件を満たすと判定された場合、背景物領域の位置、サイズ、画枠に対する傾きは背景物領域情報として、自分撮りによって生成される予備画像に関連付けられてバッファメモリ７に保存される。さらに、背景物指定時における背景物指定枠３０２のサイズも背景物指定枠サイズ情報として予備画像に関連付けられて保存される。背景物領域情報および背景物指定枠サイズ情報は後述する画像加工処理に用いられる。
【００８９】
そして、ステップＳ４１において画枠内において背景物が検出された場合、すなわち背景物条件を満たしていると判定された場合、次にステップＳ４２で通知制御部３５の制御に基づき、ユーザに対して、背景物条件を満たしている旨の通知が行われる。これにより、ユーザは事前に指定した背景物が画枠内に入ったことを知ることができる。通知方法としては例えば、スピーカ２２から予め定められた音色の音を出力する、または、「背景物が入りました。」などの音声メッセージを出力する方法などが挙げられる。また、音声以外の手法として、ＬＥＤ２３を予め定められた色で発光させることにより通知を行ってもよい。
【００９０】
ステップＳ４１で背景物条件を満たしていないと判定された場合（ステップＳ４１のＮｏ）、ステップＳ４２でユーザに対して通知を行った場合（ステップＳ４１のＹｅｓ）共に、次にステップＳ４３で、顔検出部３４により顔条件を満たすか否かが判定される。顔条件を満たすか否かは、まず、本画像条件として設定された目標顔位置を含んだ所定のサイズの顔条件範囲を設定し、その顔条件範囲に顔が重なるか否かで判断される。顔条件範囲に顔が一部でも重なる場合には顔条件を満たすと判定される。ステップ４３における判定はおいては、まず、顔検出部３４によりスルー画用画像中からユーザの顔の検出が行われる。
【００９１】
顔検出部３４による顔検出は例えば、背景物検出と同様にテンプレートマッチング処理により行われる。具体的には、まず、検出対象であるスルー画用画像に顔検出用のテンプレート画像とのマッチングを行うための矩形枠を探索領域として設定する。次に、その探索領域画像内で所定量ずつ移動させながら、それぞれの位置における探索領域内の画像とテンプレート画像との類似度を算出する。そして、画像全体に対して類似度の算出を行い、類似度が最大の探索領域に顔が存在すると判断することにより顔の検出を行う。なお、顔検出方法としては、他に、顔の輝度分布情報が記録されているテンプレートとのマッチングによる方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて顔検出の精度を高めるようにしてもよい。
【００９２】
また、所定の登録操作を行うことにより、ユーザおよび撮像装置１を頻繁に利用する者の顔をテンプレート画像として予め登録しておき、そのテンプレート画像を用いたテンプレートマッチング処理に顔検出を行うようにしてもよい。
【００９３】
顔検出部３４により顔として検出された領域（以下、顔領域と称する。）の位置、サイズは顔領域情報として、自分撮りによって生成される予備画像に関連付けられてバッファメモリ７に保存される。
【００９４】
そして、検出された顔領域が顔条件を満たすか否かの判定が行われる。ここで、図１６乃至図１８を参照して顔条件を満たすか否かの判定について説明する。
【００９５】
図１６は、顔検出部３４による判定の第１の手法について説明する図である。図１６Ａに示される顔アイコンの中心が本画像条件設定部３２により設定された本画像条件としての目標顔位置４１１である。その目標顔位置４１１を中心として矩形の顔条件範囲６１０が設定される。なお、顔条件範囲６１０は顔アイコンと同一のサイズの円形状にしてもよい。
【００９６】
そして、本実施の形態では、図１６Ｂに示すように、検出された顔領域６２０が顔条件範囲６１０にわずかにでも重なった場合に顔条件を満たすと判定される。なお、当然、顔領域６２０全体が顔条件範囲６１０に重なった場合にも顔条件を満たすと判定される。また、顔領域６２０の中心が顔条件範囲６１０内位置した場合に顔条件を満たすと判定するようにしてもよい。一方、図１６Ｃに示すように、顔領域６２０と顔条件範囲６１０とが離間している場合には顔条件を満たすとは判定されない。
【００９７】
本願開示の撮像装置においては、顔領域６２０が顔条件範囲６１０に完全に重なった場合、または顔領域６２０の大部分が顔条件範囲６１０に重なった場合に顔条件を満たすと判定するのではなく、わずかにでも重なった場合に顔条件を満たすと判定する。これにより、ユーザは自分撮りの際に顔を目標顔位置４１１に正確に一致させる必要がなくなる。なお、このようにして本画像条件としての目標顔位置４１１よりもゆるい顔条件としての顔条件範囲６１０を設定すると、顔は目標顔位置４１１からずれた状態で撮像がなされることになる。そこで、本技術では、後述する画像加工処理によって、顔を目標顔位置４１１に一致させて本画像条件を満たすように画像加工を行う。画像加工の詳細については後述する。
【００９８】
次に、顔検出部３４による判定の第２の手法について説明する。第２の手法では、図１７Ａに示すように目標顔位置４１１を基準として顔条件範囲６１０よりもサイズが大きい予備顔条件範囲６１１を設定する。そして、図１７Ｂに示すように顔領域６２０が顔条件範囲６１０ではなく予備顔条件範囲６１１にわずかにでも重なった場合に顔条件を満たすと判定する。
【００９９】
自分撮りにおいては、ユーザはスルー画を見ることはできず、自らの顔を目標顔位置４１１または顔条件範囲６１０に接近させるのは困難である。よって、顔条件範囲６１０よりもさらに広い予備顔条件範囲６１１を設定することによって、顔条件を満たすとの判定を得ることをさらに容易にすることができる。なお、予備画像取得後、画像加工処理によって顔を目標顔位置４１１に一致させる点については第１の手法と同様である。
【０１００】
顔条件範囲６１０および予備顔条件範囲６１１はユーザによって設定されるのではなく、ユーザが本画像条件として目標顔位置４１１の指定を行うとそれに伴なって自動的に設定されるものとする。ただし、顔条件範囲６１０および予備顔条件範囲６１１が目標顔位置４１１を基準としてどの程度のサイズに設定されるかはユーザが設定可能にしてもよい。
【０１０１】
次に、顔検出部３４による判定の第３の手法について説明する。第３の手法では、まず、図１８Ａ、図１８Ｂに示すように目標顔位置４１１と検出された顔領域６２０の中心との距離を算出する。そして、その距離が所定の閾値以下であるか否かを判断することによって、顔条件を満たすか否かの判定を行う。
【０１０２】
図１８Ａに示す状態では、算出された距離が閾値以上であるため、顔条件を満たしてはいないと判定される。一方、図１８Ｂに示す状態では、距離が閾値以下となったため、顔条件を満たすと判定される。この判定の基準となる閾値はデフォルトで所定の値に設定されていてもよく、ユーザが任意の値に設定できるようにしてもよい。
【０１０３】
一方、本画像条件としての目標顔位置４１１の指定が行われない場合には、目標顔位置４１１はデフォルトの位置に設定される。例えば、デフォルトの位置が画枠全体である場合には、顔が画枠内に入った時点で顔条件を満たすと判定される。
【０１０４】
そして、ステップＳ４３において、顔条件を満たすと判定された場合（ステップＳ４３のＹｅｓ）は、次にステップＳ４４で、通知制御部３５による制御に基づいて、ユーザに対して、顔条件を満たしている旨の通知が行われる。これにより、ユーザは事前に指定しておいた顔条件を満たし、顔が目標顔位置４１１に接近しているということを知ることができる。
【０１０５】
通知方法としては例えば、スピーカ２２から予め定められた音色の音を出力する、または、「顔が目標位置に一致しました。」などの音声メッセージを出力するなどが挙げられる。また、音声以外の手法として、ＬＥＤ２３を予め定められた色で発光させることにより通知を行ってもよい。ただし、背景物条件を満たす旨の通知と区別するために、音色、ＬＥＤ２３の色、発光方法は背景物条件を満たす旨の通知で用いるものとは異なるものにするとよい。また、背景物条件についてはスピーカ２２からの音声で通知を行い、顔条件についてはＬＥＤ２３によって通知を行うなど通知手段と通知内容を対応付けてもよい。
【０１０６】
ステップＳ４３で顔条件を満たしていないと判定された場合（ステップＳ４３のＮｏ）、ステップＳ４４でユーザに対して通知を行った場合（ステップＳ４３のＹｅｓ）共に、次にステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすか否かが判定される。これはすなわち、自画撮りの準備が整った否かを判定するステップであるといえる。
【０１０７】
ステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすとは判定されない場合、すなわち、自画撮りの準備が整ってはいないと判定された場合（ステップＳ４５のＮｏ）、処理はステップＳ４６に進む。そして、ステップＳ４６で通知制御部３５による制御に基づいて、ユーザに対して、顔条件を満たすように誘導情報の通知が行われる。
【０１０８】
誘導情報の通知方法としては、例えば、予めＲＯＭなどに記憶されておりスピーカ２２から出力される音声によるもの、ＬＥＤ２３の発光によるもの、バイブレータ（図示せず。）の振動によるものなどがある。そして、検出された顔と顔条件範囲６１０との距離応じて、音声内容を変更するようにするとよい。例えば、音声による通知の場合、顔と目標顔位置４１１との距離が大きく離れている場合には「もっと右」と出力し、顔と目標顔位置４１１との距離が近づいた場合には「もう少し右」と出力するなどである。
【０１０９】
通知の手法について図１９を参照して説明する。図１９Ａに示す例では、画枠内を顔条件範囲６１０とその周辺の６つの領域（以下、目標外領域と称する。）に分割している。そして、目標外領域ごとに異なる誘導用音声を対応させておく。例えば、目標顔位置４１１から遠い目標外領域（１）および（６）には「もっと左（右）」、という音声を割り当てておき、目標外領域（２）（５）には「もう少し左（右）」という音声を割り当てておく。また、目標外領域（３）には「もっと下」という音声を割り当てておき、目標外領域（４）には「もっと上」という音声を割り当てておく。そして、検出された顔領域の位置に応じて各目標外領域に割り当てられた誘導用音声を出力する。これにより、顔の位置に応じた誘導情報の通知を行うことができる。
【０１１０】
なお、当然、顔条件範囲６１０の場所によって領域の分割の仕方などは変更される。例えば、目標顔位置４１１が右下である場合には図１９Ｂに示すように分割が行われる。なお、図１９Ａおよび図１９Ｂに示す目標外領域は一例にすぎず、分割の仕方、分割数および各目標外領域への音声の割り当ては様々なパターンを採用することが可能である。
【０１１１】
また、目標顔位置４１１と共に目標顔サイズも指定している場合には、「もっと手前」「もう少し手前」、「もっと奥」、「もう少し奥」というような誘導音声を出力するとよい。
【０１１２】
また、各目標外領域に誘導用の声ではなく、ビープ音を割り当てるようにしてもよい。ビープ音を割り当てる場合には、目標外領域ごとに異なる高さ、長さ、出力間隔などが異なるビープ音を割り当てるとよい。例えば、図１９Ａにおいては、目標外領域（１）、（２）、（５）、（６）の左右方向の誘導については音程の高いビープ音で誘導を行い、目標外領域（３）、（４）の上下方向の誘導については音程の低いビープ音で誘導を行う。そして、顔条件範囲６１０から遠い目標外領域（１）および（６）には出力間隔が長いビープ音を割り当てておき、目標外領域（２）（５）には出力間隔が短いビープ音を割り当てておく。これにより、顔が顔条件範囲６１０に近づくとビープ音の出力間隔が短くなるため、ユーザは感覚的に顔が顔条件範囲６１０に近づいているということ認識することができる。
【０１１３】
なお、顔が顔条件範囲６１０に近づくにつれて、「ピ・・ピ・・ピ・・」から「ピピピピ」というようにビープ音の出力間隔が短くする場合は、顔条件を満たす旨の通知として、「ピーーーー」というような発音時間が長いビープ音を出力することも考えられる。これにより、ユーザは顔条件を満たしたことを感覚的に認識することができると考えられる。なお、上述した領域へのビープ音の割り当ては一例にすぎず、様々なパターンを採用することが可能である。
【０１１４】
さらに、誘導情報の通知はＬＥＤ２３の発光により行うことも可能である。例えば、音声による誘導と同様に画面を複数の目標外領域に分割し、各目標外領域に異なる色を割り当てるなどである。また、図２０に示すように撮像装置１に複数のＬＥＤ２３を設け、各ＬＥＤ２３を誘導方向に対応させるようにしてもよい。図２０Ａの例は４つのＬＥＤ２３を四角形状に配置した例である。この例においては、ユーザを斜め方向に誘導をする場合には２つのＬＥＤ２３を同時に発光させて通知するようにしてもよい。例えば、右上に誘導する場合には上のＬＥＤ２３と右のＬＥＤ２３を同時に発光させる。
【０１１５】
図２０ＢはＬＥＤ２３を横一列に設けて、各ＬＥＤ２３がどの方向に対応しているかをＵ（ＵＰ）、Ｄ（ＤＯＷＮ）、Ｌ（ＬＥＦＴ）、Ｒ（ＲＩＧＨＴ）の文字で示している。さらに、図２０Ｃは８つのＬＥＤ２３を四角形状に配置している。なお、上述したＬＥＤ２３の数および配置は一例にすぎず、より多くのＬＥＤ２３を設けてもよい。また、他の配置パターンを採用してもよい。
【０１１６】
そしてステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすと判定されるまでステップＳ４１乃至ステップＳ４６が繰り返されてユーザの調整に合わせて、誘導指示、通知がなされる。なお、背景物、顔が画枠から出た場合にもその旨の通知を行うようにするとよい。その場合、ビープ音は警告の意味合いをユーザに伝えるためにブービー音などにするとよい。
【０１１７】
そして、ステップＳ４６による誘導情報の通知が繰り返し行われながら、ステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすと判定されるまで、ステップＳ４１乃至ステップＳ４６が繰り返される。そして、ステップＳ４５で、背景物条件を満たし、かつ、顔条件を満たすと判定された場合、すなわち、自分撮り条件が整ったと判定された場合、処理はステップＳ４７に進む（ステップＳ４５のＹｅｓ）。次にステップＳ４７で、撮像装置１による撮像が行われて予備画像の生成が行われる。そして、生成された予備画像はバッファメモリ７に保存される。
【０１１８】
なお、撮像は様々なタイミングで行うことが考えられる。例えば、自分撮り条件が整った時点（背景物条件を満たし、かつ、顔条件を満たすと判定された時点）で自動的に撮像が行われるようにする。または、自分撮り条件が整った時点で音声または／およびＬＥＤ２３の発光でユーザにレリーズボタン２４の押下を促すようにする。この手法によれば、ユーザが自分のタイミングで撮像を行うことができる。
【０１１９】
さらに、自分撮り条件が整った時点から「５」、「４」、「３」、「２」、「１」と音声によるカウントダウンを開始し、カウントダウン終了とともに自動で撮像を行うようにしてもよい。この手法によれば、自分撮り条件が整った時点から撮像までの間に所定の時間があるため、その間にユーザは表情を整えることが可能となる。また、レリーズボタン２４を自分で押下する必要がないため、レリーズボタン２４を押下しようとして誤って撮像装置１を動かしてしまい、顔の位置がずれることなどを防止することができる。
【０１２０】
ステップＳ４７における撮像により得られた画像は予備画像としてバッファメモリ７に保存される。なお、生成された予備画像をバッファメモリ７に保存する際には、後述する画像加工処理で用いるために、背景物領域６０１の位置、サイズ、角度などが背景物領域情報として予備画像に関連付けて保存される。さらに、顔検出部３４により検出された顔領域もの位置、サイズなども顔領域情報として予備画像に関連付けて保存される。
【０１２１】
次に、ステップＳ４８で予備画像に対して画像加工処理が施されることによって、最終的に本画像が生成される。そして、ステップＳ４９で、生成された本画像は記憶部８に保存される。なお、本画像の生成に用いられた予備画像も再生可能な状態で記憶部８に保存するようにしてもよい。
【０１２２】
［２−３．画像加工処理］
以下、画像加工処理について説明する。本実施の形態における撮像装置１で行われる画像加工処理は、顔位置調整処理、傾き補正処理、背景物サイズ調整処理、最適構図調整処理、縦横変換処理、顔向き対応調整処理、黄金比に基づく拡大処理である。なお、顔位置調整処理以外の処理、すなわち、傾き補正処理、背景物サイズ調整処理、最適構図調整処理、縦横変換処理、顔向き対応調整処理、黄金比に基づく拡大処理はユーザによる本画像条件設定が行われなかった場合に施される処理である。
【０１２３】
「２−３−１．顔位置調整処理」
まず、図２１乃至図２４を参照して、顔位置調整処理について説明する。本技術は、ユーザが顔を目標顔位置に一致させる困難性に鑑みて、顔が目標顔位置に一致したときではなく、顔が所定の広さを有する顔条件範囲にわずかにでも重なった場合に顔条件を満たすとして撮像を行うように構成してある。これはすなわち、予備画像においては、顔はユーザが希望する目標顔位置に完全に一致してはいないということである。そこで、顔位置調整処理は、本画像において顔が目標顔位置に一致するように、すなわち、本画像条件を満たすように画像の加工を行う処理である。顔位置調整処理は、切り出し領域設定部４１、背景物位置判定部４２、画像切り出し部４３、拡大処理部４４により行われる。
【０１２４】
切り出し領域設定部４１は、予備画像における顔が目標顔位置に一致するように予備画像の切り出し領域を設定するものである。切り出し領域設定部４１は、顔として検領域の中心が目標顔位置に一致するように切り出し領域を設定する。背景物位置判定部４２は、切り出し領域設定部４１により設定された切り出し領域内に背景物が入っているか否かを判定するものである。判定は、例えば、背景物領域情報に示される背景物領域の位置、サイズを参照して、予備画像において背景物として検出された背景物領域全体が切り出し領域内に収まっているか否かに基づいて行われる。なお、本実施の形態では背景物領域が切り出し領域内に収まっている場合にのみ、背景物が切り出し領域内に入っていると判定するものとする。
【０１２５】
画像切り出し部４３は、予備画像から切り出し領域設定部４１により設定された切り出し領域を切り出すことにより切り出し画像を生成するものである。拡大処理部４４は、画像切り出し部４３により生成された切り出し画像に対して拡大処理を施すことにより、本画像を生成するものである。本実施の形態においては、拡大処理部４４は切り出し画像を本画像用のサイズに拡大するものとする。本画像用のサイズとは予備画像と同一のサイズである。
【０１２６】
画像の拡大処理は、例えば、補間されるピクセルに最も近いピクセルの画素値を補間用の画素値とするニアレストネイバー法(nearest neighbor)を用いて行うことができる。また、補間される画素の周りの４個のピクセルの画素値を用いた一次近似によって補間用の画素値を求めるバイリニア法（bi-linear interpolation）を用いることも可能である。さらに、補間されるピクセルの周りの１６個のピクセルの画素値から３次関数を用いて算出した値を補間用の画素値とするバイキュービック法（bi-cubic convolution）を用いることも可能である。
【０１２７】
図２１Ａは、ユーザによって指定された本画像条件としての目標顔位置４１１を示すものである。そして、図２１Ｂは自分撮り撮像時において、顔領域６２０と顔条件範囲６１０とが重なり、顔条件を満たしていると判定された状態である。この状態で予備画像７０１の生成が行われる。生成された予備画像７０１は図２１Ｃに示すようになる。図２１Ａと図２１Ｃとを比較するとわかるように、予備画像７０１における顔の位置と目標顔位置４１１との間にはズレが生じている。
【０１２８】
図２２は顔位置調整処理の流れを示すフローチャートである。顔位置調整処理においてはまず、ステップＳ１００１で、顔位置調整処理後の本画像において、顔が目標顔位置４１１に一致するように（本画像条件を満たすように）切り出し領域設定部４１によって切り出し領域７０２が設定される。図２１Ｄはそのようにして設定された切り出し領域７０２を示すものである。この切り出し領域７０２のアスペクト比は予備画像７０１と同一である。切り出し領域７０２を予備画像７０１と同一のサイズに拡大すると、切り出し領域７０２における目標顔位置４１１Ａが目標顔位置４１１に一致するようになっている。切り出し領域７０２においては顔領域６２０と目標顔位置４１１Ａとが一致している。なお、図２１Ｄにおいては図面の見やすさを考慮して顔における目、鼻、口を省略している。
【０１２９】
次に、ステップＳ１００２で、切り出し領域７０２に背景物領域６０１が入っているか否かが判定される。ステップＳ１００２で、切り出し領域７０２に背景物領域６０１が入っていると判定された場合、処理はステップＳ１００４に進む（ステップＳ１００２のＹｅｓ）。一方、ステップＳ１００２で、切り出し領域７０２に背景物領域６０１が入っていないと判定された場合、処理はステップＳ１００３に進む（ステップＳ１００２のＮｏ）。
【０１３０】
ステップＳ１００３では、切り出し領域７０２内に背景物領域６０１が入る範囲内で、顔領域６２０と目標顔位置４１１Ａとが最も接近するように切り出し領域７０２の再設定が行われる。ただし、顔領域６２０を目標顔位置４１１Ａに一致させることを優先させる場合にはステップＳ１００２の判定およびステップＳ１００３の切り出し領域７０２の設定は行わないようにしてもよい。
【０１３１】
次に、ステップＳ１００４で、予備画像から切り出し領域７０２を切り出すことによって図２１Ｅに示すような切り出し画像７０３が生成される。そして、ステップＳ１００５で、切り出し画像７０３を本画像用のサイズに拡大することにより図２１Ｆに示す本画像８００が生成される。
【０１３２】
図２３は上述のようにして生成された本画像８００を撮像装置１のモニター２５に表示した状態である。本画像８００においては、顔が目標顔位置４１１に一致していることがわかる。このように、この顔位置調整処理によって、ユーザは自分撮り撮像時においては顔を目標顔位置４１１に正確に合わせる必要がないため、容易に自分撮り撮像を行うことができるとともに、最終的に生成される本画像においては顔を目標顔位置４１１に一致させることができる。さらに、図２１Ｃと図２１Ｆとを比較してわかるように、顔位置調整処理によって予備画像７０１の上側、右側の余白が削られるため、不要な余白のなくして適切な構図とするという効果も奏することができる。
【０１３３】
なお、顔位置調整処理は予備画像７０１の一部分を切り出す処理である。したがって、背景物が予備画像７０１において端に位置していると顔位置調整処理によって背景物が削られてしまい、顔を目標顔位置４１１に一致させることと背景物を切り出し領域７０２内に収めることを両立できない場合がある。そこで、図２４に示すように、画枠よりも狭い背景物探索範囲９００を設定する。そして、上述した背景物検出部３３による判定においては、テンプレートマッチングによって背景物領域６０１が背景物探索範囲９００内で検出された場合にのみ背景物が画枠内に入ったと判定するようにする。これにより、背景物探索範囲９００より外側の領域が顔位置調整処理により削られても背景物が削られてしまうことがない。
【０１３４】
図２４Ａに示す例では、検出された背景物領域６０１が背景物探索範囲９００内に位置しているため、背景物条件を満たすと判定される場合である。一方、図２４Ｂに示す例は、背景物領域６０１は検出されているが、背景物領域６０１が背景物探索範囲９００内に収まっていないため、背景物条件を満たすとは判定されない場合である。
【０１３５】
なお、図１０Ｅに示すように、ユーザが複数の目標顔位置４１１を指定することができるようにした場合は、複数の目標顔位置４１１の中から予備画像において顔が最も近い目標顔位置４１１に顔を一致させるようにしてもよい。また、指定された複数の目標顔位置４１１の略中心に顔を一致させるようにしてもよい。
【０１３６】
「２−３−２．傾き補正処理」
次に、傾き補正処理について説明する。傾き補正処理は、予備画像において背景物が傾いている場合に、予備画像を回転させることよって背景物が略水平になった本画像を生成する処理である。傾き補正処理は、傾き検出部４５、画像回転部４６、切り出し領域設定部４１、画像切り出し部４３、拡大処理部４４により行われる。
【０１３７】
傾き検出部４５は、予備画像における背景物の傾きを検出するものである。検出は、例えば、背景物領域情報に示される背景物として検出された領域の傾きと画枠の水平軸とを比較することにより行われる。画像回転部４６は、例えば、背景物領域を示す枠を構成する辺の内、上下の辺が画枠の上下の辺と略水平になるように、傾き検出部４５により検出された傾きの分予備画像を回転させる。回転処理は例えば、アフィン変換などにより行われる。
【０１３８】
切り出し領域設定部４１は、回転処理が施された予備画像に対して回転処理によって生じた空白部分７５０を除きつつ、予備画像内において切り出し領域７０２の大きさが最大となるように切り出し領域７０２を設定する。画像切り出し部４３は、予備画像から切り出し領域７０２を切り出すことにより切り出し画像７０３を生成するものである。拡大処理部４４は、切り出し画像７０３に対して拡大処理を施すことにより、本画像を生成するものである。
【０１３９】
図２５Ａは自分撮りによって取得された予備画像７０１である。まず、ステップＳ１０１１において、背景物領域６０１の傾きが検出される。図２５Ａに示す予備画像７０１においては、背景物領域６０１と画枠とが水平になっていない。すなわち、画枠に対して背景物が傾いている。次にステップＳ１０１２で、図２５Ｂに示すように、検出された傾きに基づいて、予備画像７０１に対して回転処理が施される。
【０１４０】
次にステップＳ１０１３で、図２５Ｃに示すように、回転処理が施された予備画像７０１に対して空白部分を除きつつ、予備画像内において切り出し領域７０２の大きさが最大となるように切り出し領域７０２が設定される。次に、ステップＳ１０１４で、設定された切り出し領域７０２が切り出されることにより図２５Ｄに示すような切り出し画像７０３を生成される。そして、ステップＳ１０１５で、その切り出し画像７０３が本画像用サイズに拡大されることにより最終的に図２５Ｅに示すような本画像８００が生成される。
【０１４１】
一般的に、ユーザは撮像装置１を片手で持ち、腕を伸ばして自分撮りを行う場合が多いと考えられる。したがって、自分撮り時には撮像装置１が傾いてしまうおそれがある。一方、背景物の指定は、通常の撮像と同様に両手で撮像装置１を持ってスルー画を見ながら行うので、背景物の指定時においては撮像装置１を水平に保つのは容易であると考えられる。また、一般的にユーザは背景物指定時は撮像装置１を略水平に保って行うと考えられる。したがって、背景物領域は水平基準に適していると考えられる。したがって、本実施の形態においては背景物領域と画枠とが略平行になるように回転処理を施すようにしている。また、背景物を回転の基準としたのは、ユーザは自分の顔が傾いて写っている画像を取得するために撮像装置１を傾けて自分撮りを行う場合があり得るからである。
【０１４２】
「２−３−３．背景物サイズ調整処理」
次に背景物サイズ調整について説明する。背景物サイズ調整とは、背景物指定枠３０２サイズ情報に示される背景物条件設定時における背景物指定枠のサイズと、予備画像中における背景物領域のサイズとが異なる場合にそれらを一致させるように予備画像に対して、拡大処理を施すものである。これにより、本画像における背景物のサイズを背景物条件設定時と略同一にすることができる。背景物サイズ調整処理は、拡大処理部４４、切り出し領域設定部４１、画像切り出し部４３により行われる。
【０１４３】
拡大処理部４４は、背景物条件設定時における背景物指定枠３０２のサイズと予備画像における背景物領域のサイズが略同一となるように予備画像に対して拡大処理を施すものである。なお、拡大処理部４４によって拡大処理が施された画像を拡大画像と称する。
【０１４４】
切り出し領域設定部４１は、拡大画像に対して本画像用サイズの切り出し領域を設定するものである。切り出し領域の設定は、例えば、予備画像における背景物領域の中心座標と、切り出し画像における背景物領域の中心座標とが一致するように設定される。画像切り出し部４３は、予備画像から切り出し領域を切り出すことにより本画像を生成するものである。
【０１４５】
図２７Ａは背景物条件設定時における背景物指定枠３０２を示すものである。図２７Ｂは撮像により取得された予備画像７０１およびその予備画像７０１における背景物領域６０１を示すものである。図２７Ａと図２７Ｂとを比較してわかるように、予備画像７０１における背景物領域６０１は背景物条件設定時における背景物指定枠３０２よりも小さくなっている。これは、例えば、背景物条件設定時と自分撮り時とにおいて背景物と撮像装置１との距離が変わることにより生じる。
【０１４６】
まず、ステップＳ１０２１で、図２７Ｃに示すように、背景物条件設定時における背景物指定枠３０２のサイズと予備画像７０１における背景物領域６０１のサイズが略同一となるように予備画像７０１に対して拡大処理が施される。これにより拡大画像７６０が生成される。次にステップＳ１０２２で、図２７Ｃに示すように、拡大画像７６０に対して切り出し領域７０２が設定される。そして、ステップＳ１０２３で、拡大画像７６０から切り出し領域７０２を切り出すことによって、図２７Ｄに示すような本画像８００が生成される。
【０１４７】
ユーザは背景物条件設定時においては、背景物をどれにするかだけではなく、背景物のサイズも考慮して背景物指定枠３０２の調整を行う場合があると考えられる。しかし、自分撮り時においては、体の位置を移動させたり、撮像装置１を持ち替えたりするため、背景物を背景物条件設定時と略同一のサイズで画枠内に収めるのは難しい。そこで、この背景物サイズ調整処理を行うことによって、本画像において背景物のサイズをユーザが望むサイズにすることができる。
【０１４８】
「２−３−４．最適構図調整処理」
次に、最適構図調整処理について説明する。最適構図調整処理とは、例えば２本の水平線と２本の垂直線（以下、分割線と称する。）とにより本画像を分割し、その分割線上または分割線の交点上に顔を位置させることにより、美感を起こさせる最適な構図の本画像を生成するものである。また、顔と背景物の重心を分割線上または分割線の交点に位置させることのより、最適な構図の本画像の生成も行う。分割線による分割法としては黄金比分割、３分割などがある。最適構図調整処理は、背景物種別設定部４７、重心算出部４８、切り出し領域設定部４１、背景物位置判定部４２、画像切り出し部４３、拡大処理部４４により行われる。
【０１４９】
背景物種別設定部４７は、ユーザによる入力などに基づき、指定された背景物が「景色」であるか、「モノ」であるかの設定を行うものである。背景物が「景色」である場合とは、例えば、背景物として富士山のようないわゆる景色が指定された場合である。また、背景物が「モノ」である場合とは、背景物として例えば人形、置物、看板などが指定された場合である。背景物種別設定部４７により設定された背景物種別情報は重心算出部４８、切り出し領域設定部４１に出力される。
【０１５０】
本実施の形態においては、背景物が「景色」であると設定された場合には、分割線上または交点に顔領域が配置されるように処理が行われる。一方、背景物が「モノ」であると設定された場合には、分割線上、または分割線の交点に顔領域と背景物領域の重心が配置されるように処理が行われる。背景物が「景色」であるか、「モノ」であるかは、例えば、図２９Ａに示す背景物指定の決定入力がなされた後に図２９Ｂに示すような所定の入力用画面１０００をモニター２５に表示し、ユーザが選択することができるようにするとよい。このユーザの入力に基づいて背景物種別設定部４７により、背景物が「景色」であるか、「モノ」であるかが設定される。
【０１５１】
重心算出部４８は、例えば、顔領域の中心座標および背景物の中心座標から、顔領域と背景物領域との全体重心を算出する。重心算出部４８による重心の算出は、背景物種別設定部４７から背景物として「モノ」が設定されたことを示す背景物種別情報を取得した場合に行われる。
【０１５２】
切り出し領域設定部４１は、背景物種別設定部４７から取得した背景物種別情報が背景物が「景色」であることを示す場合には、顔領域が分割線上または交点上に配置されるように予備画像に対して切り出し領域を設定する。一方、背景物種別情報が背景物が「モノ」であることを示す場合には、重心算出部４８により算出された重心が分割線上、または分割線の交点に配置されるように予備画像に対して切り出し領域を設定する。
【０１５３】
背景物位置判定部４２は、背景物領域情報に示される背景物領域の位置、サイズに基づいて、切り出し領域内に背景物領域が入っているか否かを判定する。画像切り出し部４３は、予備画像から切り出し領域７０２を切り出すことにより切り出し画像７０３を生成するものである。拡大処理部４４は、切り出し画像に対して拡大処理を施すことにより、本画像を生成するものである。
【０１５４】
まず、一例として、図３０および図３１を参照して、本画像を黄金比に基づいて分割し、分割線の交点に顔を配置する場合について説明する。これは、背景物として「景色」が選択された場合である。
【０１５５】
図３０Ａは自分撮りによって取得された予備画像７０１である。「景色」の背景物として富士山が指定されている。まず、ステップＳ１０３１で、図３０Ｂに示すように、切り出し領域７０２が予備画像７０１内において最大の大きさとなり、さらに、顔領域６２０が切り出し領域７０２を分割する分割線の交点上に位置するように切り出し領域７０２が設定される。なお、分割線の交点は４つであるが、顔を４つの交点のうちのどの交点上に位置させるかは様々な基準に基づき決定することができる。例えば、予備画像７０１を黄金比に基づき分割して顔に最も近い交点に位置させる。また、顔が右に傾いている場合には左側の２つの交点のうちの顔の近い交点、顔が左の傾いている場合には右側の２つの交点のうちの顔の近い交点に位置させるようにしてもよい。
【０１５６】
次にステップＳ１０３２で、切り出し領域７０２内に背景物領域６０１が入っているか否かが判定される。入っていないと判定された場合、処理はステップＳ１０３３に進む（ステップＳ１０３２のＮｏ）。ステップＳ１０３３で他の交点に顔が位置するように切り出し領域７０２が決定される。そして、ステップＳ１０３２で切り出し領域７０２内に背景物領域６０１が入っているか否かが判定される。入っていると判定された場合、処理はステップＳ１０３４に進む（ステップＳ１０３２のＹｅｓ）。
【０１５７】
次に、ステップＳ１０３４で、予備画像７０１から切り出し領域７０２が切り出されることにより、図３０Ｃに示すような切り出し画像７０３が生成される。そして、ステップＳ１０３５で、切り出し画像７０３が本画像用のサイズに拡大されることにより図３０Ｄに示す本画像８００が生成される。
【０１５８】
図３０Ａに示す予備画像７０１はユーザの顔が略中央に位置しており、一般的に好ましくないとされるいわゆる日の丸構図になっている。そして、この予備画像７０１に最適構図調整処理を施すことにより、容易に図３０Ｄに示すような黄金比に基づいた構図の本画像８００を生成することができる。
【０１５９】
なお、いずれの交点に顔を一致させても背景物領域６０１が切り出し領域７０２内に収まらない場合には、背景物領域６０１が切り出し領域７０２内に収まる範囲内で顔を交点の近くに位置させるようにするとよい。また、上述の説明では黄金比に基づいて分割した分割線の交点に顔領域６２０を位置させる場合を例にして説明したが、同様の手法で顔を３分割の分割線の交点に位置させるように最適構図調整処理を施すことも可能である。
【０１６０】
次に他の例として、図３２および図３３を参照して、画枠内を３分割法に基づいて分割し、分割線の上に背景物と顔の全体重心を配置する最適構図調整処理について説明する。なお、上述のように、背景物領域と顔領域との全体重心を分割線上または交点に位置させるのは、背景物として「モノ」が指定された場合である。
【０１６１】
図３２Ａは自分撮りによって取得された予備画像７０１である。予備画像７０１においては背景物領域６０１、顔領域６２０が検出されている。まず、ステップＳ１０４１で、背景物領域６０１と顔領域６２０の全体重心６３０が算出される。全体重心６３０は例えば、背景物領域６０１の中心座標と顔６２０の中心座標とから算出される。具体的には、背景物領域６０１の中心座標を（Ｘb、Ｙb）、顔領域６２０の中心座標を（Ｘf、Ｙf）とすると、全体重心の座標（Ｘc、Ｙc）は、Ｘc=（Ｘb+Ｘf）／２、Ｙc=（Ｙb+Ｙf）／２、で求めることができる。図３２Ｂにこのようにして求められた全体重心６３０を示す。なお、背景物領域の中心座標を用いて全体重心を求めるのは、一般的にユーザは背景物として指定したい被写体を背景物指定枠３０２の略中央に位置させて背景物の指定を行うと考えられるためである。
【０１６２】
次にステップＳ１０４２で、図３２Ｃに示すように、切り出し領域７０２が予備画像７０１内において最大の大きさとなり、さらに、重心が切り出し領域７０２を分割する分割線上に位置するように切り出し領域７０２が設定される。次にステップＳ１０４３で、切り出し領域７０２内に背景物領域６０１と顔領域６２０とが入っているか否かが判定される。入っていないと判定された場合、処理はステップＳ１０４４に進む（ステップＳ１０４３のＮｏ）。
【０１６３】
次に、ステップＳ１０４４で全体重心６３０が分割線上の他の位置に位置するように切り出し領域７０２が決定される。そして、ステップＳ１０４３で切り出し領域７０２内に背景物領域６０１および顔領域６２０が入っているか否かが判定される。入っていると判定された場合、処理はステップＳ１０４５に進む（ステップＳ１０４３のＹｅｓ）。次に、ステップＳ１０４５で、予備画像７０１から切り出し領域７０２が切り出されることにより、図３２Ｄに示すような切り出し画像７０３が生成される。そして、ステップＳ１０４６で、切り出し画像７０３が本画像用のサイズに拡大されることにより図３２Ｅに示す本画像８００が生成される。この本画像は３分割に基づいた構図となっており、背景物と顔との重心が下段の水平線上に位置している。
【０１６４】
「２−３−５．縦横変換処理」
次に、縦横変換処理について説明する。縦横変換処理とは、上述した最適構図調整処理において、縦の寸法に比べて横の寸法が長い横長長方形状の切り出し領域では、分割線の線上または分割線の交点に顔を位置させると、背景物領域が切り出し領域内に収まらない場合に行われる処理である。切り出し領域を９０度回転させて、切り出し領域を横の寸法に比べて縦の寸法が長い縦長長方形状にすることにより、分割線の線上または分割線の交点に顔を位置させつつ、背景物領域を切り出し領域内に収めることを可能とする。縦横変換処理は、重心算出部４８、切り出し領域設定部４１、背景物位置判定部４２、画像切り出し部４３、拡大処理部４４により行われる。
【０１６５】
図３４Ａは自分撮りによって取得された予備画像７０１である。予備画像７０１においては背景物領域６０１、顔領域６２０が検出されている。まずステップＳ１０５１で、図３４Ｂに示すように、重心算出部４８により背景物領域６０１と顔領域６２０の重心６３０が算出される。なお、重心６３０の算出方法は上述の最適構図調整処理におけるものと同様である。次にステップＳ１０５２で、重心６３０が切り出し領域７０２を分割する分割線上または分割線の交点上に位置すると共に、予備画像７０１内において切り出し領域７０２Ａが最大の大きさとなるように切り出し領域７０２Ａが決定される。次にステップＳ１０５３で切り出し領域７０２Ａ内に背景物領域６０１および顔領域６２０が入っているか否かが判定される。ステップＳ１０５３において、切り出し領域７０２Ａに顔および背景物が入っていると判定された場合、処理はステップＳ１０５８に進む（ステップＳ１０５３のＹｅｓ）。
【０１６６】
そしてステップＳ１０５８で、予備画像から切り出し領域７０２Ａが切り出されることにより切り出し画像７０３が生成され、ステップＳ１０５９でその切り出し画像７０３を本画像用のサイズに拡大することにより本画像が生成される。このステップＳ１０５１乃至１０５３、ステップＳ１０５８およびステップＳ１０５９による処理は最適構図調整処理と同様のものである。
【０１６７】
一方、ステップＳ１０５３で切り出し領域７０２Ａ内に背景物領域６０１および顔領域６２０が入っていないと判定された場合、処理はステップＳ１０５４に進む（ステップＳ１０５３のＮｏ）。図３４Ｃにおいては、背景物領域６０１が切り出し領域７０２Ａからはみ出ている。このような場合にステップＳ１０５３で切り出し領域７０２Ａ内に背景物領域６０１および顔領域６２０が入っていないと判定される。
【０１６８】
そして、ステップＳ１０５４で切り出し領域を９０度回転させる。すなわち、切り出し領域が縦長長方形状に設定される。次にステップＳ１０５５で、重心６３０が分割線上または分割線の交点上に位置すると共に、予備画像７０１内において切り出し領域７０２Ｂの大きさが最大となるように切り出し領域７０２Ｂが決定される。次にステップＳ１０５６で、切り出し領域７０２Ｂ内に背景物領域６０１および顔領域６２０が入っているか否かが判定される。ステップＳ１０５６において、切り出し領域７０２Ｂに背景物領域６０１および顔領域６２０が入ってはいないと判定された場合、処理はステップＳ１０５７に進み（ステップＳ１０５６のＹｅｓ）、再度切り出し領域７０２Ｂの設定が行われる。
【０１６９】
図３４Ｄにおいては、９０度回転させることにより切り出し領域７０２Ｂが縦長長方形状になっているため、重心６３０を分割線上に位置させつつ、背景物領域６０１および顔領域６２０を切り出し領域７０２Ｂ内に収めることが可能となっている。
【０１７０】
次に、ステップＳ１０５８で、予備画像７０１から切り出し領域７０２Ｂを切り出すことにより、図３４Ｅに示すような切り出し画像７０３が生成される。そして、ステップＳ１０５９でその切り出し画像７０３を本画像用のサイズに拡大することにより、図３４Ｆに示すような本画像８００が生成される。
【０１７１】
「２−３−６．顔向き対応調整処理」
次に、顔向き対応調整処理について説明する。顔向き対応調整処理とは、ユーザの顔の向きに応じて本画像内に空間を形成することにより、最適な構図の本画像を生成するものである。顔向き対応調整処理は、顔向き検出部４９、背景物位置判定部４２、切り出し領域設定部４１、画像切り出し部４３、拡大処理部４４によって行われる。
【０１７２】
顔向き検出部４９は、予備画像における顔の向きを検出するものである。検出される顔の向きは、例えば、「右向き」、「左向き」である。例えば、エッジ検出などの手法を用いることで、予備画像中から顔の両端位置と顔の中心位置（鼻先を通る線）とが検出され、その顔両端位置と顔中心位置とから顔の向きの方向が検出される。なお、顔向き検出方法として、例えば、目、鼻、口などの顔の構成要素の形状的な特徴を利用した方法や、検出対象となる顔の２点間の輝度値の差分値を用いた検出方法など、顔の向きを検出できる手法であれば別の方式を用いてもよい。
【０１７３】
背景物位置判定部４２は、顔向き検出部４９により検出された顔が向く方向に背景物領域が存在しているか否かを判定する。判定は、背景物領域の位置、サイズなどを示す背景物領域情報を参照して、例えば、顔領域の中心を基準として、顔向き検出部４９によって検出された顔が向く方向に背景物領域が存在しているか否かを判定することにより行われる。また、背景物位置判定部４２は、設定された切り出し領域内に背景物が入っているか否かを判定する。判定も背景物領域の位置、サイズなどを示す背景物領域情報を参照することにより行われる。画像切り出し部４３は、予備画像から切り出し領域を切り出すことにより切り出し画像を生成するものである。拡大処理部４４は、切り出し画像に対して拡大処理を施すことにより、本画像を生成するものである。
【０１７４】
図３６Ａは自分撮りによって取得された予備画像７０１である。予備画像７０１においては背景物領域６０１、顔領域６２０が検出されている。まず、ステップＳ１０６１で、顔向き検出部４９により顔の向きが検出される。図３６Ａの予備画像７０１においては顔は「左向き」である。
【０１７５】
次にステップＳ１０６２で顔が向く方向に背景物領域６０１が存在するか否かが判定される。そして、ステップＳ１０６２の判定の結果、顔が向く方向に背景物領域６０１が存在しないと判定された場合、処理は終了となる（ステップＳ１０６２のＮｏ）。このように、本実施の形態においては、顔が向く方向に背景物領域６０１が存在する場合にのみ顔向き対応調整処理が行われるものとする。
【０１７６】
一方、ステップＳ１０６２で、顔が向く方向に背景物領域６０１が存在すると判定された場合、処理はステップＳ１０６３に進む。（ステップＳ１０６２のＹｅｓ）。そして、ステップＳ１０６３で、切り出し領域設定部４１により顔領域６２０が切り出し領域７０２を３分割法に基づいて分割する分割線の交点に位置すると共に、予備画像７０１において切り出し領域７０２の面積が最大となるように切り出し領域７０２が決定される。
【０１７７】
本実施の形態においては、顔の向きが左向きの場合には、分割線の４つの交点のうち右側の交点に顔領域６２０が位置するように切り出し領域７０２が決定される。一方、顔の向きが右向きの場合には、分割線の４つの交点のうち左側の交点に顔領域６２０が位置するように切り出し領域７０２が決定される。このように、顔が向く方向とは逆方向の分割線の交点に顔領域６２０を位置させるように切り出し領域７０２を決定することにより、顔が向く方向に空間を形成することができ、バランスのよい構図となった本画像を生成することができる。
【０１７８】
次にステップＳ１０６４で切り出し領域７０２内に背景物領域６０１が入っているか否かが判定される。そして、ステップＳ１０６４の判定の結果、切り出し領域７０２内に背景物領域６０１が入っていないと判定された場合、処理はステップＳ１０６５に進む（ステップＳ１０６４のＮｏ）。
【０１７９】
次にステップＳ１０６５で、顔領域６２０が分割線の他の交点に位置するように予備画像７０１に対して切り出し領域７０２が決定される。黄金比分割、３分割共に左右の分割線の交点は２つずつである。よって、例えば、ステップＳ１０６３で上側の交点に顔が位置するように切り出し領域７０２が設定された場合には、ステップＳ１０６５では下側の交点に顔が位置するように切り出し領域７０２が設定される。
【０１８０】
そして、再び、ステップＳ１０６４で背景物領域６０１が切り出し領域７０２内に入っているか否かが判定される。ステップＳ１０６４で背景物領域６０１が切り出し領域７０２内に入っていると判定された場合、処理はステップＳ１０６６に進む（ステップＳ１０６４のＹｅｓ）。図３６Ｂはこのようにして決定された切り出し領域７０２を示すものである。図３６Ｂにおいては顔は「左向き」であるため、顔が右側の交点に位置するように切り出し領域７０２が決定されている。なお、分割方法は３分割としてある。ただし、黄金比に基づいて分割してもよい。
【０１８１】
次にステップＳ１０６６で、予備画像から切り出し領域７０２が切り出されることにより、図３６Ｃに示すような切り出し画像７０３が生成される。そして、ステップＳ１０６７で、切り出し画像７０３を本画像用のサイズに拡大することにより図３１Ｄに示す本画像８００が生成される。この本画像では、顔が左向きであるため、顔が右側の交点に位置しており、左側に空間が形成された構図となっている。
【０１８２】
「２−３−７．黄金比に基づく拡大処理」
次に、黄金比に基づく拡大処理について説明する。黄金比に基づく拡大処理とは、ユーザの顔として検出された顔領域の長さと顔領域の下端から本画像の画枠の下端までの距離の比率が黄金比となるような本画像を生成するものである。黄金比に基づく拡大処理は、切り出し領域設定部４１、画像切り出し部４３、拡大処理部４４によって行われる。
【０１８３】
図３８Ａは、自分撮りによって生成された予備画像７０１である。予備画像７０１においては富士山の頂が背景物領域６０１として検出されている。ユーザの顔は顔領域６２０として検出されている。まず、ステップＳ１０７１で、この予備画像７０１における顔領域の長さが取得される。顔領域の長さは予備画像生成の際に関連付けて保存された顔領域のサイズを示す顔領域情報を参照することにより取得することができる。
【０１８４】
次にステップＳ１０７２で、図３８Ｂに示すように、背景物領域６０１が入るとともに、顔領域６２０の長さと顔領域６２０の下端から切り出し領域７０２の下端までの距離の比が黄金比（１：１．６１８）になるように切り出し領域７０２が設定される。次に、ステップＳ１０７３で予備画像７０１から切り出し領域７０２が切り出されることにより、図３８Ｃに示すような切り出し画像７０３が生成される。この切り出し画像７０３においては、顔領域６２０の長さと顔領域６２０の下端から切り出し画像７０３の下端までの距離の比が黄金比となっている。そして、ステップＳ１０７４で、切り出し画像７０３を本画像用のサイズに拡大することにより図３８Ｄに示す本画像８００が生成される。
【０１８５】
黄金比に基づく拡大処理においては、顔領域６２０の下端から本画像８００の下端まで（すなわち、顔領域６２０の下）にユーザの体があると考える。そして、顔領域６２０の長さと顔領域６２０の下端から本画像８００の下端までの距離の比率が黄金比となるように処理を行うことによって、図３８Ｄの本画像８００に示すように顔と体の比率が黄金比となる。これにより、美感を起こさせる構図の本画像を生成することができる。
【０１８６】
なお、上述した各種画像加工処理は必ずしも全てを行う必要があるわけではなく、いずれか１つのみを行ってもよいし、複数行ってもよい。また、複数の画像加工処理を行う場合、どのような順序で行ってもよい。
【０１８７】
＜３．第２の実施の形態＞
［３−１．画像処理装置および撮像装置の構成］
次に本技術の第２の実施の形態について説明する。図４０は第２の実施の形態に係る画像処理装置２１００の構成を示すブロック図である。画像処理装置２１００は画像条件設定部２２００、条件判定部２３００、画像取得関連処理部２４００、画像加工部２５００とから構成されている。また、図４１は画像処理装置２１００の機能を備える撮像装置３０００の構成を示すブロック図である。
【０１８８】
第２の実施の形態における撮像装置３０００は、制御部３１００が画像条件設定部２２００、条件判定部２３００、画像取得関連処理部２４００、画像加工部２５００として機能する点で第１の実施の形態と相違する。その他の撮像装置３０００の構成は第１の実施の形態と同様であるため、説明を省略する。
【０１８９】
なお、第２の実施の形態において「予備画像」とは、画像加工処理が施される前に画像が予備画像としての条件（以下、予備構図条件と称する）を満たす場合に保存される画像である。「本画像」とは、予備画像に対して、本画像としての条件（以下、本構図条件と称する）が満たされるように画像加工処理が施されることにより、最終的に得られる画像である。
【０１９０】
画像条件設定部２２００は、本構図条件と、予備構図条件とを設定するものである。画像条件設定部２２００は、図１１、図１２に示されるように、モニター２５に表示される本画像条件用画面に対してユーザにより入力される主被写体の位置に基づいて本構図条件を設定する。よって、本構図条件はユーザが最終的に希望する主被写体の位置などを示すものである。
【０１９１】
本構図条件は、例えば、画枠の左上を基準として、水平方向をＸ方向(０〜１００)、鉛直方向をＹ方向(０〜１００)としてパラメータ化した場合に、主被写体の位置（主被写体として判定された領域の重心位置）を示すＸの値とＹの値として設定される。例えば、「Ｘ＝６５、Ｙ＝５０」などである。また、本構図条件は「６３≦Ｘ≦６７、４８≦Ｙ≦５２」のように所定の幅を有するように設定するようにしてもよい。なお、パラメータの範囲は０〜１００に限られるものではなく、それよりも大きな値に設定してもよいし、小さな値に設定してもよい。
【０１９２】
なお、「主被写体」とは、ユーザがその被写体を重視して画像を得たいと思う被写体である。主被写体は人物の顔の他、所定の検出アルゴリズムにより画像内から被写体として検出されるものであればどのようなものでもよい。例えば、人物の手などの人体の一部または全身、動物、建築物、自動車、花、山などの物体などである。なお、注目被写体は１つとは限らず、複数であってもよい。
【０１９３】
また、主被写体の位置の他に、主被写体の大きさも本構図条件として設定可能としてもよい。主被写体の大きさは例えば図１２Ｃに示されるように、主被写体指定枠のサイズ入力可能とし、入力された値に応じて主被写体指定用の枠のサイズが変更されるようにすることが考えられる。
【０１９４】
さらに、画枠に対する主被写体の傾きも本構図条件として設定可能としてもよい。ユーザが被写体の傾きを入力する方法としては例えば、図４２Ａに示されるように傾きを示す値を入力可能とし、その値に応じて主被写体指定用枠４０００が回転するようにしてもよい。また、図４２Ｂに示されるように、タッチパネル３１００を備えるモニター３２００に主被写体指定用枠４０００と共に主被写体指定用枠４０００を回転操作可能な回転ハンドル４１００を表示させ、ユーザがその回転ハンドル４１００をタッチパネル３１００のタッチ操作などにより操作することにより被写体の傾きを入力可能としてもよい。
【０１９５】
また、表示部１１がタッチパネルを備えるモニターである場合、タッチしたユーザの指の向きを検出し、その向きに主被写体の向きを合わせるようにしてもよい。また、同時に２本以上の指でタッチ操作を行ういわゆるマルチタッチ操作で主被写体指定枠を回転させることにより主被写体の傾きを入力することができるようにしてもよい。さらに、撮像装置３０００に加速度センサを設けて、撮像装置３０００を傾かせることにより主被写体の傾きを入力することができるようにしてもよい。
【０１９６】
なお、撮像部の撮像により得られる画像から検出される主被写体の位置、大きさ、向きなどに応じて最適な構図を求め、その構図を本構図条件として設定するようにしてもよい。主被写体の位置、大きさ、向きなどに応じて最適な構図を求める手法としては例えば特開２０１１−２９８３１号公報、特開２００９−１００３００号公報などに記載されている手法を採用することができる。
【０１９７】
さらに、「背景物の位置」を本構図条件として設定可能としてもよい。主被写体の位置を指定した方法と同様の方法で背景物の位置が指定されると、それに基づいて画像条件設定部２２００は本構図条件を設定する。
【０１９８】
本構図条件として背景物を指定する方法としては、例えば、第１の実施の形態において図８を参照して説明したように、スルー画３０１として表示されている背景中の任意の場所に対応するタッチパネル２６の操作面に指を接触させ、その接触位置を中心として表示される背景物指定枠３０２によって指定する手法が挙げられる。
【０１９９】
背景物指定枠３０２は、その位置、形状およびサイズが変更可能となっている。例えば、指を背景物指定枠３０２内に接触させた状態でドラック操作を行うことによって背景物指定枠３０２の位置を変更可能とする。また、指を、背景物指定枠３０２を構成する各辺のいずれかに接触させた状態でドラック操作を行うことによって、背景物指定枠３０２をその辺の方向に延長させて形状を変更可能とする。さらに、背景物指定枠３０２上に２本の指を接触させて、ピンチアウト操作を行うことによって背景物指定枠３０２のサイズを拡大、ピンチイン操作を行うことによってサイズの縮小を可能とする。これらの各種操作で背景物指定枠３０２を任意の位置、形状およびサイズに調整することによってユーザは背景物を的確に指定することができる。
【０２００】
また、主被写体の入力と同様に、背景物の位置を示す値を入力することにより背景物の指定を行うことができるようにしてもよい。背景物についての本構図条件は、座標によって設定されてもよいし、所定の面積の範囲として設定されてもよい。
【０２０１】
画像条件設定部２２００は、本構図条件に基づいて予備構図条件を定める。予備構図条件は本構図条件よりもゆるい条件として設定される。
【０２０２】
例えば、本構図条件が主被写体の位置「Ｘ＝６５、Ｙ＝５０」として設定された場合、予備構図条件は、主被写体の位置「６０≦Ｘ≦７０、４５≦Ｙ≦５５」のように、本構図条件を包含するように所定の幅を有する値として設定される。詳しくは後述するが、撮像により得られた画像が予備構図条件を満たす場合には画像取得関連処理部２４００の処理により、撮像画像が予備画像として取得される。よって、上述のように予備構図条件を本構図条件よりもゆるい条件として設定することにより、予備画像の取得が容易となる。
【０２０３】
なお、上述した予備構図条件の範囲は説明の便宜上の一例であり、その値に限られるものではない。本構図条件が「Ｘ＝６５、Ｙ＝５０」である場合、「５５≦Ｘ≦７５、４０≦Ｙ≦５０」のように、予備構図条件の幅が大きくなるように設定してもよいし、「６２≦Ｘ≦６７、４８≦Ｙ≦５２」のように、予備構図条件の幅が小さくなるように設定してもよい。
【０２０４】
また、構図条件が例えば「６３≦Ｘ≦６７、４８≦Ｙ≦５２」のように所定の幅を有するように設定されている場合、予備構図条件を「６０≦Ｘ≦７０、４５≦Ｙ≦５５」のように幅を有する本構図条件を包含するように所定の幅を有する値として設定するとよい。
【０２０５】
なお、予備構図条件は必ずしも本構図条件としての値を中心値とした範囲として設定されるとは限らない。例えば「Ｘ＝０、Ｙ＝５０」のように設定された場合には、予備構図条件のＸの値が「Ｘ≦１０」のように上限値のみ、または下限値のみが設定されるようにしてもよい。
【０２０６】
また、背景物が所定の範囲に含まれることが本構図条件として設定された場合、その範囲よりも広い範囲に背景物が含まれることを予備構図条件として設定する。これにより、撮影時に正確に背景物を目的の位置に合わせる必要がなくなるので、撮影を容易に行うことができる。
【０２０７】
予備構図条件は、予め用意された所定のテンプレートに基づいて設定されるようにしてもよいし、ユーザが予め、予備構図条件の本構図条件を包含する値の幅を設定しておき、それに基づいて自動的に設定されるようにしてもよい。
【０２０８】
また、予備構図条件を本構図条件よりも少ない条件とすることによって、予備構図条件を本構図条件よりもゆるい条件として設定するようにしてもよい。例えば、本構図条件が主被写体の位置の他に、主被写体の大きさ、傾きなども含む場合、予備構図条件を主被写体の位置のみとする、主被写体の傾きのみとする、主被写体の大きさ及び傾きとするなど、である。また、本構図条件の背景物についての条件を除いて予備構図条件とする、などである。
【０２０９】
条件判定部２３００は、撮像により取得した撮像画像が予備構図条件を満たすか否かを判定するものである。条件判定部２３００による判定結果は画像取得関連処理部２４００に供給される。
【０２１０】
画像取得関連処理部２４００は、予備画像の取得に関する処理を行うものである。画像取得関連処理部２４００は特許請求の範囲における処理部に相当するものである。予備画像の取得には、撮像装置３０００が自動で行う場合（いわゆるオートレリーズ）と、ユーザが手動で行う、場合（いわゆるマニュアルレリーズ）の場合とがある。
【０２１１】
オートレリーズの場合、画像取得関連処理部２４００は、条件判定部２３００により撮像画像が予備構図条件を満たすと判定された場合、その撮像画像を予備画像としてバッファメモリ７または記憶部８に記憶させる処理を行う。なお、条件判定部２３００により撮像画像が予備構図条件を満たすと判定された場合に記憶される画像は、予備構図条件を満たすと判定された撮像画像そのものであってもよいし、予備構図条件を満たすと判定された撮像画像の前後所定期間内に取得されたフレーム画像であってもよい。画像取得関連処理部２４００がこのような処理を行う場合、予備画像の取得は条件判定部２３００の判定結果に基づいて自動的に行われることとなる。
【０２１２】
一方、マニュアルレリーズの場合、画像取得関連処理部２４００は、条件判定部２３００により撮像画像が予備構図条件を満たすと判定されたタイミングでシャッタ操作を行うようにユーザに通知する処理を行う。通知は例えば、図２０に示されるように撮像装置３０００がＬＥＤまたは／およびスピーカを備える場合には、ＬＥＤの点灯による通知、音声による通知などが挙げられる。そして、その通知後にユーザによりレリーズ操作がなされるとそれに応じて撮像画像を予備画像としてバッファメモリ７または記憶部８に記憶させる処理を行う。
【０２１３】
なお、通知後にユーザによるシャッタ操作が行われたが、そのシャッタ操作の時点では撮像画像が予備構図条件を満たしていないと条件判定部２３００に判定された場合、画像取得関連処理部２４００はシャッタ操作を無効とし、予備画像の取得処理を行わないようにしてもよい。このような処理を行うために条件判定部２３００は、一度、撮像画像が予備構図条件を満たすと判定した後も、画像取得関連処理部２４００により予備画像を取得する処理が行われるまでは予備構図条件を満たしているかの判定を繰り返し行う必要がある。なお、予備画像の取得が行われなかった場合には、その旨をＬＥＤの点灯による通知、音声による通知などによりユーザに通知するようにしてもよい。
【０２１４】
画像加工部２５００は、予備画像に対して本構図条件に基づいてトリミングなどの画像処理を施すことにより本画像を生成するものである。本画像生成のために行う画像処理としては、第１の実施の形態で述べた、画像加工処理を用いることができる。
【０２１５】
主被写体の位置を本構図条件の位置に合わせるトリミング処理は例えば図４３に示されるように行う。図４３Ａにおいて点はユーザによって指定された本構図条件であるユーザが望む主被写体の位置５０００を示すものである。図４３Ｂは、予備構図条件を満たしたことによって取得された予備画像５１００である。図４３Ｃは、本構図条件と予備画像５１００とを重ねたものである。図４３Ｃに示されるように、本構図条件としての主被写体の位置５０００と、主被写体である顔５２００の位置はずれている。
【０２１６】
この予備画像５１００に対して図４３Ｄに示されるように、本構図条件である主被写体の位置５０００と顔５２００とが一致するようにトリミング範囲５３００が決定される。このトリミング範囲５３００のアスペクト比は予備画像５１００と同一である。トリミング範囲５３００で予備画像５１００を切り出すと図４３Ｅに示すようになる。そして、図４３Ｆに示されるように切り出されたトリミング範囲５３００を予備画像５１００と同一のサイズに拡大すると、顔が本構図条件に一致した本画像５４００を生成することができる。
【０２１７】
同様に手法を用いることによって、背景物をユーザが指定する位置に配置した本画像を生成することもできる。
【０２１８】
また、主被写体の大きさを本構図条件に合わせるのは、第１の実施の形態において説明した背景物サイズ調整処理と同様の処理を主被写体に対して行うことにより実現することができる。
【０２１９】
また、主被写体の画枠に対する傾きを本構図条件に合わせるのは、第１の実施の形態において説明した傾き補正処理を行うことで実現することができる。
【０２２０】
なお、主被写体の位置だけでなく、大きさ、傾きも本構図条件として設定されている場合には上述した複数の画像加工処理を施して本画像を生成するとよい。
【０２２１】
［３−２．画像処理装置における処理］
次に図４４のフローチャートを参照して第２の実施の形態における処理について説明する。まずステップＳ２００１で、画像条件設定部２２００は本構図条件を設定する。上述したように本構図条件はユーザの入力などに基づいて設定される。次にステップＳ２００２で、画像条件設定部２２００は、本構図条件に基づいて予備構図条件を設定する。設定された本構図条件は画像加工部２５００に供給され、予備構図条件は条件判定部２３００に供給される。
【０２２２】
次にステップＳ２００３で、条件判定部２３００は撮像画像が予備構図条件を満たしているか否かを判定する。予備構図条件を満たしていない場合には予備構図条件を満たすまでステップＳ２００３の判定が繰り返される（ステップＳ２００３のＮｏ）。なお、撮像画像が予備構図条件を満たしていない場合には上述したように、ＬＥＤの点灯、音声などによる誘導通知をユーザに対して行うようにしてもよい。
【０２２３】
ステップＳ２００３で撮像画像が予備構図条件を満たしていると判定された場合、処理はステップＳ２００４に進む（ステップＳ２００３のＹｅｓ）。そして、ステップＳ２００４で、画像取得関連処理部２４００は画像取得関連処理を行う。画像取得関連処理は、上述したように、オートレリーズである場合には撮像画像を予備画像として記憶部８などに記憶させることにより予備画像を取得する処理である。また、画像取得関連処理は、マニュアルレリーズの場合には、ユーザに予備画像の取得を促すための通知を行う処理と、ユーザによるレリーズ操作が行われたときに撮像画像を予備画像として記憶部８などに記憶させることにより予備画像を取得する処理である。
【０２２４】
予備画像の取得が行われた後に、ステップＳ２００５で画像加工部２５００は、本構図条件を満たすように予備画像に対して加工処理を施すことにより本画像を生成する。
【０２２５】
以上のようにして本実施の形態に係る画像処理装置２１００による処理が行われる。本実施の形態によれば、最終的な画像についての条件である本構図条件よりもゆるい予備構図条件を満たした場合に画像の取得が行われるため、ユーザは正確に本構図条件に合うように撮影を行う必要ない。よって、撮影を容易に行うことができる。そして、撮影により取得された予備画像は画像加工により最終的に本構図条件に合うものとなるため、ユーザは希望する構図の画像を得ることができる。
【０２２６】
本実施の形態は、ユーザが撮像装置３０００のレンズを自分自身に向けて自らを被写体として撮像を行う「自分撮り」に適用することができる。この場合、主被写体はユーザ自身の顔、バストショット、全身などとなる。自分撮りの際には通常ユーザはスルー画を見ながら撮影を行うことができないが、本実施の形態を適用することにより、スルー画を見なくても、自分自身が希望する構図に収まった本構図条件を満たした画像を得ることができる。また、予備構図条件は本構図条件よりもゆるい条件として設定されるため、スルー画を見なくても予備構図条件を満たして画像を取得することが容易となる。
【０２２７】
また、本実施の形態は自分撮りに限られず、スルー画を見ることができない状態での撮影においても顕著な効果を奏する。そのような撮影としては、例えば、腕を高々と伸ばして撮像装置３０００を高く掲げて撮影を行ういわゆるハイアングルの撮影がある。さらに、撮像装置３０００を足元など低い位置に構えて撮影するいわゆるローアングルの撮影もある。これらの撮影においては、ユーザはスルー画を見ることができないが、スルー画を見なくても、本構図条件を満たした本画像を得ることができる。また、予備構図条件は本構図条件よりもゆるい条件として設定されるため、スルー画を見なくても予備構図条件を満たして画像を取得することが容易となる。
【０２２８】
なお、本技術は以下のような構成も取ることができる。
【０２２９】
（１）所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理装置において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
画像処理装置。
【０２３０】
（２）前記予備構図条件は前記本構図条件よりも易しい条件である
前記（１）に記載の画像処理装置。
【０２３１】
（３）前記処理は、前記条件判定部が前記予備構図条件を満たすと判定することに応じて前記撮像画像を予備画像として記憶部に記憶させる処理である
前記（１）または（２）に記載の画像処理装置。
【０２３２】
（４）前記予備構図条件に設定されるパラメータの範囲は、前記本構図条件として設定されるパラメータの範囲よりも広い
前記（１）から（３）のいずれかに記載の画像処理装置。
【０２３３】
（５）前記予備構図条件として設定される条件よりも、前記本構図条件として設定される条件が多い
前記（１）から（４）のいずれかに記載の画像処理装置。
【０２３４】
（６）前記本構図条件は、前記予備画像条件に所定の条件を追加した条件である
前記（１）から（５）のいずれかに画像処理装置。
【０２３５】
（７）前記本構図条件は、第１の範囲に被写体が含まれることを条件として含み、前記予備構図条件は前記第１の範囲よりも広い第２の範囲に前記被写体が含まれることを条件として含む
前記（１）から（６）のいずれかに記載の画像処理装置
【０２３６】
（８）前記本構図条件は、第３の範囲に背景物が含まれることを条件として含み、前記予備構図条件は、前記第３の範囲よりも広い第４の範囲に前記背景物が含まれることを条件として含む
前記（１）から（７）のいずれかに記載の画像処理装置。
【０２３７】
（９）前記本構図条件は、前記予備構図条件に、前記本画像中に背景物が含まれる条件を追加した条件である
前記（１）から（８）のいずれかに記載の画像処理装置。
【０２３８】
（１０）前記処理は、前記条件判定部により前記予備条件を満たすと判定された場合に、前記ユーザに対して、前記予備条件を満たしている旨の通知が行われるように通知処理を行う
前記（１）から（９）のいずれかに記載の撮像装置。
【０２３９】
（１１）前記画像加工部は、前記被写体の位置が前記本構図条件として設定されている場合、前記被写体の位置を前記本構図条件に合わせるように前記予備画像に対してトリミング処理を行う
前記（１）から（１０）のいずれかに記載の画像処理装置。
【０２４０】
（１２）所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法。
【０２４１】
（１３）所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
【０２４２】
（１４）筐体の一方の面に設けられたレンズと、
該レンズを介した光を受光して画像信号に変える撮像素子と、
前記筐体の前記レンズが設けられた一方の面に対して裏側に位置する他方の面に設けられ、前記画像信号に基づく画像を表示する表示部と、
を備え、
前記撮像素子により得られる撮像画像から所定の構図に関する条件を示す本構図条件を満たす本画像を生成する撮像装置において、
前記撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理部による処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
撮像装置。
【符号の説明】
【０２４３】
１・・・・撮像装置
２・・・・光学撮像系
３・・・・撮像素子
９・・・・音声出力部
１０・・・発光部
１１・・・表示部
３２・・・本画像条件設定部
３３・・・背景物検出部
３４・・・顔検出部
３６・・・記録制御部
３７・・・画像加工部
４１・・・切り出し領域設定部
４２・・・背景物位置判定部
４３・・・画像切り出し部
４４・・・拡大処理部
４８・・・重心算出部
４９・・・顔向き検出部
【特許請求の範囲】
【請求項１】
所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理装置において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
画像処理装置。
【請求項２】
前記予備構図条件は前記本構図条件よりも易しい条件である
請求項１に記載の画像処理装置。
【請求項３】
前記処理は、前記条件判定部が前記予備構図条件を満たすと判定することに応じて前記撮像画像を予備画像として記憶部に記憶させる処理である
請求項２に記載の画像処理装置。
【請求項４】
前記予備構図条件に設定されるパラメータの範囲は、前記本構図条件として設定されるパラメータの範囲よりも広い
請求項２に記載の画像処理装置。
【請求項５】
前記予備構図条件として設定される条件よりも、前記本構図条件として設定される条件が多い
請求項２に記載の画像処理装置。
【請求項６】
前記本構図条件は、前記予備画像条件に所定の条件を追加した条件である
請求項４記載の画像処理装置。
【請求項７】
前記本構図条件は、第１の範囲に被写体が含まれることを条件として含み、前記予備構図条件は前記第１の範囲よりも広い第２の範囲に前記被写体が含まれることを条件として含む
請求項２に記載の画像処理装置
【請求項８】
前記本構図条件は、第３の範囲に背景物が含まれることを条件として含み、前記予備項図条件は、前記第３の範囲よりも広い第４の範囲に前記背景物が含まれることを条件として含む
請求項２に記載の画像処理装置。
【請求項９】
前記本構図条件は、前記予備項図条件に、前記本画像中に背景物が含まれる条件を追加した条件である
請求項６に記載の画像処理装置。
【請求項１０】
前記処理は、前記条件判定部により前記予備条件を満たすと判定された場合に、前記ユーザに対して、前記予備条件を満たしている旨の通知が行われるように通知処理を行う
請求項１に記載の撮像装置。
【請求項１１】
前記画像加工部は、前記被写体の位置が前記本構図条件として設定されている場合、前記被写体の位置を前記本構図条件に合わせるように前記予備画像に対してトリミング処理を行う
請求項１に記載の画像処理装置。
【請求項１２】
所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法。
【請求項１３】
所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１４】
筐体の一方の面に設けられたレンズと、
該レンズを介した光を受光して画像信号に変える撮像素子と、
前記筐体の前記レンズが設けられた一方の面に対して裏側に位置する他方の面に設けられ、前記画像信号に基づく画像を表示する表示部と、
を備え、
前記撮像素子により得られる撮像画像から所定の構図に関する条件を示す本構図条件を満たす本画像を生成する撮像装置において、
前記撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理部による処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
撮像装置。
【請求項１】
所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理装置において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
画像処理装置。
【請求項２】
前記予備構図条件は前記本構図条件よりも易しい条件である
請求項１に記載の画像処理装置。
【請求項３】
前記処理は、前記条件判定部が前記予備構図条件を満たすと判定することに応じて前記撮像画像を予備画像として記憶部に記憶させる処理である
請求項２に記載の画像処理装置。
【請求項４】
前記予備構図条件に設定されるパラメータの範囲は、前記本構図条件として設定されるパラメータの範囲よりも広い
請求項２に記載の画像処理装置。
【請求項５】
前記予備構図条件として設定される条件よりも、前記本構図条件として設定される条件が多い
請求項２に記載の画像処理装置。
【請求項６】
前記本構図条件は、前記予備画像条件に所定の条件を追加した条件である
請求項４記載の画像処理装置。
【請求項７】
前記本構図条件は、第１の範囲に被写体が含まれることを条件として含み、前記予備構図条件は前記第１の範囲よりも広い第２の範囲に前記被写体が含まれることを条件として含む
請求項２に記載の画像処理装置
【請求項８】
前記本構図条件は、第３の範囲に背景物が含まれることを条件として含み、前記予備項図条件は、前記第３の範囲よりも広い第４の範囲に前記背景物が含まれることを条件として含む
請求項２に記載の画像処理装置。
【請求項９】
前記本構図条件は、前記予備項図条件に、前記本画像中に背景物が含まれる条件を追加した条件である
請求項６に記載の画像処理装置。
【請求項１０】
前記処理は、前記条件判定部により前記予備条件を満たすと判定された場合に、前記ユーザに対して、前記予備条件を満たしている旨の通知が行われるように通知処理を行う
請求項１に記載の撮像装置。
【請求項１１】
前記画像加工部は、前記被写体の位置が前記本構図条件として設定されている場合、前記被写体の位置を前記本構図条件に合わせるように前記予備画像に対してトリミング処理を行う
請求項１に記載の画像処理装置。
【請求項１２】
所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法。
【請求項１３】
所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１４】
筐体の一方の面に設けられたレンズと、
該レンズを介した光を受光して画像信号に変える撮像素子と、
前記筐体の前記レンズが設けられた一方の面に対して裏側に位置する他方の面に設けられ、前記画像信号に基づく画像を表示する表示部と、
を備え、
前記撮像素子により得られる撮像画像から所定の構図に関する条件を示す本構図条件を満たす本画像を生成する撮像装置において、
前記撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理部による処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【公開番号】特開２０１２−２１７１３２（Ｐ２０１２−２１７１３２Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−２５２５０２（Ｐ２０１１−２５２５０２）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]