撮影装置及びプログラム
【課題】集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、所望の写真を得る。
【解決手段】液晶モニタ７に表示されたスルー画像に、被写体を擬似的に表した分身画像であるアバター５０を重畳して表示し、アバター５０の位置、大きさ、向き、及び姿勢を変更して所望の構図を決定する。構図が決定し、画像の記録が指示されると、アバター５０を単一色の影画像５４に変換し、影画像をスルー画像にマッピングした影画像データとスルー画像とを比較して、影画像とスルー画像上の被写体の領域とが重なったか否かを判定する。重なったと判定されたときにセルフタイマのカウントダウンを開始し、所定時間経過後に、撮影された画像を記録メディアに記録するように制御する。
【解決手段】液晶モニタ７に表示されたスルー画像に、被写体を擬似的に表した分身画像であるアバター５０を重畳して表示し、アバター５０の位置、大きさ、向き、及び姿勢を変更して所望の構図を決定する。構図が決定し、画像の記録が指示されると、アバター５０を単一色の影画像５４に変換し、影画像をスルー画像にマッピングした影画像データとスルー画像とを比較して、影画像とスルー画像上の被写体の領域とが重なったか否かを判定する。重なったと判定されたときにセルフタイマのカウントダウンを開始し、所定時間経過後に、撮影された画像を記録メディアに記録するように制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置及びプログラムに係り、特に集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際に、構図アシストを行うことができる撮影装置及びプログラムに関する。
【背景技術】
【０００２】
従来、好みの構図の自分撮り撮影を行うために、撮像素子から得られた画像から被写体の顔を検出し、検出した顔が、撮影者によって任意の位置、大きさで設定されたフレームに収まるか否かを判定して、顔がフレームに収まると判定された場合に、セルフタイマを用いて撮影を行う撮像装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、主撮影画像とこの主撮影画像の周囲画像である周囲撮影画像とから本撮影する被写体それぞれの顔領域を検出し、被写体全員の顔領域が主撮影画像に含まれると判定された場合には、本撮影を行うシャッタ操作を実行させ、顔領域の一部又は全部が主撮影領域外にあると判定された場合には、被写体に対して、主撮影画像内への移動を促す報知を行う撮像装置が提案されている（例えば、特許文献２参照）。
【０００４】
また、撮影画像に他の画像を合成して出力するための画像出力装置であって、撮影画像に対して単に固定的な画像を合成するだけでなく、撮影画像中の物体像に対応した画像を合成して出力する画像出力装置が提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３２４８７７号公報
【特許文献２】特開２００８−１３４４５２号公報
【特許文献３】特開２００４−３０４２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術では、顔の撮影を主に想定しており、被写体のエリアが限定的である、という問題がある。
【０００７】
また、上記特許文献２に記載の技術では、自分を含めた集合写真をセルフタイマを用いて撮影する場合などには、自分がどのように写るかという構図を実写に近い形で直感的に確認することができず、所望の画像が得られない場合がある、という問題がある。
【０００８】
また、上記特許文献３に記載の技術は、合成写真に関するものであって、自分を含めた撮影での構図をアシストするものではない。
【０００９】
本発明は、上記問題を解決するためになされたもので、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、所望の写真を得ることができる撮影装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮影装置は、撮影手段で撮影されて表示された記録前の画像に、被写体を擬似的に表した分身画像を指示された位置に重畳して表示手段に表示するように制御する表示制御手段と、撮影された画像の記録の指示があった場合に、前記分身画像を単一色の画像に変換する変換手段と、前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する判定手段と、前記判定手段により、前記単一色の画像と前記被写体の領域とが重なったと判定されたときから所定時間経過後に、前記撮影手段で撮影された画像を記録手段に記録するように制御する記録制御手段と、を含んで構成されている。
【００１１】
本発明の撮影装置によれば、表示制御手段が、撮影手段で撮影された記録前の画像を表示手段に表示する。また、表示制御手段は、表示手段に表示した画像に対して、被写体を擬似的に表した分身画像を指示された位置に重畳して表示するように制御する。そして、変換手段が、撮影された画像の記録の指示があった場合に、分身画像を単一色の画像に変換し、判定手段が、単一色の画像と、撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する。記録制御手段は、判定手段により単一色の画像と被写体の領域とが重なったと判定されたときから所定時間経過後に、撮影手段で撮影された画像を記録手段に記録するように制御する。
【００１２】
このように、被写体を擬似的に表した分身画像を用いて構図を決定し、分身画像を単一色の画像に変換して被写体との重なりを判定することにより、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、所望の写真を得ることができる。
【００１３】
また、前記判定手段は、前記単一色の画像と前記被写体の領域との重なり度合いが所定の閾値以上になった場合に、前記単一色の画像と前記被写体の領域とが重なったと判定することができる。
【００１４】
また、前記変換手段は、前記単一色の画像の色を、前記撮影手段により撮影された画像の色情報に基づいて設定することができる。これにより、単一色の画像と撮影された画像上の被写体の領域との対比が明確になり、判定手段による判定精度が向上する。
【００１５】
また、前記分身画像の画像上での位置及び大きさに基づいて、前記撮影手段の合焦位置を制御する合焦制御手段を含み、前記判定手段は、前記単一色の画像と前記被写体の領域とが重なったと判定した場合に、前記被写体の少なくとも一部の領域の面積と、該被写体の少なくとも一部の領域に対応する前記単一色の画像の一部の領域の面積との差が所定の大きさよりも小さいか否かを判定し、前記記録制御手段は、前記判定手段により、前記面積の差が、所定の大きさよりも小さいと判定された場合に、前記合焦制御手段により合焦位置が制御された撮影手段により撮影された画像を前記記録手段に記録するように制御することができる。これにより、適切な合焦状態を保つことができる。
【００１６】
また、前記記録制御手段は、前記判定手段により、前記面積の差が、所定の大きさよりも大きいと判定された場合に、前記記録手段への画像の記録を行うことなく、合焦していないことを警告するか、前記判定手段により再度判定処理を実行させるか、または合焦していないことを警告すると共に、前記判定手段により再度判定処理を実行させるように制御することができる。
【００１７】
また、前記判定手段は、前記所定時間内においても、前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定し、前記記録制御手段は、前記判定手段により、前記所定時間内において、前記単一色の画像と前記被写体の領域とが重ならなくなったと判定された場合には、前記記録手段への画像の記録を行うことなく、前記単一色の画像と前記被写体の領域とが重なっていないことを警告するか、前記判定手段により再度判定処理を実行させるか、または前記単一色の画像と前記被写体の領域とが重なっていないことを警告すると共に、前記判定手段により再度判定処理を実行させるように制御するようにすることができる。これにより、無駄な撮影を回避することができる。
【００１８】
また、前記表示制御手段は、前記分身画像の向き、大きさ、及び姿勢の少なくとも１つを、指示された状態に変更して表示するように制御することができる。これにより、より直感的、かつ詳細に構図を決定することができる。
【００１９】
また、本発明の撮影プログラムは、コンピュータを、撮影手段で撮影されて表示された記録前の画像に、被写体を擬似的に表した分身画像を指示された位置に重畳して表示手段に表示するように制御する表示制御手段、撮影された画像の記録の指示があった場合に、前記分身画像を単一色の画像に変換する変換手段、前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する判定手段、及び前記判定手段により、前記単一色の画像と前記被写体の領域とが重なったと判定されたときから所定時間経過後に、前記撮影手段で撮影された画像を記録手段に記録するように制御する記録制御手段として機能させるためのプログラムである。
【発明の効果】
【００２０】
以上説明したように、本発明によれば、被写体を擬似的に表した分身画像を用いて構図を決定し、分身画像を単一色の画像に変換して被写体との重なりを判定することにより、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、所望の写真を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態のデジタルカメラの正面側斜視図である。
【図２】本実施の形態のデジタルカメラの背面側斜視図である。
【図３】本実施の形態のデジタルカメラの内部構成を示す概略ブロック図である。
【図４】第１の実施の形態における構図アシスト撮影処理ルーチンの内容を示すフローチャートである。
【図５】スルー画像の一例を示すイメージ図である。
【図６】スルー画像にアバターを重畳表示させた場合の一例を示すイメージ図である。
【図７】第１の実施の形態におけるアバター位置決定処理ルーチンの内容を示すフローチャートである。
【図８】（Ａ）アバターの拡大表示、及び（Ｂ）アバターの縮小表示の一例を示すイメージ図である。
【図９】アバターの回転の一例を示すイメージ図である。
【図１０】アバターの姿勢変更の一例を示すイメージ図である。
【図１１】重なり度合いの判定を説明するための模式図である。
【図１２】第２の実施の形態におけるアバター影画像変換処理ルーチンの内容を示すフローチャートである。
【図１３】第３の実施の形態の重なり判定処理を説明するための模式図である。
【図１４】第３の実施の形態の重なり判定処理ルーチンの内容を示すフローチャートである。
【図１５】顔領域の検出及び面積の比較を説明するためのイメージ図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の撮影装置をデジタルカメラに適用した場合について説明する。
【００２３】
図１は、第１の実施の形態のデジタルカメラ１の正面側斜視図、図２は背面側斜視図である。図１に示すように、デジタルカメラ１の上部には、レリーズボタン２、電源ボタン３、及びズームレバー４が備えられている。また、デジタルカメラ１の正面には、フラッシュ５、撮影部２１のレンズ、及びＬＥＤ９が配設されている。また、デジタルカメラ１の背面には、各種表示を行う液晶モニタ７、及び各種操作ボタン８が配設されている。
【００２４】
操作ボタン８は、液晶モニタ７に表示された各種項目を選択する際などに操作される十字キー、選択した項目を決定する際などに操作される決定キー、及び処理をキャンセルする際に操作されるキャンセルキーを含んで構成されている。
【００２５】
図３は、デジタルカメラ１の内部構成を示す概略ブロック図である。図３に示すように、デジタルカメラ１は、撮影部２１、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、入力部３６、ＣＰＵ３７、及びＬＥＤ制御部３８を備えている。
【００２６】
撮影制御部２２は、不図示のＡＦ処理部及びＡＥ処理部からなる。ＡＦ処理部はレリーズボタン２の半押し操作により撮影部が取得したプレ画像に基づいて、被写体領域を合焦領域として決定すると共に、レンズの焦点位置を決定し、撮影部２１に出力する。なお、被写体領域は、従来既知の画像認識処理によって特定される。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１に出力する。
【００２７】
また、撮影制御部２２は、レリーズボタン２の全押し操作により、撮影部２１に対して画像の本画像を取得させる本撮影の指示を行う。なお、レリーズボタン２が操作される前は、撮影制御部２２は、撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１に対して行う。
【００２８】
また、撮影制御部２２は、セルフタイマが設定された状態でのレリーズボタン２の全押し操作により、プレ画像を取得して、絞り値とシャッタ速度とを決定して撮影部２１に出力し、セルフタイマで設定された所定時間後に撮影部２１に対して本撮影の指示を行う。
【００２９】
画像処理部２３は、撮影部２１より取得した画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
【００３０】
圧縮／伸長処理部２４は、画像処理部２３によって処理が施された画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。
【００３１】
フレームメモリ２５は、撮影部２１が取得した画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００３２】
メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
【００３３】
内部メモリ２７は、デジタルカメラ１において設定される各種定数、及びＣＰＵ３７が実行するプログラム等を記憶する。また、内部メモリ２７には、構図アシストモードの際に液晶モニタ７に表示される被写体を擬似的に表した分身画像であるアバターが記憶される。アバターは、被写体に応じて予め作成したものを記憶しておく。例えば、被写体を撮影した画像に基づいて３次元モデル化するなど、周知のＡＲ技術を用いてアバターを作成することができる。
【００３４】
表示制御部２８は、撮影時においてフレームメモリ２５に格納された画像を液晶モニタ７に表示させたり、記録メディア２９に記録されている画像を液晶モニタ７に表示させたりする。また、表示制御部２８は、撮影部２１にて連続的に撮影されたスルー画像を液晶モニタ７に表示させる。
【００３５】
また、表示制御部２８は、構図アシストモードが選択された場合に、選択されたアバターを内部メモリ２７から読み出して、スルー画像に重畳して液晶モニタ７に表示する。また、表示制御部２８は、操作ボタン８またはズームレバー４の操作により入力された指示に従った位置にアバターが表示されるように制御する。また、アバターの向き、大きさ、及び姿勢の変更が指示された場合には、アバターを指示に従った状態に変更して表示するように制御する。
【００３６】
また、デジタルカメラ１は、構図アシストモードの際に機能する影画像変換部３０、及び重なり度合判定部３１を備える。
【００３７】
影画像変換部３０は、表示制御部２８により表示されたアバターを単一色の画像（影画像）に変換し、スルー画像に影画像をマッピングした影画像データをフレームメモリ２５に記憶する。
【００３８】
重なり度合判定部３１は、フレームメモリ２５に記憶された影画像データと、スルー画像とを比較して、影画像とスルー画像上の被写体の領域（以下、被写体画像という）とが重なったか否かを判定する。影画像と被写体画像とが重なった場合には、本撮影を開始するために判定結果を撮影制御部２２に出力すると共に、本撮影の開始をＬＥＤ９の点滅を用いて報知するために、判定結果をＬＥＤ制御部３８に出力する。
【００３９】
次に、図４を参照して、構図アシストモードが選択された際に、第１の実施の形態のデジタルカメラ１において実行される構図アシスト撮影処理ルーチンについて説明する。本ルーチンは、液晶モニタ７に表示されたメニューから操作ボタン８を操作することにより構図アシストモードが選択された場合にスタートする。
【００４０】
ステップ１００で、例えば、図５に示すように、液晶モニタ７にスルー画像を表示する。次に、ステップ１０２で、液晶モニタ７に構図アシストモードのアバター選択メニューを表示し、アバター選択メニューから操作ボタン８を操作することによりアバターが選択されたか否かを判定する。例えば、１台のデジタルカメラ１を複数のユーザが使用する場合、ユーザ毎に自分自身を擬似的に表すアバターを作成して、ユーザ名等と共に記憶しておく。そして、アバター選択メニューとして記憶された複数のアバターに対応したユーザ名のリスト等を表示する。アバターが選択された場合には、ステップ１０４へ移行し、選択されない場合には、アバターが選択されるまで、本ステップの判定を繰り返す。
【００４１】
ステップ１０４では、選択されたアバターを示すデータを内部メモリ２７から読み出して、例えば、図６に示すように、予め定めた初期設定の位置、大きさ、向き、及び姿勢のアバター５０としてスルー画像に重畳して表示する。
【００４２】
次に、ステップ１０６で、アバター位置決定処理を実行して、例えば、アバター５０を破線で示す配置５２に移動させて、所望の構図を決定する。
【００４３】
ここで、図７を参照して、アバター位置決定処理ルーチンについて説明する。
【００４４】
ステップ１０６０で、例えば決定キーが押下されるなど操作ボタン８が操作されて撮影画角の決定が指示されたか否かを判定する。撮影画角の決定が指示された場合には、ステップ１０６２へ移行し、決定されない場合には、決定されるまで本ステップの判定を繰り返す。
【００４５】
ステップ１０６２では、操作ボタン８の十字キーのいずれかが操作されたか否かを判定する。十字キーのいずれかが操作された場合には、ステップ１０６４へ移行し、十字キーのいずれが操作されたか、及びその操作量に応じて、アバター５０を上下左右の方向に移動させる。例えば、キー操作１回につき所定画素分の１ステップ移動させることを予め定めておき、左キーが３回押下された場合には、アバター５０を左方向に３ステップ分移動させる。アバター５０の表示を移動させたら、ステップ１０７４へ移行する。
【００４６】
一方、上記ステップ１０６２で、十字キーの操作がないと判定された場合には、ステップ１０６６へ移行して、ズームレバー４の操作があったか否かを判定する。ズームレバー４の操作があった場合には、ステップ１０６８へ移行し、ズームレバー４の操作がＴｅｌｅキー操作（ズームアウト）かＷｉｄｅキー操作（ズームイン）か、及びその操作量に応じて、アバター５０の表示を拡大または縮小する。例えば、図８（Ａ）に示すように、Ｗｉｄｅキー操作の場合には、その操作量に応じてアバター５０の表示を拡大し、同図（Ｂ）に示すように、Ｔｅｌｅキー操作の場合には、その操作量に応じてアバター５０の表示を縮小する。これにより、スルー画像上で擬似的にアバター５０を奥行方向へ移動させたり、手前方向へ移動させたりすることができる。アバター５０の表示を拡大または縮小させたら、ステップ１０７４へ移行する。なお、図８では、説明の便宜上、アバター５０のみを表示し、その他の被写体や背景の描写を省略している。以下、図９及び図１０も同様である。
【００４７】
一方、ステップ１０６６で、ズームレバー４の操作がないと判定された場合には、ステップ１０７０へ移行して、アバター５０の姿勢を変更するためのキー操作があったか否かを判定する。例えば、構図アシスト撮影処理を実行中に、メニューを表示するためのキー操作が行われた場合に、アバター５０の姿勢変更のメニューを表示する。そして、この項目が選択された後に、操作ボタン８の操作があった場合には、アバター５０の姿勢を変更するためのキー操作があったと判定することができる。アバター５０の姿勢を変更するためのキー操作があったと判定された場合には、ステップ１０７２へ移行し、キー操作がなかったと判定された場合には、ステップ１０７４へ移行する。
【００４８】
ステップ１０７２では、アバター５０の向き及び姿勢をキー操作に応じて変更する。例えば、アバター５０の姿勢を変更するためのキー操作として、十字キーの右キーまたは左キーの操作があった場合には、図９に示すように、アバター５０を右キーの操作量に応じて右方向に回転させたり、左キーの操作量に応じて左方向に回転させたりすることができる。また、十字キーの下キーの操作があった場合には、図１０に示すように、アバター５０の姿勢を屈伸姿勢に変更する。上キーが操作された場合には、屈伸姿勢から立位姿勢に変更する。
【００４９】
ステップ１０７４では、操作ボタン８の決定キーが押下されるなどして、アバター５０の位置が決定されたか否かを判定する。アバター５０の位置が決定されない場合には、ステップ１０６２へ戻って処理を繰り返し、アバター５０の位置が決定した場合には、リターンする。
【００５０】
ステップ１０８に戻って、レリーズボタン２が押下されたか否かを判定する。レリーズボタン２が押下された場合には、ステップ１１０へ移行し、押下されない場合には、押下されるまで本ステップの判定を繰り返す。
【００５１】
ステップ１１０では、上記ステップ１０４で表示し、上記ステップ１０６で位置を決定したアバター５０を単一色の画像である影画像に変換し、現在のスルー画像に影画像をマッピングした影画像データを生成して、フレームメモリ２５に記憶する。
【００５２】
次に、ステップ１１２で、フレームメモリ２５に記憶した影画像データとスルー画像とを比較して、影画像と被写体画像とが重なったか否かを判定する。影画像データ及びスルー画像を模式的に示した図１１を参照して、より具体的に説明する。まず同図（Ａ）に示すように、スルー画像に影画像５４をマッピングした影画像データがフレームメモリ２５に記憶されているとする。そして、レリーズボタン２が押下された直後のスルー画像を同図（Ｂ）として、同図（Ｃ）に示すように、この２つの画像の輝度情報または色情報に基づいた差分画像を生成する。この差分画像から所定の閾値以上の画素値からなる画素群を抽出すると、概ね影画像５４と同一の領域（以下、影領域５６という）が抽出される。次に、被写体が撮影エリアに入ることで、同図（Ｄ）に示すように、影画像５４との重なりを比較すべき被写体画像５８がスルー画像内に表れる。すると、同図（Ｅ）に示すように、差分画像が変化し、影領域５６に対して被写体領域６０が重なった重なり領域６２が生じる。そして、初期の影領域５６の面積に対する重なり領域６２の面積の割合を影画像５４と被写体画像５８との重なり度合いとして算出し、重なり度合いが所定の閾値以上となった場合に、影画像と被写体とが重なったと判定する。
【００５３】
影画像と被写体とが重なったと判定されない場合には、判定されるまで本ステップの処理を繰り返し、重なったと判定された場合には、ステップ１１４へ移行して、ＬＥＤ９を点滅させてセルフタイマのカウントダウンが開始したことを報知した上でセルフタイマのカウントダウンを開始し、予め定めたセルフタイマの所定時間が経過した後に、通常の撮影処理を実行して、処理を終了する。
【００５４】
以上説明したように、第１の実施の形態のデジタルカメラによれば、スルー画像に被写体を擬似的に表した分身画像であるアバターを表示し、このアバターの位置、大きさ、姿勢等を変更して構図を決定するため、直感的に所望の構図を決定することがで、また、構図が決定した後は、アバターを影画像に変換して被写体画像との重なり度合いを判定するため、簡易な処理で被写体が所望の位置についたか否かを判定することができ、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、所望の写真を得ることができる。
【００５５】
なお、上記ステップ１１４で、セルフタイマのカウントダウンを開始した後も、影画像と被写体との重なり度合いを判定し、影画像と被写体とが重ならなくなったと判定された場合には、ＬＥＤを点滅させてその旨を警告したり、ステップ１１２へ戻って処理を繰り返したり、警告と共にステップ１１２へ戻って処理を繰り返したりしてもよい。また、警告の際には、不図示のスピーカからビープ音を鳴らすなどしてもよい。
【００５６】
また、第１の実施の形態では、表示されたアバターの姿勢変更の例として、屈伸姿勢に変更する場合について説明したが、腕や脚などの部位毎に姿勢を変更可能にしてもよい。
【００５７】
次に、第２の実施の形態について説明する。第２の実施の形態では、アバター５０を影画像５４に変換する際の色をスルー画像の色情報に基づいて設定する場合について説明する。なお、第２の実施の形態のデジタルカメラの構成は、第１の実施の形態のデジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。
【００５８】
第２の実施の形態のデジタルカメラ１の影画像変換部３０は、アバター５０を単一色の影画像に変換する際の色を、スルー画像の色情報に基づいて設定した上で、アバター５０を影画像に変換し、スルー画像に影画像をマッピングした影画像データを生成して、フレームメモリ２５に記憶する。
【００５９】
ここで、第２の実施の形態における構図アシスト撮影処理ルーチンについて説明する。第２の実施の形態における構図アシスト撮影処理は、第１の実施の形態の構図アシスト撮影処理（図４）のステップ１１０の処理に替えて、図１２に示すアバター影画像変換処理を実行する。以下、アバター影画像変換処理ルーチンについて説明する。
【００６０】
ステップ１１００で、現在のスルー画像のデータを、フレームメモリ２５上に展開する。次に、ステップ１１０２で、スルー画像のデータから色情報を抽出し、色毎に画素数をカウントする。
【００６１】
次に、ステップ１１０４で、上記ステップ１１０２でカウントした色毎の画素数が最小の色を影画像の色として設定し、次に、ステップ１１０６で、アバター５０を、上記ステップ１１０４で設定した色の影画像に変換して、スルー画像に影画像をマッピングした影画像データを生成して、フレームメモリ２５に記憶して、リターンする。
【００６２】
そして、構図アシスト撮影処理のステップ１１２において、影画像データとスルー画像との差分画像を、色情報に基づいて生成することで、影領域５６をより明確にすることができ、影画像と被写体との重なり度合いの判定精度を向上させることができる。
【００６３】
次に、第３の実施の形態について説明する。第３の実施の形態では、アバター５０の情報を利用して適正な合焦位置で撮影されるように制御する場合について説明する。なお、第３の実施の形態のデジタルカメラの構成は、第１の実施の形態のデジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。
【００６４】
第３の実施の形態のデジタルカメラ１のＡＦ処理部は、表示されたアバター５０の位置及び大きさに基づいて、レンズの焦点位置を決定する。アバター５０は、被写体に基づいて生成されているため、アバター５０の表示される大きさに基づいて、デジタルカメラ１からアバター５０が表示されている画像上の位置に対応する実際の位置までの距離を把握することができる。
【００６５】
重なり度合判定部３１は、影画像５４に被写体画像５８が重なったか否かを判定すると共に、影画像５４の面積と被写体画像５８の面積とを比較して、適正なフォーカス状態にあるか否かを判定する。
【００６６】
図１３（Ａ）〜（Ｃ）に模式的に示すように、影画像５４に対してスルー画像上の被写体画像５８が重なる位置であっても、被写体が手前に位置する場合には、差分画像において、被写体領域６０及び重なり領域６２のみとなり、初期の影領域５６は消失する。この場合、影画像と被写体との重なり度合いは高いが、被写体の位置が合焦位置に一致しないため、適正なフォーカス状態が保てない。
【００６７】
なお、面積を比較する際に、影画像５４全体の面積と、被写体画像５８の全体の面積とを比較してもよいが、被写体の姿勢の変動等により安定して面積を算出できない場合もあるため、例えば顔領域のように一部の面積を比較してもよい。本実施の形態では、顔領域の面積を比較する場合について説明する。
【００６８】
ここで、第３の実施の形態における構図アシスト撮影処理ルーチンについて説明する。第３の実施の形態における構図アシスト撮影処理は、第１の実施の形態の構図アシスト撮影処理（図４）のステップ１１２の処理に替えて、図１４に示す重なり判定処理を実行する。以下、重なり判定処理ルーチンについて説明する。
【００６９】
ステップ１１２０で、現在のスルー画像のデータを、フレームメモリ２５上に展開する。次に、ステップ１１２２で、フレームメモリ２５に記憶した影画像データとスルー画像とを比較して、影画像５４が消失したか否かを判定する。例えば、図１３（Ｃ）に示すように、影画像データとスルー画像との差分画像において、初期の影領域５６が消失した場合に、影画像５４が消失したと判定することができる。なお、影領域５６が完全に消失した場合に限らず、影領域５６の面積が所定の面積以下になった場合も、影画像が消失したと判定するようにしてもよい。影画像５４が消失しない場合には、本ステップの判定を繰り返し、影画像５４が消失した場合には、ステップ１１２４へ移行する。
【００７０】
ステップ１１２４では、図１５に示すように、影画像５４及び被写体画像５８の各々から、画像認識技術を用いて顔領域を検出し、その面積を算出する。なお、影画像５４の顔領域の面積については、基になったアバター５０における基準の顔領域の面積を予め記憶しておき、表示されたアバター５０のサイズに応じて影画像５４の顔領域の面積を算出するようにしてもよい。
【００７１】
次に、ステップ１１２６で、上記ステップ１１２４で算出した影画像５４の顔領域の面積が被写体画像５８の顔領域の面積より大きいか否かを判定する。大きいか否かの判定は、例えば、影画像５４の顔領域の面積に対して、被写体画像５８の顔領域の面積が１０％以上大きければ、被写体画像５８の顔領域の面積の方が大きいと判定することができる。影画像５４の顔領域の面積の方が大きい場合には、フォーカス状態は適切であると判定して、リターンする。一方、被写体画像５８の顔領域の面積の方が大きい場合には、被写体が合焦位置より手前に存在し、適切なフォーカス状態が保てていないと判定して、ステップ１１２８へ移行する。
【００７２】
ステップ１１２８では、ＬＥＤ９を点滅させてフォーカス状態が適切でないことを警告し、ステップ１１２０へ戻る。
【００７３】
そして、構図アシスト撮影処理のステップ１１４において、アバター５０の位置及び大きさに基づいて決定されたレンズの焦点位置を用いて撮影処理を実行する。
【００７４】
以上説明したように、第３の実施の形態によれば、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、フォーカス状態が適切に保たれた所望の写真を得ることができる。
【００７５】
なお、第３の実施の形態では、フォーカス状態が適切でない場合に、警告をした上で重なり判定処理を繰り返す場合について説明したが、警告をした上で撮影処理へ移行するようにしてもよいし、警告をすることなく重なり判定処理を繰り返すようにしてもよい。
【００７６】
また、第３の実施の形態では、影画像が消失したと判定された場合に、顔領域の面積を比較する場合について説明したが、影画像と被写体画像とがある程度重なったと判定された場合に、顔領域の面積を比較し、影画像の顔領域と被写体画像の顔領域との面積の差が所定値（例えば、影画像の顔領域の面積の１０％）以上と判定された場合に、警告等を行うようにしてもよい。この場合、影画像の顔領域の面積よりも被写体画像の顔領域の面積の方が小さい、すなわち被写体が合焦位置より奥にいる場合も警告の対象となる。
【００７７】
また、上記第１〜第３の実施の形態の構図アシスト撮影処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにしてもよい。また、そのプログラムを記憶媒体に記憶して提供してもよい。
【符号の説明】
【００７８】
１ デジタルカメラ
２ レリーズボタン
４ ズームレバー
７ 液晶モニタ
８ 操作ボタン
９ ＬＥＤ
２１ 撮影部
２２ 撮影制御部
２５ フレームメモリ
２６ メディア制御部
２７ 内部メモリ
２８ 表示制御部
２９ 記録メディア
３０ 影画像変換部
３１ 重なり度合判定部
５０ アバター
５４ 影画像
５６ 影領域
５８ 被写体画像
６０ 被写体領域
６２ 重なり領域
【技術分野】
【０００１】
本発明は、撮影装置及びプログラムに係り、特に集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際に、構図アシストを行うことができる撮影装置及びプログラムに関する。
【背景技術】
【０００２】
従来、好みの構図の自分撮り撮影を行うために、撮像素子から得られた画像から被写体の顔を検出し、検出した顔が、撮影者によって任意の位置、大きさで設定されたフレームに収まるか否かを判定して、顔がフレームに収まると判定された場合に、セルフタイマを用いて撮影を行う撮像装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、主撮影画像とこの主撮影画像の周囲画像である周囲撮影画像とから本撮影する被写体それぞれの顔領域を検出し、被写体全員の顔領域が主撮影画像に含まれると判定された場合には、本撮影を行うシャッタ操作を実行させ、顔領域の一部又は全部が主撮影領域外にあると判定された場合には、被写体に対して、主撮影画像内への移動を促す報知を行う撮像装置が提案されている（例えば、特許文献２参照）。
【０００４】
また、撮影画像に他の画像を合成して出力するための画像出力装置であって、撮影画像に対して単に固定的な画像を合成するだけでなく、撮影画像中の物体像に対応した画像を合成して出力する画像出力装置が提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３２４８７７号公報
【特許文献２】特開２００８−１３４４５２号公報
【特許文献３】特開２００４−３０４２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術では、顔の撮影を主に想定しており、被写体のエリアが限定的である、という問題がある。
【０００７】
また、上記特許文献２に記載の技術では、自分を含めた集合写真をセルフタイマを用いて撮影する場合などには、自分がどのように写るかという構図を実写に近い形で直感的に確認することができず、所望の画像が得られない場合がある、という問題がある。
【０００８】
また、上記特許文献３に記載の技術は、合成写真に関するものであって、自分を含めた撮影での構図をアシストするものではない。
【０００９】
本発明は、上記問題を解決するためになされたもので、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、所望の写真を得ることができる撮影装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮影装置は、撮影手段で撮影されて表示された記録前の画像に、被写体を擬似的に表した分身画像を指示された位置に重畳して表示手段に表示するように制御する表示制御手段と、撮影された画像の記録の指示があった場合に、前記分身画像を単一色の画像に変換する変換手段と、前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する判定手段と、前記判定手段により、前記単一色の画像と前記被写体の領域とが重なったと判定されたときから所定時間経過後に、前記撮影手段で撮影された画像を記録手段に記録するように制御する記録制御手段と、を含んで構成されている。
【００１１】
本発明の撮影装置によれば、表示制御手段が、撮影手段で撮影された記録前の画像を表示手段に表示する。また、表示制御手段は、表示手段に表示した画像に対して、被写体を擬似的に表した分身画像を指示された位置に重畳して表示するように制御する。そして、変換手段が、撮影された画像の記録の指示があった場合に、分身画像を単一色の画像に変換し、判定手段が、単一色の画像と、撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する。記録制御手段は、判定手段により単一色の画像と被写体の領域とが重なったと判定されたときから所定時間経過後に、撮影手段で撮影された画像を記録手段に記録するように制御する。
【００１２】
このように、被写体を擬似的に表した分身画像を用いて構図を決定し、分身画像を単一色の画像に変換して被写体との重なりを判定することにより、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、所望の写真を得ることができる。
【００１３】
また、前記判定手段は、前記単一色の画像と前記被写体の領域との重なり度合いが所定の閾値以上になった場合に、前記単一色の画像と前記被写体の領域とが重なったと判定することができる。
【００１４】
また、前記変換手段は、前記単一色の画像の色を、前記撮影手段により撮影された画像の色情報に基づいて設定することができる。これにより、単一色の画像と撮影された画像上の被写体の領域との対比が明確になり、判定手段による判定精度が向上する。
【００１５】
また、前記分身画像の画像上での位置及び大きさに基づいて、前記撮影手段の合焦位置を制御する合焦制御手段を含み、前記判定手段は、前記単一色の画像と前記被写体の領域とが重なったと判定した場合に、前記被写体の少なくとも一部の領域の面積と、該被写体の少なくとも一部の領域に対応する前記単一色の画像の一部の領域の面積との差が所定の大きさよりも小さいか否かを判定し、前記記録制御手段は、前記判定手段により、前記面積の差が、所定の大きさよりも小さいと判定された場合に、前記合焦制御手段により合焦位置が制御された撮影手段により撮影された画像を前記記録手段に記録するように制御することができる。これにより、適切な合焦状態を保つことができる。
【００１６】
また、前記記録制御手段は、前記判定手段により、前記面積の差が、所定の大きさよりも大きいと判定された場合に、前記記録手段への画像の記録を行うことなく、合焦していないことを警告するか、前記判定手段により再度判定処理を実行させるか、または合焦していないことを警告すると共に、前記判定手段により再度判定処理を実行させるように制御することができる。
【００１７】
また、前記判定手段は、前記所定時間内においても、前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定し、前記記録制御手段は、前記判定手段により、前記所定時間内において、前記単一色の画像と前記被写体の領域とが重ならなくなったと判定された場合には、前記記録手段への画像の記録を行うことなく、前記単一色の画像と前記被写体の領域とが重なっていないことを警告するか、前記判定手段により再度判定処理を実行させるか、または前記単一色の画像と前記被写体の領域とが重なっていないことを警告すると共に、前記判定手段により再度判定処理を実行させるように制御するようにすることができる。これにより、無駄な撮影を回避することができる。
【００１８】
また、前記表示制御手段は、前記分身画像の向き、大きさ、及び姿勢の少なくとも１つを、指示された状態に変更して表示するように制御することができる。これにより、より直感的、かつ詳細に構図を決定することができる。
【００１９】
また、本発明の撮影プログラムは、コンピュータを、撮影手段で撮影されて表示された記録前の画像に、被写体を擬似的に表した分身画像を指示された位置に重畳して表示手段に表示するように制御する表示制御手段、撮影された画像の記録の指示があった場合に、前記分身画像を単一色の画像に変換する変換手段、前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する判定手段、及び前記判定手段により、前記単一色の画像と前記被写体の領域とが重なったと判定されたときから所定時間経過後に、前記撮影手段で撮影された画像を記録手段に記録するように制御する記録制御手段として機能させるためのプログラムである。
【発明の効果】
【００２０】
以上説明したように、本発明によれば、被写体を擬似的に表した分身画像を用いて構図を決定し、分身画像を単一色の画像に変換して被写体との重なりを判定することにより、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、所望の写真を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態のデジタルカメラの正面側斜視図である。
【図２】本実施の形態のデジタルカメラの背面側斜視図である。
【図３】本実施の形態のデジタルカメラの内部構成を示す概略ブロック図である。
【図４】第１の実施の形態における構図アシスト撮影処理ルーチンの内容を示すフローチャートである。
【図５】スルー画像の一例を示すイメージ図である。
【図６】スルー画像にアバターを重畳表示させた場合の一例を示すイメージ図である。
【図７】第１の実施の形態におけるアバター位置決定処理ルーチンの内容を示すフローチャートである。
【図８】（Ａ）アバターの拡大表示、及び（Ｂ）アバターの縮小表示の一例を示すイメージ図である。
【図９】アバターの回転の一例を示すイメージ図である。
【図１０】アバターの姿勢変更の一例を示すイメージ図である。
【図１１】重なり度合いの判定を説明するための模式図である。
【図１２】第２の実施の形態におけるアバター影画像変換処理ルーチンの内容を示すフローチャートである。
【図１３】第３の実施の形態の重なり判定処理を説明するための模式図である。
【図１４】第３の実施の形態の重なり判定処理ルーチンの内容を示すフローチャートである。
【図１５】顔領域の検出及び面積の比較を説明するためのイメージ図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の撮影装置をデジタルカメラに適用した場合について説明する。
【００２３】
図１は、第１の実施の形態のデジタルカメラ１の正面側斜視図、図２は背面側斜視図である。図１に示すように、デジタルカメラ１の上部には、レリーズボタン２、電源ボタン３、及びズームレバー４が備えられている。また、デジタルカメラ１の正面には、フラッシュ５、撮影部２１のレンズ、及びＬＥＤ９が配設されている。また、デジタルカメラ１の背面には、各種表示を行う液晶モニタ７、及び各種操作ボタン８が配設されている。
【００２４】
操作ボタン８は、液晶モニタ７に表示された各種項目を選択する際などに操作される十字キー、選択した項目を決定する際などに操作される決定キー、及び処理をキャンセルする際に操作されるキャンセルキーを含んで構成されている。
【００２５】
図３は、デジタルカメラ１の内部構成を示す概略ブロック図である。図３に示すように、デジタルカメラ１は、撮影部２１、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、入力部３６、ＣＰＵ３７、及びＬＥＤ制御部３８を備えている。
【００２６】
撮影制御部２２は、不図示のＡＦ処理部及びＡＥ処理部からなる。ＡＦ処理部はレリーズボタン２の半押し操作により撮影部が取得したプレ画像に基づいて、被写体領域を合焦領域として決定すると共に、レンズの焦点位置を決定し、撮影部２１に出力する。なお、被写体領域は、従来既知の画像認識処理によって特定される。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１に出力する。
【００２７】
また、撮影制御部２２は、レリーズボタン２の全押し操作により、撮影部２１に対して画像の本画像を取得させる本撮影の指示を行う。なお、レリーズボタン２が操作される前は、撮影制御部２２は、撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１に対して行う。
【００２８】
また、撮影制御部２２は、セルフタイマが設定された状態でのレリーズボタン２の全押し操作により、プレ画像を取得して、絞り値とシャッタ速度とを決定して撮影部２１に出力し、セルフタイマで設定された所定時間後に撮影部２１に対して本撮影の指示を行う。
【００２９】
画像処理部２３は、撮影部２１より取得した画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
【００３０】
圧縮／伸長処理部２４は、画像処理部２３によって処理が施された画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。
【００３１】
フレームメモリ２５は、撮影部２１が取得した画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００３２】
メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
【００３３】
内部メモリ２７は、デジタルカメラ１において設定される各種定数、及びＣＰＵ３７が実行するプログラム等を記憶する。また、内部メモリ２７には、構図アシストモードの際に液晶モニタ７に表示される被写体を擬似的に表した分身画像であるアバターが記憶される。アバターは、被写体に応じて予め作成したものを記憶しておく。例えば、被写体を撮影した画像に基づいて３次元モデル化するなど、周知のＡＲ技術を用いてアバターを作成することができる。
【００３４】
表示制御部２８は、撮影時においてフレームメモリ２５に格納された画像を液晶モニタ７に表示させたり、記録メディア２９に記録されている画像を液晶モニタ７に表示させたりする。また、表示制御部２８は、撮影部２１にて連続的に撮影されたスルー画像を液晶モニタ７に表示させる。
【００３５】
また、表示制御部２８は、構図アシストモードが選択された場合に、選択されたアバターを内部メモリ２７から読み出して、スルー画像に重畳して液晶モニタ７に表示する。また、表示制御部２８は、操作ボタン８またはズームレバー４の操作により入力された指示に従った位置にアバターが表示されるように制御する。また、アバターの向き、大きさ、及び姿勢の変更が指示された場合には、アバターを指示に従った状態に変更して表示するように制御する。
【００３６】
また、デジタルカメラ１は、構図アシストモードの際に機能する影画像変換部３０、及び重なり度合判定部３１を備える。
【００３７】
影画像変換部３０は、表示制御部２８により表示されたアバターを単一色の画像（影画像）に変換し、スルー画像に影画像をマッピングした影画像データをフレームメモリ２５に記憶する。
【００３８】
重なり度合判定部３１は、フレームメモリ２５に記憶された影画像データと、スルー画像とを比較して、影画像とスルー画像上の被写体の領域（以下、被写体画像という）とが重なったか否かを判定する。影画像と被写体画像とが重なった場合には、本撮影を開始するために判定結果を撮影制御部２２に出力すると共に、本撮影の開始をＬＥＤ９の点滅を用いて報知するために、判定結果をＬＥＤ制御部３８に出力する。
【００３９】
次に、図４を参照して、構図アシストモードが選択された際に、第１の実施の形態のデジタルカメラ１において実行される構図アシスト撮影処理ルーチンについて説明する。本ルーチンは、液晶モニタ７に表示されたメニューから操作ボタン８を操作することにより構図アシストモードが選択された場合にスタートする。
【００４０】
ステップ１００で、例えば、図５に示すように、液晶モニタ７にスルー画像を表示する。次に、ステップ１０２で、液晶モニタ７に構図アシストモードのアバター選択メニューを表示し、アバター選択メニューから操作ボタン８を操作することによりアバターが選択されたか否かを判定する。例えば、１台のデジタルカメラ１を複数のユーザが使用する場合、ユーザ毎に自分自身を擬似的に表すアバターを作成して、ユーザ名等と共に記憶しておく。そして、アバター選択メニューとして記憶された複数のアバターに対応したユーザ名のリスト等を表示する。アバターが選択された場合には、ステップ１０４へ移行し、選択されない場合には、アバターが選択されるまで、本ステップの判定を繰り返す。
【００４１】
ステップ１０４では、選択されたアバターを示すデータを内部メモリ２７から読み出して、例えば、図６に示すように、予め定めた初期設定の位置、大きさ、向き、及び姿勢のアバター５０としてスルー画像に重畳して表示する。
【００４２】
次に、ステップ１０６で、アバター位置決定処理を実行して、例えば、アバター５０を破線で示す配置５２に移動させて、所望の構図を決定する。
【００４３】
ここで、図７を参照して、アバター位置決定処理ルーチンについて説明する。
【００４４】
ステップ１０６０で、例えば決定キーが押下されるなど操作ボタン８が操作されて撮影画角の決定が指示されたか否かを判定する。撮影画角の決定が指示された場合には、ステップ１０６２へ移行し、決定されない場合には、決定されるまで本ステップの判定を繰り返す。
【００４５】
ステップ１０６２では、操作ボタン８の十字キーのいずれかが操作されたか否かを判定する。十字キーのいずれかが操作された場合には、ステップ１０６４へ移行し、十字キーのいずれが操作されたか、及びその操作量に応じて、アバター５０を上下左右の方向に移動させる。例えば、キー操作１回につき所定画素分の１ステップ移動させることを予め定めておき、左キーが３回押下された場合には、アバター５０を左方向に３ステップ分移動させる。アバター５０の表示を移動させたら、ステップ１０７４へ移行する。
【００４６】
一方、上記ステップ１０６２で、十字キーの操作がないと判定された場合には、ステップ１０６６へ移行して、ズームレバー４の操作があったか否かを判定する。ズームレバー４の操作があった場合には、ステップ１０６８へ移行し、ズームレバー４の操作がＴｅｌｅキー操作（ズームアウト）かＷｉｄｅキー操作（ズームイン）か、及びその操作量に応じて、アバター５０の表示を拡大または縮小する。例えば、図８（Ａ）に示すように、Ｗｉｄｅキー操作の場合には、その操作量に応じてアバター５０の表示を拡大し、同図（Ｂ）に示すように、Ｔｅｌｅキー操作の場合には、その操作量に応じてアバター５０の表示を縮小する。これにより、スルー画像上で擬似的にアバター５０を奥行方向へ移動させたり、手前方向へ移動させたりすることができる。アバター５０の表示を拡大または縮小させたら、ステップ１０７４へ移行する。なお、図８では、説明の便宜上、アバター５０のみを表示し、その他の被写体や背景の描写を省略している。以下、図９及び図１０も同様である。
【００４７】
一方、ステップ１０６６で、ズームレバー４の操作がないと判定された場合には、ステップ１０７０へ移行して、アバター５０の姿勢を変更するためのキー操作があったか否かを判定する。例えば、構図アシスト撮影処理を実行中に、メニューを表示するためのキー操作が行われた場合に、アバター５０の姿勢変更のメニューを表示する。そして、この項目が選択された後に、操作ボタン８の操作があった場合には、アバター５０の姿勢を変更するためのキー操作があったと判定することができる。アバター５０の姿勢を変更するためのキー操作があったと判定された場合には、ステップ１０７２へ移行し、キー操作がなかったと判定された場合には、ステップ１０７４へ移行する。
【００４８】
ステップ１０７２では、アバター５０の向き及び姿勢をキー操作に応じて変更する。例えば、アバター５０の姿勢を変更するためのキー操作として、十字キーの右キーまたは左キーの操作があった場合には、図９に示すように、アバター５０を右キーの操作量に応じて右方向に回転させたり、左キーの操作量に応じて左方向に回転させたりすることができる。また、十字キーの下キーの操作があった場合には、図１０に示すように、アバター５０の姿勢を屈伸姿勢に変更する。上キーが操作された場合には、屈伸姿勢から立位姿勢に変更する。
【００４９】
ステップ１０７４では、操作ボタン８の決定キーが押下されるなどして、アバター５０の位置が決定されたか否かを判定する。アバター５０の位置が決定されない場合には、ステップ１０６２へ戻って処理を繰り返し、アバター５０の位置が決定した場合には、リターンする。
【００５０】
ステップ１０８に戻って、レリーズボタン２が押下されたか否かを判定する。レリーズボタン２が押下された場合には、ステップ１１０へ移行し、押下されない場合には、押下されるまで本ステップの判定を繰り返す。
【００５１】
ステップ１１０では、上記ステップ１０４で表示し、上記ステップ１０６で位置を決定したアバター５０を単一色の画像である影画像に変換し、現在のスルー画像に影画像をマッピングした影画像データを生成して、フレームメモリ２５に記憶する。
【００５２】
次に、ステップ１１２で、フレームメモリ２５に記憶した影画像データとスルー画像とを比較して、影画像と被写体画像とが重なったか否かを判定する。影画像データ及びスルー画像を模式的に示した図１１を参照して、より具体的に説明する。まず同図（Ａ）に示すように、スルー画像に影画像５４をマッピングした影画像データがフレームメモリ２５に記憶されているとする。そして、レリーズボタン２が押下された直後のスルー画像を同図（Ｂ）として、同図（Ｃ）に示すように、この２つの画像の輝度情報または色情報に基づいた差分画像を生成する。この差分画像から所定の閾値以上の画素値からなる画素群を抽出すると、概ね影画像５４と同一の領域（以下、影領域５６という）が抽出される。次に、被写体が撮影エリアに入ることで、同図（Ｄ）に示すように、影画像５４との重なりを比較すべき被写体画像５８がスルー画像内に表れる。すると、同図（Ｅ）に示すように、差分画像が変化し、影領域５６に対して被写体領域６０が重なった重なり領域６２が生じる。そして、初期の影領域５６の面積に対する重なり領域６２の面積の割合を影画像５４と被写体画像５８との重なり度合いとして算出し、重なり度合いが所定の閾値以上となった場合に、影画像と被写体とが重なったと判定する。
【００５３】
影画像と被写体とが重なったと判定されない場合には、判定されるまで本ステップの処理を繰り返し、重なったと判定された場合には、ステップ１１４へ移行して、ＬＥＤ９を点滅させてセルフタイマのカウントダウンが開始したことを報知した上でセルフタイマのカウントダウンを開始し、予め定めたセルフタイマの所定時間が経過した後に、通常の撮影処理を実行して、処理を終了する。
【００５４】
以上説明したように、第１の実施の形態のデジタルカメラによれば、スルー画像に被写体を擬似的に表した分身画像であるアバターを表示し、このアバターの位置、大きさ、姿勢等を変更して構図を決定するため、直感的に所望の構図を決定することがで、また、構図が決定した後は、アバターを影画像に変換して被写体画像との重なり度合いを判定するため、簡易な処理で被写体が所望の位置についたか否かを判定することができ、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、所望の写真を得ることができる。
【００５５】
なお、上記ステップ１１４で、セルフタイマのカウントダウンを開始した後も、影画像と被写体との重なり度合いを判定し、影画像と被写体とが重ならなくなったと判定された場合には、ＬＥＤを点滅させてその旨を警告したり、ステップ１１２へ戻って処理を繰り返したり、警告と共にステップ１１２へ戻って処理を繰り返したりしてもよい。また、警告の際には、不図示のスピーカからビープ音を鳴らすなどしてもよい。
【００５６】
また、第１の実施の形態では、表示されたアバターの姿勢変更の例として、屈伸姿勢に変更する場合について説明したが、腕や脚などの部位毎に姿勢を変更可能にしてもよい。
【００５７】
次に、第２の実施の形態について説明する。第２の実施の形態では、アバター５０を影画像５４に変換する際の色をスルー画像の色情報に基づいて設定する場合について説明する。なお、第２の実施の形態のデジタルカメラの構成は、第１の実施の形態のデジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。
【００５８】
第２の実施の形態のデジタルカメラ１の影画像変換部３０は、アバター５０を単一色の影画像に変換する際の色を、スルー画像の色情報に基づいて設定した上で、アバター５０を影画像に変換し、スルー画像に影画像をマッピングした影画像データを生成して、フレームメモリ２５に記憶する。
【００５９】
ここで、第２の実施の形態における構図アシスト撮影処理ルーチンについて説明する。第２の実施の形態における構図アシスト撮影処理は、第１の実施の形態の構図アシスト撮影処理（図４）のステップ１１０の処理に替えて、図１２に示すアバター影画像変換処理を実行する。以下、アバター影画像変換処理ルーチンについて説明する。
【００６０】
ステップ１１００で、現在のスルー画像のデータを、フレームメモリ２５上に展開する。次に、ステップ１１０２で、スルー画像のデータから色情報を抽出し、色毎に画素数をカウントする。
【００６１】
次に、ステップ１１０４で、上記ステップ１１０２でカウントした色毎の画素数が最小の色を影画像の色として設定し、次に、ステップ１１０６で、アバター５０を、上記ステップ１１０４で設定した色の影画像に変換して、スルー画像に影画像をマッピングした影画像データを生成して、フレームメモリ２５に記憶して、リターンする。
【００６２】
そして、構図アシスト撮影処理のステップ１１２において、影画像データとスルー画像との差分画像を、色情報に基づいて生成することで、影領域５６をより明確にすることができ、影画像と被写体との重なり度合いの判定精度を向上させることができる。
【００６３】
次に、第３の実施の形態について説明する。第３の実施の形態では、アバター５０の情報を利用して適正な合焦位置で撮影されるように制御する場合について説明する。なお、第３の実施の形態のデジタルカメラの構成は、第１の実施の形態のデジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。
【００６４】
第３の実施の形態のデジタルカメラ１のＡＦ処理部は、表示されたアバター５０の位置及び大きさに基づいて、レンズの焦点位置を決定する。アバター５０は、被写体に基づいて生成されているため、アバター５０の表示される大きさに基づいて、デジタルカメラ１からアバター５０が表示されている画像上の位置に対応する実際の位置までの距離を把握することができる。
【００６５】
重なり度合判定部３１は、影画像５４に被写体画像５８が重なったか否かを判定すると共に、影画像５４の面積と被写体画像５８の面積とを比較して、適正なフォーカス状態にあるか否かを判定する。
【００６６】
図１３（Ａ）〜（Ｃ）に模式的に示すように、影画像５４に対してスルー画像上の被写体画像５８が重なる位置であっても、被写体が手前に位置する場合には、差分画像において、被写体領域６０及び重なり領域６２のみとなり、初期の影領域５６は消失する。この場合、影画像と被写体との重なり度合いは高いが、被写体の位置が合焦位置に一致しないため、適正なフォーカス状態が保てない。
【００６７】
なお、面積を比較する際に、影画像５４全体の面積と、被写体画像５８の全体の面積とを比較してもよいが、被写体の姿勢の変動等により安定して面積を算出できない場合もあるため、例えば顔領域のように一部の面積を比較してもよい。本実施の形態では、顔領域の面積を比較する場合について説明する。
【００６８】
ここで、第３の実施の形態における構図アシスト撮影処理ルーチンについて説明する。第３の実施の形態における構図アシスト撮影処理は、第１の実施の形態の構図アシスト撮影処理（図４）のステップ１１２の処理に替えて、図１４に示す重なり判定処理を実行する。以下、重なり判定処理ルーチンについて説明する。
【００６９】
ステップ１１２０で、現在のスルー画像のデータを、フレームメモリ２５上に展開する。次に、ステップ１１２２で、フレームメモリ２５に記憶した影画像データとスルー画像とを比較して、影画像５４が消失したか否かを判定する。例えば、図１３（Ｃ）に示すように、影画像データとスルー画像との差分画像において、初期の影領域５６が消失した場合に、影画像５４が消失したと判定することができる。なお、影領域５６が完全に消失した場合に限らず、影領域５６の面積が所定の面積以下になった場合も、影画像が消失したと判定するようにしてもよい。影画像５４が消失しない場合には、本ステップの判定を繰り返し、影画像５４が消失した場合には、ステップ１１２４へ移行する。
【００７０】
ステップ１１２４では、図１５に示すように、影画像５４及び被写体画像５８の各々から、画像認識技術を用いて顔領域を検出し、その面積を算出する。なお、影画像５４の顔領域の面積については、基になったアバター５０における基準の顔領域の面積を予め記憶しておき、表示されたアバター５０のサイズに応じて影画像５４の顔領域の面積を算出するようにしてもよい。
【００７１】
次に、ステップ１１２６で、上記ステップ１１２４で算出した影画像５４の顔領域の面積が被写体画像５８の顔領域の面積より大きいか否かを判定する。大きいか否かの判定は、例えば、影画像５４の顔領域の面積に対して、被写体画像５８の顔領域の面積が１０％以上大きければ、被写体画像５８の顔領域の面積の方が大きいと判定することができる。影画像５４の顔領域の面積の方が大きい場合には、フォーカス状態は適切であると判定して、リターンする。一方、被写体画像５８の顔領域の面積の方が大きい場合には、被写体が合焦位置より手前に存在し、適切なフォーカス状態が保てていないと判定して、ステップ１１２８へ移行する。
【００７２】
ステップ１１２８では、ＬＥＤ９を点滅させてフォーカス状態が適切でないことを警告し、ステップ１１２０へ戻る。
【００７３】
そして、構図アシスト撮影処理のステップ１１４において、アバター５０の位置及び大きさに基づいて決定されたレンズの焦点位置を用いて撮影処理を実行する。
【００７４】
以上説明したように、第３の実施の形態によれば、集合写真や自分撮り撮影時などのセルフタイマを用いた撮影を行う際でも、直感的に構図を確認して、フォーカス状態が適切に保たれた所望の写真を得ることができる。
【００７５】
なお、第３の実施の形態では、フォーカス状態が適切でない場合に、警告をした上で重なり判定処理を繰り返す場合について説明したが、警告をした上で撮影処理へ移行するようにしてもよいし、警告をすることなく重なり判定処理を繰り返すようにしてもよい。
【００７６】
また、第３の実施の形態では、影画像が消失したと判定された場合に、顔領域の面積を比較する場合について説明したが、影画像と被写体画像とがある程度重なったと判定された場合に、顔領域の面積を比較し、影画像の顔領域と被写体画像の顔領域との面積の差が所定値（例えば、影画像の顔領域の面積の１０％）以上と判定された場合に、警告等を行うようにしてもよい。この場合、影画像の顔領域の面積よりも被写体画像の顔領域の面積の方が小さい、すなわち被写体が合焦位置より奥にいる場合も警告の対象となる。
【００７７】
また、上記第１〜第３の実施の形態の構図アシスト撮影処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにしてもよい。また、そのプログラムを記憶媒体に記憶して提供してもよい。
【符号の説明】
【００７８】
１ デジタルカメラ
２ レリーズボタン
４ ズームレバー
７ 液晶モニタ
８ 操作ボタン
９ ＬＥＤ
２１ 撮影部
２２ 撮影制御部
２５ フレームメモリ
２６ メディア制御部
２７ 内部メモリ
２８ 表示制御部
２９ 記録メディア
３０ 影画像変換部
３１ 重なり度合判定部
５０ アバター
５４ 影画像
５６ 影領域
５８ 被写体画像
６０ 被写体領域
６２ 重なり領域
【特許請求の範囲】
【請求項１】
撮影手段で撮影されて表示された記録前の画像に、被写体を擬似的に表した分身画像を指示された位置に重畳して表示手段に表示するように制御する表示制御手段と、
撮影された画像の記録の指示があった場合に、前記分身画像を単一色の画像に変換する変換手段と、
前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する判定手段と、
前記判定手段により、前記単一色の画像と前記被写体の領域とが重なったと判定されたときから所定時間経過後に、前記撮影手段で撮影された画像を記録手段に記録するように制御する記録制御手段と、
を含む撮影装置。
【請求項２】
前記判定手段は、前記単一色の画像と前記被写体の領域との重なり度合いが所定の閾値以上になった場合に、前記単一色の画像と前記被写体の領域とが重なったと判定する請求項１記載の撮影装置。
【請求項３】
前記変換手段は、前記単一色の画像の色を、前記撮影手段により撮影された画像の色情報に基づいて設定する請求項１または請求項２記載の撮影装置。
【請求項４】
前記分身画像の画像上での位置及び大きさに基づいて、前記撮影手段の合焦位置を制御する合焦制御手段を含み、
前記判定手段は、前記単一色の画像と前記被写体の領域とが重なったと判定した場合に、前記被写体の少なくとも一部の領域の面積と、該被写体の少なくとも一部の領域に対応する前記単一色の画像の一部の領域の面積との差が所定の大きさよりも小さいか否かを判定し、
前記記録制御手段は、前記判定手段により、前記面積の差が、所定の大きさよりも小さいと判定された場合に、前記合焦制御手段により合焦位置が制御された撮影手段により撮影された画像を前記記録手段に記録するように制御する
請求項１〜請求項３のいずれか１項記載の撮影装置。
【請求項５】
前記記録制御手段は、前記判定手段により、前記面積の差が、所定の大きさよりも大きいと判定された場合に、前記記録手段への画像の記録を行うことなく、合焦していないことを警告するか、前記判定手段により再度判定処理を実行させるか、または合焦していないことを警告すると共に、前記判定手段により再度判定処理を実行させるように制御する請求項４記載の撮影装置。
【請求項６】
前記判定手段は、前記所定時間内においても、前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定し、
前記記録制御手段は、前記判定手段により、前記所定時間内において、前記単一色の画像と前記被写体の領域とが重ならなくなったと判定された場合には、前記記録手段への画像の記録を行うことなく、前記単一色の画像と前記被写体の領域とが重なっていないことを警告するか、前記判定手段により再度判定処理を実行させるか、または前記単一色の画像と前記被写体の領域とが重なっていないことを警告すると共に、前記判定手段により再度判定処理を実行させるように制御する
請求項１〜請求項５のいずれか１項記載の撮影装置。
【請求項７】
前記表示制御手段は、前記分身画像の向き、大きさ、及び姿勢の少なくとも１つを、指示された状態に変更して表示するように制御する請求項１〜請求項６のいずれか１項記載の撮影装置。
【請求項８】
コンピュータを、
撮影手段で撮影されて表示された記録前の画像に、被写体を擬似的に表した分身画像を指示された位置に重畳して表示手段に表示するように制御する表示制御手段、
撮影された画像の記録の指示があった場合に、前記分身画像を単一色の画像に変換する変換手段、
前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する判定手段、及び
前記判定手段により、前記単一色の画像と前記被写体の領域とが重なったと判定されたときから所定時間経過後に、前記撮影手段で撮影された画像を記録手段に記録するように制御する記録制御手段
として機能させるための撮影プログラム。
【請求項１】
撮影手段で撮影されて表示された記録前の画像に、被写体を擬似的に表した分身画像を指示された位置に重畳して表示手段に表示するように制御する表示制御手段と、
撮影された画像の記録の指示があった場合に、前記分身画像を単一色の画像に変換する変換手段と、
前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する判定手段と、
前記判定手段により、前記単一色の画像と前記被写体の領域とが重なったと判定されたときから所定時間経過後に、前記撮影手段で撮影された画像を記録手段に記録するように制御する記録制御手段と、
を含む撮影装置。
【請求項２】
前記判定手段は、前記単一色の画像と前記被写体の領域との重なり度合いが所定の閾値以上になった場合に、前記単一色の画像と前記被写体の領域とが重なったと判定する請求項１記載の撮影装置。
【請求項３】
前記変換手段は、前記単一色の画像の色を、前記撮影手段により撮影された画像の色情報に基づいて設定する請求項１または請求項２記載の撮影装置。
【請求項４】
前記分身画像の画像上での位置及び大きさに基づいて、前記撮影手段の合焦位置を制御する合焦制御手段を含み、
前記判定手段は、前記単一色の画像と前記被写体の領域とが重なったと判定した場合に、前記被写体の少なくとも一部の領域の面積と、該被写体の少なくとも一部の領域に対応する前記単一色の画像の一部の領域の面積との差が所定の大きさよりも小さいか否かを判定し、
前記記録制御手段は、前記判定手段により、前記面積の差が、所定の大きさよりも小さいと判定された場合に、前記合焦制御手段により合焦位置が制御された撮影手段により撮影された画像を前記記録手段に記録するように制御する
請求項１〜請求項３のいずれか１項記載の撮影装置。
【請求項５】
前記記録制御手段は、前記判定手段により、前記面積の差が、所定の大きさよりも大きいと判定された場合に、前記記録手段への画像の記録を行うことなく、合焦していないことを警告するか、前記判定手段により再度判定処理を実行させるか、または合焦していないことを警告すると共に、前記判定手段により再度判定処理を実行させるように制御する請求項４記載の撮影装置。
【請求項６】
前記判定手段は、前記所定時間内においても、前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定し、
前記記録制御手段は、前記判定手段により、前記所定時間内において、前記単一色の画像と前記被写体の領域とが重ならなくなったと判定された場合には、前記記録手段への画像の記録を行うことなく、前記単一色の画像と前記被写体の領域とが重なっていないことを警告するか、前記判定手段により再度判定処理を実行させるか、または前記単一色の画像と前記被写体の領域とが重なっていないことを警告すると共に、前記判定手段により再度判定処理を実行させるように制御する
請求項１〜請求項５のいずれか１項記載の撮影装置。
【請求項７】
前記表示制御手段は、前記分身画像の向き、大きさ、及び姿勢の少なくとも１つを、指示された状態に変更して表示するように制御する請求項１〜請求項６のいずれか１項記載の撮影装置。
【請求項８】
コンピュータを、
撮影手段で撮影されて表示された記録前の画像に、被写体を擬似的に表した分身画像を指示された位置に重畳して表示手段に表示するように制御する表示制御手段、
撮影された画像の記録の指示があった場合に、前記分身画像を単一色の画像に変換する変換手段、
前記単一色の画像と、前記撮影手段で撮影された画像上の被写体の領域とが重なったか否かを判定する判定手段、及び
前記判定手段により、前記単一色の画像と前記被写体の領域とが重なったと判定されたときから所定時間経過後に、前記撮影手段で撮影された画像を記録手段に記録するように制御する記録制御手段
として機能させるための撮影プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−７３５１２（Ｐ２０１２−７３５１２Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１９６６２（Ｐ２０１０−２１９６６２）
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]