撮影装置および撮影方法
【課題】手ぶれ補正レンズに頼ることなしに被写体上の点光源を用いて背景に模様を描くことができる撮影装置、その撮影装置に搭載される撮影方法を提供する。
【解決手段】デコレーションモードが設定されている場合には、フラッシュオンのフラッシュ撮影画像とフラッシュオフの外光撮影画像との２枚を得て（ステップＳ３１２）、外光撮影画像中の任意の１点が所定の模様上の互いに異なる各一点となるように複数枚の外光撮影画像を生成し重ね合せる（ステップＳ３１５）。更にフラッシュ撮影画像を重ね合せて背景に模様のある画像を得る（ステップＳ３１６） 。
【解決手段】デコレーションモードが設定されている場合には、フラッシュオンのフラッシュ撮影画像とフラッシュオフの外光撮影画像との２枚を得て（ステップＳ３１２）、外光撮影画像中の任意の１点が所定の模様上の互いに異なる各一点となるように複数枚の外光撮影画像を生成し重ね合せる（ステップＳ３１５）。更にフラッシュ撮影画像を重ね合せて背景に模様のある画像を得る（ステップＳ３１６） 。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部を備え、その撮像部上に被写体像を形成して画像信号を生成する撮影装置、その撮影装置に搭載される撮影方法に関する。
【背景技術】
【０００２】
最近、ファンタジーナイトモードと呼ばれるモードが搭載されたデジタルカメラが発売された（非特許文献１参照）。このファンタジーナイトモードというのは、夜景撮影時に手ぶれ補正機構の中の補正レンズを動かしながら連写を行なって背景にある点光源（電灯等）が所定の模様上の互いに異なる各１点となるように位置をずらした複数の撮影画像を得てそれら複数枚の撮影画像を重ね合わせることにより背景に星印などの模様を描かせるモードである。このファンタジーナイトモードを用いると、例えば主要被写体が人物であるときには人物を被写体の中央に置いて背景に星印等の模様を描かせることができる。
【０００３】
しかしながら、上記手法による模様描画は、手ぶれ補正機構が搭載されているカメラでなければ実現できない。また模様サイズは手ぶれ補正レンズの移動範囲により上限が定められてしまい、自由度が低い。
【非特許文献１】インターネット＜ＵＲＬ；ｈｔｔｐ：／／ｄｃ．ｗａｔｃｈ．ｉｍｐｒｅｓｓ．ｃｏ．ｊｐ／ｃｄａ／ｃｏｍｐａｃｔ／２００７／０５／１７／６１２８．ｈｔｍｌ＞
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上記欠点を解決し、手ぶれ補正レンズに頼ることなしに被写体上の点光源を用いて背景に模様を描くことができる撮影装置、およびその撮影装置に搭載される撮影方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００５】
上記目的を達成する本発明の撮影装置は、
被写体に向けて閃光を発光するフラッシュと、
撮影操作を受け撮影を行なって撮影画像を生成する撮影手段と、
上記撮影手段により生成された撮影画像に画像処理を施す画像処理手段と、
デコレーションモードを含む複数の撮影モードの中から所望の撮影モードを選択するモード選択手段と、
上記モード選択手段によりデコレーションモードが選択されている場合に、撮影操作を受けて上記撮影手段に複数枚の画像を撮影させるとともに、上記フラッシュに、上記複数枚の画像のうちのいずれか１枚の画像の撮影に同期してフラッシュ光を発光させることにより、フラッシュ光の発光を伴わない１枚以上の外光撮影画像とフラッシュ光の発光を伴った１枚のフラッシュ撮影画像を生成させ、さらに上記画像処理手段に、上記外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるように位置をずらした複数枚の外光撮影画像を生成させて重ね合わさせるとともに、さらに上記フラッシュ撮影画像を重ね合わさせることにより１枚の画像を生成させるデコレーションモード制御手段とを備えたことを特徴とする。
【０００６】
上記本発明の撮影装置によれば、上記デコレーションモードが設定されているときには上記デコレーション制御手段の制御の下に、撮影操作を受けて上記撮影手段によって連写により複数枚の撮影画像が撮影されるとともに、上記フラッシュに、その複数枚の撮影画像のうちのいずれか１枚の撮影画像に同期してフラッシュ光が発光され撮影が行なわれる。その後上記重ね合わせ手段によって、まず上記複数枚の撮影画像のうちのフラッシュ光の発光なしの撮影により得られた複数枚の外光撮影画像が、被写体上の任意の一点（点光源）が所定の模様上の互いに異なる各１点となるようにずらして重ね合わされ、さらにフラッシュ光の発光を伴うフラッシュ撮影画像が重ね合わされてデコレーションモード指定の、背景に模様のある画像が生成される。
【０００７】
例えば夜景撮影時に主要被写体が人物であるとするとその人物がフラッシュ撮影により鮮明に撮影され、さらにそのフラッシュの発光を伴わない複数枚の外光撮影画像に基づいて外光撮影画像中の任意の１点（つまり点光源）が所定の模様上の互いに異なる各１点となるように重ね合わされることによりデコレーションモード指定の画像が生成される。
【０００８】
その結果、いままでのように手ぶれ補正レンズに頼ることなしに、あるいは手ぶれ補正レンズを備えている撮影装置であっても、前述のファンタジーナイトモードを使って得られた画像とほぼ同じ内容の画像が得られる。
【０００９】
ここで、上記デコレーションモード制御手段は、デコレーションモードにおける撮影指示があった場合に、１枚の外光撮影画像と１枚のフラッシュ撮影画像を生成させ、その１枚の外光撮影画像を、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるようにずらすことにより複数枚の外光撮影画像を生成させるものであっても良い。
【００１０】
つまり、複数枚の外光撮影画像を得なくても１枚の外光撮影画像があれば、その１枚の外光撮影画像中の点光源をずらしながら模様を、上記画像処理手段に描かせることは容易であるので、１枚の外光撮影画像と１枚のフラッシュ撮影画像との２枚の画像を得る構成にしても良い。
【００１１】
また上記デコレーションモード制御手段は、デコレーションモードにおける撮影指示があった場合に、複数枚の外光撮影画像と１枚のフラッシュ光撮影画像を生成させ、その複数枚の外光撮影画像相互の位置ずれを一旦補正した上で、その複数枚の外光撮影画像を、その複数枚の外光撮影画像それぞれが被写体上の任意の一点が所定の模様上の互いに異なる各点を分担するようにずらすものであると尚良い。
【００１２】
そうすると、手ぶれ補正が好適に行なわれるとともにデコレーションモード指定の、背景に模様のある画像が生成される。
【００１３】
ここで、手ブレ補正を行なうにあたっては、複数枚の撮影画像間の動きベクトルを検出する動きベクトル検出手段を備え、
上記デコレーションモード制御手段は、上記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、上記動きベクトル検出手段に、その複数枚の外光撮影画像間の動きベクトルを検出させ、検出させた動きベクトルに基づいてその複数枚の外光撮影画像の位置ずれを補正するものであっても良く、
当該撮影装置の動きを検出する角速度を検出手段を備え、
上記デコレーションモード制御手段は、上記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、上記角速度検出手段により検出された、その複数枚の外光撮影画像の撮影時の角速度に基づいてその複数枚の外光撮影画像の位置ずれを補正するものであっても良い。
【００１４】
また、撮影画像中の顔の存在を検出する顔検出手段を備え、
上記デコレーションモード制御手段は、上記顔検出手段に撮影指示前のプレ撮影画像における顔の存在を検出させ、そのプレ撮影画像中に顔が不存在であったときは、デコレーションモードが選択されている場合であっても、撮影指示が合った場合に、上記撮影手段に１枚の撮影画像を生成させるものであると良く、
撮影画像中の点光源の存在を検出する点光源検出手段を備え、
上記デコレーションモード制御手段は、上記点光源検出手段に撮影指示前のプレ撮影画像における点光源の存在を検出させ、そのプレ撮影画像中に点光源が不存在であったときは、デコレーションモードが選択されている場合であっても、撮影指示が合った場合に上記撮影手段に１枚の撮影画像を生成させるものであると尚良い。
【００１５】
上記顔検出手段で顔が検出されない場合には風景撮影であるとしてデコレーションモードが指定されていても通常撮影が行なわれる様にしておくと良く、また被写体中に点光源（例えば電灯やネオン等）がない場合には点光源を使って模様を描くことが出来ないので、デコレーションモードが指定されていても通常撮影が行なわれる様にしておくと良い。
【００１６】
また、撮影画像中の顔の存在および存在する場合の顔の大きさを検出する顔検出手段を備え、上記デコレーションモード制御手段は、上記画像処理手段に、上記外光撮影画像に基づいて、上記顔検出手段で検出された顔の大きな寸法の顔であるほど被写体上の任意の一点が寸法の大きな模様上の各１点となるように位置をずらした複数枚の外光撮影画像を生成させるものであると良い。
【００１７】
上記顔検出手段で検出された顔が大きい場合には、背景により大きな模様を描く様にしておくと、全体的にバランスの良い画像になる。
【００１８】
また、上記本発明の撮影装置に搭載される、上記目的を達成する本発明の撮影方法は、
撮影操作を受けて撮影画像を生成する撮影装置における撮影方法であって、
撮影操作を受けて複数回の撮影を行ない複数枚の撮影画像を生成するとともに、その複数枚の撮影画像のうちのいずれか１枚の撮影画像の撮影に同期してフラッシュ光を発光することにより、フラッシュ光の発光を伴わない１枚以上の外光撮影画像とフラッシュ光の発光を伴ったフラッシュ撮影画像とを生成する撮影ステップと、
上記撮影ステップで得られた外光撮影画像とフラッシュ撮影画像のうちの外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる一点となるように位置をずらした複数枚の外光撮影画像を生成する画像ずらしステップと、
上記画像ずらしステップで生成された位置がずれた複数枚の外光撮影画像を重ね合わせるとともに、さらに上記フラッシュ撮影画像を重ね合せることにより１枚の画像を生成する画像重ね合わせステップとを有することを特徴とする。
【００１９】
ここで、上記撮影ステップは、撮影指示を受けて１枚の外光撮影画像と１枚のフラッシュ撮影画像を生成するステップであり、
上記画像ずらしステップは、上記撮影ステップで得られた１枚の外光撮影画像を、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるようにずらすことにより複数枚の外光撮影画像を生成させるステップであることが好ましい。
【００２０】
また、上記撮影ステップは、撮影指示を受けて複数枚の外光撮影画像を１枚のフラッシュ光撮影画像を生成するステップであり、
上記画像ずらしステップは、上記撮影ステップで得られた複数枚の外光撮影画像相互の位置ずれを一旦補正した上でその複数枚の外光撮影画像それぞれが被写体上の任意の一点が所定の枚数上の互いに異なる各点を分担するようにその複数枚の外光撮影画像をずらすステップであることが好ましい。
【００２１】
また、上記画像ずらしステップは、上記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、その複数枚の外光撮影画像間の動きベクトルを検出し、検出した動きベクトルに基づいてその複数枚の外光撮影画像の位置ずれを補正するステップであっても良く、
上記画像ずらしステップは、上記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、その複数枚の外光撮影画像を撮影したときの複数枚の撮影画像の間の角速度情報を取得しその角速度情報に基づいてその複数枚の外光撮影画像の位置ずれを補正するものであっても良い。
【００２２】
さらに、撮影指示前のプレ撮影画像における顔の存在を検出する顔検出ステップを有し、上記撮影ステップは、上記プレ撮影画像中に顔が不存在であったときは、撮影指示を受けて１枚の撮影画像を生成するステップであると尚良く、
撮影指示前のプレ撮影画像における点光源の存在を検出する点光源検出ステップを有し、そのプレ撮影画像おける点光源が不存在であったときは、撮影指示を受けて１枚の撮影画像を生成するステップであると尚良い。
【００２３】
また、上記撮影ステップで得られた撮影画像中に顔が存在する場合の該顔の大きさを検出する顔寸法検出ステップを有し、
上記画像ずらしステップは、上記撮影ステップで得られた外光撮影画像に基づいて、被写体上の任意の一点が寸法の大きな模様上の各１点となるように位置をずらした複数枚の外光撮影画像を生成するステップであることが好ましい。
【発明の効果】
【００２４】
以上、説明したように、手ぶれ補正レンズに頼ることなしに被写体上の点光源を用いて背景に模様を描くことができる撮影装置、その撮影装置に搭載される撮影方法が実現する。
【発明を実施するための最良の形態】
【００２５】
以下図面を参照して本発明の実施の形態を説明する。
【００２６】
図１は、本発明の撮影装置の一実施形態であるデジタルカメラを示す図である。
【００２７】
図１には本発明の一実施形態であるデジタルカメラ１００の斜視図が示されている。図１（ａ）には正面上方から見た斜視図が示されており、図１（ｂ）には背面上方から見た斜視図が示されている。
【００２８】
図１（ａ）に示すように、本実施形態のデジタルカメラ１００のボディ中央には光学レンズ系１７０１を内蔵するレンズ鏡胴１７０が備えられており、そのレンズ鏡胴１７０の上方にはファインダ１０５が備えられている。またそのファインダ１０５の脇には撮影補助光発光窓１６１が備えられている。本実施形態のデジタルカメラにはこの撮影補助光発光窓１６１を通して閃光を被写体に向けて発光するフラッシュが内部に備えられている。なお本実施形態のデジタルカメラにはデコレーションモードという撮影モードが搭載されており、このデコレーションモードが設定されると、フラッシュ光の発光を伴った１枚のフラッシュ撮影画像とフラッシュ光の発光を伴わない１枚の外光撮影画像とが撮影され、後述する画像処理回路で、外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるように位置をずらした複数の外光撮影画像が生成されて重ね合わせが行なわれるとともに、上記フラッシュ撮影画像がさらに重ね合わされてデコレーションモード指定の背景に模様のある画像が生成される構成になっている。
【００２９】
また、図１（ｂ）に示すように本実施形態のデジタルカメラ１００の背面および上面にはユーザがこのデジタルカメラ１００を使用するときにいろいろな操作を行うための操作子群１０１が備えられている。
【００３０】
この操作子群１０１の中にはデジタルカメラ１００を作動させるための電源スイッチ１０１ａのほか、十字キー１０１ｂ、メニュー／ＯＫキー１０１ｃ、キャンセルキー１０１ｄ、モードレバー１０１ｅなどがある。これらの操作子群１０１の中のモードレバー１０１ｅによっては、再生モードと撮影モードの切替や撮影モードの中でさらに動画モード、静止画モードの切替が行なわれる。上記モードレバー１０１ｅが撮影モードに切り替えられた状態にあるときに電源スイッチ１０１ａが投入されるとＬＣＤ１５０上に動画（以降においては撮影レンズが捉えている画像がスルーされてＬＣＤ１５０上に表示されるのでスルー画という）が表示されて、そのスルー画を見ながらシャッタチャンスにレリーズボタン１０２が押されて被写体の撮影が行なわれる。前述のデコレーションモードのモードの設定にあっては、上記メニュー／ＯＫキー１０１ｃと上記十字キー１０１ｂのキー操作によりデコレーションモードが選択されることにより設定される。本実施形態においては、本発明にいうモード選択手段の一例が上記メニュー／ＯＫキー１０１ｃと上記十字キー１０１ｂで構成される。
【００３１】
なお、モードレバー１０１ｅが再生側に切り替えられた状態にあるときには既撮影画像がＬＣＤ１５０上に再生表示される。また本実施形態のデジタルカメラ１００が備えるレリーズボタン１０２は半押しと全押しの二つの操作態様を有しており、半押しされたときのタイミングで測光と測距との双方が撮影装置内のＣＰＵ１１０によって行なわれてそのＣＰＵ１１０によって測光値に応じた絞り径およびシャッタ秒時（電子シャッタやメカニカルシャッタのシャッタ秒時）が設定され、さらに測距された被写体距離に合うピント位置にフォーカスレンズ１７０１ＢがＣＰＵ１１０の指示の下にモータドライバ１１０２の駆動により配置された後、全押し操作に応じて設定されたシャッタ秒時でメカニカルシャッタがＣＰＵ１１０の指示の下にモータドライバ１１０２によって駆動されるとともに電子シャッタが撮像部１２０内の撮像素子に設定され撮像部１２０で露光が行なわれる。なお本実施形態のデジタルカメラが備えるシャッタにはメカニカルシャッタと撮像部が備える電子シャッタとの２つのシャッタがあり、シャッタ秒時が長いときにはメカニカルシャッタが用いられメカニカルシャッタでは駆動することができないくらいまでシャッタ秒時が短くなってきたときには電子シャッタが用いられる。ただし、静止画撮影においてはスミア等が発生する恐れがあるので、なるべくメカニカルシャッタが用いられる。またスルー画においてはメカニカルシャッタが用いられることもあるが主に電子シャッタが用いられる。また以降の説明においては、ファインダ用のスルー画と撮影画像とを区別するために、レリーズボタン１０２の全押し操作により得られる撮影画像のことをスルー画に対して本画像ということがある。
【００３２】
図２は、図１のデジタルカメラ１００内部の電気系統の構成ブロック図である。
【００３３】
図２を参照してこのデジタルカメラ１００の内部の構成および動作を簡単に説明する。
【００３４】
図２のデジタルカメラ１００には、光学レンズ系１７０１、ＴＧ１１０１、ＣＰＵ１１０、モータドライバー１１０２、撮像部１２０、前処理部１３０、ＳＤＲＡＭ１６１、画像処理回路１６２、圧縮伸張回路１６４、ＬＣＤドライバ１５１、メモリカードスロット１８０、フラッシュ発光部１９０、顔検出部１９１が備えられている。なお上記メカニカルシャッタも備えられているが、本発明にはあまり関係ないので省略されている。
【００３５】
これら各部の構成を順次に説明する。
【００３６】
まず、光学レンズ系１７０１は、例えば複数枚の光学レンズ（フォーカスレンズ１７０１Ｂやズームレンズ１７０１Ａといった光学レンズ等）が組み合わされ構成されている。光学レンズ系１７０１には、図示しないが光学レンズ系の中にあるズームレンズ１７０１Ａの位置を調節して焦点距離を調節するズーム機構や光学レンズ系の中にあるフォーカスレンズ１７０１Ｂの位置を調節してピントを調節するＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）調節機構等が含まれている。これらの機構を作動させるにあたっては、ＣＰＵ１１０からの指示を受けたモータドライバ１１０２が各モータＺＭ、ＦＭ，ＩＭを動作させることにより各機構を作動させることになる。
【００３７】
またＣＰＵ内１１０には、本実施形態のデジタルカメラ１００を動作させるためのシステムクロックを発生する発信器が内蔵されており、そのＣＰＵ１１０から前処理部１３０にシステムクロックに同期した信号が供給されるようになっている。さらに、ＣＰＵ１１０からＴＧ１１１にシステムクロックに同期した制御信号が供給されその制御信号に応じてＴＧ１１０１から撮像部１２０に電子シャッタが設定される構成になっている。こうしておくと、システムクロックに同期したタイミングで各部が動作する。
【００３８】
上記ＣＰＵ１１０には、プログラムを格納するＲＯＭが備えられており、例えばユーザの操作に伴って操作部１０１やレリーズボタン１０２から供給されてくる情報とそのＲＯＭの情報とを用いて各部の動作を制御する制御信号が生成され、生成された制御信号が、ＴＧ１１０１、前処理部１３０、フラッシュ１９０等に供給される。このフラッシュ１９０に供給される制御信号の中には、上記デコレーションモードにおける発光タイミングを示すものもある。
【００３９】
また光学レンズ系１７０１の後方に配備されている絞り調節機構１７０２は、被写体の撮影において最適な入射光の光束を撮像部に供給することができるように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。この絞り調節機構１１１３には、前述のモータドライバ１１０２から駆動信号が供給される。図示はしないが、このときの駆動信号は、ＣＰＵ１１０が、撮像部１２０で光電変換された信号電荷を基にＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：自動露出）処理を行なって算出した絞り・露光時間に基づくものであり、ＣＰＵ１１０がＴＧ１１０１にその絞り・露光時間に応じた制御信号を供給してモータドライバ１１０２に絞り調節機構１７０２を駆動させている。
【００４０】
また撮像部１２０には、光電変換する撮像部が備えられており、その撮像部が撮影光学系の光軸に直交するように配置される。その撮像部の入射側には、一体的に個々の光電変換素子に対応して色分解する色フィルタが２次元的に配列されている。タイミング発生部１１１からのタイミング信号に応じて撮像部で光電変換が行なわれそれらの光電変換によって得られた信号電荷が所定のタイミング信号、例えば電子シャッタのオフタイミングで前処理部１３０に出力される。本実施形態の撮像部１２０は、図１のデジタルカメラが撮影モードにセットされると画素数を落としてスルー画用の撮影を開始し、撮影モード中にレリーズボタン１０２が全押しされるとスルー画用の撮影を中断して記録用の本画像の撮影を行なう。なお詳細は後述するが上記デコレーションモードが指定されているときにはレリーズボタン１０２が全押し操作されたときの１回の撮影操作で２回の連写が行なわれて後述する画像処理回路１６２で重ね合わせが行なわれてデコレーションモード指定の本画像が得られる構成になっている。
【００４１】
また前処理部１３０には、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）１３１、Ａ／Ｄ１３２、ガンマ補正部１３３が備えられている。ＣＤＳ１３１には、クランプ回路とサンプルホールド回路とが備えられており、例えば撮像部１２０に例えばＣＣＤ固体撮像部が用いられた場合には、そのＣＣＤ固体撮像部の動作により発生する各種のノイズがタイミング発生部１１１からのタイミング信号により上記クランプ回路と上記サンプルホールド回路とで取り除かれる。
【００４２】
そのノイズが取り除かれた後の信号電荷は、受光光量に対応する正確な色信号（Ｒ，Ｇ，Ｂ）となって後段のＡ／Ｄ１３２に供給されＡ／Ｄ１３２で所定の量子化レベルで量子化されデジタル信号に変換される。このときにはタイミング発生部１１１からのタイミング信号に応じてデジタル信号への変換が行なわれる。
【００４３】
さらにガンマ補正部１３３には、ガンマ補正用のルックアップテーブルが備えられており、そのルックアップテーブルによって、ルックアップテーブルに入力されたデジタル信号に対応してガンマ補正が施されたデジタル信号が出力され、デジタル信号に変換された各色信号がＳＤＲＡＭ１６１に供給され一旦記憶される。
【００４４】
ＣＰＵ１１０によって、ＳＤＲＡＭ１６１への書込みが終了したことが検知されたらＳＤＲＡＭ１６１への書込みが終了したことが画像処理回路１６２に通知され、画像処理回路１６２ではその通知を受けてＳＤＲＡＭ１６１内の画像の読出が開始される。そして画像処理回路１６２によりＹＣ変換処理等の画像処理が行なわれる。スルー画時の処理にあっては、画像処理回路１６２で処理された画像がバスＢｕｓを経由してＬＣＤドライバ１５１に供給されＬＣＤドライバ１５１の駆動によりＬＣＤ１５０上にスルー画像が表示される。
【００４５】
このスルー画が表示されているときにレリーズボタン１０２が押されると、ＣＰＵ１１０は、モータドライバー１１０２に指示して不図示のメカニカルシャッタを駆動させるとともにＴＧ１１０１に指示して撮像部１２０に電子シャッタを設定させ電子シャッタのオフタイミングで画像を前処理部１３０へと出力させる。ＣＰＵ１１０は、ＴＧ１１０１に供給した制御信号に同期したタイミングで前処理部１３０にタイミング信号を供給して前処理部１３０内の各部に処理を行なわせて本画像を生成させ、ＳＤＲＡＭ１６１へとその画像を導く。
【００４６】
こうしてＳＤＲＡＭ１６１に画像が導かれたら、ＣＰＵ１１０によってＳＤＲＡＭ１６１への書込みが終了したことが画像処理回路１６２に通知される。そうしたら画像処理回路１６２によってＳＤＲＡＭ１６１からの画像の読出が行なわれて画像が全て読み出された後に画像処理が開始される。そして画像処理回路１６２による画像処理が終了したら画像処理回路によって再びＳＤＲＡＭ１６１に画像が記憶される。このときにはＣＰＵ１１０によって画像処理回路１６２の処理が終了したことが画像処理回路１６２内のフラグ等の書き換わり等により検知され画像処理回路１６２の処理が終了したことが今度は次のプロセスを担当する圧縮伸張回路１６４に通知される。この通知により圧縮伸張回路１６４によってＳＤＲＡＭ１６１から画像が読み出されて画像の圧縮が行なわれる。そしてこの圧縮の終了がＣＰＵ１１０によって圧縮伸張回路１６４内のフラグ等の書き換わりにより検知された後にＣＰＵ１１０の制御の下に圧縮情報と圧縮された画像データとが画像ファイルとなってメモリカード１８１に記録される。なお本実施形態のデジタルカメラには、スルー画中の画像に基づいて撮影直前に顔が被写体中に存在するかどうかを判定するための顔検出部１９１が備えられている。上記デコレーションモードが指定されたときにはこの顔検出部１９１によって撮影直前のスルー画からこれから撮影しようとしている被写体中に顔が存在するかどうかが判定され、もしも顔が存在しないと判定された場合にはデコレーションモードが指定されていたとしても、通常撮影が行なわれる構成になっている。
【００４７】
図１のデジタルカメラは以上のような構成を持つ。
【００４８】
ここで上記課題を達成するために、本実施形態のデジタルカメラ１００が備える画像処理回路１６２が有する重ね合せ機能を用いて画像の重ね合わせを行なうことにより前述のファンタジーナイトモードと同等の画像を得ることを提案している。
【００４９】
本実施形態においてはデコレーションモードという撮影モードを搭載して、デコレーションモードが設定されたときにはＣＰＵ１１０がフラッシュ１９０を制御してフラッシュ発光を伴ったフラッシュ撮影画像とフラッシュ発光を伴わない外光撮影画像との２枚の画像を得て、画像処理回路１６２に、外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるように位置をずらした複数の外光撮影画像を生成させてそれら複数枚の外光撮影画像の重ね合せを行なわせるとともに、さらにフラッシュ撮影画像の重ね合せを行なわせて１枚の画像を生成させることによって従来のファンタジーナイトモードと同等の画像を得ている。なお本実施形態においては、デコレーションモードが設定されたことを受けて、ＣＰＵ１１０が撮影前に画像処理回路１６２が有する重ね合わせ機能を実行させるためのパラメータセット等を行なっており、撮影時には画像処理回路１６２がそのパラメータに応じた重ね合わせを実行することによりデコレーションモード指定の画像を生成する構成になっている。本実施形態においては、本発明にいう撮影手段の一例が撮像部１２０で構成され、デコレーションモード制御手段の一例がＣＰＵ１１０で構成されている。
【００５０】
このように画像処理回路１６２が有する重ね合せ機能を用いて背景に模様のある画像を得ることができるようにすると、ファンタジーナイトモードと同等の画像を得るにあたって手ぶれ補正レンズを使う必要がなくなる。
【００５１】
図３は、本発明にいうデコレーションモード制御手段の一例を構成するＣＰＵ１１０、本発明にいう画像処理手段の一例を構成する画像処理回路１６２が実行する撮影処理の手順を示す図である。
【００５２】
ステップＳ３０１で、ＣＰＵ１１０がＡＥ処理を実行して撮影に必要な露出値を得る。次のステップＳ３０２で、ＣＰＵ１１０はデコレーションモードであるかどうかを判定する。ステップＳ３０２でＣＰＵ１１０がデコレーションモードが設定されていないと判定したら、ステップＳ３０３でＣＰＵ１１０はＡＦ処理を実行しモータドライバ１１０２に指示してフォーカスレンズ１７０１Ｂを合焦位置に移動させる。次のステップＳ３０４でＣＰＵ１１０はモータドライバ１１０２に指示して絞り調節機構１７０２の開口径をステップＳ３０１で得た露出値にあう開口になるようにし、ＴＧ１１０１に指示して撮像部１２０に電子シャッタを設定させて撮像部に露光を開始させる。ステップＳ３０５で撮像部１２０に設定されていた電子シャッタのオフタイミングで前処理部１３０に画像を出力させ、ステップＳ３０６で前処理部１３０内のＡ／Ｄ１３３にＡ／Ｄ変換を行わせてＳＤＲＡＭ１６１に画像を導き記憶させる。次のステップＳ３０７でＣＰＵ１１０は、画像処理回路１６２に、ＳＤＲＡＭ１６１への記憶が終了したとことを通知し、その通知を受けた画像処理回路１６２がＳＤＲＡＭ１６１内の画像を読み出し画像処理を開始する。ステップＳ３０８でＣＰＵ１１０は、画像処理回路１６２内のレジスタ等に記憶されているフラグの書き換わり等により画像処理が終了したことを検知したら今度は圧縮伸張回路１６４にプロセススタート信号を供給する。ステップＳ３０８で画像処理回路１６２が、ＳＤＲＡＭ１６１内の画像を読み出し圧縮処理を行う。次のステップＳ３０９でＣＰＵ１１０は、圧縮情報と圧縮された画像データとを画像ファイルとしてメモリカード１８１に記録してこのフローの処理を終了する。
【００５３】
ステップＳ３０２でＣＰＵ１１０が、デコレーションモードが設定されていると判定したときにはＯＮ側に進んでステップＳ３１０でＡＦ処理を実行してステップＳ３１１で、撮影直前のスルー画中（本発明にいうプレ撮影画像の一例に相当する）に顔が存在したか、顔が不存在であったかを顔検出部１９１の検出結果を参照して判定する。ここで顔が不存在であったと判定したらステップＳ３０４へジャンプしてステップＳ３０４からステップＳ３０９の処理を実行してこのフローの処理を終了する。
【００５４】
ステップＳ３１１で、顔が存在すると判定したら、ステップＳ３１２で、１枚をフラッシュ撮影し、もう１枚をフラッシュオフで撮影する。ステップＳ３１３で最初にフラッシュ撮影したフラッシュ撮影画像は不図示の記憶部に記憶しておいて、ステップＳ３１３で撮影した外光撮影画像を電子シャッタのオフタイミングで前処理部１３０へと出力させステップＳ３１４で前処理部１３０内のＡ／Ｄ１３２でデジタル信号に変換させデジタル信号をバスＢｕｓ側に導いてＳＤＲＡＭ１６１に外光撮影画像を記憶する。ステップＳ３１５で画像処理回路１６２は、そのＳＤＲＡＭ１６１内の外光撮影画像を読み出し、ＣＰＵ１１０によって予め設定されているパラメータに応じて被写体上の任意の１点（点光源）が所定の模様上の互いに異なる各一点となるように位置をずらした複数の外光撮影画像を生成して重ね合せた後画像処理回路１６２内の不図示のフレームメモリに記憶する。次のステップＳ３１６で、フラッシュ撮影画像を不図示のメモリから前処理部１３０へと出力させＳＤＲＡＭ１６１内に記憶させる。さらに画像処理回路１６２がそのフラッシュ撮影画像を読み出して、上記フレームメモリ内の外光撮影画像にフラッシュ撮影画像を重ね合わせたら、ステップＳ３０７からステップＳ３０９の処理を行なってこのフローの処理を終了する。
【００５５】
ＣＰＵ１１０、画像処理回路１６２、圧縮伸張回路１６４がそれぞれこのフローの処理を実行すると、背景に模様のある画像が得られる。
【００５６】
図４は、画像処理回路が重ね合せを行なうことにより背景に描くことが可能な模様を説明する図である。
【００５７】
被写体中に電灯等の点光源があれば、その被写体上の任意の点光源が所定の模様上の互いに異なる各１点となるように位置をずらした複数の外光撮影画像を重ね合せることにより図４（ａ）に示す様に星型の模様を得たり、図４（ｂ）に示す様に三角型の模様に得たり、図４（ｃ）に示す様にダイヤ型の模様に得たりすることができる。
【００５８】
以上、説明したように、手ぶれ補正レンズに頼ることなしに被写体上の点光源を用いて背景に模様を描くことができる撮影装置、その撮影装置に搭載される撮影方法が実現する。
【００５９】
上記第１実施形態においては、手ぶれ補正レンズに頼ることなしに画像処理回路１６２の機能を使ってデコレーションモード指定の画像を生成する構成を説明したが、図１、図２に示すデジタルカメラ１００に電子的に手ぶれ補正を行なう手ぶれ補正部を搭載すると、手ぶれを補正することができ、さらにデコレーションモード指定の背景に模様のある画像を得ることができる。
【００６０】
図５は、手ぶれ補正部１４０を備えるデジタルカメラの構成を説明する図である。図６は、図５の手ぶれ補正部１４０の構成を示す図である。
【００６１】
なお外観は図１と同じであるとする。また、図２の構成と手ぶれ補正部１４０を除いてはほぼ同じ構成であるので、同じ機能を達成する回路には同じ番号台の符号を示してある。
【００６２】
図５のデジタルカメラ１００には、光学レンズ系１７０１、タイミング発生部１１１、システム制御部１１０、絞り調節機構１７０２、撮像部１２０、前処理部１３０、手ぶれ補正部１４０、信号処理部１６０、記録再生部１８０、フラッシュ１９０が備えられている。なお上記メカニカルシャッタも備えられているが、本発明にはあまり関係ないので省略されている。本実施形態においては、本発明にいうデコレーションモード制御手段の一例が、システム制御手段１１０Ａで構成され、本発明にいう画像処理手段の一例が信号処理部１６０で構成されている。
【００６３】
図２とほぼ同じ構成であるが、念のために構成をもう一度説明する。
【００６４】
まず、光学レンズ系１７０１は、例えば複数枚の光学レンズ（フォーカスレンズやズームレンズといった光学レンズ等）が組み合わされ構成されている。光学レンズ系１７０１には、図示しないが光学レンズ系の中にあるズームレンズの位置を調節して焦点距離を調節するズーム機構や光学レンズ系の中にあるフォーカスレンズの位置を調節してピントを調節するＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）調節機構等が含まれている。これらの機構を作動させるにあたっては、タイミング発生部１１１で生成された駆動信号が供給される。
【００６５】
タイミング発生部１１１には、デジタルカメラ１００のシステムクロックを発生する発信器が内蔵されており、さらにこのタイミング発生部１１１には、そのシステムクロックに同期したタイミング信号を生成するタイミング信号生成部とシステムクロックに同期した駆動信号を生成する駆動信号生成部とが備えられている。システム制御部１１０Ａから制御信号が供給されてくると、その制御信号に応じてタイミング信号発生部１１１が撮像部１２０や前処理部１３０、さらにタイミング信号発生部１１１内の駆動信号生成部にタイミング信号を出力する。タイミング発生部１１１内の駆動信号生成部ではそのタイミング信号を受けて上記機構や上記フラッシュに駆動信号を出力する。
【００６６】
このタイミング発生部１１１に制御信号を供給するシステム制御部１１０Ａには、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）とこのデジタルカメラ１００の動作手順が書き込まれたＲＯＭとが備えられている。システム制御部１１０では、例えばユーザの操作に伴って操作部１０１やレリーズボタン１０２から供給されてくる情報と上記ＲＯＭの情報とを用いて各部の動作を制御する制御信号が生成され、生成された制御信号が、タイミング発生部１１１、前処理部１３０、手ぶれ補正部１４０、信号処理部１６０、記録再生部１８０、フラッシュ１９０等に供給される。このフラッシュ１９０に供給される制御信号は、光量に応じたものであって、その中には連写回数とＡＥ処理に応じた光量に関するものもある。
【００６７】
光学レンズ系１７０１の後方に配備されている絞り調節機構１７０２は、被写体の撮影において最適な入射光の光束を撮像部に供給することができるように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。この絞り調節機構１７０２には、前述のタイミング発生部１１１から駆動信号が供給される。図示はしないが、このときの駆動信号はシステム制御部１１０Ａが、撮像部１２０で光電変換された信号電荷を基にＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：自動露出）処理を行なって算出した絞り・露光時間に基づくものであり、システム制御部１１０Ａがタイミング発生部１１１にその絞り・露光時間に応じた制御信号を供給してタイミング発生部１１１内の駆動信号生成部に駆動信号を生成させている。
【００６８】
また撮像部１２０には、光電変換する撮像部が備えられており、その撮像部が撮影光学系の光軸に直交するように配置される。その撮像部の入射側には、一体的に個々の光電変換素子に対応して色分解する色フィルタが２次元的に配列されている。タイミング発生部１１１からのタイミング信号に応じて撮像部で光電変換が行なわれそれらの光電変換によって得られた信号電荷が所定のタイミング信号、例えば電子シャッタのオフタイミングで前処理部１３０に出力される。本実施形態の撮像部は、図１と同様に図５のデジタルカメラが撮影モードにセットされると画素数を落としてスルー画用の撮影を開始し、撮影モード中にレリーズボタン１０２が全押しされるとスルー画用の撮影を中断して記録用の本画像の撮影を行なう。
【００６９】
なお詳細は後述するが図５の撮像部１２０には高速フレームレートを持つ撮像素子が用いられていて上記デコレーションモードが指定されているときにはレリーズボタン１０２が全押し操作されたときの１回の撮影操作で高速連写が行なわれて後述する手ぶれ補正部１４０で重ね合わせが行なわれて手ぶれが補正されるとともに信号処理部１６０によって複数枚の外光画像それぞれが、被写体上の点光源が所定の模様の互いに異なる各一点となるように位置をずらして重ね合わされ、さらにフラッシュ撮影画像が重ね合わされることによりデコレーションモード指定の、背景に模様のある画像が本画像として得られる構成になっている。このため以降の説明においては、１回の撮影操作で高速連写が行なわれることを説明する際に、高速連写が行なわれて得られた画像のことを連写画像と記載し、さらにその連写画像を、連写回数に応じて１回目の連写画像、２回目の連写画像という風に記載することがある
また図５に示す前処理部１３０には、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）１３１、Ａ／Ｄ１３２、ガンマ補正部１３３が備えられている。ＣＤＳ１３１には、クランプ回路とサンプルホールド回路とが備えられており、例えば撮像部１２０に例えばＣＣＤ固体撮像部が用いられた場合には、そのＣＣＤ固体撮像部の動作により発生する各種のノイズがタイミング発生部１１１からのタイミング信号により上記クランプ回路と上記サンプルホールド回路とで取り除かれる。
【００７０】
そのノイズが取り除かれた後の信号電荷は、受光光量に対応する正確な色信号（Ｒ，Ｇ，Ｂ）となって後段のＡ／Ｄ１３２に供給されＡ／Ｄ１３２で所定の量子化レベルで量子化されデジタル信号に変換される。このときにはタイミング発生部１１１からのタイミング信号に応じてデジタル信号への変換が行なわれる。
【００７１】
さらにガンマ補正部１３３には、ガンマ補正用のルックアップテーブルが備えられており、そのルックアップテーブルによって、ルックアップテーブルに入力されたデジタル信号に対応してガンマ補正が施されたデジタル信号が出力され、デジタル信号に変換された各色信号が手ぶれ補正部１４０に供給される。
【００７２】
ここで図５を離れて図６を参照して手ぶれ補正部１４０の構成を説明しておく。
【００７３】
図６に示す手ぶれ補正部１４０には、フレームメモリ１４１，フレームメモリ部１４２と、相関演算部１４３と、アドレスシフト部１４４と、合成部１４５とスイッチＳＷ１〜ＳＷ３が３つ備えられている。この例ではフレームメモリ１４１、フレームメモリ部１４２に、１フレーム分のＲ、Ｇ、Ｂの各色信号を格納することができるサイズを持ち、繰り返し読み出すことが自在な非破壊タイプのメモリが用いられている。
【００７４】
前述した様にＬＣＤ１５０上にスルー画が表示されているときには撮像部１２０から撮像部の画素数を落として１／３０（又は１／６０）秒ごとにスルー画を表わす画像信号が出力され前処理部１３０で前処理が施された後、前処理部１３０で処理が施された画像が、手ぶれ補正部１４０を迂回して信号処理部１６０に供給される。
【００７５】
信号処理部１６０では、スルー画を表わす画像信号に色分離、ＹＣ変換処理が行なわれ、色分離、さらにＹＣＣ変換処理が行なわれた後の画像信号が不図示の画像表示部に供給され、スルー画がＬＣＤ１５０（図１参照）上に表示される。
【００７６】
このスルー画が表示されている最中にレリーズボタン１０２が操作されると、上記デコレーションモードで合った場合にはシステム制御部１１０ＡはＡＥ処理により得たシャッタ速度に基づいて撮影枚数をタイミング発生部１１１に指示して撮影枚数分のタイミング信号を連続的に供給させることにより撮像部１２０に高速連写を開始させる。このときには、最後の連写撮影に同期してフラッシュ１９０に適正光量のフラッシュ光を発光させ高速連写を行なわせる。そして撮像部１２０から前処理部１３０に次々と連写画像を出力させ、前処理部１３０で各回の連写画像ごとにデジタル信号への変換処理等が行なわれたら、手ぶれ補正部１４０に次々と供給させる。
【００７７】
図６に示す手ぶれ補正部１４０では、次々に供給される連写画像を使って重ね合わせが行なわれて電子的にぶれ補正が行なわれる。まず、１回のレリーズボタン１０２の操作で行なわれる複数回の連写のうちの１回目と２回目の連写が実施されると、相関演算部１４３に１回目の連写画像と２回目の連写画像が入力される。
【００７８】
このときには、スイッチＳＷ１とスイッチＳＷ２が双方共にａ側に切り替えられていて、それらのスイッチＳＷ１，ＳＷ２を経由してフレームメモリ１４１内に記憶されていた１回目の連写画像が相関演算部１４３とともに、フレームメモリ部１４２にも供給され記憶される。
【００７９】
１回目の連写画像と２回目の連写画像との双方が供給された相関演算部１４３では、それら２つの画像を用いて手ぶれを表わす動きベクトルが検出される。つまりこの相関演算部１４３によって本発明にいう動きベクトル検出部の一例が構成される。この相関演算部１４３で動きベクトルが検出されたら、今度はスイッチＳＷ１とスイッチＳＷ２がシステム制御部１１０の制御の下に双方共にｂ側に切り替えられるとともに、その動き検出ベクトルを示す位置データ（例えば座標データｘ、ｙ）がアドレスシフト部１４４に供給される。このときにはフレームメモリ１４１の内容が１回目の連写画像から２回目の連写画像に書き換えられてそのフレームメモリ１４１内の２回目の連写画像がスイッチＳＷ１の接点ｂを経由してアドレスシフト部１４４に供給される。
【００８０】
フレームメモリ部１４２には、１回目の連写画像が記憶されている訳であるから、アドレスシフト部１４４でそのフレームメモリ部１４２内の１回目の連写画像の位置にあうように、２回目の連写画像の位置がオフセットされて１回目の連写画像をベースにして２回目の連写画像が加算されることによりぶれが補正され、フレームメモリ部１４２にぶれが補正された重ね合わせ画像が記憶される。
【００８１】
以降においては、このフレームメモリ部１４２にある１回目の連写画像の位置をベースにして３回目の連写画像、４回目の連写画像…が相関演算部１４３に供給されて、双方の画像から動きベクトルが検出され検出された動きベクトルに基づいてぶれ補正が行なわれて重ね合わせにより得られた重ね合わせ画像がフレームメモリ部１４２に次々に上書きされていく。
【００８２】
こうして１回の撮影操作を受けて複数枚の連写により得られた撮影画像どうしの重ね合わせが順次に行なわれていって複数枚全ての画像の重ね合わせが終了したら、システム制御部１１０からの切替信号によってスイッチＳＷ３が断から接に切り替えられる。
【００８３】
そうしたら、そのフレームメモリ部１４２内の重ね合わせ画像が信号処理部１６０の画像読出部１６１Ａによって読み出される。図６に示す信号処理部１６０によって画像が読み出されたら信号処理部１６０内の色分離部１６２Ａによって画像を構成する各色信号が選択的に振り分けられるとともに、ある画素の色信号がその画素の周囲の画素の色信号によって補間生成され、各色信号が画面ごとのプレーン信号にされて後段のＹＣ変換部１６３Ａに供給される。
【００８４】
さらに本実施形態では、色分離部にプレーン信号になった画像上の任意の１点（点光源）が所定の模様上の互いに異なる各１点となるように位置をずらした複数枚の外光撮影画像を生成させると共にそれらを重ね合わせる機能を持たせてあり、デコレーションモードが設定されシステム制御部１１０Ａによってデコレーションモードを表わすパラメータがセットされたときにはセットされたパラメータに応じたずらし量で点光源の重ね合わせが行なわれる構成になっている。
【００８５】
ＹＣ変換部１６３では、変換行列によりＹＣＣ信号が生成され、ＹＣＣ信号が画像圧縮部１６４に供給され圧縮伸張回路１６４でＹＣＣ信号が圧縮され圧縮されたＹＣＣ信号と圧縮情報とからなる画像ファイルが記録再生部１８０によって記録媒体１８１に記録される。なおこの記録再生部１８０によっては、記録媒体１８１に記録されている画像が読み出されて画像表示部（不図示）に供給されＬＣＤ１５０上に再生画像の表示も行なわれる。
【００８６】
この様な構成にすると、デコレーションモードが設定されたときには手ぶれ補正部１４０で手ぶれが好適に補正されるとともに、信号処理部１６０内の色分離部１６２Ａで生成されたプレーン信号が被写体上の１点（点光源）が所定の模様上の一点となるように位置をずらして重ね合わされてデコレーションモード指定の、背景に模様のある画像が生成される。
【００８７】
ここでデコレーションモード制御手段の一例を構成するシステム制御部１１０と、本発明にいう画像処理手段の一例を構成する信号処理部１６０が実行する撮影処理の手順を説明する。
【００８８】
図７は、システム制御部１１０と信号処理部１６０が連携して実行する撮影処理の手順を示すフローチャートである。
【００８９】
図７中のステップＳ３１２Ａの処理で複数枚の外光撮影画像が得られることと、ステップＳ３１５Ａの処理でその複数枚の外光撮影画像を使って手ぶれ補正が行なわれるとともに所定の模様上の互いに異なる１点となるように外光撮影画像の重ね合わせが行なわれること以外は、図３のフローの処理とほぼ同じである。
【００９０】
上記第２実施形態の構成にすると、手ぶれが好適に補正されるとともにデコレーションモード指定の、背景に模様のある画像が得られる。
【００９１】
また第２実施形態では、手ぶれ補正を行なうにあたって、手ぶれ補正部１４０内の動きベクトル検出部（相関演算部１４３）でぶれ量を検出する構成を示したが、角速度検出部例えばジャイロセンサＳＥＮを設けてぶれ量を検出して手ぶれ補正を行なう構成にしても良い。
【００９２】
図８は、角速度検出部Ｊ１を設けた場合の例である。
【００９３】
この様な構成にすると、角速度検出部Ｊ１の角速度の検出結果に応じて手ぶれがより正確に補正される。
【００９４】
図９は、図８の構成を持つデジタルカメラの場合の撮影処理を説明する図である。
【００９５】
ステップＳ３１５Ｂの処理が角速度検出部Ｊ１の検出結果に応じて行なわれる以外は、図７の処理と同じである。この様な構成にしても良い。
【００９６】
ところで、デコレーションモードによって背景に模様を施す場合には、主要被写体の占有面積に応じて、主要被写体の背景に描く模様の大きさを変えることができるようにしておくと、画像全体のバランスが良くなる。
【００９７】
図１０は、顔検出部１９１で顔のサイズを検出させ顔のサイズに応じて模様の大きさを変更する構成にした場合の撮影処理を説明するフローチャートである。なお、図１０の処理を実行するデジタルカメラは、図１〜図３のデジタルカメラであるとする。
【００９８】
図１０では、図３のフロー中のステップＳ３１５が、ステップＳ３１５Ｃの処理に変更されている。
【００９９】
ステップＳ３１５ＣでＣＰＵ１１０は、スルー画中の顔検出部１９１で検出された顔のサイズの結果に応じて、画像処理回路１６２にその顔のサイズに応じたパラメータをセットすることで画像処理回路１６２に顔のサイズに応じた模様を描かせるようにしている。
【０１００】
このようにすると全体の画像のバランスが良くなる。
【０１０１】
図１１は、図１０のフローを実行した場合の画像例を示す図である。
【０１０２】
図１１（ａ）に示す様に主要被写体である人物が小さい場合には、模様を小さくし、図１１（ｂ）に示す様に主要被写体が大きい場合には模様を大きくすると、全体のバランスが良くなる。この様な構成にしても良い。
【０１０３】
また、前述のフローにもあるように被写体中に人が存在しない場合には通常撮影を行なうようにしておいた方が良い。さらに被写体中に点光源（電灯等）がない場合には模様を描くことができないので、通常撮影を行なう構成にしておいた方が良い。
【０１０４】
図１２は、被写体中に点光源が存在するかどうかを判定して点光源が存在しない場合には通常撮影を行なう構成にした場合の撮影処理を説明するフローチャートである。
【０１０５】
点光源検出の判断ステップＳ３１１５が付加されている。本実施形態においては、点光源を検出するにあたってＣＰＵ１１０がＡＥ機能を有することを利用して、数画素の単位ごとに所定の輝度以上の部分が突出してあるがどうかを判定し、その部分があると判定した場合にはその部分を点光源とみなす処理を行なっている。
【０１０６】
このようにすると、デコレーションモードにおける画像の作成の失敗がなくなる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の撮影装置の一実施形態であるデジタルカメラを示す図である。
【図２】図１のデジタルカメラ１００内部の電気系統の構成ブロック図である。
【図３】ＣＰＵ１１０、画像処理回路１６２が実行する撮影処理の手順を示す図である。
【図４】画像処理回路が重ね合せを行なうことにより背景に描くことが可能な模様を説明する図である。
【図５】手ぶれ補正部１４０を備えるデジタルカメラの構成を説明する図である。
【図６】図６は、図５の手ぶれ補正部１４０の構成を示す図である。
【図７】システム制御部１１０と信号処理部１６０が連携して実行する撮影処理の手順を示すフローチャートである。
【図８】手ブレ補正部の動きベクトル検出部の検出結果を用いずに角速度検出部を設けた場合の例である。
【図９】図８の構成のデジタルカメラの撮影処理を説明する図である。
【図１０】顔検出部から顔のサイズの検出結果に応じて模様の大きさを変更する構成にした場合の撮影処理を説明するフローチャートである。
【図１１】図１０のフローを実行した場合の画像例を示す図である。
【図１２】被写体中に点光源が存在するかどうかを判定して点光源が存在しない場合には通常撮影を行なう構成にした場合の撮影処理を説明するフローチャートである。
【符号の説明】
【０１０８】
１００ デジタルカメラ
１０１ 操作子群
１０２ レリーズボタン
１０５ ファインダ
１１０ ＣＰＵ
１１０Ａ システム制御部
１１０１ ＴＧ
１１１ タイミング発生部
１２０ 撮像部
１３０ 前処理部
１４０ 手ぶれ補正部
１５０ ＬＣＤ
１６０ 信号処理部
１６１ ＳＤＲＡＭ
１６１Ａ 画像読出部
１６２ 画像処理回路
１６２Ａ 色分離部
１６３Ａ ＹＣ変換部
１６４ 圧縮伸張回路
１６４Ａ 画像圧縮部
１７０ レンズ鏡胴
１７０１ レンズ光学系
１７０２ 絞り調節機構
１８０ 記録再生部（メモリカードスロット）
１８１ 記録媒体
１９０ フラッシュ
１９１ 顔検出部
【技術分野】
【０００１】
本発明は、撮像部を備え、その撮像部上に被写体像を形成して画像信号を生成する撮影装置、その撮影装置に搭載される撮影方法に関する。
【背景技術】
【０００２】
最近、ファンタジーナイトモードと呼ばれるモードが搭載されたデジタルカメラが発売された（非特許文献１参照）。このファンタジーナイトモードというのは、夜景撮影時に手ぶれ補正機構の中の補正レンズを動かしながら連写を行なって背景にある点光源（電灯等）が所定の模様上の互いに異なる各１点となるように位置をずらした複数の撮影画像を得てそれら複数枚の撮影画像を重ね合わせることにより背景に星印などの模様を描かせるモードである。このファンタジーナイトモードを用いると、例えば主要被写体が人物であるときには人物を被写体の中央に置いて背景に星印等の模様を描かせることができる。
【０００３】
しかしながら、上記手法による模様描画は、手ぶれ補正機構が搭載されているカメラでなければ実現できない。また模様サイズは手ぶれ補正レンズの移動範囲により上限が定められてしまい、自由度が低い。
【非特許文献１】インターネット＜ＵＲＬ；ｈｔｔｐ：／／ｄｃ．ｗａｔｃｈ．ｉｍｐｒｅｓｓ．ｃｏ．ｊｐ／ｃｄａ／ｃｏｍｐａｃｔ／２００７／０５／１７／６１２８．ｈｔｍｌ＞
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上記欠点を解決し、手ぶれ補正レンズに頼ることなしに被写体上の点光源を用いて背景に模様を描くことができる撮影装置、およびその撮影装置に搭載される撮影方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００５】
上記目的を達成する本発明の撮影装置は、
被写体に向けて閃光を発光するフラッシュと、
撮影操作を受け撮影を行なって撮影画像を生成する撮影手段と、
上記撮影手段により生成された撮影画像に画像処理を施す画像処理手段と、
デコレーションモードを含む複数の撮影モードの中から所望の撮影モードを選択するモード選択手段と、
上記モード選択手段によりデコレーションモードが選択されている場合に、撮影操作を受けて上記撮影手段に複数枚の画像を撮影させるとともに、上記フラッシュに、上記複数枚の画像のうちのいずれか１枚の画像の撮影に同期してフラッシュ光を発光させることにより、フラッシュ光の発光を伴わない１枚以上の外光撮影画像とフラッシュ光の発光を伴った１枚のフラッシュ撮影画像を生成させ、さらに上記画像処理手段に、上記外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるように位置をずらした複数枚の外光撮影画像を生成させて重ね合わさせるとともに、さらに上記フラッシュ撮影画像を重ね合わさせることにより１枚の画像を生成させるデコレーションモード制御手段とを備えたことを特徴とする。
【０００６】
上記本発明の撮影装置によれば、上記デコレーションモードが設定されているときには上記デコレーション制御手段の制御の下に、撮影操作を受けて上記撮影手段によって連写により複数枚の撮影画像が撮影されるとともに、上記フラッシュに、その複数枚の撮影画像のうちのいずれか１枚の撮影画像に同期してフラッシュ光が発光され撮影が行なわれる。その後上記重ね合わせ手段によって、まず上記複数枚の撮影画像のうちのフラッシュ光の発光なしの撮影により得られた複数枚の外光撮影画像が、被写体上の任意の一点（点光源）が所定の模様上の互いに異なる各１点となるようにずらして重ね合わされ、さらにフラッシュ光の発光を伴うフラッシュ撮影画像が重ね合わされてデコレーションモード指定の、背景に模様のある画像が生成される。
【０００７】
例えば夜景撮影時に主要被写体が人物であるとするとその人物がフラッシュ撮影により鮮明に撮影され、さらにそのフラッシュの発光を伴わない複数枚の外光撮影画像に基づいて外光撮影画像中の任意の１点（つまり点光源）が所定の模様上の互いに異なる各１点となるように重ね合わされることによりデコレーションモード指定の画像が生成される。
【０００８】
その結果、いままでのように手ぶれ補正レンズに頼ることなしに、あるいは手ぶれ補正レンズを備えている撮影装置であっても、前述のファンタジーナイトモードを使って得られた画像とほぼ同じ内容の画像が得られる。
【０００９】
ここで、上記デコレーションモード制御手段は、デコレーションモードにおける撮影指示があった場合に、１枚の外光撮影画像と１枚のフラッシュ撮影画像を生成させ、その１枚の外光撮影画像を、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるようにずらすことにより複数枚の外光撮影画像を生成させるものであっても良い。
【００１０】
つまり、複数枚の外光撮影画像を得なくても１枚の外光撮影画像があれば、その１枚の外光撮影画像中の点光源をずらしながら模様を、上記画像処理手段に描かせることは容易であるので、１枚の外光撮影画像と１枚のフラッシュ撮影画像との２枚の画像を得る構成にしても良い。
【００１１】
また上記デコレーションモード制御手段は、デコレーションモードにおける撮影指示があった場合に、複数枚の外光撮影画像と１枚のフラッシュ光撮影画像を生成させ、その複数枚の外光撮影画像相互の位置ずれを一旦補正した上で、その複数枚の外光撮影画像を、その複数枚の外光撮影画像それぞれが被写体上の任意の一点が所定の模様上の互いに異なる各点を分担するようにずらすものであると尚良い。
【００１２】
そうすると、手ぶれ補正が好適に行なわれるとともにデコレーションモード指定の、背景に模様のある画像が生成される。
【００１３】
ここで、手ブレ補正を行なうにあたっては、複数枚の撮影画像間の動きベクトルを検出する動きベクトル検出手段を備え、
上記デコレーションモード制御手段は、上記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、上記動きベクトル検出手段に、その複数枚の外光撮影画像間の動きベクトルを検出させ、検出させた動きベクトルに基づいてその複数枚の外光撮影画像の位置ずれを補正するものであっても良く、
当該撮影装置の動きを検出する角速度を検出手段を備え、
上記デコレーションモード制御手段は、上記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、上記角速度検出手段により検出された、その複数枚の外光撮影画像の撮影時の角速度に基づいてその複数枚の外光撮影画像の位置ずれを補正するものであっても良い。
【００１４】
また、撮影画像中の顔の存在を検出する顔検出手段を備え、
上記デコレーションモード制御手段は、上記顔検出手段に撮影指示前のプレ撮影画像における顔の存在を検出させ、そのプレ撮影画像中に顔が不存在であったときは、デコレーションモードが選択されている場合であっても、撮影指示が合った場合に、上記撮影手段に１枚の撮影画像を生成させるものであると良く、
撮影画像中の点光源の存在を検出する点光源検出手段を備え、
上記デコレーションモード制御手段は、上記点光源検出手段に撮影指示前のプレ撮影画像における点光源の存在を検出させ、そのプレ撮影画像中に点光源が不存在であったときは、デコレーションモードが選択されている場合であっても、撮影指示が合った場合に上記撮影手段に１枚の撮影画像を生成させるものであると尚良い。
【００１５】
上記顔検出手段で顔が検出されない場合には風景撮影であるとしてデコレーションモードが指定されていても通常撮影が行なわれる様にしておくと良く、また被写体中に点光源（例えば電灯やネオン等）がない場合には点光源を使って模様を描くことが出来ないので、デコレーションモードが指定されていても通常撮影が行なわれる様にしておくと良い。
【００１６】
また、撮影画像中の顔の存在および存在する場合の顔の大きさを検出する顔検出手段を備え、上記デコレーションモード制御手段は、上記画像処理手段に、上記外光撮影画像に基づいて、上記顔検出手段で検出された顔の大きな寸法の顔であるほど被写体上の任意の一点が寸法の大きな模様上の各１点となるように位置をずらした複数枚の外光撮影画像を生成させるものであると良い。
【００１７】
上記顔検出手段で検出された顔が大きい場合には、背景により大きな模様を描く様にしておくと、全体的にバランスの良い画像になる。
【００１８】
また、上記本発明の撮影装置に搭載される、上記目的を達成する本発明の撮影方法は、
撮影操作を受けて撮影画像を生成する撮影装置における撮影方法であって、
撮影操作を受けて複数回の撮影を行ない複数枚の撮影画像を生成するとともに、その複数枚の撮影画像のうちのいずれか１枚の撮影画像の撮影に同期してフラッシュ光を発光することにより、フラッシュ光の発光を伴わない１枚以上の外光撮影画像とフラッシュ光の発光を伴ったフラッシュ撮影画像とを生成する撮影ステップと、
上記撮影ステップで得られた外光撮影画像とフラッシュ撮影画像のうちの外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる一点となるように位置をずらした複数枚の外光撮影画像を生成する画像ずらしステップと、
上記画像ずらしステップで生成された位置がずれた複数枚の外光撮影画像を重ね合わせるとともに、さらに上記フラッシュ撮影画像を重ね合せることにより１枚の画像を生成する画像重ね合わせステップとを有することを特徴とする。
【００１９】
ここで、上記撮影ステップは、撮影指示を受けて１枚の外光撮影画像と１枚のフラッシュ撮影画像を生成するステップであり、
上記画像ずらしステップは、上記撮影ステップで得られた１枚の外光撮影画像を、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるようにずらすことにより複数枚の外光撮影画像を生成させるステップであることが好ましい。
【００２０】
また、上記撮影ステップは、撮影指示を受けて複数枚の外光撮影画像を１枚のフラッシュ光撮影画像を生成するステップであり、
上記画像ずらしステップは、上記撮影ステップで得られた複数枚の外光撮影画像相互の位置ずれを一旦補正した上でその複数枚の外光撮影画像それぞれが被写体上の任意の一点が所定の枚数上の互いに異なる各点を分担するようにその複数枚の外光撮影画像をずらすステップであることが好ましい。
【００２１】
また、上記画像ずらしステップは、上記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、その複数枚の外光撮影画像間の動きベクトルを検出し、検出した動きベクトルに基づいてその複数枚の外光撮影画像の位置ずれを補正するステップであっても良く、
上記画像ずらしステップは、上記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、その複数枚の外光撮影画像を撮影したときの複数枚の撮影画像の間の角速度情報を取得しその角速度情報に基づいてその複数枚の外光撮影画像の位置ずれを補正するものであっても良い。
【００２２】
さらに、撮影指示前のプレ撮影画像における顔の存在を検出する顔検出ステップを有し、上記撮影ステップは、上記プレ撮影画像中に顔が不存在であったときは、撮影指示を受けて１枚の撮影画像を生成するステップであると尚良く、
撮影指示前のプレ撮影画像における点光源の存在を検出する点光源検出ステップを有し、そのプレ撮影画像おける点光源が不存在であったときは、撮影指示を受けて１枚の撮影画像を生成するステップであると尚良い。
【００２３】
また、上記撮影ステップで得られた撮影画像中に顔が存在する場合の該顔の大きさを検出する顔寸法検出ステップを有し、
上記画像ずらしステップは、上記撮影ステップで得られた外光撮影画像に基づいて、被写体上の任意の一点が寸法の大きな模様上の各１点となるように位置をずらした複数枚の外光撮影画像を生成するステップであることが好ましい。
【発明の効果】
【００２４】
以上、説明したように、手ぶれ補正レンズに頼ることなしに被写体上の点光源を用いて背景に模様を描くことができる撮影装置、その撮影装置に搭載される撮影方法が実現する。
【発明を実施するための最良の形態】
【００２５】
以下図面を参照して本発明の実施の形態を説明する。
【００２６】
図１は、本発明の撮影装置の一実施形態であるデジタルカメラを示す図である。
【００２７】
図１には本発明の一実施形態であるデジタルカメラ１００の斜視図が示されている。図１（ａ）には正面上方から見た斜視図が示されており、図１（ｂ）には背面上方から見た斜視図が示されている。
【００２８】
図１（ａ）に示すように、本実施形態のデジタルカメラ１００のボディ中央には光学レンズ系１７０１を内蔵するレンズ鏡胴１７０が備えられており、そのレンズ鏡胴１７０の上方にはファインダ１０５が備えられている。またそのファインダ１０５の脇には撮影補助光発光窓１６１が備えられている。本実施形態のデジタルカメラにはこの撮影補助光発光窓１６１を通して閃光を被写体に向けて発光するフラッシュが内部に備えられている。なお本実施形態のデジタルカメラにはデコレーションモードという撮影モードが搭載されており、このデコレーションモードが設定されると、フラッシュ光の発光を伴った１枚のフラッシュ撮影画像とフラッシュ光の発光を伴わない１枚の外光撮影画像とが撮影され、後述する画像処理回路で、外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるように位置をずらした複数の外光撮影画像が生成されて重ね合わせが行なわれるとともに、上記フラッシュ撮影画像がさらに重ね合わされてデコレーションモード指定の背景に模様のある画像が生成される構成になっている。
【００２９】
また、図１（ｂ）に示すように本実施形態のデジタルカメラ１００の背面および上面にはユーザがこのデジタルカメラ１００を使用するときにいろいろな操作を行うための操作子群１０１が備えられている。
【００３０】
この操作子群１０１の中にはデジタルカメラ１００を作動させるための電源スイッチ１０１ａのほか、十字キー１０１ｂ、メニュー／ＯＫキー１０１ｃ、キャンセルキー１０１ｄ、モードレバー１０１ｅなどがある。これらの操作子群１０１の中のモードレバー１０１ｅによっては、再生モードと撮影モードの切替や撮影モードの中でさらに動画モード、静止画モードの切替が行なわれる。上記モードレバー１０１ｅが撮影モードに切り替えられた状態にあるときに電源スイッチ１０１ａが投入されるとＬＣＤ１５０上に動画（以降においては撮影レンズが捉えている画像がスルーされてＬＣＤ１５０上に表示されるのでスルー画という）が表示されて、そのスルー画を見ながらシャッタチャンスにレリーズボタン１０２が押されて被写体の撮影が行なわれる。前述のデコレーションモードのモードの設定にあっては、上記メニュー／ＯＫキー１０１ｃと上記十字キー１０１ｂのキー操作によりデコレーションモードが選択されることにより設定される。本実施形態においては、本発明にいうモード選択手段の一例が上記メニュー／ＯＫキー１０１ｃと上記十字キー１０１ｂで構成される。
【００３１】
なお、モードレバー１０１ｅが再生側に切り替えられた状態にあるときには既撮影画像がＬＣＤ１５０上に再生表示される。また本実施形態のデジタルカメラ１００が備えるレリーズボタン１０２は半押しと全押しの二つの操作態様を有しており、半押しされたときのタイミングで測光と測距との双方が撮影装置内のＣＰＵ１１０によって行なわれてそのＣＰＵ１１０によって測光値に応じた絞り径およびシャッタ秒時（電子シャッタやメカニカルシャッタのシャッタ秒時）が設定され、さらに測距された被写体距離に合うピント位置にフォーカスレンズ１７０１ＢがＣＰＵ１１０の指示の下にモータドライバ１１０２の駆動により配置された後、全押し操作に応じて設定されたシャッタ秒時でメカニカルシャッタがＣＰＵ１１０の指示の下にモータドライバ１１０２によって駆動されるとともに電子シャッタが撮像部１２０内の撮像素子に設定され撮像部１２０で露光が行なわれる。なお本実施形態のデジタルカメラが備えるシャッタにはメカニカルシャッタと撮像部が備える電子シャッタとの２つのシャッタがあり、シャッタ秒時が長いときにはメカニカルシャッタが用いられメカニカルシャッタでは駆動することができないくらいまでシャッタ秒時が短くなってきたときには電子シャッタが用いられる。ただし、静止画撮影においてはスミア等が発生する恐れがあるので、なるべくメカニカルシャッタが用いられる。またスルー画においてはメカニカルシャッタが用いられることもあるが主に電子シャッタが用いられる。また以降の説明においては、ファインダ用のスルー画と撮影画像とを区別するために、レリーズボタン１０２の全押し操作により得られる撮影画像のことをスルー画に対して本画像ということがある。
【００３２】
図２は、図１のデジタルカメラ１００内部の電気系統の構成ブロック図である。
【００３３】
図２を参照してこのデジタルカメラ１００の内部の構成および動作を簡単に説明する。
【００３４】
図２のデジタルカメラ１００には、光学レンズ系１７０１、ＴＧ１１０１、ＣＰＵ１１０、モータドライバー１１０２、撮像部１２０、前処理部１３０、ＳＤＲＡＭ１６１、画像処理回路１６２、圧縮伸張回路１６４、ＬＣＤドライバ１５１、メモリカードスロット１８０、フラッシュ発光部１９０、顔検出部１９１が備えられている。なお上記メカニカルシャッタも備えられているが、本発明にはあまり関係ないので省略されている。
【００３５】
これら各部の構成を順次に説明する。
【００３６】
まず、光学レンズ系１７０１は、例えば複数枚の光学レンズ（フォーカスレンズ１７０１Ｂやズームレンズ１７０１Ａといった光学レンズ等）が組み合わされ構成されている。光学レンズ系１７０１には、図示しないが光学レンズ系の中にあるズームレンズ１７０１Ａの位置を調節して焦点距離を調節するズーム機構や光学レンズ系の中にあるフォーカスレンズ１７０１Ｂの位置を調節してピントを調節するＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）調節機構等が含まれている。これらの機構を作動させるにあたっては、ＣＰＵ１１０からの指示を受けたモータドライバ１１０２が各モータＺＭ、ＦＭ，ＩＭを動作させることにより各機構を作動させることになる。
【００３７】
またＣＰＵ内１１０には、本実施形態のデジタルカメラ１００を動作させるためのシステムクロックを発生する発信器が内蔵されており、そのＣＰＵ１１０から前処理部１３０にシステムクロックに同期した信号が供給されるようになっている。さらに、ＣＰＵ１１０からＴＧ１１１にシステムクロックに同期した制御信号が供給されその制御信号に応じてＴＧ１１０１から撮像部１２０に電子シャッタが設定される構成になっている。こうしておくと、システムクロックに同期したタイミングで各部が動作する。
【００３８】
上記ＣＰＵ１１０には、プログラムを格納するＲＯＭが備えられており、例えばユーザの操作に伴って操作部１０１やレリーズボタン１０２から供給されてくる情報とそのＲＯＭの情報とを用いて各部の動作を制御する制御信号が生成され、生成された制御信号が、ＴＧ１１０１、前処理部１３０、フラッシュ１９０等に供給される。このフラッシュ１９０に供給される制御信号の中には、上記デコレーションモードにおける発光タイミングを示すものもある。
【００３９】
また光学レンズ系１７０１の後方に配備されている絞り調節機構１７０２は、被写体の撮影において最適な入射光の光束を撮像部に供給することができるように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。この絞り調節機構１１１３には、前述のモータドライバ１１０２から駆動信号が供給される。図示はしないが、このときの駆動信号は、ＣＰＵ１１０が、撮像部１２０で光電変換された信号電荷を基にＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：自動露出）処理を行なって算出した絞り・露光時間に基づくものであり、ＣＰＵ１１０がＴＧ１１０１にその絞り・露光時間に応じた制御信号を供給してモータドライバ１１０２に絞り調節機構１７０２を駆動させている。
【００４０】
また撮像部１２０には、光電変換する撮像部が備えられており、その撮像部が撮影光学系の光軸に直交するように配置される。その撮像部の入射側には、一体的に個々の光電変換素子に対応して色分解する色フィルタが２次元的に配列されている。タイミング発生部１１１からのタイミング信号に応じて撮像部で光電変換が行なわれそれらの光電変換によって得られた信号電荷が所定のタイミング信号、例えば電子シャッタのオフタイミングで前処理部１３０に出力される。本実施形態の撮像部１２０は、図１のデジタルカメラが撮影モードにセットされると画素数を落としてスルー画用の撮影を開始し、撮影モード中にレリーズボタン１０２が全押しされるとスルー画用の撮影を中断して記録用の本画像の撮影を行なう。なお詳細は後述するが上記デコレーションモードが指定されているときにはレリーズボタン１０２が全押し操作されたときの１回の撮影操作で２回の連写が行なわれて後述する画像処理回路１６２で重ね合わせが行なわれてデコレーションモード指定の本画像が得られる構成になっている。
【００４１】
また前処理部１３０には、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）１３１、Ａ／Ｄ１３２、ガンマ補正部１３３が備えられている。ＣＤＳ１３１には、クランプ回路とサンプルホールド回路とが備えられており、例えば撮像部１２０に例えばＣＣＤ固体撮像部が用いられた場合には、そのＣＣＤ固体撮像部の動作により発生する各種のノイズがタイミング発生部１１１からのタイミング信号により上記クランプ回路と上記サンプルホールド回路とで取り除かれる。
【００４２】
そのノイズが取り除かれた後の信号電荷は、受光光量に対応する正確な色信号（Ｒ，Ｇ，Ｂ）となって後段のＡ／Ｄ１３２に供給されＡ／Ｄ１３２で所定の量子化レベルで量子化されデジタル信号に変換される。このときにはタイミング発生部１１１からのタイミング信号に応じてデジタル信号への変換が行なわれる。
【００４３】
さらにガンマ補正部１３３には、ガンマ補正用のルックアップテーブルが備えられており、そのルックアップテーブルによって、ルックアップテーブルに入力されたデジタル信号に対応してガンマ補正が施されたデジタル信号が出力され、デジタル信号に変換された各色信号がＳＤＲＡＭ１６１に供給され一旦記憶される。
【００４４】
ＣＰＵ１１０によって、ＳＤＲＡＭ１６１への書込みが終了したことが検知されたらＳＤＲＡＭ１６１への書込みが終了したことが画像処理回路１６２に通知され、画像処理回路１６２ではその通知を受けてＳＤＲＡＭ１６１内の画像の読出が開始される。そして画像処理回路１６２によりＹＣ変換処理等の画像処理が行なわれる。スルー画時の処理にあっては、画像処理回路１６２で処理された画像がバスＢｕｓを経由してＬＣＤドライバ１５１に供給されＬＣＤドライバ１５１の駆動によりＬＣＤ１５０上にスルー画像が表示される。
【００４５】
このスルー画が表示されているときにレリーズボタン１０２が押されると、ＣＰＵ１１０は、モータドライバー１１０２に指示して不図示のメカニカルシャッタを駆動させるとともにＴＧ１１０１に指示して撮像部１２０に電子シャッタを設定させ電子シャッタのオフタイミングで画像を前処理部１３０へと出力させる。ＣＰＵ１１０は、ＴＧ１１０１に供給した制御信号に同期したタイミングで前処理部１３０にタイミング信号を供給して前処理部１３０内の各部に処理を行なわせて本画像を生成させ、ＳＤＲＡＭ１６１へとその画像を導く。
【００４６】
こうしてＳＤＲＡＭ１６１に画像が導かれたら、ＣＰＵ１１０によってＳＤＲＡＭ１６１への書込みが終了したことが画像処理回路１６２に通知される。そうしたら画像処理回路１６２によってＳＤＲＡＭ１６１からの画像の読出が行なわれて画像が全て読み出された後に画像処理が開始される。そして画像処理回路１６２による画像処理が終了したら画像処理回路によって再びＳＤＲＡＭ１６１に画像が記憶される。このときにはＣＰＵ１１０によって画像処理回路１６２の処理が終了したことが画像処理回路１６２内のフラグ等の書き換わり等により検知され画像処理回路１６２の処理が終了したことが今度は次のプロセスを担当する圧縮伸張回路１６４に通知される。この通知により圧縮伸張回路１６４によってＳＤＲＡＭ１６１から画像が読み出されて画像の圧縮が行なわれる。そしてこの圧縮の終了がＣＰＵ１１０によって圧縮伸張回路１６４内のフラグ等の書き換わりにより検知された後にＣＰＵ１１０の制御の下に圧縮情報と圧縮された画像データとが画像ファイルとなってメモリカード１８１に記録される。なお本実施形態のデジタルカメラには、スルー画中の画像に基づいて撮影直前に顔が被写体中に存在するかどうかを判定するための顔検出部１９１が備えられている。上記デコレーションモードが指定されたときにはこの顔検出部１９１によって撮影直前のスルー画からこれから撮影しようとしている被写体中に顔が存在するかどうかが判定され、もしも顔が存在しないと判定された場合にはデコレーションモードが指定されていたとしても、通常撮影が行なわれる構成になっている。
【００４７】
図１のデジタルカメラは以上のような構成を持つ。
【００４８】
ここで上記課題を達成するために、本実施形態のデジタルカメラ１００が備える画像処理回路１６２が有する重ね合せ機能を用いて画像の重ね合わせを行なうことにより前述のファンタジーナイトモードと同等の画像を得ることを提案している。
【００４９】
本実施形態においてはデコレーションモードという撮影モードを搭載して、デコレーションモードが設定されたときにはＣＰＵ１１０がフラッシュ１９０を制御してフラッシュ発光を伴ったフラッシュ撮影画像とフラッシュ発光を伴わない外光撮影画像との２枚の画像を得て、画像処理回路１６２に、外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるように位置をずらした複数の外光撮影画像を生成させてそれら複数枚の外光撮影画像の重ね合せを行なわせるとともに、さらにフラッシュ撮影画像の重ね合せを行なわせて１枚の画像を生成させることによって従来のファンタジーナイトモードと同等の画像を得ている。なお本実施形態においては、デコレーションモードが設定されたことを受けて、ＣＰＵ１１０が撮影前に画像処理回路１６２が有する重ね合わせ機能を実行させるためのパラメータセット等を行なっており、撮影時には画像処理回路１６２がそのパラメータに応じた重ね合わせを実行することによりデコレーションモード指定の画像を生成する構成になっている。本実施形態においては、本発明にいう撮影手段の一例が撮像部１２０で構成され、デコレーションモード制御手段の一例がＣＰＵ１１０で構成されている。
【００５０】
このように画像処理回路１６２が有する重ね合せ機能を用いて背景に模様のある画像を得ることができるようにすると、ファンタジーナイトモードと同等の画像を得るにあたって手ぶれ補正レンズを使う必要がなくなる。
【００５１】
図３は、本発明にいうデコレーションモード制御手段の一例を構成するＣＰＵ１１０、本発明にいう画像処理手段の一例を構成する画像処理回路１６２が実行する撮影処理の手順を示す図である。
【００５２】
ステップＳ３０１で、ＣＰＵ１１０がＡＥ処理を実行して撮影に必要な露出値を得る。次のステップＳ３０２で、ＣＰＵ１１０はデコレーションモードであるかどうかを判定する。ステップＳ３０２でＣＰＵ１１０がデコレーションモードが設定されていないと判定したら、ステップＳ３０３でＣＰＵ１１０はＡＦ処理を実行しモータドライバ１１０２に指示してフォーカスレンズ１７０１Ｂを合焦位置に移動させる。次のステップＳ３０４でＣＰＵ１１０はモータドライバ１１０２に指示して絞り調節機構１７０２の開口径をステップＳ３０１で得た露出値にあう開口になるようにし、ＴＧ１１０１に指示して撮像部１２０に電子シャッタを設定させて撮像部に露光を開始させる。ステップＳ３０５で撮像部１２０に設定されていた電子シャッタのオフタイミングで前処理部１３０に画像を出力させ、ステップＳ３０６で前処理部１３０内のＡ／Ｄ１３３にＡ／Ｄ変換を行わせてＳＤＲＡＭ１６１に画像を導き記憶させる。次のステップＳ３０７でＣＰＵ１１０は、画像処理回路１６２に、ＳＤＲＡＭ１６１への記憶が終了したとことを通知し、その通知を受けた画像処理回路１６２がＳＤＲＡＭ１６１内の画像を読み出し画像処理を開始する。ステップＳ３０８でＣＰＵ１１０は、画像処理回路１６２内のレジスタ等に記憶されているフラグの書き換わり等により画像処理が終了したことを検知したら今度は圧縮伸張回路１６４にプロセススタート信号を供給する。ステップＳ３０８で画像処理回路１６２が、ＳＤＲＡＭ１６１内の画像を読み出し圧縮処理を行う。次のステップＳ３０９でＣＰＵ１１０は、圧縮情報と圧縮された画像データとを画像ファイルとしてメモリカード１８１に記録してこのフローの処理を終了する。
【００５３】
ステップＳ３０２でＣＰＵ１１０が、デコレーションモードが設定されていると判定したときにはＯＮ側に進んでステップＳ３１０でＡＦ処理を実行してステップＳ３１１で、撮影直前のスルー画中（本発明にいうプレ撮影画像の一例に相当する）に顔が存在したか、顔が不存在であったかを顔検出部１９１の検出結果を参照して判定する。ここで顔が不存在であったと判定したらステップＳ３０４へジャンプしてステップＳ３０４からステップＳ３０９の処理を実行してこのフローの処理を終了する。
【００５４】
ステップＳ３１１で、顔が存在すると判定したら、ステップＳ３１２で、１枚をフラッシュ撮影し、もう１枚をフラッシュオフで撮影する。ステップＳ３１３で最初にフラッシュ撮影したフラッシュ撮影画像は不図示の記憶部に記憶しておいて、ステップＳ３１３で撮影した外光撮影画像を電子シャッタのオフタイミングで前処理部１３０へと出力させステップＳ３１４で前処理部１３０内のＡ／Ｄ１３２でデジタル信号に変換させデジタル信号をバスＢｕｓ側に導いてＳＤＲＡＭ１６１に外光撮影画像を記憶する。ステップＳ３１５で画像処理回路１６２は、そのＳＤＲＡＭ１６１内の外光撮影画像を読み出し、ＣＰＵ１１０によって予め設定されているパラメータに応じて被写体上の任意の１点（点光源）が所定の模様上の互いに異なる各一点となるように位置をずらした複数の外光撮影画像を生成して重ね合せた後画像処理回路１６２内の不図示のフレームメモリに記憶する。次のステップＳ３１６で、フラッシュ撮影画像を不図示のメモリから前処理部１３０へと出力させＳＤＲＡＭ１６１内に記憶させる。さらに画像処理回路１６２がそのフラッシュ撮影画像を読み出して、上記フレームメモリ内の外光撮影画像にフラッシュ撮影画像を重ね合わせたら、ステップＳ３０７からステップＳ３０９の処理を行なってこのフローの処理を終了する。
【００５５】
ＣＰＵ１１０、画像処理回路１６２、圧縮伸張回路１６４がそれぞれこのフローの処理を実行すると、背景に模様のある画像が得られる。
【００５６】
図４は、画像処理回路が重ね合せを行なうことにより背景に描くことが可能な模様を説明する図である。
【００５７】
被写体中に電灯等の点光源があれば、その被写体上の任意の点光源が所定の模様上の互いに異なる各１点となるように位置をずらした複数の外光撮影画像を重ね合せることにより図４（ａ）に示す様に星型の模様を得たり、図４（ｂ）に示す様に三角型の模様に得たり、図４（ｃ）に示す様にダイヤ型の模様に得たりすることができる。
【００５８】
以上、説明したように、手ぶれ補正レンズに頼ることなしに被写体上の点光源を用いて背景に模様を描くことができる撮影装置、その撮影装置に搭載される撮影方法が実現する。
【００５９】
上記第１実施形態においては、手ぶれ補正レンズに頼ることなしに画像処理回路１６２の機能を使ってデコレーションモード指定の画像を生成する構成を説明したが、図１、図２に示すデジタルカメラ１００に電子的に手ぶれ補正を行なう手ぶれ補正部を搭載すると、手ぶれを補正することができ、さらにデコレーションモード指定の背景に模様のある画像を得ることができる。
【００６０】
図５は、手ぶれ補正部１４０を備えるデジタルカメラの構成を説明する図である。図６は、図５の手ぶれ補正部１４０の構成を示す図である。
【００６１】
なお外観は図１と同じであるとする。また、図２の構成と手ぶれ補正部１４０を除いてはほぼ同じ構成であるので、同じ機能を達成する回路には同じ番号台の符号を示してある。
【００６２】
図５のデジタルカメラ１００には、光学レンズ系１７０１、タイミング発生部１１１、システム制御部１１０、絞り調節機構１７０２、撮像部１２０、前処理部１３０、手ぶれ補正部１４０、信号処理部１６０、記録再生部１８０、フラッシュ１９０が備えられている。なお上記メカニカルシャッタも備えられているが、本発明にはあまり関係ないので省略されている。本実施形態においては、本発明にいうデコレーションモード制御手段の一例が、システム制御手段１１０Ａで構成され、本発明にいう画像処理手段の一例が信号処理部１６０で構成されている。
【００６３】
図２とほぼ同じ構成であるが、念のために構成をもう一度説明する。
【００６４】
まず、光学レンズ系１７０１は、例えば複数枚の光学レンズ（フォーカスレンズやズームレンズといった光学レンズ等）が組み合わされ構成されている。光学レンズ系１７０１には、図示しないが光学レンズ系の中にあるズームレンズの位置を調節して焦点距離を調節するズーム機構や光学レンズ系の中にあるフォーカスレンズの位置を調節してピントを調節するＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）調節機構等が含まれている。これらの機構を作動させるにあたっては、タイミング発生部１１１で生成された駆動信号が供給される。
【００６５】
タイミング発生部１１１には、デジタルカメラ１００のシステムクロックを発生する発信器が内蔵されており、さらにこのタイミング発生部１１１には、そのシステムクロックに同期したタイミング信号を生成するタイミング信号生成部とシステムクロックに同期した駆動信号を生成する駆動信号生成部とが備えられている。システム制御部１１０Ａから制御信号が供給されてくると、その制御信号に応じてタイミング信号発生部１１１が撮像部１２０や前処理部１３０、さらにタイミング信号発生部１１１内の駆動信号生成部にタイミング信号を出力する。タイミング発生部１１１内の駆動信号生成部ではそのタイミング信号を受けて上記機構や上記フラッシュに駆動信号を出力する。
【００６６】
このタイミング発生部１１１に制御信号を供給するシステム制御部１１０Ａには、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）とこのデジタルカメラ１００の動作手順が書き込まれたＲＯＭとが備えられている。システム制御部１１０では、例えばユーザの操作に伴って操作部１０１やレリーズボタン１０２から供給されてくる情報と上記ＲＯＭの情報とを用いて各部の動作を制御する制御信号が生成され、生成された制御信号が、タイミング発生部１１１、前処理部１３０、手ぶれ補正部１４０、信号処理部１６０、記録再生部１８０、フラッシュ１９０等に供給される。このフラッシュ１９０に供給される制御信号は、光量に応じたものであって、その中には連写回数とＡＥ処理に応じた光量に関するものもある。
【００６７】
光学レンズ系１７０１の後方に配備されている絞り調節機構１７０２は、被写体の撮影において最適な入射光の光束を撮像部に供給することができるように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。この絞り調節機構１７０２には、前述のタイミング発生部１１１から駆動信号が供給される。図示はしないが、このときの駆動信号はシステム制御部１１０Ａが、撮像部１２０で光電変換された信号電荷を基にＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：自動露出）処理を行なって算出した絞り・露光時間に基づくものであり、システム制御部１１０Ａがタイミング発生部１１１にその絞り・露光時間に応じた制御信号を供給してタイミング発生部１１１内の駆動信号生成部に駆動信号を生成させている。
【００６８】
また撮像部１２０には、光電変換する撮像部が備えられており、その撮像部が撮影光学系の光軸に直交するように配置される。その撮像部の入射側には、一体的に個々の光電変換素子に対応して色分解する色フィルタが２次元的に配列されている。タイミング発生部１１１からのタイミング信号に応じて撮像部で光電変換が行なわれそれらの光電変換によって得られた信号電荷が所定のタイミング信号、例えば電子シャッタのオフタイミングで前処理部１３０に出力される。本実施形態の撮像部は、図１と同様に図５のデジタルカメラが撮影モードにセットされると画素数を落としてスルー画用の撮影を開始し、撮影モード中にレリーズボタン１０２が全押しされるとスルー画用の撮影を中断して記録用の本画像の撮影を行なう。
【００６９】
なお詳細は後述するが図５の撮像部１２０には高速フレームレートを持つ撮像素子が用いられていて上記デコレーションモードが指定されているときにはレリーズボタン１０２が全押し操作されたときの１回の撮影操作で高速連写が行なわれて後述する手ぶれ補正部１４０で重ね合わせが行なわれて手ぶれが補正されるとともに信号処理部１６０によって複数枚の外光画像それぞれが、被写体上の点光源が所定の模様の互いに異なる各一点となるように位置をずらして重ね合わされ、さらにフラッシュ撮影画像が重ね合わされることによりデコレーションモード指定の、背景に模様のある画像が本画像として得られる構成になっている。このため以降の説明においては、１回の撮影操作で高速連写が行なわれることを説明する際に、高速連写が行なわれて得られた画像のことを連写画像と記載し、さらにその連写画像を、連写回数に応じて１回目の連写画像、２回目の連写画像という風に記載することがある
また図５に示す前処理部１３０には、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）１３１、Ａ／Ｄ１３２、ガンマ補正部１３３が備えられている。ＣＤＳ１３１には、クランプ回路とサンプルホールド回路とが備えられており、例えば撮像部１２０に例えばＣＣＤ固体撮像部が用いられた場合には、そのＣＣＤ固体撮像部の動作により発生する各種のノイズがタイミング発生部１１１からのタイミング信号により上記クランプ回路と上記サンプルホールド回路とで取り除かれる。
【００７０】
そのノイズが取り除かれた後の信号電荷は、受光光量に対応する正確な色信号（Ｒ，Ｇ，Ｂ）となって後段のＡ／Ｄ１３２に供給されＡ／Ｄ１３２で所定の量子化レベルで量子化されデジタル信号に変換される。このときにはタイミング発生部１１１からのタイミング信号に応じてデジタル信号への変換が行なわれる。
【００７１】
さらにガンマ補正部１３３には、ガンマ補正用のルックアップテーブルが備えられており、そのルックアップテーブルによって、ルックアップテーブルに入力されたデジタル信号に対応してガンマ補正が施されたデジタル信号が出力され、デジタル信号に変換された各色信号が手ぶれ補正部１４０に供給される。
【００７２】
ここで図５を離れて図６を参照して手ぶれ補正部１４０の構成を説明しておく。
【００７３】
図６に示す手ぶれ補正部１４０には、フレームメモリ１４１，フレームメモリ部１４２と、相関演算部１４３と、アドレスシフト部１４４と、合成部１４５とスイッチＳＷ１〜ＳＷ３が３つ備えられている。この例ではフレームメモリ１４１、フレームメモリ部１４２に、１フレーム分のＲ、Ｇ、Ｂの各色信号を格納することができるサイズを持ち、繰り返し読み出すことが自在な非破壊タイプのメモリが用いられている。
【００７４】
前述した様にＬＣＤ１５０上にスルー画が表示されているときには撮像部１２０から撮像部の画素数を落として１／３０（又は１／６０）秒ごとにスルー画を表わす画像信号が出力され前処理部１３０で前処理が施された後、前処理部１３０で処理が施された画像が、手ぶれ補正部１４０を迂回して信号処理部１６０に供給される。
【００７５】
信号処理部１６０では、スルー画を表わす画像信号に色分離、ＹＣ変換処理が行なわれ、色分離、さらにＹＣＣ変換処理が行なわれた後の画像信号が不図示の画像表示部に供給され、スルー画がＬＣＤ１５０（図１参照）上に表示される。
【００７６】
このスルー画が表示されている最中にレリーズボタン１０２が操作されると、上記デコレーションモードで合った場合にはシステム制御部１１０ＡはＡＥ処理により得たシャッタ速度に基づいて撮影枚数をタイミング発生部１１１に指示して撮影枚数分のタイミング信号を連続的に供給させることにより撮像部１２０に高速連写を開始させる。このときには、最後の連写撮影に同期してフラッシュ１９０に適正光量のフラッシュ光を発光させ高速連写を行なわせる。そして撮像部１２０から前処理部１３０に次々と連写画像を出力させ、前処理部１３０で各回の連写画像ごとにデジタル信号への変換処理等が行なわれたら、手ぶれ補正部１４０に次々と供給させる。
【００７７】
図６に示す手ぶれ補正部１４０では、次々に供給される連写画像を使って重ね合わせが行なわれて電子的にぶれ補正が行なわれる。まず、１回のレリーズボタン１０２の操作で行なわれる複数回の連写のうちの１回目と２回目の連写が実施されると、相関演算部１４３に１回目の連写画像と２回目の連写画像が入力される。
【００７８】
このときには、スイッチＳＷ１とスイッチＳＷ２が双方共にａ側に切り替えられていて、それらのスイッチＳＷ１，ＳＷ２を経由してフレームメモリ１４１内に記憶されていた１回目の連写画像が相関演算部１４３とともに、フレームメモリ部１４２にも供給され記憶される。
【００７９】
１回目の連写画像と２回目の連写画像との双方が供給された相関演算部１４３では、それら２つの画像を用いて手ぶれを表わす動きベクトルが検出される。つまりこの相関演算部１４３によって本発明にいう動きベクトル検出部の一例が構成される。この相関演算部１４３で動きベクトルが検出されたら、今度はスイッチＳＷ１とスイッチＳＷ２がシステム制御部１１０の制御の下に双方共にｂ側に切り替えられるとともに、その動き検出ベクトルを示す位置データ（例えば座標データｘ、ｙ）がアドレスシフト部１４４に供給される。このときにはフレームメモリ１４１の内容が１回目の連写画像から２回目の連写画像に書き換えられてそのフレームメモリ１４１内の２回目の連写画像がスイッチＳＷ１の接点ｂを経由してアドレスシフト部１４４に供給される。
【００８０】
フレームメモリ部１４２には、１回目の連写画像が記憶されている訳であるから、アドレスシフト部１４４でそのフレームメモリ部１４２内の１回目の連写画像の位置にあうように、２回目の連写画像の位置がオフセットされて１回目の連写画像をベースにして２回目の連写画像が加算されることによりぶれが補正され、フレームメモリ部１４２にぶれが補正された重ね合わせ画像が記憶される。
【００８１】
以降においては、このフレームメモリ部１４２にある１回目の連写画像の位置をベースにして３回目の連写画像、４回目の連写画像…が相関演算部１４３に供給されて、双方の画像から動きベクトルが検出され検出された動きベクトルに基づいてぶれ補正が行なわれて重ね合わせにより得られた重ね合わせ画像がフレームメモリ部１４２に次々に上書きされていく。
【００８２】
こうして１回の撮影操作を受けて複数枚の連写により得られた撮影画像どうしの重ね合わせが順次に行なわれていって複数枚全ての画像の重ね合わせが終了したら、システム制御部１１０からの切替信号によってスイッチＳＷ３が断から接に切り替えられる。
【００８３】
そうしたら、そのフレームメモリ部１４２内の重ね合わせ画像が信号処理部１６０の画像読出部１６１Ａによって読み出される。図６に示す信号処理部１６０によって画像が読み出されたら信号処理部１６０内の色分離部１６２Ａによって画像を構成する各色信号が選択的に振り分けられるとともに、ある画素の色信号がその画素の周囲の画素の色信号によって補間生成され、各色信号が画面ごとのプレーン信号にされて後段のＹＣ変換部１６３Ａに供給される。
【００８４】
さらに本実施形態では、色分離部にプレーン信号になった画像上の任意の１点（点光源）が所定の模様上の互いに異なる各１点となるように位置をずらした複数枚の外光撮影画像を生成させると共にそれらを重ね合わせる機能を持たせてあり、デコレーションモードが設定されシステム制御部１１０Ａによってデコレーションモードを表わすパラメータがセットされたときにはセットされたパラメータに応じたずらし量で点光源の重ね合わせが行なわれる構成になっている。
【００８５】
ＹＣ変換部１６３では、変換行列によりＹＣＣ信号が生成され、ＹＣＣ信号が画像圧縮部１６４に供給され圧縮伸張回路１６４でＹＣＣ信号が圧縮され圧縮されたＹＣＣ信号と圧縮情報とからなる画像ファイルが記録再生部１８０によって記録媒体１８１に記録される。なおこの記録再生部１８０によっては、記録媒体１８１に記録されている画像が読み出されて画像表示部（不図示）に供給されＬＣＤ１５０上に再生画像の表示も行なわれる。
【００８６】
この様な構成にすると、デコレーションモードが設定されたときには手ぶれ補正部１４０で手ぶれが好適に補正されるとともに、信号処理部１６０内の色分離部１６２Ａで生成されたプレーン信号が被写体上の１点（点光源）が所定の模様上の一点となるように位置をずらして重ね合わされてデコレーションモード指定の、背景に模様のある画像が生成される。
【００８７】
ここでデコレーションモード制御手段の一例を構成するシステム制御部１１０と、本発明にいう画像処理手段の一例を構成する信号処理部１６０が実行する撮影処理の手順を説明する。
【００８８】
図７は、システム制御部１１０と信号処理部１６０が連携して実行する撮影処理の手順を示すフローチャートである。
【００８９】
図７中のステップＳ３１２Ａの処理で複数枚の外光撮影画像が得られることと、ステップＳ３１５Ａの処理でその複数枚の外光撮影画像を使って手ぶれ補正が行なわれるとともに所定の模様上の互いに異なる１点となるように外光撮影画像の重ね合わせが行なわれること以外は、図３のフローの処理とほぼ同じである。
【００９０】
上記第２実施形態の構成にすると、手ぶれが好適に補正されるとともにデコレーションモード指定の、背景に模様のある画像が得られる。
【００９１】
また第２実施形態では、手ぶれ補正を行なうにあたって、手ぶれ補正部１４０内の動きベクトル検出部（相関演算部１４３）でぶれ量を検出する構成を示したが、角速度検出部例えばジャイロセンサＳＥＮを設けてぶれ量を検出して手ぶれ補正を行なう構成にしても良い。
【００９２】
図８は、角速度検出部Ｊ１を設けた場合の例である。
【００９３】
この様な構成にすると、角速度検出部Ｊ１の角速度の検出結果に応じて手ぶれがより正確に補正される。
【００９４】
図９は、図８の構成を持つデジタルカメラの場合の撮影処理を説明する図である。
【００９５】
ステップＳ３１５Ｂの処理が角速度検出部Ｊ１の検出結果に応じて行なわれる以外は、図７の処理と同じである。この様な構成にしても良い。
【００９６】
ところで、デコレーションモードによって背景に模様を施す場合には、主要被写体の占有面積に応じて、主要被写体の背景に描く模様の大きさを変えることができるようにしておくと、画像全体のバランスが良くなる。
【００９７】
図１０は、顔検出部１９１で顔のサイズを検出させ顔のサイズに応じて模様の大きさを変更する構成にした場合の撮影処理を説明するフローチャートである。なお、図１０の処理を実行するデジタルカメラは、図１〜図３のデジタルカメラであるとする。
【００９８】
図１０では、図３のフロー中のステップＳ３１５が、ステップＳ３１５Ｃの処理に変更されている。
【００９９】
ステップＳ３１５ＣでＣＰＵ１１０は、スルー画中の顔検出部１９１で検出された顔のサイズの結果に応じて、画像処理回路１６２にその顔のサイズに応じたパラメータをセットすることで画像処理回路１６２に顔のサイズに応じた模様を描かせるようにしている。
【０１００】
このようにすると全体の画像のバランスが良くなる。
【０１０１】
図１１は、図１０のフローを実行した場合の画像例を示す図である。
【０１０２】
図１１（ａ）に示す様に主要被写体である人物が小さい場合には、模様を小さくし、図１１（ｂ）に示す様に主要被写体が大きい場合には模様を大きくすると、全体のバランスが良くなる。この様な構成にしても良い。
【０１０３】
また、前述のフローにもあるように被写体中に人が存在しない場合には通常撮影を行なうようにしておいた方が良い。さらに被写体中に点光源（電灯等）がない場合には模様を描くことができないので、通常撮影を行なう構成にしておいた方が良い。
【０１０４】
図１２は、被写体中に点光源が存在するかどうかを判定して点光源が存在しない場合には通常撮影を行なう構成にした場合の撮影処理を説明するフローチャートである。
【０１０５】
点光源検出の判断ステップＳ３１１５が付加されている。本実施形態においては、点光源を検出するにあたってＣＰＵ１１０がＡＥ機能を有することを利用して、数画素の単位ごとに所定の輝度以上の部分が突出してあるがどうかを判定し、その部分があると判定した場合にはその部分を点光源とみなす処理を行なっている。
【０１０６】
このようにすると、デコレーションモードにおける画像の作成の失敗がなくなる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の撮影装置の一実施形態であるデジタルカメラを示す図である。
【図２】図１のデジタルカメラ１００内部の電気系統の構成ブロック図である。
【図３】ＣＰＵ１１０、画像処理回路１６２が実行する撮影処理の手順を示す図である。
【図４】画像処理回路が重ね合せを行なうことにより背景に描くことが可能な模様を説明する図である。
【図５】手ぶれ補正部１４０を備えるデジタルカメラの構成を説明する図である。
【図６】図６は、図５の手ぶれ補正部１４０の構成を示す図である。
【図７】システム制御部１１０と信号処理部１６０が連携して実行する撮影処理の手順を示すフローチャートである。
【図８】手ブレ補正部の動きベクトル検出部の検出結果を用いずに角速度検出部を設けた場合の例である。
【図９】図８の構成のデジタルカメラの撮影処理を説明する図である。
【図１０】顔検出部から顔のサイズの検出結果に応じて模様の大きさを変更する構成にした場合の撮影処理を説明するフローチャートである。
【図１１】図１０のフローを実行した場合の画像例を示す図である。
【図１２】被写体中に点光源が存在するかどうかを判定して点光源が存在しない場合には通常撮影を行なう構成にした場合の撮影処理を説明するフローチャートである。
【符号の説明】
【０１０８】
１００ デジタルカメラ
１０１ 操作子群
１０２ レリーズボタン
１０５ ファインダ
１１０ ＣＰＵ
１１０Ａ システム制御部
１１０１ ＴＧ
１１１ タイミング発生部
１２０ 撮像部
１３０ 前処理部
１４０ 手ぶれ補正部
１５０ ＬＣＤ
１６０ 信号処理部
１６１ ＳＤＲＡＭ
１６１Ａ 画像読出部
１６２ 画像処理回路
１６２Ａ 色分離部
１６３Ａ ＹＣ変換部
１６４ 圧縮伸張回路
１６４Ａ 画像圧縮部
１７０ レンズ鏡胴
１７０１ レンズ光学系
１７０２ 絞り調節機構
１８０ 記録再生部（メモリカードスロット）
１８１ 記録媒体
１９０ フラッシュ
１９１ 顔検出部
【特許請求の範囲】
【請求項１】
被写体に向けて閃光を発光するフラッシュと、
撮影操作を受け撮影を行なって撮影画像を生成する撮影手段と、
前記撮影手段により生成された撮影画像に画像処理を施す画像処理手段と、
デコレーションモードを含む複数の撮影モードの中から所望の撮影モードを選択するモード選択手段と、
前記モード選択手段によりデコレーションモードが選択されている場合に、撮影操作を受けて前記撮影手段に複数枚の画像を撮影させるとともに、前記フラッシュに、前記複数枚の画像のうちのいずれか１枚の画像の撮影に同期してフラッシュ光を発光させることにより、フラッシュ光の発光を伴わない１枚以上の外光撮影画像とフラッシュ光の発光を伴った１枚のフラッシュ撮影画像を生成させ、さらに前記画像処理手段に、前記外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるように位置をずらした複数の外光撮影画像を生成させて重ね合わさせるとともに、さらに前記フラッシュ撮影画像を重ね合わさせることにより１枚の画像を生成させるデコレーションモード制御手段とを備えたことを特徴とする撮影装置。
【請求項２】
前記デコレーションモード制御手段は、デコレーションモードにおける撮影指示があった場合に、１枚の外光撮影画像と１枚のフラッシュ撮影画像を生成させ、該１枚の外光撮影画像を、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるようにずらすことにより、複数枚の外光撮影画像を生成させるものであることを特徴とする請求項１記載の撮影装置。
【請求項３】
前記デコレーションモード制御手段は、デコレーションモードにおける撮影指示があった場合に、複数枚の外光撮影画像と１枚のフラッシュ光撮影画像を生成させ、該複数枚の外光撮影画像相互の位置ずれを一旦補正した上で、該複数枚の外光撮影画像を、該複数枚の外光撮影画像それぞれが被写体上の任意の一点が所定の模様上の互いに異なる各点を分担するようにずらすものであることを特徴とする請求項１記載の撮影装置。
【請求項４】
複数枚の撮影画像間の動きベクトルを検出する動きベクトル検出手段を備え、
前記デコレーションモード制御手段は、前記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、前記動きベクトル検出手段に、該複数枚の外光撮影画像間の動きベクトルを検出させ、検出させた動きベクトルに基づいて該複数枚の外光撮影画像の位置ずれを補正するものであることを特徴とする請求項３記載の撮影装置。
【請求項５】
当該撮影装置の動きの角速度を検出する角速度検出手段を備え、
前記デコレーションモード制御手段は、前記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、前記角速度検出手段により検出された、該複数枚の外光撮影画像の撮影時の角速度に基づいて該複数枚の外光撮影画像の位置ずれを補正するものであることを特徴とする請求項３記載の撮影装置。
【請求項６】
撮影画像中の顔の存在を検出する顔検出手段を備え、
前記デコレーションモード制御手段は、前記顔検出手段に撮影指示前のプレ撮影画像における顔の存在を検出させ、該プレ撮影画像中に顔が不存在であったときは、デコレーションモードが選択されている場合であっても、撮影指示が合った場合に、前記撮影手段に１枚の撮影画像を生成させるものであることを特徴とする請求項１から５のうちのいずれか１項記載の撮影装置。
【請求項７】
撮影画像中の点光源の存在を検出する点光源検出手段を備え、
前記デコレーションモード制御手段は、前記点光源検出手段に撮影指示前のプレ撮影画像における点光源の存在を検出させ、該プレ撮影画像中に点光源が不存在であったときは、デコレーションモードが選択されている場合であっても、撮影指示があった場合に前記撮影手段に１枚の撮影画像を生成させるものであることを特徴とする請求項１から５のうちのいずれか１項記載の撮影装置。
【請求項８】
撮影画像中の顔の存在および存在する場合の顔の大きさを検出する顔検出手段を備え、 前記デコレーションモード制御手段は、前記画像処理手段に、前記外光撮影画像に基づいて、前記顔検出手段で検出された顔が大きな寸法の顔であるほど、被写体上の任意の一点が寸法の大きな模様上の各１点となるように位置をずらした複数枚の外光撮影画像を生成させるものであることを特徴とする請求項１から５のうちのいずれか１項記載の撮影装置。
【請求項９】
撮影操作を受けて撮影画像を生成する撮影装置における撮影方法であって、
撮影操作を受けて複数回の撮影を行ない複数枚の撮影画像を生成するとともに、該複数枚の撮影画像のうちのいずれか１枚の撮影画像の撮影に同期してフラッシュ光を発光することにより、フラッシュ光の発光を伴わない１枚以上の外光撮影画像とフラッシュ光の発光を伴った１枚のフラッシュ撮影画像とを生成する撮影ステップと、
前記撮影ステップで得られた外光撮影画像とフラッシュ撮影画像のうちの外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる一点となるように位置をずらした複数枚の外光撮影画像を生成する画像ずらしステップと、
前記画像ずらしステップで生成された、位置がずれた複数枚の外光撮影画像を重ね合わせるとともに、さらに前記フラッシュ撮影画像を重ね合せることにより１枚の画像を生成する画像重ね合わせステップとを有することを特徴とする撮影方法。
【請求項１０】
前記撮影ステップは、撮影指示を受けて１枚の外光撮影画像と１枚のフラッシュ撮影画像を生成するステップであり、
前記画像ずらしステップは、前記撮影ステップで得られた１枚の外光撮影画像を、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるようにずらすことにより、複数枚の外光撮影画像を生成させるステップであることを特徴とする請求項９記載の撮影方法。
【請求項１１】
前記撮影ステップは、撮影指示を受けて複数枚の外光撮影画像と１枚のフラッシュ光撮影画像を生成するステップであり、
前記画像ずらしステップは、前記撮影ステップで得られた複数枚の外光撮影画像相互の位置ずれを一旦補正した上で、該複数枚の外光撮影画像を、該複数枚の外光撮影画像それぞれが被写体上の任意の一点が所定の模様上の互いに異なる各点を分担するようにずらすステップであることを特徴とする請求項９記載の撮影方法。
【請求項１２】
前記画像ずらしステップは、前記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、該複数枚の外光撮影画像間の動きベクトルを検出し、検出した動きベクトルに基づいて該複数枚の外光撮影画像の位置ずれを補正するステップであることを特徴とする請求項１１記載の撮影方法。
【請求項１３】
前記画像ずらしステップは、前記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、該複数枚の外光撮影画像の撮影時の複数の撮影時刻の間の角速度情報を取得し、該角速度情報に基づいて該複数枚の外光撮影画像の位置ずれを補正するものであることを特徴とする請求項１１記載の撮影方法。
【請求項１４】
撮影指示前のプレ撮影画像における顔の存在を検出する顔検出ステップを有し、前記撮影ステップは、前記プレ撮影画像中に顔が不存在であったときは、撮影指示を受けて１枚の撮影画像を生成するステップであることを特徴とする請求項９から１３のうちのいずれか１項記載の撮影方法。
【請求項１５】
撮影指示前のプレ撮影画像における点光源の存在を検出する点光源検出ステップを有し、前記撮影ステップは、該プレ撮影画像おける点光源が不存在であったときは、撮影指示を受けて１枚の撮影画像を生成するステップであることを特徴とする請求項９から１３のうちのいずれか１項記載の撮影方法。
【請求項１６】
前記撮影ステップで得られた撮影画像中に顔が存在する場合の該顔の大きさを検出する顔寸法検出ステップを有し、
前記画像ずらしステップは、撮影ステップで得られた外光撮影画像に基づいて、前記顔寸法検出ステップで検出された顔が寸法の大きな顔であるほど、被写体上の任意の一点が寸法の大きな模様上の各１点となるように、位置をずらした複数枚の外光撮影画像を生成するステップであることを特徴とする請求項９から１３のうちのいずれか１項記載の撮影方法。
【請求項１】
被写体に向けて閃光を発光するフラッシュと、
撮影操作を受け撮影を行なって撮影画像を生成する撮影手段と、
前記撮影手段により生成された撮影画像に画像処理を施す画像処理手段と、
デコレーションモードを含む複数の撮影モードの中から所望の撮影モードを選択するモード選択手段と、
前記モード選択手段によりデコレーションモードが選択されている場合に、撮影操作を受けて前記撮影手段に複数枚の画像を撮影させるとともに、前記フラッシュに、前記複数枚の画像のうちのいずれか１枚の画像の撮影に同期してフラッシュ光を発光させることにより、フラッシュ光の発光を伴わない１枚以上の外光撮影画像とフラッシュ光の発光を伴った１枚のフラッシュ撮影画像を生成させ、さらに前記画像処理手段に、前記外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるように位置をずらした複数の外光撮影画像を生成させて重ね合わさせるとともに、さらに前記フラッシュ撮影画像を重ね合わさせることにより１枚の画像を生成させるデコレーションモード制御手段とを備えたことを特徴とする撮影装置。
【請求項２】
前記デコレーションモード制御手段は、デコレーションモードにおける撮影指示があった場合に、１枚の外光撮影画像と１枚のフラッシュ撮影画像を生成させ、該１枚の外光撮影画像を、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるようにずらすことにより、複数枚の外光撮影画像を生成させるものであることを特徴とする請求項１記載の撮影装置。
【請求項３】
前記デコレーションモード制御手段は、デコレーションモードにおける撮影指示があった場合に、複数枚の外光撮影画像と１枚のフラッシュ光撮影画像を生成させ、該複数枚の外光撮影画像相互の位置ずれを一旦補正した上で、該複数枚の外光撮影画像を、該複数枚の外光撮影画像それぞれが被写体上の任意の一点が所定の模様上の互いに異なる各点を分担するようにずらすものであることを特徴とする請求項１記載の撮影装置。
【請求項４】
複数枚の撮影画像間の動きベクトルを検出する動きベクトル検出手段を備え、
前記デコレーションモード制御手段は、前記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、前記動きベクトル検出手段に、該複数枚の外光撮影画像間の動きベクトルを検出させ、検出させた動きベクトルに基づいて該複数枚の外光撮影画像の位置ずれを補正するものであることを特徴とする請求項３記載の撮影装置。
【請求項５】
当該撮影装置の動きの角速度を検出する角速度検出手段を備え、
前記デコレーションモード制御手段は、前記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、前記角速度検出手段により検出された、該複数枚の外光撮影画像の撮影時の角速度に基づいて該複数枚の外光撮影画像の位置ずれを補正するものであることを特徴とする請求項３記載の撮影装置。
【請求項６】
撮影画像中の顔の存在を検出する顔検出手段を備え、
前記デコレーションモード制御手段は、前記顔検出手段に撮影指示前のプレ撮影画像における顔の存在を検出させ、該プレ撮影画像中に顔が不存在であったときは、デコレーションモードが選択されている場合であっても、撮影指示が合った場合に、前記撮影手段に１枚の撮影画像を生成させるものであることを特徴とする請求項１から５のうちのいずれか１項記載の撮影装置。
【請求項７】
撮影画像中の点光源の存在を検出する点光源検出手段を備え、
前記デコレーションモード制御手段は、前記点光源検出手段に撮影指示前のプレ撮影画像における点光源の存在を検出させ、該プレ撮影画像中に点光源が不存在であったときは、デコレーションモードが選択されている場合であっても、撮影指示があった場合に前記撮影手段に１枚の撮影画像を生成させるものであることを特徴とする請求項１から５のうちのいずれか１項記載の撮影装置。
【請求項８】
撮影画像中の顔の存在および存在する場合の顔の大きさを検出する顔検出手段を備え、 前記デコレーションモード制御手段は、前記画像処理手段に、前記外光撮影画像に基づいて、前記顔検出手段で検出された顔が大きな寸法の顔であるほど、被写体上の任意の一点が寸法の大きな模様上の各１点となるように位置をずらした複数枚の外光撮影画像を生成させるものであることを特徴とする請求項１から５のうちのいずれか１項記載の撮影装置。
【請求項９】
撮影操作を受けて撮影画像を生成する撮影装置における撮影方法であって、
撮影操作を受けて複数回の撮影を行ない複数枚の撮影画像を生成するとともに、該複数枚の撮影画像のうちのいずれか１枚の撮影画像の撮影に同期してフラッシュ光を発光することにより、フラッシュ光の発光を伴わない１枚以上の外光撮影画像とフラッシュ光の発光を伴った１枚のフラッシュ撮影画像とを生成する撮影ステップと、
前記撮影ステップで得られた外光撮影画像とフラッシュ撮影画像のうちの外光撮影画像に基づいて、被写体上の任意の一点が所定の模様上の互いに異なる一点となるように位置をずらした複数枚の外光撮影画像を生成する画像ずらしステップと、
前記画像ずらしステップで生成された、位置がずれた複数枚の外光撮影画像を重ね合わせるとともに、さらに前記フラッシュ撮影画像を重ね合せることにより１枚の画像を生成する画像重ね合わせステップとを有することを特徴とする撮影方法。
【請求項１０】
前記撮影ステップは、撮影指示を受けて１枚の外光撮影画像と１枚のフラッシュ撮影画像を生成するステップであり、
前記画像ずらしステップは、前記撮影ステップで得られた１枚の外光撮影画像を、被写体上の任意の一点が所定の模様上の互いに異なる各１点となるようにずらすことにより、複数枚の外光撮影画像を生成させるステップであることを特徴とする請求項９記載の撮影方法。
【請求項１１】
前記撮影ステップは、撮影指示を受けて複数枚の外光撮影画像と１枚のフラッシュ光撮影画像を生成するステップであり、
前記画像ずらしステップは、前記撮影ステップで得られた複数枚の外光撮影画像相互の位置ずれを一旦補正した上で、該複数枚の外光撮影画像を、該複数枚の外光撮影画像それぞれが被写体上の任意の一点が所定の模様上の互いに異なる各点を分担するようにずらすステップであることを特徴とする請求項９記載の撮影方法。
【請求項１２】
前記画像ずらしステップは、前記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、該複数枚の外光撮影画像間の動きベクトルを検出し、検出した動きベクトルに基づいて該複数枚の外光撮影画像の位置ずれを補正するステップであることを特徴とする請求項１１記載の撮影方法。
【請求項１３】
前記画像ずらしステップは、前記複数枚の外光撮影画像相互の位置ずれを補正するにあたり、該複数枚の外光撮影画像の撮影時の複数の撮影時刻の間の角速度情報を取得し、該角速度情報に基づいて該複数枚の外光撮影画像の位置ずれを補正するものであることを特徴とする請求項１１記載の撮影方法。
【請求項１４】
撮影指示前のプレ撮影画像における顔の存在を検出する顔検出ステップを有し、前記撮影ステップは、前記プレ撮影画像中に顔が不存在であったときは、撮影指示を受けて１枚の撮影画像を生成するステップであることを特徴とする請求項９から１３のうちのいずれか１項記載の撮影方法。
【請求項１５】
撮影指示前のプレ撮影画像における点光源の存在を検出する点光源検出ステップを有し、前記撮影ステップは、該プレ撮影画像おける点光源が不存在であったときは、撮影指示を受けて１枚の撮影画像を生成するステップであることを特徴とする請求項９から１３のうちのいずれか１項記載の撮影方法。
【請求項１６】
前記撮影ステップで得られた撮影画像中に顔が存在する場合の該顔の大きさを検出する顔寸法検出ステップを有し、
前記画像ずらしステップは、撮影ステップで得られた外光撮影画像に基づいて、前記顔寸法検出ステップで検出された顔が寸法の大きな顔であるほど、被写体上の任意の一点が寸法の大きな模様上の各１点となるように、位置をずらした複数枚の外光撮影画像を生成するステップであることを特徴とする請求項９から１３のうちのいずれか１項記載の撮影方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−４９７０５（Ｐ２００９−４９７０５Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１３８９１（Ｐ２００７−２１３８９１）
【出願日】平成１９年８月２０日（２００７．８．２０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月２０日（２００７．８．２０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]