撮像装置、撮像方法及びプログラム
【課題】夜景と人物とを多重露光で撮影する際の位置合わせを高い成功率で実現する。
【解決手段】画像を撮影する撮影系(11〜13)と、撮影時に発光するフラッシュ部33と、撮影で得た画像を保持するＤＲＡＭ14と、所定のシャッタ速度でフラッシュ部33での発光なしに撮影系(11〜13)で第１の画像を撮影させ、所定のシャッタ速度より高いシャッタ速度でフラッシュ部33での発光なしに撮影系(11〜13)で第２の画像を撮影させ、所定のシャッタ速度より高いシャッタ速度でフラッシュ部33での発光を伴って撮影系(11〜13)で第３の画像を撮影させるＣＰＵ24と、ＤＲＡＭ14が保持する第１及び第２の画像で位置合わせして第１のズレ量を算出し、ＤＲＡＭ14が保持する第２及び第３の画像で位置合わせして第２のズレ量を算出し、算出した第１及び第２のズレ量を用い、ＤＲＡＭ14が保持する第１及び第３の画像で位置合わせして合成画像を取得する画像処理部15とを備える。
【解決手段】画像を撮影する撮影系(11〜13)と、撮影時に発光するフラッシュ部33と、撮影で得た画像を保持するＤＲＡＭ14と、所定のシャッタ速度でフラッシュ部33での発光なしに撮影系(11〜13)で第１の画像を撮影させ、所定のシャッタ速度より高いシャッタ速度でフラッシュ部33での発光なしに撮影系(11〜13)で第２の画像を撮影させ、所定のシャッタ速度より高いシャッタ速度でフラッシュ部33での発光を伴って撮影系(11〜13)で第３の画像を撮影させるＣＰＵ24と、ＤＲＡＭ14が保持する第１及び第２の画像で位置合わせして第１のズレ量を算出し、ＤＲＡＭ14が保持する第２及び第３の画像で位置合わせして第２のズレ量を算出し、算出した第１及び第２のズレ量を用い、ＤＲＡＭ14が保持する第１及び第３の画像で位置合わせして合成画像を取得する画像処理部15とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シーンプログラム機能を有するデジタルカメラ等に好適な撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
一般的なデジタルカメラで、撮影しようとする被写体の構図や光源環境、撮影パターン等を予め特定し、撮影に適した設定を自動的に行なうシーンプログラム機能を有した機種が多数存在している。
【０００３】
この種のシーンプログラム機能で所謂「夜景と人物」モードと呼ばれる設定モードでは、被写界深度を深めに設定し、夜景を背景として、補助光により適切な光量で照明された人物を被写体とした撮影を行なう。
【０００４】
この種の「夜景と人物」モードで、補助光を使用して近景の被写体の画像を撮影した後、補助光を使用せずに複数の画像を連続撮影し、これら複数の画像を特徴点のズレに基づいて補正して合成画像を生成し、その合成画像をさらに上記近景の被写体の画像と合成する、多重露光の技術が考えられている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１１４５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献に記載された技術では、補助光を使用した主として近景の被写体用の画像取得後に、補助光を使用せずに複数の画像を連続撮影し、これら複数の画像を特徴点のズレに基づいて補正して合成画像を生成している。
【０００７】
この合成画像は、結果として長いシャッタ時間で撮影した、全体が「少し暗い」画像となる。一方で、上記連続撮影前に取得した画像は、補助光を使用した近景のみが「非常に明るく」、且つ背景が「非常に暗い」画像となる。
【０００８】
したがって、上記連続撮影から得た合成画像とその前に撮影した画像とでは、背景も近景の人物もそれぞれ輝度が大きく異なるために位置合わせを行なうのが難しいという不具合がある。
【０００９】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、夜景と補助光を使用した近景の人物とを撮影する際、多重露光後に近景部分と背景部分それぞれの位置合わせを高い成功率で実現することが可能な撮像装置、撮像方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
請求項１記載の発明は、被写体の画像を撮影して画像信号を出力する撮影手段と、上記撮影手段での撮影に同期して被写体方向に発光するフラッシュ発光手段と、上記撮影手段が出力する画像信号を保持する保持手段と、所定のシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第１の撮影制御手段と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第２の撮影制御手段と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光を伴って上記撮影手段で撮影させる第３の撮影制御手段と、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ手段と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ手段と、上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段と、上記画像合成手段で得た画像信号を媒体に保存させる保存手段とを具備したことを特徴とする。
【００１１】
請求項２記載の発明は、上記請求項１記載の発明において、適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、上記第１の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により上記撮影手段で撮影させることを特徴とする。
【００１２】
請求項３記載の発明は、上記請求項１記載の発明において、適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、上記第１の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により高いシャッタ速度により上記撮影手段で複数回撮影させることを特徴とする
請求項４記載の発明は、上記請求項３記載の発明において、上記第１の撮影制御手段による撮影で上記保持手段が保持する複数の画像信号中、１つを基準として、残る他の位置合わせを行なう第３の位置合わせ手段をさらに具備し、上記第１の位置合わせ手段は、上記第３の位置合わせ手段で基準とした画像信号と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行なうことを特徴とする。
【００１３】
請求項５記載の発明は、上記請求項４記載の発明において、上記第３の位置合わせ手段は、位置合わせ時に第３のズレ量を算出し、上記第３の位置合わせ手段が算出した第３のズレ量に基づいて上記第１の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、上記画像合成手段は、上記判定手段での判定結果、上記第１の撮影制御手段による撮影が不合格であると判定した場合に、位置合わせによる合成画像の画像信号の取得を停止し、上記保存手段は、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号のみを媒体に保存することを特徴とする。
【００１４】
請求項６記載の発明は、上記請求項４記載の発明において、上記第３の位置合わせ手段は、位置合わせ時に第３のズレ量を算出し、上記第３の位置合わせ手段が算出した第３のズレ量に基づいて上記第１の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、上記画像合成手段は、上記判定手段での判定結果、上記第１の撮影制御手段による撮影が合格であると判定した場合に、上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで、射影変換行列を用いて位置合わせして合成画像の画像信号を取得することを特徴とする。
【００１５】
請求項７記載の発明は、上記請求項１記載の発明において、上記画像合成手段は、上記算出した第１及び第２のズレ量の少なくとも一方が所定のしきい値以下である場合に、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とを位置合わせをせずに合成して画像信号を取得することを特徴とする。
【００１６】
請求項８記載の発明は、上記請求項１記載の発明において、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号に基づき、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号に対するゲイン補正を行なうゲイン補正手段をさらに具備し、上記第１の位置合わせ手段は、上記ゲイン補正後の画像信号と上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出することを特徴とする。
【００１７】
請求項９記載の発明は、上記請求項１記載の発明において、上記第１及び第２の位置合わせ手段の少なくとも一方は、画像中の互いに離間した複数ポイントそれぞれでズレ量を算出し、上記画像合成手段は、上記複数のポイントそれぞれでズレ量がゼロとなるよう少なくとも一方の画像を変形して合成画像の画像信号を取得することを特徴とする。
【００１８】
請求項１０記載の発明は、被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置での撮像方法であって、所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第１の撮影制御工程と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第２の撮影制御工程と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第３の撮影制御工程と、上記第１の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第２の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ工程と、上記第２の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ工程と、上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成工程とを有したことを特徴とする。
【００１９】
請求項１１記載の発明は、被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第１の撮影制御手段、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第２の撮影制御手段、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第３の撮影制御手段、上記第１の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第２の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ手段、上記第２の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ手段、及び上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段として機能させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、夜景と補助光を使用した近景の人物とを撮影する際、多重露光後に近景部分と背景部分それぞれの位置合わせを高い成功率で実現することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係るデジタルカメラの機能回路の概略構成を示すブロック図。
【図２】同実施形態に係るシーンプログラム「夜景と人物」モード設定の処理内容を示すフローチャート。
【図３】同実施形態に係る図２の「夜景と人物」モードサブルーチンの処理内容を示すフローチャート。
【図４】同実施形態に係る図３のフラッシュ画像位置合わせサブルーチンの処理内容を示すフローチャート。
【図５】同実施形態に係る連続撮影シーケンスを示す図。
【発明を実施するための形態】
【００２２】
以下、本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
【００２３】
図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図では、カメラ筐体の前面に配設される光学レンズユニット１１を介して、例えばＣＭＯＳイメージセンサ１２の撮像面上に被写体の光像を入射して結像させる。
【００２４】
スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、このＣＭＯＳイメージセンサ１２での撮像により得た画像信号をＡＧＣ・Ａ／Ｄ変換部１３に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。このデジタル値の画像データはシステムバスＳＢを介してバッファメモリであるＤＲＡＭ１４に保持される。
【００２５】
このＤＲＡＭ１４に保持された画像データに対して、画像処理部１５が適宜必要な画像処理を施す。画像処理部１５は、デモザイク部１５ａ、特徴量演算部１５ｂ、ブロックマッチング部１５ｃ、及び画像変形合成加算部１５ｄを備える。また、画像処理部１５には、主として上記ブロックマッチング部１５ｃによるブロック単位での画像マッチング処理で使用するためのＳＲＡＭ１６が接続される。
【００２６】
画像処理部１５では、ＣＭＯＳイメージセンサ１２に備えられるベイヤー配列のカラーフィルタの構成に応じた画像データ（以下「ＲＡＷ（生）データ」と称する）に対してマトリックス演算、画素補間処理、ガンマ補正処理等をデモザイク処理することで、デジタル現像処理を施して輝度色差系（ＹＵＶ）の画像データに変換する。
【００２７】
画像処理部１５は、その画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成し、システムバスＳＢを介して表示コントローラ１７へ送る。表示コントローラ１７は、送られてきた画像データに基づいて表示部１８を駆動し、スルー画像を表示させる。
【００２８】
表示部１８は、例えばバックライト付きのカラー液晶パネルで構成される。この表示部１８の上部に一体にして透明導電膜を用いたタッチパネル１９が構成される。このタッチパネル１９でユーザが手指等で表面をタッチ操作すると、タッチパネルコントローラ２０が操作座標の位置を算出し、算出した座標信号を上記システムバスＳＢを介して後述するＣＰＵ２４に送出する。
【００２９】
また、上記光学レンズユニット１１と同じくカメラ筐体前面には、マイクロホン２１が配設され、被写体方向の音声が入力される。マイクロホン２１は入力した音声を電気信号化し、音声処理部２２へ出力する。
【００３０】
音声処理部２２は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン２１から入力する音声信号をデジタルデータ化する。さらに音声処理部２２は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。
【００３１】
加えて音声処理部２２は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ２３を駆動して、拡声放音させる。
【００３２】
以上の回路をＣＰＵ２４が統括して制御する。このＣＰＵ２４は、メインメモリ２５、プログラムメモリ２６と直接接続される。メインメモリ２５は、例えばＳＲＡＭで構成され、ワークメモリとして機能する。プログラムメモリ２６は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述するシーンプログラムの「夜景と人物」モードでの制御を含む動作プログラムやデータ等を固定的に記憶する。
【００３３】
ＣＰＵ２４はプログラムメモリ２６から必要なプログラムやデータ等を読出し、メインメモリ２５に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。
【００３４】
さらに上記ＣＰＵ２４は、キー操作部２７から直接入力される各種キー操作信号、及び上記タッチパネルコントローラ２０から入力されるタッチパネル１９でのタッチ操作に応じた座標信号に対応して制御動作を実行する。
【００３５】
キー操作部２７は、例えば電源キー、シャッタレリーズキー、ズームアップ／ダウンキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、解除キー、ディスプレイキー等を備える。
【００３６】
ＣＰＵ２４は、システムバスＳＢを介して上記ＡＧＣ・Ａ／Ｄ変換部１３、ＤＲＡＭ１４、画像処理部１５、表示コントローラ１７、タッチパネルコントローラ２０、及び音声処理部２２の他、さらにレンズ駆動部２８、フラッシュ駆動部２９、イメージセンサ（ＩＳ）駆動部３０、及びメモリカードコントローラ３１と接続される。
【００３７】
レンズ駆動部２８は、ＣＰＵ２４からの制御信号を受けてレンズ用ＤＣモータ（Ｍ）３２の回転を制御し、上記光学レンズユニット１１を構成する複数のレンズ群中の一部、具体的にはズームレンズ及びフォーカスレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。
【００３８】
フラッシュ駆動部２９は、静止画像撮影時にＣＰＵ２４からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部３３を撮影タイミングに同期して点灯駆動する。
【００３９】
イメージセンサ駆動部３０は、その時点で設定されている撮影条件等に応じて上記ＣＭＯＳイメージセンサ１２の走査駆動を行なう。
【００４０】
上記画像処理部１５は、上記キー操作部２７のシャッタレリーズキー操作に伴う画像撮影時に、ＡＧＣ・Ａ／Ｄ変換部１３から送られてきてＤＲＡＭ１４に保持される画像データをデモザイク処理し、さらに所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ３１を介してメモリカード３４に記録される。
【００４１】
また画像処理部１５は、再生モード時にメモリカード３４からメモリカードコントローラ３１を介して読出されてくる画像データをシステムバスＳＢを介して受取り、ＤＲＡＭ１４に保持させた上で、このＤＲＡＭ１４に保持させた画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスＳＢを介して表示コントローラ１７に出力し、表示部１８で表示させる。
メモリカードコントローラ３１は、カードコネクタ３５を介してメモリカード３４と接続される。メモリカード３４は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリであり、内部には不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。
【００４２】
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、撮影モード下でシーンプログラムの中の１つ、「夜景と人物」モードを設定した後、当該モードでの撮影を実行する際、ＣＰＵ２４がプログラムメモリ２６に記憶されている動作プログラムやデータを読出してメインメモリ２５に展開して記憶させた上で実行するものである。
【００４３】
プログラムメモリ２６に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２６に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０をパーソナルコンピュータと接続することにより外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。
【００４４】
図２は、電源投入後に撮影モードでシーンプログラムの複数あるモードの中から「夜景と人物」モードを選択して設定する際の処理内容を示す。電源投入後にＣＰＵ２４は、初期化として前回電源が切断された際に記憶した各種設定状態の情報をプログラムメモリ２６から読出して設定を行なう（ステップＭ１０１）。
【００４５】
その後、キー操作部２７のメニューキーが操作されたか否かを判断する（ステップＭ１０２）。ここでメニューキーが操作されていないと判断した場合には、メニュー項目が既に表示されているか否かを判断する（ステップＭ１１１）。ここでメニュー項目が表示されていないと判断した場合には、その他の処理を実行した後（ステップＭ１０３）、再び上記ステップＭ１０２に戻る。
【００４６】
こうしてその他の処理を実行しながら、メニューキーが操作されるのを待機する。
【００４７】
また、キー操作部２７のメニューキーが操作された場合、上記ステップＭ１０２でそれを判断し、次に各種のメニュー項目を表示部１８で一覧表示させた上で（ステップＭ１０４）、それらメニュー項目の中からシーンプログラムが選択されたか否かを判断する（ステップＭ１０５）。
【００４８】
ここでシーンプログラム以外のメニュー項目が選択されたと判断した場合には、その操作に対応したその他の処理を実行する（ステップＭ１０３）。
【００４９】
また、メニュー項目としてシーンプログラムが選択された場合、上記ステップＳ１０５でそれを判断し、次にシーンプログラムを構成する複数のシーンプログラムモードを表示部１８で一覧表示させた上で（ステップＭ１０６）、それらモードの中から「夜景と人物」モードが選択されたか否かを判断する（ステップＭ１０７）。
【００５０】
ここで「夜景と人物」モード以外のシーンプログラムモードが選択された場合には、そのモードに応じた処理動作を行なうが（ステップＭ１０９）、本実施形態ではその詳細についての説明は省略する。
【００５１】
また、上記ステップＭ１０７で「夜景と人物」モードが選択されたと判断した場合には、その操作に応じて「夜景と人物」モードでの処理動作を行なう（ステップＭ１０８）。その後、シーンプログラムモードが解除されたか否かを判断する（ステップＭ１１０）。
【００５２】
ここでシーンプログラムモードが解除されていると判断した場合には、上記ステップＭ１０２に戻る。また、シーンプログラムモードが解除されていないと判断した場合には、上記ステップＭ１０７に戻る。
【００５３】
図３は、上記ステップＭ１０８の「夜景と人物」モード処理のより詳細な内容を示すサブルーチンである。
【００５４】
なお、以下の動作において、キー操作部２７の一部を構成するシャッタレリーズキーは２段階の操作ストロークを有し、全ストロークの半分程度に相当する第１の操作ストローク、所謂「半押し」操作によりその時点でのＡＥ（自動露出）値及びＡＦ（自動合焦）位置（光学レンズユニット１１内のフォーカスレンズの位置）をロックし、さらなる全ストロークに相当する第２の操作ストローク、所謂「全押し」操作により静止画像の撮影を実行するものとする。
【００５５】
その動作当初にＣＰＵ２４は、ＡＥ処理及びＡＦ処理を実行して適切な露出値及び合焦位置を取得する。取得した露出値から所定のスルー画像のフレームレート、例えば３０［フレーム／秒］に合ったシャッタ速度と絞り値を設定すると共に、光学レンズユニット１１のフォーカスレンズ位置を制御する（ステップＳ１０１）。
【００５６】
この状態でＣＰＵ２４は、ＣＭＯＳイメージセンサ１２から順次得られる画像信号をＡＧＣ・Ａ／Ｄ変換部１３でデジタル化させ、ＤＲＡＭ１４に保持させた上で画像処理部１５のデモザイク部１５ａによりデモザイク処理を施して原色（ＲＧＢ）系の画像データに変換させる。
【００５７】
ＣＰＵ２４は、変換した画像データから画素数及び階調ビットを大幅に減じた画像データを作成し、システムバスＳＢを介して表示コントローラ１７へ送って表示部１８でスルー画像を表示させる（ステップＳ１０２）。
【００５８】
このスルー画像を表示した状態で、ＣＰＵ２４はキー操作部２７の一部を構成するシャッタレリーズキーが半押し操作されたか否かを判断する（ステップＳ１０３）。ここでシャッタレリーズキーが半押し操作されていないと判断した場合は、上記図２の処理に戻る。
【００５９】
「夜景と人物」モードが選択されている最中は、上記ステップＳ１０１〜Ｓ１０３の処理を繰返し実行し、スルー画像を表示部１８で表示しながら、シャッタレリーズキーが半押し操作されるのを待機する。
【００６０】
スルー画像の表示状態からシャッタレリーズキーが半押し操作された場合、上記ステップＳ１０３でそれを判断するとＣＰＵ２４は、その時点でのＡＥ値及びＡＦ位置をロックする（ステップＳ１０４）。
【００６１】
その上でＣＰＵ２４は、ＣＭＯＳイメージセンサ１２から順次得られる画像信号に基づいて表示部１８でスルー画像を表示させる（ステップＳ１０５）。
【００６２】
このスルー画像を表示した状態で、ＣＰＵ２４はキー操作部２７の一部を構成するシャッタレリーズキーがさらに全押し操作されたか否かを判断する（ステップＳ１０６）。ここでシャッタレリーズキーが全押し操作されていないと判断した場合は、続けて同シャッタレリーズキーが依然として半押し操作されたままであるか否かを判断する（ステップＳ１０７）。
【００６３】
シャッタレリーズキーが半押し操作されたままであることを確認した場合、再び上記ステップＳ１０５に戻る。
こうしてステップＳ１０５〜Ｓ１０７の処理を繰返し実行することで、ＡＥ値及びＡＦ位置をロックした状態から、スルー画像を表示しながら、シャッタキーの全押し操作の待機と半押し操作の確認とを続行する。
【００６４】
シャッタレリーズキーの半押し操作が解除された場合、ＣＰＵ２４は上記ステップＳ１０７でそれを判断し、それまでロックしていたＡＥ値及びＡＦ位置を解除した後（ステップＳ１０８）、上記図２の処理に戻る。
【００６５】
また、上記ステップＳ１０６でシャッタキーが全押し操作されたと判断した場合、ＣＰＵ２４はその時点でロックされているＡＥ値に基づき、非フラッシュ撮影での適正露出から２段（２ＥＶ）高いシャッタ速度、例えば適正なシャッタ速度が「１／１５［秒］」であれば「１／６０［秒］」、を設定した上で複数枚、例えば６枚の静止画像を連続して撮影する（ステップＳ１０９）。
このときの撮影により得られる静止画像はいずれも当然ながら適正な露出値から「−２ＥＶ」の露出が不足した画像となるが、絞り値ではなくシャッタ速度をより高速化することで対応しているため、個々の静止画像については「手ブレ」「像ブレ」が発生しにくい撮影となる。
【００６６】
また、所謂「ローリングシャッタ」撮影と呼称される技術により、ＣＭＯＳイメージセンサ１２の垂直転送路の読出しタイミングを制御し、連続する画像の電荷読出しを複数位置で一部同時に行なうことにより、時間的に隣り合う連続した静止画像の電荷読出しのタイミングを一部重複させることで、複数画像の連写撮影をより短時間に完了する。
【００６７】
続いて最終的な合成・保存には使用しない、非フラッシュ撮影でのダミーの静止画像を１枚撮影する（ステップＳ１１０）。さらに続けて、近景に存在する筈の人物を撮影するべく、上記ダミー画像から連続してフラッシュ部３３を発光させた上での静止画像を１枚撮影する（ステップＳ１１１）。
【００６８】
図５は、上記６枚の非フラッシュによる静止画像の撮影と、続くダミー用の非フラッシュによる静止画像の撮影、及びフラッシュを用いた静止画像の撮影の動作シーケンスを示す。同図で縦軸が撮像素子であるＣＭＯＳイメージセンサ１２の垂直方向の撮影位置、横軸が時間となる。
【００６９】
図示する如く６枚の非フラッシュによる静止画像の撮影では、上述したように適正露出に対して「−２ＥＶ」の露出不足の状態としており、非フラッシュであるがためにどうしても低い（長い）シャッタ速度となる。
【００７０】
その後のダミーの非フラッシュによる撮影では、フラッシュ撮影と同一の充分速いシャッタ速度ｔ１、例えば「１／１２５［秒］」とする。
【００７１】
さらに続くフラッシュ部３３による発光を伴って充分速いシャッタ速度ｔ１、例えば「１／１２５［秒］」で撮影を行なう。
【００７２】
以上合計、８枚の連続した静止画像のＲＡＷデータをＤＲＡＭ１４に保持した状態で、全画像のホワイトバランス（ＷＢ）値を特徴量演算部１５ｂにより計測する（ステップＳ１１２）。
【００７３】
次いで、ＤＲＡＭ１４に保持する全８枚分の連続した静止画像のＲＡＷデータをデモザイク部１５ａによりデモザイク処理して輝度色差系のＹＵＶデータに変換する（ステップＳ１１３）。
【００７４】
次に、非フラッシュ撮影で得た６枚の静止画像間の位置合わせを行なうべく、ブロックマッチング部１５ｃがＳＲＡＭ１６を用いて、例えばＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）による射影変換行列を併用した演算を実行する（ステップＳ１１４）。
【００７５】
この場合、連続して撮影した６枚の静止画像の中で時間的に中央に位置するもの、すなわち３枚目の静止画像と４枚目の静止画像を候補とし、且つ後にフラッシュ撮影を行なった静止画像と時間的により近いものとして４枚目の静止画像を選択する。そして、この４枚目の静止画像を基準として、１，２，３，５，６枚目の各静止画像と基準となる４枚目の静止画像との間で射影変換行列を演算する。
【００７６】
この射影変換行列の演算により、１，２，３，５，６枚目の各静止画像と、基準となる４枚目の静止画像との間のズレ量、すなわちズレの大きさと方向を示す行列を特徴量として算出する。
【００７７】
上記演算の結果により、１，２，３，５，６枚目の各静止画像と、基準となる４枚目の静止画像との間で、いずれも算出したズレ量の大きさが予め設定したしきい値以下であるか否かにより、非フラッシュ画像群の位置合わせが成功したか否かを判断する（ステップＳ１１５）。
【００７８】
ここで１，２，３，５，６枚目の各静止画像と、基準となる４枚目の静止画像との間で、いずれも算出したズレ量の大きさが予め設定したしきい値以下であり、非フラッシュ画像群の位置合わせが成功したと判断した場合には、上記６枚の非フラッシュ撮影中の基準となる４枚目の静止画像と１枚のフラッシュ撮影による画像との位置合わせを行なう（ステップＳ１１６）。
【００７９】
図４は、上記ステップＳ１１６の位置合わせ処理のより詳細な内容を示すサブルーチンである。そのはじめに、上記８枚目に撮影したフラッシュ部３３を用いた静止画像と、７枚目に撮影した非フラッシュの静止画像とでブロックマッチング部１５ｃによるブロックマッチング処理及びＲＡＮＳＡＣによる射影変換行列を併用した演算で位置合わせを行ない、両静止画像のズレ量を表す射影変換行列Ａを求める（ステップＳ３０１）。
【００８０】
ここで上記８枚目に撮影したフラッシュ部３３を用いた静止画像では、シャッタ速度が高く、且つフラッシュを用いているために近景に存在する被写体（人物）が明るく写っている筈であるため、画像中の一部被写体が明るく、且つ背景が非常に暗い画像となる。
【００８１】
一方の非フラッシュによるダミー画像は、シャッタ速度が高く、且つフラッシュを用いていないために近景及び背景が全面にわたって非常に暗い画像となる。
【００８２】
したがって、これら２つの静止画像では、シャッタ速度が同一であるからことも、背景の輝度などが略等しいために射影変換行列Ａを比較的容易、且つ確実に算出できる。
【００８３】
次に、７枚目に撮影した非フラッシュの静止画像と、上記６枚連続で撮影した非フラッシュの静止画像中の、基準となる４枚目の静止画像とで、露出を合わせるためのゲイン補正する（ステップＳ３０２）。
【００８４】
ここで上記７枚目の非フラッシュによるダミー画像は、シャッタ速度が高く、且つフラッシュを用いていないために近景及び背景が全面にわたって非常に暗い画像となる。
【００８５】
一方で、上記４枚目に撮影した非フラッシュの静止画像は、シャッタ速度が低く、且つフラッシュを用いていないために近景及び背景が全体にやや暗い画像となる。
【００８６】
これら２つの静止画像では、共に非フラッシュの撮影であり、シャッタ速度の違いにより輝度値が異なるだけで輝度の変化パターンは同一であるため、一方を基準としてシャッタ速度の比に応じたゲインを算出し、算出したゲインを他方の輝度値に乗ずることで、原理的には同一の輝度の静止画像となる。
【００８７】
こうして一方をゲイン補正した、７枚目に撮影した非フラッシュの静止画像と、上記６枚連続で撮影した非フラッシュの静止画像中の、基準となる４枚目の静止画像とでブロックマッチング部１５ｃによるブロックマッチング処理及びＲＡＮＳＡＣによる射影変換行列を併用した演算で位置合わせを行ない、両静止画像のズレ量を表す射影変換行列Ｂを求める（ステップＳ３０３）。
【００８８】
その後、上記ステップＳ３０１，Ｓ３０３で射影変換行列Ａ，Ｂを共に求めることができたか否かを判断する（ステップＳ３０４）。
ここで２つの射影変換行列Ａ，Ｂを共に求めることができたと判断した場合にのみ、上記８枚目に撮影したフラッシュ部３３を用いた静止画像を、上記６枚連続で撮影した非フラッシュの静止画像中の、基準となる４枚目の静止画像に対して上記射影変換行列Ａ，Ｂを用いて複数の特徴となるポイントを基準に位置合わせする（ステップＳ３０５）。なおここでは、フラッシュ撮影による画像を変形して位置合わせしたが、非フラッシュの４枚目の静止画像を変形して位置合わせするようにしても良い。ただしその場合には、上記ステップＳ１１４で求めた特徴量（ズレ量）を修正する必要がある。
【００８９】
その後、フラッシュ撮影による静止画像と非フラッシュ撮影による４枚目の静止画像とを合成し（ステップＳ３０６）、以上でこの図４のサブルーチンを終了して、上記図３の処理に戻る。
【００９０】
この場合、射影変換行列の積「Ａ＊Ｂ」に基づき、一方の静止画像の背景部分を画像変形合成加算部１５ｄで座標変換した後に位置合わせを行なうことで、非フラッシュで撮影したダミーの静止画像を挟んだ前後の時間差によるズレ量を補正して、近景の人物と背景とを正しく合成できる。
【００９１】
また、上記ステップＳ３０４で２つの射影変換行列Ａ，Ｂの少なくとも一方を求めることができなかったと判断した場合には、上記ステップＳ３０５の処理を行なわずに合成し、この図４のサブルーチンを終了して、上記図３の処理に戻る。
【００９２】
図３においては、上記ステップＳ１１６でのフラッシュ撮影による画像の位置合わせの処理後、その合成画像に対し、さらに上記６枚連続で撮影した非フラッシュの静止画像中、基準となる４枚目の静止画像を除いた残る１，２，３，５，６枚目の計５枚の静止画像についても上記ステップＳ１１４で算出した特徴量（ズレ量）に基づいて位置合わせを行ない、画像を合成する（ステップＳ１１７）。
【００９３】
この場合、特に非フラッシュの計５枚の静止画像による合成に関し、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成技術を用いて、特に背景部分のダイナミックレンジを拡大して、特に「黒ツブレ」が生じている部分を減少させる。
【００９４】
その後、合成後の静止画像を最終画像とし、例えばＪＰＥＧフォーマットに従ったデータ圧縮を施してデータファイル化した後、得た画像データファイルを本デジタルカメラ１０の記録媒体であるメモリカード３４に保存し（ステップＳ１１８）、以上で一連の処理を終了して、上記図２の処理に戻る。
【００９５】
また、上記ステップＳ１１５で非フラッシュ撮影による１，２，３，５，６枚目の各静止画像と、基準となる４枚目の静止画像との間で、いずれも算出したズレ量の大きさが予め設定したしきい値より大きく、非フラッシュ画像群の位置合わせが失敗したと判断した場合には、画像の暗部が大きく、位置合わせが困難であった場合や、手ブレあるいは像ブレにより画像合成を行なうと観賞に耐えない画像となってしまう可能性が高い画像であるものとして、８枚目のフラッシュ部３３を用いた静止画像の画像データのみを単体で最終画像として設定する（ステップＳ１１９）。
【００９６】
そして、上記ステップＳ１１８に進み、例えばＪＰＥＧフォーマットに従ったデータ圧縮を施してデータファイル化した後、得た画像データファイルを本デジタルカメラ１０の記録媒体であるメモリカード３４に保存し、以上で一連の処理を終了して、上記図２の処理に戻る。
【００９７】
以上詳記した如く本実施形態によれば、夜景と近景の人物とを撮影する際、フラッシュ部３３を使用しない撮影と、フラッシュ部３３を使用する撮影との間に、フラッシュを使用しないダミーの撮影を挟んで実行し、各画像と中間に位置する親和性の高いダミーの画像とのズレ量を射影変換行列で求めた後、求めた射影変換行列に基づいてフラッシュ部３３を使用しない撮影で得た背景と、フラッシュ部３３を使用する撮影で得た近景の人物の画像を合成するものとしたので、近景部分と背景部分それぞれの位置合わせを高い成功率で実現することが可能となる。
【００９８】
なお上記実施形態では、上記図５でも示したように非フラッシュ撮影による画像を連続して複数、例えば６枚分取得するものとして説明したが、本発明はこれに限らず、適正な露出、具体的には絞り値を開放としてできる限りシャッタ速度を高速化した設定で非フラッシュの撮影により１枚分の静止画像を取得し、その後にダミー用の非フラッシュ撮影に移行するものとしても良い。
【００９９】
この場合、一連の動作を最少３回の画像撮影で完了できるため、画像処理部１５での演算量を減じて負担を軽減し、且つ時間を含めて動作をコンパクトにできる。
【０１００】
これとは逆に本実施形態で説明した如く、非フラッシュ撮影による画像を適正露出より高いシャッタ速度で連続して複数に分けて取得する場合には、非フラッシュ撮影時に手ブレ、像ブレが発生する可能性を低減し、画像合成の成功率を上げることができると共に、ＨＤＲ合成技術を用いて背景部分の画像のダイナミックレンジを上げることができる。
【０１０１】
また上記実施形態の如く、非フラッシュ撮影による画像を適正露出より高いシャッタ速度で連続して複数に分けて取得する場合に、そのうちの１つの画像を基準とし、同様の他の画像との位置合わせ、及びダミー用の非フラッシュ撮影の画像との位置合わせを行なうものとしたので、処理を簡略化して位置合わせの可否を容易に判断できる。
【０１０２】
さらに上記実施形態では、非フラッシュ撮影による連続した複数画像の位置合わせを失敗したと判断した場合に、これら合成を失敗したと判断した一連の非フラッシュ画像を使用せず、フラッシュ部３３を用いて撮影した画像のみを保存するものとしたため、画像の暗部が大きく、位置合わせが困難であった場合や、手ブレあるいは像ブレにより画像合成を行なうと観賞に耐えない画像となってしまう可能性が高い画像に対してはあえて画像合成を行なわず、フラッシュ部３３を用いて近景に人物が写っていると思われる静止画像のみを確実に記録できる。
【０１０３】
また上記実施形態では、非フラッシュ撮影による連続した複数画像の位置合わせを成功したと判断した場合に、例えばＲＡＮＳＡＣによる射影変換行列を用いた位置合わせで最終的な合成画像を得るものとしたので、安定した高い成功率での位置合わせが可能となる。
【０１０４】
さらに上記実施形態では示さなかったが、合成を行なおうとする複数の画像間でのズレ量が無いか、あるいはあったとしても所定のしきい値より低い場合には、画像に対する変形を行なわないで合成するものとしても良く、画像処理部１５での負担を軽減して処理を単純化できる。
【０１０５】
また上記実施形態において、非フラッシュ撮影により得た画像と、ダミー用の非フラッシュ撮影による画像とで一方の画像にゲイン補正を施して輝度値レベルを揃えた上で他方の画像と位置合わせを行なうものとしたので、位置合わせ時の演算精度を上げてより精緻な位置合わせが実現できる。
【０１０６】
さらに本実施形態では、非フラッシュ撮影により得た画像と、フラッシュ撮影により得た画像とで位置合わせを行なう際、複数の特徴点となるポイントに基づいて画像を変形した上で合成するものとした。これにより、異なるタイミングで取得した画像の合成に際し、位置の変化等を勘案してより正確で自然な画像を合成して取得することができる。
【０１０７】
なお上記実施形態では、非フラッシュ撮影で６枚分の画像を取得した後にダミー用の非フラッシュ撮影で画像を取得し、その後にフラッシュ撮影で画像を取得する場合について説明したが、ダミー用の非フラッシュ撮影で画像を取得する場合を挟んで、前後の画像取得の順序を入れ換えるものとしても良い。
【０１０８】
しかしながら、人物の撮影に際しては、フラッシュ撮影を終えた直後に被写体となった人物が動いてしまう事態が多いものと考えられるので、フラッシュ撮影前に位置合わせ用の非フラッシュ撮影の画像を取得してしまうような、本実施形態の順序の方が、位置合わせを成功する確率が高まるものと考えられる。この場合、まずダミー用の非フラッシュ撮影で画像を取得し、その後に非フラッシュ撮影で６枚分の画像を取得しても良い。
【０１０９】
また本発明はデジタルカメラに適用した場合の実施形態について説明したものであるが、本発明はこれに限らず、フラッシュを伴う撮影が可能なカメラ機能を有する電子機器であれば、携帯電話端末やモバイルタイプのパーソナルコンピュータ、電子ブック端末やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け情報携帯端末）等であっても同様に実施が可能となる。
【０１１０】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【０１１１】
１０…デジタルカメラ、１１…光学レンズユニット、１２…ＣＭＯＳイメージセンサ、１３…ＡＧＣ・Ａ／Ｄ変換部、１４…ＤＲＡＭ、１５…画像処理部、１６…ＳＲＡＭ、１７…表示コントローラ、１８…表示部、１９…タッチパネル、２０…タッチパネルコントローラ、２１…マイクロホン、２２…音声処理部、２３…スピーカ、２４…ＣＰＵ、２５…メインメモリ、２６…プログラムメモリ、２７…キー操作部、２８…レンズ駆動部、２９…フラッシュ駆動部、３０…イメージセンサ（ＩＳ）駆動部、３１…メモリカードコントローラ、３２…レンズ用ＤＣモータ（Ｍ）、３３…フラッシュ部、３４…メモリカード、３５…カードコネクタ、ＳＢ…システムバス。
【技術分野】
【０００１】
本発明は、シーンプログラム機能を有するデジタルカメラ等に好適な撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
一般的なデジタルカメラで、撮影しようとする被写体の構図や光源環境、撮影パターン等を予め特定し、撮影に適した設定を自動的に行なうシーンプログラム機能を有した機種が多数存在している。
【０００３】
この種のシーンプログラム機能で所謂「夜景と人物」モードと呼ばれる設定モードでは、被写界深度を深めに設定し、夜景を背景として、補助光により適切な光量で照明された人物を被写体とした撮影を行なう。
【０００４】
この種の「夜景と人物」モードで、補助光を使用して近景の被写体の画像を撮影した後、補助光を使用せずに複数の画像を連続撮影し、これら複数の画像を特徴点のズレに基づいて補正して合成画像を生成し、その合成画像をさらに上記近景の被写体の画像と合成する、多重露光の技術が考えられている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１１４５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献に記載された技術では、補助光を使用した主として近景の被写体用の画像取得後に、補助光を使用せずに複数の画像を連続撮影し、これら複数の画像を特徴点のズレに基づいて補正して合成画像を生成している。
【０００７】
この合成画像は、結果として長いシャッタ時間で撮影した、全体が「少し暗い」画像となる。一方で、上記連続撮影前に取得した画像は、補助光を使用した近景のみが「非常に明るく」、且つ背景が「非常に暗い」画像となる。
【０００８】
したがって、上記連続撮影から得た合成画像とその前に撮影した画像とでは、背景も近景の人物もそれぞれ輝度が大きく異なるために位置合わせを行なうのが難しいという不具合がある。
【０００９】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、夜景と補助光を使用した近景の人物とを撮影する際、多重露光後に近景部分と背景部分それぞれの位置合わせを高い成功率で実現することが可能な撮像装置、撮像方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
請求項１記載の発明は、被写体の画像を撮影して画像信号を出力する撮影手段と、上記撮影手段での撮影に同期して被写体方向に発光するフラッシュ発光手段と、上記撮影手段が出力する画像信号を保持する保持手段と、所定のシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第１の撮影制御手段と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第２の撮影制御手段と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光を伴って上記撮影手段で撮影させる第３の撮影制御手段と、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ手段と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ手段と、上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段と、上記画像合成手段で得た画像信号を媒体に保存させる保存手段とを具備したことを特徴とする。
【００１１】
請求項２記載の発明は、上記請求項１記載の発明において、適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、上記第１の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により上記撮影手段で撮影させることを特徴とする。
【００１２】
請求項３記載の発明は、上記請求項１記載の発明において、適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、上記第１の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により高いシャッタ速度により上記撮影手段で複数回撮影させることを特徴とする
請求項４記載の発明は、上記請求項３記載の発明において、上記第１の撮影制御手段による撮影で上記保持手段が保持する複数の画像信号中、１つを基準として、残る他の位置合わせを行なう第３の位置合わせ手段をさらに具備し、上記第１の位置合わせ手段は、上記第３の位置合わせ手段で基準とした画像信号と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行なうことを特徴とする。
【００１３】
請求項５記載の発明は、上記請求項４記載の発明において、上記第３の位置合わせ手段は、位置合わせ時に第３のズレ量を算出し、上記第３の位置合わせ手段が算出した第３のズレ量に基づいて上記第１の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、上記画像合成手段は、上記判定手段での判定結果、上記第１の撮影制御手段による撮影が不合格であると判定した場合に、位置合わせによる合成画像の画像信号の取得を停止し、上記保存手段は、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号のみを媒体に保存することを特徴とする。
【００１４】
請求項６記載の発明は、上記請求項４記載の発明において、上記第３の位置合わせ手段は、位置合わせ時に第３のズレ量を算出し、上記第３の位置合わせ手段が算出した第３のズレ量に基づいて上記第１の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、上記画像合成手段は、上記判定手段での判定結果、上記第１の撮影制御手段による撮影が合格であると判定した場合に、上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで、射影変換行列を用いて位置合わせして合成画像の画像信号を取得することを特徴とする。
【００１５】
請求項７記載の発明は、上記請求項１記載の発明において、上記画像合成手段は、上記算出した第１及び第２のズレ量の少なくとも一方が所定のしきい値以下である場合に、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とを位置合わせをせずに合成して画像信号を取得することを特徴とする。
【００１６】
請求項８記載の発明は、上記請求項１記載の発明において、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号に基づき、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号に対するゲイン補正を行なうゲイン補正手段をさらに具備し、上記第１の位置合わせ手段は、上記ゲイン補正後の画像信号と上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出することを特徴とする。
【００１７】
請求項９記載の発明は、上記請求項１記載の発明において、上記第１及び第２の位置合わせ手段の少なくとも一方は、画像中の互いに離間した複数ポイントそれぞれでズレ量を算出し、上記画像合成手段は、上記複数のポイントそれぞれでズレ量がゼロとなるよう少なくとも一方の画像を変形して合成画像の画像信号を取得することを特徴とする。
【００１８】
請求項１０記載の発明は、被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置での撮像方法であって、所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第１の撮影制御工程と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第２の撮影制御工程と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第３の撮影制御工程と、上記第１の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第２の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ工程と、上記第２の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ工程と、上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成工程とを有したことを特徴とする。
【００１９】
請求項１１記載の発明は、被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第１の撮影制御手段、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第２の撮影制御手段、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第３の撮影制御手段、上記第１の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第２の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ手段、上記第２の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ手段、及び上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段として機能させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、夜景と補助光を使用した近景の人物とを撮影する際、多重露光後に近景部分と背景部分それぞれの位置合わせを高い成功率で実現することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係るデジタルカメラの機能回路の概略構成を示すブロック図。
【図２】同実施形態に係るシーンプログラム「夜景と人物」モード設定の処理内容を示すフローチャート。
【図３】同実施形態に係る図２の「夜景と人物」モードサブルーチンの処理内容を示すフローチャート。
【図４】同実施形態に係る図３のフラッシュ画像位置合わせサブルーチンの処理内容を示すフローチャート。
【図５】同実施形態に係る連続撮影シーケンスを示す図。
【発明を実施するための形態】
【００２２】
以下、本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
【００２３】
図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図では、カメラ筐体の前面に配設される光学レンズユニット１１を介して、例えばＣＭＯＳイメージセンサ１２の撮像面上に被写体の光像を入射して結像させる。
【００２４】
スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、このＣＭＯＳイメージセンサ１２での撮像により得た画像信号をＡＧＣ・Ａ／Ｄ変換部１３に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。このデジタル値の画像データはシステムバスＳＢを介してバッファメモリであるＤＲＡＭ１４に保持される。
【００２５】
このＤＲＡＭ１４に保持された画像データに対して、画像処理部１５が適宜必要な画像処理を施す。画像処理部１５は、デモザイク部１５ａ、特徴量演算部１５ｂ、ブロックマッチング部１５ｃ、及び画像変形合成加算部１５ｄを備える。また、画像処理部１５には、主として上記ブロックマッチング部１５ｃによるブロック単位での画像マッチング処理で使用するためのＳＲＡＭ１６が接続される。
【００２６】
画像処理部１５では、ＣＭＯＳイメージセンサ１２に備えられるベイヤー配列のカラーフィルタの構成に応じた画像データ（以下「ＲＡＷ（生）データ」と称する）に対してマトリックス演算、画素補間処理、ガンマ補正処理等をデモザイク処理することで、デジタル現像処理を施して輝度色差系（ＹＵＶ）の画像データに変換する。
【００２７】
画像処理部１５は、その画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成し、システムバスＳＢを介して表示コントローラ１７へ送る。表示コントローラ１７は、送られてきた画像データに基づいて表示部１８を駆動し、スルー画像を表示させる。
【００２８】
表示部１８は、例えばバックライト付きのカラー液晶パネルで構成される。この表示部１８の上部に一体にして透明導電膜を用いたタッチパネル１９が構成される。このタッチパネル１９でユーザが手指等で表面をタッチ操作すると、タッチパネルコントローラ２０が操作座標の位置を算出し、算出した座標信号を上記システムバスＳＢを介して後述するＣＰＵ２４に送出する。
【００２９】
また、上記光学レンズユニット１１と同じくカメラ筐体前面には、マイクロホン２１が配設され、被写体方向の音声が入力される。マイクロホン２１は入力した音声を電気信号化し、音声処理部２２へ出力する。
【００３０】
音声処理部２２は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン２１から入力する音声信号をデジタルデータ化する。さらに音声処理部２２は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。
【００３１】
加えて音声処理部２２は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ２３を駆動して、拡声放音させる。
【００３２】
以上の回路をＣＰＵ２４が統括して制御する。このＣＰＵ２４は、メインメモリ２５、プログラムメモリ２６と直接接続される。メインメモリ２５は、例えばＳＲＡＭで構成され、ワークメモリとして機能する。プログラムメモリ２６は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述するシーンプログラムの「夜景と人物」モードでの制御を含む動作プログラムやデータ等を固定的に記憶する。
【００３３】
ＣＰＵ２４はプログラムメモリ２６から必要なプログラムやデータ等を読出し、メインメモリ２５に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。
【００３４】
さらに上記ＣＰＵ２４は、キー操作部２７から直接入力される各種キー操作信号、及び上記タッチパネルコントローラ２０から入力されるタッチパネル１９でのタッチ操作に応じた座標信号に対応して制御動作を実行する。
【００３５】
キー操作部２７は、例えば電源キー、シャッタレリーズキー、ズームアップ／ダウンキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、解除キー、ディスプレイキー等を備える。
【００３６】
ＣＰＵ２４は、システムバスＳＢを介して上記ＡＧＣ・Ａ／Ｄ変換部１３、ＤＲＡＭ１４、画像処理部１５、表示コントローラ１７、タッチパネルコントローラ２０、及び音声処理部２２の他、さらにレンズ駆動部２８、フラッシュ駆動部２９、イメージセンサ（ＩＳ）駆動部３０、及びメモリカードコントローラ３１と接続される。
【００３７】
レンズ駆動部２８は、ＣＰＵ２４からの制御信号を受けてレンズ用ＤＣモータ（Ｍ）３２の回転を制御し、上記光学レンズユニット１１を構成する複数のレンズ群中の一部、具体的にはズームレンズ及びフォーカスレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。
【００３８】
フラッシュ駆動部２９は、静止画像撮影時にＣＰＵ２４からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部３３を撮影タイミングに同期して点灯駆動する。
【００３９】
イメージセンサ駆動部３０は、その時点で設定されている撮影条件等に応じて上記ＣＭＯＳイメージセンサ１２の走査駆動を行なう。
【００４０】
上記画像処理部１５は、上記キー操作部２７のシャッタレリーズキー操作に伴う画像撮影時に、ＡＧＣ・Ａ／Ｄ変換部１３から送られてきてＤＲＡＭ１４に保持される画像データをデモザイク処理し、さらに所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ３１を介してメモリカード３４に記録される。
【００４１】
また画像処理部１５は、再生モード時にメモリカード３４からメモリカードコントローラ３１を介して読出されてくる画像データをシステムバスＳＢを介して受取り、ＤＲＡＭ１４に保持させた上で、このＤＲＡＭ１４に保持させた画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスＳＢを介して表示コントローラ１７に出力し、表示部１８で表示させる。
メモリカードコントローラ３１は、カードコネクタ３５を介してメモリカード３４と接続される。メモリカード３４は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリであり、内部には不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。
【００４２】
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、撮影モード下でシーンプログラムの中の１つ、「夜景と人物」モードを設定した後、当該モードでの撮影を実行する際、ＣＰＵ２４がプログラムメモリ２６に記憶されている動作プログラムやデータを読出してメインメモリ２５に展開して記憶させた上で実行するものである。
【００４３】
プログラムメモリ２６に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２６に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０をパーソナルコンピュータと接続することにより外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。
【００４４】
図２は、電源投入後に撮影モードでシーンプログラムの複数あるモードの中から「夜景と人物」モードを選択して設定する際の処理内容を示す。電源投入後にＣＰＵ２４は、初期化として前回電源が切断された際に記憶した各種設定状態の情報をプログラムメモリ２６から読出して設定を行なう（ステップＭ１０１）。
【００４５】
その後、キー操作部２７のメニューキーが操作されたか否かを判断する（ステップＭ１０２）。ここでメニューキーが操作されていないと判断した場合には、メニュー項目が既に表示されているか否かを判断する（ステップＭ１１１）。ここでメニュー項目が表示されていないと判断した場合には、その他の処理を実行した後（ステップＭ１０３）、再び上記ステップＭ１０２に戻る。
【００４６】
こうしてその他の処理を実行しながら、メニューキーが操作されるのを待機する。
【００４７】
また、キー操作部２７のメニューキーが操作された場合、上記ステップＭ１０２でそれを判断し、次に各種のメニュー項目を表示部１８で一覧表示させた上で（ステップＭ１０４）、それらメニュー項目の中からシーンプログラムが選択されたか否かを判断する（ステップＭ１０５）。
【００４８】
ここでシーンプログラム以外のメニュー項目が選択されたと判断した場合には、その操作に対応したその他の処理を実行する（ステップＭ１０３）。
【００４９】
また、メニュー項目としてシーンプログラムが選択された場合、上記ステップＳ１０５でそれを判断し、次にシーンプログラムを構成する複数のシーンプログラムモードを表示部１８で一覧表示させた上で（ステップＭ１０６）、それらモードの中から「夜景と人物」モードが選択されたか否かを判断する（ステップＭ１０７）。
【００５０】
ここで「夜景と人物」モード以外のシーンプログラムモードが選択された場合には、そのモードに応じた処理動作を行なうが（ステップＭ１０９）、本実施形態ではその詳細についての説明は省略する。
【００５１】
また、上記ステップＭ１０７で「夜景と人物」モードが選択されたと判断した場合には、その操作に応じて「夜景と人物」モードでの処理動作を行なう（ステップＭ１０８）。その後、シーンプログラムモードが解除されたか否かを判断する（ステップＭ１１０）。
【００５２】
ここでシーンプログラムモードが解除されていると判断した場合には、上記ステップＭ１０２に戻る。また、シーンプログラムモードが解除されていないと判断した場合には、上記ステップＭ１０７に戻る。
【００５３】
図３は、上記ステップＭ１０８の「夜景と人物」モード処理のより詳細な内容を示すサブルーチンである。
【００５４】
なお、以下の動作において、キー操作部２７の一部を構成するシャッタレリーズキーは２段階の操作ストロークを有し、全ストロークの半分程度に相当する第１の操作ストローク、所謂「半押し」操作によりその時点でのＡＥ（自動露出）値及びＡＦ（自動合焦）位置（光学レンズユニット１１内のフォーカスレンズの位置）をロックし、さらなる全ストロークに相当する第２の操作ストローク、所謂「全押し」操作により静止画像の撮影を実行するものとする。
【００５５】
その動作当初にＣＰＵ２４は、ＡＥ処理及びＡＦ処理を実行して適切な露出値及び合焦位置を取得する。取得した露出値から所定のスルー画像のフレームレート、例えば３０［フレーム／秒］に合ったシャッタ速度と絞り値を設定すると共に、光学レンズユニット１１のフォーカスレンズ位置を制御する（ステップＳ１０１）。
【００５６】
この状態でＣＰＵ２４は、ＣＭＯＳイメージセンサ１２から順次得られる画像信号をＡＧＣ・Ａ／Ｄ変換部１３でデジタル化させ、ＤＲＡＭ１４に保持させた上で画像処理部１５のデモザイク部１５ａによりデモザイク処理を施して原色（ＲＧＢ）系の画像データに変換させる。
【００５７】
ＣＰＵ２４は、変換した画像データから画素数及び階調ビットを大幅に減じた画像データを作成し、システムバスＳＢを介して表示コントローラ１７へ送って表示部１８でスルー画像を表示させる（ステップＳ１０２）。
【００５８】
このスルー画像を表示した状態で、ＣＰＵ２４はキー操作部２７の一部を構成するシャッタレリーズキーが半押し操作されたか否かを判断する（ステップＳ１０３）。ここでシャッタレリーズキーが半押し操作されていないと判断した場合は、上記図２の処理に戻る。
【００５９】
「夜景と人物」モードが選択されている最中は、上記ステップＳ１０１〜Ｓ１０３の処理を繰返し実行し、スルー画像を表示部１８で表示しながら、シャッタレリーズキーが半押し操作されるのを待機する。
【００６０】
スルー画像の表示状態からシャッタレリーズキーが半押し操作された場合、上記ステップＳ１０３でそれを判断するとＣＰＵ２４は、その時点でのＡＥ値及びＡＦ位置をロックする（ステップＳ１０４）。
【００６１】
その上でＣＰＵ２４は、ＣＭＯＳイメージセンサ１２から順次得られる画像信号に基づいて表示部１８でスルー画像を表示させる（ステップＳ１０５）。
【００６２】
このスルー画像を表示した状態で、ＣＰＵ２４はキー操作部２７の一部を構成するシャッタレリーズキーがさらに全押し操作されたか否かを判断する（ステップＳ１０６）。ここでシャッタレリーズキーが全押し操作されていないと判断した場合は、続けて同シャッタレリーズキーが依然として半押し操作されたままであるか否かを判断する（ステップＳ１０７）。
【００６３】
シャッタレリーズキーが半押し操作されたままであることを確認した場合、再び上記ステップＳ１０５に戻る。
こうしてステップＳ１０５〜Ｓ１０７の処理を繰返し実行することで、ＡＥ値及びＡＦ位置をロックした状態から、スルー画像を表示しながら、シャッタキーの全押し操作の待機と半押し操作の確認とを続行する。
【００６４】
シャッタレリーズキーの半押し操作が解除された場合、ＣＰＵ２４は上記ステップＳ１０７でそれを判断し、それまでロックしていたＡＥ値及びＡＦ位置を解除した後（ステップＳ１０８）、上記図２の処理に戻る。
【００６５】
また、上記ステップＳ１０６でシャッタキーが全押し操作されたと判断した場合、ＣＰＵ２４はその時点でロックされているＡＥ値に基づき、非フラッシュ撮影での適正露出から２段（２ＥＶ）高いシャッタ速度、例えば適正なシャッタ速度が「１／１５［秒］」であれば「１／６０［秒］」、を設定した上で複数枚、例えば６枚の静止画像を連続して撮影する（ステップＳ１０９）。
このときの撮影により得られる静止画像はいずれも当然ながら適正な露出値から「−２ＥＶ」の露出が不足した画像となるが、絞り値ではなくシャッタ速度をより高速化することで対応しているため、個々の静止画像については「手ブレ」「像ブレ」が発生しにくい撮影となる。
【００６６】
また、所謂「ローリングシャッタ」撮影と呼称される技術により、ＣＭＯＳイメージセンサ１２の垂直転送路の読出しタイミングを制御し、連続する画像の電荷読出しを複数位置で一部同時に行なうことにより、時間的に隣り合う連続した静止画像の電荷読出しのタイミングを一部重複させることで、複数画像の連写撮影をより短時間に完了する。
【００６７】
続いて最終的な合成・保存には使用しない、非フラッシュ撮影でのダミーの静止画像を１枚撮影する（ステップＳ１１０）。さらに続けて、近景に存在する筈の人物を撮影するべく、上記ダミー画像から連続してフラッシュ部３３を発光させた上での静止画像を１枚撮影する（ステップＳ１１１）。
【００６８】
図５は、上記６枚の非フラッシュによる静止画像の撮影と、続くダミー用の非フラッシュによる静止画像の撮影、及びフラッシュを用いた静止画像の撮影の動作シーケンスを示す。同図で縦軸が撮像素子であるＣＭＯＳイメージセンサ１２の垂直方向の撮影位置、横軸が時間となる。
【００６９】
図示する如く６枚の非フラッシュによる静止画像の撮影では、上述したように適正露出に対して「−２ＥＶ」の露出不足の状態としており、非フラッシュであるがためにどうしても低い（長い）シャッタ速度となる。
【００７０】
その後のダミーの非フラッシュによる撮影では、フラッシュ撮影と同一の充分速いシャッタ速度ｔ１、例えば「１／１２５［秒］」とする。
【００７１】
さらに続くフラッシュ部３３による発光を伴って充分速いシャッタ速度ｔ１、例えば「１／１２５［秒］」で撮影を行なう。
【００７２】
以上合計、８枚の連続した静止画像のＲＡＷデータをＤＲＡＭ１４に保持した状態で、全画像のホワイトバランス（ＷＢ）値を特徴量演算部１５ｂにより計測する（ステップＳ１１２）。
【００７３】
次いで、ＤＲＡＭ１４に保持する全８枚分の連続した静止画像のＲＡＷデータをデモザイク部１５ａによりデモザイク処理して輝度色差系のＹＵＶデータに変換する（ステップＳ１１３）。
【００７４】
次に、非フラッシュ撮影で得た６枚の静止画像間の位置合わせを行なうべく、ブロックマッチング部１５ｃがＳＲＡＭ１６を用いて、例えばＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）による射影変換行列を併用した演算を実行する（ステップＳ１１４）。
【００７５】
この場合、連続して撮影した６枚の静止画像の中で時間的に中央に位置するもの、すなわち３枚目の静止画像と４枚目の静止画像を候補とし、且つ後にフラッシュ撮影を行なった静止画像と時間的により近いものとして４枚目の静止画像を選択する。そして、この４枚目の静止画像を基準として、１，２，３，５，６枚目の各静止画像と基準となる４枚目の静止画像との間で射影変換行列を演算する。
【００７６】
この射影変換行列の演算により、１，２，３，５，６枚目の各静止画像と、基準となる４枚目の静止画像との間のズレ量、すなわちズレの大きさと方向を示す行列を特徴量として算出する。
【００７７】
上記演算の結果により、１，２，３，５，６枚目の各静止画像と、基準となる４枚目の静止画像との間で、いずれも算出したズレ量の大きさが予め設定したしきい値以下であるか否かにより、非フラッシュ画像群の位置合わせが成功したか否かを判断する（ステップＳ１１５）。
【００７８】
ここで１，２，３，５，６枚目の各静止画像と、基準となる４枚目の静止画像との間で、いずれも算出したズレ量の大きさが予め設定したしきい値以下であり、非フラッシュ画像群の位置合わせが成功したと判断した場合には、上記６枚の非フラッシュ撮影中の基準となる４枚目の静止画像と１枚のフラッシュ撮影による画像との位置合わせを行なう（ステップＳ１１６）。
【００７９】
図４は、上記ステップＳ１１６の位置合わせ処理のより詳細な内容を示すサブルーチンである。そのはじめに、上記８枚目に撮影したフラッシュ部３３を用いた静止画像と、７枚目に撮影した非フラッシュの静止画像とでブロックマッチング部１５ｃによるブロックマッチング処理及びＲＡＮＳＡＣによる射影変換行列を併用した演算で位置合わせを行ない、両静止画像のズレ量を表す射影変換行列Ａを求める（ステップＳ３０１）。
【００８０】
ここで上記８枚目に撮影したフラッシュ部３３を用いた静止画像では、シャッタ速度が高く、且つフラッシュを用いているために近景に存在する被写体（人物）が明るく写っている筈であるため、画像中の一部被写体が明るく、且つ背景が非常に暗い画像となる。
【００８１】
一方の非フラッシュによるダミー画像は、シャッタ速度が高く、且つフラッシュを用いていないために近景及び背景が全面にわたって非常に暗い画像となる。
【００８２】
したがって、これら２つの静止画像では、シャッタ速度が同一であるからことも、背景の輝度などが略等しいために射影変換行列Ａを比較的容易、且つ確実に算出できる。
【００８３】
次に、７枚目に撮影した非フラッシュの静止画像と、上記６枚連続で撮影した非フラッシュの静止画像中の、基準となる４枚目の静止画像とで、露出を合わせるためのゲイン補正する（ステップＳ３０２）。
【００８４】
ここで上記７枚目の非フラッシュによるダミー画像は、シャッタ速度が高く、且つフラッシュを用いていないために近景及び背景が全面にわたって非常に暗い画像となる。
【００８５】
一方で、上記４枚目に撮影した非フラッシュの静止画像は、シャッタ速度が低く、且つフラッシュを用いていないために近景及び背景が全体にやや暗い画像となる。
【００８６】
これら２つの静止画像では、共に非フラッシュの撮影であり、シャッタ速度の違いにより輝度値が異なるだけで輝度の変化パターンは同一であるため、一方を基準としてシャッタ速度の比に応じたゲインを算出し、算出したゲインを他方の輝度値に乗ずることで、原理的には同一の輝度の静止画像となる。
【００８７】
こうして一方をゲイン補正した、７枚目に撮影した非フラッシュの静止画像と、上記６枚連続で撮影した非フラッシュの静止画像中の、基準となる４枚目の静止画像とでブロックマッチング部１５ｃによるブロックマッチング処理及びＲＡＮＳＡＣによる射影変換行列を併用した演算で位置合わせを行ない、両静止画像のズレ量を表す射影変換行列Ｂを求める（ステップＳ３０３）。
【００８８】
その後、上記ステップＳ３０１，Ｓ３０３で射影変換行列Ａ，Ｂを共に求めることができたか否かを判断する（ステップＳ３０４）。
ここで２つの射影変換行列Ａ，Ｂを共に求めることができたと判断した場合にのみ、上記８枚目に撮影したフラッシュ部３３を用いた静止画像を、上記６枚連続で撮影した非フラッシュの静止画像中の、基準となる４枚目の静止画像に対して上記射影変換行列Ａ，Ｂを用いて複数の特徴となるポイントを基準に位置合わせする（ステップＳ３０５）。なおここでは、フラッシュ撮影による画像を変形して位置合わせしたが、非フラッシュの４枚目の静止画像を変形して位置合わせするようにしても良い。ただしその場合には、上記ステップＳ１１４で求めた特徴量（ズレ量）を修正する必要がある。
【００８９】
その後、フラッシュ撮影による静止画像と非フラッシュ撮影による４枚目の静止画像とを合成し（ステップＳ３０６）、以上でこの図４のサブルーチンを終了して、上記図３の処理に戻る。
【００９０】
この場合、射影変換行列の積「Ａ＊Ｂ」に基づき、一方の静止画像の背景部分を画像変形合成加算部１５ｄで座標変換した後に位置合わせを行なうことで、非フラッシュで撮影したダミーの静止画像を挟んだ前後の時間差によるズレ量を補正して、近景の人物と背景とを正しく合成できる。
【００９１】
また、上記ステップＳ３０４で２つの射影変換行列Ａ，Ｂの少なくとも一方を求めることができなかったと判断した場合には、上記ステップＳ３０５の処理を行なわずに合成し、この図４のサブルーチンを終了して、上記図３の処理に戻る。
【００９２】
図３においては、上記ステップＳ１１６でのフラッシュ撮影による画像の位置合わせの処理後、その合成画像に対し、さらに上記６枚連続で撮影した非フラッシュの静止画像中、基準となる４枚目の静止画像を除いた残る１，２，３，５，６枚目の計５枚の静止画像についても上記ステップＳ１１４で算出した特徴量（ズレ量）に基づいて位置合わせを行ない、画像を合成する（ステップＳ１１７）。
【００９３】
この場合、特に非フラッシュの計５枚の静止画像による合成に関し、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成技術を用いて、特に背景部分のダイナミックレンジを拡大して、特に「黒ツブレ」が生じている部分を減少させる。
【００９４】
その後、合成後の静止画像を最終画像とし、例えばＪＰＥＧフォーマットに従ったデータ圧縮を施してデータファイル化した後、得た画像データファイルを本デジタルカメラ１０の記録媒体であるメモリカード３４に保存し（ステップＳ１１８）、以上で一連の処理を終了して、上記図２の処理に戻る。
【００９５】
また、上記ステップＳ１１５で非フラッシュ撮影による１，２，３，５，６枚目の各静止画像と、基準となる４枚目の静止画像との間で、いずれも算出したズレ量の大きさが予め設定したしきい値より大きく、非フラッシュ画像群の位置合わせが失敗したと判断した場合には、画像の暗部が大きく、位置合わせが困難であった場合や、手ブレあるいは像ブレにより画像合成を行なうと観賞に耐えない画像となってしまう可能性が高い画像であるものとして、８枚目のフラッシュ部３３を用いた静止画像の画像データのみを単体で最終画像として設定する（ステップＳ１１９）。
【００９６】
そして、上記ステップＳ１１８に進み、例えばＪＰＥＧフォーマットに従ったデータ圧縮を施してデータファイル化した後、得た画像データファイルを本デジタルカメラ１０の記録媒体であるメモリカード３４に保存し、以上で一連の処理を終了して、上記図２の処理に戻る。
【００９７】
以上詳記した如く本実施形態によれば、夜景と近景の人物とを撮影する際、フラッシュ部３３を使用しない撮影と、フラッシュ部３３を使用する撮影との間に、フラッシュを使用しないダミーの撮影を挟んで実行し、各画像と中間に位置する親和性の高いダミーの画像とのズレ量を射影変換行列で求めた後、求めた射影変換行列に基づいてフラッシュ部３３を使用しない撮影で得た背景と、フラッシュ部３３を使用する撮影で得た近景の人物の画像を合成するものとしたので、近景部分と背景部分それぞれの位置合わせを高い成功率で実現することが可能となる。
【００９８】
なお上記実施形態では、上記図５でも示したように非フラッシュ撮影による画像を連続して複数、例えば６枚分取得するものとして説明したが、本発明はこれに限らず、適正な露出、具体的には絞り値を開放としてできる限りシャッタ速度を高速化した設定で非フラッシュの撮影により１枚分の静止画像を取得し、その後にダミー用の非フラッシュ撮影に移行するものとしても良い。
【００９９】
この場合、一連の動作を最少３回の画像撮影で完了できるため、画像処理部１５での演算量を減じて負担を軽減し、且つ時間を含めて動作をコンパクトにできる。
【０１００】
これとは逆に本実施形態で説明した如く、非フラッシュ撮影による画像を適正露出より高いシャッタ速度で連続して複数に分けて取得する場合には、非フラッシュ撮影時に手ブレ、像ブレが発生する可能性を低減し、画像合成の成功率を上げることができると共に、ＨＤＲ合成技術を用いて背景部分の画像のダイナミックレンジを上げることができる。
【０１０１】
また上記実施形態の如く、非フラッシュ撮影による画像を適正露出より高いシャッタ速度で連続して複数に分けて取得する場合に、そのうちの１つの画像を基準とし、同様の他の画像との位置合わせ、及びダミー用の非フラッシュ撮影の画像との位置合わせを行なうものとしたので、処理を簡略化して位置合わせの可否を容易に判断できる。
【０１０２】
さらに上記実施形態では、非フラッシュ撮影による連続した複数画像の位置合わせを失敗したと判断した場合に、これら合成を失敗したと判断した一連の非フラッシュ画像を使用せず、フラッシュ部３３を用いて撮影した画像のみを保存するものとしたため、画像の暗部が大きく、位置合わせが困難であった場合や、手ブレあるいは像ブレにより画像合成を行なうと観賞に耐えない画像となってしまう可能性が高い画像に対してはあえて画像合成を行なわず、フラッシュ部３３を用いて近景に人物が写っていると思われる静止画像のみを確実に記録できる。
【０１０３】
また上記実施形態では、非フラッシュ撮影による連続した複数画像の位置合わせを成功したと判断した場合に、例えばＲＡＮＳＡＣによる射影変換行列を用いた位置合わせで最終的な合成画像を得るものとしたので、安定した高い成功率での位置合わせが可能となる。
【０１０４】
さらに上記実施形態では示さなかったが、合成を行なおうとする複数の画像間でのズレ量が無いか、あるいはあったとしても所定のしきい値より低い場合には、画像に対する変形を行なわないで合成するものとしても良く、画像処理部１５での負担を軽減して処理を単純化できる。
【０１０５】
また上記実施形態において、非フラッシュ撮影により得た画像と、ダミー用の非フラッシュ撮影による画像とで一方の画像にゲイン補正を施して輝度値レベルを揃えた上で他方の画像と位置合わせを行なうものとしたので、位置合わせ時の演算精度を上げてより精緻な位置合わせが実現できる。
【０１０６】
さらに本実施形態では、非フラッシュ撮影により得た画像と、フラッシュ撮影により得た画像とで位置合わせを行なう際、複数の特徴点となるポイントに基づいて画像を変形した上で合成するものとした。これにより、異なるタイミングで取得した画像の合成に際し、位置の変化等を勘案してより正確で自然な画像を合成して取得することができる。
【０１０７】
なお上記実施形態では、非フラッシュ撮影で６枚分の画像を取得した後にダミー用の非フラッシュ撮影で画像を取得し、その後にフラッシュ撮影で画像を取得する場合について説明したが、ダミー用の非フラッシュ撮影で画像を取得する場合を挟んで、前後の画像取得の順序を入れ換えるものとしても良い。
【０１０８】
しかしながら、人物の撮影に際しては、フラッシュ撮影を終えた直後に被写体となった人物が動いてしまう事態が多いものと考えられるので、フラッシュ撮影前に位置合わせ用の非フラッシュ撮影の画像を取得してしまうような、本実施形態の順序の方が、位置合わせを成功する確率が高まるものと考えられる。この場合、まずダミー用の非フラッシュ撮影で画像を取得し、その後に非フラッシュ撮影で６枚分の画像を取得しても良い。
【０１０９】
また本発明はデジタルカメラに適用した場合の実施形態について説明したものであるが、本発明はこれに限らず、フラッシュを伴う撮影が可能なカメラ機能を有する電子機器であれば、携帯電話端末やモバイルタイプのパーソナルコンピュータ、電子ブック端末やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け情報携帯端末）等であっても同様に実施が可能となる。
【０１１０】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【０１１１】
１０…デジタルカメラ、１１…光学レンズユニット、１２…ＣＭＯＳイメージセンサ、１３…ＡＧＣ・Ａ／Ｄ変換部、１４…ＤＲＡＭ、１５…画像処理部、１６…ＳＲＡＭ、１７…表示コントローラ、１８…表示部、１９…タッチパネル、２０…タッチパネルコントローラ、２１…マイクロホン、２２…音声処理部、２３…スピーカ、２４…ＣＰＵ、２５…メインメモリ、２６…プログラムメモリ、２７…キー操作部、２８…レンズ駆動部、２９…フラッシュ駆動部、３０…イメージセンサ（ＩＳ）駆動部、３１…メモリカードコントローラ、３２…レンズ用ＤＣモータ（Ｍ）、３３…フラッシュ部、３４…メモリカード、３５…カードコネクタ、ＳＢ…システムバス。
【特許請求の範囲】
【請求項１】
被写体の画像を撮影して画像信号を出力する撮影手段と、
上記撮影手段での撮影に同期して被写体方向に発光するフラッシュ発光手段と、
上記撮影手段が出力する画像信号を保持する保持手段と、
所定のシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第１の撮影制御手段と、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第２の撮影制御手段と、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光を伴って上記撮影手段で撮影させる第３の撮影制御手段と、
上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ手段と、
上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ手段と、
上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段と、
上記画像合成手段で得た画像信号を媒体に保存させる保存手段と
を具備したことを特徴とする撮像装置。
【請求項２】
適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、
上記第１の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により上記撮影手段で撮影させる
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、
上記第１の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により高いシャッタ速度により上記撮影手段で複数回撮影させる
ことを特徴とする請求項１記載の撮像装置。
【請求項４】
上記第１の撮影制御手段による撮影で上記保持手段が保持する複数の画像信号中、１つを基準として、残る他の位置合わせを行なう第３の位置合わせ手段をさらに具備し、
上記第１の位置合わせ手段は、上記第３の位置合わせ手段で基準とした画像信号と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行なう
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
上記第３の位置合わせ手段は、位置合わせ時に第３のズレ量を算出し、
上記第３の位置合わせ手段が算出した第３のズレ量に基づいて上記第１の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、
上記画像合成手段は、上記判定手段での判定結果、上記第１の撮影制御手段による撮影が不合格であると判定した場合に、位置合わせによる合成画像の画像信号の取得を停止し、
上記保存手段は、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号のみを媒体に保存する
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
上記第３の位置合わせ手段は、位置合わせ時に第３のズレ量を算出し、
上記第３の位置合わせ手段が算出した第３のズレ量に基づいて上記第１の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、
上記画像合成手段は、上記判定手段での判定結果、上記第１の撮影制御手段による撮影が合格であると判定した場合に、上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで、射影変換行列を用いて位置合わせして合成画像の画像信号を取得する
ことを特徴とする請求項４記載の撮像装置。
【請求項７】
上記画像合成手段は、上記算出した第１及び第２のズレ量の少なくとも一方が所定のしきい値以下である場合に、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とを位置合わせをせずに合成して画像信号を取得する
ことを特徴とする請求項１記載の撮像装置。
【請求項８】
上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号に基づき、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号に対するゲイン補正を行なうゲイン補正手段をさらに具備し、
上記第１の位置合わせ手段は、上記ゲイン補正後の画像信号と上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する
ことを特徴とする請求項１記載の撮像装置。
【請求項９】
上記第１及び第２の位置合わせ手段の少なくとも一方は、画像中の互いに離間した複数ポイントそれぞれでズレ量を算出し、
上記画像合成手段は、上記複数のポイントそれぞれでズレ量がゼロとなるよう少なくとも一方の画像を変形して合成画像の画像信号を取得する
ことを特徴とする請求項１記載の撮像装置。
【請求項１０】
被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置での撮像方法であって、
所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第１の撮影制御工程と、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第２の撮影制御工程と、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第３の撮影制御工程と、
上記第１の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第２の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ工程と、
上記第２の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ工程と、
上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成工程と
を有したことを特徴とする撮像方法。
【請求項１１】
被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置が内蔵したコンピュータが実行するプログラムであって、
上記コンピュータを、
所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第１の撮影制御手段、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第２の撮影制御手段、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第３の撮影制御手段、
上記第１の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第２の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ手段、
上記第２の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ手段、及び
上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段
として機能させることを特徴とするプログラム。
【請求項１】
被写体の画像を撮影して画像信号を出力する撮影手段と、
上記撮影手段での撮影に同期して被写体方向に発光するフラッシュ発光手段と、
上記撮影手段が出力する画像信号を保持する保持手段と、
所定のシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第１の撮影制御手段と、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第２の撮影制御手段と、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光を伴って上記撮影手段で撮影させる第３の撮影制御手段と、
上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ手段と、
上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ手段と、
上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段と、
上記画像合成手段で得た画像信号を媒体に保存させる保存手段と
を具備したことを特徴とする撮像装置。
【請求項２】
適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、
上記第１の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により上記撮影手段で撮影させる
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、
上記第１の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により高いシャッタ速度により上記撮影手段で複数回撮影させる
ことを特徴とする請求項１記載の撮像装置。
【請求項４】
上記第１の撮影制御手段による撮影で上記保持手段が保持する複数の画像信号中、１つを基準として、残る他の位置合わせを行なう第３の位置合わせ手段をさらに具備し、
上記第１の位置合わせ手段は、上記第３の位置合わせ手段で基準とした画像信号と、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行なう
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
上記第３の位置合わせ手段は、位置合わせ時に第３のズレ量を算出し、
上記第３の位置合わせ手段が算出した第３のズレ量に基づいて上記第１の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、
上記画像合成手段は、上記判定手段での判定結果、上記第１の撮影制御手段による撮影が不合格であると判定した場合に、位置合わせによる合成画像の画像信号の取得を停止し、
上記保存手段は、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号のみを媒体に保存する
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
上記第３の位置合わせ手段は、位置合わせ時に第３のズレ量を算出し、
上記第３の位置合わせ手段が算出した第３のズレ量に基づいて上記第１の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、
上記画像合成手段は、上記判定手段での判定結果、上記第１の撮影制御手段による撮影が合格であると判定した場合に、上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とで、射影変換行列を用いて位置合わせして合成画像の画像信号を取得する
ことを特徴とする請求項４記載の撮像装置。
【請求項７】
上記画像合成手段は、上記算出した第１及び第２のズレ量の少なくとも一方が所定のしきい値以下である場合に、上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第３の撮影制御手段による撮影で上記保持手段が保持する画像信号とを位置合わせをせずに合成して画像信号を取得する
ことを特徴とする請求項１記載の撮像装置。
【請求項８】
上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号に基づき、上記第２の撮影制御手段による撮影で上記保持手段が保持する画像信号に対するゲイン補正を行なうゲイン補正手段をさらに具備し、
上記第１の位置合わせ手段は、上記ゲイン補正後の画像信号と上記第１の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する
ことを特徴とする請求項１記載の撮像装置。
【請求項９】
上記第１及び第２の位置合わせ手段の少なくとも一方は、画像中の互いに離間した複数ポイントそれぞれでズレ量を算出し、
上記画像合成手段は、上記複数のポイントそれぞれでズレ量がゼロとなるよう少なくとも一方の画像を変形して合成画像の画像信号を取得する
ことを特徴とする請求項１記載の撮像装置。
【請求項１０】
被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置での撮像方法であって、
所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第１の撮影制御工程と、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第２の撮影制御工程と、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第３の撮影制御工程と、
上記第１の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第２の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ工程と、
上記第２の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ工程と、
上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成工程と
を有したことを特徴とする撮像方法。
【請求項１１】
被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置が内蔵したコンピュータが実行するプログラムであって、
上記コンピュータを、
所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第１の撮影制御手段、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第２の撮影制御手段、
上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第３の撮影制御手段、
上記第１の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第２の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第１のズレ量を算出する第１の位置合わせ手段、
上記第２の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第２のズレ量を算出する第２の位置合わせ手段、及び
上記算出した第１及び第２のズレ量を用い、上記第１の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第３の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１０９８３５（Ｐ２０１２−１０９８３５Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５７６６２（Ｐ２０１０−２５７６６２）
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]