画像合成装置
【構成】撮像面の動きベクトルは、動き検出回路４４によって検出される。ＣＰＵ３０は、検出された動きベクトルの水平成分を繰り返し積算して、水平方向における積算動きベクトルを算出する。ＣＰＵ３０はまた、検出された動きベクトルの垂直成分が取り込み条件を満足するか否かを水平方向における積算動きベクトルが既定範囲に属する期間に繰り返し判別し、さらに水平方向における積算動きベクトルが既定範囲の上限に達したか否かを繰り返し判別する。いずれか一方の判別結果がＮＯからＹＥＳに更新されると、ＣＰＵ３０は、画像合成のために静止画取り込み処理を実行し、その後に水平方向における積算動きベクトルの算出処理を再起動する。
【効果】合成画像の作成に関する操作性が向上する。
【効果】合成画像の作成に関する操作性が向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像合成装置に関し、特にパノラマモードを有するディジタルカメラに適用され、複数の被写界像を部分的に重複する態様で合成する、画像合成装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像面の移動量がジャイロ部やＧＰＳ部の出力に基づいて検出される。パノラマ画像の作成に用いる複数の画像は、検出された移動量を参照して、画像間に適度な重なりが生じるタイミングで撮影される。垂直方向における撮像面のブレ量はこのような撮影処理と並列して繰り返し検出され、検出されたブレ量が閾値を上回ると警告が発生される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２００６−２１７４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、垂直方向における撮像面のブレを抑制する対策は、警告の発生に留まる。このため、背景技術では操作性に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、合成画像の作成に関する操作性を向上させることができる、画像合成装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像合成装置(10：実施例で相当する参照符号。以下同じ)は、水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する第１積算手段(S35, S37)、水平方向および垂直方向の他方における撮像面の動きが取り込み条件を満足するか否かを第１積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別手段(S43~S47)、第１積算手段の積算値が既定範囲の上限に達したか否かを第１判別手段の判別処理と並列して繰り返し判別する第２判別手段(S45)、第１判別手段の判別結果および／または第２判別手段の判別結果の否定的な結果から肯定的な結果への更新に対応して撮像面で生成された被写界像を画像合成のために取り込む取り込み手段(S49)、および取り込み手段の取り込み処理に関連して第１積算手段を再起動する再起動手段(S59)を備える。
【０００７】
好ましくは、第１判別手段によって注目される方向における撮像面の動き量を積算する第２積算手段(S35, S39)がさらに備えられ、取り込み条件は第２積算手段の積算値が基準を下回るという条件を含む。
【０００８】
好ましくは、取り込み手段によって取り込まれた被写界像から指定エリアに属する一部の被写界像を切り出す切り出し手段(S57)、および第１積算手段によって注目される方向における指定エリアの大きさを取り込み手段の起動時点における第１積算手段の積算値を参照して調整する調整手段(S51)がさらに備えられる。
【０００９】
さらに好ましくは、調整手段は第１積算手段の積算値の増大に応じて指定エリアの大きさを増大させる。
【００１０】
好ましくは、取り込み手段の取り込み処理に関連して撮像面の水平位置および垂直位置を示す位置情報を作成する作成手段(S53)、および取り込み手段によって取り込まれた複数の被写界像を作成手段によって作成された位置情報を参照して合成する合成手段(S65, S71)がさらに備えられる。
【００１１】
さらに好ましくは、取り込み手段によって取り込まれた被写界像の数が指定値に達したとき合成手段を起動する第１起動手段(S55)、および第１判別手段によって注目される方向における撮像面の動きがエラー条件に合致するとき取り込み手段によって取り込まれた被写界像の数を参照して合成手段を起動する第２起動手段(S41, S69)がさらに備えられる。
【００１２】
この発明に従う画像合成プログラムは、画像合成装置(10)のプロセッサ(30)に、水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する積算ステップ(S35, S37)、水平方向および垂直方向の他方における撮像面の動きが取り込み条件を満足するか否かを積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別ステップ(S43~S47)、積算手段の積算値が既定範囲の上限に達したか否かを第１判別手段の判別処理と並列して繰り返し判別する第２判別ステップ(S45)、第１判別ステップの判別結果および／または第２判別ステップの判別結果の否定的な結果から肯定的な結果への更新に対応して撮像面で生成された被写界像を画像合成のために取り込む取り込みステップ(S49)、および取り込みステップの取り込み処理に関連して積算ステップを再起動する再起動ステップ(S59)を実行させるための、画像合成プログラムである。
【００１３】
この発明に従う画像合成方法は、画像合成装置(10)によって実行される画像合成方法であって、水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する積算ステップ(S35, S37)、水平方向および垂直方向の他方における撮像面の動きが取り込み条件を満足するか否かを積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別ステップ(S43~S47)、積算手段の積算値が既定範囲の上限に達したか否かを第１判別手段の判別処理と並列して繰り返し判別する第２判別ステップ(S45)、第１判別ステップの判別結果および／または第２判別ステップの判別結果の否定的な結果から肯定的な結果への更新に対応して撮像面で生成された被写界像を画像合成のために取り込む取り込みステップ(S49)、および取り込みステップの取り込み処理に関連して積算ステップを再起動する再起動ステップ(S59)を備える。
【発明の効果】
【００１４】
この発明によれば、水平方向および垂直方向の一方を第１方向と定義し、水平方向および垂直方向の他方を第２方向と定義した場合、被写界像の取り込み処理は、第１方向における撮像面の動き量の積算値が既定範囲に属する期間において第２方向における撮像面の動き量が既定条件を満足したとき、或いは第１方向における撮像面の動き量の積算値が既定範囲の上限に達したときに実行される。
【００１５】
第１方向における撮像面の動き量の積算値が既定範囲に属する期間において第２方向における撮像面の動き量が既定条件を満足したときに取り込み処理を実行することで、第２方向における被写界像のぶれを抑制することができる。また、第１方向における撮像面の動き量の積算値が既定範囲の上限に達したときに取り込み処理を実行することで、第１方向における合成画像の連続性を確保することができる。こうして、合成画像の作成に関する操作性が向上する。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】測光エリアおよびフォーカスエリアの割り当て状態の一例を示す図解図である。
【図４】パノラマモードで捉えられる被写界の一例を示す図解図である。
【図５】短冊画像データＳＴ＿０の切り出し動作の一例を示す図解図である。
【図６】（Ａ）は静止画取り込み処理の実行タイミングの一例を示す図解図であり、（Ｂ）は静止画取り込み処理の実行タイミングの他の一例を示す図解図である。
【図７】図２実施例に適用されるレジスタの構成の一例を示す図解図である。
【図８】短冊画像データＳＴ＿２およびＳＴ＿３の切り出し動作の一例を示す図解図である。
【図９】静止画取り込み処理が実行される時点で捉えられる被写界の分布状態の一例を示す図解図である。
【図１０】短冊画像データＳＴ＿４の切り出し動作の一例を示す図解図である。
【図１１】画像合成処理の一部を示す図解図である。
【図１２】画像合成処理の他の一部を示す図解図である。
【図１３】画像合成処理によって作成されたパノラマ画像データの一例を示す図解図である。
【図１４】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１９】
図１を参照して、この発明の画像合成装置は、基本的に次のように構成される。第１積算手段１は、水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する。第１判別手段２は、水平方向および垂直方向の他方における撮像面の動きが取り込み条件を満足するか否かを第１積算手段１の積算値が既定範囲に属する期間に繰り返し判別する。第２判別手段３は、第１積算手段１の積算値が既定範囲の上限に達したか否かを第１判別手段２の判別処理と並列して繰り返し判別する。取り込み手段４は、第１判別手段２の判別結果および／または第２判別手段３の判別結果の否定的な結果から肯定的な結果への更新に対応して撮像面で生成された被写界像を画像合成のために取り込む。再起動手段５は、取り込み手段４の取り込み処理に関連して第１積算手段１を再起動する。
【００２０】
水平方向および垂直方向の一方を第１方向と定義し、水平方向および垂直方向の他方を第２方向と定義した場合、被写界像の取り込み処理は、第１方向における撮像面の動き量の積算値が既定範囲に属する期間において第２方向における撮像面の動きが取り込み条件を満足したとき、或いは第１方向における撮像面の動き量の積算値が既定範囲の上限に達したときに実行される。
【００２１】
第１方向における撮像面の動き量の積算値が既定範囲に属する期間において第２方向における撮像面の動きが取り込み条件を満足したときに取り込み処理を実行することで、第２方向における被写界像のぶれを抑制することができる。また、第１方向における撮像面の動き量の積算値が既定範囲の上限に達したときに取り込み処理を実行することで、第１方向における合成画像の連続性を確保することができる。こうして、合成画像の作成に関する操作性が向上する。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞り機構１４を含む。フォーカスレンズ１２および絞り機構１４を経た被写界の光学像は、撮像装置１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２３】
電源が投入されると、ＣＰＵ３０は、スルー画像処理を実行するべく、ドライバ１８ｃに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８ｃは、ＳＧ(Signal Generator)２０から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面にプリ露光を施し、これによって生成された電荷をラスタ走査態様で読み出す。撮像装置１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
信号処理回路２２は、撮像装置１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、これによって作成されたＹＵＶ形式の画像データをバスＢＳ１を介してメモリ制御回路３２に与える。メモリ制御回路３２は、与えられた画像データをバスＢＳ２を介してＳＤＲＡＭ３４の動画像エリア３４ｍに書き込む。
【００２５】
動画像エリア３４ｍに格納された画像データは、メモリ制御回路３２によって繰り返し読み出され、バスＢＳ１を介してドライバ３６に与えられる。ＬＣＤドライバ３６は、与えられた画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２６】
図３を参照して、撮像面の中央には測光エリアＥＡが割り当てられる。輝度評価回路２４は、信号処理回路２２から出力されたＹデータのうち測光エリアＥＡに属するＹデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。積分値つまり輝度評価値は、垂直同期信号Ｖｓｙｎｃの発生周期で輝度評価回路２４から出力される。ＣＰＵ３０は、輝度評価回路２４から出力された輝度評価値に基づいて適正ＥＶ値を算出するべく、簡易ＡＥ処理を繰り返し実行する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、ＬＣＤモニタ３８に表示されるスルー画像の明るさが適度に調整される。
【００２７】
キー入力装置２８上のシャッタボタン２８ｓが半押しされると、輝度評価回路２４から出力された輝度評価値に基づいて最適ＥＶ値を算出するべく、厳格ＡＥ処理が実行される。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。
【００２８】
厳格ＡＥ処理が完了すると、フォーカス評価回路２６の出力に基づくＡＦ処理が実行される。フォーカス評価回路２６は、信号処理回路２２から出力されたＹデータのうちフォーカスエリアＦＡ（図３参照）に属するＹデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。積分値つまりＡＦ評価値は、垂直同期信号Ｖｓｙｎｃの発生周期でフォーカス評価回路２６から出力される。
【００２９】
ＣＰＵ３０は、フォーカス評価回路２６からＡＦ評価値を取り込み、いわゆる山登り処理によって合焦点を探索する。フォーカスレンズ１２は、垂直同期信号Ｖｓｙｎｃが発生する毎に光軸方向に移動し、その後に合焦点に配置される。
【００３０】
シャッタボタン２８ｓが全押しされると、ＣＰＵ３０は静止画取り込み処理を実行するべく、対応する命令をメモリ制御回路３２に与える。メモリ制御回路３２は、シャッタボタン２８ｓが全押しされた時点の被写界を表す１フレームの画像データを動画像エリア３４ｍから静止画像エリア３４ｓに複製する。
【００３１】
撮像モードは、シャッタボタン２８ｓの操作に先立つモードキー２８ｍの操作によって、通常モードおよびパノラマモードのいずれか一方に設定される。設定された撮像モードが通常モードであれば、ＣＰＵ３０は、記録処理を実行するべく、対応する命令をメモリ制御回路３２に与える。メモリ制御回路３２は、静止画取り込み処理によって複製された１フレームの画像データを静止画像エリア３４ｓから読み出し、読み出された画像データをファイル形式で記録媒体４０に記録する。記録処理が完了すると、上述のスルー画像処理および簡易ＡＥ処理が再開される。
【００３２】
モードキー２８ｍの操作によって設定された撮像モードがパノラマモードであれば、パノラマ画像データを作成するべく、次の処理がＣＰＵ３０によって実行される。
【００３３】
まず、変数ＫおよびＨｗ＿Ｋが“０”および“Ｈｔｈ１”に設定される。ここで、変数Ｋは、静止画像エリア３４ｓに複製された画像データに割り当てられるフレーム番号に相当する。また、変数Ｈｗ＿Ｋは第Ｋフレームの画像データから切り出す短冊画像データＳＴ＿Ｋの幅を定義する係数に相当する。さらに、“Ｈｔｈ１”は、次回以降の静止画取り込み処理の実行タイミングを制御するために参照される閾値の１つである。
【００３４】
変数ＫおよびＨｗ＿Ｋが決定されると、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋが切り出される。Ｋ＝０については、切り出し位置は左端に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ＋｛Ｗ−（Ｈｗ＿Ｋ＋Ａ）｝／２”に設定される。この結果、短冊画像データＳＴ＿０は、図５に示す要領で切り出される。
【００３５】
短冊画像データＳＴ＿Ｋの切り出しが完了すると、積算動きベクトルＶｔｔｌおよびＨｔｔｌが“０”に設定され、変数Ｋがインクリメントされる。ここで、積算動きベクトルＶｔｔｌは垂直方向における撮像面の動きベクトルの積算値を示し、積算動きベクトルＨｔｔｌは水平方向における撮像面の動きベクトルの積算値を示す。
【００３６】
図２に示す動き検出回路４４は、信号処理回路２２から出力されたＹデータに基づいて撮像面の動きベクトルを繰り返し検出する。検出された動きベクトルは、垂直同期信号Ｖｓｙｎｃが発生する毎にＣＰＵ３０によって取り込まれる。
【００３７】
取り込まれた動きベクトルの水平成分は水平動きベクトルＨｖｃｔとして抽出され、抽出された水平動きベクトルＨｖｃｔは積算動きベクトルＨｔｔｌに積算される。また、取り込まれた動きベクトルの垂直成分は垂直動きベクトルＶｖｃｔとして抽出され、抽出された垂直動きベクトルＶｖｃｔは積算動きベクトルＶｔｔｌに積算される。
【００３８】
積算動きベクトルＶｔｔｌの絶対値は閾値Ｖｔｈ１およびＶｔｈ２の各々と比較され、積算動きベクトルＨｔｔｌは閾値Ｈｔｈ１およびＨｔｈ２の各々と比較される。ここで、閾値Ｈｔｈ２は閾値Ｈｔｈ１よりも大きく、閾値Ｖｔｈ２は閾値Ｖｔｈ１よりも大きい。具体的には、閾値Ｈｔｈ１は水平画角の１０％に相当し、閾値Ｈｔｈ２は水平画角の３０％に相当する。また、閾値Ｖｔｈ１は垂直画角の５％に相当し、閾値Ｔｈ２は垂直画角の２００％に相当する。
【００３９】
積算動きベクトルＨｔｔｌが既定範囲（＝閾値Ｈｔｈ１から閾値Ｈｔｈ２までの範囲）に属する期間において積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ１を下回ると、その時点で静止画取り込み処理が実行される（図６（Ａ）参照）。
【００４０】
また、積算動きベクトルＨｔｔｌが既定範囲に属する期間にわたって積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ１以上でかつ閾値Ｖｔｈ２未満の値を維持すれば、積算動きベクトルＨｔｔｌが閾値Ｈｔｈ２に達した時点で静止画取り込み処理が実行される（図６（Ｂ）参照）。
【００４１】
静止画取り込み処理が実行された結果、第Ｋフレームの画像データが動画像エリア３４ｍから静止画像エリア３４ｓに複製される。続いて、積算動きベクトルＨｔｔｌが変数Ｈｗ＿Ｋに設定され、変数Ｈｗ＿Ｋおよび積算動きベクトルＶｔｔｌが図７に示すレジスタ３０ｒのＫ番目のカラムに設定される。
【００４２】
変数Ｋが“４”未満であれば、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋが切り出される。Ｋ＝１〜３については、切り出し位置は中央に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ”に設定される。この結果、短冊画像データＳＴ＿２およびＳＴ＿３は図８に示す要領で切り出される。図８から分かるように、切り出された短冊画像データＳＴ＿２およびＳＴ＿３の間には、“（Ｈｗ＿２−Ｈｗ＿３）／２＋Ａ”に相当する幅のマージンが確保される。
【００４３】
短冊画像データＳＴ＿Ｋの切り出しが完了すると、積算動きベクトルＨｔｔｌが“０”に設定され、変数Ｋがインクリメントされる。次フレームの静止画取り込み処理の実行タイミングは、その後に検出された水平動きベクトルＨｖｃｔの積算値に基づいて制御される。
【００４４】
図９を参照して、フレームＦ＿０に対応してシャッタボタン２８ｓを全押しし、その後に撮像面を垂直方向に微動させながら水平方向に移動させた場合、第１フレームの静止画取り込み処理はフレームＦ＿１に対応して実行され、第２フレームの静止画取り込み処理はフレームＦ＿２に対応して実行され、第３フレームの静止画取り込み処理はフレームＦ＿３に対応して実行され、そして第４フレームの静止画取り込み処理はフレームＦ＿４に対応して実行される。
【００４５】
図９によれば、第１フレームの静止画取り込み処理は、積算動きベクトルＨｔｔｌが既定範囲の上限（＝Ｈｔｈ２）に達した時点で実行される。このとき、積算動きベクトルＶｔｔｌは閾値Ｖｔｈ１の絶対値以上の値を示す。第２フレームの静止画取り込み処理は、積算動きベクトルＨｔｔｌが既定範囲に属する期間において積算動きベクトルＶｔｔｌが閾値Ｖｔｈ１を下回った時点で実行される。
【００４６】
第３フレームの静止画取り込み処理は、積算動きベクトルＨｔｔｌが既定範囲の上限（＝Ｈｔｈ２）に達した時点で実行される。このとき、積算動きベクトルＶｔｔｌは閾値Ｖｔｈ１の絶対値以上の値を示す。第４フレームの静止画取り込み処理は、積算動きベクトルＨｔｔｌが既定範囲に属する期間において積算動きベクトルＶｔｔｌが閾値Ｖｔｈ１を下回った時点で実行される。
【００４７】
変数Ｋが“４”に達したときも、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋが切り出される。ただし、Ｋ＝４については、切り出し位置は右端に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ＋｛Ｗ−（Ｈｗ＿Ｋ＋Ａ）｝／２”に設定される。この結果、短冊画像データＳＴ＿４は図１０に示す要領で切り出される。
【００４８】
短冊画像データＳＴ＿４の切り出しが完了すると、パノラマ画像作成処理が実行される。切り出された短冊画像データＳＴ＿０〜ＳＴ＿４は、レジスタ３０ｒに設定された変数Ｈｗ＿１〜Ｈｗ＿４と４つの積算動きベクトルＶｔｔｌとを参照して、図１１に示す要領で合成される。合成された画像データには図１２に示す要領で切り出し枠ＣＦ１が定義され、一部の画像データが切り出し枠ＣＦ１に沿って切り出される。この結果、図１３に示すパノラマ画像データが得られる。こうして作成されたパノラマ画像データはその後、ファイル形式で記録媒体４０に記録される。
【００４９】
なお、積算動きベクトルＶｔｔｌが閾値Ｖｔｈ２に達すると、変数Ｋが“１”以上である場合つまり少なくとも２フレームの画像データが静止画像エリア３４ｓに複製されている場合に、上述と同様のパノラマ画像作成処理が実行される。これによって生成されたパノラマ画像データもまた、ファイル形式で記録媒体４０に記録される。なお、変数Ｋが“０”を示す状態で積算動きベクトルＶｔｔｌが閾値Ｖｔｈ２に達すると、エラー処理が実行される。
【００５０】
ＣＰＵ３０は、図１４〜図１８に示す撮像タスクに従う処理を実行する。この撮像タスクに対応する制御プログラムは、フラッシュメモリ４２に記憶される。
【００５１】
図１４を参照して、ステップＳ１ではスルー画像処理を実行する。この結果、被写界を表す画像データが動画像エリア３４ｍに繰り返し書き込まれ、これに基づくスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓが半押しされたか否かを判別し、判別結果がＮＯである限りステップＳ５の簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。シャッタボタン２８ｓが半押しされると、ステップＳ７で厳格ＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。ステップＳ７の処理によってスルー画像の明るさが最適値に調整され、ステップＳ９の処理によってフォーカスレンズ１２が合焦点に配置される。
【００５２】
ステップＳ１１ではシャッタボタン２８ｓが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓの操作が解除されたか否かを判別する。ステップＳ１３でＹＥＳであればステップＳ３に戻り、ステップＳ１１でＹＥＳであればステップＳ１５で静止画取り込み処理を実行する。ステップＳ１５の処理の結果、シャッタボタン２８ｓが全押しされた時点の１フレームの画像データが動画像エリア３４ｍから静止画像エリア３４ｓに複製される。
【００５３】
ステップＳ１７では、現時点の撮像モードが通常モードおよびパノラマモードのいずれであるかを判別する。現時点の撮像モードが通常モードであれば、ステップＳ１７からステップＳ１９に進み、記録処理を実行する。この結果、静止画像エリア３４ｓに複製された１フレームの画像データがファイル形式で記録媒体４０に記録される。記録処理が完了すると、ステップＳ１に戻る。
【００５４】
現時点の撮像モードがパノラマモードであれば、ステップＳ１７でＹＥＳと判断し、ステップＳ２１で変数Ｋを“０”に設定するとともに、ステップＳ２３で変数Ｈｗ＿Ｋを“Ｈｔｈ１”に設定する。ステップＳ２５では、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋを切り出す。このとき、切り出し位置は左端に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ＋｛Ｗ−（Ｈｗ＿Ｋ＋Ａ）｝／２”に設定される。
【００５５】
ステップＳ２７では積算動きベクトルＶｔｔｌを“０”に設定し、ステップＳ２９では積算動きベクトルＨｔｔｌを“０”に設定する。ステップＳ３１では変数Ｋをインクリメントし、ステップＳ３３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、動き検出回路４４によって生成された動きベクトルをステップＳ３５で取り込む。ステップＳ３７では、取り込まれた動きベクトルの水平成分を水平動きベクトルＨｖｃｔとして抽出し、抽出された水平動きベクトルＨｖｃｔを積算動きベクトルＨｔｔｌに積算する。ステップＳ３９では、取り込まれた動きベクトルの垂直成分を垂直動きベクトルＶｖｃｔとして抽出し、抽出された垂直動きベクトルＶｖｃｔを積算動きベクトルＶｔｔｌに積算する。
【００５６】
ステップＳ４１では積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ２未満であるか否かを判別し、ステップＳ４３では積算動きベクトルＨｔｔｌが閾値Ｈｔｈ１以上であるか否かを判別する。また、ステップＳ４５では積算動きベクトルＨｔｔｌが閾値Ｈｔｈ２以上であるか否かを判別し、ステップＳ４７では積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ１未満であるか否かを判別する。
【００５７】
ステップＳ４１，Ｓ４３およびＳ４５の判別結果がいずれもＹＥＳであれば、ステップＳ４９に進む。また、ステップＳ４５の判別結果がＮＯであっても、ステップＳ４１，Ｓ４３およびＳ４７の判別結果がＹＥＳであれば、ステップＳ４９に進む。一方、ステップＳ４１の判別結果がＹＥＳでかつステップＳ４３の判別結果がＮＯであるか、或いはステップＳ４１およびＳ４３の判別結果がＹＥＳでかつステップＳ４５およびＳ４７の判別結果がＮＯであれば、ステップＳ３３に戻る。他方、ステップＳ４１の判別結果がＮＯであれば、ステップＳ６９に進む。
【００５８】
ステップＳ４９では、上述したステップＳ１５と同様の静止画取り込み処理を実行する。これによって、第Ｋフレームの画像データが静止画像エリア３４ｓに複製される。ステップＳ５１では積算動きベクトルＨｔｔｌを変数Ｈｗ＿Ｋに設定し、ステップＳ５３では変数Ｈｗ＿Ｋおよび積算動きベクトルＶｔｔｌをレジスタ３０ｒのＫ番目のカラムに設定する。ステップＳ５５では変数Ｋが“４”に達したか否かを判別し、判別結果がＮＯであればステップＳ５７に進む一方、判別結果がＹＥＳであればステップＳ６３に進む。
【００５９】
ステップＳ５７では、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋを切り出す。このとき、切り出し位置は中央に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ”に設定される。ステップＳ５７の処理が完了すると、ステップＳ５９〜Ｓ６１でステップＳ２９〜Ｓ３１と同様の処理を実行し、その後にステップＳ３３に戻る。
【００６０】
ステップＳ６３では、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋを切り出す。このとき、切り出し位置は右端に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ＋｛Ｗ−（Ｈｗ＿Ｋ＋Ａ）｝／２”に設定される。ステップＳ６３の処理が完了すると、ステップＳ６５でパノラマ画像作成処理を実行する。ステップＳ６７では、ステップＳ６５で作成されたパノラマ画像データに記録処理を施す。パノラマ画像データは、ファイル形式で記録媒体４０に記録される。記録処理が完了すると、ステップＳ３に戻る。
【００６１】
ステップＳ６９では、変数Ｋが“１”以上であるか否かを判別する。判別結果がＹＥＳであれば、ステップＳ７１〜Ｓ７３で上述したステップＳ６５〜Ｓ６７と同様の処理を実行し、その後にステップＳ３に戻る。判別結果がＮＯであれば、ステップＳ７５でエラー処理を実行し、その後にステップＳ３に戻る。
【００６２】
以上の説明から分かるように、撮像面の動きベクトルは動き検出回路４４によって検出される。ＣＰＵ３０は、検出された動きベクトルの水平成分に相当する水平動きベクトルＨｖｃｔを繰り返し積算して、積算動きベクトルＨｔｔｌを算出する(S37)。ＣＰＵ３０はまた、垂直方向における撮像面の動きが取り込み条件（＝積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ１を下回るという条件）を満足するか否かを積算動きベクトルＨｔｔｌが既定範囲（＝閾値Ｈｔｈ１から閾値Ｈｔｈ２までの範囲）に属する期間に繰り返し判別し(S43~S47)、これと並列して積算動きベクトルＨｔｔｌが既定範囲の上限に達したか否かを繰り返し判別する(S45)。いずれか一方の判別結果がＮＯからＹＥＳに更新されると、ＣＰＵ３０は、画像合成のために静止画取り込み処理を実行し(S49)、その後に積算動きベクトルＨｔｔｌの算出処理を再起動する(S59)。
【００６３】
積算動きベクトルＨｔｔｌが既定範囲に属する期間において垂直方向における撮像面の動きが取り込み条件を満足したときに静止画取り込み処理を実行することで、垂直方向における静止画像のぶれを抑制することができる。また、積算動きベクトルＨｔｔｌが既定範囲の上限に達したときに静止画取り込み処理を実行することで、水平方向における合成画像の連続性を確保することができる。こうして、合成画像の作成に関する操作性が向上する。
【００６４】
なお、この実施例では、撮像面のパン動作と並列して取り込まれた複数の静止画像を水平方向において結合するようにしているが、撮像面のチルト動作と並列して取り込まれた複数の静止画像を垂直方向において結合するようにしてもよい。
【００６５】
また、この実施例では画像合成装置としてディジタルカメラを想定しているが、この発明は撮像機能を有する様々な電子機器（たとえばカメラ付携帯電話機）に適用することができる。
【００６６】
さらに、この実施例の撮像装置としては、ＣＣＤ型のイメージセンサやＣＭＯＳ型のイメージセンサを適用することができる。
【符号の説明】
【００６７】
１０ …ディジタルカメラ
１６ …撮像装置
３０ …ＣＰＵ
４２ …フラッシュメモリ
４４ …動き検出回路
【技術分野】
【０００１】
この発明は、画像合成装置に関し、特にパノラマモードを有するディジタルカメラに適用され、複数の被写界像を部分的に重複する態様で合成する、画像合成装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像面の移動量がジャイロ部やＧＰＳ部の出力に基づいて検出される。パノラマ画像の作成に用いる複数の画像は、検出された移動量を参照して、画像間に適度な重なりが生じるタイミングで撮影される。垂直方向における撮像面のブレ量はこのような撮影処理と並列して繰り返し検出され、検出されたブレ量が閾値を上回ると警告が発生される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２００６−２１７４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、垂直方向における撮像面のブレを抑制する対策は、警告の発生に留まる。このため、背景技術では操作性に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、合成画像の作成に関する操作性を向上させることができる、画像合成装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像合成装置(10：実施例で相当する参照符号。以下同じ)は、水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する第１積算手段(S35, S37)、水平方向および垂直方向の他方における撮像面の動きが取り込み条件を満足するか否かを第１積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別手段(S43~S47)、第１積算手段の積算値が既定範囲の上限に達したか否かを第１判別手段の判別処理と並列して繰り返し判別する第２判別手段(S45)、第１判別手段の判別結果および／または第２判別手段の判別結果の否定的な結果から肯定的な結果への更新に対応して撮像面で生成された被写界像を画像合成のために取り込む取り込み手段(S49)、および取り込み手段の取り込み処理に関連して第１積算手段を再起動する再起動手段(S59)を備える。
【０００７】
好ましくは、第１判別手段によって注目される方向における撮像面の動き量を積算する第２積算手段(S35, S39)がさらに備えられ、取り込み条件は第２積算手段の積算値が基準を下回るという条件を含む。
【０００８】
好ましくは、取り込み手段によって取り込まれた被写界像から指定エリアに属する一部の被写界像を切り出す切り出し手段(S57)、および第１積算手段によって注目される方向における指定エリアの大きさを取り込み手段の起動時点における第１積算手段の積算値を参照して調整する調整手段(S51)がさらに備えられる。
【０００９】
さらに好ましくは、調整手段は第１積算手段の積算値の増大に応じて指定エリアの大きさを増大させる。
【００１０】
好ましくは、取り込み手段の取り込み処理に関連して撮像面の水平位置および垂直位置を示す位置情報を作成する作成手段(S53)、および取り込み手段によって取り込まれた複数の被写界像を作成手段によって作成された位置情報を参照して合成する合成手段(S65, S71)がさらに備えられる。
【００１１】
さらに好ましくは、取り込み手段によって取り込まれた被写界像の数が指定値に達したとき合成手段を起動する第１起動手段(S55)、および第１判別手段によって注目される方向における撮像面の動きがエラー条件に合致するとき取り込み手段によって取り込まれた被写界像の数を参照して合成手段を起動する第２起動手段(S41, S69)がさらに備えられる。
【００１２】
この発明に従う画像合成プログラムは、画像合成装置(10)のプロセッサ(30)に、水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する積算ステップ(S35, S37)、水平方向および垂直方向の他方における撮像面の動きが取り込み条件を満足するか否かを積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別ステップ(S43~S47)、積算手段の積算値が既定範囲の上限に達したか否かを第１判別手段の判別処理と並列して繰り返し判別する第２判別ステップ(S45)、第１判別ステップの判別結果および／または第２判別ステップの判別結果の否定的な結果から肯定的な結果への更新に対応して撮像面で生成された被写界像を画像合成のために取り込む取り込みステップ(S49)、および取り込みステップの取り込み処理に関連して積算ステップを再起動する再起動ステップ(S59)を実行させるための、画像合成プログラムである。
【００１３】
この発明に従う画像合成方法は、画像合成装置(10)によって実行される画像合成方法であって、水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する積算ステップ(S35, S37)、水平方向および垂直方向の他方における撮像面の動きが取り込み条件を満足するか否かを積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別ステップ(S43~S47)、積算手段の積算値が既定範囲の上限に達したか否かを第１判別手段の判別処理と並列して繰り返し判別する第２判別ステップ(S45)、第１判別ステップの判別結果および／または第２判別ステップの判別結果の否定的な結果から肯定的な結果への更新に対応して撮像面で生成された被写界像を画像合成のために取り込む取り込みステップ(S49)、および取り込みステップの取り込み処理に関連して積算ステップを再起動する再起動ステップ(S59)を備える。
【発明の効果】
【００１４】
この発明によれば、水平方向および垂直方向の一方を第１方向と定義し、水平方向および垂直方向の他方を第２方向と定義した場合、被写界像の取り込み処理は、第１方向における撮像面の動き量の積算値が既定範囲に属する期間において第２方向における撮像面の動き量が既定条件を満足したとき、或いは第１方向における撮像面の動き量の積算値が既定範囲の上限に達したときに実行される。
【００１５】
第１方向における撮像面の動き量の積算値が既定範囲に属する期間において第２方向における撮像面の動き量が既定条件を満足したときに取り込み処理を実行することで、第２方向における被写界像のぶれを抑制することができる。また、第１方向における撮像面の動き量の積算値が既定範囲の上限に達したときに取り込み処理を実行することで、第１方向における合成画像の連続性を確保することができる。こうして、合成画像の作成に関する操作性が向上する。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】測光エリアおよびフォーカスエリアの割り当て状態の一例を示す図解図である。
【図４】パノラマモードで捉えられる被写界の一例を示す図解図である。
【図５】短冊画像データＳＴ＿０の切り出し動作の一例を示す図解図である。
【図６】（Ａ）は静止画取り込み処理の実行タイミングの一例を示す図解図であり、（Ｂ）は静止画取り込み処理の実行タイミングの他の一例を示す図解図である。
【図７】図２実施例に適用されるレジスタの構成の一例を示す図解図である。
【図８】短冊画像データＳＴ＿２およびＳＴ＿３の切り出し動作の一例を示す図解図である。
【図９】静止画取り込み処理が実行される時点で捉えられる被写界の分布状態の一例を示す図解図である。
【図１０】短冊画像データＳＴ＿４の切り出し動作の一例を示す図解図である。
【図１１】画像合成処理の一部を示す図解図である。
【図１２】画像合成処理の他の一部を示す図解図である。
【図１３】画像合成処理によって作成されたパノラマ画像データの一例を示す図解図である。
【図１４】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１９】
図１を参照して、この発明の画像合成装置は、基本的に次のように構成される。第１積算手段１は、水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する。第１判別手段２は、水平方向および垂直方向の他方における撮像面の動きが取り込み条件を満足するか否かを第１積算手段１の積算値が既定範囲に属する期間に繰り返し判別する。第２判別手段３は、第１積算手段１の積算値が既定範囲の上限に達したか否かを第１判別手段２の判別処理と並列して繰り返し判別する。取り込み手段４は、第１判別手段２の判別結果および／または第２判別手段３の判別結果の否定的な結果から肯定的な結果への更新に対応して撮像面で生成された被写界像を画像合成のために取り込む。再起動手段５は、取り込み手段４の取り込み処理に関連して第１積算手段１を再起動する。
【００２０】
水平方向および垂直方向の一方を第１方向と定義し、水平方向および垂直方向の他方を第２方向と定義した場合、被写界像の取り込み処理は、第１方向における撮像面の動き量の積算値が既定範囲に属する期間において第２方向における撮像面の動きが取り込み条件を満足したとき、或いは第１方向における撮像面の動き量の積算値が既定範囲の上限に達したときに実行される。
【００２１】
第１方向における撮像面の動き量の積算値が既定範囲に属する期間において第２方向における撮像面の動きが取り込み条件を満足したときに取り込み処理を実行することで、第２方向における被写界像のぶれを抑制することができる。また、第１方向における撮像面の動き量の積算値が既定範囲の上限に達したときに取り込み処理を実行することで、第１方向における合成画像の連続性を確保することができる。こうして、合成画像の作成に関する操作性が向上する。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞り機構１４を含む。フォーカスレンズ１２および絞り機構１４を経た被写界の光学像は、撮像装置１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２３】
電源が投入されると、ＣＰＵ３０は、スルー画像処理を実行するべく、ドライバ１８ｃに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８ｃは、ＳＧ(Signal Generator)２０から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面にプリ露光を施し、これによって生成された電荷をラスタ走査態様で読み出す。撮像装置１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
信号処理回路２２は、撮像装置１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、これによって作成されたＹＵＶ形式の画像データをバスＢＳ１を介してメモリ制御回路３２に与える。メモリ制御回路３２は、与えられた画像データをバスＢＳ２を介してＳＤＲＡＭ３４の動画像エリア３４ｍに書き込む。
【００２５】
動画像エリア３４ｍに格納された画像データは、メモリ制御回路３２によって繰り返し読み出され、バスＢＳ１を介してドライバ３６に与えられる。ＬＣＤドライバ３６は、与えられた画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２６】
図３を参照して、撮像面の中央には測光エリアＥＡが割り当てられる。輝度評価回路２４は、信号処理回路２２から出力されたＹデータのうち測光エリアＥＡに属するＹデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。積分値つまり輝度評価値は、垂直同期信号Ｖｓｙｎｃの発生周期で輝度評価回路２４から出力される。ＣＰＵ３０は、輝度評価回路２４から出力された輝度評価値に基づいて適正ＥＶ値を算出するべく、簡易ＡＥ処理を繰り返し実行する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、ＬＣＤモニタ３８に表示されるスルー画像の明るさが適度に調整される。
【００２７】
キー入力装置２８上のシャッタボタン２８ｓが半押しされると、輝度評価回路２４から出力された輝度評価値に基づいて最適ＥＶ値を算出するべく、厳格ＡＥ処理が実行される。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。
【００２８】
厳格ＡＥ処理が完了すると、フォーカス評価回路２６の出力に基づくＡＦ処理が実行される。フォーカス評価回路２６は、信号処理回路２２から出力されたＹデータのうちフォーカスエリアＦＡ（図３参照）に属するＹデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。積分値つまりＡＦ評価値は、垂直同期信号Ｖｓｙｎｃの発生周期でフォーカス評価回路２６から出力される。
【００２９】
ＣＰＵ３０は、フォーカス評価回路２６からＡＦ評価値を取り込み、いわゆる山登り処理によって合焦点を探索する。フォーカスレンズ１２は、垂直同期信号Ｖｓｙｎｃが発生する毎に光軸方向に移動し、その後に合焦点に配置される。
【００３０】
シャッタボタン２８ｓが全押しされると、ＣＰＵ３０は静止画取り込み処理を実行するべく、対応する命令をメモリ制御回路３２に与える。メモリ制御回路３２は、シャッタボタン２８ｓが全押しされた時点の被写界を表す１フレームの画像データを動画像エリア３４ｍから静止画像エリア３４ｓに複製する。
【００３１】
撮像モードは、シャッタボタン２８ｓの操作に先立つモードキー２８ｍの操作によって、通常モードおよびパノラマモードのいずれか一方に設定される。設定された撮像モードが通常モードであれば、ＣＰＵ３０は、記録処理を実行するべく、対応する命令をメモリ制御回路３２に与える。メモリ制御回路３２は、静止画取り込み処理によって複製された１フレームの画像データを静止画像エリア３４ｓから読み出し、読み出された画像データをファイル形式で記録媒体４０に記録する。記録処理が完了すると、上述のスルー画像処理および簡易ＡＥ処理が再開される。
【００３２】
モードキー２８ｍの操作によって設定された撮像モードがパノラマモードであれば、パノラマ画像データを作成するべく、次の処理がＣＰＵ３０によって実行される。
【００３３】
まず、変数ＫおよびＨｗ＿Ｋが“０”および“Ｈｔｈ１”に設定される。ここで、変数Ｋは、静止画像エリア３４ｓに複製された画像データに割り当てられるフレーム番号に相当する。また、変数Ｈｗ＿Ｋは第Ｋフレームの画像データから切り出す短冊画像データＳＴ＿Ｋの幅を定義する係数に相当する。さらに、“Ｈｔｈ１”は、次回以降の静止画取り込み処理の実行タイミングを制御するために参照される閾値の１つである。
【００３４】
変数ＫおよびＨｗ＿Ｋが決定されると、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋが切り出される。Ｋ＝０については、切り出し位置は左端に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ＋｛Ｗ−（Ｈｗ＿Ｋ＋Ａ）｝／２”に設定される。この結果、短冊画像データＳＴ＿０は、図５に示す要領で切り出される。
【００３５】
短冊画像データＳＴ＿Ｋの切り出しが完了すると、積算動きベクトルＶｔｔｌおよびＨｔｔｌが“０”に設定され、変数Ｋがインクリメントされる。ここで、積算動きベクトルＶｔｔｌは垂直方向における撮像面の動きベクトルの積算値を示し、積算動きベクトルＨｔｔｌは水平方向における撮像面の動きベクトルの積算値を示す。
【００３６】
図２に示す動き検出回路４４は、信号処理回路２２から出力されたＹデータに基づいて撮像面の動きベクトルを繰り返し検出する。検出された動きベクトルは、垂直同期信号Ｖｓｙｎｃが発生する毎にＣＰＵ３０によって取り込まれる。
【００３７】
取り込まれた動きベクトルの水平成分は水平動きベクトルＨｖｃｔとして抽出され、抽出された水平動きベクトルＨｖｃｔは積算動きベクトルＨｔｔｌに積算される。また、取り込まれた動きベクトルの垂直成分は垂直動きベクトルＶｖｃｔとして抽出され、抽出された垂直動きベクトルＶｖｃｔは積算動きベクトルＶｔｔｌに積算される。
【００３８】
積算動きベクトルＶｔｔｌの絶対値は閾値Ｖｔｈ１およびＶｔｈ２の各々と比較され、積算動きベクトルＨｔｔｌは閾値Ｈｔｈ１およびＨｔｈ２の各々と比較される。ここで、閾値Ｈｔｈ２は閾値Ｈｔｈ１よりも大きく、閾値Ｖｔｈ２は閾値Ｖｔｈ１よりも大きい。具体的には、閾値Ｈｔｈ１は水平画角の１０％に相当し、閾値Ｈｔｈ２は水平画角の３０％に相当する。また、閾値Ｖｔｈ１は垂直画角の５％に相当し、閾値Ｔｈ２は垂直画角の２００％に相当する。
【００３９】
積算動きベクトルＨｔｔｌが既定範囲（＝閾値Ｈｔｈ１から閾値Ｈｔｈ２までの範囲）に属する期間において積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ１を下回ると、その時点で静止画取り込み処理が実行される（図６（Ａ）参照）。
【００４０】
また、積算動きベクトルＨｔｔｌが既定範囲に属する期間にわたって積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ１以上でかつ閾値Ｖｔｈ２未満の値を維持すれば、積算動きベクトルＨｔｔｌが閾値Ｈｔｈ２に達した時点で静止画取り込み処理が実行される（図６（Ｂ）参照）。
【００４１】
静止画取り込み処理が実行された結果、第Ｋフレームの画像データが動画像エリア３４ｍから静止画像エリア３４ｓに複製される。続いて、積算動きベクトルＨｔｔｌが変数Ｈｗ＿Ｋに設定され、変数Ｈｗ＿Ｋおよび積算動きベクトルＶｔｔｌが図７に示すレジスタ３０ｒのＫ番目のカラムに設定される。
【００４２】
変数Ｋが“４”未満であれば、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋが切り出される。Ｋ＝１〜３については、切り出し位置は中央に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ”に設定される。この結果、短冊画像データＳＴ＿２およびＳＴ＿３は図８に示す要領で切り出される。図８から分かるように、切り出された短冊画像データＳＴ＿２およびＳＴ＿３の間には、“（Ｈｗ＿２−Ｈｗ＿３）／２＋Ａ”に相当する幅のマージンが確保される。
【００４３】
短冊画像データＳＴ＿Ｋの切り出しが完了すると、積算動きベクトルＨｔｔｌが“０”に設定され、変数Ｋがインクリメントされる。次フレームの静止画取り込み処理の実行タイミングは、その後に検出された水平動きベクトルＨｖｃｔの積算値に基づいて制御される。
【００４４】
図９を参照して、フレームＦ＿０に対応してシャッタボタン２８ｓを全押しし、その後に撮像面を垂直方向に微動させながら水平方向に移動させた場合、第１フレームの静止画取り込み処理はフレームＦ＿１に対応して実行され、第２フレームの静止画取り込み処理はフレームＦ＿２に対応して実行され、第３フレームの静止画取り込み処理はフレームＦ＿３に対応して実行され、そして第４フレームの静止画取り込み処理はフレームＦ＿４に対応して実行される。
【００４５】
図９によれば、第１フレームの静止画取り込み処理は、積算動きベクトルＨｔｔｌが既定範囲の上限（＝Ｈｔｈ２）に達した時点で実行される。このとき、積算動きベクトルＶｔｔｌは閾値Ｖｔｈ１の絶対値以上の値を示す。第２フレームの静止画取り込み処理は、積算動きベクトルＨｔｔｌが既定範囲に属する期間において積算動きベクトルＶｔｔｌが閾値Ｖｔｈ１を下回った時点で実行される。
【００４６】
第３フレームの静止画取り込み処理は、積算動きベクトルＨｔｔｌが既定範囲の上限（＝Ｈｔｈ２）に達した時点で実行される。このとき、積算動きベクトルＶｔｔｌは閾値Ｖｔｈ１の絶対値以上の値を示す。第４フレームの静止画取り込み処理は、積算動きベクトルＨｔｔｌが既定範囲に属する期間において積算動きベクトルＶｔｔｌが閾値Ｖｔｈ１を下回った時点で実行される。
【００４７】
変数Ｋが“４”に達したときも、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋが切り出される。ただし、Ｋ＝４については、切り出し位置は右端に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ＋｛Ｗ−（Ｈｗ＿Ｋ＋Ａ）｝／２”に設定される。この結果、短冊画像データＳＴ＿４は図１０に示す要領で切り出される。
【００４８】
短冊画像データＳＴ＿４の切り出しが完了すると、パノラマ画像作成処理が実行される。切り出された短冊画像データＳＴ＿０〜ＳＴ＿４は、レジスタ３０ｒに設定された変数Ｈｗ＿１〜Ｈｗ＿４と４つの積算動きベクトルＶｔｔｌとを参照して、図１１に示す要領で合成される。合成された画像データには図１２に示す要領で切り出し枠ＣＦ１が定義され、一部の画像データが切り出し枠ＣＦ１に沿って切り出される。この結果、図１３に示すパノラマ画像データが得られる。こうして作成されたパノラマ画像データはその後、ファイル形式で記録媒体４０に記録される。
【００４９】
なお、積算動きベクトルＶｔｔｌが閾値Ｖｔｈ２に達すると、変数Ｋが“１”以上である場合つまり少なくとも２フレームの画像データが静止画像エリア３４ｓに複製されている場合に、上述と同様のパノラマ画像作成処理が実行される。これによって生成されたパノラマ画像データもまた、ファイル形式で記録媒体４０に記録される。なお、変数Ｋが“０”を示す状態で積算動きベクトルＶｔｔｌが閾値Ｖｔｈ２に達すると、エラー処理が実行される。
【００５０】
ＣＰＵ３０は、図１４〜図１８に示す撮像タスクに従う処理を実行する。この撮像タスクに対応する制御プログラムは、フラッシュメモリ４２に記憶される。
【００５１】
図１４を参照して、ステップＳ１ではスルー画像処理を実行する。この結果、被写界を表す画像データが動画像エリア３４ｍに繰り返し書き込まれ、これに基づくスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓが半押しされたか否かを判別し、判別結果がＮＯである限りステップＳ５の簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。シャッタボタン２８ｓが半押しされると、ステップＳ７で厳格ＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。ステップＳ７の処理によってスルー画像の明るさが最適値に調整され、ステップＳ９の処理によってフォーカスレンズ１２が合焦点に配置される。
【００５２】
ステップＳ１１ではシャッタボタン２８ｓが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓの操作が解除されたか否かを判別する。ステップＳ１３でＹＥＳであればステップＳ３に戻り、ステップＳ１１でＹＥＳであればステップＳ１５で静止画取り込み処理を実行する。ステップＳ１５の処理の結果、シャッタボタン２８ｓが全押しされた時点の１フレームの画像データが動画像エリア３４ｍから静止画像エリア３４ｓに複製される。
【００５３】
ステップＳ１７では、現時点の撮像モードが通常モードおよびパノラマモードのいずれであるかを判別する。現時点の撮像モードが通常モードであれば、ステップＳ１７からステップＳ１９に進み、記録処理を実行する。この結果、静止画像エリア３４ｓに複製された１フレームの画像データがファイル形式で記録媒体４０に記録される。記録処理が完了すると、ステップＳ１に戻る。
【００５４】
現時点の撮像モードがパノラマモードであれば、ステップＳ１７でＹＥＳと判断し、ステップＳ２１で変数Ｋを“０”に設定するとともに、ステップＳ２３で変数Ｈｗ＿Ｋを“Ｈｔｈ１”に設定する。ステップＳ２５では、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋを切り出す。このとき、切り出し位置は左端に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ＋｛Ｗ−（Ｈｗ＿Ｋ＋Ａ）｝／２”に設定される。
【００５５】
ステップＳ２７では積算動きベクトルＶｔｔｌを“０”に設定し、ステップＳ２９では積算動きベクトルＨｔｔｌを“０”に設定する。ステップＳ３１では変数Ｋをインクリメントし、ステップＳ３３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、動き検出回路４４によって生成された動きベクトルをステップＳ３５で取り込む。ステップＳ３７では、取り込まれた動きベクトルの水平成分を水平動きベクトルＨｖｃｔとして抽出し、抽出された水平動きベクトルＨｖｃｔを積算動きベクトルＨｔｔｌに積算する。ステップＳ３９では、取り込まれた動きベクトルの垂直成分を垂直動きベクトルＶｖｃｔとして抽出し、抽出された垂直動きベクトルＶｖｃｔを積算動きベクトルＶｔｔｌに積算する。
【００５６】
ステップＳ４１では積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ２未満であるか否かを判別し、ステップＳ４３では積算動きベクトルＨｔｔｌが閾値Ｈｔｈ１以上であるか否かを判別する。また、ステップＳ４５では積算動きベクトルＨｔｔｌが閾値Ｈｔｈ２以上であるか否かを判別し、ステップＳ４７では積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ１未満であるか否かを判別する。
【００５７】
ステップＳ４１，Ｓ４３およびＳ４５の判別結果がいずれもＹＥＳであれば、ステップＳ４９に進む。また、ステップＳ４５の判別結果がＮＯであっても、ステップＳ４１，Ｓ４３およびＳ４７の判別結果がＹＥＳであれば、ステップＳ４９に進む。一方、ステップＳ４１の判別結果がＹＥＳでかつステップＳ４３の判別結果がＮＯであるか、或いはステップＳ４１およびＳ４３の判別結果がＹＥＳでかつステップＳ４５およびＳ４７の判別結果がＮＯであれば、ステップＳ３３に戻る。他方、ステップＳ４１の判別結果がＮＯであれば、ステップＳ６９に進む。
【００５８】
ステップＳ４９では、上述したステップＳ１５と同様の静止画取り込み処理を実行する。これによって、第Ｋフレームの画像データが静止画像エリア３４ｓに複製される。ステップＳ５１では積算動きベクトルＨｔｔｌを変数Ｈｗ＿Ｋに設定し、ステップＳ５３では変数Ｈｗ＿Ｋおよび積算動きベクトルＶｔｔｌをレジスタ３０ｒのＫ番目のカラムに設定する。ステップＳ５５では変数Ｋが“４”に達したか否かを判別し、判別結果がＮＯであればステップＳ５７に進む一方、判別結果がＹＥＳであればステップＳ６３に進む。
【００５９】
ステップＳ５７では、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋを切り出す。このとき、切り出し位置は中央に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ”に設定される。ステップＳ５７の処理が完了すると、ステップＳ５９〜Ｓ６１でステップＳ２９〜Ｓ３１と同様の処理を実行し、その後にステップＳ３３に戻る。
【００６０】
ステップＳ６３では、静止画像エリア３４ｓに複製された第Ｋフレームの画像データから短冊画像データＳＴ＿Ｋを切り出す。このとき、切り出し位置は右端に設定され、切り出し幅は“Ｈｗ＿Ｋ＋Ａ＋｛Ｗ−（Ｈｗ＿Ｋ＋Ａ）｝／２”に設定される。ステップＳ６３の処理が完了すると、ステップＳ６５でパノラマ画像作成処理を実行する。ステップＳ６７では、ステップＳ６５で作成されたパノラマ画像データに記録処理を施す。パノラマ画像データは、ファイル形式で記録媒体４０に記録される。記録処理が完了すると、ステップＳ３に戻る。
【００６１】
ステップＳ６９では、変数Ｋが“１”以上であるか否かを判別する。判別結果がＹＥＳであれば、ステップＳ７１〜Ｓ７３で上述したステップＳ６５〜Ｓ６７と同様の処理を実行し、その後にステップＳ３に戻る。判別結果がＮＯであれば、ステップＳ７５でエラー処理を実行し、その後にステップＳ３に戻る。
【００６２】
以上の説明から分かるように、撮像面の動きベクトルは動き検出回路４４によって検出される。ＣＰＵ３０は、検出された動きベクトルの水平成分に相当する水平動きベクトルＨｖｃｔを繰り返し積算して、積算動きベクトルＨｔｔｌを算出する(S37)。ＣＰＵ３０はまた、垂直方向における撮像面の動きが取り込み条件（＝積算動きベクトルＶｔｔｌの絶対値が閾値Ｖｔｈ１を下回るという条件）を満足するか否かを積算動きベクトルＨｔｔｌが既定範囲（＝閾値Ｈｔｈ１から閾値Ｈｔｈ２までの範囲）に属する期間に繰り返し判別し(S43~S47)、これと並列して積算動きベクトルＨｔｔｌが既定範囲の上限に達したか否かを繰り返し判別する(S45)。いずれか一方の判別結果がＮＯからＹＥＳに更新されると、ＣＰＵ３０は、画像合成のために静止画取り込み処理を実行し(S49)、その後に積算動きベクトルＨｔｔｌの算出処理を再起動する(S59)。
【００６３】
積算動きベクトルＨｔｔｌが既定範囲に属する期間において垂直方向における撮像面の動きが取り込み条件を満足したときに静止画取り込み処理を実行することで、垂直方向における静止画像のぶれを抑制することができる。また、積算動きベクトルＨｔｔｌが既定範囲の上限に達したときに静止画取り込み処理を実行することで、水平方向における合成画像の連続性を確保することができる。こうして、合成画像の作成に関する操作性が向上する。
【００６４】
なお、この実施例では、撮像面のパン動作と並列して取り込まれた複数の静止画像を水平方向において結合するようにしているが、撮像面のチルト動作と並列して取り込まれた複数の静止画像を垂直方向において結合するようにしてもよい。
【００６５】
また、この実施例では画像合成装置としてディジタルカメラを想定しているが、この発明は撮像機能を有する様々な電子機器（たとえばカメラ付携帯電話機）に適用することができる。
【００６６】
さらに、この実施例の撮像装置としては、ＣＣＤ型のイメージセンサやＣＭＯＳ型のイメージセンサを適用することができる。
【符号の説明】
【００６７】
１０ …ディジタルカメラ
１６ …撮像装置
３０ …ＣＰＵ
４２ …フラッシュメモリ
４４ …動き検出回路
【特許請求の範囲】
【請求項１】
水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する第１積算手段、
前記水平方向および前記垂直方向の他方における前記撮像面の動きが取り込み条件を満足するか否かを前記第１積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別手段、
前記第１積算手段の積算値が前記既定範囲の上限に達したか否かを前記第１判別手段の判別処理と並列して繰り返し判別する第２判別手段、
前記第１判別手段の判別結果および／または前記第２判別手段の判別結果の否定的な結果から肯定的な結果への更新に対応して前記撮像面で生成された被写界像を画像合成のために取り込む取り込み手段、および
前記取り込み手段の取り込み処理に関連して前記第１積算手段を再起動する再起動手段を備える、画像合成装置。
【請求項２】
前記第１判別手段によって注目される方向における前記撮像面の動き量を積算する第２積算手段をさらに備え、
前記取り込み条件は前記第２積算手段の積算値が基準を下回るという条件を含む、請求項１記載の画像合成装置。
【請求項３】
前記取り込み手段によって取り込まれた被写界像から指定エリアに属する一部の被写界像を切り出す切り出し手段、および
前記第１積算手段によって注目される方向における前記指定エリアの大きさを前記取り込み手段の起動時点における前記第１積算手段の積算値を参照して調整する調整手段をさらに備える、請求項１または２記載の画像合成装置。
【請求項４】
前記調整手段は前記第１積算手段の積算値の増大に応じて前記指定エリアの大きさを増大させる、請求項３記載の画像合成装置。
【請求項５】
前記取り込み手段の取り込み処理に関連して前記撮像面の水平位置および垂直位置を示す位置情報を作成する作成手段、および
前記取り込み手段によって取り込まれた複数の被写界像を前記作成手段によって作成された位置情報を参照して合成する合成手段をさらに備える、請求項１ないし４のいずれかに記載の画像合成装置。
【請求項６】
前記取り込み手段によって取り込まれた被写界像の数が指定値に達したとき前記合成手段を起動する第１起動手段、および
前記第１判別手段によって注目される方向における前記撮像面の動きがエラー条件に合致するとき前記取り込み手段によって取り込まれた被写界像の数を参照して前記合成手段を起動する第２起動手段をさらに備える、請求項５記載の画像合成装置。
【請求項７】
画像合成装置のプロセッサに、
水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する積算ステップ、
前記水平方向および前記垂直方向の他方における前記撮像面の動きが取り込み条件を満足するか否かを前記積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別ステップ、
前記積算手段の積算値が前記既定範囲の上限に達したか否かを前記第１判別手段の判別処理と並列して繰り返し判別する第２判別ステップ、
前記第１判別ステップの判別結果および／または前記第２判別ステップの判別結果の否定的な結果から肯定的な結果への更新に対応して前記撮像面で生成された被写界像を画像合成のために取り込む取り込みステップ、および
前記取り込みステップの取り込み処理に関連して前記積算ステップを再起動する再起動ステップを実行させるための、画像合成プログラム。
【請求項８】
画像合成装置によって実行される画像合成方法であって、
水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する積算ステップ、
前記水平方向および前記垂直方向の他方における前記撮像面の動きが取り込み条件を満足するか否かを前記積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別ステップ、
前記積算手段の積算値が前記既定範囲の上限に達したか否かを前記第１判別手段の判別処理と並列して繰り返し判別する第２判別ステップ、
前記第１判別ステップの判別結果および／または前記第２判別ステップの判別結果の否定的な結果から肯定的な結果への更新に対応して前記撮像面で生成された被写界像を画像合成のために取り込む取り込みステップ、および
前記取り込みステップの取り込み処理に関連して前記積算ステップを再起動する再起動ステップを備える、画像合成方法。
【請求項１】
水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する第１積算手段、
前記水平方向および前記垂直方向の他方における前記撮像面の動きが取り込み条件を満足するか否かを前記第１積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別手段、
前記第１積算手段の積算値が前記既定範囲の上限に達したか否かを前記第１判別手段の判別処理と並列して繰り返し判別する第２判別手段、
前記第１判別手段の判別結果および／または前記第２判別手段の判別結果の否定的な結果から肯定的な結果への更新に対応して前記撮像面で生成された被写界像を画像合成のために取り込む取り込み手段、および
前記取り込み手段の取り込み処理に関連して前記第１積算手段を再起動する再起動手段を備える、画像合成装置。
【請求項２】
前記第１判別手段によって注目される方向における前記撮像面の動き量を積算する第２積算手段をさらに備え、
前記取り込み条件は前記第２積算手段の積算値が基準を下回るという条件を含む、請求項１記載の画像合成装置。
【請求項３】
前記取り込み手段によって取り込まれた被写界像から指定エリアに属する一部の被写界像を切り出す切り出し手段、および
前記第１積算手段によって注目される方向における前記指定エリアの大きさを前記取り込み手段の起動時点における前記第１積算手段の積算値を参照して調整する調整手段をさらに備える、請求項１または２記載の画像合成装置。
【請求項４】
前記調整手段は前記第１積算手段の積算値の増大に応じて前記指定エリアの大きさを増大させる、請求項３記載の画像合成装置。
【請求項５】
前記取り込み手段の取り込み処理に関連して前記撮像面の水平位置および垂直位置を示す位置情報を作成する作成手段、および
前記取り込み手段によって取り込まれた複数の被写界像を前記作成手段によって作成された位置情報を参照して合成する合成手段をさらに備える、請求項１ないし４のいずれかに記載の画像合成装置。
【請求項６】
前記取り込み手段によって取り込まれた被写界像の数が指定値に達したとき前記合成手段を起動する第１起動手段、および
前記第１判別手段によって注目される方向における前記撮像面の動きがエラー条件に合致するとき前記取り込み手段によって取り込まれた被写界像の数を参照して前記合成手段を起動する第２起動手段をさらに備える、請求項５記載の画像合成装置。
【請求項７】
画像合成装置のプロセッサに、
水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する積算ステップ、
前記水平方向および前記垂直方向の他方における前記撮像面の動きが取り込み条件を満足するか否かを前記積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別ステップ、
前記積算手段の積算値が前記既定範囲の上限に達したか否かを前記第１判別手段の判別処理と並列して繰り返し判別する第２判別ステップ、
前記第１判別ステップの判別結果および／または前記第２判別ステップの判別結果の否定的な結果から肯定的な結果への更新に対応して前記撮像面で生成された被写界像を画像合成のために取り込む取り込みステップ、および
前記取り込みステップの取り込み処理に関連して前記積算ステップを再起動する再起動ステップを実行させるための、画像合成プログラム。
【請求項８】
画像合成装置によって実行される画像合成方法であって、
水平方向および垂直方向の一方における撮像面の動き量を繰り返し積算する積算ステップ、
前記水平方向および前記垂直方向の他方における前記撮像面の動きが取り込み条件を満足するか否かを前記積算手段の積算値が既定範囲に属する期間に繰り返し判別する第１判別ステップ、
前記積算手段の積算値が前記既定範囲の上限に達したか否かを前記第１判別手段の判別処理と並列して繰り返し判別する第２判別ステップ、
前記第１判別ステップの判別結果および／または前記第２判別ステップの判別結果の否定的な結果から肯定的な結果への更新に対応して前記撮像面で生成された被写界像を画像合成のために取り込む取り込みステップ、および
前記取り込みステップの取り込み処理に関連して前記積算ステップを再起動する再起動ステップを備える、画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−１８２１５１（Ｐ２０１１−１８２１５１Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４３７６２（Ｐ２０１０−４３７６２）
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]