画像処理装置
【解決手段】ＣＰＵ２６は、シャッタボタン２８ｓｈの全押しを起点とする８フレーム期間に生成された８フレームの画像データをＳＤＲＡＭ３２の静止画像エリアに取り込み、同じ８フレーム期間に被写界に現れた移動体を静止画像エリアに取り込まれた８フレームの画像データに基づいて検出する。ＣＰＵ２６はまた、検出された移動体の背景を表す背景画像データを静止画像エリアに取り込まれた８フレームの画像データに基づいて作成し、作成された背景画像データを被写界から検出された移動体の動きに応じて異なる縮小態様で縮小し、そして縮小された画像データを縮小態様と逆の態様で拡大する。ＣＰＵ２６はさらに、被写界から検出された移動体を表す移動体画像データを拡大された画像データに合成する。
【効果】移動体の動きが強調された合成画像の作成に掛かる負荷を低減できる。
【効果】移動体の動きが強調された合成画像の作成に掛かる負荷を低減できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に指定期間に属する複数のタイミングに対応する複数の被写界像に基づいて合成画像を作成する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、移動体の移動方向および移動量が、移動体と背景とを含むデジタル写真画像に基づいて検出される。背景画像データは検出された移動方向および移動量に基づいてブレ付加処理を施され、移動体画像データはブレ修正処理を施される。処理後の背景画像データおよび移動体画像データはその後、互いに加算される。この結果、流し撮りの写真画像と同様の効果を有するデジタル写真画像が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５００７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、背景画像データにブレを付加するにあたって、ボケマスクフィルタを施す処理や、フィルタ処理後の画像を移動体の移動方向に複数回ずらす処理などの複雑な処理が必要となる。
【０００５】
それゆえに、この発明の主たる目的は、移動体の動きが強調された合成画像の作成に掛かる負荷を低減できる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込み手段(S31~S37)、指定期間に被写界に現れた移動体を取り込み手段によって取り込まれた複数の被写界像に基づいて検出する検出手段(S41, S77)、検出手段によって検出された移動体の背景を表す背景画像を取り込み手段によって取り込まれた複数の被写界像に基づいて作成する作成手段(S53, S71~S73)、作成手段によって作成された背景画像を検出手段によって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小手段(S45, S55~S59, S65, S83)、縮小手段によって作成された縮小画像を縮小手段によって参照された縮小態様と逆の態様で拡大する拡大手段(S61~S63, S67)、および検出手段によって検出された移動体を表す物体像を拡大手段によって作成された拡大画像に合成する合成手段(S43, S51, S69, S71)を備える。
【０００７】
好ましくは、縮小手段は、移動体の動き量に応じて異なる縮小係数を算出する縮小係数算出手段(S45, S55, S59, S83)、および縮小係数算出手段によって算出された縮小係数を参照して背景画像を縮小する画像縮小手段(S65)を含む。
【０００８】
或る局面では、縮小手段は移動体の動き方向に相当する方向を縮小方向として決定する決定手段(S57)をさらに含む。
【０００９】
他の局面では、拡大手段は、縮小係数の逆数を算出する逆数算出手段(S63)、および逆数算出手段によって算出された逆数を参照して縮小画像を拡大する画像拡大手段(S67)を含む。
【００１０】
好ましくは、取り込み指示を受け付ける受け付け手段(S11)、および取り込み指示に応答して指定期間を定義する定義手段(S35)がさらに備えられる。
【００１１】
好ましくは、被写界を捉える撮像面を有する撮像手段(16)がさらに備えられ、取り込み手段によって取り込まれる被写界像は撮像手段の出力の少なくとも一部に相当する。
【００１２】
この発明に従う画像合成プログラムは、画像処理装置(10)に設けられたプロセッサ(26)に、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ(S31~S37)、指定期間に被写界に現れた移動体を取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ(S41, S77)、検出ステップによって検出された移動体の背景を表す背景画像を取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ(S53, S71~S73)、作成ステップによって作成された背景画像を検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ(S45, S55~S59, S65, S83)、縮小ステップによって作成された縮小画像を縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ(S61~S63, S67)、および検出ステップによって検出された移動体を表す物体像を拡大ステップによって作成された拡大画像に合成する合成ステップ(S43, S51, S69, S71)を実行させるための、画像合成プログラムである。
【００１３】
この発明に従う画像合成方法は、画像処理装置(10)によって実行される画像合成方法であって、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ(S31~S37)、指定期間に被写界に現れた移動体を取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ(S41, S77)、検出ステップによって検出された移動体の背景を表す背景画像を取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ(S53, S71~S73)、作成ステップによって作成された背景画像を検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ(S45, S55~S59, S65, S83)、縮小ステップによって作成された縮小画像を縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ(S61~S63, S67)、および検出ステップによって検出された移動体を表す物体像を拡大ステップによって作成された拡大画像に合成する合成ステップ(S43, S51, S69, S71)を備える。
【００１４】
この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ(S31~S37)、指定期間に被写界に現れた移動体を取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ(S41, S77)、検出ステップによって検出された移動体の背景を表す背景画像を取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ(S53, S71~S73)、作成ステップによって作成された背景画像を検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ(S45, S55~S59, S65, S83)、縮小ステップによって作成された縮小画像を縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ(S61~S63, S67)、および検出ステップによって検出された移動体を表す物体像を拡大ステップによって作成された拡大画像に合成する合成ステップ(S43, S51, S69, S71)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(46)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)であって、外部制御プログラムは、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ(S31~S37)、指定期間に被写界に現れた移動体を取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ(S41, S77)、検出ステップによって検出された移動体の背景を表す背景画像を取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ(S53, S71~S73)、作成ステップによって作成された背景画像を検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ(S45, S55~S59, S65, S83)、縮小ステップによって作成された縮小画像を縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ(S61~S63, S67)、および検出ステップによって検出された移動体を表す物体像を拡大ステップによって作成された拡大画像に合成する合成ステップ(S43, S51, S69, S71)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
この発明によれば、背景画像は、移動体の動きに応じて異なる縮小態様で縮小された後、この縮小態様の逆の態様で拡大される。縮小処理および拡大処理を施された背景画像は、移動体の動きが強調された画像となる。移動体を表す物体像は、こうして得られた背景画像に合成される。これによって、移動体の動きが強調された合成画像の作成に掛かる負荷が低減される。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】（Ａ）は１フレーム目の画像データの一例を示す図解図であり、（Ｂ）は２フレーム目の画像データの一例を示す図解図であり、（Ｃ）は３フレーム目の画像データの一例を示す図解図であり、（Ｄ）は４フレーム目の画像データの一例を示す図解図であり、（Ｅ）は５フレーム目の画像データの一例を示す図解図であり、（Ｆ）は６フレーム目の画像データの一例を示す図解図であり、（Ｇ）は７フレーム目の画像データの一例を示す図解図であり、（Ｈ）は８フレーム目の画像データの一例を示す図解図である。
【図６】（Ａ）は１フレーム目および２フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｂ）は２フレーム目および３フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｃ）は３フレーム目および４フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｄ）は４フレーム目および５フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図である。
【図７】（Ａ）は５フレーム目および６フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｂ）は６フレーム目および７フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｃ）は７フレーム目および８フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図である。
【図８】動きベクトルの検出動作の一例を示す図解図である。
【図９】（Ａ）は移動体画像データの一例を示す図解図であり、（Ｂ）は背景画像データの一例を示す図解図である。
【図１０】（Ａ）背景画像データに基づく縮小画像データの一例を示す図解図であり、（Ｂ）は縮小画像データに基づく拡大画像データの一例を示す図解図である。
【図１１】流し撮り画像データの一例を示す図解図である。
【図１２】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１６】この発明の他の実施例に適用されるＣＰＵの動作の一部を示す図解図である。
【図１７】（Ａ）は１フレーム目の画像データの一例を示す図解図であり、（Ｂ）は４フレーム目の画像データの一例を示す図解図であり、（Ｃ）はマスク画像データの一例を示す図解図であり、（Ｄ）は背景画像データの一例を示す図解図である。
【図１８】この発明のその他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。取り込み手段１は、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む。検出手段２は、指定期間に被写界に現れた移動体を取り込み手段１によって取り込まれた複数の被写界像に基づいて検出する。作成手段３は、検出手段２によって検出された移動体の背景を表す背景画像を取り込み手段１によって取り込まれた複数の被写界像に基づいて作成する。縮小手段４は、作成手段３によって作成された背景画像を検出手段２によって検出された移動体の動きに応じて異なる縮小態様で縮小する。拡大手段５は、縮小手段４によって作成された縮小画像を縮小手段４によって参照された縮小態様と逆の態様で拡大する。合成手段６は、検出手段２によって検出された移動体を表す物体像を拡大手段５によって作成された拡大画像に合成する。
【００２１】
背景画像は、移動体の動きに応じて異なる縮小態様で縮小された後、この縮小態様の逆の態様で拡大される。縮小処理および拡大処理を施された背景画像は、移動体の動きが強調された画像となる。移動体を表す物体像は、こうして得られた背景画像に合成される。これによって、移動体の動きが強調された合成画像の作成に掛かる負荷が低減される。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２３】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａ（図３参照）に書き込まれる。
【００２５】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂ（図３参照）に書き込まれる。
【００２６】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２７】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２８】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００２９】
キー入力装置２８に設けられたシャッタボタン２８ｓｈが非操作状態にあるとき、ＣＰＵ２６は、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づいて簡易ＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが大まかに調整される。
【００３０】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価値を参照した厳格ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間もまたドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値に基づいてＡＦ処理を実行する。フォーカスレンズ１２は合焦点の探索のためにドライバ１８ａによって光軸方向に移動し、これによって発見された合焦点に配置される。この結果、スルー画像の鮮鋭度が向上する。
【００３１】
撮像モードは、モード切換えスイッチ２８ｍｄによって通常モードおよび流し撮りモードの間で切り換えられる。
【００３２】
通常モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、静止画取り込み処理を１回だけ実行する。この結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃ（図３参照）に退避される。
【００３３】
流し撮りモードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、その後に生成された連続８フレームの画像データを静止画像エリア３２ｃに取り込み、取り込まれた８フレームの画像データに基づいて１フレームの流し撮り画像データを作成する。流し撮り画像データは、ワークエリア３２ｄ（図３参照）で作成され、その後に静止画像エリア３２ｃに戻される。
【００３４】
こうして１フレームの静止画像データまたは流し撮り画像データが得られると、ＣＰＵ２６は、記録処理を実行するべく、対応する命令をメモリＩ／Ｆ４０に与える。メモリＩ／Ｆ４０は、静止画像エリア３２ｃに退避された１フレームの画像データまたは流し撮りデータをメモリ制御回路３０を通して読み出し、読み出された画像データまたは流し撮りデータをファイル形式で記録媒体４２に記録する。
【００３５】
流し撮り画像データは、以下の要領で作成される。まず、合計８回の静止画取り込み処理が垂直同期信号Ｖｓｙｎｃに応答して実行される。これによって、連続する８フレームの画像データが静止画像エリア３２ｃに確保される。
【００３６】
確保された８フレームの画像データは、たとえば図５（Ａ）〜図５（Ｈ）に示す８つの被写界を表す。図５（Ａ）〜図５（Ｈ）によれば、左右に延びる道路ＲＤ１とその奥に存在する郵便ポストＰＳ１および家ＨＳ１とが被写界に現れる。自動車ＭＣ１は、８回の静止画取り込み処理が実行される期間に、被写界の左から右に移動する。
【００３７】
８回の静止画取り込み処理が完了すると、変数Ｋが“１”〜“７”の各々に設定され、変数Ｌが“２”〜“８”の各々に設定される。変数ＫおよびＬは同時に設定され、変数Ｌは常に“Ｋ＋１”の値を示す。変数ＫおよびＬが定義されると、第Ｋフレームの画像データと第Ｌフレームの画像データとの差分が検出され、検出された差分が有意な大きさを示すエリアが動きエリアＭＶＡとして検出される。
【００３８】
第Ｋフレームの画像データおよび第Ｌフレームの画像データは静止画像エリア３２ｃからワークエリア３２ｄに複製され、検出された動きエリアＭＶＡに属する部分画像データは複製された第Ｋフレームの画像データおよび第Ｌフレームの画像データの各々から切り出される。第Ｋフレームおよび第Ｌフレームの間の動きを示す動きベクトルＶＣ＿ＫＬは、切り出された部分画像データに基づいて算出される。
【００３９】
上述の例では、動きエリアＭＶＡは、１フレーム目の画像データと２フレーム目の画像データとに基づいて図６（Ａ）に示す要領で検出され、２フレーム目の画像データと３フレーム目の画像データとに基づいて図６（Ｂ）に示す要領で検出され、３フレーム目の画像データと４フレーム目の画像データとに基づいて図６（Ｃ）に示す要領で検出され、そして４フレーム目の画像データと５フレーム目の画像データとに基づいて図６（Ｄ）に示す要領で検出される。
【００４０】
動きエリアＭＶＡはまた、５フレーム目の画像データと６フレーム目の画像データとに基づいて図７（Ａ）に示す要領で検出され、６フレーム目の画像データと７フレーム目の画像データとに基づいて図７（Ｂ）に示す要領で検出され、そして７フレーム目の画像データと８フレーム目の画像データとに基づいて図７（Ｃ）に示す要領で検出される。
【００４１】
切り出される部分画像データは、こうして検出された動きエリアＭＶＡに属する画像データに相当する。また、切り出された部分画像データに基づいて算出される動きベクトルＶＣ＿１２〜ＶＣ＿７８は、図８に示す方向および大きさを示す。
【００４２】
動きベクトルＶＣ＿１２〜ＶＣ＿７８が求められると、８回の静止画取り込み処理に相当する期間に被写界に現れた移動体を表す移動体画像データが、切り出された部分画像データに基づいて作成される。作成された移動体画像データは、ワークエリア３２ｄに保持される。また、８回の静止画取り込み処理に相当する期間に被写界に現れた移動体の背景を表す背景画像データが、部分画像データの切り出しの後にワークエリア３２ｄに残存する複数フレームの画像データに基づいて作成する。背景画像データもまた、ワークエリア３２ｄに保持される。上述の例では、移動体画像データは図９（Ａ）に示す要領で作成され、背景画像データは図９（Ｂ）に示す要領で作成される。
【００４３】
移動体画像データおよび背景画像データがこうして作成されると、動きベクトルＶＣ＿１２〜ＶＣ＿７８の平均に相当する平均動きベクトルが算出される。さらに、平均動きベクトルの方向が縮小方向として決定されるとともに、縮小係数が数１に従って算出される。数１によれば、縮小係数は定数αを平均動きベクトルの大きさで割り算した値に相当する。
［数１］
縮小係数＝α／平均動きベクトルの大きさ
α：定数
【００４４】
続いて、決定された縮小方向と逆の方向が拡大方向として決定され、数１に従って算出された縮小係数の逆数が拡大係数として決定される。
【００４５】
背景画像データは、決定された縮小方向に縮小される。縮小の程度は、算出された縮小係数に従う。したがって、図９（Ｂ）に示す背景画像データは図１０（Ａ）に示す要領で縮小される。
【００４６】
縮小画像データはその後、上述の要領で決定された拡大方向に拡大される。拡大の程度もまた、算出された拡大係数に従う。これによって、縮小／拡大方向において低減された解像度を有する低解像度背景画像データが得られる。図１０（Ａ）に示す縮小画像データを拡大したとき、低解像度背景画像データは図１０（Ｂ）に示す要領で作成される。
【００４７】
続いて、移動体画像データが低解像度背景画像データに合成され、これによって流し撮り画像データが完成する。図９（Ａ）に示す移動体画像データおよび図１０（Ｂ）に示す低解像度背景画像データに基づく場合、流し撮り画像データは図１１に示す要領で作成される。完成した流し撮り画像データは、ワークエリア３２ｄから静止画像エリア３２ｃに戻される。
【００４８】
ＣＰＵ２６は、図１２〜図１５に示す撮像タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００４９】
図１２を参照して、ステップＳ１では動画取込み処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ５で簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが大まかに調整される。
【００５０】
ステップＳ３の判別結果がＮＯからＹＥＳに更新されると、ステップＳ７で厳格ＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。スルー画像の明るさは厳格ＡＥ処理によって厳格に調整され、スルー画像の鮮鋭度はＡＦ処理によって向上する。
【００５１】
ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１３でＹＥＳであればそのままステップＳ３に戻り、ステップＳ１１でＹＥＳであればステップＳ１５〜Ｓ２１の処理を経てステップＳ３に戻る。
【００５２】
ステップＳ１５では、現時点の撮像モードが通常モードおよび流し撮りモードのいずれであるかを判別する。現時点の撮像モードが通常モードであれば、ステップＳ１７で静止画取り込み処理を実行し、現時点の撮像モードが流し撮りモードであれば、ステップＳ１９で流し撮り処理を実行する。
【００５３】
ステップＳ１７の静止画取り込み処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。ステップＳ１９の流し撮りの結果、シャッタボタン２８ｓｈの全押しの後に作成された８フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｂに退避され、退避された８フレームの画像データに基づいて１フレームの流し撮り画像データが作成される。流し撮り画像データの作成処理はワークエリア３２ｄ上で実行され、完成した流し撮り画像データは静止画像エリア３２ｃに戻される。
【００５４】
ステップＳ１７またはＳ１９の処理が完了すると、ステップＳ２１で記録処理を実行するべく、対応する命令をメモリＩ／Ｆ４０に与える。メモリＩ／Ｆ４０は、静止画像エリア３２ｃに格納された１フレームの画像データまたは流し撮りデータをメモリ制御回路３０を通して読み出し、読み出された画像データまたは流し撮りデータをファイル形式で記録媒体４２に記録する。
【００５５】
ステップＳ１９の流し撮り処理は、図１３〜図１５に示すサブルーチンに従って実行される。
【００５６】
まず、ステップＳ３１でフレーム番号に相当する変数Ｋを“１”に設定する。ステップＳ３３では、上述したステップＳ１７と同様の静止画取り込み処理を垂直同期信号Ｖｓｙｎｃの発生を待って実行する。ステップＳ３５では変数Ｋが“８”に達したか否かを判別し、判別結果がＮＯであればステップＳ３７で変数ＫをインクリメントしてからステップＳ３３に戻る一方、判別結果がＹＥＳであればステップＳ３９以降の処理に進む。したがって、ステップＳ３３の静止画取込処理は垂直同期信号Ｖｓｙｎｃに応答して合計８回実行され、連続する８フレームの画像データが静止画像エリア３２ｃに確保される。
【００５７】
ステップＳ３９では、変数ＫおよびＬをそれぞれ“１”および“２”に設定する。ステップＳ４１では、第Ｋフレームの画像データと第Ｌフレームの画像データとの差分を検出し、検出された差分が有意な大きさを示すエリアを動きエリアＭＶＡとして検出する。ステップＳ４３では、第Ｋフレームの画像データおよび第Ｌフレームの画像データを静止画像エリア３２ｃからワークエリア３２ｄに複製し、ステップＳ４１で検出された動きエリアＭＶＡに属する部分画像データを複製された第Ｋフレームの画像データおよび第Ｌフレームの画像データの各々から切り出す。
【００５８】
ステップＳ４５では、第Ｋフレームおよび第Ｌフレームの間の動きを示す動きベクトルＶＣ＿ＫＬを切り出された部分画像データに基づいて算出する。ステップＳ４７では変数Ｋが“７”に達したか否かを判別し、判別結果がＮＯであれば、ステップＳ４９で変数ＫおよびＬをインクリメントしてからステップＳ４１に戻る。
【００５９】
変数ＫおよびＬは、連続する２つの数値を示しかつ“１”ずつ更新される。このため、第１フレームおよび第８フレームの各々については単一の動きエリアが検出される一方、第２フレーム〜第７フレームの各々については２つの動きエリアが検出される。この結果、合計１４個の部分画像に相当する部分画像データがステップＳ４３の処理によって切り出される。
【００６０】
ステップＳ４７の判別結果がＹＥＳであれば、ステップＳ５１に進む。ステップＳ５１では、合計８回の静止画取り込み処理に相当する期間に被写界に現れた移動体を表す移動体画像データを、上述の要領で切り出された部分画像データに基づいて作成する。ステップＳ５３では、合計８回の静止画取り込み処理に相当する期間に被写界に現れた移動体の背景を表す背景画像データを、ステップＳ４３の切り出し処理の後に残存する１４フレームの画像データに基づいて作成する。こうして作成された移動体画像データおよび背景画像データもまた、ワークエリア３２ｄに保持される。
【００６１】
ステップＳ５５では、ステップＳ４５で算出された動きベクトルＶＣ＿１２〜ＶＣ＿７８の平均に相当する平均動きベクトルを算出する。ステップＳ５７では算出された平均動きベクトルの方向を縮小方向として決定し、ステップＳ５９では上述した数１に従って縮小係数を算出する。ステップＳ６１ではステップＳ５７で決定された縮小方向と逆の方向を拡大方向として決定し、ステップＳ６３ではステップＳ５９で算出された縮小係数の逆数を拡大係数として決定する。
【００６２】
ステップＳ６５では、ステップＳ５３で作成された背景画像データをステップＳ５７で決定された方向に縮小する。縮小の程度は、ステップＳ５９で算出された縮小係数に従う。ステップＳ６７では、ステップＳ６５の処理によって作成された縮小画像データをステップＳ６１で決定された方向に拡大する。拡大の程度は、ステップＳ６３で算出された拡大係数に従う。これによって、縮小／拡大方向において低減された解像度を有する低解像度背景画像データが完成する。
【００６３】
ステップＳ６９では、ステップＳ５１で作成された移動体画像データをステップＳ６７で作成された低解像度背景画像データに合成し、これによって作成された流し撮り画像データをワークエリア３２ｄから静止画像エリア３２ｃに戻す。ステップＳ６９の処理が完了すると、上階層のルーチンに復帰する。
【００６４】
以上の説明から分かるように、ＣＰＵ２６は、シャッタボタン２８ｓｈの全押しを起点とする８フレーム期間（＝指定期間）に生成された８フレームの画像データをＳＤＲＡＭ３２の静止画像エリア３２ｃ取り込み(S31~S37)、同じ８フレーム期間に被写界に現れた移動体を静止画像エリア３２ｃに取り込まれた８フレームの画像データに基づいて検出する(S41)。ＣＰＵ２６はまた、検出された移動体の背景を表す背景画像データを静止画像エリア３２ｃに取り込まれた８フレームの画像データに基づいて作成し(S53)、作成された背景画像データを被写界から検出された移動体の動きに応じて異なる縮小態様で縮小し(S45, S55~S59, S65)、そして縮小された画像データを縮小態様と逆の態様で拡大する(S61~S63, S67)。ＣＰＵ２６はさらに、被写界から検出された移動体を表す移動体画像データを拡大された画像データつまり低解像度背景画像データに合成する(S43, S51, S69)。
【００６５】
このように、背景画像データは、移動体の動きに応じて異なる縮小態様で縮小された後、この縮小態様の逆の態様で拡大される。縮小処理および拡大処理を施された背景画像データは、移動体の動きが強調された画像となる。移動体画像データは、こうして得られた低解像度画像データに合成される。これによって、移動体の動きが強調された合成画像の作成に掛かる負荷が低減される。
【００６６】
なお、この実施例では、連続する２フレームの画像データの差分に基づいて動きエリアＭＶＡを検出し、検出した動きエリアに属する画像に基づいて移動体画像データを作成するとともに、検出した動きエリア以外の画像に基づいて静止画像データを作成するようにしている。さらに、平均動きベクトルは、動きエリアに属する部分画像に基づいて作成される。しかし、図１３および図１４に示すステップＳ３９〜Ｓ５５の処理に代えて図１６に示すステップＳ７１〜Ｓ８５の処理を実行し、これによって移動体画像データ，背景画像データおよび平均動きベクトルを作成するようにしてもよい。
【００６７】
図１６を参照して、ステップＳ７１では１フレーム目の画像データと４フレーム目の画像データとの差分を算出してマスク画像データを作成する。１フレーム目の画像データが図１７（Ａ）に示す被写界を表し、４フレーム目の画像データが図１７（Ｂ）に示す被写界を表す場合、マスク画像データは図１７（Ｃ）に示す要領で作成される。
【００６８】
ステップＳ７３では、作成されたマスク画像データの位置に対応する一部の画像データを８フレーム目の画像データから切り出し、切り出された画像データをマスク画像データの位置に対応して１フレーム目の画像データに貼り付ける。これによって、背景画像データが図１７（Ｄ）に示す要領で作成される。
【００６９】
ステップＳ７５では変数Ｋを“１”に設定し、ステップＳ７７では第Ｋフレームの画像データから動きを示す部分画像データを切り出す。切り出しにあたっては、ステップＳ７３で作成された背景画像データが参照される。ステップＳ７９では変数Ｋが“８”に達したか否かを判別し、判別結果がＮＯであればステップＳ８１で変数ＫをインクリメントしてからステップＳ７７に戻る一方、判別結果がＹＥＳであればステップＳ８３に進む。
【００７０】
ステップＳ８３では、ステップＳ７７の切り出しの後に残存する画像データに基づいて、移動体の平均動きベクトルを算出する。ステップＳ８５では、切り出した部分画像データに基づいて、移動体画像データを作成する。
【００７１】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、図１８に示すように通信Ｉ／Ｆ４６をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００７２】
また、この実施例では、ＣＰＵ２６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００７３】
１０ …ディジタルカメラ
１６ …イメージャ
２０ …前処理回路
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３４ …後処理回路
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に指定期間に属する複数のタイミングに対応する複数の被写界像に基づいて合成画像を作成する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、移動体の移動方向および移動量が、移動体と背景とを含むデジタル写真画像に基づいて検出される。背景画像データは検出された移動方向および移動量に基づいてブレ付加処理を施され、移動体画像データはブレ修正処理を施される。処理後の背景画像データおよび移動体画像データはその後、互いに加算される。この結果、流し撮りの写真画像と同様の効果を有するデジタル写真画像が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５００７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、背景画像データにブレを付加するにあたって、ボケマスクフィルタを施す処理や、フィルタ処理後の画像を移動体の移動方向に複数回ずらす処理などの複雑な処理が必要となる。
【０００５】
それゆえに、この発明の主たる目的は、移動体の動きが強調された合成画像の作成に掛かる負荷を低減できる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込み手段(S31~S37)、指定期間に被写界に現れた移動体を取り込み手段によって取り込まれた複数の被写界像に基づいて検出する検出手段(S41, S77)、検出手段によって検出された移動体の背景を表す背景画像を取り込み手段によって取り込まれた複数の被写界像に基づいて作成する作成手段(S53, S71~S73)、作成手段によって作成された背景画像を検出手段によって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小手段(S45, S55~S59, S65, S83)、縮小手段によって作成された縮小画像を縮小手段によって参照された縮小態様と逆の態様で拡大する拡大手段(S61~S63, S67)、および検出手段によって検出された移動体を表す物体像を拡大手段によって作成された拡大画像に合成する合成手段(S43, S51, S69, S71)を備える。
【０００７】
好ましくは、縮小手段は、移動体の動き量に応じて異なる縮小係数を算出する縮小係数算出手段(S45, S55, S59, S83)、および縮小係数算出手段によって算出された縮小係数を参照して背景画像を縮小する画像縮小手段(S65)を含む。
【０００８】
或る局面では、縮小手段は移動体の動き方向に相当する方向を縮小方向として決定する決定手段(S57)をさらに含む。
【０００９】
他の局面では、拡大手段は、縮小係数の逆数を算出する逆数算出手段(S63)、および逆数算出手段によって算出された逆数を参照して縮小画像を拡大する画像拡大手段(S67)を含む。
【００１０】
好ましくは、取り込み指示を受け付ける受け付け手段(S11)、および取り込み指示に応答して指定期間を定義する定義手段(S35)がさらに備えられる。
【００１１】
好ましくは、被写界を捉える撮像面を有する撮像手段(16)がさらに備えられ、取り込み手段によって取り込まれる被写界像は撮像手段の出力の少なくとも一部に相当する。
【００１２】
この発明に従う画像合成プログラムは、画像処理装置(10)に設けられたプロセッサ(26)に、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ(S31~S37)、指定期間に被写界に現れた移動体を取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ(S41, S77)、検出ステップによって検出された移動体の背景を表す背景画像を取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ(S53, S71~S73)、作成ステップによって作成された背景画像を検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ(S45, S55~S59, S65, S83)、縮小ステップによって作成された縮小画像を縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ(S61~S63, S67)、および検出ステップによって検出された移動体を表す物体像を拡大ステップによって作成された拡大画像に合成する合成ステップ(S43, S51, S69, S71)を実行させるための、画像合成プログラムである。
【００１３】
この発明に従う画像合成方法は、画像処理装置(10)によって実行される画像合成方法であって、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ(S31~S37)、指定期間に被写界に現れた移動体を取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ(S41, S77)、検出ステップによって検出された移動体の背景を表す背景画像を取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ(S53, S71~S73)、作成ステップによって作成された背景画像を検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ(S45, S55~S59, S65, S83)、縮小ステップによって作成された縮小画像を縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ(S61~S63, S67)、および検出ステップによって検出された移動体を表す物体像を拡大ステップによって作成された拡大画像に合成する合成ステップ(S43, S51, S69, S71)を備える。
【００１４】
この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ(S31~S37)、指定期間に被写界に現れた移動体を取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ(S41, S77)、検出ステップによって検出された移動体の背景を表す背景画像を取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ(S53, S71~S73)、作成ステップによって作成された背景画像を検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ(S45, S55~S59, S65, S83)、縮小ステップによって作成された縮小画像を縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ(S61~S63, S67)、および検出ステップによって検出された移動体を表す物体像を拡大ステップによって作成された拡大画像に合成する合成ステップ(S43, S51, S69, S71)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(46)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)であって、外部制御プログラムは、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ(S31~S37)、指定期間に被写界に現れた移動体を取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ(S41, S77)、検出ステップによって検出された移動体の背景を表す背景画像を取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ(S53, S71~S73)、作成ステップによって作成された背景画像を検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ(S45, S55~S59, S65, S83)、縮小ステップによって作成された縮小画像を縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ(S61~S63, S67)、および検出ステップによって検出された移動体を表す物体像を拡大ステップによって作成された拡大画像に合成する合成ステップ(S43, S51, S69, S71)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
この発明によれば、背景画像は、移動体の動きに応じて異なる縮小態様で縮小された後、この縮小態様の逆の態様で拡大される。縮小処理および拡大処理を施された背景画像は、移動体の動きが強調された画像となる。移動体を表す物体像は、こうして得られた背景画像に合成される。これによって、移動体の動きが強調された合成画像の作成に掛かる負荷が低減される。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】（Ａ）は１フレーム目の画像データの一例を示す図解図であり、（Ｂ）は２フレーム目の画像データの一例を示す図解図であり、（Ｃ）は３フレーム目の画像データの一例を示す図解図であり、（Ｄ）は４フレーム目の画像データの一例を示す図解図であり、（Ｅ）は５フレーム目の画像データの一例を示す図解図であり、（Ｆ）は６フレーム目の画像データの一例を示す図解図であり、（Ｇ）は７フレーム目の画像データの一例を示す図解図であり、（Ｈ）は８フレーム目の画像データの一例を示す図解図である。
【図６】（Ａ）は１フレーム目および２フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｂ）は２フレーム目および３フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｃ）は３フレーム目および４フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｄ）は４フレーム目および５フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図である。
【図７】（Ａ）は５フレーム目および６フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｂ）は６フレーム目および７フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図であり、（Ｃ）は７フレーム目および８フレーム目の画像データに基づく動きエリアの設定状態の一例を示す図解図である。
【図８】動きベクトルの検出動作の一例を示す図解図である。
【図９】（Ａ）は移動体画像データの一例を示す図解図であり、（Ｂ）は背景画像データの一例を示す図解図である。
【図１０】（Ａ）背景画像データに基づく縮小画像データの一例を示す図解図であり、（Ｂ）は縮小画像データに基づく拡大画像データの一例を示す図解図である。
【図１１】流し撮り画像データの一例を示す図解図である。
【図１２】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１６】この発明の他の実施例に適用されるＣＰＵの動作の一部を示す図解図である。
【図１７】（Ａ）は１フレーム目の画像データの一例を示す図解図であり、（Ｂ）は４フレーム目の画像データの一例を示す図解図であり、（Ｃ）はマスク画像データの一例を示す図解図であり、（Ｄ）は背景画像データの一例を示す図解図である。
【図１８】この発明のその他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。取り込み手段１は、指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む。検出手段２は、指定期間に被写界に現れた移動体を取り込み手段１によって取り込まれた複数の被写界像に基づいて検出する。作成手段３は、検出手段２によって検出された移動体の背景を表す背景画像を取り込み手段１によって取り込まれた複数の被写界像に基づいて作成する。縮小手段４は、作成手段３によって作成された背景画像を検出手段２によって検出された移動体の動きに応じて異なる縮小態様で縮小する。拡大手段５は、縮小手段４によって作成された縮小画像を縮小手段４によって参照された縮小態様と逆の態様で拡大する。合成手段６は、検出手段２によって検出された移動体を表す物体像を拡大手段５によって作成された拡大画像に合成する。
【００２１】
背景画像は、移動体の動きに応じて異なる縮小態様で縮小された後、この縮小態様の逆の態様で拡大される。縮小処理および拡大処理を施された背景画像は、移動体の動きが強調された画像となる。移動体を表す物体像は、こうして得られた背景画像に合成される。これによって、移動体の動きが強調された合成画像の作成に掛かる負荷が低減される。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２３】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａ（図３参照）に書き込まれる。
【００２５】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂ（図３参照）に書き込まれる。
【００２６】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２７】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２８】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００２９】
キー入力装置２８に設けられたシャッタボタン２８ｓｈが非操作状態にあるとき、ＣＰＵ２６は、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づいて簡易ＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが大まかに調整される。
【００３０】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価値を参照した厳格ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間もまたドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値に基づいてＡＦ処理を実行する。フォーカスレンズ１２は合焦点の探索のためにドライバ１８ａによって光軸方向に移動し、これによって発見された合焦点に配置される。この結果、スルー画像の鮮鋭度が向上する。
【００３１】
撮像モードは、モード切換えスイッチ２８ｍｄによって通常モードおよび流し撮りモードの間で切り換えられる。
【００３２】
通常モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、静止画取り込み処理を１回だけ実行する。この結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃ（図３参照）に退避される。
【００３３】
流し撮りモードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、その後に生成された連続８フレームの画像データを静止画像エリア３２ｃに取り込み、取り込まれた８フレームの画像データに基づいて１フレームの流し撮り画像データを作成する。流し撮り画像データは、ワークエリア３２ｄ（図３参照）で作成され、その後に静止画像エリア３２ｃに戻される。
【００３４】
こうして１フレームの静止画像データまたは流し撮り画像データが得られると、ＣＰＵ２６は、記録処理を実行するべく、対応する命令をメモリＩ／Ｆ４０に与える。メモリＩ／Ｆ４０は、静止画像エリア３２ｃに退避された１フレームの画像データまたは流し撮りデータをメモリ制御回路３０を通して読み出し、読み出された画像データまたは流し撮りデータをファイル形式で記録媒体４２に記録する。
【００３５】
流し撮り画像データは、以下の要領で作成される。まず、合計８回の静止画取り込み処理が垂直同期信号Ｖｓｙｎｃに応答して実行される。これによって、連続する８フレームの画像データが静止画像エリア３２ｃに確保される。
【００３６】
確保された８フレームの画像データは、たとえば図５（Ａ）〜図５（Ｈ）に示す８つの被写界を表す。図５（Ａ）〜図５（Ｈ）によれば、左右に延びる道路ＲＤ１とその奥に存在する郵便ポストＰＳ１および家ＨＳ１とが被写界に現れる。自動車ＭＣ１は、８回の静止画取り込み処理が実行される期間に、被写界の左から右に移動する。
【００３７】
８回の静止画取り込み処理が完了すると、変数Ｋが“１”〜“７”の各々に設定され、変数Ｌが“２”〜“８”の各々に設定される。変数ＫおよびＬは同時に設定され、変数Ｌは常に“Ｋ＋１”の値を示す。変数ＫおよびＬが定義されると、第Ｋフレームの画像データと第Ｌフレームの画像データとの差分が検出され、検出された差分が有意な大きさを示すエリアが動きエリアＭＶＡとして検出される。
【００３８】
第Ｋフレームの画像データおよび第Ｌフレームの画像データは静止画像エリア３２ｃからワークエリア３２ｄに複製され、検出された動きエリアＭＶＡに属する部分画像データは複製された第Ｋフレームの画像データおよび第Ｌフレームの画像データの各々から切り出される。第Ｋフレームおよび第Ｌフレームの間の動きを示す動きベクトルＶＣ＿ＫＬは、切り出された部分画像データに基づいて算出される。
【００３９】
上述の例では、動きエリアＭＶＡは、１フレーム目の画像データと２フレーム目の画像データとに基づいて図６（Ａ）に示す要領で検出され、２フレーム目の画像データと３フレーム目の画像データとに基づいて図６（Ｂ）に示す要領で検出され、３フレーム目の画像データと４フレーム目の画像データとに基づいて図６（Ｃ）に示す要領で検出され、そして４フレーム目の画像データと５フレーム目の画像データとに基づいて図６（Ｄ）に示す要領で検出される。
【００４０】
動きエリアＭＶＡはまた、５フレーム目の画像データと６フレーム目の画像データとに基づいて図７（Ａ）に示す要領で検出され、６フレーム目の画像データと７フレーム目の画像データとに基づいて図７（Ｂ）に示す要領で検出され、そして７フレーム目の画像データと８フレーム目の画像データとに基づいて図７（Ｃ）に示す要領で検出される。
【００４１】
切り出される部分画像データは、こうして検出された動きエリアＭＶＡに属する画像データに相当する。また、切り出された部分画像データに基づいて算出される動きベクトルＶＣ＿１２〜ＶＣ＿７８は、図８に示す方向および大きさを示す。
【００４２】
動きベクトルＶＣ＿１２〜ＶＣ＿７８が求められると、８回の静止画取り込み処理に相当する期間に被写界に現れた移動体を表す移動体画像データが、切り出された部分画像データに基づいて作成される。作成された移動体画像データは、ワークエリア３２ｄに保持される。また、８回の静止画取り込み処理に相当する期間に被写界に現れた移動体の背景を表す背景画像データが、部分画像データの切り出しの後にワークエリア３２ｄに残存する複数フレームの画像データに基づいて作成する。背景画像データもまた、ワークエリア３２ｄに保持される。上述の例では、移動体画像データは図９（Ａ）に示す要領で作成され、背景画像データは図９（Ｂ）に示す要領で作成される。
【００４３】
移動体画像データおよび背景画像データがこうして作成されると、動きベクトルＶＣ＿１２〜ＶＣ＿７８の平均に相当する平均動きベクトルが算出される。さらに、平均動きベクトルの方向が縮小方向として決定されるとともに、縮小係数が数１に従って算出される。数１によれば、縮小係数は定数αを平均動きベクトルの大きさで割り算した値に相当する。
［数１］
縮小係数＝α／平均動きベクトルの大きさ
α：定数
【００４４】
続いて、決定された縮小方向と逆の方向が拡大方向として決定され、数１に従って算出された縮小係数の逆数が拡大係数として決定される。
【００４５】
背景画像データは、決定された縮小方向に縮小される。縮小の程度は、算出された縮小係数に従う。したがって、図９（Ｂ）に示す背景画像データは図１０（Ａ）に示す要領で縮小される。
【００４６】
縮小画像データはその後、上述の要領で決定された拡大方向に拡大される。拡大の程度もまた、算出された拡大係数に従う。これによって、縮小／拡大方向において低減された解像度を有する低解像度背景画像データが得られる。図１０（Ａ）に示す縮小画像データを拡大したとき、低解像度背景画像データは図１０（Ｂ）に示す要領で作成される。
【００４７】
続いて、移動体画像データが低解像度背景画像データに合成され、これによって流し撮り画像データが完成する。図９（Ａ）に示す移動体画像データおよび図１０（Ｂ）に示す低解像度背景画像データに基づく場合、流し撮り画像データは図１１に示す要領で作成される。完成した流し撮り画像データは、ワークエリア３２ｄから静止画像エリア３２ｃに戻される。
【００４８】
ＣＰＵ２６は、図１２〜図１５に示す撮像タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００４９】
図１２を参照して、ステップＳ１では動画取込み処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ５で簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが大まかに調整される。
【００５０】
ステップＳ３の判別結果がＮＯからＹＥＳに更新されると、ステップＳ７で厳格ＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。スルー画像の明るさは厳格ＡＥ処理によって厳格に調整され、スルー画像の鮮鋭度はＡＦ処理によって向上する。
【００５１】
ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１３でＹＥＳであればそのままステップＳ３に戻り、ステップＳ１１でＹＥＳであればステップＳ１５〜Ｓ２１の処理を経てステップＳ３に戻る。
【００５２】
ステップＳ１５では、現時点の撮像モードが通常モードおよび流し撮りモードのいずれであるかを判別する。現時点の撮像モードが通常モードであれば、ステップＳ１７で静止画取り込み処理を実行し、現時点の撮像モードが流し撮りモードであれば、ステップＳ１９で流し撮り処理を実行する。
【００５３】
ステップＳ１７の静止画取り込み処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。ステップＳ１９の流し撮りの結果、シャッタボタン２８ｓｈの全押しの後に作成された８フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｂに退避され、退避された８フレームの画像データに基づいて１フレームの流し撮り画像データが作成される。流し撮り画像データの作成処理はワークエリア３２ｄ上で実行され、完成した流し撮り画像データは静止画像エリア３２ｃに戻される。
【００５４】
ステップＳ１７またはＳ１９の処理が完了すると、ステップＳ２１で記録処理を実行するべく、対応する命令をメモリＩ／Ｆ４０に与える。メモリＩ／Ｆ４０は、静止画像エリア３２ｃに格納された１フレームの画像データまたは流し撮りデータをメモリ制御回路３０を通して読み出し、読み出された画像データまたは流し撮りデータをファイル形式で記録媒体４２に記録する。
【００５５】
ステップＳ１９の流し撮り処理は、図１３〜図１５に示すサブルーチンに従って実行される。
【００５６】
まず、ステップＳ３１でフレーム番号に相当する変数Ｋを“１”に設定する。ステップＳ３３では、上述したステップＳ１７と同様の静止画取り込み処理を垂直同期信号Ｖｓｙｎｃの発生を待って実行する。ステップＳ３５では変数Ｋが“８”に達したか否かを判別し、判別結果がＮＯであればステップＳ３７で変数ＫをインクリメントしてからステップＳ３３に戻る一方、判別結果がＹＥＳであればステップＳ３９以降の処理に進む。したがって、ステップＳ３３の静止画取込処理は垂直同期信号Ｖｓｙｎｃに応答して合計８回実行され、連続する８フレームの画像データが静止画像エリア３２ｃに確保される。
【００５７】
ステップＳ３９では、変数ＫおよびＬをそれぞれ“１”および“２”に設定する。ステップＳ４１では、第Ｋフレームの画像データと第Ｌフレームの画像データとの差分を検出し、検出された差分が有意な大きさを示すエリアを動きエリアＭＶＡとして検出する。ステップＳ４３では、第Ｋフレームの画像データおよび第Ｌフレームの画像データを静止画像エリア３２ｃからワークエリア３２ｄに複製し、ステップＳ４１で検出された動きエリアＭＶＡに属する部分画像データを複製された第Ｋフレームの画像データおよび第Ｌフレームの画像データの各々から切り出す。
【００５８】
ステップＳ４５では、第Ｋフレームおよび第Ｌフレームの間の動きを示す動きベクトルＶＣ＿ＫＬを切り出された部分画像データに基づいて算出する。ステップＳ４７では変数Ｋが“７”に達したか否かを判別し、判別結果がＮＯであれば、ステップＳ４９で変数ＫおよびＬをインクリメントしてからステップＳ４１に戻る。
【００５９】
変数ＫおよびＬは、連続する２つの数値を示しかつ“１”ずつ更新される。このため、第１フレームおよび第８フレームの各々については単一の動きエリアが検出される一方、第２フレーム〜第７フレームの各々については２つの動きエリアが検出される。この結果、合計１４個の部分画像に相当する部分画像データがステップＳ４３の処理によって切り出される。
【００６０】
ステップＳ４７の判別結果がＹＥＳであれば、ステップＳ５１に進む。ステップＳ５１では、合計８回の静止画取り込み処理に相当する期間に被写界に現れた移動体を表す移動体画像データを、上述の要領で切り出された部分画像データに基づいて作成する。ステップＳ５３では、合計８回の静止画取り込み処理に相当する期間に被写界に現れた移動体の背景を表す背景画像データを、ステップＳ４３の切り出し処理の後に残存する１４フレームの画像データに基づいて作成する。こうして作成された移動体画像データおよび背景画像データもまた、ワークエリア３２ｄに保持される。
【００６１】
ステップＳ５５では、ステップＳ４５で算出された動きベクトルＶＣ＿１２〜ＶＣ＿７８の平均に相当する平均動きベクトルを算出する。ステップＳ５７では算出された平均動きベクトルの方向を縮小方向として決定し、ステップＳ５９では上述した数１に従って縮小係数を算出する。ステップＳ６１ではステップＳ５７で決定された縮小方向と逆の方向を拡大方向として決定し、ステップＳ６３ではステップＳ５９で算出された縮小係数の逆数を拡大係数として決定する。
【００６２】
ステップＳ６５では、ステップＳ５３で作成された背景画像データをステップＳ５７で決定された方向に縮小する。縮小の程度は、ステップＳ５９で算出された縮小係数に従う。ステップＳ６７では、ステップＳ６５の処理によって作成された縮小画像データをステップＳ６１で決定された方向に拡大する。拡大の程度は、ステップＳ６３で算出された拡大係数に従う。これによって、縮小／拡大方向において低減された解像度を有する低解像度背景画像データが完成する。
【００６３】
ステップＳ６９では、ステップＳ５１で作成された移動体画像データをステップＳ６７で作成された低解像度背景画像データに合成し、これによって作成された流し撮り画像データをワークエリア３２ｄから静止画像エリア３２ｃに戻す。ステップＳ６９の処理が完了すると、上階層のルーチンに復帰する。
【００６４】
以上の説明から分かるように、ＣＰＵ２６は、シャッタボタン２８ｓｈの全押しを起点とする８フレーム期間（＝指定期間）に生成された８フレームの画像データをＳＤＲＡＭ３２の静止画像エリア３２ｃ取り込み(S31~S37)、同じ８フレーム期間に被写界に現れた移動体を静止画像エリア３２ｃに取り込まれた８フレームの画像データに基づいて検出する(S41)。ＣＰＵ２６はまた、検出された移動体の背景を表す背景画像データを静止画像エリア３２ｃに取り込まれた８フレームの画像データに基づいて作成し(S53)、作成された背景画像データを被写界から検出された移動体の動きに応じて異なる縮小態様で縮小し(S45, S55~S59, S65)、そして縮小された画像データを縮小態様と逆の態様で拡大する(S61~S63, S67)。ＣＰＵ２６はさらに、被写界から検出された移動体を表す移動体画像データを拡大された画像データつまり低解像度背景画像データに合成する(S43, S51, S69)。
【００６５】
このように、背景画像データは、移動体の動きに応じて異なる縮小態様で縮小された後、この縮小態様の逆の態様で拡大される。縮小処理および拡大処理を施された背景画像データは、移動体の動きが強調された画像となる。移動体画像データは、こうして得られた低解像度画像データに合成される。これによって、移動体の動きが強調された合成画像の作成に掛かる負荷が低減される。
【００６６】
なお、この実施例では、連続する２フレームの画像データの差分に基づいて動きエリアＭＶＡを検出し、検出した動きエリアに属する画像に基づいて移動体画像データを作成するとともに、検出した動きエリア以外の画像に基づいて静止画像データを作成するようにしている。さらに、平均動きベクトルは、動きエリアに属する部分画像に基づいて作成される。しかし、図１３および図１４に示すステップＳ３９〜Ｓ５５の処理に代えて図１６に示すステップＳ７１〜Ｓ８５の処理を実行し、これによって移動体画像データ，背景画像データおよび平均動きベクトルを作成するようにしてもよい。
【００６７】
図１６を参照して、ステップＳ７１では１フレーム目の画像データと４フレーム目の画像データとの差分を算出してマスク画像データを作成する。１フレーム目の画像データが図１７（Ａ）に示す被写界を表し、４フレーム目の画像データが図１７（Ｂ）に示す被写界を表す場合、マスク画像データは図１７（Ｃ）に示す要領で作成される。
【００６８】
ステップＳ７３では、作成されたマスク画像データの位置に対応する一部の画像データを８フレーム目の画像データから切り出し、切り出された画像データをマスク画像データの位置に対応して１フレーム目の画像データに貼り付ける。これによって、背景画像データが図１７（Ｄ）に示す要領で作成される。
【００６９】
ステップＳ７５では変数Ｋを“１”に設定し、ステップＳ７７では第Ｋフレームの画像データから動きを示す部分画像データを切り出す。切り出しにあたっては、ステップＳ７３で作成された背景画像データが参照される。ステップＳ７９では変数Ｋが“８”に達したか否かを判別し、判別結果がＮＯであればステップＳ８１で変数ＫをインクリメントしてからステップＳ７７に戻る一方、判別結果がＹＥＳであればステップＳ８３に進む。
【００７０】
ステップＳ８３では、ステップＳ７７の切り出しの後に残存する画像データに基づいて、移動体の平均動きベクトルを算出する。ステップＳ８５では、切り出した部分画像データに基づいて、移動体画像データを作成する。
【００７１】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、図１８に示すように通信Ｉ／Ｆ４６をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００７２】
また、この実施例では、ＣＰＵ２６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００７３】
１０ …ディジタルカメラ
１６ …イメージャ
２０ …前処理回路
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３４ …後処理回路
【特許請求の範囲】
【請求項１】
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込み手段、
前記指定期間に被写界に現れた移動体を前記取り込み手段によって取り込まれた複数の被写界像に基づいて検出する検出手段、
前記検出手段によって検出された移動体の背景を表す背景画像を前記取り込み手段によって取り込まれた複数の被写界像に基づいて作成する作成手段、
前記作成手段によって作成された背景画像を前記検出手段によって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小手段、
前記縮小手段によって作成された縮小画像を前記縮小手段によって参照された縮小態様と逆の態様で拡大する拡大手段、および
前記検出手段によって検出された移動体を表す物体像を前記拡大手段によって作成された拡大画像に合成する合成手段を備える、画像処理装置。
【請求項２】
前記縮小手段は、前記移動体の動き量に応じて異なる縮小係数を算出する縮小係数算出手段、および前記縮小係数算出手段によって算出された縮小係数を参照して前記背景画像を縮小する画像縮小手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記縮小手段は前記移動体の動き方向に相当する方向を縮小方向として決定する決定手段をさらに含む、請求項２記載の画像処理装置。
【請求項４】
前記拡大手段は、前記縮小係数の逆数を算出する逆数算出手段、および前記逆数算出手段によって算出された逆数を参照して前記縮小画像を拡大する画像拡大手段を含む、請求項２または３記載の画像処理装置。
【請求項５】
取り込み指示を受け付ける受け付け手段、および
前記取り込み指示に応答して前記指定期間を定義する定義手段をさらに備える、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
被写界を捉える撮像面を有する撮像手段をさらに備え、
前記取り込み手段によって取り込まれる被写界像は前記撮像手段の出力の少なくとも一部に相当する、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
画像処理装置に設けられたプロセッサに、
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ、
前記指定期間に被写界に現れた移動体を前記取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ、
前記検出ステップによって検出された移動体の背景を表す背景画像を前記取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ、
前記作成ステップによって作成された背景画像を前記検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ、
前記縮小ステップによって作成された縮小画像を前記縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ、および
前記検出ステップによって検出された移動体を表す物体像を前記拡大ステップによって作成された拡大画像に合成する合成ステップを実行させるための、画像合成プログラム。
【請求項８】
画像処理装置によって実行される画像合成方法であって、
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ、
前記指定期間に被写界に現れた移動体を前記取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ、
前記検出ステップによって検出された移動体の背景を表す背景画像を前記取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ、
前記作成ステップによって作成された背景画像を前記検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ、
前記縮小ステップによって作成された縮小画像を前記縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ、および
前記検出ステップによって検出された移動体を表す物体像を前記拡大ステップによって作成された拡大画像に合成する合成ステップを備える、画像合成方法。
【請求項９】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ、
前記指定期間に被写界に現れた移動体を前記取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ、
前記検出ステップによって検出された移動体の背景を表す背景画像を前記取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ、
前記作成ステップによって作成された背景画像を前記検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ、
前記縮小ステップによって作成された縮小画像を前記縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ、および
前記検出ステップによって検出された移動体を表す物体像を前記拡大ステップによって作成された拡大画像に合成する合成ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ、
前記指定期間に被写界に現れた移動体を前記取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ、
前記検出ステップによって検出された移動体の背景を表す背景画像を前記取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ、
前記作成ステップによって作成された背景画像を前記検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ、
前記縮小ステップによって作成された縮小画像を前記縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ、および
前記検出ステップによって検出された移動体を表す物体像を前記拡大ステップによって作成された拡大画像に合成する合成ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【請求項１】
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込み手段、
前記指定期間に被写界に現れた移動体を前記取り込み手段によって取り込まれた複数の被写界像に基づいて検出する検出手段、
前記検出手段によって検出された移動体の背景を表す背景画像を前記取り込み手段によって取り込まれた複数の被写界像に基づいて作成する作成手段、
前記作成手段によって作成された背景画像を前記検出手段によって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小手段、
前記縮小手段によって作成された縮小画像を前記縮小手段によって参照された縮小態様と逆の態様で拡大する拡大手段、および
前記検出手段によって検出された移動体を表す物体像を前記拡大手段によって作成された拡大画像に合成する合成手段を備える、画像処理装置。
【請求項２】
前記縮小手段は、前記移動体の動き量に応じて異なる縮小係数を算出する縮小係数算出手段、および前記縮小係数算出手段によって算出された縮小係数を参照して前記背景画像を縮小する画像縮小手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記縮小手段は前記移動体の動き方向に相当する方向を縮小方向として決定する決定手段をさらに含む、請求項２記載の画像処理装置。
【請求項４】
前記拡大手段は、前記縮小係数の逆数を算出する逆数算出手段、および前記逆数算出手段によって算出された逆数を参照して前記縮小画像を拡大する画像拡大手段を含む、請求項２または３記載の画像処理装置。
【請求項５】
取り込み指示を受け付ける受け付け手段、および
前記取り込み指示に応答して前記指定期間を定義する定義手段をさらに備える、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
被写界を捉える撮像面を有する撮像手段をさらに備え、
前記取り込み手段によって取り込まれる被写界像は前記撮像手段の出力の少なくとも一部に相当する、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
画像処理装置に設けられたプロセッサに、
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ、
前記指定期間に被写界に現れた移動体を前記取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ、
前記検出ステップによって検出された移動体の背景を表す背景画像を前記取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ、
前記作成ステップによって作成された背景画像を前記検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ、
前記縮小ステップによって作成された縮小画像を前記縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ、および
前記検出ステップによって検出された移動体を表す物体像を前記拡大ステップによって作成された拡大画像に合成する合成ステップを実行させるための、画像合成プログラム。
【請求項８】
画像処理装置によって実行される画像合成方法であって、
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ、
前記指定期間に被写界に現れた移動体を前記取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ、
前記検出ステップによって検出された移動体の背景を表す背景画像を前記取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ、
前記作成ステップによって作成された背景画像を前記検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ、
前記縮小ステップによって作成された縮小画像を前記縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ、および
前記検出ステップによって検出された移動体を表す物体像を前記拡大ステップによって作成された拡大画像に合成する合成ステップを備える、画像合成方法。
【請求項９】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ、
前記指定期間に被写界に現れた移動体を前記取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ、
前記検出ステップによって検出された移動体の背景を表す背景画像を前記取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ、
前記作成ステップによって作成された背景画像を前記検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ、
前記縮小ステップによって作成された縮小画像を前記縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ、および
前記検出ステップによって検出された移動体を表す物体像を前記拡大ステップによって作成された拡大画像に合成する合成ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
指定期間に属する複数のタイミングにそれぞれ対応する複数の被写界像を取り込む取り込みステップ、
前記指定期間に被写界に現れた移動体を前記取り込みステップによって取り込まれた複数の被写界像に基づいて検出する検出ステップ、
前記検出ステップによって検出された移動体の背景を表す背景画像を前記取り込みステップによって取り込まれた複数の被写界像に基づいて作成する作成ステップ、
前記作成ステップによって作成された背景画像を前記検出ステップによって検出された移動体の動きに応じて異なる縮小態様で縮小する縮小ステップ、
前記縮小ステップによって作成された縮小画像を前記縮小ステップによって参照された縮小態様と逆の態様で拡大する拡大ステップ、および
前記検出ステップによって検出された移動体を表す物体像を前記拡大ステップによって作成された拡大画像に合成する合成ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１３８７２２（Ｐ２０１２−１３８７２２Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２８９０７６（Ｐ２０１０−２８９０７６）
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]