静止画像形成方法及びその記録装置
【課題】
移動する被写体の撮像時に生ずる画像の流れ又はブレが静止画に生じないように修復する。
【解決手段】
露光開始時点から露光終了時点までの間の撮像画像として、変調用拡散信号によって変調された画像成分を移動軌跡上に分散して撮像画像メモリに記憶し、当該撮像画像メモリに記憶された撮像画像を移動方向又は移動方向と逆方向に移動させながら復調用拡散信号によって再変調することにより、分散された画像成分を凝縮するような相互相関演算することによって高周波成分を失わずに含んだ被写体の鮮明な静止画を得ることができる。
移動する被写体の撮像時に生ずる画像の流れ又はブレが静止画に生じないように修復する。
【解決手段】
露光開始時点から露光終了時点までの間の撮像画像として、変調用拡散信号によって変調された画像成分を移動軌跡上に分散して撮像画像メモリに記憶し、当該撮像画像メモリに記憶された撮像画像を移動方向又は移動方向と逆方向に移動させながら復調用拡散信号によって再変調することにより、分散された画像成分を凝縮するような相互相関演算することによって高周波成分を失わずに含んだ被写体の鮮明な静止画を得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止画像形成方法及びその記録装置に関し、特にＣＭＯＳ素子のような電子的撮像素子を用いた電子カメラによって移動する被写体の静止画を撮像する場合に適用して好適なものである。
【背景技術】
【０００２】
電子的撮像素子を有する電子カメラによって移動する被写体を静止画像として撮像する際には、シャッタ速度を十分速く設定しなければ、記録された静止画像に流れやブレ（ｍｏｔｉｏｎ−ｂｌｕｒ）が生じることを避け得ない。
【０００３】
この画像の流れやブレは、原理上、図１３に示すように、速度ｖで例えば左から右へ移動する自動車の被写体像１の露光信号を、露光時間Ｔの間、ＣＭＯＳ素子に蓄積して行くが、当該露光時間Ｔの間に被写体像１が撮像画面上を移動するために、撮像画像２として、露光時間Ｔの各瞬時における多数の被写体像画像成分１Ａ、１Ｂ……１Ｎが積分手段３によって積分されることにより、互いに少しずつずれながら重ね合わされるように露光される（これを多重露光と呼ぶ）。
【０００４】
このような画像のブレを高速シャッタ速度で多重露光する手法を用いて低減する静止画像形成技術が提案されている（特許文献１参照）。
【特許文献１】特開平７−７６６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、図１３の従来の多重露光の結果得られる撮像画像２は、同一の被写体画像成分１Ａ、１Ｂ……１Ｎが多重に重なり合っているために、被写体像本来の画像情報のうち高周波情報が失われる不可逆処理が行われており、その結果本質的に当該失われた情報を取り戻して修復することは困難である。
【０００６】
本発明は以上の点を考慮してなされたもので、多重露光することにより得られる撮像画像から被写体が本来もっている高周波情報を失わない静止画像を得ることができるようにしようとするものである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するため本発明においては、移動する被写体１２の露光画像を変調用拡散信号Ｓ１３によって変調してなる撮像画像データＳ４を撮像画像メモリ１８に記憶することにより、移動時の被写体１２の画像成分１ＸＡ、１ＸＢ……１ＸＮを被写体１２の移動軌跡ＬＳに沿って分散させた撮像画像を得る撮像データ変調部１１Ａと、撮像画像メモリ１８から読み出した撮像画像データＳ２９を移動軌跡ＬＳに沿って被写体１２の移動方向又はその逆方向に移動させながら、復調用拡散信号Ｓ２３を用いて再変調することにより、分散された画像成分１ＸＡ、１ＸＢ……１ＸＮを露光開始点位置Ｐ０又は露光終了点位置Ｐ１に凝縮させてなる静止画像を得る静止画データ復調部１１Ｂと設ける。
【発明の効果】
【０００８】
露光開始時点ｔ０から露光終了時点ｔ１までの間の撮像画像データとして、変調用拡散信号Ｓ１３によって変調された画像成分１ＸＡ、１ＸＢ……１ＸＮを撮像画像メモリ１８に記憶し、当該撮像画像メモリ１８から読み出した撮像画像データ信号Ｓ２９を移動方向又は移動方向と逆方向に移動させながら復調用拡散信号Ｓ２３によって再変調することにより、分散された画像成分１ＸＡ、１ＸＢ……１ＸＮを相互相関演算によって凝縮することによって高周波成分を失わずに含む被写体１２の鮮明な静止画を得ることができる。
【発明を実施するための最良の形態】
【０００９】
以下図面について、本発明の一実施の形態を詳述する。
【００１０】
（１）全体構成
図１において、１１は全体として静止画記録装置を示し、移動する被写体１２の画像成分を変調用拡散信号Ｓ１３を用いて変調することにより撮像画像データを得る撮像データ変調部１１Ａと、撮像データ変調部１１Ａから得られる撮像画像データを復調用拡散信号Ｓ２３を用いて再変調することで相互相関をとることにより被写体１２の静止画データを復調する静止画データ復調部１１Ｂと、復調された静止画データを出力する静止画データ出力部１１Ｃとを有する。
【００１１】
撮像データ変調部１１Ａは例えば自動車でなる移動する被写体１２から到来する撮像光ＬＡが受光レンズ系１３及び液晶シャッタ１４でなるシャッタ手段を通って撮像素子１５に入射する。
【００１２】
液晶シャッタ１４は中央処理ユニット１６から与えられるシャッタ信号Ｓ１によって所定の露光時間Ｔ（例えば１／６０秒）の間だけ撮像光ＬＡを透過する。
【００１３】
かくして撮像素子１５の各画素を構成するＣＭＯＳ素子１５Ａには露光時間Ｔの間撮像光ＬＡが露光され、その結果各画素ごとに得られる撮像信号Ｓ２が可変利得増幅器１５Ｂを介して撮像出力信号Ｓ３としてＡ／Ｄ変換回路１７に出力される。
【００１４】
Ａ／Ｄ変換回路１７は、各画素ごとに得られる撮像出力信号Ｓ３を撮像データＳ４に変換して、中央処理ユニット１６の書込み・読出し制御信号Ｓ５によって制御される撮像画像メモリ１８に１枚の静止画を構成する各画素データとして取り込ませる。
【００１５】
中央処理ユニット１６は発生制御信号Ｓ１２を拡散信号発生回路２２に与えることにより、シャッタ信号Ｓ１によって液晶シャッタ１４が露光時間Ｔの間露光動作するタイミングで変調用拡散信号Ｓ１３を発生させ、この変調用拡散信号Ｓ１３に基づいて利得制御回路２１から可変利得増幅器１５Ｂに対する利得制御信号Ｓ１１を送出させる。
【００１６】
変調用拡散信号（後述する復調用拡散信号も同様に）は、自分自身をずらしながら重ね合せたとき、ずらし幅が０のときのみ波形が一致し、それ以外のずらし幅ではほとんど波形の類似性が見られない信号（例えばチャープ信号、Ｍ系列がこれに該当する）でなる。かくして変調用拡散信号（及び復調用拡散信号）は、自己相関をとるとほぼインパルスになるような特性をもつと共に、スペクトルが広く一様に分布するような特性をもつ。
【００１７】
この実施の形態の場合、変調用拡散信号Ｓ１３は、図２に示すように、時間の経過に従って周波数が低い方から高い方へ正弦波形をもって連続的に変化するチャープ信号でなる。
【００１８】
この変調用拡散信号Ｓ１３は、シャッタ信号Ｓ１の露光開始時点ｔ０において信号レベルが「０」から「１」に立ち上がると共に、以後シャッタ信号Ｓ１が露光終了時点ｔ１になるまでの間周波数を低い方から高い方へ連続的に変化させながら信号レベルが「１」及び「−１」間を正弦波形をもちながら変化し、かつ時点ｔ０以前及び時点ｔ１以降においては信号レベルが「０」になる。
【００１９】
利得制御回路２１は、変調用拡散信号Ｓ１３に基づいて変化する利得制御信号Ｓ１１によって可変利得増幅器１５Ｂを制御することにより、撮像素子１５から送出される撮像出力信号Ｓ３の各画素の信号レベルを、露光開始時点ｔ０から露光終了時点ｔ１に至るまで変調用拡散信号Ｓ１３に応じて変化させ、その結果ＣＭＯＳ素子１５Ａから得られる撮像信号Ｓ２を変調用拡散信号Ｓ１３によって変調してなる撮像出力信号Ｓ３（従って撮像データＳ４）が撮像画像メモリ１８に撮像画像として取り込まれる。
【００２０】
かくして撮像画像メモリ１８に取り込まれた撮像画像ＰＩＣは、図３に示すように、ｘｙ座標上の各画素（ｘ，ｙ）において、被写体が静止しているときの輝度分布ｆ（ｘ，ｙ）が移動しながらかつ輝度変化を受け、それらの積算されたものが記録される。
【００２１】
例えば、静止時の被写体のある１点の画素（ｘ´，ｙ）に着目し、その輝度をｆ（ｘ´，ｙ）とする。被写体の移動によって、この画素点が液晶シャッタ１４の露光時間Ｔの間に水平方向に速度ｖで移動したとすると、露光開始時点ｔ０の位置Ｐ０（ｘ´，ｙ）から移動軌跡ＬＳを通って露光終了時点ｔ１の位置Ｐ１（ｘ´＋ｖＴ，ｙ）へと移動する。
【００２２】
このとき移動軌跡ＬＳ上の各点Ｐ２（ｘ´＋ｖτ，ｙ）（ただし、０≦τ≦Ｔ）における撮像画像Δｇ（ｘ´＋ｖτ，ｙ）は、次式
【００２３】
【数１】
【００２４】
のように、移動軌跡ＬＳ上の点Ｐ０（ｘ´，ｙ）から点Ｐ１（ｘ´＋ｖＴ，ｙ）までの間の各点において、撮像画像の輝度ｆ（ｘ´，ｙ）が、変調用拡散信号Ｓ１３（＝ｈ（τ））の変化に応じて変化する画像成分データとして、空間的輝度変化を表す画素データに分散されて撮像画像メモリ１８に取り込まれる。
【００２５】
ここでｘ＝ｘ´＋ｖτと変数置換し、画素点（ｘ，ｙ）における輝度Δｇ（ｘ，ｙ）として（１）式を書き直すと、次式
【００２６】
【数２】
【００２７】
となり、これは撮像画像上の画素点（ｘ，ｙ）での輝度Δｇ（ｘ，ｙ）が、ｖτだけ戻った点（ｘ−ｖτ，ｙ）での被写体の輝度ｆ（ｘ−ｖτ，ｙ）をｈ(τ)だけ輝度変化させたものとして記録されることを意味する。
【００２８】
（１）式及び（２）式は時刻τにおける輝度であり、移動によってτは０からＴまで進むから、最終的に撮像画像メモリ１８に取り込まれる被写体の撮像画像情報は、その積算として次式
【００２９】
【数３】
【００３０】
のように、各時点τにおける輝度情報ｆ（ｘ−ｖτ，ｙ）に変調用拡散信号ｈ（τ）を乗算して得られる分散された画像成分を積分する（この処理は畳み込み積分をとることに相当する）ことにより得られる画像情報ｇ（ｘ，ｙ）として表し得る。
【００３１】
このようにして撮像データ変調部１１Ａの撮像画像メモリ１８に取り込まれた撮像データＳ４（＝ｇ（ｘ，ｙ））に含まれる被写体の画像成分ｆ（ｘ−ｖτ，ｙ）は、中央処理ユニット１６の制御の下に、静止画データ復調部１１Ｂにおいて、復調用拡散信号Ｓ２３との相互相関演算を行うことにより復調される。
【００３２】
静止画データ復調部１１Ｂは、中央処理ユニット１６の書込み・読取り制御信号Ｓ５によって撮像画像メモリ１８から読み出された撮像画像読取信号Ｓ２１（＝ｇ（ｘ，ｙ））を、中央処理ユニット１６からの相関演算制御信号Ｓ２２によって相関演算回路３１に受けて、当該相関演算回路３１において、拡散信号発生回路２２から得られる復調用拡散信号Ｓ２３と、動き検出回路３２において検出された撮像画像の移動方向信号Ｓ２４及び移動速度信号Ｓ２５とに基づいて相互相関演算をする。
【００３３】
この実施の形態の場合、動き検出回路３２は、撮像画像メモリ１８が露光開始時点ｔ０から露光終了時点ｔ１までの露光時間Ｔの画像情報を取り込むのに対して、その一部、例えば撮像データＳ４の前半部を動き検出用画像メモリ３３に取り込むことにより、当該前半部の画像情報Ｓ２６を得てこれを動き検出回路３２に与える。
【００３４】
動き検出回路３２は、当該動き検出用画像メモリ３３の画像データと、撮像画像メモリ１８の撮像画像データのうち後半部の画像データＳ２７とを比較して、両者の差異に基づいて被写体の移動方向及び移動速度を検出する。
【００３５】
中央処理ユニット１６は、当該移動方向信号Ｓ２４及び移動速度信号Ｓ２５に基づいて被写体の移動軌跡ＬＳ（図３）を知ると共に、この移動軌跡ＬＳとは逆方向の移動軌跡ＬＳＸ（図４）に沿って撮像画像ＰＩＣを移動させながら復調用拡散信号Ｓ２３（＝ｈ（τ））によって撮像画像読取信号Ｓ２１（＝ｇ（ｘ，ｙ））を再変調し、これにより復調用拡散信号Ｓ２３（＝ｈ（τ））と、撮像画像読取信号Ｓ２１（＝ｇ（ｘ，ｙ））に含まれている変調用拡散信号Ｓ１３（＝ｈ（τ））の信号成分との相互相関演算を、相関演算回路３１において実行させる。
【００３６】
この実施の形態の場合、復調用拡散信号Ｓ２３（＝ｈ（τ））は、拡散信号発生回路２２において、図２の変調用拡散信号Ｓ１３（＝ｈ（τ））と同じ拡散信号の時間軸を被写体の移動速度ｖに合わせて伸縮させることにより相互相関演算ができるように信号処理されて発生される。
【００３７】
相関演算回路３１は、次式
【００３８】
【数４】
【００３９】
のような演算結果を得、当該演算結果を静止画信号Ｓ２９として、中央処理ユニット１６の書込み・読取り制御信号Ｓ２８によって制御される静止画像メモリ３４に格納する。
【００４０】
静止画像メモリ３４に静止画信号Ｓ２９として格納された静止画像は、露光により得た各画素信号を変調用拡散信号Ｓ１３（＝ｈ（τ））によって被写体の移動に応じて移動軌跡ＬＳ上に分散した画像成分情報（図３）を、図４に示すように、逆方向移動軌跡ＬＳＸに沿って撮像画像ＰＩＣを移動させながら再変調処理をしたことにより、図５に示すように、移動軌跡ＬＳ上に分散されている被写体画像成分１ＸＡ、１ＸＢ……１ＸＮが、被写体の露光開始時点ｔ０に対応する画像上の点Ｐ０（ｘ，ｙ）に凝縮され、これにより、露光時間Ｔ（＝１／６０秒）の間の被写体の移動によって移動方向に拡がった画像の流れ又はブレが圧縮されて元の被写体に復元される。
【００４１】
静止画像メモリ３４に格納された静止画データは、中央処理ユニット１６によって静止画読出信号Ｓ３０として静止画データ出力部１１Ｃの圧縮符号化回路４１に読み出され、伝送可能な画像信号に変換された後、出力画像メモリ４２に取り出されることにより、必要に応じて静止画出力信号Ｓ３１として外部に伝送される。
【００４２】
（２）静止画記録装置の作用効果
中央処理ユニット１６のシャッタ信号Ｓ１によって移動する被写体１２（例えば図１３の場合と同様の自動車）を撮像したとき、撮像データ変調部１１Ａにおいて、移動する被写体１２の撮像光ＬＡが受光レンズ系１３及び液晶シャッタ１４を介して撮像素子１５のＣＭＯＳ素子１５Ａに露光することにより、ＣＭＯＳ素子１５Ａには、図５に示すように、露光開始時点ｔ０から露光終了時点ｔ１までの露光時間Ｔの間に被写体像１Ｘがｘ軸方向に速度ｖで移動する被写体画像成分１ＸＡ、１ＸＢ……１ＸＮとして多重露光される。
【００４３】
この被写体画像成分１ＸＡ、１ＸＢ……１ＸＮに対応する撮像信号Ｓ２は、可変利得増幅器１５Ｂにおいて利得制御信号Ｓ１１によって利得変調されることにより、それぞれ変調用拡散信号Ｓ１３（＝ｈ（τ））の各タイミングに相当する輝度に変調されて図３に示す移動軌跡ＬＳ上を露光開始点Ｐ０（ｘ，ｙ）から露光終了点Ｐ１までの間に、（１）式の変調信号ｆ（ｘ´，ｙ）ｈ（τ）のように輝度が変化しながら空間的輝度変化として分散して取り込まれる。
【００４４】
かくして空間的輝度変化として分散された画像成分１ＸＡ、１ＸＢ……１ＸＮを積分手段３Ｘにおいて積分した撮像画像２Ｘとして含む撮像データＳ４がＡ／Ｄ変換回路１７から撮像画像メモリ１８に取り込まれる。
【００４５】
撮像画像メモリ１８に取り込まれた撮像画像は、静止画データ復調部１１Ｂの相関演算回路３１に撮像画像読取信号Ｓ２１として読み取られると共に、中央処理ユニット１６において、動き検出回路３２から検出される移動方向信号Ｓ２４及び移動速度信号Ｓ２５によって指定される移動方向とは逆方向に移動速度ｖに対応する条件で、（４）式に基づいて復調用拡散信号Ｓ２３によって再変調され、これにより得られる相関演算結果信号Ｓ２９が静止画像メモリ３４に格納される。
【００４６】
撮像画像メモリ１８に取り込まれた画像は、図３に示すように、移動軌跡ＬＳの方向（この実施の形態の場合水平方向）に露光開始点Ｐ０から露光終了点Ｐ１までの間の各画素において、被写体の輝度ｆ（ｘ，ｙ）に対して変調用拡散信号Ｓ１３（＝ｈ（τ））を乗算した画像成分情報を順次分散させた構成を有する。
【００４７】
この撮像画像メモリ１８に取り込まれた画像成分情報について、中央処理ユニット１６は、静止画データ復調部１１Ｂの相関演算回路３１において図４のように逆方向の移動軌跡ＬＳＸの方向に撮像画像ＰＩＣを移動させながら復調用拡散信号Ｓ２３によって変調し、当該変調信号を（４）式によって積分するような相関演算処理を実行する。
【００４８】
このとき露光開始点Ｐ０における積分結果は、図３において移動軌跡ＬＳ上に分散した画像成分に復調用拡散信号Ｓ２３の対応するタイミングの値を乗算した後露光開始点Ｐ０に集めて累算して行くような演算を実行する。
【００４９】
このとき露光開始点Ｐ０に凝縮される静止画像データは、静止画像ＰＩＣの画像データに対して復調用拡散信号Ｓ２３を乗算したものを累積して行く結果になるから、変調時に用いた変調用拡散信号Ｓ１３（＝ｈ（τ））と、復調時に用いた復調用拡散信号Ｓ２３（この実施の形態の場合同じ拡散信号ｈ（τ））との自己相関をとる演算をしたことになる。従って、変調用拡散信号ｈ（τ）によって拡散処理された撮像画像ＰＩＣと、復調用画像信号ｈ（τ）との相互相関処理では、唯一露光開始点Ｐ０のみにおいて強い相関が現れるため、露光終了点Ｐ１方向へと分散された全ての画像成分が露光開始点Ｐ０上に凝縮される。これが全ての画素において同時に処理されることで元の被写体像が得られる。
【００５０】
この結果露光開始点Ｐ０に凝縮された相関演算結果データは、被写体１２が本来もっている画像成分の全てを含む相関演算結果信号Ｓ２９として静止画像メモリ３４に格納される。
【００５１】
このように、静止画像メモリ３４に格納された静止画像データは、全ての画像成分が、凝縮された結果として高周波信号成分を失うことなく含んだ被写体の画像情報として取り出されることになり、その結果液晶シャッタ１４の露光時間内に被写体が移動することにより多重露光された画像から、露光開始時点ｔ０において撮像された被写体像がそのまま復元されたことになる。
【００５２】
以上の構成によれば、撮像画像メモリ１８の撮像画像として、被写体の移動方向に変調用拡散信号Ｓ１３（＝ｈ（τ））によって輝度変調されて得られる画像要素１ＸＡ、１ＸＢ……１ＸＮを分散して記憶すると共に、当該撮像画像を被写体１２の移動軌跡ＬＳに沿って逆方向に移動させながら復調用拡散信号Ｓ２３（＝ｈ（τ））によって再変調して累算することにより、分散された画素要素１ＸＡ、１ＸＢ……１ＸＮ画素要素を凝縮できる。
【００５３】
かくして凝縮された画素情報には被写体の高周波信号成分が失われずに含まれており、これは撮像画像メモリ１８の画像データに含まれる変調用拡散信号Ｓ１３（＝ｈ（τ））と復調用拡散信号Ｓ２３（＝ｈ（τ））との相互相関演算がとられることにより抽出できる。
【００５４】
その結果、移動する被写体１２を例え多重露光したとしても、被写体の画像を流れやブレをもたない鮮明な静止画像に修復することができる。
【００５５】
図６（Ａ）ないし（Ｃ）は本発明の作用効果を確認するためのシミュレーション結果を示すもので、被写体を撮像した原画像ＰＣ１（図６（Ａ））について水平方向にブレを生じさせたブレ画像ＰＣ２（図６（Ｂ））を撮像画像メモリ１８に取り込み、このブレ画像ＰＣ２について相関演算回路３１による相互相関演算をしたところ、図６（Ｃ）に示すような修復画像ＰＣ３を得ることができた。
【００５６】
この修復画像ＰＣ３によれば、ブレ画像ＰＣ２においてブレ方向に分散された画像要素が凝縮されることにより高周波成分を失わずに修復した画像が得られることを確認できた。
【００５７】
（３）被写体画像の修正原理
図３に示すように、画像上の被写体の移動方向をｘ軸にとりかつその直角方向をｙ軸にとり、また被写体の静止時の輝度分布をｆ（ｘ，ｙ）、拡散信号をｈ（τ）、画像上の移動速度をｖとすると、撮像データ変調部１１Ａの処理は次式
【００５８】
【数５】
【００５９】
のように定式化できる。
【００６０】
（５）式において被写体はｆ（ｘ−ｖτ，ｙ）へ平行移動すると共に、同時に微小時間Δτの間に輝度がｈ（τ）Δτ倍されるためこのときの撮像面上への瞬時移動画像はｆ（ｘ−ｖτ，ｙ）ｈ（τ）Δτとなる。
【００６１】
これが全露光時間の各時点にわたって多重露光されるので、変調後の撮像画像は全時点を積分した値になる。
【００６２】
ただし、移動する被写体が画像フレームからはみ出さない程度の時間幅０≦ｔ≦Ｔにおいてのみｈ（τ）は値を持ち、それ以外では０をとるものとする。
【００６３】
（５）式の演算結果は、時間的輝度変化として与えた変調が撮像後の画像上においては移動方向への空間的輝度変化として分散されて記録される。
【００６４】
特に拡散信号ｈ（τ）として以下の（11）式を満たす関数を選ぶことにより、撮像画像に流れやブレが生じても、撮像画像メモリ１８には、高周波情報を残したまま被写体画像情報が記録される。
【００６５】
一方静止画データ復調部１１Ｂにおいては、変調用拡散信号Ｓ１３（＝ｈ（τ））を移動速度に合わせて伸縮させると共に、その波形と撮像画像メモリ１８に記憶された変調画像データとの相互相関演算を相関演算回路３１で実行し、その演算結果を静止画像メモリ３４に記録する。
【００６６】
この処理は、次の（６）式
【００６７】
【数６】
【００６８】
によって表すもので、図４に示すように、被写体の移動方向とは逆向きに撮像画像を移動させながら、同じ拡散信号で再度変調を行うことに対応する。
【００６９】
かくして逆向きに撮像画像を移動させながら同じ拡散信号で再変調することにより、図３に示すように、ブレによって移動方向に拡散した画像要素が露光開始点Ｐ０に凝縮されることにより、もとの被写体が復元される。
【００７０】
この被写体の復元は以下のように証明できる。
【００７１】
（６）式に（５）式を代入すると、次式
【００７２】
【数７】
【００７３】
が得られる。
【００７４】
ここで、次式
【００７５】
【数８】
【００７６】
と置いてｓをｕで置換すると、（７）式は次式
【００７７】
【数９】
【００７８】
となる。
【００７９】
ここで（８）式から次式
【００８０】
【数１０】
【００８１】
が得られるから、これを（９）式に代入すると、（９）式は次式
【００８２】
【数１１】
【００８３】
となる。
【００８４】
（11）式において、特に拡散信号ｈ（τ）として、自己相関をとればインパルスになるδ関数δ（ｘ）になるように、次式
【００８５】
【数１２】
【００８６】
を満たすような関数を選定すれば、（11）式は、
【００８７】
【数１３】
【００８８】
となる。
【００８９】
かくして（６）式の変調演算結果として、流れやブレが修正された被写体の推定画像が得られる。
【００９０】
この実施の形態の一例として用いるチャープ信号（周波数が時間と共に低いほうから高いほうへ（あるいはその逆方向へ）連続的に変化する信号）は（11）式を満足する拡散信号のひとつである。
【００９１】
ここでδ関数δ（ｘ）は、次式
【００９２】
【数１４】
【００９３】
を満たすものである。
【００９４】
（４）他の実施の形態
（４−１）上述の図１〜図６の実施の形態においては、変調用拡散信号Ｓ１３（＝ｈ（τ））として図２に示すチャープ信号を用いたが、拡散信号としては、（12）式について上述したように自己相関演算をしたときほぼδ関数になるような関数信号であれば良く、図７に示すようなＭ系列を用いても、上述の場合と同様の効果を得ることができる。
【００９５】
シミュレーション結果として、図６（Ａ）及び（Ｂ）のような原画像ＰＣ１及びブレ画像ＰＣ２の画像データに基づいてＭ系列でなる拡散信号を用いて復調したところ、図８に示すように、原画像ＰＣ１（図６（Ａ））の画像情報に含まれている、高周波成分を失わないような修復画像ＰＣ４を得ることができた。
【００９６】
（４−２）上述の図１〜図６の実施の形態においては、被写体の移動方向が、ｘ軸方向の場合について述べたが、移動方向はこれに限らずｘ軸と直行するｙ軸方向や、ｘ軸と斜行する斜め方向に移動する場合にも、上述の実施の形態の場合と同様にして、流れ又はブレを有する撮像画像から画像の修復をすることができる。
【００９７】
（４−３）図１〜図６の実施の形態においては、撮像データ変調部１１Ａにおける変調用拡散信号Ｓ１３に基づく変調処理を、利得制御回路２１の利得制御信号Ｓ１１を用いて可変利得増幅器１５Ｂの利得を制御することにより行う場合について述べたが、当該利得制御回路２１に代え、図９に示すように、透過率制御回路２１Ｘを設け、その透過率制御信号Ｓ１１Ｘを用いて液晶シャッタ１４でなるシャッタ手段の透過率を制御するようにしても良い。
【００９８】
この場合、移動する被写体からの撮像光ＬＡは、液晶シャッタ１４を透過する際に拡散信号Ｓ１３（＝ｈ（τ））によって変調される。
【００９９】
従って撮像素子１５のＣＭＯＳ素子１５Ａに対する露光光の明るさが変調用拡散信号Ｓ１３（＝ｈ（τ））によって変調されることにより、図１の場合と同様の撮像出力信号Ｓ３が得られ、これにより図１〜図６について上述したと同様の画像の修復処理をすることができる。
【０１００】
（４−４）図１〜図６の静止画記録装置１１においては、変調用拡散信号Ｓ１３（＝ｈ（τ））に基づいて利得制御回路２１の利得制御信号Ｓ１１によって可変利得増幅器１５Ｂの利得を制御することにより、変調用拡散信号Ｓ１３によって変調した撮像出力信号Ｓ３を得るようにした場合について述べたが、これに代え、図１０に示すように、光量制御回路２１Ｙから得られる光量制御信号Ｓ１１Ｙによって、移動する被写体１２を照明する照明具２１Ｚの照度を制御するようにしても良い。
【０１０１】
この場合、被写体１２から受光レンズ系１３及び液晶シャッタ１４を介して撮像素子１５に入射する撮像光ＬＡの明るさが変調用拡散信号Ｓ１３（＝ｈ（τ））によって変調されることにより、図１〜図６について上述したと同様の撮像出力信号Ｓ３を得ることができる。
【０１０２】
よって、図１０の静止画記録装置１１Ｙによっても、図１〜図６の場合と同様にして撮像信号の修復をすることができる。
【０１０３】
（４−５）図１〜図６について上述した実施の形態においては、移動軌跡ＬＳ（図３）上に分散した撮像画像成分を凝縮する際に、被写体の移動方向とは逆方向の逆方向移動軌跡ＬＳＸ（図４）に沿う方向に撮像画像を移動させながら変調時に用いた変調用拡散信号Ｓ１３（＝ｈ（τ））と同一の拡散信号でなる復調用拡散信号Ｓ２３（＝ｈ（τ））を用いて相互相関演算を行うようにした場合について述べたが、相関演算はこれに限らず、被写体の移動方向に撮像画像を移動させながら、変調時に用いた変調用拡散信号Ｓ１３（＝ｈ（τ））の時間経過とは逆の時間経過をもつ拡散信号によって再変調することにより相関演算を行うようにしても、上述の場合と同様の作用効果を得ることができる。
【０１０４】
この実施の形態の場合には、図４に対応させて図１１に示すように、撮像画像ＰＩＣを露光開始点Ｐ０から露光終了点Ｐ１の方向に移動させながら、図１２に示すように、復調用拡散信号として、図１の場合の復調用拡散信号Ｓ２３とは時間的に逆方向に変化する（周波数が時間と共に高いほうから低いほうへ連続的に変化する）拡散信号Ｓ１３Ｘを用いる。
【０１０５】
このようにすれば、復調時には撮像画像の移動軌跡ＬＳ（図３）上に分散された画像成分が露光終了点Ｐ１の位置に凝縮される。
【０１０６】
すなわち、図１１のように移動軌跡ＬＳＹ上へと分散された露光開始点Ｐ０の画素情報は、図１２に示すような時間軸が逆向きの復調用拡散信号と当該分散画像（すなわち撮像画像）との相関をとることにより、露光終了点Ｐ１へと凝縮させることになる。
【０１０７】
図７及び図８のＭ系列を用いた場合も、上述と同様の変更をしても良い。
【０１０８】
（４−６）上述の実施の形態においては、変調用拡散信号Ｓ１３として用いたチャープ信号として、図２のように、「周波数が時間と共に低いほうから高いほうへ連続的に変化する」ような信号を適用したが、これに代え、「その逆に、高いほうから低いほうへ連続的に変化する」ような信号を適用するようにしても良く、このようにしても上述の場合と同様の作用効果を得ることができる。
【産業上の利用可能性】
【０１０９】
本発明は、移動する被写体を所定の露光時間で多重露光して静止画を得る場合に利用できる。
【図面の簡単な説明】
【０１１０】
【図１】本発明による静止画記録装置のうち、撮像素子１５の利得を制御することにより被写体の輝度を拡散信号によって変調する、第１の実施の形態を示すブロック図である。
【図２】図１において使用する変調用拡散信号の一列を示す信号波形図である。
【図３】撮像画像上の被写体像の移動の説明に供する略線図である。
【図４】撮像画像から被写体を復調する処理の説明に供する略線図である。
【図５】被写体が輝度変調を受けながら移動することによって多重露光される様子を説明した略線図である。
【図６（Ａ）】シミュレーションにおいて用いられた原画像を示す略線図である。
【図６（Ｂ）】シミュレーションにおいて用いられたブレ画像を示す略線図である。
【図６（Ｃ）】シミュレーションによって得られた修復画像を示す略線図である。
【図７】変調用拡散信号Ｓ１３（＝ｈ（τ））としてＭ系列を用いた他の実施の形態の説明に供する信号波形図である。
【図８】図７のＭ系列の拡散信号を用いた場合に、シミュレーション結果として得られる修復画像を示す略線図である。
【図９】本発明による静止画記録装置のうち、液晶シャッタの透過率を拡散信号によって変調する、他の実施の形態を示すブロック図である。
【図１０】本発明による静止画記録装置のうち、光量制御回路の光量制御信号によって照明具を制御するこにより、被写体の照度を拡散信号によって変調する、さらに他の実施の形態を示すブロック図である。
【図１１】さらに他の実施の形態において、復調時における撮像画像の移動方向の説明に供する略線図である。
【図１２】図１１の復調時に用いる復調用拡散信号を示す信号波形図である。
【図１３】輝度変調を伴わない従来方式による多重露光の様子を説明した略線図である。
【符号の説明】
【０１１１】
１、１Ｘ……被写体像、（１Ａ、１Ｂ……１Ｎ）、（１ＸＡ、１ＸＢ……１ＸＮ）……被写体画像成分、２、２Ｘ……撮像画像、３、３Ｘ……積分手段、１１、１１Ｘ、１１Ｙ……静止画記録装置、１１Ａ……撮像データ変調部、１１Ｂ……静止画データ復調部、１１Ｃ……静止画データ出力部、１２……被写体、１３……受光レンズ系、１４……液晶シャッタ、１５……撮像素子、１５Ａ……ＣＭＯＳ素子、１５Ｂ……可変利得増幅器、１６……中央処理ユニット、１７……Ａ／Ｄ変換回路、１８……撮像画像メモリ、２１……利得制御回路、２１Ｘ……透過率制御回路、２１Ｙ……光量制御回路、２２……拡散信号発生回路、３１……相関演算回路、３２……動き検出回路、３３……動き検出用画像メモリ、４１……圧縮符号化回路、４２……出力画像メモリ。
【技術分野】
【０００１】
本発明は静止画像形成方法及びその記録装置に関し、特にＣＭＯＳ素子のような電子的撮像素子を用いた電子カメラによって移動する被写体の静止画を撮像する場合に適用して好適なものである。
【背景技術】
【０００２】
電子的撮像素子を有する電子カメラによって移動する被写体を静止画像として撮像する際には、シャッタ速度を十分速く設定しなければ、記録された静止画像に流れやブレ（ｍｏｔｉｏｎ−ｂｌｕｒ）が生じることを避け得ない。
【０００３】
この画像の流れやブレは、原理上、図１３に示すように、速度ｖで例えば左から右へ移動する自動車の被写体像１の露光信号を、露光時間Ｔの間、ＣＭＯＳ素子に蓄積して行くが、当該露光時間Ｔの間に被写体像１が撮像画面上を移動するために、撮像画像２として、露光時間Ｔの各瞬時における多数の被写体像画像成分１Ａ、１Ｂ……１Ｎが積分手段３によって積分されることにより、互いに少しずつずれながら重ね合わされるように露光される（これを多重露光と呼ぶ）。
【０００４】
このような画像のブレを高速シャッタ速度で多重露光する手法を用いて低減する静止画像形成技術が提案されている（特許文献１参照）。
【特許文献１】特開平７−７６６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、図１３の従来の多重露光の結果得られる撮像画像２は、同一の被写体画像成分１Ａ、１Ｂ……１Ｎが多重に重なり合っているために、被写体像本来の画像情報のうち高周波情報が失われる不可逆処理が行われており、その結果本質的に当該失われた情報を取り戻して修復することは困難である。
【０００６】
本発明は以上の点を考慮してなされたもので、多重露光することにより得られる撮像画像から被写体が本来もっている高周波情報を失わない静止画像を得ることができるようにしようとするものである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するため本発明においては、移動する被写体１２の露光画像を変調用拡散信号Ｓ１３によって変調してなる撮像画像データＳ４を撮像画像メモリ１８に記憶することにより、移動時の被写体１２の画像成分１ＸＡ、１ＸＢ……１ＸＮを被写体１２の移動軌跡ＬＳに沿って分散させた撮像画像を得る撮像データ変調部１１Ａと、撮像画像メモリ１８から読み出した撮像画像データＳ２９を移動軌跡ＬＳに沿って被写体１２の移動方向又はその逆方向に移動させながら、復調用拡散信号Ｓ２３を用いて再変調することにより、分散された画像成分１ＸＡ、１ＸＢ……１ＸＮを露光開始点位置Ｐ０又は露光終了点位置Ｐ１に凝縮させてなる静止画像を得る静止画データ復調部１１Ｂと設ける。
【発明の効果】
【０００８】
露光開始時点ｔ０から露光終了時点ｔ１までの間の撮像画像データとして、変調用拡散信号Ｓ１３によって変調された画像成分１ＸＡ、１ＸＢ……１ＸＮを撮像画像メモリ１８に記憶し、当該撮像画像メモリ１８から読み出した撮像画像データ信号Ｓ２９を移動方向又は移動方向と逆方向に移動させながら復調用拡散信号Ｓ２３によって再変調することにより、分散された画像成分１ＸＡ、１ＸＢ……１ＸＮを相互相関演算によって凝縮することによって高周波成分を失わずに含む被写体１２の鮮明な静止画を得ることができる。
【発明を実施するための最良の形態】
【０００９】
以下図面について、本発明の一実施の形態を詳述する。
【００１０】
（１）全体構成
図１において、１１は全体として静止画記録装置を示し、移動する被写体１２の画像成分を変調用拡散信号Ｓ１３を用いて変調することにより撮像画像データを得る撮像データ変調部１１Ａと、撮像データ変調部１１Ａから得られる撮像画像データを復調用拡散信号Ｓ２３を用いて再変調することで相互相関をとることにより被写体１２の静止画データを復調する静止画データ復調部１１Ｂと、復調された静止画データを出力する静止画データ出力部１１Ｃとを有する。
【００１１】
撮像データ変調部１１Ａは例えば自動車でなる移動する被写体１２から到来する撮像光ＬＡが受光レンズ系１３及び液晶シャッタ１４でなるシャッタ手段を通って撮像素子１５に入射する。
【００１２】
液晶シャッタ１４は中央処理ユニット１６から与えられるシャッタ信号Ｓ１によって所定の露光時間Ｔ（例えば１／６０秒）の間だけ撮像光ＬＡを透過する。
【００１３】
かくして撮像素子１５の各画素を構成するＣＭＯＳ素子１５Ａには露光時間Ｔの間撮像光ＬＡが露光され、その結果各画素ごとに得られる撮像信号Ｓ２が可変利得増幅器１５Ｂを介して撮像出力信号Ｓ３としてＡ／Ｄ変換回路１７に出力される。
【００１４】
Ａ／Ｄ変換回路１７は、各画素ごとに得られる撮像出力信号Ｓ３を撮像データＳ４に変換して、中央処理ユニット１６の書込み・読出し制御信号Ｓ５によって制御される撮像画像メモリ１８に１枚の静止画を構成する各画素データとして取り込ませる。
【００１５】
中央処理ユニット１６は発生制御信号Ｓ１２を拡散信号発生回路２２に与えることにより、シャッタ信号Ｓ１によって液晶シャッタ１４が露光時間Ｔの間露光動作するタイミングで変調用拡散信号Ｓ１３を発生させ、この変調用拡散信号Ｓ１３に基づいて利得制御回路２１から可変利得増幅器１５Ｂに対する利得制御信号Ｓ１１を送出させる。
【００１６】
変調用拡散信号（後述する復調用拡散信号も同様に）は、自分自身をずらしながら重ね合せたとき、ずらし幅が０のときのみ波形が一致し、それ以外のずらし幅ではほとんど波形の類似性が見られない信号（例えばチャープ信号、Ｍ系列がこれに該当する）でなる。かくして変調用拡散信号（及び復調用拡散信号）は、自己相関をとるとほぼインパルスになるような特性をもつと共に、スペクトルが広く一様に分布するような特性をもつ。
【００１７】
この実施の形態の場合、変調用拡散信号Ｓ１３は、図２に示すように、時間の経過に従って周波数が低い方から高い方へ正弦波形をもって連続的に変化するチャープ信号でなる。
【００１８】
この変調用拡散信号Ｓ１３は、シャッタ信号Ｓ１の露光開始時点ｔ０において信号レベルが「０」から「１」に立ち上がると共に、以後シャッタ信号Ｓ１が露光終了時点ｔ１になるまでの間周波数を低い方から高い方へ連続的に変化させながら信号レベルが「１」及び「−１」間を正弦波形をもちながら変化し、かつ時点ｔ０以前及び時点ｔ１以降においては信号レベルが「０」になる。
【００１９】
利得制御回路２１は、変調用拡散信号Ｓ１３に基づいて変化する利得制御信号Ｓ１１によって可変利得増幅器１５Ｂを制御することにより、撮像素子１５から送出される撮像出力信号Ｓ３の各画素の信号レベルを、露光開始時点ｔ０から露光終了時点ｔ１に至るまで変調用拡散信号Ｓ１３に応じて変化させ、その結果ＣＭＯＳ素子１５Ａから得られる撮像信号Ｓ２を変調用拡散信号Ｓ１３によって変調してなる撮像出力信号Ｓ３（従って撮像データＳ４）が撮像画像メモリ１８に撮像画像として取り込まれる。
【００２０】
かくして撮像画像メモリ１８に取り込まれた撮像画像ＰＩＣは、図３に示すように、ｘｙ座標上の各画素（ｘ，ｙ）において、被写体が静止しているときの輝度分布ｆ（ｘ，ｙ）が移動しながらかつ輝度変化を受け、それらの積算されたものが記録される。
【００２１】
例えば、静止時の被写体のある１点の画素（ｘ´，ｙ）に着目し、その輝度をｆ（ｘ´，ｙ）とする。被写体の移動によって、この画素点が液晶シャッタ１４の露光時間Ｔの間に水平方向に速度ｖで移動したとすると、露光開始時点ｔ０の位置Ｐ０（ｘ´，ｙ）から移動軌跡ＬＳを通って露光終了時点ｔ１の位置Ｐ１（ｘ´＋ｖＴ，ｙ）へと移動する。
【００２２】
このとき移動軌跡ＬＳ上の各点Ｐ２（ｘ´＋ｖτ，ｙ）（ただし、０≦τ≦Ｔ）における撮像画像Δｇ（ｘ´＋ｖτ，ｙ）は、次式
【００２３】
【数１】
【００２４】
のように、移動軌跡ＬＳ上の点Ｐ０（ｘ´，ｙ）から点Ｐ１（ｘ´＋ｖＴ，ｙ）までの間の各点において、撮像画像の輝度ｆ（ｘ´，ｙ）が、変調用拡散信号Ｓ１３（＝ｈ（τ））の変化に応じて変化する画像成分データとして、空間的輝度変化を表す画素データに分散されて撮像画像メモリ１８に取り込まれる。
【００２５】
ここでｘ＝ｘ´＋ｖτと変数置換し、画素点（ｘ，ｙ）における輝度Δｇ（ｘ，ｙ）として（１）式を書き直すと、次式
【００２６】
【数２】
【００２７】
となり、これは撮像画像上の画素点（ｘ，ｙ）での輝度Δｇ（ｘ，ｙ）が、ｖτだけ戻った点（ｘ−ｖτ，ｙ）での被写体の輝度ｆ（ｘ−ｖτ，ｙ）をｈ(τ)だけ輝度変化させたものとして記録されることを意味する。
【００２８】
（１）式及び（２）式は時刻τにおける輝度であり、移動によってτは０からＴまで進むから、最終的に撮像画像メモリ１８に取り込まれる被写体の撮像画像情報は、その積算として次式
【００２９】
【数３】
【００３０】
のように、各時点τにおける輝度情報ｆ（ｘ−ｖτ，ｙ）に変調用拡散信号ｈ（τ）を乗算して得られる分散された画像成分を積分する（この処理は畳み込み積分をとることに相当する）ことにより得られる画像情報ｇ（ｘ，ｙ）として表し得る。
【００３１】
このようにして撮像データ変調部１１Ａの撮像画像メモリ１８に取り込まれた撮像データＳ４（＝ｇ（ｘ，ｙ））に含まれる被写体の画像成分ｆ（ｘ−ｖτ，ｙ）は、中央処理ユニット１６の制御の下に、静止画データ復調部１１Ｂにおいて、復調用拡散信号Ｓ２３との相互相関演算を行うことにより復調される。
【００３２】
静止画データ復調部１１Ｂは、中央処理ユニット１６の書込み・読取り制御信号Ｓ５によって撮像画像メモリ１８から読み出された撮像画像読取信号Ｓ２１（＝ｇ（ｘ，ｙ））を、中央処理ユニット１６からの相関演算制御信号Ｓ２２によって相関演算回路３１に受けて、当該相関演算回路３１において、拡散信号発生回路２２から得られる復調用拡散信号Ｓ２３と、動き検出回路３２において検出された撮像画像の移動方向信号Ｓ２４及び移動速度信号Ｓ２５とに基づいて相互相関演算をする。
【００３３】
この実施の形態の場合、動き検出回路３２は、撮像画像メモリ１８が露光開始時点ｔ０から露光終了時点ｔ１までの露光時間Ｔの画像情報を取り込むのに対して、その一部、例えば撮像データＳ４の前半部を動き検出用画像メモリ３３に取り込むことにより、当該前半部の画像情報Ｓ２６を得てこれを動き検出回路３２に与える。
【００３４】
動き検出回路３２は、当該動き検出用画像メモリ３３の画像データと、撮像画像メモリ１８の撮像画像データのうち後半部の画像データＳ２７とを比較して、両者の差異に基づいて被写体の移動方向及び移動速度を検出する。
【００３５】
中央処理ユニット１６は、当該移動方向信号Ｓ２４及び移動速度信号Ｓ２５に基づいて被写体の移動軌跡ＬＳ（図３）を知ると共に、この移動軌跡ＬＳとは逆方向の移動軌跡ＬＳＸ（図４）に沿って撮像画像ＰＩＣを移動させながら復調用拡散信号Ｓ２３（＝ｈ（τ））によって撮像画像読取信号Ｓ２１（＝ｇ（ｘ，ｙ））を再変調し、これにより復調用拡散信号Ｓ２３（＝ｈ（τ））と、撮像画像読取信号Ｓ２１（＝ｇ（ｘ，ｙ））に含まれている変調用拡散信号Ｓ１３（＝ｈ（τ））の信号成分との相互相関演算を、相関演算回路３１において実行させる。
【００３６】
この実施の形態の場合、復調用拡散信号Ｓ２３（＝ｈ（τ））は、拡散信号発生回路２２において、図２の変調用拡散信号Ｓ１３（＝ｈ（τ））と同じ拡散信号の時間軸を被写体の移動速度ｖに合わせて伸縮させることにより相互相関演算ができるように信号処理されて発生される。
【００３７】
相関演算回路３１は、次式
【００３８】
【数４】
【００３９】
のような演算結果を得、当該演算結果を静止画信号Ｓ２９として、中央処理ユニット１６の書込み・読取り制御信号Ｓ２８によって制御される静止画像メモリ３４に格納する。
【００４０】
静止画像メモリ３４に静止画信号Ｓ２９として格納された静止画像は、露光により得た各画素信号を変調用拡散信号Ｓ１３（＝ｈ（τ））によって被写体の移動に応じて移動軌跡ＬＳ上に分散した画像成分情報（図３）を、図４に示すように、逆方向移動軌跡ＬＳＸに沿って撮像画像ＰＩＣを移動させながら再変調処理をしたことにより、図５に示すように、移動軌跡ＬＳ上に分散されている被写体画像成分１ＸＡ、１ＸＢ……１ＸＮが、被写体の露光開始時点ｔ０に対応する画像上の点Ｐ０（ｘ，ｙ）に凝縮され、これにより、露光時間Ｔ（＝１／６０秒）の間の被写体の移動によって移動方向に拡がった画像の流れ又はブレが圧縮されて元の被写体に復元される。
【００４１】
静止画像メモリ３４に格納された静止画データは、中央処理ユニット１６によって静止画読出信号Ｓ３０として静止画データ出力部１１Ｃの圧縮符号化回路４１に読み出され、伝送可能な画像信号に変換された後、出力画像メモリ４２に取り出されることにより、必要に応じて静止画出力信号Ｓ３１として外部に伝送される。
【００４２】
（２）静止画記録装置の作用効果
中央処理ユニット１６のシャッタ信号Ｓ１によって移動する被写体１２（例えば図１３の場合と同様の自動車）を撮像したとき、撮像データ変調部１１Ａにおいて、移動する被写体１２の撮像光ＬＡが受光レンズ系１３及び液晶シャッタ１４を介して撮像素子１５のＣＭＯＳ素子１５Ａに露光することにより、ＣＭＯＳ素子１５Ａには、図５に示すように、露光開始時点ｔ０から露光終了時点ｔ１までの露光時間Ｔの間に被写体像１Ｘがｘ軸方向に速度ｖで移動する被写体画像成分１ＸＡ、１ＸＢ……１ＸＮとして多重露光される。
【００４３】
この被写体画像成分１ＸＡ、１ＸＢ……１ＸＮに対応する撮像信号Ｓ２は、可変利得増幅器１５Ｂにおいて利得制御信号Ｓ１１によって利得変調されることにより、それぞれ変調用拡散信号Ｓ１３（＝ｈ（τ））の各タイミングに相当する輝度に変調されて図３に示す移動軌跡ＬＳ上を露光開始点Ｐ０（ｘ，ｙ）から露光終了点Ｐ１までの間に、（１）式の変調信号ｆ（ｘ´，ｙ）ｈ（τ）のように輝度が変化しながら空間的輝度変化として分散して取り込まれる。
【００４４】
かくして空間的輝度変化として分散された画像成分１ＸＡ、１ＸＢ……１ＸＮを積分手段３Ｘにおいて積分した撮像画像２Ｘとして含む撮像データＳ４がＡ／Ｄ変換回路１７から撮像画像メモリ１８に取り込まれる。
【００４５】
撮像画像メモリ１８に取り込まれた撮像画像は、静止画データ復調部１１Ｂの相関演算回路３１に撮像画像読取信号Ｓ２１として読み取られると共に、中央処理ユニット１６において、動き検出回路３２から検出される移動方向信号Ｓ２４及び移動速度信号Ｓ２５によって指定される移動方向とは逆方向に移動速度ｖに対応する条件で、（４）式に基づいて復調用拡散信号Ｓ２３によって再変調され、これにより得られる相関演算結果信号Ｓ２９が静止画像メモリ３４に格納される。
【００４６】
撮像画像メモリ１８に取り込まれた画像は、図３に示すように、移動軌跡ＬＳの方向（この実施の形態の場合水平方向）に露光開始点Ｐ０から露光終了点Ｐ１までの間の各画素において、被写体の輝度ｆ（ｘ，ｙ）に対して変調用拡散信号Ｓ１３（＝ｈ（τ））を乗算した画像成分情報を順次分散させた構成を有する。
【００４７】
この撮像画像メモリ１８に取り込まれた画像成分情報について、中央処理ユニット１６は、静止画データ復調部１１Ｂの相関演算回路３１において図４のように逆方向の移動軌跡ＬＳＸの方向に撮像画像ＰＩＣを移動させながら復調用拡散信号Ｓ２３によって変調し、当該変調信号を（４）式によって積分するような相関演算処理を実行する。
【００４８】
このとき露光開始点Ｐ０における積分結果は、図３において移動軌跡ＬＳ上に分散した画像成分に復調用拡散信号Ｓ２３の対応するタイミングの値を乗算した後露光開始点Ｐ０に集めて累算して行くような演算を実行する。
【００４９】
このとき露光開始点Ｐ０に凝縮される静止画像データは、静止画像ＰＩＣの画像データに対して復調用拡散信号Ｓ２３を乗算したものを累積して行く結果になるから、変調時に用いた変調用拡散信号Ｓ１３（＝ｈ（τ））と、復調時に用いた復調用拡散信号Ｓ２３（この実施の形態の場合同じ拡散信号ｈ（τ））との自己相関をとる演算をしたことになる。従って、変調用拡散信号ｈ（τ）によって拡散処理された撮像画像ＰＩＣと、復調用画像信号ｈ（τ）との相互相関処理では、唯一露光開始点Ｐ０のみにおいて強い相関が現れるため、露光終了点Ｐ１方向へと分散された全ての画像成分が露光開始点Ｐ０上に凝縮される。これが全ての画素において同時に処理されることで元の被写体像が得られる。
【００５０】
この結果露光開始点Ｐ０に凝縮された相関演算結果データは、被写体１２が本来もっている画像成分の全てを含む相関演算結果信号Ｓ２９として静止画像メモリ３４に格納される。
【００５１】
このように、静止画像メモリ３４に格納された静止画像データは、全ての画像成分が、凝縮された結果として高周波信号成分を失うことなく含んだ被写体の画像情報として取り出されることになり、その結果液晶シャッタ１４の露光時間内に被写体が移動することにより多重露光された画像から、露光開始時点ｔ０において撮像された被写体像がそのまま復元されたことになる。
【００５２】
以上の構成によれば、撮像画像メモリ１８の撮像画像として、被写体の移動方向に変調用拡散信号Ｓ１３（＝ｈ（τ））によって輝度変調されて得られる画像要素１ＸＡ、１ＸＢ……１ＸＮを分散して記憶すると共に、当該撮像画像を被写体１２の移動軌跡ＬＳに沿って逆方向に移動させながら復調用拡散信号Ｓ２３（＝ｈ（τ））によって再変調して累算することにより、分散された画素要素１ＸＡ、１ＸＢ……１ＸＮ画素要素を凝縮できる。
【００５３】
かくして凝縮された画素情報には被写体の高周波信号成分が失われずに含まれており、これは撮像画像メモリ１８の画像データに含まれる変調用拡散信号Ｓ１３（＝ｈ（τ））と復調用拡散信号Ｓ２３（＝ｈ（τ））との相互相関演算がとられることにより抽出できる。
【００５４】
その結果、移動する被写体１２を例え多重露光したとしても、被写体の画像を流れやブレをもたない鮮明な静止画像に修復することができる。
【００５５】
図６（Ａ）ないし（Ｃ）は本発明の作用効果を確認するためのシミュレーション結果を示すもので、被写体を撮像した原画像ＰＣ１（図６（Ａ））について水平方向にブレを生じさせたブレ画像ＰＣ２（図６（Ｂ））を撮像画像メモリ１８に取り込み、このブレ画像ＰＣ２について相関演算回路３１による相互相関演算をしたところ、図６（Ｃ）に示すような修復画像ＰＣ３を得ることができた。
【００５６】
この修復画像ＰＣ３によれば、ブレ画像ＰＣ２においてブレ方向に分散された画像要素が凝縮されることにより高周波成分を失わずに修復した画像が得られることを確認できた。
【００５７】
（３）被写体画像の修正原理
図３に示すように、画像上の被写体の移動方向をｘ軸にとりかつその直角方向をｙ軸にとり、また被写体の静止時の輝度分布をｆ（ｘ，ｙ）、拡散信号をｈ（τ）、画像上の移動速度をｖとすると、撮像データ変調部１１Ａの処理は次式
【００５８】
【数５】
【００５９】
のように定式化できる。
【００６０】
（５）式において被写体はｆ（ｘ−ｖτ，ｙ）へ平行移動すると共に、同時に微小時間Δτの間に輝度がｈ（τ）Δτ倍されるためこのときの撮像面上への瞬時移動画像はｆ（ｘ−ｖτ，ｙ）ｈ（τ）Δτとなる。
【００６１】
これが全露光時間の各時点にわたって多重露光されるので、変調後の撮像画像は全時点を積分した値になる。
【００６２】
ただし、移動する被写体が画像フレームからはみ出さない程度の時間幅０≦ｔ≦Ｔにおいてのみｈ（τ）は値を持ち、それ以外では０をとるものとする。
【００６３】
（５）式の演算結果は、時間的輝度変化として与えた変調が撮像後の画像上においては移動方向への空間的輝度変化として分散されて記録される。
【００６４】
特に拡散信号ｈ（τ）として以下の（11）式を満たす関数を選ぶことにより、撮像画像に流れやブレが生じても、撮像画像メモリ１８には、高周波情報を残したまま被写体画像情報が記録される。
【００６５】
一方静止画データ復調部１１Ｂにおいては、変調用拡散信号Ｓ１３（＝ｈ（τ））を移動速度に合わせて伸縮させると共に、その波形と撮像画像メモリ１８に記憶された変調画像データとの相互相関演算を相関演算回路３１で実行し、その演算結果を静止画像メモリ３４に記録する。
【００６６】
この処理は、次の（６）式
【００６７】
【数６】
【００６８】
によって表すもので、図４に示すように、被写体の移動方向とは逆向きに撮像画像を移動させながら、同じ拡散信号で再度変調を行うことに対応する。
【００６９】
かくして逆向きに撮像画像を移動させながら同じ拡散信号で再変調することにより、図３に示すように、ブレによって移動方向に拡散した画像要素が露光開始点Ｐ０に凝縮されることにより、もとの被写体が復元される。
【００７０】
この被写体の復元は以下のように証明できる。
【００７１】
（６）式に（５）式を代入すると、次式
【００７２】
【数７】
【００７３】
が得られる。
【００７４】
ここで、次式
【００７５】
【数８】
【００７６】
と置いてｓをｕで置換すると、（７）式は次式
【００７７】
【数９】
【００７８】
となる。
【００７９】
ここで（８）式から次式
【００８０】
【数１０】
【００８１】
が得られるから、これを（９）式に代入すると、（９）式は次式
【００８２】
【数１１】
【００８３】
となる。
【００８４】
（11）式において、特に拡散信号ｈ（τ）として、自己相関をとればインパルスになるδ関数δ（ｘ）になるように、次式
【００８５】
【数１２】
【００８６】
を満たすような関数を選定すれば、（11）式は、
【００８７】
【数１３】
【００８８】
となる。
【００８９】
かくして（６）式の変調演算結果として、流れやブレが修正された被写体の推定画像が得られる。
【００９０】
この実施の形態の一例として用いるチャープ信号（周波数が時間と共に低いほうから高いほうへ（あるいはその逆方向へ）連続的に変化する信号）は（11）式を満足する拡散信号のひとつである。
【００９１】
ここでδ関数δ（ｘ）は、次式
【００９２】
【数１４】
【００９３】
を満たすものである。
【００９４】
（４）他の実施の形態
（４−１）上述の図１〜図６の実施の形態においては、変調用拡散信号Ｓ１３（＝ｈ（τ））として図２に示すチャープ信号を用いたが、拡散信号としては、（12）式について上述したように自己相関演算をしたときほぼδ関数になるような関数信号であれば良く、図７に示すようなＭ系列を用いても、上述の場合と同様の効果を得ることができる。
【００９５】
シミュレーション結果として、図６（Ａ）及び（Ｂ）のような原画像ＰＣ１及びブレ画像ＰＣ２の画像データに基づいてＭ系列でなる拡散信号を用いて復調したところ、図８に示すように、原画像ＰＣ１（図６（Ａ））の画像情報に含まれている、高周波成分を失わないような修復画像ＰＣ４を得ることができた。
【００９６】
（４−２）上述の図１〜図６の実施の形態においては、被写体の移動方向が、ｘ軸方向の場合について述べたが、移動方向はこれに限らずｘ軸と直行するｙ軸方向や、ｘ軸と斜行する斜め方向に移動する場合にも、上述の実施の形態の場合と同様にして、流れ又はブレを有する撮像画像から画像の修復をすることができる。
【００９７】
（４−３）図１〜図６の実施の形態においては、撮像データ変調部１１Ａにおける変調用拡散信号Ｓ１３に基づく変調処理を、利得制御回路２１の利得制御信号Ｓ１１を用いて可変利得増幅器１５Ｂの利得を制御することにより行う場合について述べたが、当該利得制御回路２１に代え、図９に示すように、透過率制御回路２１Ｘを設け、その透過率制御信号Ｓ１１Ｘを用いて液晶シャッタ１４でなるシャッタ手段の透過率を制御するようにしても良い。
【００９８】
この場合、移動する被写体からの撮像光ＬＡは、液晶シャッタ１４を透過する際に拡散信号Ｓ１３（＝ｈ（τ））によって変調される。
【００９９】
従って撮像素子１５のＣＭＯＳ素子１５Ａに対する露光光の明るさが変調用拡散信号Ｓ１３（＝ｈ（τ））によって変調されることにより、図１の場合と同様の撮像出力信号Ｓ３が得られ、これにより図１〜図６について上述したと同様の画像の修復処理をすることができる。
【０１００】
（４−４）図１〜図６の静止画記録装置１１においては、変調用拡散信号Ｓ１３（＝ｈ（τ））に基づいて利得制御回路２１の利得制御信号Ｓ１１によって可変利得増幅器１５Ｂの利得を制御することにより、変調用拡散信号Ｓ１３によって変調した撮像出力信号Ｓ３を得るようにした場合について述べたが、これに代え、図１０に示すように、光量制御回路２１Ｙから得られる光量制御信号Ｓ１１Ｙによって、移動する被写体１２を照明する照明具２１Ｚの照度を制御するようにしても良い。
【０１０１】
この場合、被写体１２から受光レンズ系１３及び液晶シャッタ１４を介して撮像素子１５に入射する撮像光ＬＡの明るさが変調用拡散信号Ｓ１３（＝ｈ（τ））によって変調されることにより、図１〜図６について上述したと同様の撮像出力信号Ｓ３を得ることができる。
【０１０２】
よって、図１０の静止画記録装置１１Ｙによっても、図１〜図６の場合と同様にして撮像信号の修復をすることができる。
【０１０３】
（４−５）図１〜図６について上述した実施の形態においては、移動軌跡ＬＳ（図３）上に分散した撮像画像成分を凝縮する際に、被写体の移動方向とは逆方向の逆方向移動軌跡ＬＳＸ（図４）に沿う方向に撮像画像を移動させながら変調時に用いた変調用拡散信号Ｓ１３（＝ｈ（τ））と同一の拡散信号でなる復調用拡散信号Ｓ２３（＝ｈ（τ））を用いて相互相関演算を行うようにした場合について述べたが、相関演算はこれに限らず、被写体の移動方向に撮像画像を移動させながら、変調時に用いた変調用拡散信号Ｓ１３（＝ｈ（τ））の時間経過とは逆の時間経過をもつ拡散信号によって再変調することにより相関演算を行うようにしても、上述の場合と同様の作用効果を得ることができる。
【０１０４】
この実施の形態の場合には、図４に対応させて図１１に示すように、撮像画像ＰＩＣを露光開始点Ｐ０から露光終了点Ｐ１の方向に移動させながら、図１２に示すように、復調用拡散信号として、図１の場合の復調用拡散信号Ｓ２３とは時間的に逆方向に変化する（周波数が時間と共に高いほうから低いほうへ連続的に変化する）拡散信号Ｓ１３Ｘを用いる。
【０１０５】
このようにすれば、復調時には撮像画像の移動軌跡ＬＳ（図３）上に分散された画像成分が露光終了点Ｐ１の位置に凝縮される。
【０１０６】
すなわち、図１１のように移動軌跡ＬＳＹ上へと分散された露光開始点Ｐ０の画素情報は、図１２に示すような時間軸が逆向きの復調用拡散信号と当該分散画像（すなわち撮像画像）との相関をとることにより、露光終了点Ｐ１へと凝縮させることになる。
【０１０７】
図７及び図８のＭ系列を用いた場合も、上述と同様の変更をしても良い。
【０１０８】
（４−６）上述の実施の形態においては、変調用拡散信号Ｓ１３として用いたチャープ信号として、図２のように、「周波数が時間と共に低いほうから高いほうへ連続的に変化する」ような信号を適用したが、これに代え、「その逆に、高いほうから低いほうへ連続的に変化する」ような信号を適用するようにしても良く、このようにしても上述の場合と同様の作用効果を得ることができる。
【産業上の利用可能性】
【０１０９】
本発明は、移動する被写体を所定の露光時間で多重露光して静止画を得る場合に利用できる。
【図面の簡単な説明】
【０１１０】
【図１】本発明による静止画記録装置のうち、撮像素子１５の利得を制御することにより被写体の輝度を拡散信号によって変調する、第１の実施の形態を示すブロック図である。
【図２】図１において使用する変調用拡散信号の一列を示す信号波形図である。
【図３】撮像画像上の被写体像の移動の説明に供する略線図である。
【図４】撮像画像から被写体を復調する処理の説明に供する略線図である。
【図５】被写体が輝度変調を受けながら移動することによって多重露光される様子を説明した略線図である。
【図６（Ａ）】シミュレーションにおいて用いられた原画像を示す略線図である。
【図６（Ｂ）】シミュレーションにおいて用いられたブレ画像を示す略線図である。
【図６（Ｃ）】シミュレーションによって得られた修復画像を示す略線図である。
【図７】変調用拡散信号Ｓ１３（＝ｈ（τ））としてＭ系列を用いた他の実施の形態の説明に供する信号波形図である。
【図８】図７のＭ系列の拡散信号を用いた場合に、シミュレーション結果として得られる修復画像を示す略線図である。
【図９】本発明による静止画記録装置のうち、液晶シャッタの透過率を拡散信号によって変調する、他の実施の形態を示すブロック図である。
【図１０】本発明による静止画記録装置のうち、光量制御回路の光量制御信号によって照明具を制御するこにより、被写体の照度を拡散信号によって変調する、さらに他の実施の形態を示すブロック図である。
【図１１】さらに他の実施の形態において、復調時における撮像画像の移動方向の説明に供する略線図である。
【図１２】図１１の復調時に用いる復調用拡散信号を示す信号波形図である。
【図１３】輝度変調を伴わない従来方式による多重露光の様子を説明した略線図である。
【符号の説明】
【０１１１】
１、１Ｘ……被写体像、（１Ａ、１Ｂ……１Ｎ）、（１ＸＡ、１ＸＢ……１ＸＮ）……被写体画像成分、２、２Ｘ……撮像画像、３、３Ｘ……積分手段、１１、１１Ｘ、１１Ｙ……静止画記録装置、１１Ａ……撮像データ変調部、１１Ｂ……静止画データ復調部、１１Ｃ……静止画データ出力部、１２……被写体、１３……受光レンズ系、１４……液晶シャッタ、１５……撮像素子、１５Ａ……ＣＭＯＳ素子、１５Ｂ……可変利得増幅器、１６……中央処理ユニット、１７……Ａ／Ｄ変換回路、１８……撮像画像メモリ、２１……利得制御回路、２１Ｘ……透過率制御回路、２１Ｙ……光量制御回路、２２……拡散信号発生回路、３１……相関演算回路、３２……動き検出回路、３３……動き検出用画像メモリ、４１……圧縮符号化回路、４２……出力画像メモリ。
【特許請求の範囲】
【請求項１】
移動する被写体の露光画像を変調用拡散信号によって変調してなる撮像画像データを撮像画像メモリに記憶することにより、移動時の上記被写体の画像成分を上記被写体の移動軌跡に沿って分散させた撮像画像データを得、
上記撮像画像メモリから読み出した上記撮像画像データを上記移動軌跡に沿って上記被写体の移動方向又はその逆方向に移動させながら、復調用拡散信号を用いて再変調することにより、上記分散された画像成分を露光開始点位置又は露光終了点位置に凝縮させてなる静止画像を得る
ことを特徴とする静止画像形成方法。
【請求項２】
移動する被写体の露光画像を変調用拡散信号によって変調してなる撮像画像データを撮像画像メモリに記憶することにより、移動時の上記被写体の画像成分を上記被写体の移動軌跡に沿って分散させた撮像画像データを得る撮像データ変調部と、
上記撮像画像メモリから読み出した上記撮像画像データを上記移動軌跡に沿って上記被写体の移動方向又はその逆方向に移動させながら、復調用拡散信号を用いて再変調することにより、上記分散された画像成分を露光開始点位置又は露光終了点位置に凝縮させてなる静止画像を得る静止画データ復調部と
を具えることを特徴とする静止画記録装置。
【請求項３】
上記変調用拡散信号及び上記復調用拡散信号はチャープ信号又はＭ系列符号である
ことを特徴とする請求項２に記載の静止画記録装置。
【請求項４】
上記撮像データ変調部は、撮像素子の利得を上記変調用拡散信号によって制御することにより当該変調用拡散信号によって変調された上記撮像画像データを得る
ことを特徴とする請求項２に記載の静止画記録装置。
【請求項５】
上記撮像データ変調部は、撮像素子に上記被写体からの撮像光を通すシャッタ手段の透過率を上記変調用拡散信号によって制御することにより当該変調用拡散信号によって変調された上記撮像画像データを得る
ことを特徴とする請求項２に記載の静止画記録装置。
【請求項６】
上記撮像データ変調部は、上記被写体に対する照明具の照度を上記変調用拡散信号によって制御することにより当該変調用拡散信号によって変調された上記撮像画像データを得る
ことを特徴とする請求項２に記載の静止画記録装置。
【請求項１】
移動する被写体の露光画像を変調用拡散信号によって変調してなる撮像画像データを撮像画像メモリに記憶することにより、移動時の上記被写体の画像成分を上記被写体の移動軌跡に沿って分散させた撮像画像データを得、
上記撮像画像メモリから読み出した上記撮像画像データを上記移動軌跡に沿って上記被写体の移動方向又はその逆方向に移動させながら、復調用拡散信号を用いて再変調することにより、上記分散された画像成分を露光開始点位置又は露光終了点位置に凝縮させてなる静止画像を得る
ことを特徴とする静止画像形成方法。
【請求項２】
移動する被写体の露光画像を変調用拡散信号によって変調してなる撮像画像データを撮像画像メモリに記憶することにより、移動時の上記被写体の画像成分を上記被写体の移動軌跡に沿って分散させた撮像画像データを得る撮像データ変調部と、
上記撮像画像メモリから読み出した上記撮像画像データを上記移動軌跡に沿って上記被写体の移動方向又はその逆方向に移動させながら、復調用拡散信号を用いて再変調することにより、上記分散された画像成分を露光開始点位置又は露光終了点位置に凝縮させてなる静止画像を得る静止画データ復調部と
を具えることを特徴とする静止画記録装置。
【請求項３】
上記変調用拡散信号及び上記復調用拡散信号はチャープ信号又はＭ系列符号である
ことを特徴とする請求項２に記載の静止画記録装置。
【請求項４】
上記撮像データ変調部は、撮像素子の利得を上記変調用拡散信号によって制御することにより当該変調用拡散信号によって変調された上記撮像画像データを得る
ことを特徴とする請求項２に記載の静止画記録装置。
【請求項５】
上記撮像データ変調部は、撮像素子に上記被写体からの撮像光を通すシャッタ手段の透過率を上記変調用拡散信号によって制御することにより当該変調用拡散信号によって変調された上記撮像画像データを得る
ことを特徴とする請求項２に記載の静止画記録装置。
【請求項６】
上記撮像データ変調部は、上記被写体に対する照明具の照度を上記変調用拡散信号によって制御することにより当該変調用拡散信号によって変調された上記撮像画像データを得る
ことを特徴とする請求項２に記載の静止画記録装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６（Ａ）】
【図６（Ｂ）】
【図６（Ｃ）】
【図８】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６（Ａ）】
【図６（Ｂ）】
【図６（Ｃ）】
【図８】
【公開番号】特開２００６−５０３４３（Ｐ２００６−５０３４３Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２２９８０６（Ｐ２００４−２２９８０６）
【出願日】平成１６年８月５日（２００４．８．５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年２月１０日 電気通信大学主催の「２００３年度 卒業研究発表会 電気通信大学情報通信工学科」において文書をもって発表
【出願人】（５０４１３３１１０）国立大学法人 電気通信大学 (383)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月５日（２００４．８．５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年２月１０日 電気通信大学主催の「２００３年度 卒業研究発表会 電気通信大学情報通信工学科」において文書をもって発表
【出願人】（５０４１３３１１０）国立大学法人 電気通信大学 (383)
【Ｆターム（参考）】
[ Back to top ]