移動体情報取得装置および画像取得装置
【課題】異なる時刻で撮像した複数の画像を用いずに、移動体の情報を取得する。
【解決手段】同一のタイミングにおいて、入射光強度に応じた強度画像、および、入射光強度と各画素共通の複素参照信号との時間相関を各画素ごとに生成した相関画像を生成し生成した１つの強度画像、および、１つの相関画像に基づいて、移動体の時系列情報を取得する。
【解決手段】同一のタイミングにおいて、入射光強度に応じた強度画像、および、入射光強度と各画素共通の複素参照信号との時間相関を各画素ごとに生成した相関画像を生成し生成した１つの強度画像、および、１つの相関画像に基づいて、移動体の時系列情報を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の情報を取得する移動体情報取得装置および移動ブレの無い画像を生成する画像取得装置に関する。
【背景技術】
【０００２】
従来、異なる時刻で移動体を撮像した複数の画像に基づいて、移動体のオプティカルフローを検出する技術が知られている（特許文献１参照）。
【０００３】
【特許文献１】特開平５−３１４２６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、異なる時刻で撮像した複数の画像を用いなければ、移動体のオプティカルフローを検出することができないという問題があった。
【課題を解決するための手段】
【０００５】
（１）本発明による移動体情報取得装置は、入射光強度に応じた強度画像を生成する強度画像生成手段と、入射光強度および各画素共通の複素参照信号の時間相関を各画素ごとに生成した相関画像を生成する相関画像生成手段と、同一のタイミングにおいて強度画像生成手段およびが相関画像生成手段がそれぞれ生成した強度画像および相関画像に基づいて、移動体の時系列情報を取得する処理手段とを備えることを特徴とする。
（２）本発明による画像取得装置は、入射光強度に応じた強度画像を生成する強度画像生成手段と、入射光強度、および、各画素共通の周波数が変更する複素参照信号の時間相関を表す相関画像を各画素ごとに生成する相関画像生成手段と、同一のタイミングにおいて強度画像生成手段および相関画像生成手段がそれぞれ生成した強度画像および相関画像に基づいて、フレーム時間内の少なくとも１つの時刻における移動ブレの無い画像を生成する画像処理手段とを備えることを特徴とする。
【発明の効果】
【０００６】
（１）本発明による移動体情報取得装置によれば、異なる時刻に撮像された複数の画像を用いずに、移動体の時系列情報を取得することができる。
（２）本発明による画像取得装置によれば、異なる時刻に撮像された複数の画像を用いずに、フレーム時間内の少なくとも１つの時刻における移動ブレの無い画像を生成することができる。
【発明を実施するための最良の形態】
【０００７】
−第１の実施の形態−
図１は、第１の実施の形態における移動体情報取得装置の全体構成を示す図である。第１の実施の形態における移動体情報取得装置は、時間相関イメージセンサ１００および処理装置２００を備える。
【０００８】
図２は、時間相関イメージセンサ１００の基本構造を示す図である。図２に示す時間相関イメージセンサ１００の基本構造の要点は、（１）入射フォトンを光電流（被乗数）に変換するフォトダイオード検出器ＰＤ（変換手段）を備え、（２）全画素に共通に外部電気信号（乗数）Ｓを供給するようにし、（３）光電流と電気信号との間の積に比例する電流を生成する電流モード乗算器１（電流変調手段）を備え、（４）上述した積電流を時間積分して相関値として蓄積するコンデンサＣ（積分手段）を備え、（５）相関値を走査して通常のビデオ信号として出力することにある。すなわち、時間相関イメージセンサ１００は、入射光強度と、各画素共通の外部参照信号との時間相関を各画素ごとに生成して画素として出力するデバイスであり、既知のイメージセンサである（特開平１０−２８１８６８号公報参照）。
【０００９】
イメージセンサのフレーム時間をＴ、撮像対象の明暗をｆ（ｘ、ｙ、ｔ）とすると、一般にイメージセンサの強度出力ｇ0（ｘ、ｙ）は，対応する画素の入射光量の１フレーム時間の積分として、次式（１）で表される。
【数１】
【００１０】
時間相関イメージセンサ１００では，この出力に加えて，全画素に共通な３本のアナログ参照信号Ｖｋ（ｔ）（ｋ＝１，２，３）との時間相関値Ｆk（ｘ、ｙ）を出力する（次式（２）参照）。
【数２】
ただし、参照信号は、Ｖ1（ｔ）＋Ｖ2（ｔ）＋Ｖ3（ｔ）＝０を満たす成分のみが相関積分に寄与するため，独立に選べる参照信号は２個である。通常は，この２個の参照信号としてヒルベルト変換対などの直交信号対を用いる。ここでは、２個の独立な参照信号として、cosωｔおよびsinωｔを用い、それらの相関出力を実部、虚部とみなすと、次式（３）で示す出力ｇ（ｘ、ｙ）を得ることができる。
【数３】
ただし、ωは入力信号の振動数であり、ｊは虚数である。
【００１１】
式（３）に示すように、出力ｇ（ｘ、ｙ）は、対応する画素の入射光量に複素数の参照信号ｅ−ｊωｔを乗じてから、１フレーム時間の積分を演算した値である。本明細書では、複素数を用いた参照信号を複素参照信号と呼ぶ。
【００１２】
時間相関イメージセンサ１００を用いれば、式（１）で表される出力に基づいた画像、および、式（３）で表される出力に基づいた画像を同時に得ることができる。本明細書では、式（１）で表される画像を強度画像と呼び、式（３）で表される画像を相関画像と呼ぶことにする。
【００１３】
図３は、時間相関イメージセンサ１００および処理装置２００の詳細説明図である。ただし、図３では、時間相関イメージセンサ１００が備える複数の受光素子のうちの１つの受光素子の構成を示しているが、他の受光素子の構成も同様である。図２に示す乗算器１は、トランジスタＴ１，Ｔ２，Ｔ３により構成されている。すなわち、各コンデンサＣ１〜Ｃ３には、フォトダイオードＰＤで変換された光電流と参照信号Ｖ1〜にＶ3との間の積に比例する電流の電荷が蓄積される。各受光素子の走査時に、スイッチ素子Ｓx1，Ｓx2，Ｓx3，Ｓy1，Ｓy2，Ｓy3がオンされると、コンデンサＣ１〜Ｃ３に蓄えられている電荷がＡ／Ｄ変換回路１０１に出力されてデジタル信号に変換され、時間相関イメージセンサ１００に出力される。
【００１４】
処理装置２００は、プロセッサで構成されており、時間相関イメージセンサ１００から出力されるデジタル信号を入力する。処理装置２００は、機能的には、入力された信号に基づいて強度画像を生成する強度画像生成部２０１と、入力された信号に基づいて相関画像を生成する相関画像生成部２０２と、強度画像および相関画像に基づいて、移動体のオプティカルフローを算出するオプティカルフロー算出部２０３と、画像復元部２０４とを備える。
【００１５】
時間相関イメージセンサ１００に複素参照信号を与えて得られる相関画像では、移動体の時間的な変化が、その変化時刻における参照信号の位相として記録されている。第１の実施の形態における移動体情報取得装置では、時間相関イメージセンサ１００により得られる強度画像および相関画像に基づいて、移動体のオプティカルフローを検出する。以下では、強度画像および相関画像に基づいて、処理装置２００のオプティカルフロー算出部２０３が移動体のオプティカルフローを算出するためのアルゴリズムについて説明する。
【００１６】
ｘｙ座標面において、（ｖx，ｖy）の速度で運動している物体の明暗は、次式（４）で表される。
【数４】
式（４）で表されるモデルでは、上式（１）の−｛ｖx∂xｇ0（ｘ、ｙ）＋ｖy∂yｇ0（ｘ、ｙ）｝を計算すると、次式（５）を得る。
【数５】
ただし、∂x、∂y、はそれぞれｘ、ｙの偏微分を表す。
【００１７】
同様に、式（３）の−｛ｖx∂xｇ（ｘ、ｙ）＋ｖy∂yｇ（ｘ、ｙ）｝を計算し、部分積分を適用すると、次式（６）が得られる。
【数６】
【００１８】
ここで、ωＴ＝２ｎπのように、入力信号振動数ωを指定すると、次式（７）が得られる。
【数７】
【００１９】
式（７）と式（５）とを連立させると、ωＴ＝４ｎπの時に、次式（８）が得られ、ωＴ＝４ｎπ＋２πの時に、次式（９）が得られる。
【数８】
【数９】
ただし、
【数１０】
である。
【００２０】
式（８）および（９）は、それぞれ複素方程式であるから、従来のオプティカルフロー検出の際に必要であった時間軸方向の差分を必要とせずに、対象の運動速度ｖx，ｖyを検出できることを示している。
【００２１】
式（８）の実部と虚部とを分けると、次式（１１），（１２）が得られる。
【数１１】
【数１２】
ただし、式（１１），（１２）において、Ｒ｛ｇ（ｘ、ｙ）｝およびＦ｛ｇ（ｘ、ｙ）｝はそれぞれ、ｇ（ｘ、ｙ）の実部および虚部を表している。
【００２２】
ここで、ａi，ｂi，ｃi，ｄi，ｅi，ｆiをそれぞれ次式（１３）で定義する。ただし、ｉは、ｉ番目の画素のデータであることを表している。
【数１３】
式（１１）、（１２）、（１３）より、次式（１４）を得る。
【数１４】
【００２３】
画素の近傍領域では、速度ベクトルが等しいと仮定すると、最小二乗法により、次式（１５）が得られる。
【数１５】
【００２４】
式（１５）において、左辺の行列が正則であれば、速度（ｖx，ｖy）を得ることができる。
【００２５】
式（９）の場合、すなわち、ωＴ＝４ｎπ＋２πの場合には、ａi，ｂi，ｃi，ｄi，ｅi，ｆiをそれぞれ次式（１６）で定義すれば、上式（１５）が同様に成立する。
【数１６】
【００２６】
ここで、参照信号の初期位相φ（ｘ、ｙ）を考えると、時間相関イメージセンサ１００により得られる相関画像は、次式（１７）により表される。
【数１７】
【００２７】
時間相関イメージセンサ１００は逐次走査型であり，１フレームで取る画像のサイズを、例えば、２００×２００とすると、図４に示すように、データが取得される。このため, 隣り合う画素の初期位相は、ωＴ／Ｎの差がある。ただし、Ｎは１フレームの画像のサイズであり、２００×２００＝４００００である。画面上にひとつの画素の初期位相を定めれば、全部の画素における初期位相を計算することができ、ｇ（ｘ、ｙ）の補正を行うことができる。
【００２８】
第１の実施の形態における移動体情報取得装置によれば、入射光強度に応じた強度画像、および、入射光強度と各画素共通の複素参照信号との時間相関を各画素ごとに生成した相関画像を同一のタイミングで生成し、生成した１つの強度画像および１つの相関画像に基づいて、移動体のオプティカルフローを取得するので、異なる時刻で撮像された複数の画像を用いることなく、移動体のオプティカルフローを取得することができる。
【００２９】
また、第１の実施の形態における移動体情報取得装置によれば、時間相関イメージセンサ１００によって得られる強度画像および相関画像に基づいて、移動体のオプティカルフローを検出するので、測定対象に変調光等を与える必要もない。
【００３０】
−第２の実施の形態−
第２の実施の形態における移動体情報取得装置は、時間相関イメージセンサによって取得される強度画像、および、相関画像に基づいて、対象の動きによりボケた画像を復元する処理を行う。なお、対象の動きによりボケた画像を復元する処理は、処理装置２００の画像復元部２０４によって行われる。以下では、ボケた画像を復元する処理のアルゴリズムについて説明する。
【００３１】
上式（５）および（６）を連立して、実部と虚部とを分けて書くと、次式（１８）が得られる。
【数１８】
ただし、ａ＝cos（ωＴ／２）、ｂ＝sin（ωＴ／２）とし、ｇ1、ｇ2をそれぞれ相関画像ｇ（ｘ、ｙ）の実部、ｇ（ｘ、ｙ）の虚部とし、ｆ1、ｆ2をそれぞれ対象の明暗初端画像および明暗終端画像とする。なお、初端画像とは、対象のフレーム開始時刻における瞬時画像のことであり、終端画像とは、対象のフレーム終端時刻における瞬時画像のことである。
【００３２】
＝運動方向が既知の場合＝
対象の運動方向が分かる場合、運動方向をｘ軸であると仮定すると、ｖy＝０となる。従って、式（１８）は、次式（１９）のように表せる。
【数１９】
参照信号の振動数ωをωＴ＝πと指定すると、ａ＝０、ｂ＝１より、次式（２０）が得られる。
【数２０】
【００３３】
式（２０）において、左辺の行列が正則であれば、ｆ1、ｆ2を求めることができるので、初端画像および終端画像を復元することができる。また、同時に、ｖxを求めることもできる。
【００３４】
また、開口問題が生じ、被写体が動いているか判断できないとき、つまり、次式（２１）が成り立つときには、次式（２２）から、ｆ1、ｆ2を求めればよい。
【数２１】
【数２２】
【００３５】
＝運動方向が未知の場合＝
対象の運動方向が未知の場合、式（１８）において、未知数はｖx、ｖy、ｆ1、ｆ2の４つあり、式（１８）の行列ではランクが不足しているため、ｖx、ｖy、ｆ1、ｆ2を同時に解くことはできない。従って、近傍の二つの点のオプティカルフローは同じであると仮定して、方程式を次式（２３）のように連立する。
【数２３】
ただし、ｇ01，ｇ02はそれぞれ第１画素と第２画素の強度画像を表し、ｇ11，ｇ12，ｇ21，ｇ22，ｆ11，ｆ12，ｆ21，ｆ22も同様に、それぞれ第１画素、第２画素の相関画像の実部、相関画像の虚部、対象の初端画像、対象の終端画像を表している。
【００３６】
ここで、参照信号の振動数ωをωＴ＝πのように指定すると、ａ＝０、ｂ＝１より、次式（２４）が得られる。
【数２４】
【００３７】
式（２４）において、左辺の行列が正則であれば、ｆ11，ｆ12，ｆ21，ｆ22を求めることができるので、初端画像および終端画像を復元することができる。また、同時に、ｖx、ｖyを求めることもできる。左辺の行列の右４列を見ると、ランクは４以上であることが分かる。ランクは６の場合、行列は正則であり、ｆ11，ｆ12，ｆ21，ｆ22，ｖx、ｖyが一意に定まる。
【００３８】
被写体が動いているか判断できない場合、つまり、次式（２５）が成り立つときには、次式（２６），（２７）から、ｆ11，ｆ12，ｆ21，ｆ22を求めることができる。
【数２５】
【数２６】
【数２７】
【００３９】
上述した計算法によれば、１回で２点の画素の演算を行い、初端画像および終端画像が２つずつの合計４つの復元画像が得られる。最後に、初端画像と終端画像の２つずつの平均を取れば、さらに精度の良い画像を得ることができる。
【００４０】
＝運動方向が既知の場合のシミュレーション実験＝
上述したアルゴリズムの有効性を確認するために、計算機によりシミュレーションを行った。シミュレーション実験は、カメラのフレーム時間を３／２５秒、参照信号は正弦波で、角速度は２５π／３ である。
【００４１】
図５（ｇ）および図５（ｈ）はそれぞれ、明度が一様な白板２０を写した元画像を表している。ここでは、時間相関イメージセンサ１００の１フレーム間に、白板２０が図５（ｇ）に示す位置から、右方向へ定速度で移動して、図５（ｈ）に示す位置まで移動するものとする。
【００４２】
図５（ａ）は、式（１）で定義されているｇ0（ｘ、ｙ）、すなわち、時間相関イメージセンサ１００の１フレーム積分によって得られる強度画像を表している。上述したように、白板２０が移動しているため、強度画像では、白板がボケて写っている。図５（ｂ）および図５（ｃ）はそれぞれ、時間相関イメージセンサ１００によって得られる相関画像の振幅、および、相関画像の位相を表している。相関画像の振幅は、式（３）で定義されているｇ（ｘ、ｙ）の大きさ｜ｇ（ｘ、ｙ）｜であり、位相は、arctan（ｇ2／ｇ1）で決められ、明暗はその値に一対一対応している。ただし、ｇ1とｇ2はそれぞれｇ（ｘ、ｙ）の実部と虚部である。
【００４３】
図５（ｄ）は、上述したアルゴリズムによって得られる対象のオプティカルフローを表している。図５（ｄ）において、黒い点は始点であり、線の長さはオプティカルフローの大きさを表している。図５（ｄ）において、画面中央では、オプティカルフローが表示されていないが、これは、白板の明暗が一定であるため、１フレーム間において、画面中央部では、対象が動いているかどうかが判断できず、いわゆる開口問題が生じているからである。
【００４４】
図５（ｅ）は、上述したアルゴリズムによって得られた復元画像のうち、初端画像を表しており、図５（ｆ）は、終端画像を表している。図５（ｅ）と図５（ｇ）、および、図５（ｆ）と図５（ｈ）とをそれぞれ比較して分かるように、復元画像は元画像とよく一致している。
【００４５】
＝運動方向が未知の場合のシミュレーション実験＝
図６（ａ）から図６（ｈ）に示す各図は、図５（ａ）から図５（ｈ）にそれぞれ対応したものであり、順に、強度画像、相関画像の振幅、相関画像の位相、オプティカルフロー、初端画像、終端画像、元画像（初端画像）、および、元画像（終端画像）をそれぞれ表している。ここでは、時間相関イメージセンサ１００の１フレーム間に、女性が図６（ｇ）に示す位置から右下方向へ一定速度で移動して、図６（ｈ）に示す位置まで移動するものとする。
【００４６】
被写体である女性が移動しているため、図６（ａ）に示す強度画像では、画像がボケてしまっており、被写体が何であるか判別することはできない。これに対して、上述したアルゴリズムによって得られた復元画像のうち、図６（ｅ）に示す初端画像、および、図６（ｆ）に示す終端画像では、女性の顔がはっきりと再現されている。また、図６（ｅ）と図６（ｇ）、および、図６（ｆ）と図６（ｈ）とをそれぞれ比較して分かるように、復元画像は元画像とよく一致している。また、オプティカルフローを表す図６（ｄ）についても、画像の上端部および下端部を除けば、オプティカルフローが再現できていることが確認できる。
【００４７】
図７から図１１は、対象物の移動速度を変化させて、同様のシミュレーション実験を行った結果を示す図であり、各図の（ａ）から（ｄ）はそれぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。図７から図１１において、対象物の移動速度はそれぞれ、１６画素／フレーム、３２画素／フレーム、６４画素／フレーム、８０画素／フレーム、１００画素／フレームとしている。
【００４８】
図７（ａ）に示す強度画像では、ボケた画像から女性の顔を判断することができる。図８（ａ）に示す強度画像では、顔を判断できるほどではないが、輪郭はわずかに確認できる程度の画像ボケとなっている。これに対して、図９（ａ），図１０（ａ），図１１（ａ）に示すように、対象物の移動速度が６４画素／フレーム以上になると、強度画像において、女性の顔や輪郭を確認することができなくなっている。
【００４９】
復元画像に注目すると、対象物の移動速度に関わらず、初端画像および終端画像のいずれも、女性の顔がはっきりと再現されていることが分かる。また、オプティカルフローでは、図７（ｄ）に示す画像では、オプティカルフローが表示されていないように見られるが、これは移動速度が遅いため、描画の線が短くて見えないことに起因するものである。すなわち、本アルゴリズムにより、オプティカルフローも再現できている。
【００５０】
第２の実施の形態における移動体情報取得装置によれば、入射光強度に応じた強度画像、および、入射光強度と各画素共通の複素参照信号との時間相関を各画素ごとに生成した相関画像を同一のタイミングで生成し、生成した１つの強度画像および１つの相関画像に基づいて、移動体の時系列情報を取得する。特に、同一のタイミングにおいて生成された１つの強度画像、および、１つの相関画像に基づいて、フレーム開始時刻における初端画像と、フレーム終端時刻における終端画像とを取得するので、フレーム開始時刻およびフレーム終端時刻における瞬時画像を取得することができる。また、取得した初端画像および終端画像に基づいて、移動ブレの無い画像を生成することができる。
【００５１】
本発明は、上述した第１および第２の実施の形態に限定されることはない。上述した第１の実施の形態では、同一のタイミングにて生成された強度画像および相関画像に基づいて、移動体のオプティカルフローを検出する例について説明し、第２の実施の形態では、移動体のフレーム開始時刻における初端画像およびフレーム終端時刻における終端画像を生成（復元）する例について説明したが、強度画像および相関画像に基づいて、移動体の時系列情報が取得できることから、後述するように、様々な応用例が考えられる。
【００５２】
点光源や点ビームやの対象面での反射による光点や微小粒子の反射光、あるいは線光源またはシートビームの光切断や微小繊維の反射光を対象とし、光点あるいは光線の移動を一定周波数の参照信号のもとで時間相関イメージセンサ１００により撮像すると、その通過時刻が位相として相関画像上に記録される。例えば、ペン先にＬＥＤを装着したペンを用いて文字を描く様子を時間相関イメージセンサ１００で撮像して、強度画像および相関画像を生成すれば、生成した強度画像および相関画像に基づいて、移動体の時系列情報、すなわち、どの時刻において文字のどの部分まで描いたかを検出することができる。これにより、筆跡だけでなく、文字を描く際の速度の情報も取得できるので、従来の筆跡に基づいた個人認証方法に比べて、より精度の高い個人認証を行うことができる。
【００５３】
すなわち、本願発明によれば、上述した点状の移動物体に対して直接に位置の時系列を求めることができる。因みに、オプティカルフローは場所に固定された速度の分布で，位置の時系列は対象に固定された対象上の位置を時間の関数で表したものである。
【００５４】
また、ＰＩＶ（Particle Image Velocimetry：粒子画像流速測定）の分野に応用すれば、粒子の移動軌跡だけでなく、粒子の時系列情報、すなわち、各時刻における粒子の位置の情報を検出することができる。
【００５５】
さらに、被写体の動きの情報と、時間相関イメージセンサ１００によって取得される強度画像および相関画像とを組み合わせることにより、イメージセンサの解像度よりも高い解像度の画像を取得することができる。
【００５６】
第２の実施の形態における移動体情報取得装置では、１フレーム間における初端画像および終端画像を生成することにより、移動体の移動ブレの無い画像を生成したが、撮像時の手ブレが生じた場合にも、同様の手法により、手ブレの無い画像を生成することができる。この場合、初端画像および終端画像の２枚の画像を生成するのではなく、１フレーム内の少なくとも１つの時刻における強度画像のボケを、同一時刻における相関画像に基づいて除去すればよい。手ブレ除去においては、１フレーム内で周波数が変化する参照信号を用いるのが好ましい。例えば、複素チャープ波を所定範囲だけ切り出して参照信号を作成することができる。なお、一般化複素チャープ波を参照信号として撮像すれば、１フレーム内における相関画像の周波数利得を低周波数優位から高周波数優位まで調整することができる。
【００５７】
時間相関イメージセンサ１００によって生成された強度画像および相関画像に基づいて、移動体を検出し、強度画像の中から移動体を消去する画像処理を行うこともできる。
【００５８】
以上説明した手ブレ除去や移動体消去は、静止物体や背景は強度画像には混合するが、相関画像上には記録されないという本発明の特徴を利用したものである。言い換えると、相関画像は移動物体にのみ感度を有し、強度画像は静止物体と移動物体の双方に感度を有する。したがって、両画像を取得後に、強度画像から相関画像を差し引くことにより、手ブレ成分を除去したり移動体を消去することができる。ただし、強度画像と相関画像が相似であることが条件であり、例えば、参照信号として上述した複素チャープ波や一般化複素チャープ波などのＦＭ波形の信号を用いる。
【００５９】
上述した各実施の形態では、複素参照信号として、正弦波を用いたが、正弦波に限定されることはなく、チャープ波などの他の信号を用いることもできる。この信号は、周波数だけでなく、振幅が変化するようなものであってもよい。
【００６０】
上述した各実施の形態では、強度画像および相関画像を生成するために、時間相関イメージセンサを用いたが、式（１）で定義される強度画像および式（３）で定義される相関画像を生成できるものであれば、上述した時間相関イメージセンサに限定されることはない。また、高速度カメラで撮像された複数の画像に対して画像処理を施すことにより、相関画像を生成することもできる。
【００６１】
特許請求の範囲の構成要素と第１および第２の実施の形態の構成要素との対応関係は次の通りである。すなわち、時間相関イメージセンサ１００および処理装置２００が強度画像生成手段および相関画像生成手段を、処理装置２００が処理手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。
【図面の簡単な説明】
【００６２】
【図１】第１の実施の形態における移動体情報取得装置の全体構成を示す図
【図２】時間相関イメージセンサの基本構造を示す図
【図３】時間相関イメージセンサおよび処理装置の詳細説明図
【図４】時間相関イメージセンサによる逐次走査の順序を示す図
【図５】図５（ａ）から図５（ｈ）は、移動体の運動方向が既知の場合のシミュレーション実験結果を示す図であり、それぞれ、強度画像、相関画像の振幅、相関画像の位相、オプティカルフロー、初端画像、終端画像、元画像（初端画像）、および、元画像（終端画像）を示している。
【図６】図６（ａ）から図６（ｈ）は、移動体の運動方向が未知の場合のシミュレーション実験結果を示す図であり、それぞれ、強度画像、相関画像の振幅、相関画像の位相、オプティカルフロー、初端画像、終端画像、元画像（初端画像）、および、元画像（終端画像）を示している。
【図７】図７（ａ）から図７（ｄ）は、移動体の移動速度を１６画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【図８】図８（ａ）から図８（ｄ）は、移動体の移動速度を３２画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【図９】図９（ａ）から図９（ｄ）は、移動体の移動速度を６４画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【図１０】図１０（ａ）から図１０（ｄ）は、移動体の移動速度を８０画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【図１１】図１１（ａ）から図１１（ｄ）は、移動体の移動速度を１００画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【符号の説明】
【００６３】
１…乗算器、１００…時間相関イメージセンサ、１０１…Ａ／Ｄ変換回路、２００…処理装置、２０１…強度画像生成部、２０２…相関画像生成部、２０３…オプティカルフロー算出部、２０４…画像復元部、ＰＤ…フォトダイオード、Ｔ１〜Ｔ３…トランジスタ、Ｃ１〜Ｃ３…コンデンサ
【技術分野】
【０００１】
本発明は、移動体の情報を取得する移動体情報取得装置および移動ブレの無い画像を生成する画像取得装置に関する。
【背景技術】
【０００２】
従来、異なる時刻で移動体を撮像した複数の画像に基づいて、移動体のオプティカルフローを検出する技術が知られている（特許文献１参照）。
【０００３】
【特許文献１】特開平５−３１４２６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、異なる時刻で撮像した複数の画像を用いなければ、移動体のオプティカルフローを検出することができないという問題があった。
【課題を解決するための手段】
【０００５】
（１）本発明による移動体情報取得装置は、入射光強度に応じた強度画像を生成する強度画像生成手段と、入射光強度および各画素共通の複素参照信号の時間相関を各画素ごとに生成した相関画像を生成する相関画像生成手段と、同一のタイミングにおいて強度画像生成手段およびが相関画像生成手段がそれぞれ生成した強度画像および相関画像に基づいて、移動体の時系列情報を取得する処理手段とを備えることを特徴とする。
（２）本発明による画像取得装置は、入射光強度に応じた強度画像を生成する強度画像生成手段と、入射光強度、および、各画素共通の周波数が変更する複素参照信号の時間相関を表す相関画像を各画素ごとに生成する相関画像生成手段と、同一のタイミングにおいて強度画像生成手段および相関画像生成手段がそれぞれ生成した強度画像および相関画像に基づいて、フレーム時間内の少なくとも１つの時刻における移動ブレの無い画像を生成する画像処理手段とを備えることを特徴とする。
【発明の効果】
【０００６】
（１）本発明による移動体情報取得装置によれば、異なる時刻に撮像された複数の画像を用いずに、移動体の時系列情報を取得することができる。
（２）本発明による画像取得装置によれば、異なる時刻に撮像された複数の画像を用いずに、フレーム時間内の少なくとも１つの時刻における移動ブレの無い画像を生成することができる。
【発明を実施するための最良の形態】
【０００７】
−第１の実施の形態−
図１は、第１の実施の形態における移動体情報取得装置の全体構成を示す図である。第１の実施の形態における移動体情報取得装置は、時間相関イメージセンサ１００および処理装置２００を備える。
【０００８】
図２は、時間相関イメージセンサ１００の基本構造を示す図である。図２に示す時間相関イメージセンサ１００の基本構造の要点は、（１）入射フォトンを光電流（被乗数）に変換するフォトダイオード検出器ＰＤ（変換手段）を備え、（２）全画素に共通に外部電気信号（乗数）Ｓを供給するようにし、（３）光電流と電気信号との間の積に比例する電流を生成する電流モード乗算器１（電流変調手段）を備え、（４）上述した積電流を時間積分して相関値として蓄積するコンデンサＣ（積分手段）を備え、（５）相関値を走査して通常のビデオ信号として出力することにある。すなわち、時間相関イメージセンサ１００は、入射光強度と、各画素共通の外部参照信号との時間相関を各画素ごとに生成して画素として出力するデバイスであり、既知のイメージセンサである（特開平１０−２８１８６８号公報参照）。
【０００９】
イメージセンサのフレーム時間をＴ、撮像対象の明暗をｆ（ｘ、ｙ、ｔ）とすると、一般にイメージセンサの強度出力ｇ0（ｘ、ｙ）は，対応する画素の入射光量の１フレーム時間の積分として、次式（１）で表される。
【数１】
【００１０】
時間相関イメージセンサ１００では，この出力に加えて，全画素に共通な３本のアナログ参照信号Ｖｋ（ｔ）（ｋ＝１，２，３）との時間相関値Ｆk（ｘ、ｙ）を出力する（次式（２）参照）。
【数２】
ただし、参照信号は、Ｖ1（ｔ）＋Ｖ2（ｔ）＋Ｖ3（ｔ）＝０を満たす成分のみが相関積分に寄与するため，独立に選べる参照信号は２個である。通常は，この２個の参照信号としてヒルベルト変換対などの直交信号対を用いる。ここでは、２個の独立な参照信号として、cosωｔおよびsinωｔを用い、それらの相関出力を実部、虚部とみなすと、次式（３）で示す出力ｇ（ｘ、ｙ）を得ることができる。
【数３】
ただし、ωは入力信号の振動数であり、ｊは虚数である。
【００１１】
式（３）に示すように、出力ｇ（ｘ、ｙ）は、対応する画素の入射光量に複素数の参照信号ｅ−ｊωｔを乗じてから、１フレーム時間の積分を演算した値である。本明細書では、複素数を用いた参照信号を複素参照信号と呼ぶ。
【００１２】
時間相関イメージセンサ１００を用いれば、式（１）で表される出力に基づいた画像、および、式（３）で表される出力に基づいた画像を同時に得ることができる。本明細書では、式（１）で表される画像を強度画像と呼び、式（３）で表される画像を相関画像と呼ぶことにする。
【００１３】
図３は、時間相関イメージセンサ１００および処理装置２００の詳細説明図である。ただし、図３では、時間相関イメージセンサ１００が備える複数の受光素子のうちの１つの受光素子の構成を示しているが、他の受光素子の構成も同様である。図２に示す乗算器１は、トランジスタＴ１，Ｔ２，Ｔ３により構成されている。すなわち、各コンデンサＣ１〜Ｃ３には、フォトダイオードＰＤで変換された光電流と参照信号Ｖ1〜にＶ3との間の積に比例する電流の電荷が蓄積される。各受光素子の走査時に、スイッチ素子Ｓx1，Ｓx2，Ｓx3，Ｓy1，Ｓy2，Ｓy3がオンされると、コンデンサＣ１〜Ｃ３に蓄えられている電荷がＡ／Ｄ変換回路１０１に出力されてデジタル信号に変換され、時間相関イメージセンサ１００に出力される。
【００１４】
処理装置２００は、プロセッサで構成されており、時間相関イメージセンサ１００から出力されるデジタル信号を入力する。処理装置２００は、機能的には、入力された信号に基づいて強度画像を生成する強度画像生成部２０１と、入力された信号に基づいて相関画像を生成する相関画像生成部２０２と、強度画像および相関画像に基づいて、移動体のオプティカルフローを算出するオプティカルフロー算出部２０３と、画像復元部２０４とを備える。
【００１５】
時間相関イメージセンサ１００に複素参照信号を与えて得られる相関画像では、移動体の時間的な変化が、その変化時刻における参照信号の位相として記録されている。第１の実施の形態における移動体情報取得装置では、時間相関イメージセンサ１００により得られる強度画像および相関画像に基づいて、移動体のオプティカルフローを検出する。以下では、強度画像および相関画像に基づいて、処理装置２００のオプティカルフロー算出部２０３が移動体のオプティカルフローを算出するためのアルゴリズムについて説明する。
【００１６】
ｘｙ座標面において、（ｖx，ｖy）の速度で運動している物体の明暗は、次式（４）で表される。
【数４】
式（４）で表されるモデルでは、上式（１）の−｛ｖx∂xｇ0（ｘ、ｙ）＋ｖy∂yｇ0（ｘ、ｙ）｝を計算すると、次式（５）を得る。
【数５】
ただし、∂x、∂y、はそれぞれｘ、ｙの偏微分を表す。
【００１７】
同様に、式（３）の−｛ｖx∂xｇ（ｘ、ｙ）＋ｖy∂yｇ（ｘ、ｙ）｝を計算し、部分積分を適用すると、次式（６）が得られる。
【数６】
【００１８】
ここで、ωＴ＝２ｎπのように、入力信号振動数ωを指定すると、次式（７）が得られる。
【数７】
【００１９】
式（７）と式（５）とを連立させると、ωＴ＝４ｎπの時に、次式（８）が得られ、ωＴ＝４ｎπ＋２πの時に、次式（９）が得られる。
【数８】
【数９】
ただし、
【数１０】
である。
【００２０】
式（８）および（９）は、それぞれ複素方程式であるから、従来のオプティカルフロー検出の際に必要であった時間軸方向の差分を必要とせずに、対象の運動速度ｖx，ｖyを検出できることを示している。
【００２１】
式（８）の実部と虚部とを分けると、次式（１１），（１２）が得られる。
【数１１】
【数１２】
ただし、式（１１），（１２）において、Ｒ｛ｇ（ｘ、ｙ）｝およびＦ｛ｇ（ｘ、ｙ）｝はそれぞれ、ｇ（ｘ、ｙ）の実部および虚部を表している。
【００２２】
ここで、ａi，ｂi，ｃi，ｄi，ｅi，ｆiをそれぞれ次式（１３）で定義する。ただし、ｉは、ｉ番目の画素のデータであることを表している。
【数１３】
式（１１）、（１２）、（１３）より、次式（１４）を得る。
【数１４】
【００２３】
画素の近傍領域では、速度ベクトルが等しいと仮定すると、最小二乗法により、次式（１５）が得られる。
【数１５】
【００２４】
式（１５）において、左辺の行列が正則であれば、速度（ｖx，ｖy）を得ることができる。
【００２５】
式（９）の場合、すなわち、ωＴ＝４ｎπ＋２πの場合には、ａi，ｂi，ｃi，ｄi，ｅi，ｆiをそれぞれ次式（１６）で定義すれば、上式（１５）が同様に成立する。
【数１６】
【００２６】
ここで、参照信号の初期位相φ（ｘ、ｙ）を考えると、時間相関イメージセンサ１００により得られる相関画像は、次式（１７）により表される。
【数１７】
【００２７】
時間相関イメージセンサ１００は逐次走査型であり，１フレームで取る画像のサイズを、例えば、２００×２００とすると、図４に示すように、データが取得される。このため, 隣り合う画素の初期位相は、ωＴ／Ｎの差がある。ただし、Ｎは１フレームの画像のサイズであり、２００×２００＝４００００である。画面上にひとつの画素の初期位相を定めれば、全部の画素における初期位相を計算することができ、ｇ（ｘ、ｙ）の補正を行うことができる。
【００２８】
第１の実施の形態における移動体情報取得装置によれば、入射光強度に応じた強度画像、および、入射光強度と各画素共通の複素参照信号との時間相関を各画素ごとに生成した相関画像を同一のタイミングで生成し、生成した１つの強度画像および１つの相関画像に基づいて、移動体のオプティカルフローを取得するので、異なる時刻で撮像された複数の画像を用いることなく、移動体のオプティカルフローを取得することができる。
【００２９】
また、第１の実施の形態における移動体情報取得装置によれば、時間相関イメージセンサ１００によって得られる強度画像および相関画像に基づいて、移動体のオプティカルフローを検出するので、測定対象に変調光等を与える必要もない。
【００３０】
−第２の実施の形態−
第２の実施の形態における移動体情報取得装置は、時間相関イメージセンサによって取得される強度画像、および、相関画像に基づいて、対象の動きによりボケた画像を復元する処理を行う。なお、対象の動きによりボケた画像を復元する処理は、処理装置２００の画像復元部２０４によって行われる。以下では、ボケた画像を復元する処理のアルゴリズムについて説明する。
【００３１】
上式（５）および（６）を連立して、実部と虚部とを分けて書くと、次式（１８）が得られる。
【数１８】
ただし、ａ＝cos（ωＴ／２）、ｂ＝sin（ωＴ／２）とし、ｇ1、ｇ2をそれぞれ相関画像ｇ（ｘ、ｙ）の実部、ｇ（ｘ、ｙ）の虚部とし、ｆ1、ｆ2をそれぞれ対象の明暗初端画像および明暗終端画像とする。なお、初端画像とは、対象のフレーム開始時刻における瞬時画像のことであり、終端画像とは、対象のフレーム終端時刻における瞬時画像のことである。
【００３２】
＝運動方向が既知の場合＝
対象の運動方向が分かる場合、運動方向をｘ軸であると仮定すると、ｖy＝０となる。従って、式（１８）は、次式（１９）のように表せる。
【数１９】
参照信号の振動数ωをωＴ＝πと指定すると、ａ＝０、ｂ＝１より、次式（２０）が得られる。
【数２０】
【００３３】
式（２０）において、左辺の行列が正則であれば、ｆ1、ｆ2を求めることができるので、初端画像および終端画像を復元することができる。また、同時に、ｖxを求めることもできる。
【００３４】
また、開口問題が生じ、被写体が動いているか判断できないとき、つまり、次式（２１）が成り立つときには、次式（２２）から、ｆ1、ｆ2を求めればよい。
【数２１】
【数２２】
【００３５】
＝運動方向が未知の場合＝
対象の運動方向が未知の場合、式（１８）において、未知数はｖx、ｖy、ｆ1、ｆ2の４つあり、式（１８）の行列ではランクが不足しているため、ｖx、ｖy、ｆ1、ｆ2を同時に解くことはできない。従って、近傍の二つの点のオプティカルフローは同じであると仮定して、方程式を次式（２３）のように連立する。
【数２３】
ただし、ｇ01，ｇ02はそれぞれ第１画素と第２画素の強度画像を表し、ｇ11，ｇ12，ｇ21，ｇ22，ｆ11，ｆ12，ｆ21，ｆ22も同様に、それぞれ第１画素、第２画素の相関画像の実部、相関画像の虚部、対象の初端画像、対象の終端画像を表している。
【００３６】
ここで、参照信号の振動数ωをωＴ＝πのように指定すると、ａ＝０、ｂ＝１より、次式（２４）が得られる。
【数２４】
【００３７】
式（２４）において、左辺の行列が正則であれば、ｆ11，ｆ12，ｆ21，ｆ22を求めることができるので、初端画像および終端画像を復元することができる。また、同時に、ｖx、ｖyを求めることもできる。左辺の行列の右４列を見ると、ランクは４以上であることが分かる。ランクは６の場合、行列は正則であり、ｆ11，ｆ12，ｆ21，ｆ22，ｖx、ｖyが一意に定まる。
【００３８】
被写体が動いているか判断できない場合、つまり、次式（２５）が成り立つときには、次式（２６），（２７）から、ｆ11，ｆ12，ｆ21，ｆ22を求めることができる。
【数２５】
【数２６】
【数２７】
【００３９】
上述した計算法によれば、１回で２点の画素の演算を行い、初端画像および終端画像が２つずつの合計４つの復元画像が得られる。最後に、初端画像と終端画像の２つずつの平均を取れば、さらに精度の良い画像を得ることができる。
【００４０】
＝運動方向が既知の場合のシミュレーション実験＝
上述したアルゴリズムの有効性を確認するために、計算機によりシミュレーションを行った。シミュレーション実験は、カメラのフレーム時間を３／２５秒、参照信号は正弦波で、角速度は２５π／３ である。
【００４１】
図５（ｇ）および図５（ｈ）はそれぞれ、明度が一様な白板２０を写した元画像を表している。ここでは、時間相関イメージセンサ１００の１フレーム間に、白板２０が図５（ｇ）に示す位置から、右方向へ定速度で移動して、図５（ｈ）に示す位置まで移動するものとする。
【００４２】
図５（ａ）は、式（１）で定義されているｇ0（ｘ、ｙ）、すなわち、時間相関イメージセンサ１００の１フレーム積分によって得られる強度画像を表している。上述したように、白板２０が移動しているため、強度画像では、白板がボケて写っている。図５（ｂ）および図５（ｃ）はそれぞれ、時間相関イメージセンサ１００によって得られる相関画像の振幅、および、相関画像の位相を表している。相関画像の振幅は、式（３）で定義されているｇ（ｘ、ｙ）の大きさ｜ｇ（ｘ、ｙ）｜であり、位相は、arctan（ｇ2／ｇ1）で決められ、明暗はその値に一対一対応している。ただし、ｇ1とｇ2はそれぞれｇ（ｘ、ｙ）の実部と虚部である。
【００４３】
図５（ｄ）は、上述したアルゴリズムによって得られる対象のオプティカルフローを表している。図５（ｄ）において、黒い点は始点であり、線の長さはオプティカルフローの大きさを表している。図５（ｄ）において、画面中央では、オプティカルフローが表示されていないが、これは、白板の明暗が一定であるため、１フレーム間において、画面中央部では、対象が動いているかどうかが判断できず、いわゆる開口問題が生じているからである。
【００４４】
図５（ｅ）は、上述したアルゴリズムによって得られた復元画像のうち、初端画像を表しており、図５（ｆ）は、終端画像を表している。図５（ｅ）と図５（ｇ）、および、図５（ｆ）と図５（ｈ）とをそれぞれ比較して分かるように、復元画像は元画像とよく一致している。
【００４５】
＝運動方向が未知の場合のシミュレーション実験＝
図６（ａ）から図６（ｈ）に示す各図は、図５（ａ）から図５（ｈ）にそれぞれ対応したものであり、順に、強度画像、相関画像の振幅、相関画像の位相、オプティカルフロー、初端画像、終端画像、元画像（初端画像）、および、元画像（終端画像）をそれぞれ表している。ここでは、時間相関イメージセンサ１００の１フレーム間に、女性が図６（ｇ）に示す位置から右下方向へ一定速度で移動して、図６（ｈ）に示す位置まで移動するものとする。
【００４６】
被写体である女性が移動しているため、図６（ａ）に示す強度画像では、画像がボケてしまっており、被写体が何であるか判別することはできない。これに対して、上述したアルゴリズムによって得られた復元画像のうち、図６（ｅ）に示す初端画像、および、図６（ｆ）に示す終端画像では、女性の顔がはっきりと再現されている。また、図６（ｅ）と図６（ｇ）、および、図６（ｆ）と図６（ｈ）とをそれぞれ比較して分かるように、復元画像は元画像とよく一致している。また、オプティカルフローを表す図６（ｄ）についても、画像の上端部および下端部を除けば、オプティカルフローが再現できていることが確認できる。
【００４７】
図７から図１１は、対象物の移動速度を変化させて、同様のシミュレーション実験を行った結果を示す図であり、各図の（ａ）から（ｄ）はそれぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。図７から図１１において、対象物の移動速度はそれぞれ、１６画素／フレーム、３２画素／フレーム、６４画素／フレーム、８０画素／フレーム、１００画素／フレームとしている。
【００４８】
図７（ａ）に示す強度画像では、ボケた画像から女性の顔を判断することができる。図８（ａ）に示す強度画像では、顔を判断できるほどではないが、輪郭はわずかに確認できる程度の画像ボケとなっている。これに対して、図９（ａ），図１０（ａ），図１１（ａ）に示すように、対象物の移動速度が６４画素／フレーム以上になると、強度画像において、女性の顔や輪郭を確認することができなくなっている。
【００４９】
復元画像に注目すると、対象物の移動速度に関わらず、初端画像および終端画像のいずれも、女性の顔がはっきりと再現されていることが分かる。また、オプティカルフローでは、図７（ｄ）に示す画像では、オプティカルフローが表示されていないように見られるが、これは移動速度が遅いため、描画の線が短くて見えないことに起因するものである。すなわち、本アルゴリズムにより、オプティカルフローも再現できている。
【００５０】
第２の実施の形態における移動体情報取得装置によれば、入射光強度に応じた強度画像、および、入射光強度と各画素共通の複素参照信号との時間相関を各画素ごとに生成した相関画像を同一のタイミングで生成し、生成した１つの強度画像および１つの相関画像に基づいて、移動体の時系列情報を取得する。特に、同一のタイミングにおいて生成された１つの強度画像、および、１つの相関画像に基づいて、フレーム開始時刻における初端画像と、フレーム終端時刻における終端画像とを取得するので、フレーム開始時刻およびフレーム終端時刻における瞬時画像を取得することができる。また、取得した初端画像および終端画像に基づいて、移動ブレの無い画像を生成することができる。
【００５１】
本発明は、上述した第１および第２の実施の形態に限定されることはない。上述した第１の実施の形態では、同一のタイミングにて生成された強度画像および相関画像に基づいて、移動体のオプティカルフローを検出する例について説明し、第２の実施の形態では、移動体のフレーム開始時刻における初端画像およびフレーム終端時刻における終端画像を生成（復元）する例について説明したが、強度画像および相関画像に基づいて、移動体の時系列情報が取得できることから、後述するように、様々な応用例が考えられる。
【００５２】
点光源や点ビームやの対象面での反射による光点や微小粒子の反射光、あるいは線光源またはシートビームの光切断や微小繊維の反射光を対象とし、光点あるいは光線の移動を一定周波数の参照信号のもとで時間相関イメージセンサ１００により撮像すると、その通過時刻が位相として相関画像上に記録される。例えば、ペン先にＬＥＤを装着したペンを用いて文字を描く様子を時間相関イメージセンサ１００で撮像して、強度画像および相関画像を生成すれば、生成した強度画像および相関画像に基づいて、移動体の時系列情報、すなわち、どの時刻において文字のどの部分まで描いたかを検出することができる。これにより、筆跡だけでなく、文字を描く際の速度の情報も取得できるので、従来の筆跡に基づいた個人認証方法に比べて、より精度の高い個人認証を行うことができる。
【００５３】
すなわち、本願発明によれば、上述した点状の移動物体に対して直接に位置の時系列を求めることができる。因みに、オプティカルフローは場所に固定された速度の分布で，位置の時系列は対象に固定された対象上の位置を時間の関数で表したものである。
【００５４】
また、ＰＩＶ（Particle Image Velocimetry：粒子画像流速測定）の分野に応用すれば、粒子の移動軌跡だけでなく、粒子の時系列情報、すなわち、各時刻における粒子の位置の情報を検出することができる。
【００５５】
さらに、被写体の動きの情報と、時間相関イメージセンサ１００によって取得される強度画像および相関画像とを組み合わせることにより、イメージセンサの解像度よりも高い解像度の画像を取得することができる。
【００５６】
第２の実施の形態における移動体情報取得装置では、１フレーム間における初端画像および終端画像を生成することにより、移動体の移動ブレの無い画像を生成したが、撮像時の手ブレが生じた場合にも、同様の手法により、手ブレの無い画像を生成することができる。この場合、初端画像および終端画像の２枚の画像を生成するのではなく、１フレーム内の少なくとも１つの時刻における強度画像のボケを、同一時刻における相関画像に基づいて除去すればよい。手ブレ除去においては、１フレーム内で周波数が変化する参照信号を用いるのが好ましい。例えば、複素チャープ波を所定範囲だけ切り出して参照信号を作成することができる。なお、一般化複素チャープ波を参照信号として撮像すれば、１フレーム内における相関画像の周波数利得を低周波数優位から高周波数優位まで調整することができる。
【００５７】
時間相関イメージセンサ１００によって生成された強度画像および相関画像に基づいて、移動体を検出し、強度画像の中から移動体を消去する画像処理を行うこともできる。
【００５８】
以上説明した手ブレ除去や移動体消去は、静止物体や背景は強度画像には混合するが、相関画像上には記録されないという本発明の特徴を利用したものである。言い換えると、相関画像は移動物体にのみ感度を有し、強度画像は静止物体と移動物体の双方に感度を有する。したがって、両画像を取得後に、強度画像から相関画像を差し引くことにより、手ブレ成分を除去したり移動体を消去することができる。ただし、強度画像と相関画像が相似であることが条件であり、例えば、参照信号として上述した複素チャープ波や一般化複素チャープ波などのＦＭ波形の信号を用いる。
【００５９】
上述した各実施の形態では、複素参照信号として、正弦波を用いたが、正弦波に限定されることはなく、チャープ波などの他の信号を用いることもできる。この信号は、周波数だけでなく、振幅が変化するようなものであってもよい。
【００６０】
上述した各実施の形態では、強度画像および相関画像を生成するために、時間相関イメージセンサを用いたが、式（１）で定義される強度画像および式（３）で定義される相関画像を生成できるものであれば、上述した時間相関イメージセンサに限定されることはない。また、高速度カメラで撮像された複数の画像に対して画像処理を施すことにより、相関画像を生成することもできる。
【００６１】
特許請求の範囲の構成要素と第１および第２の実施の形態の構成要素との対応関係は次の通りである。すなわち、時間相関イメージセンサ１００および処理装置２００が強度画像生成手段および相関画像生成手段を、処理装置２００が処理手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。
【図面の簡単な説明】
【００６２】
【図１】第１の実施の形態における移動体情報取得装置の全体構成を示す図
【図２】時間相関イメージセンサの基本構造を示す図
【図３】時間相関イメージセンサおよび処理装置の詳細説明図
【図４】時間相関イメージセンサによる逐次走査の順序を示す図
【図５】図５（ａ）から図５（ｈ）は、移動体の運動方向が既知の場合のシミュレーション実験結果を示す図であり、それぞれ、強度画像、相関画像の振幅、相関画像の位相、オプティカルフロー、初端画像、終端画像、元画像（初端画像）、および、元画像（終端画像）を示している。
【図６】図６（ａ）から図６（ｈ）は、移動体の運動方向が未知の場合のシミュレーション実験結果を示す図であり、それぞれ、強度画像、相関画像の振幅、相関画像の位相、オプティカルフロー、初端画像、終端画像、元画像（初端画像）、および、元画像（終端画像）を示している。
【図７】図７（ａ）から図７（ｄ）は、移動体の移動速度を１６画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【図８】図８（ａ）から図８（ｄ）は、移動体の移動速度を３２画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【図９】図９（ａ）から図９（ｄ）は、移動体の移動速度を６４画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【図１０】図１０（ａ）から図１０（ｄ）は、移動体の移動速度を８０画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【図１１】図１１（ａ）から図１１（ｄ）は、移動体の移動速度を１００画素／フレームとした時のシミュレーション実験結果を示す図であり、それぞれ、強度画像、復元画像のうちの初端画像、復元画像のうちの終端画像、オプティカルフローを表している。
【符号の説明】
【００６３】
１…乗算器、１００…時間相関イメージセンサ、１０１…Ａ／Ｄ変換回路、２００…処理装置、２０１…強度画像生成部、２０２…相関画像生成部、２０３…オプティカルフロー算出部、２０４…画像復元部、ＰＤ…フォトダイオード、Ｔ１〜Ｔ３…トランジスタ、Ｃ１〜Ｃ３…コンデンサ
【特許請求の範囲】
【請求項１】
入射光強度に応じた強度画像を生成する強度画像生成手段と、
入射光強度と各画素共通の複素参照信号との時間相関を表す相関画像を各画素ごとに生成する相関画像生成手段と、
同一のタイミングにおいて前記強度画像生成手段および前記相関画像生成手段がそれぞれ生成した前記強度画像および前記相関画像に基づいて、フレーム時間内の移動体の動きの情報を取得する処理手段とを備えることを特徴とする移動体情報取得装置。
【請求項２】
請求項１に記載の移動体情報取得装置において、
前記処理手段は、前記移動体の動きを時系列の情報として取得することを特徴とする移動体情報取得装置。
【請求項３】
請求項２に記載の移動体情報取得装置において、
前記時系列の情報は、オプティカルフローであることを特徴とする移動体情報取得装置。
【請求項４】
請求項１に記載の移動体情報取得装置において、
前記処理手段は、同一のタイミングにおいて前記強度画像生成手段および前記相関画像生成手段がそれぞれ生成した前記強度画像および前記相関画像に基づいて、フレーム時間内の少なくとも１つの時刻の画像を生成することを特徴とする移動体情報取得装置。
【請求項５】
請求項４に記載の移動体情報取得装置において、
前記処理手段は、前記フレーム時間内の少なくとも１つの時刻の画像として、フレーム開始時刻における初端画像、および、フレーム終端時刻における終端画像のうちの少なくとも一方の画像を生成することを特徴とする移動体情報取得装置。
【請求項６】
請求項５に記載の移動体情報取得装置において、
前記処理手段は、同一のタイミングにおいて前記強度画像生成手段および前記相関画像生成手段がそれぞれ生成した前記強度画像および前記相関画像に基づいて、フレーム時間内の少なくとも１つの時刻の移動ブレの無い画像を生成することを特徴とする移動体情報取得装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の移動体情報取得装置において、
前記強度画像生成手段および前記相関画像生成手段は、時間相関イメージセンサから出力される信号に基づいて、前記強度画像および前記相関画像をそれぞれ生成することを特徴とする移動体情報取得装置。
【請求項８】
請求項７に記載の移動体情報取得装置において、
前記時間相関イメージセンサは、入力フォトンを電流に変換する変換手段、入力された参照信号に応じて前記変換手段により発生した電流を変調する電流変調手段、および、前記電流変調手段により変調された電流を時間積分する積分手段を有する複数の受光素子と、前記複数の受光素子を走査して前記積分手段の前記積分値を順次出力する出力手段とを備えることを特徴とする移動体情報取得装置。
【請求項９】
入射光強度に応じた強度画像を生成する強度画像生成手段と、
入射光強度と、各画素共通の周波数が変更する複素参照信号との時間相関を表す相関画像を各画素ごとに生成する相関画像生成手段と、
同一のタイミングにおいて前記強度画像生成手段および前記相関画像生成手段がそれぞれ生成した前記強度画像および前記相関画像に基づいて、フレーム時間内の少なくとも１つの時刻における移動ブレの無い画像を生成する画像処理手段とを備えることを特徴とする画像取得装置。
【請求項１０】
請求項９に記載の画像取得装置において、
前記複素参照信号として、複素チャープ波もしくは一般化複素チャープ波の一部の波形を用いることを特徴とする画像取得装置。
【請求項１】
入射光強度に応じた強度画像を生成する強度画像生成手段と、
入射光強度と各画素共通の複素参照信号との時間相関を表す相関画像を各画素ごとに生成する相関画像生成手段と、
同一のタイミングにおいて前記強度画像生成手段および前記相関画像生成手段がそれぞれ生成した前記強度画像および前記相関画像に基づいて、フレーム時間内の移動体の動きの情報を取得する処理手段とを備えることを特徴とする移動体情報取得装置。
【請求項２】
請求項１に記載の移動体情報取得装置において、
前記処理手段は、前記移動体の動きを時系列の情報として取得することを特徴とする移動体情報取得装置。
【請求項３】
請求項２に記載の移動体情報取得装置において、
前記時系列の情報は、オプティカルフローであることを特徴とする移動体情報取得装置。
【請求項４】
請求項１に記載の移動体情報取得装置において、
前記処理手段は、同一のタイミングにおいて前記強度画像生成手段および前記相関画像生成手段がそれぞれ生成した前記強度画像および前記相関画像に基づいて、フレーム時間内の少なくとも１つの時刻の画像を生成することを特徴とする移動体情報取得装置。
【請求項５】
請求項４に記載の移動体情報取得装置において、
前記処理手段は、前記フレーム時間内の少なくとも１つの時刻の画像として、フレーム開始時刻における初端画像、および、フレーム終端時刻における終端画像のうちの少なくとも一方の画像を生成することを特徴とする移動体情報取得装置。
【請求項６】
請求項５に記載の移動体情報取得装置において、
前記処理手段は、同一のタイミングにおいて前記強度画像生成手段および前記相関画像生成手段がそれぞれ生成した前記強度画像および前記相関画像に基づいて、フレーム時間内の少なくとも１つの時刻の移動ブレの無い画像を生成することを特徴とする移動体情報取得装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の移動体情報取得装置において、
前記強度画像生成手段および前記相関画像生成手段は、時間相関イメージセンサから出力される信号に基づいて、前記強度画像および前記相関画像をそれぞれ生成することを特徴とする移動体情報取得装置。
【請求項８】
請求項７に記載の移動体情報取得装置において、
前記時間相関イメージセンサは、入力フォトンを電流に変換する変換手段、入力された参照信号に応じて前記変換手段により発生した電流を変調する電流変調手段、および、前記電流変調手段により変調された電流を時間積分する積分手段を有する複数の受光素子と、前記複数の受光素子を走査して前記積分手段の前記積分値を順次出力する出力手段とを備えることを特徴とする移動体情報取得装置。
【請求項９】
入射光強度に応じた強度画像を生成する強度画像生成手段と、
入射光強度と、各画素共通の周波数が変更する複素参照信号との時間相関を表す相関画像を各画素ごとに生成する相関画像生成手段と、
同一のタイミングにおいて前記強度画像生成手段および前記相関画像生成手段がそれぞれ生成した前記強度画像および前記相関画像に基づいて、フレーム時間内の少なくとも１つの時刻における移動ブレの無い画像を生成する画像処理手段とを備えることを特徴とする画像取得装置。
【請求項１０】
請求項９に記載の画像取得装置において、
前記複素参照信号として、複素チャープ波もしくは一般化複素チャープ波の一部の波形を用いることを特徴とする画像取得装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−３０５０６１（Ｐ２００７−３０５０６１Ａ）
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願番号】特願２００６−１３５５０７（Ｐ２００６−１３５５０７）
【出願日】平成１８年５月１５日（２００６．５．１５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００５年１１月１０日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報Ｖｏｌ．１０５ Ｎｏ．４１４」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００５年１２月９日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報Ｖｏｌ．１０５ Ｎｏ．４７８」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００６年２月１７日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報Ｖｏｌ．１０５ Ｎｏ．６１５」に発表
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願日】平成１８年５月１５日（２００６．５．１５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００５年１１月１０日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報Ｖｏｌ．１０５ Ｎｏ．４１４」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００５年１２月９日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報Ｖｏｌ．１０５ Ｎｏ．４７８」に発表
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００６年２月１７日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報Ｖｏｌ．１０５ Ｎｏ．６１５」に発表
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
[ Back to top ]