画像速度算出装置及び画像速度算出方法
【課題】画像上で画像速度算出対象が高速で移動する場合でも、画像速度の算出を可能にする。
【解決手段】マイコン３により、カメラ１により撮像された画像上にカメラ１の露光中に発生する画像の流れを判定し、判定された画像の流れに基づいてカメラ制御部４によりカメラ１の露光時間を変更し、変更されたカメラ１の露光時間に基づいて、画像速度を算出する。
【解決手段】マイコン３により、カメラ１により撮像された画像上にカメラ１の露光中に発生する画像の流れを判定し、判定された画像の流れに基づいてカメラ制御部４によりカメラ１の露光時間を変更し、変更されたカメラ１の露光時間に基づいて、画像速度を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像の速度を算出する画像速度算出装置及び画像速度算出方法に関する。
【背景技術】
【０００２】
従来の画像速度算出装置は、例えば下記特許文献１に記載されている。
下記従来技術では、画像の速度を算出するために車載カメラから撮像した撮像画像から勾配法という計算手法によって対象物のオプティカルフロー(画像上における動きを示すベクトル)を算出している。勾配法は、対象物の濃淡値の分布が保持されていることを前提とし、離散的にサンプリングされた画像に基づいた連立拘束式を解くことによってオプティカルフローを算出することができる。そして、算出したオプティカルフローの方向及び大きさから画像の速度を算出している。
【特許文献１】特開平１１−１６０３３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来技術では、対象物の濃淡値の分布が保持されていることを前提に画像の速度を算出している。このため対象物が早い動きをする場合には、対象物の濃淡値分布に大きな変化が発生することになるため、オプティカルフローによる画像速度を算出することが難しいという問題がある。
【課題を解決するための手段】
【０００４】
本発明は、撮像手段により撮像された画像に前記撮像手段の露光中に発生する画像の流れを判定して、判定された画像の流れに基づいて、撮像手段の露光時間を短い時間に変更する。そして短くした露光時間に基づいて画像速度を算出する。
【発明の効果】
【０００５】
本発明は、撮像手段の露光時間を画像の流れが発生しない時間に変更することで画像速度を算出するようにしたので、濃度値分布の変化による影響を受けることなく対象物が早い動きをする場合に画像速度を算出することができる。
【発明を実施するための最良の形態】
【０００６】
《実施の形態１》
〈画像速度算出装置の構成〉
図１は、本発明の実施の形態１の画像速度算出装置の構成を示すブロック図である。
図１に示すように、本実施の形態の画像速度算出装置は、カメラ１、画像メモリ２、マイコン３、カメラ制御部４、モニタ５が接続されている。
高速カメラ等の電子式のカメラ１は画像を撮像する。画像メモリ２は、カメラ１で撮像された明るさの度合い（すなわち、輝度）をデジタル値に変換し保持する。マイコン３は、画像メモリ２に保持された画像を処理し、画像上の移動領域（画像上で移動している対象に対応する領域）の画像速度（移動領域の単位時間あたりの移動量）を算出する。また、画像速度を算出する際に設定するカメラ１の露光時間を算出し、カメラ制御部４に指示する。カメラ制御部４は、マイコン３によって指示された露光時間になるようにカメラ１の露光時間を制御する。なお、露光時間の長さは、カメラ１の電子シャッターまたは機械的シャッターのシャッター速度により決まる。また、露光時間とシャッター速度との関係は、露光時間が長いとシャッター速度が遅く、露光時間が短いとシャッター速度が速いことを意味するものである。
モニタ５は、画像メモリ２に保持された画像や画像速度情報を表示する。
なお、図１に示す画像速度装置の構成は、以下の実施の形態１〜５のすべてについて共通する。
【０００７】
〈処理フロー〉
図２は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。
まず、Ｓ１０１において、図１のカメラ１により撮像された画像を取得する。
次に、Ｓ１０２において、カメラ１により撮像された画像に像流れが発生する像流れ領域を抽出する。ここで、1画素とは画像１枚を構成する最小単位を意味し、画像の位置と明るさを決めるデータである。また、像流れとは、カメラ１の露光時間中に撮像対象物が１画素以上移動することにより発生するいわゆる画像の流れを意味する。例えば、車両前方に歩行者が飛び出していた場合や走行する車両から前方を連続して撮像した場合に画像内の物体が画像内を、中心から周囲へ流れるように移動してみえる場合などである。
次に、Ｓ１０３において、抽出した像流れ領域の露光時間を計測する。
次に、Ｓ１０４において、抽出した像流れ領域の露光時間が長いか否かを判定する。露光時間が長い場合は、Ｓ１０５の処理、ない場合はＳ１０６の処理を実施する。
次に、露光時間が長いある場合は、Ｓ１０５において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ１０１へ戻る。
次に、露光時間が長くない場合は、Ｓ１０６において、現時点の露光時間の逆数を算出し、移動領域の速度を算出し、Ｓ１０１へ戻る。
【０００８】
このように本実施の形態の画像速度算出装置は、画像を撮像するカメラ１と、カメラ１により撮像された画像に像流れが発生する像流れ領域を抽出し、抽出された像流れ領域の露光時間を判定し、露光時間が長いと判定された場合に、カメラ１の露光時間を短い時間に変更し、露光時間が長くないと判定された場合に、カメラ１の露光時間に基づいて、画像に像流れが発生する像流れ領域の画像速度を算出するマイコン３とを有する。
このようにカメラ１により撮像された画像に像流れが発生する像流れ領域を抽出し、カメラ１の露光時間を変化させながら撮像した複数の画像について処理を行い、画像に像流れが発生する像流れ領域の露光時間を短くし、そのときの露光時間に基づいて対象（画像速度算出対象）の画像速度を算出するため、対象が画面上で高速に移動している場合でも、対象の画像速度を算出することができる。
なお、露光時間の具体的な計測手段の例については、以下の実施の形態２、３において説明する。
【０００９】
《実施の形態２》
図３は、本実施の形態における図１のカメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出する手段を示す図である。
図３の（ａ）は撮像画像を示し、３１は観測領域、３２は画像上の物体である。
（ｂ）はカメラ１で１フレーム(カメラ１で撮像された画像１枚を表す単位)を撮像する撮像周期を示す。
（ｃ）はカメラ１の露光時間を示す。
（ｄ）は撮像画像＃１〜＃５を示す。
（ｅ）は撮像画像＃１〜＃５の周波数解析＃１〜＃５を示す。
（ｆ）は周波数解析＃１〜＃５による高周波成分を示す。
【００１０】
高速に移動する対象は露光時間が長いと、シャッターを開いて露光している間に１画素より多く流れてしまう。そして、図３(d)の撮像画像＃１〜＃３のように撮像した画像上に像流れが生じてしまう。ここで2画素以上の場合は当然ながら画像上に像流れが生じる。また、1.1画素、1.5画素の場合にも画像上に流れが生じてしまう。
ところが、このような対象は露光時間を短くすることでシャッターを開いて露光している間に１画素より多く動かなくなり、図３(d)の撮像画像＃４、５のように画像に像流れがない画像を撮像することができる。
このような撮像画像＃１〜＃５について、図３（ｅ）に示すように周波数解析を行なうと、画像に像流れが多いほど高周波成分が少なく、画像に像流れが少ないほど高周波成分が多くなり、図３（ｆ）に示すように、画像に像流れがなくなると高周波成分は最大かつ一定となる（変化しなくなる）。
このような特徴に基づいて、露光時間を短くしていき、高周波成分の変化がなくなる露光時間を抽出することで画像の像流れが発生しなくなる時点がわかる。そして、この時点における露光時間が対象が１画素流れる時間となる。
つまり、この露光時間の逆数が対象の画像速度となる。
【００１１】
〈処理フロー〉
図４は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。
まず、Ｓ２０１において、図１のカメラ１により撮像された画像を取得する。
次に、Ｓ２０２において、カメラ１により撮像された画像の観測領域（図３の３１参照）を設定し、画像に像流れが発生する像流れ領域を抽出する。
次に、Ｓ２０３において、周波数フーリエ変換（ＦＦＴ）等を用いて、抽出した像流れ領域の周波数解析を行い、高周波成分の変化を観測する。
次に、Ｓ２０４において、高周波成分の変化があるか否かを判定する。すなわち、ある露光時間で撮像した画像における像流れ領域の高周波成分と、それより所定の値だけ短い露光時間で撮像した画像における像流れ領域の高周波成分とを比較して、ある所定の値以下の変化量である場合には、Ｓ２０５の処理、それより大きい変化量である場合はＳ２０６の処理を実施する。
次に、ある所定値以下の変化量である場合には、Ｓ２０５において、現時点の露光時間の逆数を算出し、高速画像領域の速度を算出し、S２０７へ進む。
次に、ある所定値以上の変化量である場合には、Ｓ２０６において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ２０１へ戻る。
次に、Ｓ２０７において、Ｓ２０５で算出された画像速度をモニタ５に適宜表わすモニタ表示を行い、Ｓ２０１へ戻る。
【００１２】
本実施の形態では、本実施の形態の画像速度算出装置は、画像を撮像するカメラ１と、カメラ１により撮像された画像上の像流れが１画素より多く流れたことを判定し、１画素より多く流れたと判定された場合に、カメラ１の露光時間を変更し、１画素の像流れであると判定された場合に、カメラ１の露光時間に基づいて、高速移動領域の画像速度を算出するマイコン３とを有する。
このように本実施の形態では、画像上の像流れを判定し、カメラ１の露光時間を高速に変化させながら撮像した複数の画像について処理を行い、１画素流れた時の画像を抽出し、そのときの露光時間から対象の画像速度を算出するため、対象が画面上で高速に移動している場合でも、対象の画像速度が算出できる。
【００１３】
また、マイコン３において１画素の像流れを判定するには、カメラ制御部４によりカメラ１の露光時間を短くしながら撮像した画像（高速移動領域）の周波数解析を行って高周波成分を算出し、この高周波成分が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する。
このように露光時間を高速に変化させて撮像した複数の画像の像流れ領域の高周波成分の変化を観測し、高周波成分の変化がなくなる画像を抽出することで、像流れ領域が１画素の像流れとなる露光時間がわかるため、対象が画面上で高速に移動している場合でも、露光時間の逆数を算出することで対象の画像速度を算出することができる。
【００１４】
《実施の形態３》
図５は、本実施の形態におけるカメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出する手段を示す図である。図３に示した実施の形態２とは別の手段を示す。本図は実施の形態２の図３と同様の図であり、重複する部分は説明を省略する。
図５（ａ）は撮像画像を示す。
（ｂ）はカメラ１で１フレーム(カメラ１で撮像された画像１枚を表す単位)を撮像する撮像周期を示す。
（ｃ）は露光時間を示す。
（ｄ）は撮像画像＃１〜＃５を示す。
（ｅ）は図５(d)撮像画像＃１〜＃５のエッジ画像＃１〜＃５を示す。
（ｆ）は図５(e)エッジ画像＃１〜＃５のエッジ強度を示す。
【００１５】
図３と同様に、高速に移動する対象は露光時間が長いと、シャッターを開いて露光している間に１画素より多く流れてしまい、図５（ｄ）の撮像画像＃１〜＃３、図５（ｅ）のエッジ画像＃１〜＃３のように撮像した画像に像流れが生じてしまう。
ところが、このような対象は露光時間を短くすることでシャッターを開いて露光している間に１画素より多く流れなくなり、図５(d)画像＃４、５のように画像に像流れがない画像を撮像することができる。
このような撮像画像＃１〜＃５のエッジ強度を観測すると、図５（ｆ）に示すように、画像の像流れが多いほどエッジ強度が弱く、画像の像流れが少ないほどエッジ強度が強くなり、画像の像流れがなくなるとエッジ強度は最大かつ一定となる。
このような特徴に基づいて、露光時間を短くしていき、エッジ強度変化がなくなる露光時間を抽出することで画像に像流れが発生しなくなる時点がわかる。そして、この時点における露光時間が、対象が１画素流れる時間となる。
つまり、この露光時間の逆数が対象の画像速度となる。
【００１６】
本実施の形態では、マイコン３において１画素の像流れを判定するには、カメラ制御部４によりカメラ１の露光時間を短くしながら撮像した画像のエッジ強度を算出し、このエッジ強度が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する。
このように露光時間を高速に変化させて撮像した複数の画像の像流れ領域におけるエッジ強度の変化を観測し、エッジ強度の変化がなくなる画像を抽出することで、像流れ領域が１画素流れる露光時間がわかるため、対象が画面上で高速に移動している場合でも、露光時間の逆数を算出することで対象の画像速度が算出できる。
【００１７】
《実施の形態４》
本実施の形態は、図１のカメラ１（あるいは画像速度算出装置全体）を移動体、例えば自動車等の車両に搭載した場合の実施の形態である。
カメラ１は例えば車両の前部に設置され、車両の前方を撮像する。
モニタ５は車両に搭載され、画像メモリ２に保持された画像に、マイコン３によって算出された画像速度情報を重畳表示する。
その他の構成は、図１に示した実施の形態１と同様である。本実施の形態においても、カメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出するものである。
【００１８】
図６（ａ）は、車両の前部に搭載したカメラ１で車両の前方を撮像した撮像画像を示す。、（ｂ）は、横方向の各座標位置について画像速度を統計処理し、（車両、すなわち、カメラ１の移動による）最も頻度の高い画像速度をプロットした画像速度プロファイルを示す。
（ａ）において、６１は低速移動体、６２は高速移動体、（ｂ）において、６３は低速移動領域、６４は高速移動領域である。
【００１９】
車両が道路上を前方に走行し、カメラ１が視軸方向へ動いている場合、相対的にカメラ１の視軸向きを中心として左右に画像が動く。また、その速度はカメラ１の視軸向きから離れるほど大きくなる。
このような特徴に基づいて、カメラ１の視軸向き方向に近い方向で撮像された物体は、画像上での移動量が少なく、フレーム(カメラ１で撮像された画像１枚を表す単位)間で１画素以上動かない低速移動体６１としてその画素に止まっている。
そして、その低速移動体６１がその画素に止まっているフレーム数をカウントすることで、その低速移動体６１の画像速度を算出することができる。
【００２０】
このようにして算出された低速移動体６１の存在する図６（ｂ）の実線で示す低速移動領域６３の画像速度プロファイルを元に、空間的連続性を考慮して、１画素より多く移動し、画面両端に高速移動体６２が存在する高速移動領域６４の画像速度プロファイルを、（ｂ）の破線に示すように推定することができる。
このように、推定された低速移動領域６３の画像速度プロファイルに基づいて、高速移動領域６４の画像速度を補正することで、カメラ１が動いている場合でも、その移動によって発生する相対的な速度を排除することができる。
すなわち、車両等の移動体に搭載されたカメラ１でも、カメラ１の移動量による相対速度を排除することが可能となり、カメラ１の近くに存在する高速に移動する対象の画像速度でも計測することができる。
【００２１】
〈処理フロー〉
図７は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。ここでは、実施の形態３で説明した画像速度算出の手段を使用する例について説明する。すなわち、露光時間を短くしながら撮像した画像のエッジ強度を算出し、エッジ強度が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する手段を使用する。
【００２２】
まず、Ｓ４０１において、カメラ１（図１参照）により撮像された画像を取得する。
次に、Ｓ４０２において、カメラ１から入力され、画像メモリ２に保持された撮像画像に対し、ソベルフィルタ演算処理を行い、横エッジ画像を算出する。
次に、Ｓ４０３において、Ｓ４０２によって算出された横エッジ画像を１フレーム遅延させた画像を画像メモリ２に保持する。
次に、Ｓ４０４において、Ｓ４０２とＳ４０３で算出された横エッジ画像と１フレーム遅延させた横エッジ画像との差分画像を算出する。
次に、Ｓ４０５において、Ｓ４０４で算出された横エッジ差分画像に基づいてエッジの有無を判定し、エッジがある場合はＳ４０６、ない場合にはＳ４０８を実施する。
次に、Ｓ４０６において、Ｓ４０５で抽出された差分画像における横エッジについて、該エッジが同じ画素に何フレーム存在するかをカウント（投票）する。
次に、Ｓ４０７において、Ｓ４０６でカウントされた同一画素に存在するフレーム数を逆数にして、該横エッジの画像速度、すなわち、低速画像の速度を算出する。次いで、その情報をモニタ５（図１）に送る。
【００２３】
一方、Ｓ４０５で差分画像においてエッジがないと判定された場合に、Ｓ４０８において、Ｓ４０２で抽出された横エッジのソベルフィルタ出力であるエッジ強度を算出する。
次に、Ｓ４０９において、Ｓ４０７で算出された横エッジの低速画像の速度について、同じｘ座標（画像横方向）毎に、そのｘ座標に存在する画像速度の最も多い速度を算出し、各ｘ座標の低画像速度プロファイルを算出する（図６（ｂ）の実線）。
そして、この算出した低画像速度プロファイルに基づいて、空間的連続性を満足するように高速画像の速度のプロファイルを推定し（図６（ｂ）の破線）、画面両端の高速移動領域を含めた全ｘ座標における画像速度プロファイルを算出する（図６（ｂ）の実線及び破線を含む画像速度プロファイル）。
次に、Ｓ４１０において、Ｓ４０９で算出された画像速度プロファイル情報に基づいて、車両、すなわち、カメラ１の移動によって発生する相対的な速度を排除し、高速画像の速度を補正する。すなわち、Ｓ４０９で推定された画像速度分、位置をずらした位置に存在していた前フレームの横エッジのエッジ強度を読み出す。
次に、Ｓ４１１において、Ｓ４０８で算出されたある露光時間で撮像した画像における像流れ領域におけるエッジ強度と、Ｓ４１０で読み出されたそれより所定の値だけ短い露光時間で撮像した画像における像流れ領域のエッジ強度とを比較して、ある所定の値以下の変化量である場合には、Ｓ４１２の処理、それより大きい変化量である場合はＳ４１３の処理を実施する。
次に、ある所定値以下の変化量である場合には、Ｓ４１２において、Ｓ４０５で抽出された横エッジの画像速度として現時点の露光時間の逆数を算出し、高速画像領域の速度を算出してS４１５へ進む。
次に、ある所定値以上の変化量である場合には、Ｓ４１３において、Ｓ４０８で算出された横エッジの位置、エッジ強度を保持しておく。
次に、Ｓ４１４において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ４０１へ戻る。 次に、Ｓ４１５において、Ｓ４０７及びＳ４１２で算出された画像速度をモニタ５に適宜表わすモニタ表示を行う。
例えば、画像メモリ２に保持された画像に、マイコン３によって算出された画像速度情報として、画面において右に移動しているものは青、左に移動しているものは赤というように色相を変えながら重畳表示する。
【００２４】
本実施の形態では、カメラ１が車両等の移動体に搭載され、マイコン３は、画像上の流れが１画素より多いとされなかった低速移動領域が、１画素流れるのに要したフレーム数を計測することにより、低速移動領域の画像速度を算出する。そして、この低速移動領域における画像速度情報に基づいて、空間的な連続性から高速移動領域における画像速度を推定し、この高速移動領域においてカメラ１が移動することにより発生する相対的な画像速度を排除し、１画素の像流れを判定する。
このように低速移動領域において計測された画像速度を用いて高速移動領域の動きを推定する構成になっているため、カメラ１が移動物体に搭載され、移動している場合でも、この移動による相対的な画像速度をキャンセルすることができる。
したがって、カメラ１を車両等の移動体に搭載し、移動体が移動している場合でも、画像速度を算出することができ、また、移動するカメラ１の近くに存在し、画像上で相対的に高速で移動する対象でも画像速度を算出することができる。
【００２５】
《実施の形態５》
本実施の形態は、所定の時刻から複数の異なる露光時間の画像が撮像可能なカメラ（図１のカメラ１参照）を用いて、画像速度を算出する場合の実施の形態である。
図８（ａ）は、上方からカメラ１を眺めた図で、所定の時刻Ｔ０から所定のある時間であるＴ秒毎の時刻Ｔ０〜Ｔ４における対象の動きを表した図である。
θ１はカメラ１の１画素あたりの画角である。
θ２、θ３、θ４はそれぞれ時刻Ｔ０〜Ｔ４におけるカメラ１から対象に到る方向の角度である。図では、Ｔ０〜Ｔ４のみ例示しているが、もっと多数の場合も可能である。
図８（ｂ）〜（ｅ）の撮像画像＃１〜＃４はそれぞれ、時刻Ｔ０〜Ｔ１、Ｔ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４の間、露光して撮像した１フレームにおいて露光時間の異なる画像である。
すなわち、所定の時刻Ｔ０から露光時間を露光し、それぞれ時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４で撮像した画像である。
【００２６】
例えば、Ｔ秒が対象が１画素移動する時間であった場合、撮像画像＃１はＴ０〜Ｔ１のＴ秒間露光しているため、対象は同一画素に存在する。
撮像画像＃２〜＃４は、露光しているＴ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４間に対象が２画素、３画素、４画素移動するため、画像に像流れが発生する。
このように所定の時刻Ｔ０から複数の露光時間の画像が撮像されるため、実施の形態２で説明した周波数解析、あるいは実施の形態３で説明したエッジ強度の観測を行なうことにより、これらの撮像画像＃１〜＃４における画像に像流れのない画像を抽出することができ、それに基づいて画像速度を計測することができる。
【００２７】
〈処理フロー〉
図９は、本実施の形態において、図３に示した上記実施の形態２における周波数解析を用いて、画像速度の算出を実施する処理フローを示す。
Ｓ５０１〜Ｓ５０７は、実施の形態４のＳ４０１〜Ｓ４０７と全く同一の処理をするものであるので、説明を省略する。
【００２８】
Ｓ５０５で差分画像においてエッジがないと判定された場合、Ｓ５０８において、１フレームで、ある所定時間ずつずらした複数の露光時間で撮像した画像を出力するようにカメラ１を制御する。
次に、Ｓ５０９において、Ｓ５０８で撮像された露光時間が異なる複数の画像について周波数解析処理を行う。
次に、Ｓ５１０において、Ｓ５０９で算出された周波数解析結果から、高周波成分が最大でかつ一定となる露光時間を検出する。
次に、Ｓ５１１において、Ｓ５１０で検出された高周波成分が最大でかつ一定となる露光時間の逆数を画像速度として算出する。
次に、Ｓ５１２において、Ｓ５０７及びＳ５１１で算出された画像速度情報をモニタ５に表示する。
【００２９】
本実施の形態では、複数の異なる露光時間の画像を撮像するカメラ１と、カメラ１により撮像された画像上の像流れが１画素より多く流れたことを判定し、１画素より多く流れたと判定された場合に、カメラ１の露光時間を変更し、カメラ１の露光時間に基づいてこの高速移動領域の画像速度を算出するマイコン３とを有する。
このように本実施の形態では、ある所定の時刻Ｔ０から複数の異なるシャッタ速度で撮像された画像について処理を行う構成なので、ある時刻Ｔ０を基準として複数の露光時間で対象を観測することができるため、高速に移動する対象でも画像速度を算出することができる。
また、本実施の形態では、例えば１フレームにおいて複数の異なる露光時間の画像を撮像し、画像速度を算出するので、処理時間を短縮することができる。
また、実施の形態４と比較して、高速移動領域の画像速度を推定しないので、速度算出精度を向上できる。
なお、本実施の形態においても、画像速度を算出するに際し、露光時間を変更することももちろん可能である。
【００３０】
なお、以上説明した実施の形態は、本発明の技術的思想の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、前記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
また、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明する。
すなわち、実施の形態におけるカメラ１が、特許請求の範囲の撮像手段に、マイコン３が、画像流れ判定手段、露光時間変更手段、画像速度算出手段、１画素移動判定手段に、カメラ制御部４が、1画素移動変更手段にそれぞれ対応する。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１の画像速度算出装置の構成を示すブロック図である。
【図２】本発明の実施の形態１における処理フローを示す図である。
【図３】本発明の実施の形態２における画像速度を算出する手段を示す図である。
【図４】本発明の実施の形態２における処理フローを示す図である。
【図５】本発明の実施の形態３における画像速度を算出する手段を示す図である。
【図６】（ａ）は本発明の実施の形態４において、車両前部に搭載したカメラで車両前方を撮像した撮像画像を示す図、（ｂ）は画像速度プロファイルを示す図である。
【図７】本発明の実施の形態４における処理フローを示す図である。
【図８】（ａ）は本発明の実施の形態５において、上方からカメラ１と移動する対象を眺めた図、（ｂ）〜（ｅ）はそれぞれ時刻Ｔ０〜Ｔ１、Ｔ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４の間、シャッタを開放して撮像した撮像画像＃１〜＃４を示す図である。
【図９】本発明の実施の形態５における処理フローを示す図である。
【符号の説明】
【００３２】
１…カメラ ２…画像メモリ
３…マイコン ４…カメラ制御部
５…モニタ
３１…観測領域 ３２…画像上の物体
６１…低速移動体 ６２…高速移動体
６３…低速移動領域 ６４…高速移動領域
【技術分野】
【０００１】
本発明は、撮像した画像の速度を算出する画像速度算出装置及び画像速度算出方法に関する。
【背景技術】
【０００２】
従来の画像速度算出装置は、例えば下記特許文献１に記載されている。
下記従来技術では、画像の速度を算出するために車載カメラから撮像した撮像画像から勾配法という計算手法によって対象物のオプティカルフロー(画像上における動きを示すベクトル)を算出している。勾配法は、対象物の濃淡値の分布が保持されていることを前提とし、離散的にサンプリングされた画像に基づいた連立拘束式を解くことによってオプティカルフローを算出することができる。そして、算出したオプティカルフローの方向及び大きさから画像の速度を算出している。
【特許文献１】特開平１１−１６０３３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来技術では、対象物の濃淡値の分布が保持されていることを前提に画像の速度を算出している。このため対象物が早い動きをする場合には、対象物の濃淡値分布に大きな変化が発生することになるため、オプティカルフローによる画像速度を算出することが難しいという問題がある。
【課題を解決するための手段】
【０００４】
本発明は、撮像手段により撮像された画像に前記撮像手段の露光中に発生する画像の流れを判定して、判定された画像の流れに基づいて、撮像手段の露光時間を短い時間に変更する。そして短くした露光時間に基づいて画像速度を算出する。
【発明の効果】
【０００５】
本発明は、撮像手段の露光時間を画像の流れが発生しない時間に変更することで画像速度を算出するようにしたので、濃度値分布の変化による影響を受けることなく対象物が早い動きをする場合に画像速度を算出することができる。
【発明を実施するための最良の形態】
【０００６】
《実施の形態１》
〈画像速度算出装置の構成〉
図１は、本発明の実施の形態１の画像速度算出装置の構成を示すブロック図である。
図１に示すように、本実施の形態の画像速度算出装置は、カメラ１、画像メモリ２、マイコン３、カメラ制御部４、モニタ５が接続されている。
高速カメラ等の電子式のカメラ１は画像を撮像する。画像メモリ２は、カメラ１で撮像された明るさの度合い（すなわち、輝度）をデジタル値に変換し保持する。マイコン３は、画像メモリ２に保持された画像を処理し、画像上の移動領域（画像上で移動している対象に対応する領域）の画像速度（移動領域の単位時間あたりの移動量）を算出する。また、画像速度を算出する際に設定するカメラ１の露光時間を算出し、カメラ制御部４に指示する。カメラ制御部４は、マイコン３によって指示された露光時間になるようにカメラ１の露光時間を制御する。なお、露光時間の長さは、カメラ１の電子シャッターまたは機械的シャッターのシャッター速度により決まる。また、露光時間とシャッター速度との関係は、露光時間が長いとシャッター速度が遅く、露光時間が短いとシャッター速度が速いことを意味するものである。
モニタ５は、画像メモリ２に保持された画像や画像速度情報を表示する。
なお、図１に示す画像速度装置の構成は、以下の実施の形態１〜５のすべてについて共通する。
【０００７】
〈処理フロー〉
図２は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。
まず、Ｓ１０１において、図１のカメラ１により撮像された画像を取得する。
次に、Ｓ１０２において、カメラ１により撮像された画像に像流れが発生する像流れ領域を抽出する。ここで、1画素とは画像１枚を構成する最小単位を意味し、画像の位置と明るさを決めるデータである。また、像流れとは、カメラ１の露光時間中に撮像対象物が１画素以上移動することにより発生するいわゆる画像の流れを意味する。例えば、車両前方に歩行者が飛び出していた場合や走行する車両から前方を連続して撮像した場合に画像内の物体が画像内を、中心から周囲へ流れるように移動してみえる場合などである。
次に、Ｓ１０３において、抽出した像流れ領域の露光時間を計測する。
次に、Ｓ１０４において、抽出した像流れ領域の露光時間が長いか否かを判定する。露光時間が長い場合は、Ｓ１０５の処理、ない場合はＳ１０６の処理を実施する。
次に、露光時間が長いある場合は、Ｓ１０５において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ１０１へ戻る。
次に、露光時間が長くない場合は、Ｓ１０６において、現時点の露光時間の逆数を算出し、移動領域の速度を算出し、Ｓ１０１へ戻る。
【０００８】
このように本実施の形態の画像速度算出装置は、画像を撮像するカメラ１と、カメラ１により撮像された画像に像流れが発生する像流れ領域を抽出し、抽出された像流れ領域の露光時間を判定し、露光時間が長いと判定された場合に、カメラ１の露光時間を短い時間に変更し、露光時間が長くないと判定された場合に、カメラ１の露光時間に基づいて、画像に像流れが発生する像流れ領域の画像速度を算出するマイコン３とを有する。
このようにカメラ１により撮像された画像に像流れが発生する像流れ領域を抽出し、カメラ１の露光時間を変化させながら撮像した複数の画像について処理を行い、画像に像流れが発生する像流れ領域の露光時間を短くし、そのときの露光時間に基づいて対象（画像速度算出対象）の画像速度を算出するため、対象が画面上で高速に移動している場合でも、対象の画像速度を算出することができる。
なお、露光時間の具体的な計測手段の例については、以下の実施の形態２、３において説明する。
【０００９】
《実施の形態２》
図３は、本実施の形態における図１のカメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出する手段を示す図である。
図３の（ａ）は撮像画像を示し、３１は観測領域、３２は画像上の物体である。
（ｂ）はカメラ１で１フレーム(カメラ１で撮像された画像１枚を表す単位)を撮像する撮像周期を示す。
（ｃ）はカメラ１の露光時間を示す。
（ｄ）は撮像画像＃１〜＃５を示す。
（ｅ）は撮像画像＃１〜＃５の周波数解析＃１〜＃５を示す。
（ｆ）は周波数解析＃１〜＃５による高周波成分を示す。
【００１０】
高速に移動する対象は露光時間が長いと、シャッターを開いて露光している間に１画素より多く流れてしまう。そして、図３(d)の撮像画像＃１〜＃３のように撮像した画像上に像流れが生じてしまう。ここで2画素以上の場合は当然ながら画像上に像流れが生じる。また、1.1画素、1.5画素の場合にも画像上に流れが生じてしまう。
ところが、このような対象は露光時間を短くすることでシャッターを開いて露光している間に１画素より多く動かなくなり、図３(d)の撮像画像＃４、５のように画像に像流れがない画像を撮像することができる。
このような撮像画像＃１〜＃５について、図３（ｅ）に示すように周波数解析を行なうと、画像に像流れが多いほど高周波成分が少なく、画像に像流れが少ないほど高周波成分が多くなり、図３（ｆ）に示すように、画像に像流れがなくなると高周波成分は最大かつ一定となる（変化しなくなる）。
このような特徴に基づいて、露光時間を短くしていき、高周波成分の変化がなくなる露光時間を抽出することで画像の像流れが発生しなくなる時点がわかる。そして、この時点における露光時間が対象が１画素流れる時間となる。
つまり、この露光時間の逆数が対象の画像速度となる。
【００１１】
〈処理フロー〉
図４は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。
まず、Ｓ２０１において、図１のカメラ１により撮像された画像を取得する。
次に、Ｓ２０２において、カメラ１により撮像された画像の観測領域（図３の３１参照）を設定し、画像に像流れが発生する像流れ領域を抽出する。
次に、Ｓ２０３において、周波数フーリエ変換（ＦＦＴ）等を用いて、抽出した像流れ領域の周波数解析を行い、高周波成分の変化を観測する。
次に、Ｓ２０４において、高周波成分の変化があるか否かを判定する。すなわち、ある露光時間で撮像した画像における像流れ領域の高周波成分と、それより所定の値だけ短い露光時間で撮像した画像における像流れ領域の高周波成分とを比較して、ある所定の値以下の変化量である場合には、Ｓ２０５の処理、それより大きい変化量である場合はＳ２０６の処理を実施する。
次に、ある所定値以下の変化量である場合には、Ｓ２０５において、現時点の露光時間の逆数を算出し、高速画像領域の速度を算出し、S２０７へ進む。
次に、ある所定値以上の変化量である場合には、Ｓ２０６において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ２０１へ戻る。
次に、Ｓ２０７において、Ｓ２０５で算出された画像速度をモニタ５に適宜表わすモニタ表示を行い、Ｓ２０１へ戻る。
【００１２】
本実施の形態では、本実施の形態の画像速度算出装置は、画像を撮像するカメラ１と、カメラ１により撮像された画像上の像流れが１画素より多く流れたことを判定し、１画素より多く流れたと判定された場合に、カメラ１の露光時間を変更し、１画素の像流れであると判定された場合に、カメラ１の露光時間に基づいて、高速移動領域の画像速度を算出するマイコン３とを有する。
このように本実施の形態では、画像上の像流れを判定し、カメラ１の露光時間を高速に変化させながら撮像した複数の画像について処理を行い、１画素流れた時の画像を抽出し、そのときの露光時間から対象の画像速度を算出するため、対象が画面上で高速に移動している場合でも、対象の画像速度が算出できる。
【００１３】
また、マイコン３において１画素の像流れを判定するには、カメラ制御部４によりカメラ１の露光時間を短くしながら撮像した画像（高速移動領域）の周波数解析を行って高周波成分を算出し、この高周波成分が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する。
このように露光時間を高速に変化させて撮像した複数の画像の像流れ領域の高周波成分の変化を観測し、高周波成分の変化がなくなる画像を抽出することで、像流れ領域が１画素の像流れとなる露光時間がわかるため、対象が画面上で高速に移動している場合でも、露光時間の逆数を算出することで対象の画像速度を算出することができる。
【００１４】
《実施の形態３》
図５は、本実施の形態におけるカメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出する手段を示す図である。図３に示した実施の形態２とは別の手段を示す。本図は実施の形態２の図３と同様の図であり、重複する部分は説明を省略する。
図５（ａ）は撮像画像を示す。
（ｂ）はカメラ１で１フレーム(カメラ１で撮像された画像１枚を表す単位)を撮像する撮像周期を示す。
（ｃ）は露光時間を示す。
（ｄ）は撮像画像＃１〜＃５を示す。
（ｅ）は図５(d)撮像画像＃１〜＃５のエッジ画像＃１〜＃５を示す。
（ｆ）は図５(e)エッジ画像＃１〜＃５のエッジ強度を示す。
【００１５】
図３と同様に、高速に移動する対象は露光時間が長いと、シャッターを開いて露光している間に１画素より多く流れてしまい、図５（ｄ）の撮像画像＃１〜＃３、図５（ｅ）のエッジ画像＃１〜＃３のように撮像した画像に像流れが生じてしまう。
ところが、このような対象は露光時間を短くすることでシャッターを開いて露光している間に１画素より多く流れなくなり、図５(d)画像＃４、５のように画像に像流れがない画像を撮像することができる。
このような撮像画像＃１〜＃５のエッジ強度を観測すると、図５（ｆ）に示すように、画像の像流れが多いほどエッジ強度が弱く、画像の像流れが少ないほどエッジ強度が強くなり、画像の像流れがなくなるとエッジ強度は最大かつ一定となる。
このような特徴に基づいて、露光時間を短くしていき、エッジ強度変化がなくなる露光時間を抽出することで画像に像流れが発生しなくなる時点がわかる。そして、この時点における露光時間が、対象が１画素流れる時間となる。
つまり、この露光時間の逆数が対象の画像速度となる。
【００１６】
本実施の形態では、マイコン３において１画素の像流れを判定するには、カメラ制御部４によりカメラ１の露光時間を短くしながら撮像した画像のエッジ強度を算出し、このエッジ強度が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する。
このように露光時間を高速に変化させて撮像した複数の画像の像流れ領域におけるエッジ強度の変化を観測し、エッジ強度の変化がなくなる画像を抽出することで、像流れ領域が１画素流れる露光時間がわかるため、対象が画面上で高速に移動している場合でも、露光時間の逆数を算出することで対象の画像速度が算出できる。
【００１７】
《実施の形態４》
本実施の形態は、図１のカメラ１（あるいは画像速度算出装置全体）を移動体、例えば自動車等の車両に搭載した場合の実施の形態である。
カメラ１は例えば車両の前部に設置され、車両の前方を撮像する。
モニタ５は車両に搭載され、画像メモリ２に保持された画像に、マイコン３によって算出された画像速度情報を重畳表示する。
その他の構成は、図１に示した実施の形態１と同様である。本実施の形態においても、カメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出するものである。
【００１８】
図６（ａ）は、車両の前部に搭載したカメラ１で車両の前方を撮像した撮像画像を示す。、（ｂ）は、横方向の各座標位置について画像速度を統計処理し、（車両、すなわち、カメラ１の移動による）最も頻度の高い画像速度をプロットした画像速度プロファイルを示す。
（ａ）において、６１は低速移動体、６２は高速移動体、（ｂ）において、６３は低速移動領域、６４は高速移動領域である。
【００１９】
車両が道路上を前方に走行し、カメラ１が視軸方向へ動いている場合、相対的にカメラ１の視軸向きを中心として左右に画像が動く。また、その速度はカメラ１の視軸向きから離れるほど大きくなる。
このような特徴に基づいて、カメラ１の視軸向き方向に近い方向で撮像された物体は、画像上での移動量が少なく、フレーム(カメラ１で撮像された画像１枚を表す単位)間で１画素以上動かない低速移動体６１としてその画素に止まっている。
そして、その低速移動体６１がその画素に止まっているフレーム数をカウントすることで、その低速移動体６１の画像速度を算出することができる。
【００２０】
このようにして算出された低速移動体６１の存在する図６（ｂ）の実線で示す低速移動領域６３の画像速度プロファイルを元に、空間的連続性を考慮して、１画素より多く移動し、画面両端に高速移動体６２が存在する高速移動領域６４の画像速度プロファイルを、（ｂ）の破線に示すように推定することができる。
このように、推定された低速移動領域６３の画像速度プロファイルに基づいて、高速移動領域６４の画像速度を補正することで、カメラ１が動いている場合でも、その移動によって発生する相対的な速度を排除することができる。
すなわち、車両等の移動体に搭載されたカメラ１でも、カメラ１の移動量による相対速度を排除することが可能となり、カメラ１の近くに存在する高速に移動する対象の画像速度でも計測することができる。
【００２１】
〈処理フロー〉
図７は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。ここでは、実施の形態３で説明した画像速度算出の手段を使用する例について説明する。すなわち、露光時間を短くしながら撮像した画像のエッジ強度を算出し、エッジ強度が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する手段を使用する。
【００２２】
まず、Ｓ４０１において、カメラ１（図１参照）により撮像された画像を取得する。
次に、Ｓ４０２において、カメラ１から入力され、画像メモリ２に保持された撮像画像に対し、ソベルフィルタ演算処理を行い、横エッジ画像を算出する。
次に、Ｓ４０３において、Ｓ４０２によって算出された横エッジ画像を１フレーム遅延させた画像を画像メモリ２に保持する。
次に、Ｓ４０４において、Ｓ４０２とＳ４０３で算出された横エッジ画像と１フレーム遅延させた横エッジ画像との差分画像を算出する。
次に、Ｓ４０５において、Ｓ４０４で算出された横エッジ差分画像に基づいてエッジの有無を判定し、エッジがある場合はＳ４０６、ない場合にはＳ４０８を実施する。
次に、Ｓ４０６において、Ｓ４０５で抽出された差分画像における横エッジについて、該エッジが同じ画素に何フレーム存在するかをカウント（投票）する。
次に、Ｓ４０７において、Ｓ４０６でカウントされた同一画素に存在するフレーム数を逆数にして、該横エッジの画像速度、すなわち、低速画像の速度を算出する。次いで、その情報をモニタ５（図１）に送る。
【００２３】
一方、Ｓ４０５で差分画像においてエッジがないと判定された場合に、Ｓ４０８において、Ｓ４０２で抽出された横エッジのソベルフィルタ出力であるエッジ強度を算出する。
次に、Ｓ４０９において、Ｓ４０７で算出された横エッジの低速画像の速度について、同じｘ座標（画像横方向）毎に、そのｘ座標に存在する画像速度の最も多い速度を算出し、各ｘ座標の低画像速度プロファイルを算出する（図６（ｂ）の実線）。
そして、この算出した低画像速度プロファイルに基づいて、空間的連続性を満足するように高速画像の速度のプロファイルを推定し（図６（ｂ）の破線）、画面両端の高速移動領域を含めた全ｘ座標における画像速度プロファイルを算出する（図６（ｂ）の実線及び破線を含む画像速度プロファイル）。
次に、Ｓ４１０において、Ｓ４０９で算出された画像速度プロファイル情報に基づいて、車両、すなわち、カメラ１の移動によって発生する相対的な速度を排除し、高速画像の速度を補正する。すなわち、Ｓ４０９で推定された画像速度分、位置をずらした位置に存在していた前フレームの横エッジのエッジ強度を読み出す。
次に、Ｓ４１１において、Ｓ４０８で算出されたある露光時間で撮像した画像における像流れ領域におけるエッジ強度と、Ｓ４１０で読み出されたそれより所定の値だけ短い露光時間で撮像した画像における像流れ領域のエッジ強度とを比較して、ある所定の値以下の変化量である場合には、Ｓ４１２の処理、それより大きい変化量である場合はＳ４１３の処理を実施する。
次に、ある所定値以下の変化量である場合には、Ｓ４１２において、Ｓ４０５で抽出された横エッジの画像速度として現時点の露光時間の逆数を算出し、高速画像領域の速度を算出してS４１５へ進む。
次に、ある所定値以上の変化量である場合には、Ｓ４１３において、Ｓ４０８で算出された横エッジの位置、エッジ強度を保持しておく。
次に、Ｓ４１４において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ４０１へ戻る。 次に、Ｓ４１５において、Ｓ４０７及びＳ４１２で算出された画像速度をモニタ５に適宜表わすモニタ表示を行う。
例えば、画像メモリ２に保持された画像に、マイコン３によって算出された画像速度情報として、画面において右に移動しているものは青、左に移動しているものは赤というように色相を変えながら重畳表示する。
【００２４】
本実施の形態では、カメラ１が車両等の移動体に搭載され、マイコン３は、画像上の流れが１画素より多いとされなかった低速移動領域が、１画素流れるのに要したフレーム数を計測することにより、低速移動領域の画像速度を算出する。そして、この低速移動領域における画像速度情報に基づいて、空間的な連続性から高速移動領域における画像速度を推定し、この高速移動領域においてカメラ１が移動することにより発生する相対的な画像速度を排除し、１画素の像流れを判定する。
このように低速移動領域において計測された画像速度を用いて高速移動領域の動きを推定する構成になっているため、カメラ１が移動物体に搭載され、移動している場合でも、この移動による相対的な画像速度をキャンセルすることができる。
したがって、カメラ１を車両等の移動体に搭載し、移動体が移動している場合でも、画像速度を算出することができ、また、移動するカメラ１の近くに存在し、画像上で相対的に高速で移動する対象でも画像速度を算出することができる。
【００２５】
《実施の形態５》
本実施の形態は、所定の時刻から複数の異なる露光時間の画像が撮像可能なカメラ（図１のカメラ１参照）を用いて、画像速度を算出する場合の実施の形態である。
図８（ａ）は、上方からカメラ１を眺めた図で、所定の時刻Ｔ０から所定のある時間であるＴ秒毎の時刻Ｔ０〜Ｔ４における対象の動きを表した図である。
θ１はカメラ１の１画素あたりの画角である。
θ２、θ３、θ４はそれぞれ時刻Ｔ０〜Ｔ４におけるカメラ１から対象に到る方向の角度である。図では、Ｔ０〜Ｔ４のみ例示しているが、もっと多数の場合も可能である。
図８（ｂ）〜（ｅ）の撮像画像＃１〜＃４はそれぞれ、時刻Ｔ０〜Ｔ１、Ｔ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４の間、露光して撮像した１フレームにおいて露光時間の異なる画像である。
すなわち、所定の時刻Ｔ０から露光時間を露光し、それぞれ時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４で撮像した画像である。
【００２６】
例えば、Ｔ秒が対象が１画素移動する時間であった場合、撮像画像＃１はＴ０〜Ｔ１のＴ秒間露光しているため、対象は同一画素に存在する。
撮像画像＃２〜＃４は、露光しているＴ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４間に対象が２画素、３画素、４画素移動するため、画像に像流れが発生する。
このように所定の時刻Ｔ０から複数の露光時間の画像が撮像されるため、実施の形態２で説明した周波数解析、あるいは実施の形態３で説明したエッジ強度の観測を行なうことにより、これらの撮像画像＃１〜＃４における画像に像流れのない画像を抽出することができ、それに基づいて画像速度を計測することができる。
【００２７】
〈処理フロー〉
図９は、本実施の形態において、図３に示した上記実施の形態２における周波数解析を用いて、画像速度の算出を実施する処理フローを示す。
Ｓ５０１〜Ｓ５０７は、実施の形態４のＳ４０１〜Ｓ４０７と全く同一の処理をするものであるので、説明を省略する。
【００２８】
Ｓ５０５で差分画像においてエッジがないと判定された場合、Ｓ５０８において、１フレームで、ある所定時間ずつずらした複数の露光時間で撮像した画像を出力するようにカメラ１を制御する。
次に、Ｓ５０９において、Ｓ５０８で撮像された露光時間が異なる複数の画像について周波数解析処理を行う。
次に、Ｓ５１０において、Ｓ５０９で算出された周波数解析結果から、高周波成分が最大でかつ一定となる露光時間を検出する。
次に、Ｓ５１１において、Ｓ５１０で検出された高周波成分が最大でかつ一定となる露光時間の逆数を画像速度として算出する。
次に、Ｓ５１２において、Ｓ５０７及びＳ５１１で算出された画像速度情報をモニタ５に表示する。
【００２９】
本実施の形態では、複数の異なる露光時間の画像を撮像するカメラ１と、カメラ１により撮像された画像上の像流れが１画素より多く流れたことを判定し、１画素より多く流れたと判定された場合に、カメラ１の露光時間を変更し、カメラ１の露光時間に基づいてこの高速移動領域の画像速度を算出するマイコン３とを有する。
このように本実施の形態では、ある所定の時刻Ｔ０から複数の異なるシャッタ速度で撮像された画像について処理を行う構成なので、ある時刻Ｔ０を基準として複数の露光時間で対象を観測することができるため、高速に移動する対象でも画像速度を算出することができる。
また、本実施の形態では、例えば１フレームにおいて複数の異なる露光時間の画像を撮像し、画像速度を算出するので、処理時間を短縮することができる。
また、実施の形態４と比較して、高速移動領域の画像速度を推定しないので、速度算出精度を向上できる。
なお、本実施の形態においても、画像速度を算出するに際し、露光時間を変更することももちろん可能である。
【００３０】
なお、以上説明した実施の形態は、本発明の技術的思想の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、前記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
また、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明する。
すなわち、実施の形態におけるカメラ１が、特許請求の範囲の撮像手段に、マイコン３が、画像流れ判定手段、露光時間変更手段、画像速度算出手段、１画素移動判定手段に、カメラ制御部４が、1画素移動変更手段にそれぞれ対応する。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１の画像速度算出装置の構成を示すブロック図である。
【図２】本発明の実施の形態１における処理フローを示す図である。
【図３】本発明の実施の形態２における画像速度を算出する手段を示す図である。
【図４】本発明の実施の形態２における処理フローを示す図である。
【図５】本発明の実施の形態３における画像速度を算出する手段を示す図である。
【図６】（ａ）は本発明の実施の形態４において、車両前部に搭載したカメラで車両前方を撮像した撮像画像を示す図、（ｂ）は画像速度プロファイルを示す図である。
【図７】本発明の実施の形態４における処理フローを示す図である。
【図８】（ａ）は本発明の実施の形態５において、上方からカメラ１と移動する対象を眺めた図、（ｂ）〜（ｅ）はそれぞれ時刻Ｔ０〜Ｔ１、Ｔ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４の間、シャッタを開放して撮像した撮像画像＃１〜＃４を示す図である。
【図９】本発明の実施の形態５における処理フローを示す図である。
【符号の説明】
【００３２】
１…カメラ ２…画像メモリ
３…マイコン ４…カメラ制御部
５…モニタ
３１…観測領域 ３２…画像上の物体
６１…低速移動体 ６２…高速移動体
６３…低速移動領域 ６４…高速移動領域
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により撮像された画像に前記撮像手段の露光中に発生する画像の流れを判定する画像流れ判定手段と、
前記画像流れ判定手段により判定された前記画像の流れに基づいて、
前記撮像手段の露光時間を短い露光時間に変更する露光時間変更手段と、
前記露光時間変更手段により変更された前記露光時間に基づいて
前記画像の速度を算出する画像速度算出手段と、
を有することを特徴とする画像速度算出装置。
【請求項２】
撮像手段と、
前記撮像手段により撮像された画像に前記撮像手段の露光中に発生する画像の流れが１画素以上流れたことを判定する１画素移動判定手段と、
前記１画素移動判定手段により判定された画像の流れに基づいて、
前記撮像手段の露光時間を1画素の流れとなる露光時間に変更する１画素移動変更手段と、
前記１画素移動変更手段により変更された前記露光時間に基づいて、
前記画像の速度を算出する画像速度算出手段と
を有することを特徴とする画像速度算出装置。
【請求項３】
前記１画素移動判定手段は、
前記１画素移動変更手段により露光時間を短くしながら撮像した画像の周波数解析を行って高周波成分をの変化を算出し、
前記高周波成分が変化しなくなる時点の画像を、
１画素流れた時の画像であると判定することを特徴とする
請求項２記載の画像速度算出装置。
【請求項４】
前記１画素移動判定手段は、
前記１画素移動変更手段により露光時間を短くしながら撮像した画像のエッジ強度の変化を算出し、
前記エッジ強度が変化しなくなる時点の画像を、
１画素流れた時の画像であると判定することを特徴とする
請求項２記載の画像速度算出装置。
【請求項５】
所定の時刻から複数の異なる露光時間で画像を撮像する撮像手段と、
前記撮像手段により撮像された画像に前記撮像手段の露光中に物体が動くことで発生する画像の流れが１画素以上流れたことを判定する１画素移動判定手段と、
前記１画素移動判定手段により画像の流れが１画素の流れであると判定された場合に、前記 撮像手段の露光時間に基づいて前記画像の速度を算出する画像速度算出手段と
を有することを特徴とする画像速度算出装置。
【請求項６】
前記画像速度算出手段は、
前記画像が１画素以上流れたと判定されない領域を検出する低速移動領域検出手段と、前記低速移動領域検出手段により１画素より多く流れたと判定されない場合には、１画素移動するのに要したフレーム数を計測することにより、前記低速移動領域の画像速度を算出することを特徴とする請求項２または５記載の画像速度算出装置。
【請求項７】
前記画像速度算出手段は、
前記低速移動領域検出手段により画像が１画素以上流れたと判定されなかった低速移動領 域を、１画素移動するのに要したフレーム数を計測することにより、前記低速移動領域の画像速度を算出し、
前記１画素移動判定手段は、
前記画像速度算出手段により算出された低速移動領域における画像速度情報に基づいて、空間的な連続性から前記高速移動領域における画像速度を推定し、前記高速移動領域において前記撮像手段が移動することにより発生する相対的な画像速度を排除し、１画素の流れを判定することを特徴とする請求項２記載の画像速度算出装置。
【請求項８】
画像を撮像し、
撮像した画像に発生する画像の流れに基づいて
撮像する露光時間を短い時間に変更して画像の速度を算出する
ことを特徴とする画像速度算出方法。
【請求項１】
撮像手段と、
前記撮像手段により撮像された画像に前記撮像手段の露光中に発生する画像の流れを判定する画像流れ判定手段と、
前記画像流れ判定手段により判定された前記画像の流れに基づいて、
前記撮像手段の露光時間を短い露光時間に変更する露光時間変更手段と、
前記露光時間変更手段により変更された前記露光時間に基づいて
前記画像の速度を算出する画像速度算出手段と、
を有することを特徴とする画像速度算出装置。
【請求項２】
撮像手段と、
前記撮像手段により撮像された画像に前記撮像手段の露光中に発生する画像の流れが１画素以上流れたことを判定する１画素移動判定手段と、
前記１画素移動判定手段により判定された画像の流れに基づいて、
前記撮像手段の露光時間を1画素の流れとなる露光時間に変更する１画素移動変更手段と、
前記１画素移動変更手段により変更された前記露光時間に基づいて、
前記画像の速度を算出する画像速度算出手段と
を有することを特徴とする画像速度算出装置。
【請求項３】
前記１画素移動判定手段は、
前記１画素移動変更手段により露光時間を短くしながら撮像した画像の周波数解析を行って高周波成分をの変化を算出し、
前記高周波成分が変化しなくなる時点の画像を、
１画素流れた時の画像であると判定することを特徴とする
請求項２記載の画像速度算出装置。
【請求項４】
前記１画素移動判定手段は、
前記１画素移動変更手段により露光時間を短くしながら撮像した画像のエッジ強度の変化を算出し、
前記エッジ強度が変化しなくなる時点の画像を、
１画素流れた時の画像であると判定することを特徴とする
請求項２記載の画像速度算出装置。
【請求項５】
所定の時刻から複数の異なる露光時間で画像を撮像する撮像手段と、
前記撮像手段により撮像された画像に前記撮像手段の露光中に物体が動くことで発生する画像の流れが１画素以上流れたことを判定する１画素移動判定手段と、
前記１画素移動判定手段により画像の流れが１画素の流れであると判定された場合に、前記 撮像手段の露光時間に基づいて前記画像の速度を算出する画像速度算出手段と
を有することを特徴とする画像速度算出装置。
【請求項６】
前記画像速度算出手段は、
前記画像が１画素以上流れたと判定されない領域を検出する低速移動領域検出手段と、前記低速移動領域検出手段により１画素より多く流れたと判定されない場合には、１画素移動するのに要したフレーム数を計測することにより、前記低速移動領域の画像速度を算出することを特徴とする請求項２または５記載の画像速度算出装置。
【請求項７】
前記画像速度算出手段は、
前記低速移動領域検出手段により画像が１画素以上流れたと判定されなかった低速移動領 域を、１画素移動するのに要したフレーム数を計測することにより、前記低速移動領域の画像速度を算出し、
前記１画素移動判定手段は、
前記画像速度算出手段により算出された低速移動領域における画像速度情報に基づいて、空間的な連続性から前記高速移動領域における画像速度を推定し、前記高速移動領域において前記撮像手段が移動することにより発生する相対的な画像速度を排除し、１画素の流れを判定することを特徴とする請求項２記載の画像速度算出装置。
【請求項８】
画像を撮像し、
撮像した画像に発生する画像の流れに基づいて
撮像する露光時間を短い時間に変更して画像の速度を算出する
ことを特徴とする画像速度算出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−１９５１４１（Ｐ２００７−１９５１４１Ａ）
【公開日】平成１９年８月２日（２００７．８．２）
【国際特許分類】
【出願番号】特願２００６−２４６７４５（Ｐ２００６−２４６７４５）
【出願日】平成１８年９月１２日（２００６．９．１２）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１９年８月２日（２００７．８．２）
【国際特許分類】
【出願日】平成１８年９月１２日（２００６．９．１２）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]