画像処理装置および方法
【課題】ドライブレコーダの撮像画像を表示装置に表示させる画像処理装置において、動体の動きを使用者が容易に理解できるようにする。
【解決手段】ドライブレコーダからの時系列のステレオ撮像画像から、３次元位置情報算出部１１が３次元位置情報を算出し、動体抽出部１２ａが同一の動体を抽出する一方、面設定部１３からは、使用者が表示にあたって所望とする投影面、すなわち視線方向を設定し、これに応じて３次元位置情報統合部１５が、その設定された投影面での時系列画像を統合し、３次元位置情報算出部１６が、その統合した画面における動体の各位置を算出し、３次元位置情報投影部１４が表示装置３に表示させる。したがって、時系列の３次元撮像画像から解析した動体の動きを、運転者の目線や、事故の目撃者の目線から見た画像に変換して表示することができ、前記動体の動きを使用者が容易に理解することができる。
【解決手段】ドライブレコーダからの時系列のステレオ撮像画像から、３次元位置情報算出部１１が３次元位置情報を算出し、動体抽出部１２ａが同一の動体を抽出する一方、面設定部１３からは、使用者が表示にあたって所望とする投影面、すなわち視線方向を設定し、これに応じて３次元位置情報統合部１５が、その設定された投影面での時系列画像を統合し、３次元位置情報算出部１６が、その統合した画面における動体の各位置を算出し、３次元位置情報投影部１４が表示装置３に表示させる。したがって、時系列の３次元撮像画像から解析した動体の動きを、運転者の目線や、事故の目撃者の目線から見た画像に変換して表示することができ、前記動体の動きを使用者が容易に理解することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラなどによる時系列撮像画像から、着目動体の動きを解析して表示装置に表示させる画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、自動車業界では、安全性向上を目的とした様々なシステムの研究がなされている。それには、センサやカメラを使用して、車両周辺の情報、特に距離情報を取得することで、衝突危険性を判定し、事故回避に役立てられている。中でも、カメラを利用した危機回避システムでは、カメラの撮像画像を元に、車両周辺の障害物等の特定や、その障害物の動きの解析等を行い、障害物を回避するようになっている。
【０００３】
一方で、危険を回避できずに事故が起きた場合には、その原因究明等に役立つような様々な情報を、事故前後の画像を分析して抽出するシステムも開発されている。たとえば、特許文献１には、交差点等に設置されたカメラによって事故前後の画像を取得し、その画像を解析することで、たとえば事故車両の速度等、事故における状況を分析するシステムが開示されている。このシステムは、事故現場となり得る（事故が多発する）交差点等に予めカメラを設置するとともに、路面や横断歩道等のその交差点における静止体の平面図データを用意しておき、この平面図データに前記事故の前後の画像を投影させる（車両軌跡を描写する）ことで、事故の状況を分析可能とするものである。
【０００４】
また、特許文献２には、単眼動画像の特徴点から、移動体に搭載されたカメラの３次元位置と姿勢とを示すカメラベクトル値（ＣＶ値）を求め、求められたＣＶ値に基づいて画像上にカメラ位置を重畳表示するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０２４２６号公報
【特許文献２】特開２００８−５４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来技術は、車両の状況を詳しく解析できるものの、前記平面図データを用意しておく必要があることから、予め定められた場所での事故の状況分析にしか対応できないという問題もある。
【０００７】
これに対して、特許文献２に開示された従来技術においては、動体領域が支配的な画像では正確なＣＶ値を算出することは困難であるという問題がある。さらに、カメラ、すなわち移動体（自車両）の動きを求めることはできるが、画像中におけるそれら以外の動体の位置を求めることについては考慮していない。
【０００８】
本発明の目的は、時系列の３次元撮像画像から解析した動体の動きを、使用者が容易に理解することができる形態で表示させる画像処理装置および方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示装置に表示させる画像処理装置において、前記時系列の撮像画像から同一の動体を抽出する動体抽出部と、前記表示にあたっての投影面を設定する面設定部と、前記面設定部にて設定された投影面上に、前記動体抽出部で抽出された動体における前記３次元位置情報を投影した表示画像を作成する３次元位置情報投影部とを含むことを特徴とする。
【００１０】
本発明の画像処理方法は、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示画像を作成するための方法において、前記時系列の撮像画像から同一の動体を抽出する工程と、前記表示にあたっての投影面を設定する工程と、設定された投影面上に、抽出された動体における前記３次元位置情報を投影した表示画像を作成する工程とを含むことを特徴とする。
【００１１】
上記の構成によれば、入力画像データとして、たとえばステレオカメラによる時系列の撮像画像を入力とし、そのステレオカメラの左右間の画像を対応点探索処理することで、前記撮像画像中での被写体の３次元位置情報を得たり、或いは単眼カメラの時系列の撮像画像にレーダなどによる距離情報を入力として被写体の３次元位置情報を得たりすることで、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得し、その入力画像データを処理して表示装置に表示させる画像処理装置において、動体抽出部と、入力部と、３次元位置情報投影部とを設ける。そして、前記動体抽出部は、前記時系列の撮像画像から同一の動体を抽出する一方、面設定部からは、使用者が前記表示にあたっての所望とする投影面、すなわち視線方向を設定し、これによって前記３次元位置情報投影部は、前記面設定部にて設定された投影面上に、前記動体抽出部で抽出された動体の前記時系列の各点における前記３次元位置情報を、たとえば軌跡の線や点、或いは実写の動体像自体の重ね合わせなどで投影した表示画像を作成し、前記表示装置に表示させる。
【００１２】
したがって、時系列の３次元撮像画像から解析した動体の動きを、たとえば運転者の目線や、事故の目撃者の目線から見た画像に変換して表示することができ、前記動体の動きを使用者が容易に理解することができる。
【００１３】
さらにまた、本発明の画像処理装置では、前記動体抽出部は、静止体も合わせて抽出し、前記動体抽出部の出力から、動体の各フレーム間の３次元位置を前記静止体を基準として統合する３次元情報統合部と、前記３次元情報統合部で統合されたフレーム間において、或るフレームにおける動体の３次元位置を基準として、残余のフレームにおける動体の３次元位置を算出し、前記３次元位置情報投影部へ出力する３次元位置情報算出部とをさらに備えることを特徴とする。
【００１４】
上記の構成によれば、静止体を基準として各フレーム間における動体の位置情報を統合した後、投影を行うので、前記時系列の撮像画像を得るカメラが動いている、すなわち前記カメラをドライブレコーダなどの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００１５】
また、本発明の画像処理装置では、前記動体抽出部は、静止体も合わせて抽出し、前記３次元位置情報投影部は、フレーム毎に、前記投影面上に、前記動体抽出部で抽出された動体および静止体の３次元位置情報を投影し、その投影された各フレーム画像において、前記静止体の位置合せを行うことで、前記各投影面の統合を行う投影画像統合部をさらに備えることを特徴とする。
【００１６】
上記の構成によれば、フレーム毎の投影結果を、静止体を基準として統合するので、前記時系列の撮像画像を得るカメラが動いている、すなわち前記カメラをドライブレコーダなどの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００１７】
さらにまた、本発明の画像処理装置では、前記動体抽出部は、静止体も合わせて抽出し、前記面設定部には前記動体抽出部の出力が入力され、或るフレームにおける抽出結果を基準とした仮想投影面が設定され、前記３次元位置情報投影部は、前記動体抽出部の出力から、各フレームにおける動体の３次元位置を前記静止体を基準として統合し、前記面設定部にて設定された仮想投影面上に投影することを特徴とする。
【００１８】
上記の構成によれば、静止体を基準として各フレーム間における動体の位置情報を統合した後、仮想投影面に投影を行うので、前記時系列の撮像画像を得るカメラが動いている、すなわち前記カメラをドライブレコーダなどの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００１９】
また、本発明の画像処理装置では、前記３次元位置情報投影部は、前記３次元位置情報に、前記動体抽出部で抽出された各動体の動きに関する情報を併せて前記表示画像を作成することを特徴とする。
【００２０】
上記の構成によれば、前記３次元位置情報に、速度の大きさ表す矢印や数値などの各動体の動きに関する情報を併せて表示することで、前記動体の動きを使用者がより容易に理解することができる。
【００２１】
さらにまた、本発明の画像処理装置では、前記３次元位置情報投影部において、前記投影面およびそれに投影される３次元位置情報は、前記入力画像データを、前記面設定部にて設定された角度から見た画像に変換した実写画像であることを特徴とする。
【００２２】
上記の構成によれば、実写画像を角度変換して動体像を作成するので、リアリティを持たせることができる。
【００２３】
また、本発明の画像処理装置では、前記３次元位置情報投影部において、前記投影面は前記面設定部にて設定された角度から見た模式化された道路面であり、前記３次元位置情報は、前記入力画像データから抽出した実写のランドマークから成ることを特徴とする。
【００２４】
上記の構成によれば、コンピュータグラフィックのような道路面に、実写画像によるランドマークを貼付けて表示画像が作成されるので、認識し易さとともに、リアリティを持たせることもできる。
【００２５】
さらにまた、本発明の画像処理装置では、前記投影面およびそれに投影される３次元位置情報は、前記面設定部にて設定された角度から見た模式化された絵図面から成ることを特徴とする。
【００２６】
上記の構成によれば、模式化された絵図面、たとえば前記模式化された道路面上に、前記模式化された通行区分や横断歩道、信号などの道路交通のための識別記号を合成したものに、前記動体位置を投影し、さらに使用者の視線方向を任意に設定して表示可能であるので、使用者は必要最小限の情報を表示するコンピュータグラフィックのような画像から、前記動体の動きをより容易に理解することができる。
【発明の効果】
【００２７】
本発明の画像処理装置および方法は、以上のように、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示装置に表示させる画像処理装置において、前記動体抽出部が、前記時系列の撮像画像から同一の動体を抽出する一方、面設定部からは、使用者が前記表示にあたっての所望とする投影面、すなわち視線方向を設定し、これに応じて３次元位置情報投影部が、前記面設定部にて設定された投影面上に、前記動体抽出部で抽出された動体の前記時系列の各点における前記３次元位置情報を、たとえば軌跡の線や点、或いは動体像自体の重ね合わせなどで投影した表示画像を作成し、前記表示装置に表示させる。
【００２８】
それゆえ、時系列の３次元撮像画像から解析した動体の動きを、たとえば運転者の目線や、事故の目撃者の目線から見た画像に変換して表示することができ、前記動体の動きを使用者が容易に理解することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の第１の形態に係る画像処理装置を備えて成る事故検証システムの電気的構成を示すブロック図であり、定点カメラを用いるものである。
【図２】本発明の実施の第１の形態に係る画像処理装置を備えて成る事故検証システムの電気的構成を示すブロック図であり、ドライブレコーダを用いるものである。
【図３】使用者による動体対応画像部分の特定作業を説明するための図である。
【図４】本発明の実施の一形態による動体の時系列位置の統合表示例を示す図であり、道路面上を走行する自転車の軌跡を示す。
【図５】本発明の実施の一形態による統合表示にあたって、視線方向の切換え方法を説明するための模式図である。
【図６】静止体の抽出方法を説明するための図である。
【図７】３次元情報の前記統合の処理を説明するための図である。
【図８】時系列画像における動体の対応付けを説明するための図である。
【図９】図３の動体の時系列位置を統合表示した結果を２つの視線方向から示す図である。
【図１０】動体の時系列位置を統合表示するにあたって、絵図面で模式化して示す図である。
【図１１】図５で示す模式化画像に、動きに関する情報を併せて投影した図である。
【図１２】他の動き情報のポップアップ表示を説明するための図である。
【図１３】図５で示す模式化画像の他の例を示す図である。
【図１４】本発明の実施の第２の形態に係る画像処理装置を備えて成る事故検証システムの電気的構成を示すブロック図である。
【図１５】本発明の実施の第２の形態による絵図面による投影面の位置合せを説明するための図である。
【図１６】本発明の実施の第３の形態に係る画像処理装置を備えて成る事故検証システムの電気的構成を示すブロック図である。
【図１７】本発明の実施の第３の形態による仮想投影面への投影方法を説明するための図である。
【図１８】ステレオカメラからの出力画像に対する３次元演算（距離演算）の手法を説明するための図である。
【図１９】前記３次元演算に用いるステレオカメラの左右視差を求めるにあたっての基準画像に対する参照画像の対応点探索方法を説明するための図である。
【図２０】前記対応点探索に効果的な多重解像度戦略を説明するための図である。
【図２１】位相限定相関法（ＰＯＣ）による相関値を示すグラフである。
【図２２】前記位相限定相関法における対応点探索の一例を示す図である。
【図２３】前記位相限定相関法における対応点探索範囲を説明するための図である。
【図２４】ＩＣＰアルゴリズムを説明するための図である。
【発明を実施するための形態】
【００３０】
（実施の形態１）
図１および図２は、本発明の実施の第１の形態に係る画像処理装置１，１ａをそれぞれ備えて成る事故検証システムの電気的構成を示すブロック図である。図１の事故検証システムは、交差点監視カメラのように、事故多発交差点などに設置される定点カメラ２に、交通監視室などに設置される前記画像処理装置１および表示装置３を備えて構成される。また、図２の事故検証システムは、タクシーなどの車輌に搭載されるドライブレコーダ４に、事業所などに設置される前記画像処理装置１ａおよび前記表示装置３を備えて構成される。
【００３１】
前記定点カメラ２は、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを作成するものである。このため、この図１で示すように、ステレオカメラ２１の撮像画像を画像記録部２２に連続記録してゆくような構成で実現でき、この場合には、前記画像処理装置１には、前記画像記録部２２からの時系列の撮像画像を入力とし、前記ステレオカメラ２１の左右間の画像を対応点探索処理することで、前記撮像画像中での被写体の３次元位置情報を得る３次元位置情報算出部１１が設けられる。ステレオカメラ２１からの撮像画像による３次元計測については、複数例を後に詳述する。一方、前記定点カメラ２として、単眼カメラの時系列の撮像画像にレーダなどによる距離情報を併せて記録してゆくものであれば、前記画像処理装置１に３次元位置情報算出部１１は設けられなくてもよい。すなわち、前記画像処理装置１は、入力画像データとして、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能なデータが入力されればよい。
【００３２】
前記ドライブレコーダ４は、前記ステレオカメラ２１および画像記録部２２に、一時記憶部４１およびトリガ発生部４２を備えて構成され、前記ステレオカメラ２１の撮像画像をリングバッファ等の一時記憶部４１に記憶し、加速度センサなどのトリガ発生部４２で発生されたトリガタイミング（衝突可能性がある等で危険なタイミング）の所定時間だけ以前から所定時間に亘って、前記一時記憶部４１から画像記録部２２に撮像画像データを転送して記録してゆくような構成で実現できる。前記画像記録部２２は、記録すべき画像データが記録容量を超えた場合には、古い画像データに上書きしてゆくように構成される。また、画像記録部２２に充分な記録容量が有る場合には、前記ステレオカメラ２１からの画像を該画像記録部２２が連続記録してゆき、トリガ発生部４２でトリガが発生したタイミング、またはその所定時間だけ以前のタイミングからの画像データに、後に抽出し易くするためのマーキングを施すようにしてもよい。
【００３３】
注目すべきは、前記画像処理装置１は、上述のような時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得し、処理画像を表示装置３に表示させるにあたって、前記時系列の撮像画像から同一の動体を抽出する動体抽出部１２と、前記表示にあたっての投影面を設定する面設定部１３と、前記面設定部１３にて設定された投影面上に、前記動体抽出部１２で抽出された動体における前記３次元位置情報を投影した表示画像を作成する３次元位置情報投影部１４とを備えて構成されることである。また注目すべきは、前記画像処理装置１ａは、前記３次元位置情報算出部１１、動体抽出部１２、面設定部１３および３次元位置情報投影部１４に加えて、３次元情報統合部１５および３次元位置情報算出部１６が設けられることである。
【００３４】
前記３次元位置情報算出部１１は、時間的に異なる複数の同一動体の３次元位置を算出するものであり、図１の定点カメラ２のようにステレオカメラ２１が固定されている場合には、各画像で得られる動体の３次元位置を算出すればよい。これに対して、図２のドライブレコーダ４のようにステレオカメラ２１が車両に搭載されている場合は、各画像で得られる動体の３次元位置は、撮影したときのカメラの位置に対する３次元位置であるので、該ステレオカメラ２１を搭載している車両と撮影している動体とが等速に同じ方向に移動している場合は、動体の３次元位置は常に同じ値になるので、該ステレオカメラ２１の座標系を、或る基準となるフレームに併せる必要がある。
【００３５】
前記動体抽出部１２は、前記時系列の撮像画像から同一の動体を抽出する。ここで、動体とは、自動車やバイク等の車両、自転車、歩行者等の地面に対して実際に移動している物体を言う。以下の説明では、ステレオカメラ２１は車両等の移動体に搭載されて撮像を行う、すなわちドライブレコーダ４の場合の動体抽出について説明する。この場合、搭載車両自体が移動するので、ステレオカメラ２１の撮像画像中に相対的に移動している物体があっても、動体であるとは限らない。そこで、以下に、ステレオカメラ２１で生成された時系列画像における動体対応画像部分の特定方法について説明する。なお、動体対応画像部分の特定においては、前記動体抽出部１２は、３次元位置情報算出部１１で求められた３次元座標、２次元動きベクトルおよび３次元動きベクトル等の３次元位置情報を用いる。なお、画像上の動体対応画像部分を特定するとは、具体的には、画像として表されている物体のうち動体が表示されている箇所を特定し、その３次元画像情報を取得することを言う。また、動体対応画像部分とは、画像中に表示された動体に対応する箇所を言う。
【００３６】
先ず、動きの消失点を用いて動体対応画像部分を特定する方法がある。ここで、動きの消失点とは、画像上の各点における動きベクトルをその方向に沿って延長した直線が交わる点である。この消失点は、画像上の物体の移動方向に応じて定まる。すなわち、カメラが同一方向に移動している場合において、同一物体であれば同一方向に移動していることから、その物体に対しての消失点が存在する。また、画像上の物体が静止体である場合に、静止体である物体すべてに対して同一の消失点が存在する（「主成分分析を用いた移動物体認識法の検討」，情報処理学会 研究報告 − コンピュータビジョンとイメージメディアＶｏｌ．１９９６，Ｎｏ．３１，１９９５−ＣＶＩＭ−０９９，文献番号：ＩＰＳＪ−ＣＶＩＭ９５０９９００８参照）。なお、ステレオカメラ２１で撮像される被写体の画像のほとんどは、信号機や、路面、横断歩道、壁等の静止体に対応する静止体対応画像部分で占められていると考えられる。ここで、静止体対応画像部分とは、画像中に表示された、静止体に対応する箇所を言う。そして、そのように仮定すると、最も多くの動きベクトルに対する消失点が静止体対応画像部分に対応する静止体の消失点であると推測される。したがって、画像において存在する消失点の内、最も多くの動きベクトルに対する消失点を除いた後に存在する各消失点が動体対応画像部分に対応する動体の消失点であると推定できる。
【００３７】
そこで、動体抽出部１２は、３次元位置情報算出部１１で算出した時系列画像において求められる動きベクトルをその方向に沿って延長して、それらが交わる点である消失点を画像上において求める。そして、それら消失点の内、最も多くの動きベクトルに対する消失点以外の各消失点を動体対応画像部分に対応する消失点であると推定する。さらに、このようにして、推定された動体対応画像部分の消失点をもとに、画像上の動体対応画像部分を特定し、その３次元画像情報を取得する。このようにして、各時系列画像における動体対応画像部分を特定することができる。なお、動きベクトルは、３次元位置情報算出部１１で算出されているので、消失点を求めるために新たに動きベクトルを算出する必要はなく、消失点を容易に算出することができる。
【００３８】
次に、パターン認識あるいはテンプレートマッチング等によって動体対応画像部分を特定する方法について説明する。たとえば、自動車、バイク、自転車等の車両や歩行者などのように、被写体として存在することが予想される動体について、パターン認識あるいはテンプレートマッチングを用いて、画像における動体対応画像部分を特定してもよい。パターン認識においては、動体抽出部１２は、上記動体に関するパターン認識のためのデータを予め記憶しておき、その記憶されたデータを用いて撮像画像中でパターン認識を行うことで動体対応画像部分を特定し、その３次元位置情報を取得する。さらに、パターン認識においては、例えばＳＶＭ（Support vector machine；サポートベクターマシン）やＡｄａＢｏｏｓｔ等の手法を用いて、パターンデータを学習してゆくことで、より効率良く動体対応画像部分を特定することができる。また、テンプレートマッチングにおいては、動体抽出部１２は、上記動体に関するテンプレートを予め記憶しておき、前述の対応点探索と同様に、そのテンプレートと相関値の高い箇所を画像から探索することで、画像上の動体対応画像部分を特定し、その３次元位置情報を取得する。
【００３９】
また、上記パターン認識およびテンプレートマッチングと同様、動体候補を用いて動体対応画像部分を特定する方法として、画像中のエッジ分布と左右対称性等とから、画像上の車両を特定する方法もある（たとえば、特開平７−３３４８００号公報参照）。この方法によって、動体抽出部１２が、画像上における車両等の動体対応画像部分を特定し、その３次元位置情報を取得することとしてもよい。
【００４０】
また、ステレオ時系列画像から求めた３次元動きベクトルに対して、このステレオ時系列画像を生成したステレオカメラ２１の移動速度（車速）によってこれらを補正することで、画像上の静止体対応画像部分と動体対応画像部分とを判別する方法もある（たとえば、特開２００６−１３４０３５号参照）。この方法を用いる場合は、動体抽出部１２は、ステレオカメラ２１が搭載された車両の速度情報を受け、３次元位置情報算出部１１で算出された３次元動きベクトルを用いて、画像上の動体対応画像部分を特定し、その３次元位置情報を取得することができる。
【００４１】
また、ステレオカメラ２１で生成された画像を見ながら、使用者がその画像中から動体対応画像部分を選ぶことで、動体対応画像部分が特定されることとしてもよい。図３は使用者が動体対応画像部分を特定する場合について説明するための図である。使用者が図示しない入力部などを用いて、表示装置３および画像記録部２２に指示することで、表示装置３は、画像記録部２２に記録されている実写画像を、図３（ａ）で示すように、そのまま表示する。そして、使用者は、前記入力部のマウス等を操作することで、図３（ｂ）において、枠掛けして示すように、表示装置３に表示された画像の一部を選択することができることとすればよい。選択された箇所は前記動体対応画像部分として特定される。
【００４２】
具体的には、３次元位置情報算出部１１によって３次元位置情報の算出されている画像が、画像記録部２２から読み出されて表示装置３に表示される。表示装置３には、表示された画像以外に、たとえばマウスによって表示装置３の画面上での位置を操作できるカーソル等が表示され、当該カーソルによって前記画面上の特定の部分を選択することで、選択された部分の３次元位置情報が動体抽出部１２に入力され、動体対応画像部分が特定される。たとえば、前記図３（ａ）に示すように、使用者が表示装置３に表示された画像から、自動車ｍ１，ｍ２を含む動体対応画像部分Ｍ１，Ｍ２と、歩行者ｍ３を含む動体対応画像部分Ｍ３とを入力部で選択することで、動体抽出部１２はこれらの画像上の動体対応画像部分を特定し、その３次元位置情報を取得する。
【００４３】
このような動体対応画像部分の選択は、画像毎に行われてもよいが、煩雑であるので、動体抽出部１２が自動的に追尾して選択を行うようにしてもよい。たとえば、図３（ｃ）は、図３（ａ）および（ｂ）よりもΔｔ秒後の画像であるが、この画像についても枠掛けして示すように、自動車および歩行者が動体対応画像部分Ｍ１，Ｍ２；Ｍ３として選択されている。このような動体対応画像部分の自動追尾は前述の対応点探索による方法だけでなく、たとえば後述のＬｕｃａｓ−Ｋａｎａｄｅ法等の動きベクトルを算出する演算を用いる方法等がある。前記Ｌｕｃａｓ−Ｋａｎａｄｅ法は、画像間における動きベクトルを求める手法であるが、動きベクトルを求めることで、画像間における対応付けも可能であることから、動体対応画像部分の追尾も可能である。
【００４４】
また、動体抽出部１２は、上述した方法の内、１つの方法によって動体対応画像部分を特定してもよいし、いずれかの方法を選択的に用いて特定してもよい。たとえば、パターン認識またはテンプレートマッチングによって、先ず動体対応画像部分を特定することとし、これらの方法で動体対応画像部分を特定できない場合には、使用者が入力部を用いて動体対応画像部分を特定することとしてもよい。
【００４５】
一方、前記面設定部１３からは、使用者が前記表示にあたっての所望とする投影面、すなわち視線方向が設定される。これに応じて前記３次元位置情報投影部１４は、前記面設定部１３にて設定された投影面上に、前記動体抽出部１２で抽出された動体の前記時系列の各点における前記３次元位置情報を投影した表示画像を作成し、前記表示装置３に表示させる。図４は、その投影結果の一例を示す図であり、前記定点カメラ２の撮像画像から得た３次元位置情報をそのまま投影したものである。図４は、道路面５１上を走行する自転車５２の軌跡を示すものであり、実線５３は道路面５１上に投影した自転車５２の軌跡を示す。この図４では、実写による前記道路面５１およびＣＧ合成の自転車５２の軌跡の線および点に加えて、該自転車５２の実写像自体も重ね合わて投影している。このような軌跡の線および点ならびに動体像自体の内、何れを選択して投影するのかは、煩雑に（見難く）ならない範囲で、より分り易くなるように、適宜選択されればよい。
【００４６】
これに対して、図５には、前記視線方向の切換えを模式的に示す。図５（ａ）は、前記図４に対応した定点カメラ２の設置位置から見た画像であるが、図５（ｂ）は、図５（ａ）において参照符号５４で示す事故の目撃者などの視線方向から見た画像である。
【００４７】
ここで、図１で示す定点カメラ２の画像処理装置１では、前記動体抽出部１２で抽出された動体の動きに伴う３次元位置情報を、順に投影していけばよい。しかしながら、図２で示すドライブレコーダ４の画像処理装置１ａでは、自車両も移動しているので、各フレーム間の位置合せが必要となる。このため、前記画像処理装置１ａでは、動体抽出部１２ａは、静止体も合わせて抽出しており、さらに注目すべきは、該画像処理装置１ａには、前記動体抽出部１２ａの出力から、動体の各フレーム間の３次元位置を前記静止体を基準として統合する３次元情報統合部１５と、前記３次元情報統合部１５で統合されたフレーム間において、或るフレームにおける動体の３次元位置を基準として、残余のフレームにおける動体の３次元位置を算出し、前記３次元位置情報投影部１４へ出力する３次元位置情報算出部１６とがさらに設けられていることである。
【００４８】
図６は、前記静止体の抽出方法を説明するための図である。前記動体抽出部１２はまた、前記３次元位置情報算出部１１において算出された３次元座標、２次元動きベクトルおよび３次元動きベクトル等をもとに、各画像における静止体対応画像部分Ｓ１〜Ｓ４を特定する。ここで、静止体とは、信号機、路面、横断歩道、看板、壁等のランドマークであって、地面に固定されているものである。図６では、道路と歩道との境界付近および壁面等を含む静止体対応画像部分Ｓ１、信号機および横断歩道等の路面を含む静止体対応画像部分Ｓ２、歩道、路面および壁面等を含む静止体対応画像部分Ｓ３および路面および路面に形成された車線等を含む静止体対応画像部分Ｓ４が選択され、前記動体抽出部１２はこれらの画像上の静止体対応画像部分Ｓ１〜Ｓ４も特定し、その３次元画像情報を取得する。
【００４９】
ここで、ステレオカメラ２１は車両に搭載されていることから、該ステレオカメラ２１自体も移動し、時系列画像上において、前記静止体対応画像部分Ｓ１〜Ｓ４は移動している。このように、画像上では固定されていないが、実際には移動していない静止体における静止体対応画像部分Ｓ１〜Ｓ４を画像から特定する方法としては、以下の方法がある。前記動体抽出部１２は、これらの方法を用いて、撮像画像から前記静止体対応画像部分Ｓ１〜Ｓ４を特定する。また、撮像画像上において、該動体抽出部１２が特定した動体対応画像部分Ｍ１〜Ｍ３以外を静止体として特定してもよい。
【００５０】
先ず、動きの消失点を用いて静止体対応画像部分を特定する方法について説明する。前記動体抽出部１２は、前記３次元位置情報算出部１１で算出した時系列画像において消失点を求め、それら消失点の内、最も多くの動きベクトルに対する消失点を静止体対応画像部分に対応する静止体の消失点であると推定する。さらに、このようにして推定された静止体の消失点をもとに、画像上の静止体対応画像部分を特定し、その３次元画像情報を取得する。このようにして、各時系列画像における静止体対応画像部分を特定することができる。なお、動きベクトルは、３次元位置情報算出部１１において算出されているので、消失点を求めるために新たに動きベクトルを算出する必要はなく、消失点を容易に算出することができる。
【００５１】
また、動体抽出部１２は、前記信号機、標識、看板等のように、存在することが予想される静止体すなわちランドマークを、パターン認識あるいはテンプレートマッチングによって検出することで、静止体対応画像部分を特定してもよい。なお、この際に用いるパターンデータおよびテンプレートは該動体抽出部１２に予め記憶しておくこととすればよい。このようにして、動体抽出部１２は、画像上の静止体対応画像部分を特定し、その３次元画像情報を取得する。なお、動体抽出時と同様に、パターンデータを学習してゆくことで、より効率良く静止体対応画像部分を特定することができる。また、ステレオカメラ２１で生成された画像を見ながら、使用者がその画像中から静止体対応画像部分を選ぶことで、静止体対応画像部分が特定されることとしてもよい。
【００５２】
図７は、前記３次元情報統合部１５の処理を説明するための図である。時刻Ｔにおいて図７（ａ）で示すような撮像画像が得られており、時刻Ｔ＋Δｔにおいて図７（ｂ）で示すような撮像画像が得られているとき、前述の図５で示すように静止体領域を抽出すると、それぞれ図７（ｃ）および図７（ｄ）で示すような画像となる。これらの図７（ｃ）および図７（ｄ）では、動体領域を黒く塗り潰している。そして、先ず図８（ａ）および図８（ｂ）で示すように、２つの画像間の対応付けを行う。それには、後述の対応点探索方法を用いてもよいし、前述のＬｕｃａｓ−Ｋａｎａｄｅ法を用いてもよい。
【００５３】
図８（ａ）および図８（ｂ）は、前記図７（ｃ）および図７（ｄ）にそれぞれ対応するものであり、こうして２つの画像間で対応付けが行われると、第１の統合方法では、その対応付けられた点６１〜６５のうち、同一直線状にない３点を選択し、時刻Ｔと時刻Ｔ＋Δｔとにおいて、それぞれ３点から構成される面を一致させるような回転（面の法線ベクトルを合わせる）および並進成分（どれか１点を合わせる、または３点の重心位置を合わせる）を算出する。また、第２の方法では、対応付けられた点６１〜６５のうち、任意の数点を選択し、その選択した数点を初期値として、ＩＣＰ（Iterative Closest Points）を用いて回転および並進成分を算出する（ＩＣＰアルゴリズムについては後述）。
【００５４】
次に、時刻Ｔ＋Δｔの３次元情報を、算出した回転および並進成分を用いて変換する。変換後の時刻Ｔ＋Δｔの３次元情報と、時刻Ｔの３次元情報とを重ね合わせると、静止体領域は一致するが、動体領域については一致せず、同一被写体が２つ存在することになる。その同一被写体において、時間の異なる３次元位置を重畳することで、前述の図４で示すように動体の軌跡を容易に知ることができる。また、図９（ａ）には、前述の図３（ｂ）および（ｃ）の運転者による視線の模式図の統合画像を示し、図９（ｂ）には、図９（ａ）の俯瞰画像を示す。図９からは、右側の車両ｍ２が左側の車両ｍ１よりもスピードを出していることが分かる。
【００５５】
以上、時間の異なる２つの３次元情報を統合する方法について説明したが、より多くの時系列画像についても同様に統合することができ、前述の図４で示すような実写画像を得ることができる。具体的には、第１の方法では、時刻Ｔの画像を基準として、時刻Ｔ＋Δｔ，時刻Ｔ＋２Δｔ，・・・の３次元情報を位置合わせする。また、第２の方法では、１つ前の時刻の画像を基準として、３次元情報を逐次位置合わせしてゆく。
【００５６】
また、統合のために選択される点は、各時刻で異なる点を選択しても構わない。たとえば、前記第１の方法において、時刻Ｔと時刻Ｔ＋Δｔとのペアで選択された点が、時刻Ｔと時刻Ｔ＋２Δｔでも存在するとは限らないので、時間の変化が生じたときは、選択する点も更新する方が好ましい。また、選択する点が互いに近接している場合は、局所的な部分における３次元の一致を算出することになるので、その局所領域での３次元の一致は正確にできるものの、画像全体で見れば結果が不安定になりやすいので、選択する３点は、できるだけ離れるように選択することで、安定した結果を得ることができ、好ましい。さらにまた、第１の方法では、３点を選択しているけれども、３点のセットを複数選択し、これらの複数の３点のセットから、最小二乗的に解を求めても構わない。こうすることで、安定して解を求めることができる。さらにまた、ドライブレコーダ４の場合、トリガ発生時の画像を基準とすることで、該トリガ発生時の３次元情報を高精度に出力でき、３次元情報を統合するにあたって、誤差の蓄積が生じても、前記トリガ発生前後の３次元情報の誤差は少なくなるので、事故解析などで有用である。
【００５７】
このように構成することで、時系列の３次元撮像画像から解析した動体の３次元の動きを、たとえば図４や図５（ａ）で示すような俯瞰画像や、図３で示すような運転者の目線からの画像、図５（ｂ）で示すような事故の目撃者の目線からの画像などの任意の視線方向の２次元の画像に変換して表示することができ、前記動体の動きを使用者が容易に理解することができる。
【００５８】
また、前記画像処理装置１ａでは、静止体を基準として各フレーム間における動体の位置情報を統合した後、投影を行うので、前記時系列の撮像画像を得るステレオカメラ２１が動いている、すなわち前記ステレオカメラ２１をドライブレコーダ４の車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００５９】
好ましくは、前記３次元位置情報投影部１４において、前記投影面およびそれに投影される３次元位置情報を、前記面設定部１３にて設定された角度から見た模式化された絵図面としてもよい。図１０にその一例を示す。図１０（ａ）は前述の図４に類似する実写映像で、それを模式化して前記絵図面とした図が図１０（ｂ）で示すものである。参照符号５４は、自転車５２と同じタイミングでの自車の走行軌跡である。
【００６０】
このように、模式化された絵図面、たとえば前記模式化された道路面５１上に、前記模式化された通行区分５５や横断歩道５６、信号などの道路交通のための識別記号を合成したものに、前記動体位置を投影し、さらに使用者の視線方向を任意に設定して表示可能とすることで、使用者は必要最小限の情報を表示するコンピュータグラフィックのような画像から、前記動体の動きをより容易に理解することができる。前記道路交通のための識別記号は、パターン認識などを利用して抽出すればよい。また、このようなコンピュータグラフィックの道路面５１の画像に、前記実写画像を部分的に合成してもよい。具体的には、道路面５１や動体位置がコンピュータグラフィックで作成され、前記信号機、標識、看板などのランドマークは、実写画像を使用するというものである。これによって、認識し易いコンピュータグラフィックの画像に、リアリティを持たせることもできる。
【００６１】
さらにまた、画像処理装置１における動体抽出部１２および画像処理装置１ａにおける３次元情報算出部１６からは、前記動体抽出部１２，１２ａで抽出した動体対応画像部分について、投影にあたって、いずれか任意のフレームにおける時系列画像を基準として、他のフレームにおける対応画像部分も統合された３次元座標が算出されることになる。この統合画像を得るための３次元座標のことを、以下では基準化３次元座標と言う。そこで、自身も移動している画像処理装置１ａにおける３次元情報算出部１６でのこの基準化３次元座標の算出方法について以下に詳しく説明する。先ず、３次元情報統合部１５は、前記面設定部１３で設定される任意の基準画像における静止体対応画像部分に含まれる任意の３点を選択する。その３点の画像毎の３次元座標は算出されているので、３次元情報統合部１５が、同一直線上にない３点を選択することは容易にできる。同様に、３次元情報統合部１５は、基準化３次元座標を算出する基準画像とは別フレームの画像上における、前記基準画像において選択された３点に対応する３点を取得する。この対応する３点については動体抽出部１２ａで算出したデータを用いてもよいし、該３次元情報統合部１５で対応点探索または後述のＬｕｃａｓ−Ｋａｎａｄｅ法等により求めてもよい。
【００６２】
こうして、３次元情報統合部１５は、時刻Ｔにおける画像の静止体対応画像部分から同一直線上にはない３点を選択し、これらに対応する、時刻Ｔ＋Δｔにおける画像上の点を求める。そして、３次元情報統合部１５は、時刻Ｔにおける３点により構成される面に、時刻Ｔ＋Δｔにおける３点により構成される面を一致させるために必要な、時刻Ｔ＋Δｔにおける３点の３次元座標の座標変換に必要な回転成分および並進成分を算出する。つまり、３次元情報統合部１５は、時刻Ｔにおける３点から構成される面の法線ベクトルに、時刻Ｔ＋Δｔにおける３点から構成される面の法線ベクトルを一致させ、時刻Ｔにおける３点のいずれか１点に時刻Ｔ＋Δｔにおける３点のいずれかを合わせるか、時刻Ｔにおける３点の重心に時刻Ｔ＋Δｔにおける３点の重心を合わせるような座標変換を行う回転成分および並進成分を算出する。そして、３次元位置情報算出部１５は、時刻Ｔ＋Δｔの画像における特定した動体対応画像部分の３次元座標を、算出された回転成分および並進成分により変換することで、時刻Ｔの画像を基準とする基準化３次元座標を算出することができる。
【００６３】
ここで、統合画像において選択された３点は、３次元座標においてそれぞれ互いに離れていることが好ましい。それにより、局所的な一致でなく、静止体対応画像部分における広い範囲において、静止体対応画像部分同士が一致することとなり、より確実に一致することとなる。そして、３次元情報統合部１５は、これら複数組により、最小二乗的に、上記回転成分および並進成分を算出すればよい。それにより、３次元情報統合部１５は、より安定した解（回転成分および並進成分）を求めることができ、３次元座標の変換精度が高くなる。
【００６４】
また、統合画像を基準とする、特定した動体対応画像部分の３次元座標の変換の方法として、別の方法について説明する。具体的には、前記ＩＣＰアルゴリズムを用いる方法である。それによれば、３次元情報統合部１５は動体抽出部１２ａで抽出された静止体対応画像部分の任意の複数の点における３次元座標を初期値とし、これら複数の点に対応する、他の時系列画像上の点を取得する。そして、３次元情報統合部１５は、前記ＩＣＰアルゴリズムを用いることで、時刻Ｔに撮像された基準画像の静止体対応画像部分における複数の点に、これらに対応する時刻Ｔ＋Δｔの画像の静止体対応画像部分における複数の点を３次元座標において一致させるような座標変換に必要な回転成分および並進成分を算出することができる。さらに３次元情報統合部１５は、時刻Ｔ＋Δｔの画像における特定した動体対応画像部分の３次元座標を、算出された回転成分および並進成分により変換することで、時刻Ｔの画像を基準とする時刻Ｔ＋Δｔの画像における特定した動体対応画像部分の基準化３次元座標を算出することができる。このように、ＩＣＰアルゴリズムを用いることで、対応する複数の点について、３次元情報統合部１５は、ノイズに影響されにくいロバストな座標変換が可能である。
【００６５】
なお、時刻Ｔにおける基準画像を基準として、時刻Ｔ＋Δｔにおける画像の特定した動体対応画像部分の３次元座標の変換について説明したが、３次元情報統合部１５は他の時系列画像の特定した動体対応画像部分の３次元座標の変換についても、同様に回転成分および並進成分を算出して、変換していけばよい。なお、ステレオカメラ１を搭載した移動体が直進していれば、前方の離れた箇所にある静止体に対応する静止体対応画像部分は、複数の時系列画像に存在するが、移動体が左折あるいは右折する等、曲がった場合は、その後の時系列画像に存在する静止体対応画像部分が変化してゆく。そこで、各時系列画像に応じて、最初に基準画像において選択した点の対応点がなくなる場合もあるが、このような場合であっても、３次元情報統合部１５は選択した点を新たな点に変更（更新）していけばよい。そして、座標変換を複数回行うことで、基準化３次元座標の算出は可能である。３次元情報統合部１５は、このように、静止体の３次元画像情報を用いて、移動体の動きに制限されることなく、基準化３次元座標を算出することができる。
【００６６】
前記３次元情報統合部１５では、こうして特定した動体対応画像部分について、基準化３次元座標を算出しているので、この３次元情報統合部１５で求められた、或いは、定点カメラ２につき、予め基準化３次元座標が求められている動体抽出部１２の出力から、動体対応画像部分に対応するその動体の動きに関する情報を算出することが可能である。その情報とは、たとえば動体の速度、加速度、速度ベクトル、加速度ベクトル等である。また、３次元画像情報統合部１５において算出した動きベクトル等も情報の１つである。そこで、前記基準化３次元座標を用いて、特定した動体対応画像部分に対応する動体の速度、加速度およびベクトルを算出する演算方法について説明する。先ず、ｔ秒のフレーム間隔で、同一の動体に対応する動体対応画像部分における連続した３フレームの基準化３次元座標を用算出した結果を、それぞれ（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）および（ｘ３，ｙ３，ｚ３）とする。次に、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）から、これらを撮像した際の動体の速度ｖ１は、下式で表すことができる。
【００６７】
ｖ１＝｛（Ｖｘ１）２＋（Ｖｙ１）２＋（Ｖｚ１）２｝１／２
ただし、
（Ｖｘ１，Ｖｙ１，Ｖｚ１）
＝（（ｘ２−ｘ１）／ｔ，（ｙ２−ｙ１）／ｔ，（ｚ２−ｚ１）／ｔ）
である。
【００６８】
同様に、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）から、これらを撮像した際の動体の速度ｖ２は、下式で表すことができる。
【００６９】
ｖ２＝｛（Ｖｘ２）２＋（Ｖｙ２）２＋（Ｖｚ２）２｝１／２
ただし、
（Ｖｘ２，Ｖｙ２，Ｖｚ２）
＝（（ｘ３−ｘ２）／ｔ，（ｙ３−ｙ２）／ｔ，（ｚ３−ｚ２）／ｔ）
である。
【００７０】
したがって、３つの画像の各対応点から求められる動体の加速度ａは、下式で表すことができる。
【００７１】
ａ＝｛（Ａｘ）２＋（Ａｙ）２＋（Ａｚ）２｝１／２
ただし、
（Ａｘ，Ａｙ，Ａｚ）
＝（（Ｖｘ２−Ｖｘ１）／ｔ，（Ｖｙ２−Ｖｙ１）／ｔ，（Ｖｚ２−Ｖｚ１）／ｔ）
である。
【００７２】
また、３次元動きベクトル（Ｕｘ１，Ｕｙ１，Ｕｚ１）、（Ｕｘ２，Ｕｙ２，Ｕｚ２）は、
（Ｕｘ１，Ｕｙ１，Ｕｚ１）＝（ｘ２−ｘ１，ｙ２−ｙ１，ｚ２−ｚ１）
（Ｕｘ２，Ｕｙ２，Ｕｚ２）＝（ｘ３−ｘ２，ｙ３−ｙ２，ｚ３−ｚ２）
である。
【００７３】
好ましくは、前記３次元位置情報投影部１４は、こうして求めた動体の動きに関する情報を併せて前記表示画像を作成することである。図１１は、前記図５（ａ）で示す模式化画像に、前記動きに関する情報を併せて投影したものである。具体的に、図１１（ａ）は、フレーム間の動き情報を動きベクトル（動体の同じ位置同士を結んでいる）として表示したものであり、その動きベクトルを矢印で表している。図１１（ｂ）は、フレーム間の動き情報を速度ベクトルとして表示したものであり、その速度ベクトルを速度に応じて長さの変わる矢印で表している。図１１（ｃ）はフレーム間の動き情報として、速度（km/h）をそのまま重畳表示したものである。このように各動体の動きに関する情報を併せて表示することで、前記動体の動きを使用者がより容易に理解することができる。
【００７４】
一方、図１２は、前記図１１（ａ）で示す動きベクトル表示に、マウスなどを使って、クリック（或いは重ねるだけでもよい)すると、他の動き情報（図１１（ｃ）の速度）をポップアップ表示したものである。また、図１１や図１２のように時間的に異なる全てのフレームの動体位置や動き情報を重畳表示するのではなく、図１３（ａ）〜（ｃ）で示すように、それぞれのフレームにおける動体位置を、時系列的に都度表示（アニメーション表示など）するようにしてもよい。
【００７５】
（実施の形態２）
図１４は、本発明の実施の第２の形態に係る画像処理装置１ｂを備えて成る事故検証システムの電気的構成を示すブロック図である。この事故検証システムは、前述の図１および図２で示す事故検証システムに類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、本実施の形態では、前記動体抽出部１２ａは静止体も合わせて抽出し、その後、先ず３次元位置情報投影部１４が、面設定部１３で設定された投影面上に、フレーム毎に、前記動体抽出部１２ａで抽出された動体および静止体の３次元位置情報を投影し、その投影された各フレーム画像において、投影画像統合部１７が前記静止体の位置合せを行うことで、前記各投影面の統合を行うことである。
【００７６】
図１５は、前記絵図面による投影面の位置合せを説明するための図である。各投影面が曲面であっても同様に位置合わせを行うことが可能であるが、説明を簡素化するために、平面として説明する。先ず、図１５（ａ）は、４枚の時系列の各画像において、動体を平面上に投影した状態を表す。これらの時間的に異なる複数の画像を図１５（ｂ）では、静止体である前記道路交通のための識別記号に基づいて、平面の位置合わせを行っている。具体的には、図の上下方向は横断歩道５６で、左右方向は通行区分５５で位置合わせを行っている。そして、図１５（ｃ）では、位置合わせ後の平面を統合した状態を表している。
【００７７】
こうして、フレーム毎の投影結果を、静止体を基準として統合することで、前記時系列の撮像画像を得るステレオカメラ２１が動いている、すなわち前記ステレオカメラ２１をドライブレコーダ４などの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００７８】
（実施の形態３）
図１６は、本発明の実施の第３の形態に係る画像処理装置１ｃを備えて成る事故検証システムの電気的構成を示すブロック図である。この事故検証システムは、前述の図１および図２で示す事故検証システムに類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、本実施の形態では、前記動体抽出部１２ａは静止体も合わせて抽出する一方、面設定部１３ｃには前記動体抽出部１２ａの出力が入力され、或るフレームにおける抽出結果を基準とした仮想投影面が設定され、３次元位置情報投影部１４ｃは、前記動体抽出部１２ｃの出力から、各フレームにおける動体の３次元位置を前記静止体を基準として統合し、前記面設定部１３ｃにて設定された仮想投影面上に投影することである。
【００７９】
図１７は、そのような仮想投影面への投影方法を説明するための図である。本実施の形態でも、前記仮想投影面が曲面であっても、同様に位置合わせを行うことが可能であるが、説明を簡素化するために、平面として説明する。前述の図１５では、各フレームで設定した平面に動体を投影した後、それらの平面の位置合わせを行うことで、全体を俯瞰できる平面図を作成している。これに対して、本実施の形態では、全体を俯瞰できる仮想平面を用意し、３次元位置情報投影部１４ｃは、図１７（ａ）で示すような各画像の仮想平面の中で、基準となるフレームで設定した仮想平面に、図１７（ｂ）で示すように残余のフレームで設定した平面を連結して作成する。
【００８０】
ここで、上り坂の場合の仮想平面は図１７（ｃ）で示すようになるので、投影した動体の位置精度が低下する。そこで、このような場合はたとえばナビゲーションシステムからＧＰＳの情報を用いることで、坂道か否かの判断が可能になるので、設定する仮想平面の傾きを変えることで、精度を高めることが可能になる。また、精度をより高めるためには、図１７（ｄ）のように、仮想曲面を設定するようにすればよい。
【００８１】
このように静止体を基準として各フレーム間における動体の位置情報を統合した後、仮想投影面に投影を行うことで、前記ステレオカメラ２１が動いている、すなわち前記ステレオカメラ２１をドライブレコーダ４などの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００８２】
図１８は、前記ステレオカメラ２１（２１−１，２１−２）の出力画像に対する３次元位置情報算出部１１での３次元演算（距離演算）の手法を説明するための図である。説明の簡単化の為に、ステレオカメラ２１−１，２１−２の収差は良好に補正されており、かつ平行に設置されているものとする。実際のハードがこのような条件に無くても、画像処理により、同等の画像に変換することも可能である。ハード的或いは画像処理によって平行化された画像を用いる利点は、図１９（ｃ）や図２０で後述するように、対応点の探索領域を1次元に限定できるということであるが、後述する位相限定相関法のように２次元探索が容易な手法の場合であれば、平行化されていないステレオ画像で対応付けを行い、得られた対応点結果を直接３次元化することも可能である（画像処理で平行化することで、画像にノイズが重畳されるので、平行化画像で対応付けを行うと精度が低下する。平行化前の画像から直接対応点を求めてから、最後に３次元化することで、ノイズの影響を最小限に抑えることができる。）。
【００８３】
前記ステレオカメラ２１−１，２１−２としては、少なくとも焦点距離（ｆ）、撮像面（ＣＣＤ）Ｓ１，Ｓ２の画素数、１画素の大きさ（μ）が相互に等しいものを用い、所定の基線（ベースライン）長（Ｂ）だけ前記左右に離間させて光軸Ｌ１，Ｌ２を相互に平行に配置して被写体Ｐを撮影したとき、撮像面Ｓ１，Ｓ２上の視差（ずれ画素数）がΔｄ（＝ｄ１＋ｄ２）であると、被写体Ｐまでの距離（Ｄ）は、
Ｄ＝ｆ・Ｂ／Δｄ
で求めることができる。
【００８４】
また、被写体Ｐの各部の３次元位置（Ｘ，Ｙ，Ｚ）は、ｘ、ｙを画素上での位置とすると、以下で計算される。
【００８５】
Ｘ＝ｘ・Ｄ／ｆ
Ｙ＝ｙ・Ｄ／ｆ
Ｚ＝Ｄ
ここで、たとえば車載用のステレオカメラには、前述のように遠方の先行車までの距離を高精度に測定したいというニーズとともに、小型化による設置し易さも求められる。
ステレオカメラの奥行き方向分解能ΔＺは、
ΔＺ＝（Ｄ２／Ｂ）・（１／ｆ）・Δｄ
で表されることから、高精度化の方法として、焦点距離ｆを大きくする、基線長Ｂを大きくするという方法が考えられる。ところが、前述のように前者では視野範囲が狭くなり、後者では装置が大型化するという欠点がある。上記欠点の無い高精度化の方法として、対応付けのサブピクセル化がある。対応付け演算を画素単位以下の分解能で行うことで、視差の分解能Δｄを小さくして、ステレオ３次元計測の分解能を細かくできるからである。
【００８６】
図１９は、前記３次元位置情報算出部１１において、前記視差Δｄを求めるにあたっての基準画像（ステレオカメラ２１−１）に対する参照画像（ステレオカメラ２１−２）の対応点探索方法を説明するための図である。先ず、図１９（ａ）で示すように、基準画像Ｆ１上に、注目点Ｐを中心または重心とする所定サイズの２次元のウィンドウＷ１を設定する。同様に、図１９（ｂ）で示すように、参照画像Ｆ２上に、考えられる全ての位置に、所定サイズのウィンドウＷ２を多数設定する。ここで、図１９（ｃ）で示すように、前述のように基準画像Ｆ１と参照画像Ｆ２とがほとんど平行に配置されている場合、基準画像Ｆ１上の注目点ＰのＹ座標位置Ｐｙ上に、参照画像Ｆ２の対応位置が乗っていると仮定できるので、このライン上にのみウィンドウＷ２を設定すればよい（基本的には1画素ずつずらしながらウィンドウＷ２を設定する。）。
【００８７】
さらにまた、基準画像Ｆ１と参照画像Ｆ２とがほとんど平行に配置されていて、かつ、基準画像Ｆ１の注目点Ｐと参照画像Ｆ２の対応位置との視差Δｄが或る程度分かっている場合は、図１９（ｄ）で示すように、その視差Δｄの範囲Δｄ’にのみウィンドウＷ２を設定すればよい。
【００８８】
一方、前記対応点探索にあたって、多くの対応点を探索するために、或いは高解像の画像から短時間で対応点を探索するのに好適な手法として、多重解像度戦略によるウィンドウ設定を用いてもよい。図２０は、前記基準画像Ｆ１と参照画像Ｆ２とがほとんど平行に配置されていると仮定した場合の前記多重解像度戦略を説明するための図である。図２０（ａ）は、前述の図１９（ａ）および（ｃ）と同様に、基準画像Ｆ１上の注目点ＰのＹ座標位置Ｐｙ上に、参照画像Ｆ２の複数のウィンドウＷ２を設定している。しかしながら、次に図２０（ｂ）で示すように、それぞれの画像Ｆ１，Ｆ２を解像度変換して、低解像度の画像Ｆ１’，Ｆ２’を作成し、この低解像度の画像Ｆ１’，Ｆ２’間で対応付けを行う。したがって、低解像度の画像Ｆ１’，Ｆ２’では、画素数が少なくなった分だけ、探索する画素数が少なくなり、たとえば解像度を１／２にすると、探索画素数は１／２になる。
【００８９】
こうして、低解像度で対応位置Ｐ’を求めた後は、図２０（ｃ）で示すように、高解像度の画像Ｆ１，Ｆ２に戻って探索を行うが、低解像度で求めた対応位置から、おおよその探索範囲がわかるので、高解像度での探索は非常に狭い範囲でのみ探索を行えばよい。こうして探索範囲ΔＷを狭めることで、同じ時間内で、前述のように多くの対応点を探索することができ、或いは高解像の画像から探索を行うことができる。
【００９０】
なお、上述の説明では、低解像度画像を１段階だけ作成しているが、複数段階で作成して、探索位置を順次絞り込んでゆくようにしてもよい。たとえば、入力画像が１２８０×９６０ピクセルのとき、第１段階目の低解像度画像として６４０×４８０ピクセル、第２段階目の低解像度画像として３２０×２４０ピクセル、第３段階目の低解像度画像として１６０×１２０ピクセルの３種類の低解像度画像を作成して、１６０×１２０ピクセルの画像から順に対応位置を探索してゆく。
【００９１】
さらにまた、前記３次元位置情報算出部１１における対応点探索の他の手法としては、ロバストなパターン類似度演算手法として知られている振幅成分を抑制した相関法を用いることができる。そのような相関法は、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うので、ステレオカメラ２１の撮影条件の差や、ノイズなどの影響を受けにくく、前記ロバストな相関演算が実現可能である。また、濃淡データを用いた従来の２次元相関法や特徴抽出法とは異なり、外乱に強く、明るさやコントラストの低い画像でも、精度良く演算ができるという特徴を有している。そのようなパターンの周波数分解信号を計算する手法として、フーリエ変換、離散コサイン（サイン）変換、ウエーブレット変換、アダマール変換などが知られている。前記離散コサイン（ＤＣＴ）符号限定相関法については、たとえば「画像信号処理と画像パターン認識の融合-ＤＣＴ符号限定相関とその応用」（貴家仁志 首都大学東京 システムデザイン学部 動的画像処理実利用化ワークショップ2007（2007.3.8-9））の論文を参照することができる。
【００９２】
そして、ロバストな相関演算が実現可能な相関法の代表としての位相限定相関法（ＰＯＣ）は、変換にフーリエ変換を用い、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。以下に、その位相限定相関法（ＰＯＣ）を詳細を説明する。
【００９３】
先ず、画像サイズＮ１×Ｎ２ピクセルの２つの画像Ｆ１，Ｆ２をｆ（ｎ１，ｎ２），ｇ（ｎ１，ｎ２）とし、定式化の便宜上、離散空間のインデックスをｎ１＝−Ｍ１，・・・Ｍ１，ｎ２＝−Ｍ２，・・・Ｍ２とし、画像サイズをＮ１＝２Ｍ１＋１ピクセル，Ｎ２＝２Ｍ２＋１ピクセルとすると、これらの画像の２次元フーリエ変換（２Ｄ ＤＦＴ）は、それぞれ下式で与えられる。
【００９４】
【数１】
【００９５】
ここで、ｋ１＝−Ｍ１，・・・Ｍ１，ｋ２＝−Ｍ２，・・・Ｍ２
【００９６】
【数２】
【００９７】
であり、Σｎ１ｎ２は、
【００９８】
【数３】
【００９９】
である。また、ＡＦ（ｋ１，ｋ２），ＡＧ（ｋ１，ｋ２）は振幅成分であり、ｅｊθＦ（ｋ１，ｋ２），ｅｊθＧ（ｋ１，ｋ２）は位相成分である。
【０１００】
そして、位相限定相関法（ＰＯＣ）は、こうして求められたフーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。それには先ず、パターンｆ，ｇの合成位相スペクトル＾Ｒ（ｋ１，ｋ２）は、下記のように定義される。
【０１０１】
【数４】
【０１０２】
ここで、Ｇ（ｋ１，ｋ２）の複素共役は、上線を付して示す。また、θ（ｋ１，ｋ２）＝θＦ（ｋ１，ｋ２）−θＧ（ｋ１，ｋ２）である。
【０１０３】
この合成位相スペクトル＾Ｒ（ｋ１，ｋ２）を逆フーリエ変換することで、相関演算を行うことができる。すなわち、θ（ｋ１，ｋ２）＝θＦ（ｋ１，ｋ２）−θＧ（ｋ１，ｋ２）であり、ＰＯＣ関数＾ｒ（ｎ１，ｎ２）はＲ（ｋ１，ｋ２）の２次元離散フーリエ逆変換（２Ｄ ＩＤＦＴ）であり、次式で定義される。
【０１０４】
【数５】
【０１０５】
ここで、Σｎ１ｎ２は、
【０１０６】
【数６】
【０１０７】
である。
【０１０８】
上記ＰＯＣ関数の処理で得られるＰＯＣ値は、図２１に示すように、画像間（基準ウインドウと参照ウインドウ）の移動量の座標に急峻な類似度ピークを持つことが知られており、画像マッチングにおけるロバスト性が高い。そのＰＯＣのピークの高さが、パターン類似度を示す。そして、位置情報算出部１１が、ＰＯＣのピーク位置を推定することにより位置ズレ量（＝視差ｄｓｕｂ）の推定を行う。このとき、ＰＯＣは離散的に求まるので、ピーク位置をサブピクセルで補間推定することによって、高分解な対応領域座標を求めることができる。ピーク位置の補間推定方法としては、放物線などの関数をフィッティングして行うことができる。そして、候補領域間の位置ズレ量Δｄは、候補領域間のピクセルレベルの位置ズレ量ｄｐｉｘｅｌに、ＰＯＣ法で求めたサブピクセルの位置ズレ量ｄｓｕｂを加えた量となる。
【０１０９】
したがって、前記位相限定相関法における具体的な対応点探索の一例としては、以下の通りとなる。前述のようにＰＯＣ値は、画像間（基準ウインドウＷ１と参照ウインドウＷ２）の移動量の座標に急峻な相関ピークを持つことが知られているので、図２２（ａ）に示すように、基準画像Ｆ１上の点Ｐに対応する参照画像Ｆ２上の点をＰ’とし、点Ｐ，Ｐ’がそれぞれ重心位置になるようなウィンドウＷ１，Ｗ２を設定すると、ウィンドウＷ１，Ｗ２間のＰＯＣ値は、ウィンドウＷ１，Ｗ２の重心位置にピークが立つ。したがって、参照ウインドウＷ２を点Ｐ’が重心位置になるように設定するのではなく、横方向に１画素ずれるように設定すると、ＰＯＣ値も、重心位置から１画素ずれた位置にピークが立つ。同様に、図２２（ｂ）に示すように、参照ウインドウＷ２を点Ｐ’が重心位置からさらに横方向に２画素ずれるようにを設定すると、ＰＯＣ値も、重心位置から２画素ずれた位置にピークが立つので、図１９で説明したように、参照画像Ｆ２側に設定するウィンドウＷ２は１画素ずつずらす必要はなく、或るサンプリング間隔を持って設定すればよい。そこでどれくらいのサンプリング間隔で設定すればよいかは、探索できる範囲Ｗ３に依存するが、一般的には、図２３のように、ウィンドウサイズの半分位であると言われている（重心位置に対して、±１／４位）ので、サンプリング間隔としては、たとえばウィンドウサイズの半分位が重なるように設定すればよい。したがって、基準画像Ｆ１と参照画像Ｆ２での視差の最大を１２８画素、ウィンドウサイズを３１×３１、ＰＯＣで探索できる範囲は重心位置に対して、±８画素と仮定すると、最大１２８画素の視差を探索するためには、ウィンドウを１６画素ずつずらせばよいので、８個のウィンドウを設定すればよい。
【０１１０】
さらに、前記多重解像度戦略を用いると、図２０で説明したように、画像サイズを縮小することで、探索範囲も縮小することができる。具体的に、上述の図２２では、基準画像Ｆ１上の或る1点につき、参照画像Ｆ２上にウィンドウを８個設定する必要があったが、画像を１／２に縮小すると、設定するウィンドウは半分の４個でよい。さらに１／２に縮小すると設定するウィンドウは２個になり、さらに１／２に縮小すると設定するウィンドウは１個となる。つまり、上述のように視差の最大が１２８画素の場合は、画像を（１／２）４＝１／１６に縮小することで、最大視差が８画素になるので、１個のウィンドウで探索することができることになる。したがって、先ずこの１／１６に縮小した画像上での対応位置が求まると、その結果を１／８縮小した画像での初期位置としてウィンドウを１個設定して対応位置を求めるという作業を、以降順次繰返せばよい。
【０１１１】
前記３次元位置情報算出部１１における対応点探索のさらに他の手法としては、ＳＡＤ（濃度差の絶対値和）法や、ＳＳＤ（濃度差の二乗和）法、ＮＣＣ（正規化相互相関）法などを用いることもできる。
【０１１２】
また、前述のＬｕｃａｓ−Ｋａｎｅｄａ法による動きベクトル演算について、以下に説明する。時系列画像など、２枚の画像間の見かけの動きは、動きベクトル（オプティカルフロー）と呼ばれる。その動きベクトルいは、同一点は２枚の画像上で同じ輝度であると仮定すると、以下の式が成り立つ。
【０１１３】
【数７】
【０１１４】
ただし、Ｉは画像の輝度、ｘ，ｙは画像上の座標、ｖｘ，ｖｙは動きベクトルである。
【０１１５】
上式をテーラー展開することで、次式が得られる。
【０１１６】
【数８】
【０１１７】
上式を変形すると、
【０１１８】
【数９】
【０１１９】
となる。この式は、オプティカルフローの拘束式を呼ばれる。
【０１２０】
ところで、画像上の１点（ｘ，ｙ）に対して、上式１つで動きベクトルを求めることはできない。そこで、Ｌｕｃａｓ−Ｋａｎａｄｅ法では、画像上の１点（ｘ，ｙ）の周辺にウインドウを設定し、ウインドウ内で、動きベクトルが変化しないという仮定の下、上記拘束式を重み付けして連立させて、（ｘ，ｙ）での動きベクトルを計算する。具体的には、下式を解くことで実現できる。
【０１２１】
【数１０】
【０１２２】
さらにまた、前述のＩＣＰアルゴリズムについて以下に説明する。ＩＣＰアルゴリズムとは、反復計算により対応点間の誤差を最小化するものであり、処理のフローとしては以下のようになる。図２４で示すように、Ｎｔ個の点からなる点群Ｔ＝｛ｔｉ｜ｉ∈Ｎｔ｝と、異なるＮｓ個の点からなる点群Ｓ＝｛ｓｉ｜ｓ∈Ｎｓ｝の位置合わせを行うとすると、点群Ｓの各点ｓｉにおいて点群Ｔとの距離は以下のようになるとする。
【０１２３】
【数１１】
【０１２４】
各点ｓｉに対応する点をｍｉ∈Ｔとすると、点ｓｉの対応点集群Ｍは、
Ｍ＝Ｃ（Ｓ，Ｔ）
となる。ただし、Ｃは最近傍点を求める関数である。
【０１２５】
こうして点群Ｓの対応点群Ｍが求まると、位置合せのパラメータ（回転行列Ｒ、移動ベクトルｔ）は、下式を最小化することで求められる。
【０１２６】
【数１２】
【０１２７】
この誤差が十分小さくなるまで繰り返すことで、位置合わせを行うことができる。
【符号の説明】
【０１２８】
１，１ａ，１ｂ，１ｃ 画像処理装置
２ 定点カメラ
３ 表示装置
４ ドライブレコーダ
１１ ３次元位置情報算出部
１２，１２ａ 動体抽出部
１３，１３ｃ 面設定部
１４，１４ｃ ３次元位置情報投影部
１５ ３次元情報統合部
１６ ３次元位置情報算出部
１７ 投影画像統合部
２１；２１−１，２１−２ ステレオカメラ
２２ 画像記録部
４１ 一時記憶部
４２ トリガ発生部
５１ 道路面
５２ 自転車
５３ 軌跡
５４ 視線方向
５５ 通行区分
５６ 横断歩道
Ｆ１ 基準画像
Ｆ２ 参照画像
ｍ１，ｍ２ 自動車
ｍ３ 歩行者
Ｍ１，Ｍ２，Ｍ３ 動体対応画像部分
【技術分野】
【０００１】
本発明は、車載カメラなどによる時系列撮像画像から、着目動体の動きを解析して表示装置に表示させる画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、自動車業界では、安全性向上を目的とした様々なシステムの研究がなされている。それには、センサやカメラを使用して、車両周辺の情報、特に距離情報を取得することで、衝突危険性を判定し、事故回避に役立てられている。中でも、カメラを利用した危機回避システムでは、カメラの撮像画像を元に、車両周辺の障害物等の特定や、その障害物の動きの解析等を行い、障害物を回避するようになっている。
【０００３】
一方で、危険を回避できずに事故が起きた場合には、その原因究明等に役立つような様々な情報を、事故前後の画像を分析して抽出するシステムも開発されている。たとえば、特許文献１には、交差点等に設置されたカメラによって事故前後の画像を取得し、その画像を解析することで、たとえば事故車両の速度等、事故における状況を分析するシステムが開示されている。このシステムは、事故現場となり得る（事故が多発する）交差点等に予めカメラを設置するとともに、路面や横断歩道等のその交差点における静止体の平面図データを用意しておき、この平面図データに前記事故の前後の画像を投影させる（車両軌跡を描写する）ことで、事故の状況を分析可能とするものである。
【０００４】
また、特許文献２には、単眼動画像の特徴点から、移動体に搭載されたカメラの３次元位置と姿勢とを示すカメラベクトル値（ＣＶ値）を求め、求められたＣＶ値に基づいて画像上にカメラ位置を重畳表示するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０２４２６号公報
【特許文献２】特開２００８−５４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来技術は、車両の状況を詳しく解析できるものの、前記平面図データを用意しておく必要があることから、予め定められた場所での事故の状況分析にしか対応できないという問題もある。
【０００７】
これに対して、特許文献２に開示された従来技術においては、動体領域が支配的な画像では正確なＣＶ値を算出することは困難であるという問題がある。さらに、カメラ、すなわち移動体（自車両）の動きを求めることはできるが、画像中におけるそれら以外の動体の位置を求めることについては考慮していない。
【０００８】
本発明の目的は、時系列の３次元撮像画像から解析した動体の動きを、使用者が容易に理解することができる形態で表示させる画像処理装置および方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示装置に表示させる画像処理装置において、前記時系列の撮像画像から同一の動体を抽出する動体抽出部と、前記表示にあたっての投影面を設定する面設定部と、前記面設定部にて設定された投影面上に、前記動体抽出部で抽出された動体における前記３次元位置情報を投影した表示画像を作成する３次元位置情報投影部とを含むことを特徴とする。
【００１０】
本発明の画像処理方法は、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示画像を作成するための方法において、前記時系列の撮像画像から同一の動体を抽出する工程と、前記表示にあたっての投影面を設定する工程と、設定された投影面上に、抽出された動体における前記３次元位置情報を投影した表示画像を作成する工程とを含むことを特徴とする。
【００１１】
上記の構成によれば、入力画像データとして、たとえばステレオカメラによる時系列の撮像画像を入力とし、そのステレオカメラの左右間の画像を対応点探索処理することで、前記撮像画像中での被写体の３次元位置情報を得たり、或いは単眼カメラの時系列の撮像画像にレーダなどによる距離情報を入力として被写体の３次元位置情報を得たりすることで、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得し、その入力画像データを処理して表示装置に表示させる画像処理装置において、動体抽出部と、入力部と、３次元位置情報投影部とを設ける。そして、前記動体抽出部は、前記時系列の撮像画像から同一の動体を抽出する一方、面設定部からは、使用者が前記表示にあたっての所望とする投影面、すなわち視線方向を設定し、これによって前記３次元位置情報投影部は、前記面設定部にて設定された投影面上に、前記動体抽出部で抽出された動体の前記時系列の各点における前記３次元位置情報を、たとえば軌跡の線や点、或いは実写の動体像自体の重ね合わせなどで投影した表示画像を作成し、前記表示装置に表示させる。
【００１２】
したがって、時系列の３次元撮像画像から解析した動体の動きを、たとえば運転者の目線や、事故の目撃者の目線から見た画像に変換して表示することができ、前記動体の動きを使用者が容易に理解することができる。
【００１３】
さらにまた、本発明の画像処理装置では、前記動体抽出部は、静止体も合わせて抽出し、前記動体抽出部の出力から、動体の各フレーム間の３次元位置を前記静止体を基準として統合する３次元情報統合部と、前記３次元情報統合部で統合されたフレーム間において、或るフレームにおける動体の３次元位置を基準として、残余のフレームにおける動体の３次元位置を算出し、前記３次元位置情報投影部へ出力する３次元位置情報算出部とをさらに備えることを特徴とする。
【００１４】
上記の構成によれば、静止体を基準として各フレーム間における動体の位置情報を統合した後、投影を行うので、前記時系列の撮像画像を得るカメラが動いている、すなわち前記カメラをドライブレコーダなどの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００１５】
また、本発明の画像処理装置では、前記動体抽出部は、静止体も合わせて抽出し、前記３次元位置情報投影部は、フレーム毎に、前記投影面上に、前記動体抽出部で抽出された動体および静止体の３次元位置情報を投影し、その投影された各フレーム画像において、前記静止体の位置合せを行うことで、前記各投影面の統合を行う投影画像統合部をさらに備えることを特徴とする。
【００１６】
上記の構成によれば、フレーム毎の投影結果を、静止体を基準として統合するので、前記時系列の撮像画像を得るカメラが動いている、すなわち前記カメラをドライブレコーダなどの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００１７】
さらにまた、本発明の画像処理装置では、前記動体抽出部は、静止体も合わせて抽出し、前記面設定部には前記動体抽出部の出力が入力され、或るフレームにおける抽出結果を基準とした仮想投影面が設定され、前記３次元位置情報投影部は、前記動体抽出部の出力から、各フレームにおける動体の３次元位置を前記静止体を基準として統合し、前記面設定部にて設定された仮想投影面上に投影することを特徴とする。
【００１８】
上記の構成によれば、静止体を基準として各フレーム間における動体の位置情報を統合した後、仮想投影面に投影を行うので、前記時系列の撮像画像を得るカメラが動いている、すなわち前記カメラをドライブレコーダなどの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００１９】
また、本発明の画像処理装置では、前記３次元位置情報投影部は、前記３次元位置情報に、前記動体抽出部で抽出された各動体の動きに関する情報を併せて前記表示画像を作成することを特徴とする。
【００２０】
上記の構成によれば、前記３次元位置情報に、速度の大きさ表す矢印や数値などの各動体の動きに関する情報を併せて表示することで、前記動体の動きを使用者がより容易に理解することができる。
【００２１】
さらにまた、本発明の画像処理装置では、前記３次元位置情報投影部において、前記投影面およびそれに投影される３次元位置情報は、前記入力画像データを、前記面設定部にて設定された角度から見た画像に変換した実写画像であることを特徴とする。
【００２２】
上記の構成によれば、実写画像を角度変換して動体像を作成するので、リアリティを持たせることができる。
【００２３】
また、本発明の画像処理装置では、前記３次元位置情報投影部において、前記投影面は前記面設定部にて設定された角度から見た模式化された道路面であり、前記３次元位置情報は、前記入力画像データから抽出した実写のランドマークから成ることを特徴とする。
【００２４】
上記の構成によれば、コンピュータグラフィックのような道路面に、実写画像によるランドマークを貼付けて表示画像が作成されるので、認識し易さとともに、リアリティを持たせることもできる。
【００２５】
さらにまた、本発明の画像処理装置では、前記投影面およびそれに投影される３次元位置情報は、前記面設定部にて設定された角度から見た模式化された絵図面から成ることを特徴とする。
【００２６】
上記の構成によれば、模式化された絵図面、たとえば前記模式化された道路面上に、前記模式化された通行区分や横断歩道、信号などの道路交通のための識別記号を合成したものに、前記動体位置を投影し、さらに使用者の視線方向を任意に設定して表示可能であるので、使用者は必要最小限の情報を表示するコンピュータグラフィックのような画像から、前記動体の動きをより容易に理解することができる。
【発明の効果】
【００２７】
本発明の画像処理装置および方法は、以上のように、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示装置に表示させる画像処理装置において、前記動体抽出部が、前記時系列の撮像画像から同一の動体を抽出する一方、面設定部からは、使用者が前記表示にあたっての所望とする投影面、すなわち視線方向を設定し、これに応じて３次元位置情報投影部が、前記面設定部にて設定された投影面上に、前記動体抽出部で抽出された動体の前記時系列の各点における前記３次元位置情報を、たとえば軌跡の線や点、或いは動体像自体の重ね合わせなどで投影した表示画像を作成し、前記表示装置に表示させる。
【００２８】
それゆえ、時系列の３次元撮像画像から解析した動体の動きを、たとえば運転者の目線や、事故の目撃者の目線から見た画像に変換して表示することができ、前記動体の動きを使用者が容易に理解することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の第１の形態に係る画像処理装置を備えて成る事故検証システムの電気的構成を示すブロック図であり、定点カメラを用いるものである。
【図２】本発明の実施の第１の形態に係る画像処理装置を備えて成る事故検証システムの電気的構成を示すブロック図であり、ドライブレコーダを用いるものである。
【図３】使用者による動体対応画像部分の特定作業を説明するための図である。
【図４】本発明の実施の一形態による動体の時系列位置の統合表示例を示す図であり、道路面上を走行する自転車の軌跡を示す。
【図５】本発明の実施の一形態による統合表示にあたって、視線方向の切換え方法を説明するための模式図である。
【図６】静止体の抽出方法を説明するための図である。
【図７】３次元情報の前記統合の処理を説明するための図である。
【図８】時系列画像における動体の対応付けを説明するための図である。
【図９】図３の動体の時系列位置を統合表示した結果を２つの視線方向から示す図である。
【図１０】動体の時系列位置を統合表示するにあたって、絵図面で模式化して示す図である。
【図１１】図５で示す模式化画像に、動きに関する情報を併せて投影した図である。
【図１２】他の動き情報のポップアップ表示を説明するための図である。
【図１３】図５で示す模式化画像の他の例を示す図である。
【図１４】本発明の実施の第２の形態に係る画像処理装置を備えて成る事故検証システムの電気的構成を示すブロック図である。
【図１５】本発明の実施の第２の形態による絵図面による投影面の位置合せを説明するための図である。
【図１６】本発明の実施の第３の形態に係る画像処理装置を備えて成る事故検証システムの電気的構成を示すブロック図である。
【図１７】本発明の実施の第３の形態による仮想投影面への投影方法を説明するための図である。
【図１８】ステレオカメラからの出力画像に対する３次元演算（距離演算）の手法を説明するための図である。
【図１９】前記３次元演算に用いるステレオカメラの左右視差を求めるにあたっての基準画像に対する参照画像の対応点探索方法を説明するための図である。
【図２０】前記対応点探索に効果的な多重解像度戦略を説明するための図である。
【図２１】位相限定相関法（ＰＯＣ）による相関値を示すグラフである。
【図２２】前記位相限定相関法における対応点探索の一例を示す図である。
【図２３】前記位相限定相関法における対応点探索範囲を説明するための図である。
【図２４】ＩＣＰアルゴリズムを説明するための図である。
【発明を実施するための形態】
【００３０】
（実施の形態１）
図１および図２は、本発明の実施の第１の形態に係る画像処理装置１，１ａをそれぞれ備えて成る事故検証システムの電気的構成を示すブロック図である。図１の事故検証システムは、交差点監視カメラのように、事故多発交差点などに設置される定点カメラ２に、交通監視室などに設置される前記画像処理装置１および表示装置３を備えて構成される。また、図２の事故検証システムは、タクシーなどの車輌に搭載されるドライブレコーダ４に、事業所などに設置される前記画像処理装置１ａおよび前記表示装置３を備えて構成される。
【００３１】
前記定点カメラ２は、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを作成するものである。このため、この図１で示すように、ステレオカメラ２１の撮像画像を画像記録部２２に連続記録してゆくような構成で実現でき、この場合には、前記画像処理装置１には、前記画像記録部２２からの時系列の撮像画像を入力とし、前記ステレオカメラ２１の左右間の画像を対応点探索処理することで、前記撮像画像中での被写体の３次元位置情報を得る３次元位置情報算出部１１が設けられる。ステレオカメラ２１からの撮像画像による３次元計測については、複数例を後に詳述する。一方、前記定点カメラ２として、単眼カメラの時系列の撮像画像にレーダなどによる距離情報を併せて記録してゆくものであれば、前記画像処理装置１に３次元位置情報算出部１１は設けられなくてもよい。すなわち、前記画像処理装置１は、入力画像データとして、時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能なデータが入力されればよい。
【００３２】
前記ドライブレコーダ４は、前記ステレオカメラ２１および画像記録部２２に、一時記憶部４１およびトリガ発生部４２を備えて構成され、前記ステレオカメラ２１の撮像画像をリングバッファ等の一時記憶部４１に記憶し、加速度センサなどのトリガ発生部４２で発生されたトリガタイミング（衝突可能性がある等で危険なタイミング）の所定時間だけ以前から所定時間に亘って、前記一時記憶部４１から画像記録部２２に撮像画像データを転送して記録してゆくような構成で実現できる。前記画像記録部２２は、記録すべき画像データが記録容量を超えた場合には、古い画像データに上書きしてゆくように構成される。また、画像記録部２２に充分な記録容量が有る場合には、前記ステレオカメラ２１からの画像を該画像記録部２２が連続記録してゆき、トリガ発生部４２でトリガが発生したタイミング、またはその所定時間だけ以前のタイミングからの画像データに、後に抽出し易くするためのマーキングを施すようにしてもよい。
【００３３】
注目すべきは、前記画像処理装置１は、上述のような時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得し、処理画像を表示装置３に表示させるにあたって、前記時系列の撮像画像から同一の動体を抽出する動体抽出部１２と、前記表示にあたっての投影面を設定する面設定部１３と、前記面設定部１３にて設定された投影面上に、前記動体抽出部１２で抽出された動体における前記３次元位置情報を投影した表示画像を作成する３次元位置情報投影部１４とを備えて構成されることである。また注目すべきは、前記画像処理装置１ａは、前記３次元位置情報算出部１１、動体抽出部１２、面設定部１３および３次元位置情報投影部１４に加えて、３次元情報統合部１５および３次元位置情報算出部１６が設けられることである。
【００３４】
前記３次元位置情報算出部１１は、時間的に異なる複数の同一動体の３次元位置を算出するものであり、図１の定点カメラ２のようにステレオカメラ２１が固定されている場合には、各画像で得られる動体の３次元位置を算出すればよい。これに対して、図２のドライブレコーダ４のようにステレオカメラ２１が車両に搭載されている場合は、各画像で得られる動体の３次元位置は、撮影したときのカメラの位置に対する３次元位置であるので、該ステレオカメラ２１を搭載している車両と撮影している動体とが等速に同じ方向に移動している場合は、動体の３次元位置は常に同じ値になるので、該ステレオカメラ２１の座標系を、或る基準となるフレームに併せる必要がある。
【００３５】
前記動体抽出部１２は、前記時系列の撮像画像から同一の動体を抽出する。ここで、動体とは、自動車やバイク等の車両、自転車、歩行者等の地面に対して実際に移動している物体を言う。以下の説明では、ステレオカメラ２１は車両等の移動体に搭載されて撮像を行う、すなわちドライブレコーダ４の場合の動体抽出について説明する。この場合、搭載車両自体が移動するので、ステレオカメラ２１の撮像画像中に相対的に移動している物体があっても、動体であるとは限らない。そこで、以下に、ステレオカメラ２１で生成された時系列画像における動体対応画像部分の特定方法について説明する。なお、動体対応画像部分の特定においては、前記動体抽出部１２は、３次元位置情報算出部１１で求められた３次元座標、２次元動きベクトルおよび３次元動きベクトル等の３次元位置情報を用いる。なお、画像上の動体対応画像部分を特定するとは、具体的には、画像として表されている物体のうち動体が表示されている箇所を特定し、その３次元画像情報を取得することを言う。また、動体対応画像部分とは、画像中に表示された動体に対応する箇所を言う。
【００３６】
先ず、動きの消失点を用いて動体対応画像部分を特定する方法がある。ここで、動きの消失点とは、画像上の各点における動きベクトルをその方向に沿って延長した直線が交わる点である。この消失点は、画像上の物体の移動方向に応じて定まる。すなわち、カメラが同一方向に移動している場合において、同一物体であれば同一方向に移動していることから、その物体に対しての消失点が存在する。また、画像上の物体が静止体である場合に、静止体である物体すべてに対して同一の消失点が存在する（「主成分分析を用いた移動物体認識法の検討」，情報処理学会 研究報告 − コンピュータビジョンとイメージメディアＶｏｌ．１９９６，Ｎｏ．３１，１９９５−ＣＶＩＭ−０９９，文献番号：ＩＰＳＪ−ＣＶＩＭ９５０９９００８参照）。なお、ステレオカメラ２１で撮像される被写体の画像のほとんどは、信号機や、路面、横断歩道、壁等の静止体に対応する静止体対応画像部分で占められていると考えられる。ここで、静止体対応画像部分とは、画像中に表示された、静止体に対応する箇所を言う。そして、そのように仮定すると、最も多くの動きベクトルに対する消失点が静止体対応画像部分に対応する静止体の消失点であると推測される。したがって、画像において存在する消失点の内、最も多くの動きベクトルに対する消失点を除いた後に存在する各消失点が動体対応画像部分に対応する動体の消失点であると推定できる。
【００３７】
そこで、動体抽出部１２は、３次元位置情報算出部１１で算出した時系列画像において求められる動きベクトルをその方向に沿って延長して、それらが交わる点である消失点を画像上において求める。そして、それら消失点の内、最も多くの動きベクトルに対する消失点以外の各消失点を動体対応画像部分に対応する消失点であると推定する。さらに、このようにして、推定された動体対応画像部分の消失点をもとに、画像上の動体対応画像部分を特定し、その３次元画像情報を取得する。このようにして、各時系列画像における動体対応画像部分を特定することができる。なお、動きベクトルは、３次元位置情報算出部１１で算出されているので、消失点を求めるために新たに動きベクトルを算出する必要はなく、消失点を容易に算出することができる。
【００３８】
次に、パターン認識あるいはテンプレートマッチング等によって動体対応画像部分を特定する方法について説明する。たとえば、自動車、バイク、自転車等の車両や歩行者などのように、被写体として存在することが予想される動体について、パターン認識あるいはテンプレートマッチングを用いて、画像における動体対応画像部分を特定してもよい。パターン認識においては、動体抽出部１２は、上記動体に関するパターン認識のためのデータを予め記憶しておき、その記憶されたデータを用いて撮像画像中でパターン認識を行うことで動体対応画像部分を特定し、その３次元位置情報を取得する。さらに、パターン認識においては、例えばＳＶＭ（Support vector machine；サポートベクターマシン）やＡｄａＢｏｏｓｔ等の手法を用いて、パターンデータを学習してゆくことで、より効率良く動体対応画像部分を特定することができる。また、テンプレートマッチングにおいては、動体抽出部１２は、上記動体に関するテンプレートを予め記憶しておき、前述の対応点探索と同様に、そのテンプレートと相関値の高い箇所を画像から探索することで、画像上の動体対応画像部分を特定し、その３次元位置情報を取得する。
【００３９】
また、上記パターン認識およびテンプレートマッチングと同様、動体候補を用いて動体対応画像部分を特定する方法として、画像中のエッジ分布と左右対称性等とから、画像上の車両を特定する方法もある（たとえば、特開平７−３３４８００号公報参照）。この方法によって、動体抽出部１２が、画像上における車両等の動体対応画像部分を特定し、その３次元位置情報を取得することとしてもよい。
【００４０】
また、ステレオ時系列画像から求めた３次元動きベクトルに対して、このステレオ時系列画像を生成したステレオカメラ２１の移動速度（車速）によってこれらを補正することで、画像上の静止体対応画像部分と動体対応画像部分とを判別する方法もある（たとえば、特開２００６−１３４０３５号参照）。この方法を用いる場合は、動体抽出部１２は、ステレオカメラ２１が搭載された車両の速度情報を受け、３次元位置情報算出部１１で算出された３次元動きベクトルを用いて、画像上の動体対応画像部分を特定し、その３次元位置情報を取得することができる。
【００４１】
また、ステレオカメラ２１で生成された画像を見ながら、使用者がその画像中から動体対応画像部分を選ぶことで、動体対応画像部分が特定されることとしてもよい。図３は使用者が動体対応画像部分を特定する場合について説明するための図である。使用者が図示しない入力部などを用いて、表示装置３および画像記録部２２に指示することで、表示装置３は、画像記録部２２に記録されている実写画像を、図３（ａ）で示すように、そのまま表示する。そして、使用者は、前記入力部のマウス等を操作することで、図３（ｂ）において、枠掛けして示すように、表示装置３に表示された画像の一部を選択することができることとすればよい。選択された箇所は前記動体対応画像部分として特定される。
【００４２】
具体的には、３次元位置情報算出部１１によって３次元位置情報の算出されている画像が、画像記録部２２から読み出されて表示装置３に表示される。表示装置３には、表示された画像以外に、たとえばマウスによって表示装置３の画面上での位置を操作できるカーソル等が表示され、当該カーソルによって前記画面上の特定の部分を選択することで、選択された部分の３次元位置情報が動体抽出部１２に入力され、動体対応画像部分が特定される。たとえば、前記図３（ａ）に示すように、使用者が表示装置３に表示された画像から、自動車ｍ１，ｍ２を含む動体対応画像部分Ｍ１，Ｍ２と、歩行者ｍ３を含む動体対応画像部分Ｍ３とを入力部で選択することで、動体抽出部１２はこれらの画像上の動体対応画像部分を特定し、その３次元位置情報を取得する。
【００４３】
このような動体対応画像部分の選択は、画像毎に行われてもよいが、煩雑であるので、動体抽出部１２が自動的に追尾して選択を行うようにしてもよい。たとえば、図３（ｃ）は、図３（ａ）および（ｂ）よりもΔｔ秒後の画像であるが、この画像についても枠掛けして示すように、自動車および歩行者が動体対応画像部分Ｍ１，Ｍ２；Ｍ３として選択されている。このような動体対応画像部分の自動追尾は前述の対応点探索による方法だけでなく、たとえば後述のＬｕｃａｓ−Ｋａｎａｄｅ法等の動きベクトルを算出する演算を用いる方法等がある。前記Ｌｕｃａｓ−Ｋａｎａｄｅ法は、画像間における動きベクトルを求める手法であるが、動きベクトルを求めることで、画像間における対応付けも可能であることから、動体対応画像部分の追尾も可能である。
【００４４】
また、動体抽出部１２は、上述した方法の内、１つの方法によって動体対応画像部分を特定してもよいし、いずれかの方法を選択的に用いて特定してもよい。たとえば、パターン認識またはテンプレートマッチングによって、先ず動体対応画像部分を特定することとし、これらの方法で動体対応画像部分を特定できない場合には、使用者が入力部を用いて動体対応画像部分を特定することとしてもよい。
【００４５】
一方、前記面設定部１３からは、使用者が前記表示にあたっての所望とする投影面、すなわち視線方向が設定される。これに応じて前記３次元位置情報投影部１４は、前記面設定部１３にて設定された投影面上に、前記動体抽出部１２で抽出された動体の前記時系列の各点における前記３次元位置情報を投影した表示画像を作成し、前記表示装置３に表示させる。図４は、その投影結果の一例を示す図であり、前記定点カメラ２の撮像画像から得た３次元位置情報をそのまま投影したものである。図４は、道路面５１上を走行する自転車５２の軌跡を示すものであり、実線５３は道路面５１上に投影した自転車５２の軌跡を示す。この図４では、実写による前記道路面５１およびＣＧ合成の自転車５２の軌跡の線および点に加えて、該自転車５２の実写像自体も重ね合わて投影している。このような軌跡の線および点ならびに動体像自体の内、何れを選択して投影するのかは、煩雑に（見難く）ならない範囲で、より分り易くなるように、適宜選択されればよい。
【００４６】
これに対して、図５には、前記視線方向の切換えを模式的に示す。図５（ａ）は、前記図４に対応した定点カメラ２の設置位置から見た画像であるが、図５（ｂ）は、図５（ａ）において参照符号５４で示す事故の目撃者などの視線方向から見た画像である。
【００４７】
ここで、図１で示す定点カメラ２の画像処理装置１では、前記動体抽出部１２で抽出された動体の動きに伴う３次元位置情報を、順に投影していけばよい。しかしながら、図２で示すドライブレコーダ４の画像処理装置１ａでは、自車両も移動しているので、各フレーム間の位置合せが必要となる。このため、前記画像処理装置１ａでは、動体抽出部１２ａは、静止体も合わせて抽出しており、さらに注目すべきは、該画像処理装置１ａには、前記動体抽出部１２ａの出力から、動体の各フレーム間の３次元位置を前記静止体を基準として統合する３次元情報統合部１５と、前記３次元情報統合部１５で統合されたフレーム間において、或るフレームにおける動体の３次元位置を基準として、残余のフレームにおける動体の３次元位置を算出し、前記３次元位置情報投影部１４へ出力する３次元位置情報算出部１６とがさらに設けられていることである。
【００４８】
図６は、前記静止体の抽出方法を説明するための図である。前記動体抽出部１２はまた、前記３次元位置情報算出部１１において算出された３次元座標、２次元動きベクトルおよび３次元動きベクトル等をもとに、各画像における静止体対応画像部分Ｓ１〜Ｓ４を特定する。ここで、静止体とは、信号機、路面、横断歩道、看板、壁等のランドマークであって、地面に固定されているものである。図６では、道路と歩道との境界付近および壁面等を含む静止体対応画像部分Ｓ１、信号機および横断歩道等の路面を含む静止体対応画像部分Ｓ２、歩道、路面および壁面等を含む静止体対応画像部分Ｓ３および路面および路面に形成された車線等を含む静止体対応画像部分Ｓ４が選択され、前記動体抽出部１２はこれらの画像上の静止体対応画像部分Ｓ１〜Ｓ４も特定し、その３次元画像情報を取得する。
【００４９】
ここで、ステレオカメラ２１は車両に搭載されていることから、該ステレオカメラ２１自体も移動し、時系列画像上において、前記静止体対応画像部分Ｓ１〜Ｓ４は移動している。このように、画像上では固定されていないが、実際には移動していない静止体における静止体対応画像部分Ｓ１〜Ｓ４を画像から特定する方法としては、以下の方法がある。前記動体抽出部１２は、これらの方法を用いて、撮像画像から前記静止体対応画像部分Ｓ１〜Ｓ４を特定する。また、撮像画像上において、該動体抽出部１２が特定した動体対応画像部分Ｍ１〜Ｍ３以外を静止体として特定してもよい。
【００５０】
先ず、動きの消失点を用いて静止体対応画像部分を特定する方法について説明する。前記動体抽出部１２は、前記３次元位置情報算出部１１で算出した時系列画像において消失点を求め、それら消失点の内、最も多くの動きベクトルに対する消失点を静止体対応画像部分に対応する静止体の消失点であると推定する。さらに、このようにして推定された静止体の消失点をもとに、画像上の静止体対応画像部分を特定し、その３次元画像情報を取得する。このようにして、各時系列画像における静止体対応画像部分を特定することができる。なお、動きベクトルは、３次元位置情報算出部１１において算出されているので、消失点を求めるために新たに動きベクトルを算出する必要はなく、消失点を容易に算出することができる。
【００５１】
また、動体抽出部１２は、前記信号機、標識、看板等のように、存在することが予想される静止体すなわちランドマークを、パターン認識あるいはテンプレートマッチングによって検出することで、静止体対応画像部分を特定してもよい。なお、この際に用いるパターンデータおよびテンプレートは該動体抽出部１２に予め記憶しておくこととすればよい。このようにして、動体抽出部１２は、画像上の静止体対応画像部分を特定し、その３次元画像情報を取得する。なお、動体抽出時と同様に、パターンデータを学習してゆくことで、より効率良く静止体対応画像部分を特定することができる。また、ステレオカメラ２１で生成された画像を見ながら、使用者がその画像中から静止体対応画像部分を選ぶことで、静止体対応画像部分が特定されることとしてもよい。
【００５２】
図７は、前記３次元情報統合部１５の処理を説明するための図である。時刻Ｔにおいて図７（ａ）で示すような撮像画像が得られており、時刻Ｔ＋Δｔにおいて図７（ｂ）で示すような撮像画像が得られているとき、前述の図５で示すように静止体領域を抽出すると、それぞれ図７（ｃ）および図７（ｄ）で示すような画像となる。これらの図７（ｃ）および図７（ｄ）では、動体領域を黒く塗り潰している。そして、先ず図８（ａ）および図８（ｂ）で示すように、２つの画像間の対応付けを行う。それには、後述の対応点探索方法を用いてもよいし、前述のＬｕｃａｓ−Ｋａｎａｄｅ法を用いてもよい。
【００５３】
図８（ａ）および図８（ｂ）は、前記図７（ｃ）および図７（ｄ）にそれぞれ対応するものであり、こうして２つの画像間で対応付けが行われると、第１の統合方法では、その対応付けられた点６１〜６５のうち、同一直線状にない３点を選択し、時刻Ｔと時刻Ｔ＋Δｔとにおいて、それぞれ３点から構成される面を一致させるような回転（面の法線ベクトルを合わせる）および並進成分（どれか１点を合わせる、または３点の重心位置を合わせる）を算出する。また、第２の方法では、対応付けられた点６１〜６５のうち、任意の数点を選択し、その選択した数点を初期値として、ＩＣＰ（Iterative Closest Points）を用いて回転および並進成分を算出する（ＩＣＰアルゴリズムについては後述）。
【００５４】
次に、時刻Ｔ＋Δｔの３次元情報を、算出した回転および並進成分を用いて変換する。変換後の時刻Ｔ＋Δｔの３次元情報と、時刻Ｔの３次元情報とを重ね合わせると、静止体領域は一致するが、動体領域については一致せず、同一被写体が２つ存在することになる。その同一被写体において、時間の異なる３次元位置を重畳することで、前述の図４で示すように動体の軌跡を容易に知ることができる。また、図９（ａ）には、前述の図３（ｂ）および（ｃ）の運転者による視線の模式図の統合画像を示し、図９（ｂ）には、図９（ａ）の俯瞰画像を示す。図９からは、右側の車両ｍ２が左側の車両ｍ１よりもスピードを出していることが分かる。
【００５５】
以上、時間の異なる２つの３次元情報を統合する方法について説明したが、より多くの時系列画像についても同様に統合することができ、前述の図４で示すような実写画像を得ることができる。具体的には、第１の方法では、時刻Ｔの画像を基準として、時刻Ｔ＋Δｔ，時刻Ｔ＋２Δｔ，・・・の３次元情報を位置合わせする。また、第２の方法では、１つ前の時刻の画像を基準として、３次元情報を逐次位置合わせしてゆく。
【００５６】
また、統合のために選択される点は、各時刻で異なる点を選択しても構わない。たとえば、前記第１の方法において、時刻Ｔと時刻Ｔ＋Δｔとのペアで選択された点が、時刻Ｔと時刻Ｔ＋２Δｔでも存在するとは限らないので、時間の変化が生じたときは、選択する点も更新する方が好ましい。また、選択する点が互いに近接している場合は、局所的な部分における３次元の一致を算出することになるので、その局所領域での３次元の一致は正確にできるものの、画像全体で見れば結果が不安定になりやすいので、選択する３点は、できるだけ離れるように選択することで、安定した結果を得ることができ、好ましい。さらにまた、第１の方法では、３点を選択しているけれども、３点のセットを複数選択し、これらの複数の３点のセットから、最小二乗的に解を求めても構わない。こうすることで、安定して解を求めることができる。さらにまた、ドライブレコーダ４の場合、トリガ発生時の画像を基準とすることで、該トリガ発生時の３次元情報を高精度に出力でき、３次元情報を統合するにあたって、誤差の蓄積が生じても、前記トリガ発生前後の３次元情報の誤差は少なくなるので、事故解析などで有用である。
【００５７】
このように構成することで、時系列の３次元撮像画像から解析した動体の３次元の動きを、たとえば図４や図５（ａ）で示すような俯瞰画像や、図３で示すような運転者の目線からの画像、図５（ｂ）で示すような事故の目撃者の目線からの画像などの任意の視線方向の２次元の画像に変換して表示することができ、前記動体の動きを使用者が容易に理解することができる。
【００５８】
また、前記画像処理装置１ａでは、静止体を基準として各フレーム間における動体の位置情報を統合した後、投影を行うので、前記時系列の撮像画像を得るステレオカメラ２１が動いている、すなわち前記ステレオカメラ２１をドライブレコーダ４の車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００５９】
好ましくは、前記３次元位置情報投影部１４において、前記投影面およびそれに投影される３次元位置情報を、前記面設定部１３にて設定された角度から見た模式化された絵図面としてもよい。図１０にその一例を示す。図１０（ａ）は前述の図４に類似する実写映像で、それを模式化して前記絵図面とした図が図１０（ｂ）で示すものである。参照符号５４は、自転車５２と同じタイミングでの自車の走行軌跡である。
【００６０】
このように、模式化された絵図面、たとえば前記模式化された道路面５１上に、前記模式化された通行区分５５や横断歩道５６、信号などの道路交通のための識別記号を合成したものに、前記動体位置を投影し、さらに使用者の視線方向を任意に設定して表示可能とすることで、使用者は必要最小限の情報を表示するコンピュータグラフィックのような画像から、前記動体の動きをより容易に理解することができる。前記道路交通のための識別記号は、パターン認識などを利用して抽出すればよい。また、このようなコンピュータグラフィックの道路面５１の画像に、前記実写画像を部分的に合成してもよい。具体的には、道路面５１や動体位置がコンピュータグラフィックで作成され、前記信号機、標識、看板などのランドマークは、実写画像を使用するというものである。これによって、認識し易いコンピュータグラフィックの画像に、リアリティを持たせることもできる。
【００６１】
さらにまた、画像処理装置１における動体抽出部１２および画像処理装置１ａにおける３次元情報算出部１６からは、前記動体抽出部１２，１２ａで抽出した動体対応画像部分について、投影にあたって、いずれか任意のフレームにおける時系列画像を基準として、他のフレームにおける対応画像部分も統合された３次元座標が算出されることになる。この統合画像を得るための３次元座標のことを、以下では基準化３次元座標と言う。そこで、自身も移動している画像処理装置１ａにおける３次元情報算出部１６でのこの基準化３次元座標の算出方法について以下に詳しく説明する。先ず、３次元情報統合部１５は、前記面設定部１３で設定される任意の基準画像における静止体対応画像部分に含まれる任意の３点を選択する。その３点の画像毎の３次元座標は算出されているので、３次元情報統合部１５が、同一直線上にない３点を選択することは容易にできる。同様に、３次元情報統合部１５は、基準化３次元座標を算出する基準画像とは別フレームの画像上における、前記基準画像において選択された３点に対応する３点を取得する。この対応する３点については動体抽出部１２ａで算出したデータを用いてもよいし、該３次元情報統合部１５で対応点探索または後述のＬｕｃａｓ−Ｋａｎａｄｅ法等により求めてもよい。
【００６２】
こうして、３次元情報統合部１５は、時刻Ｔにおける画像の静止体対応画像部分から同一直線上にはない３点を選択し、これらに対応する、時刻Ｔ＋Δｔにおける画像上の点を求める。そして、３次元情報統合部１５は、時刻Ｔにおける３点により構成される面に、時刻Ｔ＋Δｔにおける３点により構成される面を一致させるために必要な、時刻Ｔ＋Δｔにおける３点の３次元座標の座標変換に必要な回転成分および並進成分を算出する。つまり、３次元情報統合部１５は、時刻Ｔにおける３点から構成される面の法線ベクトルに、時刻Ｔ＋Δｔにおける３点から構成される面の法線ベクトルを一致させ、時刻Ｔにおける３点のいずれか１点に時刻Ｔ＋Δｔにおける３点のいずれかを合わせるか、時刻Ｔにおける３点の重心に時刻Ｔ＋Δｔにおける３点の重心を合わせるような座標変換を行う回転成分および並進成分を算出する。そして、３次元位置情報算出部１５は、時刻Ｔ＋Δｔの画像における特定した動体対応画像部分の３次元座標を、算出された回転成分および並進成分により変換することで、時刻Ｔの画像を基準とする基準化３次元座標を算出することができる。
【００６３】
ここで、統合画像において選択された３点は、３次元座標においてそれぞれ互いに離れていることが好ましい。それにより、局所的な一致でなく、静止体対応画像部分における広い範囲において、静止体対応画像部分同士が一致することとなり、より確実に一致することとなる。そして、３次元情報統合部１５は、これら複数組により、最小二乗的に、上記回転成分および並進成分を算出すればよい。それにより、３次元情報統合部１５は、より安定した解（回転成分および並進成分）を求めることができ、３次元座標の変換精度が高くなる。
【００６４】
また、統合画像を基準とする、特定した動体対応画像部分の３次元座標の変換の方法として、別の方法について説明する。具体的には、前記ＩＣＰアルゴリズムを用いる方法である。それによれば、３次元情報統合部１５は動体抽出部１２ａで抽出された静止体対応画像部分の任意の複数の点における３次元座標を初期値とし、これら複数の点に対応する、他の時系列画像上の点を取得する。そして、３次元情報統合部１５は、前記ＩＣＰアルゴリズムを用いることで、時刻Ｔに撮像された基準画像の静止体対応画像部分における複数の点に、これらに対応する時刻Ｔ＋Δｔの画像の静止体対応画像部分における複数の点を３次元座標において一致させるような座標変換に必要な回転成分および並進成分を算出することができる。さらに３次元情報統合部１５は、時刻Ｔ＋Δｔの画像における特定した動体対応画像部分の３次元座標を、算出された回転成分および並進成分により変換することで、時刻Ｔの画像を基準とする時刻Ｔ＋Δｔの画像における特定した動体対応画像部分の基準化３次元座標を算出することができる。このように、ＩＣＰアルゴリズムを用いることで、対応する複数の点について、３次元情報統合部１５は、ノイズに影響されにくいロバストな座標変換が可能である。
【００６５】
なお、時刻Ｔにおける基準画像を基準として、時刻Ｔ＋Δｔにおける画像の特定した動体対応画像部分の３次元座標の変換について説明したが、３次元情報統合部１５は他の時系列画像の特定した動体対応画像部分の３次元座標の変換についても、同様に回転成分および並進成分を算出して、変換していけばよい。なお、ステレオカメラ１を搭載した移動体が直進していれば、前方の離れた箇所にある静止体に対応する静止体対応画像部分は、複数の時系列画像に存在するが、移動体が左折あるいは右折する等、曲がった場合は、その後の時系列画像に存在する静止体対応画像部分が変化してゆく。そこで、各時系列画像に応じて、最初に基準画像において選択した点の対応点がなくなる場合もあるが、このような場合であっても、３次元情報統合部１５は選択した点を新たな点に変更（更新）していけばよい。そして、座標変換を複数回行うことで、基準化３次元座標の算出は可能である。３次元情報統合部１５は、このように、静止体の３次元画像情報を用いて、移動体の動きに制限されることなく、基準化３次元座標を算出することができる。
【００６６】
前記３次元情報統合部１５では、こうして特定した動体対応画像部分について、基準化３次元座標を算出しているので、この３次元情報統合部１５で求められた、或いは、定点カメラ２につき、予め基準化３次元座標が求められている動体抽出部１２の出力から、動体対応画像部分に対応するその動体の動きに関する情報を算出することが可能である。その情報とは、たとえば動体の速度、加速度、速度ベクトル、加速度ベクトル等である。また、３次元画像情報統合部１５において算出した動きベクトル等も情報の１つである。そこで、前記基準化３次元座標を用いて、特定した動体対応画像部分に対応する動体の速度、加速度およびベクトルを算出する演算方法について説明する。先ず、ｔ秒のフレーム間隔で、同一の動体に対応する動体対応画像部分における連続した３フレームの基準化３次元座標を用算出した結果を、それぞれ（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）および（ｘ３，ｙ３，ｚ３）とする。次に、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）から、これらを撮像した際の動体の速度ｖ１は、下式で表すことができる。
【００６７】
ｖ１＝｛（Ｖｘ１）２＋（Ｖｙ１）２＋（Ｖｚ１）２｝１／２
ただし、
（Ｖｘ１，Ｖｙ１，Ｖｚ１）
＝（（ｘ２−ｘ１）／ｔ，（ｙ２−ｙ１）／ｔ，（ｚ２−ｚ１）／ｔ）
である。
【００６８】
同様に、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）から、これらを撮像した際の動体の速度ｖ２は、下式で表すことができる。
【００６９】
ｖ２＝｛（Ｖｘ２）２＋（Ｖｙ２）２＋（Ｖｚ２）２｝１／２
ただし、
（Ｖｘ２，Ｖｙ２，Ｖｚ２）
＝（（ｘ３−ｘ２）／ｔ，（ｙ３−ｙ２）／ｔ，（ｚ３−ｚ２）／ｔ）
である。
【００７０】
したがって、３つの画像の各対応点から求められる動体の加速度ａは、下式で表すことができる。
【００７１】
ａ＝｛（Ａｘ）２＋（Ａｙ）２＋（Ａｚ）２｝１／２
ただし、
（Ａｘ，Ａｙ，Ａｚ）
＝（（Ｖｘ２−Ｖｘ１）／ｔ，（Ｖｙ２−Ｖｙ１）／ｔ，（Ｖｚ２−Ｖｚ１）／ｔ）
である。
【００７２】
また、３次元動きベクトル（Ｕｘ１，Ｕｙ１，Ｕｚ１）、（Ｕｘ２，Ｕｙ２，Ｕｚ２）は、
（Ｕｘ１，Ｕｙ１，Ｕｚ１）＝（ｘ２−ｘ１，ｙ２−ｙ１，ｚ２−ｚ１）
（Ｕｘ２，Ｕｙ２，Ｕｚ２）＝（ｘ３−ｘ２，ｙ３−ｙ２，ｚ３−ｚ２）
である。
【００７３】
好ましくは、前記３次元位置情報投影部１４は、こうして求めた動体の動きに関する情報を併せて前記表示画像を作成することである。図１１は、前記図５（ａ）で示す模式化画像に、前記動きに関する情報を併せて投影したものである。具体的に、図１１（ａ）は、フレーム間の動き情報を動きベクトル（動体の同じ位置同士を結んでいる）として表示したものであり、その動きベクトルを矢印で表している。図１１（ｂ）は、フレーム間の動き情報を速度ベクトルとして表示したものであり、その速度ベクトルを速度に応じて長さの変わる矢印で表している。図１１（ｃ）はフレーム間の動き情報として、速度（km/h）をそのまま重畳表示したものである。このように各動体の動きに関する情報を併せて表示することで、前記動体の動きを使用者がより容易に理解することができる。
【００７４】
一方、図１２は、前記図１１（ａ）で示す動きベクトル表示に、マウスなどを使って、クリック（或いは重ねるだけでもよい)すると、他の動き情報（図１１（ｃ）の速度）をポップアップ表示したものである。また、図１１や図１２のように時間的に異なる全てのフレームの動体位置や動き情報を重畳表示するのではなく、図１３（ａ）〜（ｃ）で示すように、それぞれのフレームにおける動体位置を、時系列的に都度表示（アニメーション表示など）するようにしてもよい。
【００７５】
（実施の形態２）
図１４は、本発明の実施の第２の形態に係る画像処理装置１ｂを備えて成る事故検証システムの電気的構成を示すブロック図である。この事故検証システムは、前述の図１および図２で示す事故検証システムに類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、本実施の形態では、前記動体抽出部１２ａは静止体も合わせて抽出し、その後、先ず３次元位置情報投影部１４が、面設定部１３で設定された投影面上に、フレーム毎に、前記動体抽出部１２ａで抽出された動体および静止体の３次元位置情報を投影し、その投影された各フレーム画像において、投影画像統合部１７が前記静止体の位置合せを行うことで、前記各投影面の統合を行うことである。
【００７６】
図１５は、前記絵図面による投影面の位置合せを説明するための図である。各投影面が曲面であっても同様に位置合わせを行うことが可能であるが、説明を簡素化するために、平面として説明する。先ず、図１５（ａ）は、４枚の時系列の各画像において、動体を平面上に投影した状態を表す。これらの時間的に異なる複数の画像を図１５（ｂ）では、静止体である前記道路交通のための識別記号に基づいて、平面の位置合わせを行っている。具体的には、図の上下方向は横断歩道５６で、左右方向は通行区分５５で位置合わせを行っている。そして、図１５（ｃ）では、位置合わせ後の平面を統合した状態を表している。
【００７７】
こうして、フレーム毎の投影結果を、静止体を基準として統合することで、前記時系列の撮像画像を得るステレオカメラ２１が動いている、すなわち前記ステレオカメラ２１をドライブレコーダ４などの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００７８】
（実施の形態３）
図１６は、本発明の実施の第３の形態に係る画像処理装置１ｃを備えて成る事故検証システムの電気的構成を示すブロック図である。この事故検証システムは、前述の図１および図２で示す事故検証システムに類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、本実施の形態では、前記動体抽出部１２ａは静止体も合わせて抽出する一方、面設定部１３ｃには前記動体抽出部１２ａの出力が入力され、或るフレームにおける抽出結果を基準とした仮想投影面が設定され、３次元位置情報投影部１４ｃは、前記動体抽出部１２ｃの出力から、各フレームにおける動体の３次元位置を前記静止体を基準として統合し、前記面設定部１３ｃにて設定された仮想投影面上に投影することである。
【００７９】
図１７は、そのような仮想投影面への投影方法を説明するための図である。本実施の形態でも、前記仮想投影面が曲面であっても、同様に位置合わせを行うことが可能であるが、説明を簡素化するために、平面として説明する。前述の図１５では、各フレームで設定した平面に動体を投影した後、それらの平面の位置合わせを行うことで、全体を俯瞰できる平面図を作成している。これに対して、本実施の形態では、全体を俯瞰できる仮想平面を用意し、３次元位置情報投影部１４ｃは、図１７（ａ）で示すような各画像の仮想平面の中で、基準となるフレームで設定した仮想平面に、図１７（ｂ）で示すように残余のフレームで設定した平面を連結して作成する。
【００８０】
ここで、上り坂の場合の仮想平面は図１７（ｃ）で示すようになるので、投影した動体の位置精度が低下する。そこで、このような場合はたとえばナビゲーションシステムからＧＰＳの情報を用いることで、坂道か否かの判断が可能になるので、設定する仮想平面の傾きを変えることで、精度を高めることが可能になる。また、精度をより高めるためには、図１７（ｄ）のように、仮想曲面を設定するようにすればよい。
【００８１】
このように静止体を基準として各フレーム間における動体の位置情報を統合した後、仮想投影面に投影を行うことで、前記ステレオカメラ２１が動いている、すなわち前記ステレオカメラ２１をドライブレコーダ４などの車載カメラとした場合においも、前記運転者の目線だけでなく、路上に居る前記目撃者の目線などの任意の目線（投影面）方向からの表示画像を作成することができる。
【００８２】
図１８は、前記ステレオカメラ２１（２１−１，２１−２）の出力画像に対する３次元位置情報算出部１１での３次元演算（距離演算）の手法を説明するための図である。説明の簡単化の為に、ステレオカメラ２１−１，２１−２の収差は良好に補正されており、かつ平行に設置されているものとする。実際のハードがこのような条件に無くても、画像処理により、同等の画像に変換することも可能である。ハード的或いは画像処理によって平行化された画像を用いる利点は、図１９（ｃ）や図２０で後述するように、対応点の探索領域を1次元に限定できるということであるが、後述する位相限定相関法のように２次元探索が容易な手法の場合であれば、平行化されていないステレオ画像で対応付けを行い、得られた対応点結果を直接３次元化することも可能である（画像処理で平行化することで、画像にノイズが重畳されるので、平行化画像で対応付けを行うと精度が低下する。平行化前の画像から直接対応点を求めてから、最後に３次元化することで、ノイズの影響を最小限に抑えることができる。）。
【００８３】
前記ステレオカメラ２１−１，２１−２としては、少なくとも焦点距離（ｆ）、撮像面（ＣＣＤ）Ｓ１，Ｓ２の画素数、１画素の大きさ（μ）が相互に等しいものを用い、所定の基線（ベースライン）長（Ｂ）だけ前記左右に離間させて光軸Ｌ１，Ｌ２を相互に平行に配置して被写体Ｐを撮影したとき、撮像面Ｓ１，Ｓ２上の視差（ずれ画素数）がΔｄ（＝ｄ１＋ｄ２）であると、被写体Ｐまでの距離（Ｄ）は、
Ｄ＝ｆ・Ｂ／Δｄ
で求めることができる。
【００８４】
また、被写体Ｐの各部の３次元位置（Ｘ，Ｙ，Ｚ）は、ｘ、ｙを画素上での位置とすると、以下で計算される。
【００８５】
Ｘ＝ｘ・Ｄ／ｆ
Ｙ＝ｙ・Ｄ／ｆ
Ｚ＝Ｄ
ここで、たとえば車載用のステレオカメラには、前述のように遠方の先行車までの距離を高精度に測定したいというニーズとともに、小型化による設置し易さも求められる。
ステレオカメラの奥行き方向分解能ΔＺは、
ΔＺ＝（Ｄ２／Ｂ）・（１／ｆ）・Δｄ
で表されることから、高精度化の方法として、焦点距離ｆを大きくする、基線長Ｂを大きくするという方法が考えられる。ところが、前述のように前者では視野範囲が狭くなり、後者では装置が大型化するという欠点がある。上記欠点の無い高精度化の方法として、対応付けのサブピクセル化がある。対応付け演算を画素単位以下の分解能で行うことで、視差の分解能Δｄを小さくして、ステレオ３次元計測の分解能を細かくできるからである。
【００８６】
図１９は、前記３次元位置情報算出部１１において、前記視差Δｄを求めるにあたっての基準画像（ステレオカメラ２１−１）に対する参照画像（ステレオカメラ２１−２）の対応点探索方法を説明するための図である。先ず、図１９（ａ）で示すように、基準画像Ｆ１上に、注目点Ｐを中心または重心とする所定サイズの２次元のウィンドウＷ１を設定する。同様に、図１９（ｂ）で示すように、参照画像Ｆ２上に、考えられる全ての位置に、所定サイズのウィンドウＷ２を多数設定する。ここで、図１９（ｃ）で示すように、前述のように基準画像Ｆ１と参照画像Ｆ２とがほとんど平行に配置されている場合、基準画像Ｆ１上の注目点ＰのＹ座標位置Ｐｙ上に、参照画像Ｆ２の対応位置が乗っていると仮定できるので、このライン上にのみウィンドウＷ２を設定すればよい（基本的には1画素ずつずらしながらウィンドウＷ２を設定する。）。
【００８７】
さらにまた、基準画像Ｆ１と参照画像Ｆ２とがほとんど平行に配置されていて、かつ、基準画像Ｆ１の注目点Ｐと参照画像Ｆ２の対応位置との視差Δｄが或る程度分かっている場合は、図１９（ｄ）で示すように、その視差Δｄの範囲Δｄ’にのみウィンドウＷ２を設定すればよい。
【００８８】
一方、前記対応点探索にあたって、多くの対応点を探索するために、或いは高解像の画像から短時間で対応点を探索するのに好適な手法として、多重解像度戦略によるウィンドウ設定を用いてもよい。図２０は、前記基準画像Ｆ１と参照画像Ｆ２とがほとんど平行に配置されていると仮定した場合の前記多重解像度戦略を説明するための図である。図２０（ａ）は、前述の図１９（ａ）および（ｃ）と同様に、基準画像Ｆ１上の注目点ＰのＹ座標位置Ｐｙ上に、参照画像Ｆ２の複数のウィンドウＷ２を設定している。しかしながら、次に図２０（ｂ）で示すように、それぞれの画像Ｆ１，Ｆ２を解像度変換して、低解像度の画像Ｆ１’，Ｆ２’を作成し、この低解像度の画像Ｆ１’，Ｆ２’間で対応付けを行う。したがって、低解像度の画像Ｆ１’，Ｆ２’では、画素数が少なくなった分だけ、探索する画素数が少なくなり、たとえば解像度を１／２にすると、探索画素数は１／２になる。
【００８９】
こうして、低解像度で対応位置Ｐ’を求めた後は、図２０（ｃ）で示すように、高解像度の画像Ｆ１，Ｆ２に戻って探索を行うが、低解像度で求めた対応位置から、おおよその探索範囲がわかるので、高解像度での探索は非常に狭い範囲でのみ探索を行えばよい。こうして探索範囲ΔＷを狭めることで、同じ時間内で、前述のように多くの対応点を探索することができ、或いは高解像の画像から探索を行うことができる。
【００９０】
なお、上述の説明では、低解像度画像を１段階だけ作成しているが、複数段階で作成して、探索位置を順次絞り込んでゆくようにしてもよい。たとえば、入力画像が１２８０×９６０ピクセルのとき、第１段階目の低解像度画像として６４０×４８０ピクセル、第２段階目の低解像度画像として３２０×２４０ピクセル、第３段階目の低解像度画像として１６０×１２０ピクセルの３種類の低解像度画像を作成して、１６０×１２０ピクセルの画像から順に対応位置を探索してゆく。
【００９１】
さらにまた、前記３次元位置情報算出部１１における対応点探索の他の手法としては、ロバストなパターン類似度演算手法として知られている振幅成分を抑制した相関法を用いることができる。そのような相関法は、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うので、ステレオカメラ２１の撮影条件の差や、ノイズなどの影響を受けにくく、前記ロバストな相関演算が実現可能である。また、濃淡データを用いた従来の２次元相関法や特徴抽出法とは異なり、外乱に強く、明るさやコントラストの低い画像でも、精度良く演算ができるという特徴を有している。そのようなパターンの周波数分解信号を計算する手法として、フーリエ変換、離散コサイン（サイン）変換、ウエーブレット変換、アダマール変換などが知られている。前記離散コサイン（ＤＣＴ）符号限定相関法については、たとえば「画像信号処理と画像パターン認識の融合-ＤＣＴ符号限定相関とその応用」（貴家仁志 首都大学東京 システムデザイン学部 動的画像処理実利用化ワークショップ2007（2007.3.8-9））の論文を参照することができる。
【００９２】
そして、ロバストな相関演算が実現可能な相関法の代表としての位相限定相関法（ＰＯＣ）は、変換にフーリエ変換を用い、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。以下に、その位相限定相関法（ＰＯＣ）を詳細を説明する。
【００９３】
先ず、画像サイズＮ１×Ｎ２ピクセルの２つの画像Ｆ１，Ｆ２をｆ（ｎ１，ｎ２），ｇ（ｎ１，ｎ２）とし、定式化の便宜上、離散空間のインデックスをｎ１＝−Ｍ１，・・・Ｍ１，ｎ２＝−Ｍ２，・・・Ｍ２とし、画像サイズをＮ１＝２Ｍ１＋１ピクセル，Ｎ２＝２Ｍ２＋１ピクセルとすると、これらの画像の２次元フーリエ変換（２Ｄ ＤＦＴ）は、それぞれ下式で与えられる。
【００９４】
【数１】
【００９５】
ここで、ｋ１＝−Ｍ１，・・・Ｍ１，ｋ２＝−Ｍ２，・・・Ｍ２
【００９６】
【数２】
【００９７】
であり、Σｎ１ｎ２は、
【００９８】
【数３】
【００９９】
である。また、ＡＦ（ｋ１，ｋ２），ＡＧ（ｋ１，ｋ２）は振幅成分であり、ｅｊθＦ（ｋ１，ｋ２），ｅｊθＧ（ｋ１，ｋ２）は位相成分である。
【０１００】
そして、位相限定相関法（ＰＯＣ）は、こうして求められたフーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。それには先ず、パターンｆ，ｇの合成位相スペクトル＾Ｒ（ｋ１，ｋ２）は、下記のように定義される。
【０１０１】
【数４】
【０１０２】
ここで、Ｇ（ｋ１，ｋ２）の複素共役は、上線を付して示す。また、θ（ｋ１，ｋ２）＝θＦ（ｋ１，ｋ２）−θＧ（ｋ１，ｋ２）である。
【０１０３】
この合成位相スペクトル＾Ｒ（ｋ１，ｋ２）を逆フーリエ変換することで、相関演算を行うことができる。すなわち、θ（ｋ１，ｋ２）＝θＦ（ｋ１，ｋ２）−θＧ（ｋ１，ｋ２）であり、ＰＯＣ関数＾ｒ（ｎ１，ｎ２）はＲ（ｋ１，ｋ２）の２次元離散フーリエ逆変換（２Ｄ ＩＤＦＴ）であり、次式で定義される。
【０１０４】
【数５】
【０１０５】
ここで、Σｎ１ｎ２は、
【０１０６】
【数６】
【０１０７】
である。
【０１０８】
上記ＰＯＣ関数の処理で得られるＰＯＣ値は、図２１に示すように、画像間（基準ウインドウと参照ウインドウ）の移動量の座標に急峻な類似度ピークを持つことが知られており、画像マッチングにおけるロバスト性が高い。そのＰＯＣのピークの高さが、パターン類似度を示す。そして、位置情報算出部１１が、ＰＯＣのピーク位置を推定することにより位置ズレ量（＝視差ｄｓｕｂ）の推定を行う。このとき、ＰＯＣは離散的に求まるので、ピーク位置をサブピクセルで補間推定することによって、高分解な対応領域座標を求めることができる。ピーク位置の補間推定方法としては、放物線などの関数をフィッティングして行うことができる。そして、候補領域間の位置ズレ量Δｄは、候補領域間のピクセルレベルの位置ズレ量ｄｐｉｘｅｌに、ＰＯＣ法で求めたサブピクセルの位置ズレ量ｄｓｕｂを加えた量となる。
【０１０９】
したがって、前記位相限定相関法における具体的な対応点探索の一例としては、以下の通りとなる。前述のようにＰＯＣ値は、画像間（基準ウインドウＷ１と参照ウインドウＷ２）の移動量の座標に急峻な相関ピークを持つことが知られているので、図２２（ａ）に示すように、基準画像Ｆ１上の点Ｐに対応する参照画像Ｆ２上の点をＰ’とし、点Ｐ，Ｐ’がそれぞれ重心位置になるようなウィンドウＷ１，Ｗ２を設定すると、ウィンドウＷ１，Ｗ２間のＰＯＣ値は、ウィンドウＷ１，Ｗ２の重心位置にピークが立つ。したがって、参照ウインドウＷ２を点Ｐ’が重心位置になるように設定するのではなく、横方向に１画素ずれるように設定すると、ＰＯＣ値も、重心位置から１画素ずれた位置にピークが立つ。同様に、図２２（ｂ）に示すように、参照ウインドウＷ２を点Ｐ’が重心位置からさらに横方向に２画素ずれるようにを設定すると、ＰＯＣ値も、重心位置から２画素ずれた位置にピークが立つので、図１９で説明したように、参照画像Ｆ２側に設定するウィンドウＷ２は１画素ずつずらす必要はなく、或るサンプリング間隔を持って設定すればよい。そこでどれくらいのサンプリング間隔で設定すればよいかは、探索できる範囲Ｗ３に依存するが、一般的には、図２３のように、ウィンドウサイズの半分位であると言われている（重心位置に対して、±１／４位）ので、サンプリング間隔としては、たとえばウィンドウサイズの半分位が重なるように設定すればよい。したがって、基準画像Ｆ１と参照画像Ｆ２での視差の最大を１２８画素、ウィンドウサイズを３１×３１、ＰＯＣで探索できる範囲は重心位置に対して、±８画素と仮定すると、最大１２８画素の視差を探索するためには、ウィンドウを１６画素ずつずらせばよいので、８個のウィンドウを設定すればよい。
【０１１０】
さらに、前記多重解像度戦略を用いると、図２０で説明したように、画像サイズを縮小することで、探索範囲も縮小することができる。具体的に、上述の図２２では、基準画像Ｆ１上の或る1点につき、参照画像Ｆ２上にウィンドウを８個設定する必要があったが、画像を１／２に縮小すると、設定するウィンドウは半分の４個でよい。さらに１／２に縮小すると設定するウィンドウは２個になり、さらに１／２に縮小すると設定するウィンドウは１個となる。つまり、上述のように視差の最大が１２８画素の場合は、画像を（１／２）４＝１／１６に縮小することで、最大視差が８画素になるので、１個のウィンドウで探索することができることになる。したがって、先ずこの１／１６に縮小した画像上での対応位置が求まると、その結果を１／８縮小した画像での初期位置としてウィンドウを１個設定して対応位置を求めるという作業を、以降順次繰返せばよい。
【０１１１】
前記３次元位置情報算出部１１における対応点探索のさらに他の手法としては、ＳＡＤ（濃度差の絶対値和）法や、ＳＳＤ（濃度差の二乗和）法、ＮＣＣ（正規化相互相関）法などを用いることもできる。
【０１１２】
また、前述のＬｕｃａｓ−Ｋａｎｅｄａ法による動きベクトル演算について、以下に説明する。時系列画像など、２枚の画像間の見かけの動きは、動きベクトル（オプティカルフロー）と呼ばれる。その動きベクトルいは、同一点は２枚の画像上で同じ輝度であると仮定すると、以下の式が成り立つ。
【０１１３】
【数７】
【０１１４】
ただし、Ｉは画像の輝度、ｘ，ｙは画像上の座標、ｖｘ，ｖｙは動きベクトルである。
【０１１５】
上式をテーラー展開することで、次式が得られる。
【０１１６】
【数８】
【０１１７】
上式を変形すると、
【０１１８】
【数９】
【０１１９】
となる。この式は、オプティカルフローの拘束式を呼ばれる。
【０１２０】
ところで、画像上の１点（ｘ，ｙ）に対して、上式１つで動きベクトルを求めることはできない。そこで、Ｌｕｃａｓ−Ｋａｎａｄｅ法では、画像上の１点（ｘ，ｙ）の周辺にウインドウを設定し、ウインドウ内で、動きベクトルが変化しないという仮定の下、上記拘束式を重み付けして連立させて、（ｘ，ｙ）での動きベクトルを計算する。具体的には、下式を解くことで実現できる。
【０１２１】
【数１０】
【０１２２】
さらにまた、前述のＩＣＰアルゴリズムについて以下に説明する。ＩＣＰアルゴリズムとは、反復計算により対応点間の誤差を最小化するものであり、処理のフローとしては以下のようになる。図２４で示すように、Ｎｔ個の点からなる点群Ｔ＝｛ｔｉ｜ｉ∈Ｎｔ｝と、異なるＮｓ個の点からなる点群Ｓ＝｛ｓｉ｜ｓ∈Ｎｓ｝の位置合わせを行うとすると、点群Ｓの各点ｓｉにおいて点群Ｔとの距離は以下のようになるとする。
【０１２３】
【数１１】
【０１２４】
各点ｓｉに対応する点をｍｉ∈Ｔとすると、点ｓｉの対応点集群Ｍは、
Ｍ＝Ｃ（Ｓ，Ｔ）
となる。ただし、Ｃは最近傍点を求める関数である。
【０１２５】
こうして点群Ｓの対応点群Ｍが求まると、位置合せのパラメータ（回転行列Ｒ、移動ベクトルｔ）は、下式を最小化することで求められる。
【０１２６】
【数１２】
【０１２７】
この誤差が十分小さくなるまで繰り返すことで、位置合わせを行うことができる。
【符号の説明】
【０１２８】
１，１ａ，１ｂ，１ｃ 画像処理装置
２ 定点カメラ
３ 表示装置
４ ドライブレコーダ
１１ ３次元位置情報算出部
１２，１２ａ 動体抽出部
１３，１３ｃ 面設定部
１４，１４ｃ ３次元位置情報投影部
１５ ３次元情報統合部
１６ ３次元位置情報算出部
１７ 投影画像統合部
２１；２１−１，２１−２ ステレオカメラ
２２ 画像記録部
４１ 一時記憶部
４２ トリガ発生部
５１ 道路面
５２ 自転車
５３ 軌跡
５４ 視線方向
５５ 通行区分
５６ 横断歩道
Ｆ１ 基準画像
Ｆ２ 参照画像
ｍ１，ｍ２ 自動車
ｍ３ 歩行者
Ｍ１，Ｍ２，Ｍ３ 動体対応画像部分
【特許請求の範囲】
【請求項１】
時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示装置に表示させる画像処理装置において、
前記時系列の撮像画像から同一の動体を抽出する動体抽出部と、
前記表示にあたっての投影面を設定する面設定部と、
前記面設定部にて設定された投影面上に、前記動体抽出部で抽出された動体における前記３次元位置情報を投影した表示画像を作成する３次元位置情報投影部とを含むことを特徴とする画像処理装置。
【請求項２】
前記入力画像データは、ドライブレコーダから入力されるステレオカメラによる時系列の撮像画像であり、
前記ステレオカメラの左右間の画像を対応点探索処理することで、前記撮像画像中での被写体の３次元位置情報を得る３次元位置情報算出部をさらに備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記入力画像データは、単眼カメラの時系列の撮像画像に、レーダによる距離情報から成ることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記動体抽出部は、静止体も合わせて抽出し、
前記動体抽出部の出力から、動体の各フレーム間の３次元位置を前記静止体を基準として統合する３次元情報統合部と、
前記３次元情報統合部で統合されたフレーム間において、或るフレームにおける動体の３次元位置を基準として、残余のフレームにおける動体の３次元位置を算出し、前記３次元位置情報投影部へ出力する３次元位置情報算出部とをさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記動体抽出部は、静止体も合わせて抽出し、
前記３次元位置情報投影部は、フレーム毎に、前記投影面上に、前記動体抽出部で抽出された動体および静止体の３次元位置情報を投影し、
その投影された各フレーム画像において、前記静止体の位置合せを行うことで、前記各投影面の統合を行う投影画像統合部をさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項６】
前記動体抽出部は、静止体も合わせて抽出し、
前記面設定部には前記動体抽出部の出力が入力され、或るフレームにおける抽出結果を基準とした仮想投影面が設定され、
前記３次元位置情報投影部は、前記動体抽出部の出力から、各フレームにおける動体の３次元位置を前記静止体を基準として統合し、前記面設定部にて設定された仮想投影面上に投影することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項７】
前記３次元位置情報投影部は、前記３次元位置情報に、前記動体抽出部で抽出された各動体の動きに関する情報を併せて前記表示画像を作成することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記３次元位置情報投影部において、前記投影面およびそれに投影される３次元位置情報は、前記入力画像データを、前記面設定部にて設定された角度から見た画像に変換した実写画像であることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記３次元位置情報投影部において、前記投影面は前記面設定部にて設定された角度から見た模式化された道路面であり、前記３次元位置情報は、前記入力画像データから抽出した実写のランドマークから成ることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記投影面およびそれに投影される３次元位置情報は、前記面設定部にて設定された角度から見た模式化された絵図面から成ることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項１１】
前記絵図面は、前記模式化された道路面上に、前記模式化された道路交通のための識別記号を合成したものであることを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示画像を作成するための方法において、
前記時系列の撮像画像から同一の動体を抽出する工程と、
前記表示にあたっての投影面を設定する工程と、
設定された投影面上に、抽出された動体における前記３次元位置情報を投影した表示画像を作成する工程とを含むことを特徴とする画像処理方法。
【請求項１】
時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示装置に表示させる画像処理装置において、
前記時系列の撮像画像から同一の動体を抽出する動体抽出部と、
前記表示にあたっての投影面を設定する面設定部と、
前記面設定部にて設定された投影面上に、前記動体抽出部で抽出された動体における前記３次元位置情報を投影した表示画像を作成する３次元位置情報投影部とを含むことを特徴とする画像処理装置。
【請求項２】
前記入力画像データは、ドライブレコーダから入力されるステレオカメラによる時系列の撮像画像であり、
前記ステレオカメラの左右間の画像を対応点探索処理することで、前記撮像画像中での被写体の３次元位置情報を得る３次元位置情報算出部をさらに備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記入力画像データは、単眼カメラの時系列の撮像画像に、レーダによる距離情報から成ることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記動体抽出部は、静止体も合わせて抽出し、
前記動体抽出部の出力から、動体の各フレーム間の３次元位置を前記静止体を基準として統合する３次元情報統合部と、
前記３次元情報統合部で統合されたフレーム間において、或るフレームにおける動体の３次元位置を基準として、残余のフレームにおける動体の３次元位置を算出し、前記３次元位置情報投影部へ出力する３次元位置情報算出部とをさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記動体抽出部は、静止体も合わせて抽出し、
前記３次元位置情報投影部は、フレーム毎に、前記投影面上に、前記動体抽出部で抽出された動体および静止体の３次元位置情報を投影し、
その投影された各フレーム画像において、前記静止体の位置合せを行うことで、前記各投影面の統合を行う投影画像統合部をさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項６】
前記動体抽出部は、静止体も合わせて抽出し、
前記面設定部には前記動体抽出部の出力が入力され、或るフレームにおける抽出結果を基準とした仮想投影面が設定され、
前記３次元位置情報投影部は、前記動体抽出部の出力から、各フレームにおける動体の３次元位置を前記静止体を基準として統合し、前記面設定部にて設定された仮想投影面上に投影することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項７】
前記３次元位置情報投影部は、前記３次元位置情報に、前記動体抽出部で抽出された各動体の動きに関する情報を併せて前記表示画像を作成することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記３次元位置情報投影部において、前記投影面およびそれに投影される３次元位置情報は、前記入力画像データを、前記面設定部にて設定された角度から見た画像に変換した実写画像であることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記３次元位置情報投影部において、前記投影面は前記面設定部にて設定された角度から見た模式化された道路面であり、前記３次元位置情報は、前記入力画像データから抽出した実写のランドマークから成ることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記投影面およびそれに投影される３次元位置情報は、前記面設定部にて設定された角度から見た模式化された絵図面から成ることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項１１】
前記絵図面は、前記模式化された道路面上に、前記模式化された道路交通のための識別記号を合成したものであることを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
時系列の撮像画像に、その撮像画像中での被写体の３次元位置情報を合わせて取得可能な画像データを入力とし、その入力画像データを処理して表示画像を作成するための方法において、
前記時系列の撮像画像から同一の動体を抽出する工程と、
前記表示にあたっての投影面を設定する工程と、
設定された投影面上に、抽出された動体における前記３次元位置情報を投影した表示画像を作成する工程とを含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図４】
【図１０】
【図２１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図４】
【図１０】
【図２１】
【公開番号】特開２０１０−２７７２６２（Ｐ２０１０−２７７２６２Ａ）
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願番号】特願２００９−１２８０２８（Ｐ２００９−１２８０２８）
【出願日】平成２１年５月２７日（２００９．５．２７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願日】平成２１年５月２７日（２００９．５．２７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]