３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体
【課題】自動車等の運転者の３次元的な認知領域の広がりを計測することができる３次元範囲計測システム等を提供する。
【解決手段】３次元範囲計測システム１は車両１０の車外環境をステレオ計測する２台の広角レンズカメラを有する車外カメラ２０と、運転者１２の視線方向を計測する車内カメラ３０と、車外カメラ２０および車内カメラ３０に接続されたＰＣ４０とから構成されている。車外カメラ２０は等距離射影式の魚眼レンズカメラを用い、透視投影モデルに変換しない二眼ステレオ法を考案した。車内カメラ３０の座標系ＸｗＹｗＺｗを世界座標系とし車外カメラ２０の座標系ＸｃＹｃＺｃを車内カメラ３０の座標系に合わせた。車外カメラ２０の計測から得られた車外環境の画像上の隣接する３つの画素毎に三角形パッチを構成する。車内カメラ３０の計測から得られた運転者の視直線と三角形パッチとの交点を運転者１２の注視点の３次元座標とした。
【解決手段】３次元範囲計測システム１は車両１０の車外環境をステレオ計測する２台の広角レンズカメラを有する車外カメラ２０と、運転者１２の視線方向を計測する車内カメラ３０と、車外カメラ２０および車内カメラ３０に接続されたＰＣ４０とから構成されている。車外カメラ２０は等距離射影式の魚眼レンズカメラを用い、透視投影モデルに変換しない二眼ステレオ法を考案した。車内カメラ３０の座標系ＸｗＹｗＺｗを世界座標系とし車外カメラ２０の座標系ＸｃＹｃＺｃを車内カメラ３０の座標系に合わせた。車外カメラ２０の計測から得られた車外環境の画像上の隣接する３つの画素毎に三角形パッチを構成する。車内カメラ３０の計測から得られた運転者の視直線と三角形パッチとの交点を運転者１２の注視点の３次元座標とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測システム等に関する。
【背景技術】
【０００２】
一般に、人の視野とは目を動かさずに見える範囲とされている。目を向けている点（注視点）方向の角度を０°とすると、注視点から左右１３°（視角２６°。中心視）の範囲では視力は約１．２と良好であるが、視野の周辺部の範囲（周辺視野）では視力は約０．１と急に低くなっている。周辺視野で物体を認知することができる範囲を有効視野と呼ぶ。言い換えれば、有効視野とは周辺視野の内、認知に寄与する部分のことを言う。有効視野は年齢、性別等により異なると言われている。自動車等の運転者のように、動いている状態で車外を見る場合、有効視野が重要となる。この場合、有効視野は年齢、性別等に加えて、走行状況、道路状況、心理状態、個人差により異なると言われている。
【０００３】
一般に人の有効視野を計測するためには、被験者にスクリーン中の固視点を注視してもらいながら、視野内のスクリーンに映る様々な視覚刺激の中からターゲット刺激を検出することにより測定される（非特許文献１参照）。自由な眼球運動下での有効視野計測として制限視野法（非特許文献２参照）があり、その自動車運転時の計測への応用（非特許文献３参照）も提案されている。例えば、Seeing Machines（登録商標）社製のfaceLAB等の車内ステレオカメラ装置を用いて自動車の運転者の眼球回転角度（縦方向回転のピッチ角成分および横方向回転のヨー角成分）の測定が行われていた。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した非特許文献１および２に記載された有効視野を測定する方法では、スクリーンといった平面内または円筒上での注視方向のみを対象としていた。このため、その奥行きを一切考慮していなかった。運転者が注視する対象物と自動車との間の距離は様々に変化し一定ではないため、遠近を含む距離を測定する必要がある。しかし、上述した車内ステレオカメラ装置を用いた方法では運転者の視線方向（直線）を２次元的にしか測定できず、奥行きを含めた３次元的な認知領域の広がりを計測することができないという問題があった。
【０００５】
そこで、本発明の目的は上記問題を解決するためになされたものであり、自動車等の運転者の３次元的な認知領域の広がりを計測することができる３次元範囲計測システム等を提供することにある。
【０００６】
本発明の第２の目的は、心理状態等の心的要因によって変化する３次元的な有効視野の時間的変化を測定することができる３次元範囲計測システム等を提供することにある。
【０００７】
本発明の第３の目的は、車外の物体（ハザード）を運転者が注視したのか否かを特定することができると共に所定の警告を発することができ、有効視野を表示する等の運転支援を行うことができる３次元範囲計測システム等を提供することにある。
【課題を解決するための手段】
【０００８】
この発明の３次元範囲計測システムは、車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測システムであって、車外環境をステレオ計測する２台の広角レンズカメラを有する車外撮像器と、運転者の視線方向を計測する車内撮像器と、該車外撮像器及び該車内撮像器に接続されたコンピュータとを備え、コンピュータが、前記車内撮像器の座標系を世界座標系とし前記車外撮像器の座標系を該車内撮像器の座標系に合わせ、該車内撮像器の計測から得られた運転者の視直線と該車外撮像器の計測から得られた車外環境の画像上の隣接する３つの画素毎に設定された三角形パッチとの交点を運転者の注視点の３次元座標とすることにより、運転者から見える３次元空間の範囲を測定することを特徴とする。
【０００９】
ここで、この発明の３次元範囲計測システムにおいて、前記車外撮像器は車外に設置された等距離射影方式の左右の魚眼レンズカメラを広角レンズカメラとして用い、前記車内撮像器は車内に設置されたイメージセンサを用いて運転者の両眼球の回転角度及び位置座標を取得することができる。
【００１０】
ここで、この発明の３次元範囲計測システムにおいて、前記コンピュータは、前記車外撮像器を用いて撮像された左右の魚眼レンズカメラによる左右の車外画像を記録した車外画像記録部と、前記車内撮像器を用いて取得された、世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とを対応させて記録した視線情報記録部と、前記車外画像記録部に記録された左右の車外画像に対して所定の条件を満たす画素の集合としてエピポーラ線を求め、該エピポーラ線上を探索することにより左右の車外画像における対応点を求める対応点マッチング手段と、前記対応点マッチング手段により対応点が求められた画素については該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については該画素の周辺画素から補間を行うことにより該画素に投影される車外の３次元空間における点の座標を求める３次元座標算出手段と、前記３次元座標算出手段により求められた車外の３次元空間における点の座標をユークリッド変換して前記視線情報記録部に記録された世界座標系における所定の点の座標とする際の変換パラメータを求める変換パラメータ算出手段と、前記変換パラメータ算出手段により求められた変換パラメータを用いて、前記車外画像記録部に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報記録部に記録する画素座標算出手段と、前記画素座標情報記録部に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、該三角形パッチに関する情報を三角形パッチ情報記録部に記録する三角形パッチ構成手段と、前記視線情報記録部に記録された世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とから得られる運転者の視直線と、前記三角形パッチ情報記録部に記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、該交点を運転者の注視点の３次元座標とし、該注視点の位置座標を時間の経過と共に注視点位置座標記録部に記録する交点算出手段とを備えることができる。
【００１１】
ここで、この発明の３次元範囲計測システムにおいて、前記注視点位置座標記録部に記録された所定の時間分の注視点座標から構成される３次元凸包を運転手の有効視空間として求める有効視空間算出手段をさらに備えることができる。
【００１２】
ここで、この発明の３次元範囲計測システムにおいて、前記有効視空間算出手段により算出された有効視空間の路面上への正射影像を求め、前記コンピュータに接続された表示装置に該正射影像を所定の方式で表示する有効視空間表示手段をさらに備えることができる。
【００１３】
ここで、この発明の３次元範囲計測システムにおいて、車両の運転者から見える３次元空間の範囲内に存在するハザードの座標を検出するハザード座標検出手段と、前記ハザード座標検出手段により検出されたハザードの座標と前記注視点位置座標記録部に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する警告手段とをさらに備えることができる。
【００１４】
この発明の３次元範囲計測プログラムは、車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測プログラムであって、車外環境をステレオ計測する２台の広角レンズカメラを有する車外撮像器と、運転者の視線方向を計測する車内撮像器と、該車外撮像器及び該車内撮像器に接続されたコンピュータとを用いるものであり、コンピュータに、前記車内撮像器の座標系を世界座標系とし前記車外撮像器の座標系を該車内撮像器の座標系に合わせ、該車内撮像器の計測から得られた運転者の視直線と該車外撮像器の計測から得られた車外環境の画像上の隣接する３つの画素毎に設定された三角形パッチとの交点を運転者の注視点の３次元座標とすることにより、運転者から見える３次元空間の範囲の測定を実行させるための３次元範囲計測プログラムである。
【００１５】
ここで、この発明の３次元範囲計測プログラムにおいて、前記車外撮像器は車外に設置された等距離射影方式の左右の魚眼レンズカメラを広角レンズカメラとして用い、前記車内撮像器は車内に設置されたイメージセンサを用いて運転者の両眼球の回転角度及び位置座標を取得することができる。
【００１６】
ここで、この発明の３次元範囲計測プログラムにおいて、前記コンピュータは、前記車外撮像器を用いて撮像された左右の魚眼レンズカメラによる左右の車外画像を記録した車外画像記録部と、前記車内撮像器を用いて取得された、世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とを対応させて記録した視線情報記録部とをさらに用い、コンピュータに、前記車外画像記録部に記録された左右の車外画像に対して所定の条件を満たす画素の集合としてエピポーラ線を求め、該エピポーラ線上を探索することにより左右の車外画像における対応点を求める対応点マッチングステップ、前記対応点マッチングステップで対応点が求められた画素については該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については該画素の周辺画素から補間を行うことにより該画素に投影される車外の３次元空間における点の座標を求める３次元座標算出ステップ、前記３次元座標算出ステップで求められた車外の３次元空間における点の座標をユークリッド変換して前記視線情報記録部に記録された世界座標系における所定の点の座標とする際の変換パラメータを求める変換パラメータ算出ステップ、前記変換パラメータ算出ステップで求められた変換パラメータを用いて、前記車外画像記録部に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報記録部に記録する画素座標算出ステップ、前記画素座標情報記録部に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、該三角形パッチに関する情報を三角形パッチ情報記録部に記録する三角形パッチ構成ステップ、前記視線情報記録部に記録された世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とから得られる運転者の視直線と、前記三角形パッチ情報記録部に記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、該交点を運転者の注視点の３次元座標とし、該注視点の位置座標を時間の経過と共に注視点位置座標記録部に記録する交点算出ステップを実行させることができる。
【００１７】
ここで、この発明の３次元範囲計測プログラムにおいて、前記注視点位置座標記録部に記録された所定の時間分の注視点座標から構成される３次元凸包を運転手の有効視空間として求める有効視空間算出ステップをさらに備えることができる。
【００１８】
ここで、この発明の３次元範囲計測プログラムにおいて、前記有効視空間算出ステップにより算出された有効視空間の路面上への正射影像を求め、前記コンピュータに接続された表示装置に該正射影像を所定の方式で表示する有効視空間表示ステップをさらに備えることができる。
【００１９】
ここで、この発明の３次元範囲計測プログラムにおいて、車両の運転者から見える３次元空間の範囲内に存在するハザードの座標を検出するハザード座標検出ステップと、前記ハザード座標検出ステップにより検出されたハザードの座標と前記注視点位置座標記録部に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する警告ステップとをさらに備えることができる。
【００２０】
この発明の記録媒体は、本発明のいずれかの３次元範囲計測プログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００２１】
本発明の３次元範囲計測システム等によれば、車内カメラにより運転者の顔画像が撮像されて視線計測処理が行われ、運転者の眼球位置座標および眼球回転角が求められる。並行して車外カメラにより車外画像が撮像されて車外ステレオ処理が実行される。車内カメラの座標系と車外カメラの座標系とは異なるため、車内カメラの座標系ＸｗＹｗＺｗを世界座標系とし車外カメラの座標系ＸｃＹｃＺｃを車内カメラ３０の座標系に合わせた。本発明で用いる二組の魚眼ステレオカメラ（車内用、車外用）には共通する撮影領域がないため、予め運転者が車両の座席に座った状態で所定の位置においたマーカーを注目してもらい、その時に車内カメラから取得できる運転者の視線方向の情報と上記マーカーの魚眼カメラ座標系における３次元座標とから、カメラ座標系を統合する校正用パラメータを求める手法を考案した。車外カメラの計測から得られた車外環境の画像上の隣接する３つの画素毎に三角形パッチを構成する。次に、車内カメラの計測から得られた運転者の視直線と三角形パッチとの交点を運転者の注視点の３次元座標とする。本発明では、等距離射影式の魚眼レンズカメラによる、透視投影モデルに変換しない二眼ステレオ法を考案した。車外画像ＤＢに記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報ＤＢに記録する。画素座標情報ＤＢに記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、当該三角形パッチに関する情報を三角形パッチ情報ＤＢに記録する。視線情報ＤＢに記録された世界座標系における所定の点を注視する際の運転者の両眼球の眼球回転角度および眼球位置座標と当該所定の点の座標とから得られる運転者の視直線と、三角形パッチ情報ＤＢに記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、当該交点を運転者の注視点の３次元座標とした。以上のようにして、本発明の３次元範囲計測システム等によれば、車両の運転者の３次元的な認知領域の広がりを計測することができる３次元範囲計測システム等を提供することができるという効果がある。
【００２２】
本発明の３次元範囲計測システム等によれば、時系列の注視点群から３次元凸包を生成することにより、その領域を有効視空間とする。３次元凸包は逐次添加法によって求めることができる。この結果、運転者１２の心理状態等の心的要因によって変化する３次元的な有効視野（有効視空間）の時間的変化を測定することができる３次元範囲計測システム等を提供することができるという効果がある。
【００２３】
本発明の３次元範囲計測システム等によれば、有効視空間算出部により算出された有効視空間の路面上への正射影像を求め、コンピュータに接続された表示装置に当該正射影像を所定の方式で表示する。この結果、水平視野角、垂直視野角、奥行きを映像で表示し、色による有効視空間の大きさ表現、見落としハザードの表示を行うことができるという効果がある。
【００２４】
本発明の３次元範囲計測システム等によれば、ハザード座標検出部により検出されたハザードの座標と注視点位置座標ＤＢに記録された所定の時間分の注視点座標とを用いることにより、種々の正確な警告を発することができる。このため、本発明の３次元範囲計測システムを車両に搭載することにより、より安全性が高く且つ安価な車両を提供することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施例１および他の実施例における３次元範囲計測システム１の概要を示す図である。
【図２】本発明の３次元範囲計測プログラムの処理の流れを示すフローチャートである。
【図３】本発明の３次元範囲計測プログラムの動作環境を示す図である。
【図４】本発明の３次元範囲計測プログラムを構成する二眼ステレオ法で用いる魚眼ステレオの投影モデルを示す図である。
【図５】魚眼レンズカメラ２５Ｌおよび２５Ｒを車両１０の屋根に設置した一例を示す図である。
【図６】車内カメラ器３０の設置例を示す図である。
【図７】車内カメラ３０と車外カメラ２０との位置関係を示す図である。
【図８】視線計測カメラ３０により運転者１２の視線方向を計測する状況を示す図である。
【図９】運転者１２の視直線Ｓと車外三角形パッチとの交点の導出を説明するための図である。
【図１０】本発明の３次元範囲計測プログラムを構成する二眼ステレオ法の処理の流れを示すフローチャートである。
【図１１】本発明の実施例２における有効視空間を説明するための図である。
【図１２】逐次添加法によって３次元凸包を求めるアルゴリズム（非特許文献７参照）を示すフローチャートである。
【図１３】逐次追加の様子を例示する図である。
【図１４】本発明の実施例３における有効視空間の表示例を示す図である。
【図１５】本発明のプログラムを実行するコンピュータ１０の内部回路１８０を示すブロック図である。
【発明を実施するための最良の形態】
【００２６】
以下、実施例について図面を参照して詳細に説明する。
【実施例１】
【００２７】
図１は、本発明の実施例１および他の実施例における３次元範囲計測システム１の概要を示す。図１において、符号１０は自動車等の車両、１２は車両１０を運転する運転者、２０は車両１０の車外環境をステレオ計測する２台の広角レンズカメラを有する車外カメラ（車外撮像器。座標は車両１０の進行方向がＺｃ軸、Ｚｃ軸に垂直にＸｃ軸およびＹｃ軸）、３０は運転者１２の視線方向を計測する車内カメラ（車内撮像器。座標は運転者方向がＺｗ軸、Ｚｗ軸に垂直にＸｗ軸およびＹｗ軸）、４０は車外カメラ２０および車内カメラ３０に接続されたパーソナルコンピュータ（ＰＣ）等のコンピュータである。３次元範囲計測システム１は車両１０の運転者１２から見える３次元空間の範囲を計測する。
【００２８】
図１に示されるように車両１０の屋根の上に設置された車外カメラ２０の広角レンズカメラは魚眼レンズカメラであることが好適である。以下では車外カメラ２０のカメラは魚眼レンズカメラであるものとして説明していくが、魚眼レンズカメラに限定されるものではなく、車外の対象物と車両１０との間の距離が遠い（３０ｍ以上の）場合は、むしろ広角レンズカメラの方がよい場合もある。図１に示される車内カメラ２０は、車内に設置されたＣＣＤ等のイメージセンサを用いて運転者１２の両眼球(不図示)の回転角および位置座標を取得する。
【００２９】
図２は、本発明の３次元範囲計測プログラムの処理の流れをフローチャートで示す。図２で図１と同じ符号を付した個所は同じ要素を示すため、説明は省略する。図２において、符号４２はＰＣ４０と接続され３次元範囲計測プログラムが使用する種々のデータが記録された記録装置である。図３は、本発明の３次元範囲計測プログラムの動作環境を示す。図３において、符号５０はＰＣ４０上で実行される３次元範囲計測プログラムの機能を示す機能ブロック、４２は図２で説明した記録装置である。機能ブロック５０内の諸機能はソフトウェアにより実現されているが、一部はハードウェアにより実現してもよい。以下、図１ないし図３の内容を適宜引用しながら本発明の３次元範囲計測プログラムの動作を説明していく。
【００３０】
まず、本発明の３次元範囲計測プログラムの概要について説明する。図２に示されるように、車内カメラ３０により運転者１２の顔画像が撮像されて視線計測処理が行われ、運転者１２の眼球位置座標および眼球回転角が求められる（ステップＳ３０）。並行して車外カメラ２０により車外画像が撮像されて車外ステレオ処理が実行される（ステップＳ２０）。ここで、図１に示されるように車内カメラ３０は座標系ＸｗＹｗＺｗを有しており、一方車外カメラ２０は別の座標系ＸｃＹｃＺｃを有している。そこで、運転者１２の視線方向の情報と車外の３次元環境の情報とを統合するためには、左右の各魚眼ステレオカメラの座標系を世界座標系に統一させる必要がある。本発明の３次元範囲計測プログラム等では、車内カメラ３０の座標系ＸｗＹｗＺｗを世界座標系とし車外カメラ２０の座標系ＸｃＹｃＺｃを車内カメラ３０の座標系に合わせた（ステップＳ２２）。
【００３１】
本発明で用いる二組の魚眼ステレオカメラ（車内用、車外用）には共通する撮影領域がないため、一般的な校正器具を用いたカメラ校正は不可能である。そこで、予め運転者１２が車両１０の座席に座った状態で所定の位置においたマーカーを注目してもらい、その時に車内カメラ３０（faceLAB） から取得できる運転者１２の視線方向の情報と上記マーカーの魚眼カメラ座標系における３次元座標とから、カメラ座標系を統合する校正用パラメータを求める手法を考案した。詳細は後述する。図２に示されるように、車外カメラ２０の計測から得られた車外環境の画像上の隣接する３つの画素毎に三角形パッチを構成する（ステップＳ２４）。次に、車内カメラ３０の計測から得られた運転者の視直線と三角形パッチとの交点を運転者１２の注視点の３次元座標とする(ステップＳ４０)。３次元的な有効視野の時間的変化を示す３次元凸包（詳細は後述）を計算し（ステップＳ４２）、有効視空間（詳細は後述）情報を記録装置４２に記録（ステップＳ４４）した後、上述した処理を繰返す。
【００３２】
次に、本発明の３次元範囲計測プログラムの詳細について説明する。上述した車外ステレオ処理（ステップＳ２０）は車外環境の魚眼ステレオカメラによる計測である。魚眼ステレオカメラで撮影された画像を透視投影モデルの画像に変換する研究はいくつかなされており（非特許文献４、５参照）、魚眼モデルの画像を透視投影モデルの画像に変換することでステレオ計測を行っている（非特許文献６）。しかし、非特許文献４〜６に記載された方法では画像を変換することで魚眼モデルの画像の周辺部が欠落してしまうといった問題があった。そこで、等距離射影式の魚眼レンズカメラによる、透視投影モデルに変換しない二眼ステレオ法（主としてステップ２２からＳ４０に対応）を考案した。
【００３３】
図４は、本発明の３次元範囲計測プログラムを構成する二眼ステレオ法で用いる魚眼ステレオの投影モデルを示す。以下では、「魚眼レンズ」は「魚眼レンズカメラ」を含む意味で用いる。図４に示されるように、車外カメラ２０の左側魚眼レンズ２５Ｌ（中心Ｏ、座標ＸＹＺ）と右側魚眼レンズ２５Ｒ（中心Ｏ’、座標Ｘ’Ｙ’Ｚ‘）とについて、図４（Ａ）は俯瞰図、図４（Ｂ）は魚眼レンズ２５Ｌおよび２６Ｒを上から見た平面図、図４（Ｃ）は魚眼レンズ２５Ｌおよび２６Ｒを下（カメラの中）から見た平面図である。図４（Ｄ）は図４（Ｃ）の説明用の図である。図４（Ａ）、（Ｂ）において、３次元空間中の任意の点をＰｗ とし、各魚眼レンズ２５Ｌおよび２５Ｒにその点を投影した点をそれぞれＰ、Ｐ’とする。θ とθ’とは各々左右の魚眼レンズ２５Ｌおよび２５Ｒに対する天頂角を示し、φとφ’とは方位角を示す。ｆとｆ’と各々左右の魚眼レンズ２５Ｌおよび２５Ｒのは焦点距離であり、球面モデルの半径を表す。図４（Ｃ）左側図で右方向が正方向のｕｌ軸は左画像の光軸を原点とする横方向の画像座標軸であり、下方向が正方向のｖｌ軸は左画像の光軸を原点とする縦方向の画像座標軸である。同様に、図４（Ｃ）右側図で右方向が正方向のｕｒ軸は右画像の光軸を原点とする横方向の画像座標軸であり、下方向が正方向のｖｒ軸は右画像の光軸を原点とする縦方向の画像座標軸である。
【００３４】
図４（Ｃ）でｖｌ軸が画像の下向きになっているのは、本発明の３次元範囲計測プログラム中で画像のデータが収まっている配列に起因する。一般的に画像はラスター操作の順に配列に収まっており、左上角から水平方向に右へ１行いったら、１マス下の一番左から水平方向に右へ1行き、さらに1マス下の一番左から水平方向に右へ１行というように、データを保持する。そのため、ｕｌ軸は右向き、ｖｌ軸は下向きにされることが多い。さらに、座標の原点を画像の左上角ではなく、画像の中心に持つと魚眼レンズの３次元座標（上記のＸＹＺ等）のＸＹと画像のｕｌｖｌが同じz軸上に原点があることになり、計算がしやすくなるため、その分だけ原点をシフトしている。
【００３５】
上述したように、図４（Ｂ）のＹ軸と図４（Ｃ）のｖｌ軸とは軸の向きが異なっている。このため、その方位角φの場所もＸＹ平面とｕｌｖｌ平面とでは変わってくる。方位角φは右手座標系における横軸(ｕｌ軸、Ｘ軸)からの正の回転角を表している。ＸＹ平面であれば図４（Ｂ）に示されるようにＸ軸の正の位置からＹ軸の正の位置へ向かってとった角度になる。ｕｌｖｌ平面においても図４（Ｃ）に示されるようにｕｌ軸の正の位置からｖｌ軸の正の位置へ向かってとった角度になる。ｕｌｖｌ平面においてもφはｕｌ軸との正の回転角度を意味するため、本来は図４（Ｃ）に示されるφは曲線の引き方が１８０度分だけ足らない。正規の方位角では図４（Ｄ）に示されるように、左図のφｌは３２０度位、右図のφｒは２１０度位になる。しかし、φは後述するようにarctan（ｖｌ／ｕｌ）によって求めている。arctanの周期はπ(＝１８０度)であるため、φｌの第３象限から第４象限までの角度をαとすると、tanφｌ＝tan(π＋α)＝tanαとなる。このため、第３象限および第４象限の場合はｕｌ軸の負の部分からの正の回転角度だけとしても計算結果は１８０度多い方位角と同じ値になる。このため、図４（Ｃ）中のφの場所は１８０度分だけ短く書かれている。図４（Ｃ）の右図も同様であるため、説明は省略する。
【００３６】
以上の準備に基づき、天頂角と方位角は式１のように得られる。
【００３７】
【数１】
【００３８】
左右の魚眼レンズカメラ２５Ｌおよび２５Ｒによる投影点ＰおよびＰ’の位置ベクトルをｐ、ｐ’としたとき、それぞれを天頂角θ、θ’と方位角φ、φ’とを用いて表すと式２のようになる。
【００３９】
【数２】
【００４０】
３次元空間中の点Ｐｗは左右の投影点の位置ベクトルを定数倍した所にあり、その位置ベクトルをＰｗは式３のように表すことができる。
【００４１】
【数３】
【００４２】
但し、ｋｌとｋｒとは任意の正の実数とする。また本発明では左右の魚眼レンズカメラ２５Ｌおよび２５Ｒの向きおよび高さを平行と仮定するため、両カメラ間距離をＸ軸方向にｔｘだけ離れているものとし、次の条件（式４）を与える。
【００４３】
【数４】
【００４４】
従って、３次元空間中の点Ｐｗは式５のようにして求まる。
【００４５】
【数５】
【００４６】
魚眼投影画像でステレオマッチングするにあたり、問題となってくるのが対応点マッチングを行なう際のエピポーラ線である。図４（Ａ）で中心Ｏ−点Ｐｗ−中心Ｏ’を結ぶ平面がエピポーラ平面であり、エピポーラ平面と魚眼レンズ２５Ｌ、２５Ｒとの交点Ｐ、Ｐ’がエピポールとなり、魚眼レンズ２５Ｌ、２５Ｒ上で各エピポールＰ、Ｐ’を結んだ曲線がエピポーラ線となる。つまり、魚眼画像のエピポーラ線は非直線であると共にその方程式は画素毎に異なる。エピポーラ線は次の条件式を満たす画素の集合として求める。
【００４７】
【数６】
【００４８】
このエピポーラ線上を探索して対応点マッチングを行う。図３に戻り、符号７０は車外カメラ２０を用いて撮像された左右の魚眼レンズカメラ２５Ｌおよび２５Ｒによる左右の車外画像を記録した車外画像データべースＤＢ（車外画像記録部）である。図３の機能ブロック５０に示される対応点マッチング部５１（対応点マッチング手段）は、車外画像ＤＢ７０に記録された左右の車外画像に対して式６（所定の条件）を満たす画素の集合としてエピポーラ線を求め、当該エピポーラ線上を探索することにより左右の車外画像における対応点を求める。
【００４９】
以上の処理によって左右の魚眼画像で対応点が得られた画素（ｕｌ、ｖｌ） についてそこに投影される点の３次元座標Ｐｗを式５を用いて求めることができる。エッジやテクスチャのあるところはこのようにして３次元座標を得られる。しかし、対応点が得られない画素（例えば道路など他の画素と区別がつかない画素）については、その周辺の画素から補間をして、画像上の全ての画素について投影される点の３次元座標を計算する。図３の機能ブロック５０に示される３次元座標算出部５２（３次元座標算出手段）は、対応点マッチング部５１により対応点が求められた画素については当該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については当該画素の周辺画素から補間を行うことにより当該画素に投影される車外の３次元空間における点の座標を求める。
【００５０】
図５は、魚眼レンズカメラ２５Ｌおよび２５Ｒを車両１０の屋根に設置した一例を示す。図５に示されるように、車外カメラ２０は車両１０の屋根の上に２台の魚眼レンズカメラを左右に分けて設置することが好適である。しかし、上記設置位置は屋根の上に限定されるものではなく、ボンネットの上または両サイドミラーの上等であってもよく、特に設置位置が特定されるものではない。なお、本明細書では魚眼レンズとしてＦＵＪＩＦＩＬＭ（登録商標）社製のＦＥ１８５Ｃ０５７ＨＡ−１を使用したが、この魚眼レンズに限定されるものではない。
【００５１】
図６は、車内カメラ３０の設置例を示す。車内カメラ２０の設置位置は例えばダッシュボードの上に設置することが好適であるが、運転の邪魔にならない所であれば他の位置であってもよい。車内カメラ２０はコンピュータ４０にＵＳＢ等で接続された低コストのいわゆるウェブカメラとし、ドライバモニタリングシステムとしては、例えばTrackEye（登録商標）と呼ばれるソフトウェアを用いることができる。TrackEye（登録商標）は運転者１２の顔および目を検知し、運転者１２の注視点の測定を行う。上述の例では車内カメラ２０としてTrackEye（登録商標）を例示したが、１秒あたりのフレーム数がより高い、例えばFaceLab systemを用いる方が好適である。
【００５２】
図７は、車内カメラ３０と車外カメラ２０との位置関係を示す。図７で図１と同じ符号を付した個所は同じ要素を示すため、説明は省略する。図７で、点Ｐｗ（座標Ｃｘ，Ｃｙ，Ｃｚ）は図４で説明した３次元空間における点であり、運転者１２が注視している注視点である。
【００５３】
次に、運転者１２の注視点Ｐｗの３次元位置計測について説明する。運転者１２の注視点Ｐｗの３次元位置計測は、車外カメラ２０座標系ＸｃＹｃＺｃと車内カメラ３０座標系ＸｗＹｗＺｗとの統一、運転者１２の視直線と車外三角形パッチ（後述）との交点の導出から成り立っている。以下、それぞれの原理を述べる。加えて、両カメラの座標系を統合するために事前に必要となる変換行列の導出方法についても説明する。
【００５４】
車外カメラ２０座標系ＸｃＹｃＺｃと車内カメラ３０座標系ＸｗＹｗＺｗとの統一．
以下では、車外カメラ２０を魚眼ステレオカメラ２０と呼び、車内カメラ３０を視線計測カメラ３０と呼ぶ。車外環境を撮影する魚眼ステレオカメラ２０と視線計測を行う視線計測カメラ３０（faceLAB のカメラ）はそれぞれ独立した座標系を持っており、車外の３次元環境と視線方向の情報とを統合させるためには、各ステレオカメラ２０および３０の座標系を世界座標系に統一させる必要がある。本発明では世界座標系を視線計測カメラ３０の座標系とし、魚眼ステレオカメラ２０のカメラ座標系を視線計測カメラ３０の座標系に合わせる。
【００５５】
視線計測カメラ３０の座標系ＸｗＹｗＺｗでの３次元座標（Ｗｘ，Ｗｙ，Ｗｚ）と魚眼ステレオカメラ２０の座標系ＸｃＹｃＺｃでの３次元座標（Ｃｘ，Ｃｙ，Ｃｚ）との関係は式７のようにユークリッド変換で表す。
【００５６】
【数７】
【００５７】
あとは変換のパラメータｐ１、・・・、ｐ１２が求まればよい。しかし、本発明で用いる二組のステレオカメラ（車内カメラ３０用、車外カメラ２０用）には共通する撮影領域がないため、一般的な校正器具を用いたカメラ校正は不可能である。そこで、予め運転者１２が座席に座った状態で所定のマーカーに注目してもらい、その時に視線計測カメラ３０から取得できる運転者１２の視線方向の情報と上記マーカーの魚眼カメラ２０座標系における３次元座標とから、カメラ座標系を統合する校正用パラメータを求める手法を以下のように考案した。つまり、二つのステレオカメラ２０および３０が校正器具を共通して撮影できないため、代わりに運転者１２（または作業者）の視線データを介して両ステレオカメラ２０および３０の情報をつなげる役割を持たせる。上記マーカーは車両１０のボンネットまたはフロントガラスに設置した。
【００５８】
図８は、視線計測カメラ３０により運転者１２の視線方向を計測する状況を示す。図８で図１および図６と同じ符号を付した個所は同じ要素を示すため、説明は省略する。図８で符号Ｓは運転者１２の視直線、１２Ｌ、１２Ｒは運転者１２の左右の眼球を模式的に示したものであり、Ψpitchは眼球１２Ｌ等の縦方向回転のピッチ角成分、Ψyawは眼球１２Ｌ等の横方向回転のヨー角成分であり、（Ψpitch，Ψyaw）で眼球回転角度を構成し、（ｅｘ，ｅｙ,ｅｚ）は眼球１２Ｌ等の位置座標である。
【００５９】
眼球回転角度および眼球１２Ｌ等の位置座標はいずれも両眼のデータが視線計測カメラ３０により得られる。本発明ではこれら両眼のデータに関して各データの平均値をとり, それを眼球回転角度と眼球位置座標と定義する。左眼１２Ｌの眼球回転角度を（Ψpitchl，Ψyawl）、眼球位置座標を（ｅｘｌ，ｅｙｌ,ｅｚｌ）とし、右眼１２Ｒの眼球回転角度を（Ψpitchｒ，Ψyawｒ）、眼球位置座標を（ｅｘｒ，ｅｙｒ,ｅｚｒ）とすると、式８〜１２のように表わすことができる。
【００６０】
【数８】
【００６１】
以上の準備に基づき、カメラ座標系を統合する校正用パラメータを求める手法について説明する。世界座標系における視線を表す直線(視直線Ｓ)は眼球位置座標（ｅｘ，ｅｙ,ｅｚ）および視直線Ｓの方向を示す視線方向ベクトル（ｎｘ，ｎｙ，ｎｚ）より式１３のように書くことができる。
【００６２】
【数９】
【００６３】
式１３でｋは任意の実数である。視線方向ベクトルは眼球回転角度を用いると, 式１４のように書くことができる。
【００６４】
【数１０】
【００６５】
式１３および１４より、世界座標系における視直線Ｓの方程式は式１５のように書くことができる。以下で、眼球回転角度（Ψpitch，Ψyaw）を簡単に（Ψp，Ψy）と書く場合もある。
【００６６】
【数１１】
【００６７】
式７と式１５とを等しいとおくことにより、少なくとも３点（精度を向上させるためにはより多くの点）のデータが取得できれば方程式７を解いてパラメータｐ１、．．．，ｐ１２を求めることができる。図３に戻り、符号７２は視線計測カメラ３０を用いて取得された、世界座標系における点Ｐｗ（所定の点）を注視する際の運転者１２の両眼球１２Ｌおよび１２Ｒの眼球回転角度および眼球位置座標と上記点Ｐｗの座標とを対応させて記録した視線情報ＤＢ（視線情報記録部）である。図３の機能ブロック５０に示される変換パラメータ算出部５３（変換パラメータ算出手段）は、上述のようにして、３次元座標算出部５２により求められた車外の３次元空間における点Ｐｗの座標をユークリッド変換して視線情報ＤＢ７２に記録された世界座標系における点Ｐｗの座標とする際の式７の変換パラメータｐ１、．．．，ｐ１２を求めることができる。次に、求められた変換パラメータｐ１、．．．，ｐ１２を式７に用いることにより、魚眼レンズカメラ２０の画像上の全ての画素の座標（Ｃｘ，Ｃｙ，Ｃｚ）について世界座標における３次元座標（Ｗｘ，Ｗｙ，Ｗｚ）を計算することができる。図３の機能ブロック５０に示される画素座標算出部５４（画素座標算出手段）は、変換パラメータ算出部５３により求められた式７の変換パラメータｐ１、．．．，ｐ１２を用いて、車外画像ＤＢ７０に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報ＤＢ７４（画素座標情報記録部）に記録する。
【００６８】
運転者１２の視直線Ｓと車外三角形パッチとの交点の導出．
魚眼レンズカメラ２０の画像上の全ての画素について３次元座標が計算できたら隣り合う画素ごとに組を作り、三角形パッチを構成する。この時、画像（ｕ，ｖ）のｖ座標が０または偶数の場合は(ｕ，ｖ)、（ｕ＋１，ｖ）、（ｕ，ｖ＋１）の三点で、ｖ座標が奇数の場合は(ｕ，ｖ)、（ｕ−１，ｖ）、（ｕ，ｖ−１）の三点で三角形パッチを作るものとする（所定の方式）。この処理により、車両１０を取り巻く車外環境を三角形パッチの集合として構成することができる。図３に戻り、図３の機能ブロック５０に示される三角形パッチ構成部５５（三角形パッチ構成手段）は、画素座標情報ＤＢ７４に記録された隣り合う３つの画素毎に上述した所定の方式で三角形パッチを構成し、当該三角形パッチに関する情報を三角形パッチ情報ＤＢ７６（三角形パッチ情報記録部）に記録する。この世界座標系における車外三角形パッチと視直線Ｓとの交点を運転者１２の注視点とする。車両１０を取り巻く車外の３次元環境が三角形パッチ群で構成されているため、いずれかの三角形パッチと運１２視直線Ｓとが交点を持つことになる。
【００６９】
図９は、運転者１２の視直線Ｓと車外三角形パッチとの交点の導出を説明するための図である。図９でｐ１＝（ｐ１ｘ，ｐ１ｙ，ｐ１ｚ）、ｐ２＝（ｐ２ｘ，ｐ２ｙ，ｐ２ｚ）ｐ３＝（ｐ３ｘ，ｐ３ｙ，ｐ３ｚ）は三角形パッチを個性する３点の３次元座標である。この３点で張られる平面の方程式は式１６のようになる。
【００７０】
【数１２】
【００７１】
式１５および式１６より、式１８が得られる。
【００７２】
【数１３】
【００７３】
但し、ベクトルｖは式１９であるものとする。
【００７４】
【数１４】
【００７５】
ここで、
【００７６】
【数１５】
【００７７】
とすると、クラメールの公式より、
【００７８】
【数１６】
【００７９】
となる。
【００８０】
【数１７】
【００８１】
なので、式２３のように書くことができる。
【００８２】
【数１８】
【００８３】
これを解いて、もし上記式１７の条件を満たす場合は三角形パッチｐ１ｐ２ｐ３の内部で視直線Ｓと交点Ｐｗを持ち、式１７の条件を満たさない場合は三角形パッチｐ１ｐ２ｐ３とは交点を持たない。交点を持つときにはそのときのｋを式１５に代入することにより、注視点Ｐｗの３次元座標を得ることができる。図３に戻り、図３の機能ブロック５０に示される交点算出部５６（交点算出手段）は、視線情報ＤＢ７２に記録された世界座標系における点Ｐｗ（所定の点）を注視する際の運転者１２の両眼球１２Ｌ等の眼球回転角度および眼球位置座標と所定の点の座標とから得られる運転者１２の視直線Ｓと、三角形パッチ情報ＤＢ７６に記録された三角形パッチｐ１ｐ２ｐ３との交点Ｐｗを有する三角形パッチｐ１ｐ２ｐ３を上述した運転者１２の視直線Ｓと車外三角形パッチｐ１ｐ２ｐ３との交点の導出で説明した方法（所定の方法）により求める。当該交点Ｐｗを運転者１２の注視点の３次元座標とし、当該注視点の位置座標を時間の経過と共に注視点位置座標ＤＢ７８（注視点位置座標記録部）に記録する。
【００８４】
上述した方法は、３点の座標と視線方向ベクトルＳから立てた式１８とをクラメールの公式で解くことにより、交点を持つかどうか（パラメータｓ、ｔ）と交点座標のパラメータｋとを同時に求めている。これとは別に、平面の方程式を求めてから交点座標を導出し、その後で当該交点が三角形パッチ内にあるかどうかを調べる方法もある。図９に示される三角形パッチｐ１ｐ２ｐ３を三角形パッチＡＢＣとする。Ａ＝（ａｘ，ａｙ，ａｚ）、Ｂ＝（ｂｘ，ｂｙ，ｂｚ）Ｃ＝（ｃｘ，ｃｙ，ｃｚ）とする。点Ｐｗは同じ座標のままでＰ（Ｗｘ，Ｗｙ，Ｗｚ）とする。世界座標系における空間中の三点（Ａ，Ｂ，Ｃ）を含む平面の方程式は式２４のように書くことができる。
【００８５】
【数１９】
【００８６】
式２４で、α、β、γはベクトルＡＢとベクトルＡＣとの外積から求められる要素であり、式２５ないし２７のように求めることができる。
【００８７】
【数２０】
【００８８】
運転者１２の視直線Ａを上述した眼球回転角度と眼球位置座標とを用いて表すと, 式２８のように書くことができる。
【００８９】
【数２１】
【００９０】
式２４と式２８との連立方程式により、ｋについての一次式（式２９）を導出することができる。
【００９１】
【数２２】
【００９２】
式２９でｋを求め式２８に代入することにより、平面ＡＢＣと視直線Ｓとの交点Ｐ（Ｗｘ，Ｗｙ，Ｗｚ）を求めることができる。点Ｐが平面ＡＢＣの内部に存在するとき、式３０のように書くことができる。
【００９３】
【数２３】
【００９４】
式３０の条件を満たす交点Ｐ（Ｗｘ，Ｗｙ，Ｗｚ）を注視点の３次元位置座標と定義することができる。
【００９５】
図１０は、上述した本発明の３次元範囲計測プログラムを構成する二眼ステレオ法の処理の流れをフローチャートで示す。図１０に示されるように、まず、車外画像ＤＢ７０に記録された左右の車外画像に対して式６に示される条件（所定の条件）を満たす画素の集合としてエピポーラ線を求め、当該エピポーラ線上を探索することにより左右の車外画像における対応点を求める（ステップＳ５０。対応点マッチングステップ）。対応点マッチングステップ（ステップＳ５０）で対応点が求められた画素については当該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については当該画素の周辺画素から補間を行うことにより当業者該画素に投影される車外の３次元空間における点の座標を求める（ステップＳ５２。３次元座標算出ステップ）。３次元座標算出ステップ（ステップＳ５２）で求められた車外の３次元空間における点の座標をユークリッド変換して視線情報ＤＢ７２に記録された世界座標系における所定の点の座標とする際の変換パラメータｐ１、．．．，ｐ１２を求める（変換パラメータ算出ステップ。ステップＳ５４）。変換パラメータ算出ステップ（ステップＳ５４）で求められた変換パラメータｐ１、．．．，ｐ１２を用いて、車外画像ＤＢ７０に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報ＤＢ７４に記録する（ステップＳ５６または図２に示されるステップＳ２２。画素座標算出ステップ）。画素座標情報ＤＢ７４に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、当該三角形パッチに関する情報を三角形パッチ情報ＤＢ７６に記録する（ステップＳ５８または図２に示されるステップＳ２４。三角形パッチ構成ステップ）。視線情報ＤＢ７２に記録された世界座標系における所定の点を注視する際の運転者１２の両眼球１２Ｌ等の眼球回転角度および眼球位置座標と当該所定の点の座標とから得られる運転者１２の視直線Ｓと、三角形パッチ情報ＤＢ７６に記録された三角形パッチとの交点Ｐｗを有する三角形パッチを所定の方法により求め、当該交点を運転者１２の注視点の３次元座標とし、当該注視点の位置座標を時間の経過と共に注視点位置座標ＤＢ７８に記録する(ステップＳ６０または図２に示されるステップＳ４０。交点算出ステップ)。
【００９６】
以上のように、本発明の実施例１によれば、３次元範囲計測システム１は車両１０の車外環境をステレオ計測する２台の広角レンズカメラを有する車外カメラ２０（座標は車両１０の進行方向がＺｃ軸、Ｚｃ軸に垂直にＸｃ軸およびＹｃ軸）と、運転者１２の視線方向を計測する車内カメラ３０（座標は運転者方向がＺｗ軸、Ｚｗ軸に垂直にＸｗ軸およびＹｗ軸）と、車外カメラ２０および車内カメラ３０に接続されたＰＣ４０とから構成されている。車外カメラ２０の広角レンズカメラは魚眼レンズカメラであることが好適であるが、これに限定されるものではない。車内カメラ２０は、車内に設置されたＣＣＤ等のイメージセンサを用いて運転者１２の両眼球１２Ｌ等の眼球回転角および眼球位置座標を取得する。
【００９７】
車内カメラ３０により運転者１２の顔画像が撮像されて視線計測処理が行われ、運転者１２の眼球位置座標および眼球回転角が求められる。並行して車外カメラ２０により車外画像が撮像されて車外ステレオ処理が実行される。車内カメラ３０の座標系と車外カメラ２０の座標系とは異なるため、運転者１２の視線方向の情報と車外の３次元環境の情報とを統合するためには、左右の各魚眼ステレオカメラ３０Ｌ等の座標系を世界座標系に統一させる必要がある。本発明の３次元範囲計測プログラム等では、車内カメラ３０の座標系ＸｗＹｗＺｗを世界座標系とし車外カメラ２０の座標系ＸｃＹｃＺｃを車内カメラ３０の座標系に合わせた。
【００９８】
本発明で用いる二組の魚眼ステレオカメラ（車内用、車外用）には共通する撮影領域がないため、一般的な校正器具を用いたカメラ校正は不可能である。そこで、予め運転者１２が車両１０の座席に座った状態で所定の位置においたマーカーを注目してもらい、その時に車内カメラ３０（faceLAB） から取得できる運転者１２の視線方向の情報と上記マーカーの魚眼カメラ座標系における３次元座標とから、カメラ座標系を統合する校正用パラメータを求める手法を考案した。車外カメラ２０の計測から得られた車外環境の画像上の隣接する３つの画素毎に三角形パッチを構成する。次に、車内カメラ３０の計測から得られた運転者の視直線と三角形パッチとの交点を運転者１２の注視点の３次元座標とする。種々の情報を記録装置４２に記録した後、上述した処理を繰返す。
【００９９】
本発明では、等距離射影式の魚眼レンズカメラによる、透視投影モデルに変換しない二眼ステレオ法を考案した。まず、車外画像ＤＢ７０に記録された左右の車外画像に対して式６に示される条件を満たす画素の集合としてエピポーラ線を求め、当該エピポーラ線上を探索することにより左右の車外画像における対応点を求める。対応点が求められた画素については当該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については当該画素の周辺画素から補間を行うことにより当業者該画素に投影される車外の３次元空間における点の座標を求める。求められた車外の３次元空間における点の座標をユークリッド変換して視線情報ＤＢ７２に記録された世界座標系における所定の点の座標とする際の変換パラメータｐ１、．．．，ｐ１２を求める。求められた変換パラメータｐ１、．．．，ｐ１２を用いて、車外画像ＤＢ７０に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報ＤＢ７４に記録する。画素座標情報ＤＢ７４に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、当該三角形パッチに関する情報を三角形パッチ情報ＤＢ７６に記録する。視線情報ＤＢ７２に記録された世界座標系における所定の点を注視する際の運転者１２の両眼球１２Ｌ等の眼球回転角度および眼球位置座標と当該所定の点の座標とから得られる運転者１２の視直線Ｓと、三角形パッチ情報ＤＢ７６に記録された三角形パッチとの交点Ｐｗを有する三角形パッチを所定の方法により求め、当該交点を運転者１２の注視点の３次元座標とし、当該注視点の位置座標を時間の経過と共に注視点位置座標ＤＢ７８に記録する。
【０１００】
以上のようにして、車両１０等の運転者１２の３次元的な認知領域の広がりを計測することができる３次元範囲計測システム等を提供することができる。
【実施例２】
【０１０１】
実施例２では実施例１で得られた注視点位置座標ＤＢ７８を用いて、運転者１２の注視点からの３次元凸包を生成する方法について説明する。運転手１２の眼球１２Ｌ等を基点とした過去ｔフレーム間の視線方向ベクトル（注視点べクトル）で構成される３次元凸包を有効視空間と定義する。有効視空間の計測中にも車両は走行しているので、運転手の眼球位置（視線計測カメラ座標系）から伸びる視直線Ｓを基準とし、そこからの注視点の３次元位置の相対的な変化から有効視空間を構築する。注視点の位置ベクトル群から３次元凸包を構成し、この内部領域を有効視空間として求める。
【０１０２】
図１１は、本発明の実施例２における有効視空間を説明するための図である。図１１（Ａ）で、符号１００はハザード（車外における対象物であって特に運転者１２が注意を向ける必要があるもの）、１０２は有効視空間である。図１１（Ｂ）はｘｚ平面（実施例１における車外カメラ２０の座標系でのＸｃＺｃ平面）に射影された場合の有効視区間１０２ｘｚを示し、図１１（Ｃ）はｙｚ平面（実施例１における車外カメラ２０の座標系でのＹｃＺｃ平面）に射影された場合の有効視区間１０２ｙｚを示す。図１１（Ａ）に示されるように、運転者１２の有効視空間１０２内にハザード１００が含まれているため、運転者１２はハザード１００を認知していることがわかる。
【０１０３】
図３に示される機能ブロック５０の有効視空間算出部５７（有効視空間算出手段）は、注視点位置座標ＤＢ７８に記録された過去ｔフレーム間分（所定の時間分）の注視点座標から構成される３次元凸包を運転手の有効視空間として求める。即ち、時系列の注視点群から３次元凸包を生成することにより、その領域を有効視空間とする。以下、詳細に説明する。
【０１０４】
ｔフレーム分の注視点座標をＸ＝｛ｘ１，ｘ２、・・・,ｘｔ｝とするとき、これらから構成される３次元凸包を運転者１２の有効視空間とする。具体的には注視点座標の集合において、
【０１０５】
【数２４】
の条件を満たすすべての凸結合
【０１０６】
【数２５】
【０１０７】
の共通部分(凸包)C を求める。凸包のデータ構造は、３次元凸多面体の境界を平面グラフと考え、二重連結リストで保持する。図１２は、逐次添加法によって３次元凸包を求めるアルゴリズム（非特許文献７参照）をフローチャートで示す。図１２に示されるように、ｘ１，ｘ２ ，ｘ３，ｘ４の４点で凸包（四面体）Ｃ（Ｘ４）を構成する（ステップＳ７０）。ｍ＝５とする（ステップＳ７２）。ｍ個目の点ｘｍをＣ（Ｘｍ−１） に加えてＣ（Ｘｍ）を作成する（ステップＳ７４）。もしｘｍ がＣ（Ｘｍ−１）の内部にある場合、ｘｍは凸包Ｃ（Ｘｍ）の内部の点であるため、何もしないでステップＳ８０へ進む（ステップＳ７６）。そうでない場合、可視面を削除して地平面の辺とｘｍとで構成できる面を新たなファセットとして追加する（ステップＳ７８）。ステップＳ８０でｍ≠ｔでなければｍを１加算してステップＳ７４へ戻る（ステップＳ８０、Ｓ８２）。
【０１０８】
可視面の求め方：ｘｉ、ｘｊ、ｘｋの順の有効連結リストのファセットにおいて、｛（ｘｉ−ｘｊ）×（ｘｊ−ｘｋ）｝・（ｘｉ−ｘｍ）＞０ならそのファセットは可視面である。
地平面の求め方：削除した可視面と辺を共有するファセットがｘｍに対して不可視面であればその辺は地平面の辺である。
【０１０９】
図１３は逐次追加の様子を例示する。図１３（Ａ）はｍ個目の点ｘｍを凸包Ｃ（Ｘｍ−１） に加える状態を示し、図１３（Ｂ）はｍ個目の点ｘｍが凸包Ｃ（Ｘｍ−１） に加えられて凸包Ｃ（Ｘｍ）が生成された状態を示す。
【０１１０】
以上のように、本発明の実施例２によれば、運転手１２の眼球１２Ｌ等を基点とした過去ｔフレーム間の視線方向ベクトル（注視点べクトル）で構成される３次元凸包を有効視空間と定義する。運転者１２の有効視空間１０２内にハザード１００が含まれていれば、運転者１２はハザード１００を認知していることがわかる。有効視空間算出部５７は、注視点位置座標ＤＢ７８に記録された過去ｔフレーム間分（所定の時間分）の注視点座標から構成される３次元凸包を運転手の有効視空間として求める。即ち、時系列の注視点群から３次元凸包を生成することにより、その領域を有効視空間とする。３次元凸包は逐次添加法によって求めることができる。以上により、運転者１２の心理状態等の心的要因によって変化する３次元的な有効視野（有効視空間）の時間的変化を測定することができる３次元範囲計測システム等を提供することができる。
【実施例３】
【０１１１】
実施例３では、実施例２で説明した有効視空間を運転者１２に対して表示する例について説明する。図３に示される機能ブロック５０の有効視空間表示部５８（有効視空間表示手段）は、有効視空間算出部５７により算出された有効視空間の路面上への正射影像を求め、コンピュータ４０に接続された表示装置８４（後述）に当該正射影像を所定の方式で表示する。
【０１１２】
図１４は、本発明の実施例３における有効視空間の表示例を示す。有効視空間１０２の広さを色で表し（原図）、十分広い有効視空間が保たれている場合は緑色で表示し（図１４（Ａ）の広く且つ遠方状態、図１４（Ｂ）の広く且つ近い状態）、有効視空間が狭まっているときには赤色で警告をするように表示する（図１４（Ｃ）の狭く且つ近い状態、図１４（Ｄ）の狭く且つ遠方状態）。有効視空間外にハザード（歩行者など車両の進路方向にあって衝突可能性の有るもの）が存在する場合にはピクトグラム（図１４（Ｃ）の自転車１００ａ、図１４（Ｄ）の歩行者１００ｂ）を表示して運転者１２に注意を促す。但し、表示する有効視空間の最大奥行きは車外のステレオ計測精度に依存する。遠方まで正確な計測ができるカメラを使用する場合には表示できる有効視空間の大きさも広くなる。表示する有効視空間の左右の広がりも車外のステレオ計測性能に依存する。広視野領域を精度よく計測できる魚眼カメラの場合には表示できる左右の広がりも広くなる。
【０１１３】
以上のように、本発明の実施例３によれば、有効視空間算出部５７により算出された有効視空間の路面上への正射影像を求め、コンピュータ４０に接続された表示装置８４（後述）に当該正射影像を所定の方式で表示する。この結果、水平視野角、垂直視野角、奥行きを映像で表示し、色による有効視空間の大きさ表現、見落としハザードの表示を行うことができる。
【実施例４】
【０１１４】
実施例４では、実施例２で説明した有効視空間を利用した種々の運転支援の仕組みについて説明する。図３に示される機能ブロック５０のハザード座標検出部５９（ハザード検出手段）は、車両１０の運転者１２から見える３次元空間の範囲内に存在するハザードの座標を検出し、警告部５９（警告手段）はハザード座標検出部５９により検出されたハザードの座標と注視点位置座標ＤＢ７８に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する。
【０１１５】
ハザード座標検出部５９は、車外画像ＤＢ７０に記録された車外画像から所定の動物体解析手法により車両１０の外のハザードを検出して車外カメラ２０の座標系で特定し、その後当該座標を上述した方法と同様にして車内カメラ３０の座標系へ合わせる。所定の動物体解析手法としては既存技術であるオプティカルフローアルゴリズムによる解析手法が好適である。発明者らはHalcon（登録商標） machine vision library function（optical_flow_mg()）を使用した。詳細は、Halcon（登録商標） reference manual（http://www/mvtec.com/download/documentation/reference-9.0/hdevelop/optical_flow_mg.html）を参照されたい。
【０１１６】
ハザード座標検出部５９により検出されたハザードの座標と注視点位置座標ＤＢ７８に記録された所定の時間分の注視点座標とを用いることにより、運転者１２がハザードを見ていたのか否かを特定することができる。言い換えれば、運転者１２があるハザードを見落としていたことも特定できる。ハザードの３次元座標は上述したように得ることができるため、高価なレーザ装置を用いなくても車両１０とハザードとの間の距離を測定することもできる。従って当該距離と車両１０の走行速度とからハザードに衝突するまでの時間も得ることができる。このため、より正確な警告（音声または画像表示）を発することができる。加えて、運転者１２の視線計測ができるため、運転者１２が計器類、同乗者等に気を取られて前方を見ないというディストラクション（distraction）を検知することも可能である。
【０１１７】
以上のように、本発明の実施例４によれば、ハザード座標検出部５９により検出されたハザードの座標と注視点位置座標ＤＢ７８に記録された所定の時間分の注視点座標とを用いることにより、種々の正確な警告を発することができる。このため、本発明の３次元範囲計測システムを車両１０に搭載することにより、より安全性が高く且つ安価な車両１０を提供することが可能となる。
【実施例５】
【０１１８】
図１５は、本発明の３次元範囲計測プログラムを実行するＰＣ（コンピュータ）４０の内部回路８０を示すブロック図である。図１５に示されるように、ＣＰＵ８１、ＲＯＭ８２、ＲＡＭ８３、画像制御部８６、コントローラ８７、入力制御部９０および外部Ｉ／Ｆ部９２はバス９３に接続されている。図１５において、上述した本発明の３次元範囲計測プログラムは、ＲＯＭ８２、ディスク８８（又は４４）、ＤＶＤ若しくはＣＤ−ＲＯＭ８９等の記録媒体（脱着可能な記録媒体を含む）に記録されている。ディスク８８（又は４４）には、上述した種々の車外画像ＤＢ７０、視線情報ＤＢ７２、画素座標情報ＤＢ７４、三角形パッチ情報ＤＢ７６、注視点位置座標ＤＢ７８等を記録しておくことができる。３次元範囲計測プログラムは、ＲＯＭ８２からバス９３を介し、あるいはディスク８８又はＤＶＤ若しくはＣＤ−ＲＯＭ８９等の記録媒体からコントローラ８７を経由してバス９３を介しＲＡＭ８３へロードされる。画像制御部８６は、有効視空間表示部５８または警告部６０等により表示される種々の画面の画像データをＶＲＡＭ８５へ送出する。表示装置（ディスプレイ）８４はＶＲＡＭ８５から送出された上記データ等を表示する。ＶＲＡＭ８５は表示装置８４の一画面分のデータ容量に相当する容量を有している画像メモリである。入力操作部９１はＰＣ４０に入力等を行うためのマウス、キーボード等の入力装置であり、入力制御部９０は入力操作部９１と接続され入力制御等を行う。外部Ｉ／Ｆ部９２はＰＣ４０の外部にある車外カメラ２０および車内カメラ３０と接続する際のインタフェース機能を有している。
【０１１９】
上述したようにコンピュータ（ＣＰＵ）８１が本発明の３次元範囲計測プログラムを実行することにより、本発明の目的を達成することができる。３次元範囲計測プログラムは上述のようにＤＶＤ若しくはＣＤ−ＲＯＭ８９等の記録媒体の形態でコンピュータ（ＣＰＵ）８１に供給することができ、３次元範囲計測プログラムを記録したＤＶＤ若しくはＣＤ−ＲＯＭ８９等の記録媒体も同様に本発明を構成することになる。３次元範囲計測プログラムを記録した記録媒体としては上述された記録媒体の他に、例えばメモリ・カード、メモリ・スティック、光ディスク等を用いることができる。
【０１２０】
上述した各実施例の説明では、図２の事前のカメラ校正（ステップＳ１）については触れなかった。本発明においても、既存の手法を用いて事前のカメラ校正を行っており、カメラの内部パラメータ（これは焦点距離、レンズ歪み、画素サイズなどから成る）を事前に得ている。この校正が事前に行えているという前提で、上述した式１からは、カメラの内部パラメータで正規化した(レンズの歪などの影響を取り除いた)ｕｌ、ｖｌ等を利用している。式１、２の焦点距離fも事前のカメラ校正で求めた数値を利用している。
【産業上の利用可能性】
【０１２１】
本発明の活用例として、事故防止ツールに適用することができる。わが国の交通事故を法令違反別に見ると、安全不確認が約３割と最も多いと言われている。事故と視覚認知特性との関連では、特に中高年の有効視野と事故率との相関が高いことも報告されている。このため、本発明の３次元範囲計測システム１等（特に有効視空間表示部５８の機能）を利用して、交通状況に応じた自身の有効視空間を常時把握することにより、過大評価することなく、安全運転スタイルを心がけるようにすることができる。
【符号の説明】
【０１２２】
１ ３次元範囲計測システム、 １０ 車両、 １２ 運転者、 １２Ｌ、１２Ｒ 眼球、 ２０、２５Ｌ、２５Ｒ 車外カメラ、 ３０、３０Ｌ、３０Ｒ 車内カメラ、 ４０ ＰＣ、 ４２ 記録装置、 ５０ 機能ブロック、 ５１ 対応点マッチング部、 ５２ ３次元座標算出部、 ５３ 変換パラメータ算出部、 ５４ 画素座標算出部、 ５５ 三角形パッチ構成部、 ５６ 交点算出部、 ５７ 有効視空間算出部、 ５８ 有効視空間表示部、 ５９ ハザード座標検出部、 ６０ 警告部、 ７０ 車外画像ＤＢ、 ７２ 視線情報ＤＢ、 ７４ 画素座標情報ＤＢ、 ７６ 三角形パッチ情報ＤＢ、 ７８ 注視点位置座標ＤＢ、８１ ＣＰＵ、 ８２ ＲＯＭ、 ８３ ＲＡＭ、 ８４ 表示装置、 ８５ ＶＲＡＭ、 ８６ 画像制御部、 ８７ コントローラ、 ８８ ディスク、 ８９ ＣＤ−ＲＯＭ、 ８０ 入力制御部、 ９１ 入力操作部、 ９２ 外部Ｉ／Ｆ部、 ９３ バス １００ ハザード、 １０２ 有効視空間。
【先行技術文献】
【非特許文献】
【０１２３】
【非特許文献１】那倉達哉、入倉隆著、「疲労と有効視の関係」, 照明学会誌, 第８９ 巻, 第１１号,２００５.
【非特許文献２】McConkie George W. and RaynerKeith: “The span of the effective stimulus during a fixationsin reading”, Perceptionand Psychophisics,17, pp.578-586,1975.
【非特許文献３】三浦利章著、「行動場面における視覚的認知」, 日本心理学会第４８回大会発表論文集, Ｓ６８−６９,１９８４.
【非特許文献４】立花康夫, 河合敏勝, 小林洋介, 栗原哲也, 菊池孝之著、「魚眼レンズ写真から任意焦点レンズ画像への変換」, 電子情報通信学会技術研究報告. SIP, 信号処理: IEICE technical report107,No.22, pp.25-30, 2007.
【非特許文献５】加瀬翔太, 奥津良太, 光本尚訓, 新垣洋平, 下村倫子, 寺林賢司, 梅田和昇著、「複数の魚眼カメラの内部・外部パラメータの同定による俯瞰画像生成」, 電気学会研究会資料. IP, 情報処理研究会2008, No.13, pp.43−48, 2008.
【非特許文献６】永森千貴, 西本武志, 山口順一著、「魚眼ステレオ視覚センサ」, 第12 回画像センシングシンポジウム予稿集, pp.137−140, 2006.
【非特許文献７】K.L. Clarkson and P.W. Shor: “Applications of random sampling incomputational geometry,II”, Discrete Computer Geometry, No.4, pp.387−421,1989.
【技術分野】
【０００１】
本発明は、車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測システム等に関する。
【背景技術】
【０００２】
一般に、人の視野とは目を動かさずに見える範囲とされている。目を向けている点（注視点）方向の角度を０°とすると、注視点から左右１３°（視角２６°。中心視）の範囲では視力は約１．２と良好であるが、視野の周辺部の範囲（周辺視野）では視力は約０．１と急に低くなっている。周辺視野で物体を認知することができる範囲を有効視野と呼ぶ。言い換えれば、有効視野とは周辺視野の内、認知に寄与する部分のことを言う。有効視野は年齢、性別等により異なると言われている。自動車等の運転者のように、動いている状態で車外を見る場合、有効視野が重要となる。この場合、有効視野は年齢、性別等に加えて、走行状況、道路状況、心理状態、個人差により異なると言われている。
【０００３】
一般に人の有効視野を計測するためには、被験者にスクリーン中の固視点を注視してもらいながら、視野内のスクリーンに映る様々な視覚刺激の中からターゲット刺激を検出することにより測定される（非特許文献１参照）。自由な眼球運動下での有効視野計測として制限視野法（非特許文献２参照）があり、その自動車運転時の計測への応用（非特許文献３参照）も提案されている。例えば、Seeing Machines（登録商標）社製のfaceLAB等の車内ステレオカメラ装置を用いて自動車の運転者の眼球回転角度（縦方向回転のピッチ角成分および横方向回転のヨー角成分）の測定が行われていた。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した非特許文献１および２に記載された有効視野を測定する方法では、スクリーンといった平面内または円筒上での注視方向のみを対象としていた。このため、その奥行きを一切考慮していなかった。運転者が注視する対象物と自動車との間の距離は様々に変化し一定ではないため、遠近を含む距離を測定する必要がある。しかし、上述した車内ステレオカメラ装置を用いた方法では運転者の視線方向（直線）を２次元的にしか測定できず、奥行きを含めた３次元的な認知領域の広がりを計測することができないという問題があった。
【０００５】
そこで、本発明の目的は上記問題を解決するためになされたものであり、自動車等の運転者の３次元的な認知領域の広がりを計測することができる３次元範囲計測システム等を提供することにある。
【０００６】
本発明の第２の目的は、心理状態等の心的要因によって変化する３次元的な有効視野の時間的変化を測定することができる３次元範囲計測システム等を提供することにある。
【０００７】
本発明の第３の目的は、車外の物体（ハザード）を運転者が注視したのか否かを特定することができると共に所定の警告を発することができ、有効視野を表示する等の運転支援を行うことができる３次元範囲計測システム等を提供することにある。
【課題を解決するための手段】
【０００８】
この発明の３次元範囲計測システムは、車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測システムであって、車外環境をステレオ計測する２台の広角レンズカメラを有する車外撮像器と、運転者の視線方向を計測する車内撮像器と、該車外撮像器及び該車内撮像器に接続されたコンピュータとを備え、コンピュータが、前記車内撮像器の座標系を世界座標系とし前記車外撮像器の座標系を該車内撮像器の座標系に合わせ、該車内撮像器の計測から得られた運転者の視直線と該車外撮像器の計測から得られた車外環境の画像上の隣接する３つの画素毎に設定された三角形パッチとの交点を運転者の注視点の３次元座標とすることにより、運転者から見える３次元空間の範囲を測定することを特徴とする。
【０００９】
ここで、この発明の３次元範囲計測システムにおいて、前記車外撮像器は車外に設置された等距離射影方式の左右の魚眼レンズカメラを広角レンズカメラとして用い、前記車内撮像器は車内に設置されたイメージセンサを用いて運転者の両眼球の回転角度及び位置座標を取得することができる。
【００１０】
ここで、この発明の３次元範囲計測システムにおいて、前記コンピュータは、前記車外撮像器を用いて撮像された左右の魚眼レンズカメラによる左右の車外画像を記録した車外画像記録部と、前記車内撮像器を用いて取得された、世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とを対応させて記録した視線情報記録部と、前記車外画像記録部に記録された左右の車外画像に対して所定の条件を満たす画素の集合としてエピポーラ線を求め、該エピポーラ線上を探索することにより左右の車外画像における対応点を求める対応点マッチング手段と、前記対応点マッチング手段により対応点が求められた画素については該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については該画素の周辺画素から補間を行うことにより該画素に投影される車外の３次元空間における点の座標を求める３次元座標算出手段と、前記３次元座標算出手段により求められた車外の３次元空間における点の座標をユークリッド変換して前記視線情報記録部に記録された世界座標系における所定の点の座標とする際の変換パラメータを求める変換パラメータ算出手段と、前記変換パラメータ算出手段により求められた変換パラメータを用いて、前記車外画像記録部に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報記録部に記録する画素座標算出手段と、前記画素座標情報記録部に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、該三角形パッチに関する情報を三角形パッチ情報記録部に記録する三角形パッチ構成手段と、前記視線情報記録部に記録された世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とから得られる運転者の視直線と、前記三角形パッチ情報記録部に記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、該交点を運転者の注視点の３次元座標とし、該注視点の位置座標を時間の経過と共に注視点位置座標記録部に記録する交点算出手段とを備えることができる。
【００１１】
ここで、この発明の３次元範囲計測システムにおいて、前記注視点位置座標記録部に記録された所定の時間分の注視点座標から構成される３次元凸包を運転手の有効視空間として求める有効視空間算出手段をさらに備えることができる。
【００１２】
ここで、この発明の３次元範囲計測システムにおいて、前記有効視空間算出手段により算出された有効視空間の路面上への正射影像を求め、前記コンピュータに接続された表示装置に該正射影像を所定の方式で表示する有効視空間表示手段をさらに備えることができる。
【００１３】
ここで、この発明の３次元範囲計測システムにおいて、車両の運転者から見える３次元空間の範囲内に存在するハザードの座標を検出するハザード座標検出手段と、前記ハザード座標検出手段により検出されたハザードの座標と前記注視点位置座標記録部に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する警告手段とをさらに備えることができる。
【００１４】
この発明の３次元範囲計測プログラムは、車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測プログラムであって、車外環境をステレオ計測する２台の広角レンズカメラを有する車外撮像器と、運転者の視線方向を計測する車内撮像器と、該車外撮像器及び該車内撮像器に接続されたコンピュータとを用いるものであり、コンピュータに、前記車内撮像器の座標系を世界座標系とし前記車外撮像器の座標系を該車内撮像器の座標系に合わせ、該車内撮像器の計測から得られた運転者の視直線と該車外撮像器の計測から得られた車外環境の画像上の隣接する３つの画素毎に設定された三角形パッチとの交点を運転者の注視点の３次元座標とすることにより、運転者から見える３次元空間の範囲の測定を実行させるための３次元範囲計測プログラムである。
【００１５】
ここで、この発明の３次元範囲計測プログラムにおいて、前記車外撮像器は車外に設置された等距離射影方式の左右の魚眼レンズカメラを広角レンズカメラとして用い、前記車内撮像器は車内に設置されたイメージセンサを用いて運転者の両眼球の回転角度及び位置座標を取得することができる。
【００１６】
ここで、この発明の３次元範囲計測プログラムにおいて、前記コンピュータは、前記車外撮像器を用いて撮像された左右の魚眼レンズカメラによる左右の車外画像を記録した車外画像記録部と、前記車内撮像器を用いて取得された、世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とを対応させて記録した視線情報記録部とをさらに用い、コンピュータに、前記車外画像記録部に記録された左右の車外画像に対して所定の条件を満たす画素の集合としてエピポーラ線を求め、該エピポーラ線上を探索することにより左右の車外画像における対応点を求める対応点マッチングステップ、前記対応点マッチングステップで対応点が求められた画素については該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については該画素の周辺画素から補間を行うことにより該画素に投影される車外の３次元空間における点の座標を求める３次元座標算出ステップ、前記３次元座標算出ステップで求められた車外の３次元空間における点の座標をユークリッド変換して前記視線情報記録部に記録された世界座標系における所定の点の座標とする際の変換パラメータを求める変換パラメータ算出ステップ、前記変換パラメータ算出ステップで求められた変換パラメータを用いて、前記車外画像記録部に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報記録部に記録する画素座標算出ステップ、前記画素座標情報記録部に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、該三角形パッチに関する情報を三角形パッチ情報記録部に記録する三角形パッチ構成ステップ、前記視線情報記録部に記録された世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とから得られる運転者の視直線と、前記三角形パッチ情報記録部に記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、該交点を運転者の注視点の３次元座標とし、該注視点の位置座標を時間の経過と共に注視点位置座標記録部に記録する交点算出ステップを実行させることができる。
【００１７】
ここで、この発明の３次元範囲計測プログラムにおいて、前記注視点位置座標記録部に記録された所定の時間分の注視点座標から構成される３次元凸包を運転手の有効視空間として求める有効視空間算出ステップをさらに備えることができる。
【００１８】
ここで、この発明の３次元範囲計測プログラムにおいて、前記有効視空間算出ステップにより算出された有効視空間の路面上への正射影像を求め、前記コンピュータに接続された表示装置に該正射影像を所定の方式で表示する有効視空間表示ステップをさらに備えることができる。
【００１９】
ここで、この発明の３次元範囲計測プログラムにおいて、車両の運転者から見える３次元空間の範囲内に存在するハザードの座標を検出するハザード座標検出ステップと、前記ハザード座標検出ステップにより検出されたハザードの座標と前記注視点位置座標記録部に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する警告ステップとをさらに備えることができる。
【００２０】
この発明の記録媒体は、本発明のいずれかの３次元範囲計測プログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００２１】
本発明の３次元範囲計測システム等によれば、車内カメラにより運転者の顔画像が撮像されて視線計測処理が行われ、運転者の眼球位置座標および眼球回転角が求められる。並行して車外カメラにより車外画像が撮像されて車外ステレオ処理が実行される。車内カメラの座標系と車外カメラの座標系とは異なるため、車内カメラの座標系ＸｗＹｗＺｗを世界座標系とし車外カメラの座標系ＸｃＹｃＺｃを車内カメラ３０の座標系に合わせた。本発明で用いる二組の魚眼ステレオカメラ（車内用、車外用）には共通する撮影領域がないため、予め運転者が車両の座席に座った状態で所定の位置においたマーカーを注目してもらい、その時に車内カメラから取得できる運転者の視線方向の情報と上記マーカーの魚眼カメラ座標系における３次元座標とから、カメラ座標系を統合する校正用パラメータを求める手法を考案した。車外カメラの計測から得られた車外環境の画像上の隣接する３つの画素毎に三角形パッチを構成する。次に、車内カメラの計測から得られた運転者の視直線と三角形パッチとの交点を運転者の注視点の３次元座標とする。本発明では、等距離射影式の魚眼レンズカメラによる、透視投影モデルに変換しない二眼ステレオ法を考案した。車外画像ＤＢに記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報ＤＢに記録する。画素座標情報ＤＢに記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、当該三角形パッチに関する情報を三角形パッチ情報ＤＢに記録する。視線情報ＤＢに記録された世界座標系における所定の点を注視する際の運転者の両眼球の眼球回転角度および眼球位置座標と当該所定の点の座標とから得られる運転者の視直線と、三角形パッチ情報ＤＢに記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、当該交点を運転者の注視点の３次元座標とした。以上のようにして、本発明の３次元範囲計測システム等によれば、車両の運転者の３次元的な認知領域の広がりを計測することができる３次元範囲計測システム等を提供することができるという効果がある。
【００２２】
本発明の３次元範囲計測システム等によれば、時系列の注視点群から３次元凸包を生成することにより、その領域を有効視空間とする。３次元凸包は逐次添加法によって求めることができる。この結果、運転者１２の心理状態等の心的要因によって変化する３次元的な有効視野（有効視空間）の時間的変化を測定することができる３次元範囲計測システム等を提供することができるという効果がある。
【００２３】
本発明の３次元範囲計測システム等によれば、有効視空間算出部により算出された有効視空間の路面上への正射影像を求め、コンピュータに接続された表示装置に当該正射影像を所定の方式で表示する。この結果、水平視野角、垂直視野角、奥行きを映像で表示し、色による有効視空間の大きさ表現、見落としハザードの表示を行うことができるという効果がある。
【００２４】
本発明の３次元範囲計測システム等によれば、ハザード座標検出部により検出されたハザードの座標と注視点位置座標ＤＢに記録された所定の時間分の注視点座標とを用いることにより、種々の正確な警告を発することができる。このため、本発明の３次元範囲計測システムを車両に搭載することにより、より安全性が高く且つ安価な車両を提供することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施例１および他の実施例における３次元範囲計測システム１の概要を示す図である。
【図２】本発明の３次元範囲計測プログラムの処理の流れを示すフローチャートである。
【図３】本発明の３次元範囲計測プログラムの動作環境を示す図である。
【図４】本発明の３次元範囲計測プログラムを構成する二眼ステレオ法で用いる魚眼ステレオの投影モデルを示す図である。
【図５】魚眼レンズカメラ２５Ｌおよび２５Ｒを車両１０の屋根に設置した一例を示す図である。
【図６】車内カメラ器３０の設置例を示す図である。
【図７】車内カメラ３０と車外カメラ２０との位置関係を示す図である。
【図８】視線計測カメラ３０により運転者１２の視線方向を計測する状況を示す図である。
【図９】運転者１２の視直線Ｓと車外三角形パッチとの交点の導出を説明するための図である。
【図１０】本発明の３次元範囲計測プログラムを構成する二眼ステレオ法の処理の流れを示すフローチャートである。
【図１１】本発明の実施例２における有効視空間を説明するための図である。
【図１２】逐次添加法によって３次元凸包を求めるアルゴリズム（非特許文献７参照）を示すフローチャートである。
【図１３】逐次追加の様子を例示する図である。
【図１４】本発明の実施例３における有効視空間の表示例を示す図である。
【図１５】本発明のプログラムを実行するコンピュータ１０の内部回路１８０を示すブロック図である。
【発明を実施するための最良の形態】
【００２６】
以下、実施例について図面を参照して詳細に説明する。
【実施例１】
【００２７】
図１は、本発明の実施例１および他の実施例における３次元範囲計測システム１の概要を示す。図１において、符号１０は自動車等の車両、１２は車両１０を運転する運転者、２０は車両１０の車外環境をステレオ計測する２台の広角レンズカメラを有する車外カメラ（車外撮像器。座標は車両１０の進行方向がＺｃ軸、Ｚｃ軸に垂直にＸｃ軸およびＹｃ軸）、３０は運転者１２の視線方向を計測する車内カメラ（車内撮像器。座標は運転者方向がＺｗ軸、Ｚｗ軸に垂直にＸｗ軸およびＹｗ軸）、４０は車外カメラ２０および車内カメラ３０に接続されたパーソナルコンピュータ（ＰＣ）等のコンピュータである。３次元範囲計測システム１は車両１０の運転者１２から見える３次元空間の範囲を計測する。
【００２８】
図１に示されるように車両１０の屋根の上に設置された車外カメラ２０の広角レンズカメラは魚眼レンズカメラであることが好適である。以下では車外カメラ２０のカメラは魚眼レンズカメラであるものとして説明していくが、魚眼レンズカメラに限定されるものではなく、車外の対象物と車両１０との間の距離が遠い（３０ｍ以上の）場合は、むしろ広角レンズカメラの方がよい場合もある。図１に示される車内カメラ２０は、車内に設置されたＣＣＤ等のイメージセンサを用いて運転者１２の両眼球(不図示)の回転角および位置座標を取得する。
【００２９】
図２は、本発明の３次元範囲計測プログラムの処理の流れをフローチャートで示す。図２で図１と同じ符号を付した個所は同じ要素を示すため、説明は省略する。図２において、符号４２はＰＣ４０と接続され３次元範囲計測プログラムが使用する種々のデータが記録された記録装置である。図３は、本発明の３次元範囲計測プログラムの動作環境を示す。図３において、符号５０はＰＣ４０上で実行される３次元範囲計測プログラムの機能を示す機能ブロック、４２は図２で説明した記録装置である。機能ブロック５０内の諸機能はソフトウェアにより実現されているが、一部はハードウェアにより実現してもよい。以下、図１ないし図３の内容を適宜引用しながら本発明の３次元範囲計測プログラムの動作を説明していく。
【００３０】
まず、本発明の３次元範囲計測プログラムの概要について説明する。図２に示されるように、車内カメラ３０により運転者１２の顔画像が撮像されて視線計測処理が行われ、運転者１２の眼球位置座標および眼球回転角が求められる（ステップＳ３０）。並行して車外カメラ２０により車外画像が撮像されて車外ステレオ処理が実行される（ステップＳ２０）。ここで、図１に示されるように車内カメラ３０は座標系ＸｗＹｗＺｗを有しており、一方車外カメラ２０は別の座標系ＸｃＹｃＺｃを有している。そこで、運転者１２の視線方向の情報と車外の３次元環境の情報とを統合するためには、左右の各魚眼ステレオカメラの座標系を世界座標系に統一させる必要がある。本発明の３次元範囲計測プログラム等では、車内カメラ３０の座標系ＸｗＹｗＺｗを世界座標系とし車外カメラ２０の座標系ＸｃＹｃＺｃを車内カメラ３０の座標系に合わせた（ステップＳ２２）。
【００３１】
本発明で用いる二組の魚眼ステレオカメラ（車内用、車外用）には共通する撮影領域がないため、一般的な校正器具を用いたカメラ校正は不可能である。そこで、予め運転者１２が車両１０の座席に座った状態で所定の位置においたマーカーを注目してもらい、その時に車内カメラ３０（faceLAB） から取得できる運転者１２の視線方向の情報と上記マーカーの魚眼カメラ座標系における３次元座標とから、カメラ座標系を統合する校正用パラメータを求める手法を考案した。詳細は後述する。図２に示されるように、車外カメラ２０の計測から得られた車外環境の画像上の隣接する３つの画素毎に三角形パッチを構成する（ステップＳ２４）。次に、車内カメラ３０の計測から得られた運転者の視直線と三角形パッチとの交点を運転者１２の注視点の３次元座標とする(ステップＳ４０)。３次元的な有効視野の時間的変化を示す３次元凸包（詳細は後述）を計算し（ステップＳ４２）、有効視空間（詳細は後述）情報を記録装置４２に記録（ステップＳ４４）した後、上述した処理を繰返す。
【００３２】
次に、本発明の３次元範囲計測プログラムの詳細について説明する。上述した車外ステレオ処理（ステップＳ２０）は車外環境の魚眼ステレオカメラによる計測である。魚眼ステレオカメラで撮影された画像を透視投影モデルの画像に変換する研究はいくつかなされており（非特許文献４、５参照）、魚眼モデルの画像を透視投影モデルの画像に変換することでステレオ計測を行っている（非特許文献６）。しかし、非特許文献４〜６に記載された方法では画像を変換することで魚眼モデルの画像の周辺部が欠落してしまうといった問題があった。そこで、等距離射影式の魚眼レンズカメラによる、透視投影モデルに変換しない二眼ステレオ法（主としてステップ２２からＳ４０に対応）を考案した。
【００３３】
図４は、本発明の３次元範囲計測プログラムを構成する二眼ステレオ法で用いる魚眼ステレオの投影モデルを示す。以下では、「魚眼レンズ」は「魚眼レンズカメラ」を含む意味で用いる。図４に示されるように、車外カメラ２０の左側魚眼レンズ２５Ｌ（中心Ｏ、座標ＸＹＺ）と右側魚眼レンズ２５Ｒ（中心Ｏ’、座標Ｘ’Ｙ’Ｚ‘）とについて、図４（Ａ）は俯瞰図、図４（Ｂ）は魚眼レンズ２５Ｌおよび２６Ｒを上から見た平面図、図４（Ｃ）は魚眼レンズ２５Ｌおよび２６Ｒを下（カメラの中）から見た平面図である。図４（Ｄ）は図４（Ｃ）の説明用の図である。図４（Ａ）、（Ｂ）において、３次元空間中の任意の点をＰｗ とし、各魚眼レンズ２５Ｌおよび２５Ｒにその点を投影した点をそれぞれＰ、Ｐ’とする。θ とθ’とは各々左右の魚眼レンズ２５Ｌおよび２５Ｒに対する天頂角を示し、φとφ’とは方位角を示す。ｆとｆ’と各々左右の魚眼レンズ２５Ｌおよび２５Ｒのは焦点距離であり、球面モデルの半径を表す。図４（Ｃ）左側図で右方向が正方向のｕｌ軸は左画像の光軸を原点とする横方向の画像座標軸であり、下方向が正方向のｖｌ軸は左画像の光軸を原点とする縦方向の画像座標軸である。同様に、図４（Ｃ）右側図で右方向が正方向のｕｒ軸は右画像の光軸を原点とする横方向の画像座標軸であり、下方向が正方向のｖｒ軸は右画像の光軸を原点とする縦方向の画像座標軸である。
【００３４】
図４（Ｃ）でｖｌ軸が画像の下向きになっているのは、本発明の３次元範囲計測プログラム中で画像のデータが収まっている配列に起因する。一般的に画像はラスター操作の順に配列に収まっており、左上角から水平方向に右へ１行いったら、１マス下の一番左から水平方向に右へ1行き、さらに1マス下の一番左から水平方向に右へ１行というように、データを保持する。そのため、ｕｌ軸は右向き、ｖｌ軸は下向きにされることが多い。さらに、座標の原点を画像の左上角ではなく、画像の中心に持つと魚眼レンズの３次元座標（上記のＸＹＺ等）のＸＹと画像のｕｌｖｌが同じz軸上に原点があることになり、計算がしやすくなるため、その分だけ原点をシフトしている。
【００３５】
上述したように、図４（Ｂ）のＹ軸と図４（Ｃ）のｖｌ軸とは軸の向きが異なっている。このため、その方位角φの場所もＸＹ平面とｕｌｖｌ平面とでは変わってくる。方位角φは右手座標系における横軸(ｕｌ軸、Ｘ軸)からの正の回転角を表している。ＸＹ平面であれば図４（Ｂ）に示されるようにＸ軸の正の位置からＹ軸の正の位置へ向かってとった角度になる。ｕｌｖｌ平面においても図４（Ｃ）に示されるようにｕｌ軸の正の位置からｖｌ軸の正の位置へ向かってとった角度になる。ｕｌｖｌ平面においてもφはｕｌ軸との正の回転角度を意味するため、本来は図４（Ｃ）に示されるφは曲線の引き方が１８０度分だけ足らない。正規の方位角では図４（Ｄ）に示されるように、左図のφｌは３２０度位、右図のφｒは２１０度位になる。しかし、φは後述するようにarctan（ｖｌ／ｕｌ）によって求めている。arctanの周期はπ(＝１８０度)であるため、φｌの第３象限から第４象限までの角度をαとすると、tanφｌ＝tan(π＋α)＝tanαとなる。このため、第３象限および第４象限の場合はｕｌ軸の負の部分からの正の回転角度だけとしても計算結果は１８０度多い方位角と同じ値になる。このため、図４（Ｃ）中のφの場所は１８０度分だけ短く書かれている。図４（Ｃ）の右図も同様であるため、説明は省略する。
【００３６】
以上の準備に基づき、天頂角と方位角は式１のように得られる。
【００３７】
【数１】
【００３８】
左右の魚眼レンズカメラ２５Ｌおよび２５Ｒによる投影点ＰおよびＰ’の位置ベクトルをｐ、ｐ’としたとき、それぞれを天頂角θ、θ’と方位角φ、φ’とを用いて表すと式２のようになる。
【００３９】
【数２】
【００４０】
３次元空間中の点Ｐｗは左右の投影点の位置ベクトルを定数倍した所にあり、その位置ベクトルをＰｗは式３のように表すことができる。
【００４１】
【数３】
【００４２】
但し、ｋｌとｋｒとは任意の正の実数とする。また本発明では左右の魚眼レンズカメラ２５Ｌおよび２５Ｒの向きおよび高さを平行と仮定するため、両カメラ間距離をＸ軸方向にｔｘだけ離れているものとし、次の条件（式４）を与える。
【００４３】
【数４】
【００４４】
従って、３次元空間中の点Ｐｗは式５のようにして求まる。
【００４５】
【数５】
【００４６】
魚眼投影画像でステレオマッチングするにあたり、問題となってくるのが対応点マッチングを行なう際のエピポーラ線である。図４（Ａ）で中心Ｏ−点Ｐｗ−中心Ｏ’を結ぶ平面がエピポーラ平面であり、エピポーラ平面と魚眼レンズ２５Ｌ、２５Ｒとの交点Ｐ、Ｐ’がエピポールとなり、魚眼レンズ２５Ｌ、２５Ｒ上で各エピポールＰ、Ｐ’を結んだ曲線がエピポーラ線となる。つまり、魚眼画像のエピポーラ線は非直線であると共にその方程式は画素毎に異なる。エピポーラ線は次の条件式を満たす画素の集合として求める。
【００４７】
【数６】
【００４８】
このエピポーラ線上を探索して対応点マッチングを行う。図３に戻り、符号７０は車外カメラ２０を用いて撮像された左右の魚眼レンズカメラ２５Ｌおよび２５Ｒによる左右の車外画像を記録した車外画像データべースＤＢ（車外画像記録部）である。図３の機能ブロック５０に示される対応点マッチング部５１（対応点マッチング手段）は、車外画像ＤＢ７０に記録された左右の車外画像に対して式６（所定の条件）を満たす画素の集合としてエピポーラ線を求め、当該エピポーラ線上を探索することにより左右の車外画像における対応点を求める。
【００４９】
以上の処理によって左右の魚眼画像で対応点が得られた画素（ｕｌ、ｖｌ） についてそこに投影される点の３次元座標Ｐｗを式５を用いて求めることができる。エッジやテクスチャのあるところはこのようにして３次元座標を得られる。しかし、対応点が得られない画素（例えば道路など他の画素と区別がつかない画素）については、その周辺の画素から補間をして、画像上の全ての画素について投影される点の３次元座標を計算する。図３の機能ブロック５０に示される３次元座標算出部５２（３次元座標算出手段）は、対応点マッチング部５１により対応点が求められた画素については当該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については当該画素の周辺画素から補間を行うことにより当該画素に投影される車外の３次元空間における点の座標を求める。
【００５０】
図５は、魚眼レンズカメラ２５Ｌおよび２５Ｒを車両１０の屋根に設置した一例を示す。図５に示されるように、車外カメラ２０は車両１０の屋根の上に２台の魚眼レンズカメラを左右に分けて設置することが好適である。しかし、上記設置位置は屋根の上に限定されるものではなく、ボンネットの上または両サイドミラーの上等であってもよく、特に設置位置が特定されるものではない。なお、本明細書では魚眼レンズとしてＦＵＪＩＦＩＬＭ（登録商標）社製のＦＥ１８５Ｃ０５７ＨＡ−１を使用したが、この魚眼レンズに限定されるものではない。
【００５１】
図６は、車内カメラ３０の設置例を示す。車内カメラ２０の設置位置は例えばダッシュボードの上に設置することが好適であるが、運転の邪魔にならない所であれば他の位置であってもよい。車内カメラ２０はコンピュータ４０にＵＳＢ等で接続された低コストのいわゆるウェブカメラとし、ドライバモニタリングシステムとしては、例えばTrackEye（登録商標）と呼ばれるソフトウェアを用いることができる。TrackEye（登録商標）は運転者１２の顔および目を検知し、運転者１２の注視点の測定を行う。上述の例では車内カメラ２０としてTrackEye（登録商標）を例示したが、１秒あたりのフレーム数がより高い、例えばFaceLab systemを用いる方が好適である。
【００５２】
図７は、車内カメラ３０と車外カメラ２０との位置関係を示す。図７で図１と同じ符号を付した個所は同じ要素を示すため、説明は省略する。図７で、点Ｐｗ（座標Ｃｘ，Ｃｙ，Ｃｚ）は図４で説明した３次元空間における点であり、運転者１２が注視している注視点である。
【００５３】
次に、運転者１２の注視点Ｐｗの３次元位置計測について説明する。運転者１２の注視点Ｐｗの３次元位置計測は、車外カメラ２０座標系ＸｃＹｃＺｃと車内カメラ３０座標系ＸｗＹｗＺｗとの統一、運転者１２の視直線と車外三角形パッチ（後述）との交点の導出から成り立っている。以下、それぞれの原理を述べる。加えて、両カメラの座標系を統合するために事前に必要となる変換行列の導出方法についても説明する。
【００５４】
車外カメラ２０座標系ＸｃＹｃＺｃと車内カメラ３０座標系ＸｗＹｗＺｗとの統一．
以下では、車外カメラ２０を魚眼ステレオカメラ２０と呼び、車内カメラ３０を視線計測カメラ３０と呼ぶ。車外環境を撮影する魚眼ステレオカメラ２０と視線計測を行う視線計測カメラ３０（faceLAB のカメラ）はそれぞれ独立した座標系を持っており、車外の３次元環境と視線方向の情報とを統合させるためには、各ステレオカメラ２０および３０の座標系を世界座標系に統一させる必要がある。本発明では世界座標系を視線計測カメラ３０の座標系とし、魚眼ステレオカメラ２０のカメラ座標系を視線計測カメラ３０の座標系に合わせる。
【００５５】
視線計測カメラ３０の座標系ＸｗＹｗＺｗでの３次元座標（Ｗｘ，Ｗｙ，Ｗｚ）と魚眼ステレオカメラ２０の座標系ＸｃＹｃＺｃでの３次元座標（Ｃｘ，Ｃｙ，Ｃｚ）との関係は式７のようにユークリッド変換で表す。
【００５６】
【数７】
【００５７】
あとは変換のパラメータｐ１、・・・、ｐ１２が求まればよい。しかし、本発明で用いる二組のステレオカメラ（車内カメラ３０用、車外カメラ２０用）には共通する撮影領域がないため、一般的な校正器具を用いたカメラ校正は不可能である。そこで、予め運転者１２が座席に座った状態で所定のマーカーに注目してもらい、その時に視線計測カメラ３０から取得できる運転者１２の視線方向の情報と上記マーカーの魚眼カメラ２０座標系における３次元座標とから、カメラ座標系を統合する校正用パラメータを求める手法を以下のように考案した。つまり、二つのステレオカメラ２０および３０が校正器具を共通して撮影できないため、代わりに運転者１２（または作業者）の視線データを介して両ステレオカメラ２０および３０の情報をつなげる役割を持たせる。上記マーカーは車両１０のボンネットまたはフロントガラスに設置した。
【００５８】
図８は、視線計測カメラ３０により運転者１２の視線方向を計測する状況を示す。図８で図１および図６と同じ符号を付した個所は同じ要素を示すため、説明は省略する。図８で符号Ｓは運転者１２の視直線、１２Ｌ、１２Ｒは運転者１２の左右の眼球を模式的に示したものであり、Ψpitchは眼球１２Ｌ等の縦方向回転のピッチ角成分、Ψyawは眼球１２Ｌ等の横方向回転のヨー角成分であり、（Ψpitch，Ψyaw）で眼球回転角度を構成し、（ｅｘ，ｅｙ,ｅｚ）は眼球１２Ｌ等の位置座標である。
【００５９】
眼球回転角度および眼球１２Ｌ等の位置座標はいずれも両眼のデータが視線計測カメラ３０により得られる。本発明ではこれら両眼のデータに関して各データの平均値をとり, それを眼球回転角度と眼球位置座標と定義する。左眼１２Ｌの眼球回転角度を（Ψpitchl，Ψyawl）、眼球位置座標を（ｅｘｌ，ｅｙｌ,ｅｚｌ）とし、右眼１２Ｒの眼球回転角度を（Ψpitchｒ，Ψyawｒ）、眼球位置座標を（ｅｘｒ，ｅｙｒ,ｅｚｒ）とすると、式８〜１２のように表わすことができる。
【００６０】
【数８】
【００６１】
以上の準備に基づき、カメラ座標系を統合する校正用パラメータを求める手法について説明する。世界座標系における視線を表す直線(視直線Ｓ)は眼球位置座標（ｅｘ，ｅｙ,ｅｚ）および視直線Ｓの方向を示す視線方向ベクトル（ｎｘ，ｎｙ，ｎｚ）より式１３のように書くことができる。
【００６２】
【数９】
【００６３】
式１３でｋは任意の実数である。視線方向ベクトルは眼球回転角度を用いると, 式１４のように書くことができる。
【００６４】
【数１０】
【００６５】
式１３および１４より、世界座標系における視直線Ｓの方程式は式１５のように書くことができる。以下で、眼球回転角度（Ψpitch，Ψyaw）を簡単に（Ψp，Ψy）と書く場合もある。
【００６６】
【数１１】
【００６７】
式７と式１５とを等しいとおくことにより、少なくとも３点（精度を向上させるためにはより多くの点）のデータが取得できれば方程式７を解いてパラメータｐ１、．．．，ｐ１２を求めることができる。図３に戻り、符号７２は視線計測カメラ３０を用いて取得された、世界座標系における点Ｐｗ（所定の点）を注視する際の運転者１２の両眼球１２Ｌおよび１２Ｒの眼球回転角度および眼球位置座標と上記点Ｐｗの座標とを対応させて記録した視線情報ＤＢ（視線情報記録部）である。図３の機能ブロック５０に示される変換パラメータ算出部５３（変換パラメータ算出手段）は、上述のようにして、３次元座標算出部５２により求められた車外の３次元空間における点Ｐｗの座標をユークリッド変換して視線情報ＤＢ７２に記録された世界座標系における点Ｐｗの座標とする際の式７の変換パラメータｐ１、．．．，ｐ１２を求めることができる。次に、求められた変換パラメータｐ１、．．．，ｐ１２を式７に用いることにより、魚眼レンズカメラ２０の画像上の全ての画素の座標（Ｃｘ，Ｃｙ，Ｃｚ）について世界座標における３次元座標（Ｗｘ，Ｗｙ，Ｗｚ）を計算することができる。図３の機能ブロック５０に示される画素座標算出部５４（画素座標算出手段）は、変換パラメータ算出部５３により求められた式７の変換パラメータｐ１、．．．，ｐ１２を用いて、車外画像ＤＢ７０に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報ＤＢ７４（画素座標情報記録部）に記録する。
【００６８】
運転者１２の視直線Ｓと車外三角形パッチとの交点の導出．
魚眼レンズカメラ２０の画像上の全ての画素について３次元座標が計算できたら隣り合う画素ごとに組を作り、三角形パッチを構成する。この時、画像（ｕ，ｖ）のｖ座標が０または偶数の場合は(ｕ，ｖ)、（ｕ＋１，ｖ）、（ｕ，ｖ＋１）の三点で、ｖ座標が奇数の場合は(ｕ，ｖ)、（ｕ−１，ｖ）、（ｕ，ｖ−１）の三点で三角形パッチを作るものとする（所定の方式）。この処理により、車両１０を取り巻く車外環境を三角形パッチの集合として構成することができる。図３に戻り、図３の機能ブロック５０に示される三角形パッチ構成部５５（三角形パッチ構成手段）は、画素座標情報ＤＢ７４に記録された隣り合う３つの画素毎に上述した所定の方式で三角形パッチを構成し、当該三角形パッチに関する情報を三角形パッチ情報ＤＢ７６（三角形パッチ情報記録部）に記録する。この世界座標系における車外三角形パッチと視直線Ｓとの交点を運転者１２の注視点とする。車両１０を取り巻く車外の３次元環境が三角形パッチ群で構成されているため、いずれかの三角形パッチと運１２視直線Ｓとが交点を持つことになる。
【００６９】
図９は、運転者１２の視直線Ｓと車外三角形パッチとの交点の導出を説明するための図である。図９でｐ１＝（ｐ１ｘ，ｐ１ｙ，ｐ１ｚ）、ｐ２＝（ｐ２ｘ，ｐ２ｙ，ｐ２ｚ）ｐ３＝（ｐ３ｘ，ｐ３ｙ，ｐ３ｚ）は三角形パッチを個性する３点の３次元座標である。この３点で張られる平面の方程式は式１６のようになる。
【００７０】
【数１２】
【００７１】
式１５および式１６より、式１８が得られる。
【００７２】
【数１３】
【００７３】
但し、ベクトルｖは式１９であるものとする。
【００７４】
【数１４】
【００７５】
ここで、
【００７６】
【数１５】
【００７７】
とすると、クラメールの公式より、
【００７８】
【数１６】
【００７９】
となる。
【００８０】
【数１７】
【００８１】
なので、式２３のように書くことができる。
【００８２】
【数１８】
【００８３】
これを解いて、もし上記式１７の条件を満たす場合は三角形パッチｐ１ｐ２ｐ３の内部で視直線Ｓと交点Ｐｗを持ち、式１７の条件を満たさない場合は三角形パッチｐ１ｐ２ｐ３とは交点を持たない。交点を持つときにはそのときのｋを式１５に代入することにより、注視点Ｐｗの３次元座標を得ることができる。図３に戻り、図３の機能ブロック５０に示される交点算出部５６（交点算出手段）は、視線情報ＤＢ７２に記録された世界座標系における点Ｐｗ（所定の点）を注視する際の運転者１２の両眼球１２Ｌ等の眼球回転角度および眼球位置座標と所定の点の座標とから得られる運転者１２の視直線Ｓと、三角形パッチ情報ＤＢ７６に記録された三角形パッチｐ１ｐ２ｐ３との交点Ｐｗを有する三角形パッチｐ１ｐ２ｐ３を上述した運転者１２の視直線Ｓと車外三角形パッチｐ１ｐ２ｐ３との交点の導出で説明した方法（所定の方法）により求める。当該交点Ｐｗを運転者１２の注視点の３次元座標とし、当該注視点の位置座標を時間の経過と共に注視点位置座標ＤＢ７８（注視点位置座標記録部）に記録する。
【００８４】
上述した方法は、３点の座標と視線方向ベクトルＳから立てた式１８とをクラメールの公式で解くことにより、交点を持つかどうか（パラメータｓ、ｔ）と交点座標のパラメータｋとを同時に求めている。これとは別に、平面の方程式を求めてから交点座標を導出し、その後で当該交点が三角形パッチ内にあるかどうかを調べる方法もある。図９に示される三角形パッチｐ１ｐ２ｐ３を三角形パッチＡＢＣとする。Ａ＝（ａｘ，ａｙ，ａｚ）、Ｂ＝（ｂｘ，ｂｙ，ｂｚ）Ｃ＝（ｃｘ，ｃｙ，ｃｚ）とする。点Ｐｗは同じ座標のままでＰ（Ｗｘ，Ｗｙ，Ｗｚ）とする。世界座標系における空間中の三点（Ａ，Ｂ，Ｃ）を含む平面の方程式は式２４のように書くことができる。
【００８５】
【数１９】
【００８６】
式２４で、α、β、γはベクトルＡＢとベクトルＡＣとの外積から求められる要素であり、式２５ないし２７のように求めることができる。
【００８７】
【数２０】
【００８８】
運転者１２の視直線Ａを上述した眼球回転角度と眼球位置座標とを用いて表すと, 式２８のように書くことができる。
【００８９】
【数２１】
【００９０】
式２４と式２８との連立方程式により、ｋについての一次式（式２９）を導出することができる。
【００９１】
【数２２】
【００９２】
式２９でｋを求め式２８に代入することにより、平面ＡＢＣと視直線Ｓとの交点Ｐ（Ｗｘ，Ｗｙ，Ｗｚ）を求めることができる。点Ｐが平面ＡＢＣの内部に存在するとき、式３０のように書くことができる。
【００９３】
【数２３】
【００９４】
式３０の条件を満たす交点Ｐ（Ｗｘ，Ｗｙ，Ｗｚ）を注視点の３次元位置座標と定義することができる。
【００９５】
図１０は、上述した本発明の３次元範囲計測プログラムを構成する二眼ステレオ法の処理の流れをフローチャートで示す。図１０に示されるように、まず、車外画像ＤＢ７０に記録された左右の車外画像に対して式６に示される条件（所定の条件）を満たす画素の集合としてエピポーラ線を求め、当該エピポーラ線上を探索することにより左右の車外画像における対応点を求める（ステップＳ５０。対応点マッチングステップ）。対応点マッチングステップ（ステップＳ５０）で対応点が求められた画素については当該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については当該画素の周辺画素から補間を行うことにより当業者該画素に投影される車外の３次元空間における点の座標を求める（ステップＳ５２。３次元座標算出ステップ）。３次元座標算出ステップ（ステップＳ５２）で求められた車外の３次元空間における点の座標をユークリッド変換して視線情報ＤＢ７２に記録された世界座標系における所定の点の座標とする際の変換パラメータｐ１、．．．，ｐ１２を求める（変換パラメータ算出ステップ。ステップＳ５４）。変換パラメータ算出ステップ（ステップＳ５４）で求められた変換パラメータｐ１、．．．，ｐ１２を用いて、車外画像ＤＢ７０に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報ＤＢ７４に記録する（ステップＳ５６または図２に示されるステップＳ２２。画素座標算出ステップ）。画素座標情報ＤＢ７４に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、当該三角形パッチに関する情報を三角形パッチ情報ＤＢ７６に記録する（ステップＳ５８または図２に示されるステップＳ２４。三角形パッチ構成ステップ）。視線情報ＤＢ７２に記録された世界座標系における所定の点を注視する際の運転者１２の両眼球１２Ｌ等の眼球回転角度および眼球位置座標と当該所定の点の座標とから得られる運転者１２の視直線Ｓと、三角形パッチ情報ＤＢ７６に記録された三角形パッチとの交点Ｐｗを有する三角形パッチを所定の方法により求め、当該交点を運転者１２の注視点の３次元座標とし、当該注視点の位置座標を時間の経過と共に注視点位置座標ＤＢ７８に記録する(ステップＳ６０または図２に示されるステップＳ４０。交点算出ステップ)。
【００９６】
以上のように、本発明の実施例１によれば、３次元範囲計測システム１は車両１０の車外環境をステレオ計測する２台の広角レンズカメラを有する車外カメラ２０（座標は車両１０の進行方向がＺｃ軸、Ｚｃ軸に垂直にＸｃ軸およびＹｃ軸）と、運転者１２の視線方向を計測する車内カメラ３０（座標は運転者方向がＺｗ軸、Ｚｗ軸に垂直にＸｗ軸およびＹｗ軸）と、車外カメラ２０および車内カメラ３０に接続されたＰＣ４０とから構成されている。車外カメラ２０の広角レンズカメラは魚眼レンズカメラであることが好適であるが、これに限定されるものではない。車内カメラ２０は、車内に設置されたＣＣＤ等のイメージセンサを用いて運転者１２の両眼球１２Ｌ等の眼球回転角および眼球位置座標を取得する。
【００９７】
車内カメラ３０により運転者１２の顔画像が撮像されて視線計測処理が行われ、運転者１２の眼球位置座標および眼球回転角が求められる。並行して車外カメラ２０により車外画像が撮像されて車外ステレオ処理が実行される。車内カメラ３０の座標系と車外カメラ２０の座標系とは異なるため、運転者１２の視線方向の情報と車外の３次元環境の情報とを統合するためには、左右の各魚眼ステレオカメラ３０Ｌ等の座標系を世界座標系に統一させる必要がある。本発明の３次元範囲計測プログラム等では、車内カメラ３０の座標系ＸｗＹｗＺｗを世界座標系とし車外カメラ２０の座標系ＸｃＹｃＺｃを車内カメラ３０の座標系に合わせた。
【００９８】
本発明で用いる二組の魚眼ステレオカメラ（車内用、車外用）には共通する撮影領域がないため、一般的な校正器具を用いたカメラ校正は不可能である。そこで、予め運転者１２が車両１０の座席に座った状態で所定の位置においたマーカーを注目してもらい、その時に車内カメラ３０（faceLAB） から取得できる運転者１２の視線方向の情報と上記マーカーの魚眼カメラ座標系における３次元座標とから、カメラ座標系を統合する校正用パラメータを求める手法を考案した。車外カメラ２０の計測から得られた車外環境の画像上の隣接する３つの画素毎に三角形パッチを構成する。次に、車内カメラ３０の計測から得られた運転者の視直線と三角形パッチとの交点を運転者１２の注視点の３次元座標とする。種々の情報を記録装置４２に記録した後、上述した処理を繰返す。
【００９９】
本発明では、等距離射影式の魚眼レンズカメラによる、透視投影モデルに変換しない二眼ステレオ法を考案した。まず、車外画像ＤＢ７０に記録された左右の車外画像に対して式６に示される条件を満たす画素の集合としてエピポーラ線を求め、当該エピポーラ線上を探索することにより左右の車外画像における対応点を求める。対応点が求められた画素については当該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については当該画素の周辺画素から補間を行うことにより当業者該画素に投影される車外の３次元空間における点の座標を求める。求められた車外の３次元空間における点の座標をユークリッド変換して視線情報ＤＢ７２に記録された世界座標系における所定の点の座標とする際の変換パラメータｐ１、．．．，ｐ１２を求める。求められた変換パラメータｐ１、．．．，ｐ１２を用いて、車外画像ＤＢ７０に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報ＤＢ７４に記録する。画素座標情報ＤＢ７４に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、当該三角形パッチに関する情報を三角形パッチ情報ＤＢ７６に記録する。視線情報ＤＢ７２に記録された世界座標系における所定の点を注視する際の運転者１２の両眼球１２Ｌ等の眼球回転角度および眼球位置座標と当該所定の点の座標とから得られる運転者１２の視直線Ｓと、三角形パッチ情報ＤＢ７６に記録された三角形パッチとの交点Ｐｗを有する三角形パッチを所定の方法により求め、当該交点を運転者１２の注視点の３次元座標とし、当該注視点の位置座標を時間の経過と共に注視点位置座標ＤＢ７８に記録する。
【０１００】
以上のようにして、車両１０等の運転者１２の３次元的な認知領域の広がりを計測することができる３次元範囲計測システム等を提供することができる。
【実施例２】
【０１０１】
実施例２では実施例１で得られた注視点位置座標ＤＢ７８を用いて、運転者１２の注視点からの３次元凸包を生成する方法について説明する。運転手１２の眼球１２Ｌ等を基点とした過去ｔフレーム間の視線方向ベクトル（注視点べクトル）で構成される３次元凸包を有効視空間と定義する。有効視空間の計測中にも車両は走行しているので、運転手の眼球位置（視線計測カメラ座標系）から伸びる視直線Ｓを基準とし、そこからの注視点の３次元位置の相対的な変化から有効視空間を構築する。注視点の位置ベクトル群から３次元凸包を構成し、この内部領域を有効視空間として求める。
【０１０２】
図１１は、本発明の実施例２における有効視空間を説明するための図である。図１１（Ａ）で、符号１００はハザード（車外における対象物であって特に運転者１２が注意を向ける必要があるもの）、１０２は有効視空間である。図１１（Ｂ）はｘｚ平面（実施例１における車外カメラ２０の座標系でのＸｃＺｃ平面）に射影された場合の有効視区間１０２ｘｚを示し、図１１（Ｃ）はｙｚ平面（実施例１における車外カメラ２０の座標系でのＹｃＺｃ平面）に射影された場合の有効視区間１０２ｙｚを示す。図１１（Ａ）に示されるように、運転者１２の有効視空間１０２内にハザード１００が含まれているため、運転者１２はハザード１００を認知していることがわかる。
【０１０３】
図３に示される機能ブロック５０の有効視空間算出部５７（有効視空間算出手段）は、注視点位置座標ＤＢ７８に記録された過去ｔフレーム間分（所定の時間分）の注視点座標から構成される３次元凸包を運転手の有効視空間として求める。即ち、時系列の注視点群から３次元凸包を生成することにより、その領域を有効視空間とする。以下、詳細に説明する。
【０１０４】
ｔフレーム分の注視点座標をＸ＝｛ｘ１，ｘ２、・・・,ｘｔ｝とするとき、これらから構成される３次元凸包を運転者１２の有効視空間とする。具体的には注視点座標の集合において、
【０１０５】
【数２４】
の条件を満たすすべての凸結合
【０１０６】
【数２５】
【０１０７】
の共通部分(凸包)C を求める。凸包のデータ構造は、３次元凸多面体の境界を平面グラフと考え、二重連結リストで保持する。図１２は、逐次添加法によって３次元凸包を求めるアルゴリズム（非特許文献７参照）をフローチャートで示す。図１２に示されるように、ｘ１，ｘ２ ，ｘ３，ｘ４の４点で凸包（四面体）Ｃ（Ｘ４）を構成する（ステップＳ７０）。ｍ＝５とする（ステップＳ７２）。ｍ個目の点ｘｍをＣ（Ｘｍ−１） に加えてＣ（Ｘｍ）を作成する（ステップＳ７４）。もしｘｍ がＣ（Ｘｍ−１）の内部にある場合、ｘｍは凸包Ｃ（Ｘｍ）の内部の点であるため、何もしないでステップＳ８０へ進む（ステップＳ７６）。そうでない場合、可視面を削除して地平面の辺とｘｍとで構成できる面を新たなファセットとして追加する（ステップＳ７８）。ステップＳ８０でｍ≠ｔでなければｍを１加算してステップＳ７４へ戻る（ステップＳ８０、Ｓ８２）。
【０１０８】
可視面の求め方：ｘｉ、ｘｊ、ｘｋの順の有効連結リストのファセットにおいて、｛（ｘｉ−ｘｊ）×（ｘｊ−ｘｋ）｝・（ｘｉ−ｘｍ）＞０ならそのファセットは可視面である。
地平面の求め方：削除した可視面と辺を共有するファセットがｘｍに対して不可視面であればその辺は地平面の辺である。
【０１０９】
図１３は逐次追加の様子を例示する。図１３（Ａ）はｍ個目の点ｘｍを凸包Ｃ（Ｘｍ−１） に加える状態を示し、図１３（Ｂ）はｍ個目の点ｘｍが凸包Ｃ（Ｘｍ−１） に加えられて凸包Ｃ（Ｘｍ）が生成された状態を示す。
【０１１０】
以上のように、本発明の実施例２によれば、運転手１２の眼球１２Ｌ等を基点とした過去ｔフレーム間の視線方向ベクトル（注視点べクトル）で構成される３次元凸包を有効視空間と定義する。運転者１２の有効視空間１０２内にハザード１００が含まれていれば、運転者１２はハザード１００を認知していることがわかる。有効視空間算出部５７は、注視点位置座標ＤＢ７８に記録された過去ｔフレーム間分（所定の時間分）の注視点座標から構成される３次元凸包を運転手の有効視空間として求める。即ち、時系列の注視点群から３次元凸包を生成することにより、その領域を有効視空間とする。３次元凸包は逐次添加法によって求めることができる。以上により、運転者１２の心理状態等の心的要因によって変化する３次元的な有効視野（有効視空間）の時間的変化を測定することができる３次元範囲計測システム等を提供することができる。
【実施例３】
【０１１１】
実施例３では、実施例２で説明した有効視空間を運転者１２に対して表示する例について説明する。図３に示される機能ブロック５０の有効視空間表示部５８（有効視空間表示手段）は、有効視空間算出部５７により算出された有効視空間の路面上への正射影像を求め、コンピュータ４０に接続された表示装置８４（後述）に当該正射影像を所定の方式で表示する。
【０１１２】
図１４は、本発明の実施例３における有効視空間の表示例を示す。有効視空間１０２の広さを色で表し（原図）、十分広い有効視空間が保たれている場合は緑色で表示し（図１４（Ａ）の広く且つ遠方状態、図１４（Ｂ）の広く且つ近い状態）、有効視空間が狭まっているときには赤色で警告をするように表示する（図１４（Ｃ）の狭く且つ近い状態、図１４（Ｄ）の狭く且つ遠方状態）。有効視空間外にハザード（歩行者など車両の進路方向にあって衝突可能性の有るもの）が存在する場合にはピクトグラム（図１４（Ｃ）の自転車１００ａ、図１４（Ｄ）の歩行者１００ｂ）を表示して運転者１２に注意を促す。但し、表示する有効視空間の最大奥行きは車外のステレオ計測精度に依存する。遠方まで正確な計測ができるカメラを使用する場合には表示できる有効視空間の大きさも広くなる。表示する有効視空間の左右の広がりも車外のステレオ計測性能に依存する。広視野領域を精度よく計測できる魚眼カメラの場合には表示できる左右の広がりも広くなる。
【０１１３】
以上のように、本発明の実施例３によれば、有効視空間算出部５７により算出された有効視空間の路面上への正射影像を求め、コンピュータ４０に接続された表示装置８４（後述）に当該正射影像を所定の方式で表示する。この結果、水平視野角、垂直視野角、奥行きを映像で表示し、色による有効視空間の大きさ表現、見落としハザードの表示を行うことができる。
【実施例４】
【０１１４】
実施例４では、実施例２で説明した有効視空間を利用した種々の運転支援の仕組みについて説明する。図３に示される機能ブロック５０のハザード座標検出部５９（ハザード検出手段）は、車両１０の運転者１２から見える３次元空間の範囲内に存在するハザードの座標を検出し、警告部５９（警告手段）はハザード座標検出部５９により検出されたハザードの座標と注視点位置座標ＤＢ７８に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する。
【０１１５】
ハザード座標検出部５９は、車外画像ＤＢ７０に記録された車外画像から所定の動物体解析手法により車両１０の外のハザードを検出して車外カメラ２０の座標系で特定し、その後当該座標を上述した方法と同様にして車内カメラ３０の座標系へ合わせる。所定の動物体解析手法としては既存技術であるオプティカルフローアルゴリズムによる解析手法が好適である。発明者らはHalcon（登録商標） machine vision library function（optical_flow_mg()）を使用した。詳細は、Halcon（登録商標） reference manual（http://www/mvtec.com/download/documentation/reference-9.0/hdevelop/optical_flow_mg.html）を参照されたい。
【０１１６】
ハザード座標検出部５９により検出されたハザードの座標と注視点位置座標ＤＢ７８に記録された所定の時間分の注視点座標とを用いることにより、運転者１２がハザードを見ていたのか否かを特定することができる。言い換えれば、運転者１２があるハザードを見落としていたことも特定できる。ハザードの３次元座標は上述したように得ることができるため、高価なレーザ装置を用いなくても車両１０とハザードとの間の距離を測定することもできる。従って当該距離と車両１０の走行速度とからハザードに衝突するまでの時間も得ることができる。このため、より正確な警告（音声または画像表示）を発することができる。加えて、運転者１２の視線計測ができるため、運転者１２が計器類、同乗者等に気を取られて前方を見ないというディストラクション（distraction）を検知することも可能である。
【０１１７】
以上のように、本発明の実施例４によれば、ハザード座標検出部５９により検出されたハザードの座標と注視点位置座標ＤＢ７８に記録された所定の時間分の注視点座標とを用いることにより、種々の正確な警告を発することができる。このため、本発明の３次元範囲計測システムを車両１０に搭載することにより、より安全性が高く且つ安価な車両１０を提供することが可能となる。
【実施例５】
【０１１８】
図１５は、本発明の３次元範囲計測プログラムを実行するＰＣ（コンピュータ）４０の内部回路８０を示すブロック図である。図１５に示されるように、ＣＰＵ８１、ＲＯＭ８２、ＲＡＭ８３、画像制御部８６、コントローラ８７、入力制御部９０および外部Ｉ／Ｆ部９２はバス９３に接続されている。図１５において、上述した本発明の３次元範囲計測プログラムは、ＲＯＭ８２、ディスク８８（又は４４）、ＤＶＤ若しくはＣＤ−ＲＯＭ８９等の記録媒体（脱着可能な記録媒体を含む）に記録されている。ディスク８８（又は４４）には、上述した種々の車外画像ＤＢ７０、視線情報ＤＢ７２、画素座標情報ＤＢ７４、三角形パッチ情報ＤＢ７６、注視点位置座標ＤＢ７８等を記録しておくことができる。３次元範囲計測プログラムは、ＲＯＭ８２からバス９３を介し、あるいはディスク８８又はＤＶＤ若しくはＣＤ−ＲＯＭ８９等の記録媒体からコントローラ８７を経由してバス９３を介しＲＡＭ８３へロードされる。画像制御部８６は、有効視空間表示部５８または警告部６０等により表示される種々の画面の画像データをＶＲＡＭ８５へ送出する。表示装置（ディスプレイ）８４はＶＲＡＭ８５から送出された上記データ等を表示する。ＶＲＡＭ８５は表示装置８４の一画面分のデータ容量に相当する容量を有している画像メモリである。入力操作部９１はＰＣ４０に入力等を行うためのマウス、キーボード等の入力装置であり、入力制御部９０は入力操作部９１と接続され入力制御等を行う。外部Ｉ／Ｆ部９２はＰＣ４０の外部にある車外カメラ２０および車内カメラ３０と接続する際のインタフェース機能を有している。
【０１１９】
上述したようにコンピュータ（ＣＰＵ）８１が本発明の３次元範囲計測プログラムを実行することにより、本発明の目的を達成することができる。３次元範囲計測プログラムは上述のようにＤＶＤ若しくはＣＤ−ＲＯＭ８９等の記録媒体の形態でコンピュータ（ＣＰＵ）８１に供給することができ、３次元範囲計測プログラムを記録したＤＶＤ若しくはＣＤ−ＲＯＭ８９等の記録媒体も同様に本発明を構成することになる。３次元範囲計測プログラムを記録した記録媒体としては上述された記録媒体の他に、例えばメモリ・カード、メモリ・スティック、光ディスク等を用いることができる。
【０１２０】
上述した各実施例の説明では、図２の事前のカメラ校正（ステップＳ１）については触れなかった。本発明においても、既存の手法を用いて事前のカメラ校正を行っており、カメラの内部パラメータ（これは焦点距離、レンズ歪み、画素サイズなどから成る）を事前に得ている。この校正が事前に行えているという前提で、上述した式１からは、カメラの内部パラメータで正規化した(レンズの歪などの影響を取り除いた)ｕｌ、ｖｌ等を利用している。式１、２の焦点距離fも事前のカメラ校正で求めた数値を利用している。
【産業上の利用可能性】
【０１２１】
本発明の活用例として、事故防止ツールに適用することができる。わが国の交通事故を法令違反別に見ると、安全不確認が約３割と最も多いと言われている。事故と視覚認知特性との関連では、特に中高年の有効視野と事故率との相関が高いことも報告されている。このため、本発明の３次元範囲計測システム１等（特に有効視空間表示部５８の機能）を利用して、交通状況に応じた自身の有効視空間を常時把握することにより、過大評価することなく、安全運転スタイルを心がけるようにすることができる。
【符号の説明】
【０１２２】
１ ３次元範囲計測システム、 １０ 車両、 １２ 運転者、 １２Ｌ、１２Ｒ 眼球、 ２０、２５Ｌ、２５Ｒ 車外カメラ、 ３０、３０Ｌ、３０Ｒ 車内カメラ、 ４０ ＰＣ、 ４２ 記録装置、 ５０ 機能ブロック、 ５１ 対応点マッチング部、 ５２ ３次元座標算出部、 ５３ 変換パラメータ算出部、 ５４ 画素座標算出部、 ５５ 三角形パッチ構成部、 ５６ 交点算出部、 ５７ 有効視空間算出部、 ５８ 有効視空間表示部、 ５９ ハザード座標検出部、 ６０ 警告部、 ７０ 車外画像ＤＢ、 ７２ 視線情報ＤＢ、 ７４ 画素座標情報ＤＢ、 ７６ 三角形パッチ情報ＤＢ、 ７８ 注視点位置座標ＤＢ、８１ ＣＰＵ、 ８２ ＲＯＭ、 ８３ ＲＡＭ、 ８４ 表示装置、 ８５ ＶＲＡＭ、 ８６ 画像制御部、 ８７ コントローラ、 ８８ ディスク、 ８９ ＣＤ−ＲＯＭ、 ８０ 入力制御部、 ９１ 入力操作部、 ９２ 外部Ｉ／Ｆ部、 ９３ バス １００ ハザード、 １０２ 有効視空間。
【先行技術文献】
【非特許文献】
【０１２３】
【非特許文献１】那倉達哉、入倉隆著、「疲労と有効視の関係」, 照明学会誌, 第８９ 巻, 第１１号,２００５.
【非特許文献２】McConkie George W. and RaynerKeith: “The span of the effective stimulus during a fixationsin reading”, Perceptionand Psychophisics,17, pp.578-586,1975.
【非特許文献３】三浦利章著、「行動場面における視覚的認知」, 日本心理学会第４８回大会発表論文集, Ｓ６８−６９,１９８４.
【非特許文献４】立花康夫, 河合敏勝, 小林洋介, 栗原哲也, 菊池孝之著、「魚眼レンズ写真から任意焦点レンズ画像への変換」, 電子情報通信学会技術研究報告. SIP, 信号処理: IEICE technical report107,No.22, pp.25-30, 2007.
【非特許文献５】加瀬翔太, 奥津良太, 光本尚訓, 新垣洋平, 下村倫子, 寺林賢司, 梅田和昇著、「複数の魚眼カメラの内部・外部パラメータの同定による俯瞰画像生成」, 電気学会研究会資料. IP, 情報処理研究会2008, No.13, pp.43−48, 2008.
【非特許文献６】永森千貴, 西本武志, 山口順一著、「魚眼ステレオ視覚センサ」, 第12 回画像センシングシンポジウム予稿集, pp.137−140, 2006.
【非特許文献７】K.L. Clarkson and P.W. Shor: “Applications of random sampling incomputational geometry,II”, Discrete Computer Geometry, No.4, pp.387−421,1989.
【特許請求の範囲】
【請求項１】
車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測システムであって、車外環境をステレオ計測する２台の広角レンズカメラを有する車外撮像器と、運転者の視線方向を計測する車内撮像器と、該車外撮像器及び該車内撮像器に接続されたコンピュータとを備え、コンピュータが、
前記車内撮像器の座標系を世界座標系とし前記車外撮像器の座標系を該車内撮像器の座標系に合わせ、該車内撮像器の計測から得られた運転者の視直線と該車外撮像器の計測から得られた車外環境の画像上の隣接する３つの画素毎に設定された三角形パッチとの交点を運転者の注視点の３次元座標とすることにより、運転者から見える３次元空間の範囲を測定することを特徴とする３次元範囲計測システム。
【請求項２】
請求項１記載の３次元範囲計測システムにおいて、前記車外撮像器は車外に設置された等距離射影方式の左右の魚眼レンズカメラを広角レンズカメラとして用い、前記車内撮像器は車内に設置されたイメージセンサを用いて運転者の両眼球の回転角度及び位置座標を取得することを特徴とする３次元範囲計測システム。
【請求項３】
請求項２記載の３次元範囲計測システムにおいて、前記コンピュータは、
前記車外撮像器を用いて撮像された左右の魚眼レンズカメラによる左右の車外画像を記録した車外画像記録部と、
前記車内撮像器を用いて取得された、世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とを対応させて記録した視線情報記録部と、
前記車外画像記録部に記録された左右の車外画像に対して所定の条件を満たす画素の集合としてエピポーラ線を求め、該エピポーラ線上を探索することにより左右の車外画像における対応点を求める対応点マッチング手段と、
前記対応点マッチング手段により対応点が求められた画素については該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については該画素の周辺画素から補間を行うことにより該画素に投影される車外の３次元空間における点の座標を求める３次元座標算出手段と、
前記３次元座標算出手段により求められた車外の３次元空間における点の座標をユークリッド変換して前記視線情報記録部に記録された世界座標系における所定の点の座標とする際の変換パラメータを求める変換パラメータ算出手段と、
前記変換パラメータ算出手段により求められた変換パラメータを用いて、前記車外画像記録部に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報記録部に記録する画素座標算出手段と、
前記画素座標情報記録部に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、該三角形パッチに関する情報を三角形パッチ情報記録部に記録する三角形パッチ構成手段と、
前記視線情報記録部に記録された世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とから得られる運転者の視直線と、前記三角形パッチ情報記録部に記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、該交点を運転者の注視点の３次元座標とし、該注視点の位置座標を時間の経過と共に注視点位置座標記録部に記録する交点算出手段とを備えたことを特徴とする３次元範囲計測システム。
【請求項４】
請求項３記載の３次元範囲計測システムにおいて、前記注視点位置座標記録部に記録された所定の時間分の注視点座標から構成される３次元凸包を運転手の有効視空間として求める有効視空間算出手段をさらに備えたことを特徴とする３次元範囲計測システム。
【請求項５】
請求項４記載の３次元範囲計測システムにおいて、前記有効視空間算出手段により算出された有効視空間の路面上への正射影像を求め、前記コンピュータに接続された表示装置に該正射影像を所定の方式で表示する有効視空間表示手段をさらに備えたことを特徴とする３次元範囲計測システム。
【請求項６】
請求項３乃至５のいずれかに記載の３次元範囲計測システムにおいて、
車両の運転者から見える３次元空間の範囲内に存在するハザードの座標を検出するハザード座標検出手段と、
前記ハザード座標検出手段により検出されたハザードの座標と前記注視点位置座標記録部に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する警告手段とをさらに備えたことを特徴とする３次元範囲計測システム。
【請求項７】
車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測プログラムであって、車外環境をステレオ計測する２台の広角レンズカメラを有する車外撮像器と、運転者の視線方向を計測する車内撮像器と、該車外撮像器及び該車内撮像器に接続されたコンピュータとを用いるものであり、コンピュータに、
前記車内撮像器の座標系を世界座標系とし前記車外撮像器の座標系を該車内撮像器の座標系に合わせ、該車内撮像器の計測から得られた運転者の視直線と該車外撮像器の計測から得られた車外環境の画像上の隣接する３つの画素毎に設定された三角形パッチとの交点を運転者の注視点の３次元座標とすることにより、運転者から見える３次元空間の範囲の測定を実行させるための３次元範囲計測プログラム。
【請求項８】
請求項７記載の３次元範囲計測プログラムにおいて、前記車外撮像器は車外に設置された等距離射影方式の左右の魚眼レンズカメラを広角レンズカメラとして用い、前記車内撮像器は車内に設置されたイメージセンサを用いて運転者の両眼球の回転角度及び位置座標を取得することを特徴とする３次元範囲計測プログラム。
【請求項９】
請求項８記載の３次元範囲計測プログラムにおいて、前記コンピュータは、
前記車外撮像器を用いて撮像された左右の魚眼レンズカメラによる左右の車外画像を記録した車外画像記録部と、
前記車内撮像器を用いて取得された、世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とを対応させて記録した視線情報記録部とをさらに用い、コンピュータに、
前記車外画像記録部に記録された左右の車外画像に対して所定の条件を満たす画素の集合としてエピポーラ線を求め、該エピポーラ線上を探索することにより左右の車外画像における対応点を求める対応点マッチングステップ、
前記対応点マッチングステップで対応点が求められた画素については該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については該画素の周辺画素から補間を行うことにより該画素に投影される車外の３次元空間における点の座標を求める３次元座標算出ステップ、
前記３次元座標算出ステップで求められた車外の３次元空間における点の座標をユークリッド変換して前記視線情報記録部に記録された世界座標系における所定の点の座標とする際の変換パラメータを求める変換パラメータ算出ステップ、
前記変換パラメータ算出ステップで求められた変換パラメータを用いて、前記車外画像記録部に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報記録部に記録する画素座標算出ステップ、
前記画素座標情報記録部に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、該三角形パッチに関する情報を三角形パッチ情報記録部に記録する三角形パッチ構成ステップ、
前記視線情報記録部に記録された世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とから得られる運転者の視直線と、前記三角形パッチ情報記録部に記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、該交点を運転者の注視点の３次元座標とし、該注視点の位置座標を時間の経過と共に注視点位置座標記録部に記録する交点算出ステップを実行させることを特徴とする３次元範囲計測プログラム。
【請求項１０】
請求項９記載の３次元範囲計測プログラムにおいて、前記注視点位置座標記録部に記録された所定の時間分の注視点座標から構成される３次元凸包を運転手の有効視空間として求める有効視空間算出ステップをさらに備えたことを特徴とする３次元範囲計測プログラム。
【請求項１１】
請求項１０記載の３次元範囲計測プログラムにおいて、前記有効視空間算出ステップにより算出された有効視空間の路面上への正射影像を求め、前記コンピュータに接続された表示装置に該正射影像を所定の方式で表示する有効視空間表示ステップをさらに備えたことを特徴とする３次元範囲計測プログラム。
【請求項１２】
請求項９乃至１１のいずれかに記載の３次元範囲計測プログラムにおいて、
車両の運転者から見える３次元空間の範囲内に存在するハザードの座標を検出するハザード座標検出ステップと、
前記ハザード座標検出ステップにより検出されたハザードの座標と前記注視点位置座標記録部に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する警告ステップとをさらに備えたことを特徴とする３次元範囲計測プログラム。
【請求項１３】
請求項７乃至１２のいずれかに記載の３次元範囲計測プログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項１】
車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測システムであって、車外環境をステレオ計測する２台の広角レンズカメラを有する車外撮像器と、運転者の視線方向を計測する車内撮像器と、該車外撮像器及び該車内撮像器に接続されたコンピュータとを備え、コンピュータが、
前記車内撮像器の座標系を世界座標系とし前記車外撮像器の座標系を該車内撮像器の座標系に合わせ、該車内撮像器の計測から得られた運転者の視直線と該車外撮像器の計測から得られた車外環境の画像上の隣接する３つの画素毎に設定された三角形パッチとの交点を運転者の注視点の３次元座標とすることにより、運転者から見える３次元空間の範囲を測定することを特徴とする３次元範囲計測システム。
【請求項２】
請求項１記載の３次元範囲計測システムにおいて、前記車外撮像器は車外に設置された等距離射影方式の左右の魚眼レンズカメラを広角レンズカメラとして用い、前記車内撮像器は車内に設置されたイメージセンサを用いて運転者の両眼球の回転角度及び位置座標を取得することを特徴とする３次元範囲計測システム。
【請求項３】
請求項２記載の３次元範囲計測システムにおいて、前記コンピュータは、
前記車外撮像器を用いて撮像された左右の魚眼レンズカメラによる左右の車外画像を記録した車外画像記録部と、
前記車内撮像器を用いて取得された、世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とを対応させて記録した視線情報記録部と、
前記車外画像記録部に記録された左右の車外画像に対して所定の条件を満たす画素の集合としてエピポーラ線を求め、該エピポーラ線上を探索することにより左右の車外画像における対応点を求める対応点マッチング手段と、
前記対応点マッチング手段により対応点が求められた画素については該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については該画素の周辺画素から補間を行うことにより該画素に投影される車外の３次元空間における点の座標を求める３次元座標算出手段と、
前記３次元座標算出手段により求められた車外の３次元空間における点の座標をユークリッド変換して前記視線情報記録部に記録された世界座標系における所定の点の座標とする際の変換パラメータを求める変換パラメータ算出手段と、
前記変換パラメータ算出手段により求められた変換パラメータを用いて、前記車外画像記録部に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報記録部に記録する画素座標算出手段と、
前記画素座標情報記録部に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、該三角形パッチに関する情報を三角形パッチ情報記録部に記録する三角形パッチ構成手段と、
前記視線情報記録部に記録された世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とから得られる運転者の視直線と、前記三角形パッチ情報記録部に記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、該交点を運転者の注視点の３次元座標とし、該注視点の位置座標を時間の経過と共に注視点位置座標記録部に記録する交点算出手段とを備えたことを特徴とする３次元範囲計測システム。
【請求項４】
請求項３記載の３次元範囲計測システムにおいて、前記注視点位置座標記録部に記録された所定の時間分の注視点座標から構成される３次元凸包を運転手の有効視空間として求める有効視空間算出手段をさらに備えたことを特徴とする３次元範囲計測システム。
【請求項５】
請求項４記載の３次元範囲計測システムにおいて、前記有効視空間算出手段により算出された有効視空間の路面上への正射影像を求め、前記コンピュータに接続された表示装置に該正射影像を所定の方式で表示する有効視空間表示手段をさらに備えたことを特徴とする３次元範囲計測システム。
【請求項６】
請求項３乃至５のいずれかに記載の３次元範囲計測システムにおいて、
車両の運転者から見える３次元空間の範囲内に存在するハザードの座標を検出するハザード座標検出手段と、
前記ハザード座標検出手段により検出されたハザードの座標と前記注視点位置座標記録部に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する警告手段とをさらに備えたことを特徴とする３次元範囲計測システム。
【請求項７】
車両の運転者から見える３次元空間の範囲を計測する３次元範囲計測プログラムであって、車外環境をステレオ計測する２台の広角レンズカメラを有する車外撮像器と、運転者の視線方向を計測する車内撮像器と、該車外撮像器及び該車内撮像器に接続されたコンピュータとを用いるものであり、コンピュータに、
前記車内撮像器の座標系を世界座標系とし前記車外撮像器の座標系を該車内撮像器の座標系に合わせ、該車内撮像器の計測から得られた運転者の視直線と該車外撮像器の計測から得られた車外環境の画像上の隣接する３つの画素毎に設定された三角形パッチとの交点を運転者の注視点の３次元座標とすることにより、運転者から見える３次元空間の範囲の測定を実行させるための３次元範囲計測プログラム。
【請求項８】
請求項７記載の３次元範囲計測プログラムにおいて、前記車外撮像器は車外に設置された等距離射影方式の左右の魚眼レンズカメラを広角レンズカメラとして用い、前記車内撮像器は車内に設置されたイメージセンサを用いて運転者の両眼球の回転角度及び位置座標を取得することを特徴とする３次元範囲計測プログラム。
【請求項９】
請求項８記載の３次元範囲計測プログラムにおいて、前記コンピュータは、
前記車外撮像器を用いて撮像された左右の魚眼レンズカメラによる左右の車外画像を記録した車外画像記録部と、
前記車内撮像器を用いて取得された、世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とを対応させて記録した視線情報記録部とをさらに用い、コンピュータに、
前記車外画像記録部に記録された左右の車外画像に対して所定の条件を満たす画素の集合としてエピポーラ線を求め、該エピポーラ線上を探索することにより左右の車外画像における対応点を求める対応点マッチングステップ、
前記対応点マッチングステップで対応点が求められた画素については該画素に投影される車外の３次元空間における点の位置座標を求めると共に、対応点が求められなかった画素については該画素の周辺画素から補間を行うことにより該画素に投影される車外の３次元空間における点の座標を求める３次元座標算出ステップ、
前記３次元座標算出ステップで求められた車外の３次元空間における点の座標をユークリッド変換して前記視線情報記録部に記録された世界座標系における所定の点の座標とする際の変換パラメータを求める変換パラメータ算出ステップ、
前記変換パラメータ算出ステップで求められた変換パラメータを用いて、前記車外画像記録部に記録された左右の車外画像上の全ての画素につき世界座標系における座標を計算して画素座標情報記録部に記録する画素座標算出ステップ、
前記画素座標情報記録部に記録された隣り合う３つの画素毎に所定の方式で三角形パッチを構成し、該三角形パッチに関する情報を三角形パッチ情報記録部に記録する三角形パッチ構成ステップ、
前記視線情報記録部に記録された世界座標系における所定の点を注視する際の運転者の両眼球の回転角度及び位置座標と該所定の点の座標とから得られる運転者の視直線と、前記三角形パッチ情報記録部に記録された三角形パッチとの交点を有する三角形パッチを所定の方法により求め、該交点を運転者の注視点の３次元座標とし、該注視点の位置座標を時間の経過と共に注視点位置座標記録部に記録する交点算出ステップを実行させることを特徴とする３次元範囲計測プログラム。
【請求項１０】
請求項９記載の３次元範囲計測プログラムにおいて、前記注視点位置座標記録部に記録された所定の時間分の注視点座標から構成される３次元凸包を運転手の有効視空間として求める有効視空間算出ステップをさらに備えたことを特徴とする３次元範囲計測プログラム。
【請求項１１】
請求項１０記載の３次元範囲計測プログラムにおいて、前記有効視空間算出ステップにより算出された有効視空間の路面上への正射影像を求め、前記コンピュータに接続された表示装置に該正射影像を所定の方式で表示する有効視空間表示ステップをさらに備えたことを特徴とする３次元範囲計測プログラム。
【請求項１２】
請求項９乃至１１のいずれかに記載の３次元範囲計測プログラムにおいて、
車両の運転者から見える３次元空間の範囲内に存在するハザードの座標を検出するハザード座標検出ステップと、
前記ハザード座標検出ステップにより検出されたハザードの座標と前記注視点位置座標記録部に記録された所定の時間分の注視点座標とに基づき、所定の警告を発する警告ステップとをさらに備えたことを特徴とする３次元範囲計測プログラム。
【請求項１３】
請求項７乃至１２のいずれかに記載の３次元範囲計測プログラムを記録したコンピュータ読取り可能な記録媒体。
【図１０】
【図１２】
【図１５】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１３】
【図１４】
【図１２】
【図１５】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１３】
【図１４】
【公開番号】特開２０１３−２４６６２（Ｐ２０１３−２４６６２Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５８４２０（Ｐ２０１１−１５８４２０）
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（５０７０５４４５６）
【出願人】（５０９０３４５９１）
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（５０７０５４４５６）
【出願人】（５０９０３４５９１）
【Ｆターム（参考）】
[ Back to top ]