有効視野測定システムおよび有効視野測定方法
【課題】車外の移動物体が存在する実際の道路で実際に運転中の運転者の有効視野をオンラインで求める有効視野測定システム等を提供する。
【解決手段】移動体検出部２１は道路カメラ１１により測定された車外の交通状況からオプティカルフローアルゴリズム等により車外の移動対象を検出する。移動情報計算部２４は、検出された車外の移動対象が存在する移動対象領域を求める。注視領域計算部２５は、ドライバモニタカメラ１２の測定から得られたドライバ１４の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求める。交差判断部２６は、移動対象領域と注視領域とが交差するか否か判断する。有効視野計算部２７は、交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する。
【解決手段】移動体検出部２１は道路カメラ１１により測定された車外の交通状況からオプティカルフローアルゴリズム等により車外の移動対象を検出する。移動情報計算部２４は、検出された車外の移動対象が存在する移動対象領域を求める。注視領域計算部２５は、ドライバモニタカメラ１２の測定から得られたドライバ１４の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求める。交差判断部２６は、移動対象領域と注視領域とが交差するか否か判断する。有効視野計算部２７は、交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者の有効視野を測定する有効視野測定システム等に関する。
【背景技術】
【０００２】
一般に、人の視野とは目を動かさずに見える範囲とされている。図１０は、人の視野を説明するためのグラフを示す。図１０で、横軸は視野の角度、縦軸は視力である。図１０に示されるように、目を向けている点（注視点Ａ）を角度０°とすると、注視点Ａから左右１３°（視角２６°。中心視Ｃ）の範囲では視力は約１．２と良好であるが、視野の周辺部の範囲（周辺視Ｐ）では視力は約０．１と急に低くなっている。周辺視Ｐで物体を認知することができる範囲を有効視野と呼ぶ。有効視野は年齢、性別等により異なると言われている。自動車等の運転者のように、動いている状態で車外を見る場合、有効視野が重要となる。この場合、有効視野は年齢、性別等に加えて、走行状況、道路状況、心理状態、個人差により異なると言われている。
【０００３】
従来、自動車等の運転者の有効視野を測定する方法として、フロントガラス上に格子状の目盛を設け、運転者にその視線を検知するためのアイカメラ（ヘッドマウントカメラ）を取付けて、運転者が車外の物体を格子に合わせて見る際の目をアイカメラで撮影することにより、視線ベクトルを検出する方法が用いられてきた。この方法では、フロントガラス上の格子を利用して運転者の注視点を測定していた。
【０００４】
自動車等の運転者の有効視野を測定する別の方法として、自動車のフロントガラス上に格子状の目盛を設け、ある格子に光点を表示した後に別の格子に光点を表示して、運転者が当該別の光点の表示を認知するまでの時間(認知時間)を測定し、ある光点と別の光点と間の距離および角度を変化させて認知時間との関係を調べる方法もある。この方法でも、フロントガラス上の格子を利用して運転者の注視点を測定していた。
【０００５】
有効視野を測定する別の方法として、被験者に対しパーソナルコンピュータ（ＰＣ）の画面上に人為的に設定したいくつかの絵を見せて、その反応時間を測定する方法がある（非特許文献１参照）。より具体的には、ＰＣの画面上に１台の自動車の絵を表示してから、画面上の別の位置に別の自動車の絵を表示させ、当該別の自動車の絵が表示されたことを認知するまでの認知時間を測定するという方法である。この方法はオフラインのＰＣの画面を利用して、被験者の注視点を測定していた。
【０００６】
以上の測定方法は、フロントガラス上の格子またはオフラインのＰＣの画面上の絵を利用して運転者または被験者の注視点を測定するものであり、実際の運転走行時における外部の物体を直接利用した測定方法ではないという問題があった。非特許文献２は実際の運転走行時における有効視野を測定する方法を示している。より詳しくは、フロントガラス面にダッシュボードより約２０ｃｍの高さに赤色ＬＥＤ８個を取付けた棒を設置し、自動車教習所等で走行する運転者に、ＬＥＤの点灯を感じた時に合図を求めるという方法である。非特許文献２の方法は実際の運転走行時ではあるが実際の道路の運転走行時ではなく、さらに車内のＬＥＤの点灯を利用したものであって実車の外部の物体を直接利用した測定方法ではないという問題があった。
【０００７】
特許文献１は実際の運転走行時における有効視野を測定する別の方法を示している。より詳しくは、運転者の顔の角度および車速度による標準視野、対象物と自車との間の相対速度および距離等に基づき、対象物が運転者の標準視野に入っているか否かを判断し、警報を発するというものである。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、自動車等の運転者の有効視野は年齢、性別等に加えて、走行状況、道路状況、心理状態、個人差により異なると言われている。特許文献１に記載された方法は一般的な標準視野に基づく方法であり、実際に運転している運転者の有効視野を測定する方法ではないという問題があった。そこで、本発明の目的は、上記問題を解決するためになされたものであり、車外の移動物体が存在する実際の道路で実際に運転中の運転者の有効視野をオンラインで求める有効視野測定システム等を提供することにある。
【課題を解決するための手段】
【０００９】
この発明の有効視野測定システムは、車両の運転者の有効視野を測定する有効視野測定システムであって、車外の交通状況を測定する第１撮像器と、運転者を測定する第２撮像器と、第１撮像器及び第２撮像器に接続されたコンピュータとを備え、第１撮像器の測定から検出された車外の移動対象と第２撮像器の測定から得られた実運転中の運転者の視線計測情報とに基づき、コンピュータが実運転中の運転者の有効視野をオンラインで計算することを特徴とする。
【００１０】
ここで、この発明の有効視野測定システムにおいて、前記コンピュータは、第１撮像器により測定された車外の交通状況を交通状況記録部に記録すると共に該交通状況から所定の動物体解析手法により車外の移動対象を検出する移動対象検出手段と、第１撮像器により測定された車外の交通状況から車両が走行中であることを確認する走行確認手段と、前記走行確認手段により車両が走行中であることが確認され且つ前記移動対象検出手段により車外の移動対象が検出された場合、第２撮像器により測定された運転者の視線計測情報の視線計測記録部への記録を開始させる視線計測記録開始手段と、前記走行確認手段により車両が走行中であることが確認され且つ前記移動対象検出手段により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める移動情報計算手段と、前記視線計測記録開始手段により開始され前記視線計測記録部に記録された運転者の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に該注視領域に関連する視線計測情報を出力する注視領域計算手段と、前記移動情報計算手段により求められた移動対象領域と前記注視領域計算手段により求められた注視領域とが交差するか否か判断する交差判断手段と、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する有効視野計算手段とを備えることができる。
【００１１】
ここで、この発明の有効視野測定システムにおいて、第１撮像器により測定された車外の交通状況から前記移動対象検出手段により検出された車外の移動対象が車両の前方を通過したか否かを確認する通過確認手段と、前記交差判断手段により移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認手段により車外の移動対象が車両の前方を通過したと確認されなかった場合、前記移動情報計算手段、前記注視領域計算手段及び前記交差判断手段を繰り返す繰り返し手段とをさらに備えることができる。
【００１２】
ここで、この発明の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認手段により車外の移動対象が車両の前方を通過したと確認された場合、車外の移動対象の検出を終了させる検出終了手段をさらに備えることができる。
【００１３】
ここで、この発明の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記交通状況記録部に記録された過去の交通状況に基づき、前記移動対象検出手段により検出された車外の移動対象が出現した時点を求める移動対象出現時点計算手段をさらに備え、前記有効視野計算手段は、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報と前記移動対象出現時点計算手段により求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することができる。
【００１４】
ここで、この発明の有視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報手段をさらに備えることができる。
【００１５】
ここで、この発明の有効視野測定システムにおいて、第１撮像器は車両のフロントガラス後部に設置することができる。
【００１６】
ここで、この発明の有効視野測定システムにおいて、第２撮像器は車両のハンドル後部に設置することができる。
【００１７】
この発明の有効視野測定方法は、車両の運転者の有効視野を測定する有効視野測定方法であって、車外の交通状況を測定する第１撮像器と、運転者を測定する第２撮像器と、第１撮像器及び第２撮像器に接続されたコンピュータとを用いるものであり、コンピュータが、第１撮像器の測定から検出された車外の移動対象と第２撮像器の測定から得られた実運転中の運転者の視線計測情報とに基づき、実運転中の運転者の有効視野をオンラインで計算することを特徴とする。
【００１８】
ここで、この発明の有効視野測定方法において、第１撮像器により測定された車外の交通状況を交通状況記録部に記録すると共に該交通状況から所定の動物体解析手法により車外の移動対象を検出する移動対象検出ステップと、第１撮像器により測定された車外の交通状況から車両が走行中であることを確認する走行確認ステップと、前記走行確認ステップで車両が走行中であることが確認され且つ前記移動対象検出ステップで車外の移動対象が検出された場合、第２撮像器により測定された運転者の視線計測情報の視線計測記録部への記録を開始させる視線計測記録開始ステップと、前記走行確認ステップで車両が走行中であることが確認され且つ前記移動対象検出ステップで車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める移動情報計算ステップと、前記視線計測記録開始ステップで開始され前記視線計測記録部に記録された運転者の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に該注視領域に関連する視線計測情報を出力する注視領域計算ステップと、前記移動情報計算ステップで求められた移動対象領域と前記注視領域計算ステップで求められた注視領域とが交差するか否か判断する交差判断ステップと、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する有効視野計算ステップとを備えることができる。
【００１９】
ここで、この発明の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断されなかった場合、第１撮像器により測定された車外の交通状況から前記移動対象検出ステップで検出された車外の移動対象が車両の前方を通過したか否かを確認する通過確認ステップと、前記通過確認ステップで車外の移動対象が車両の前方を通過したと確認されなかった場合、前記移動情報計算ステップ、前記注視領域計算ステップ及び前記交差判断ステップを繰り返す繰り返しステップとをさらに備えることができる。
【００２０】
ここで、この発明の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認ステップで車外の移動対象が車両の前方を通過したと確認された場合、車外の移動対象の検出を終了させる検出終了ステップをさらに備えることができる。
【００２１】
ここで、この発明の有効視野測定方法において、前記有効視野計算ステップに先立ち、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記交通状況記録部に記録された過去の交通状況に基づき、前記移動対象検出ステップで検出された車外の移動対象が出現した時点を求める移動対象出現時点計算ステップをさらに備え、前記有効視野計算ステップは、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報と前記移動対象出現時点計算ステップで求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することができる。
【００２２】
ここで、この発明の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報ステップをさらに備えることができる。
【発明の効果】
【００２３】
本発明の有効視野測定システム等によれば、移動体検出部は道路カメラにより測定された車外の交通状況を交通状況データベース（ＤＢ）に記録すると共に、当該交通状況から所定の動物体解析手法（例えばオプティカルフローアルゴリズム等）により車外の移動対象を検出する。走行確認部は道路カメラにより測定された車外の交通状況から自動車が走行中であることを確認する。視線計測記録開始部は、走行確認部により自動車が走行中であることが確認され且つ移動対象検出部により車外の移動対象が検出された場合、ドライバモニタカメラにより測定されたドライバの視線計測情報の視線計測ＤＢへの記録を開始させる。移動情報計算部は、走行確認部により自動車が走行中であることが確認され且つ移動対象検出部により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める。注視領域計算部は、視線計測記録開始部により開始され視線計測ＤＢに記録されたドライバの視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に、当該注視領域に関連する視線計測情報を出力する。交差判断部は、移動情報計算部により求められた移動対象領域と注視領域計算部により求められた注視領域とが交差するか否か判断する。有効視野計算部は、交差判断部により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する。
【００２４】
以上のようにして、本発明の有効視野測定システムによれば、道路カメラの測定から検出された車外の移動対象とドライバモニタカメラの測定から得られた実運転中の運転者の視線ベクトルを含む視線計測情報とに基づき、コンピュータが実運転中の運転者の有効視野をオンラインで計算するため、車外の移動物体が存在する実際の道路で実際に運転中のドライバの有効視野をオンラインで求めることができるという効果がある。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施例１における自動車（車両）のドライバ（運転者）の有効視野を測定する有効視野測定システム１０を示す図である。
【図２】ドライバモニタカメラ１２の設置状態を示す図である。
【図３】ドライバモニタリングシステムを用いてドライバ１４を撮像した様子を示す図である。
【図４】測定座標系における３つのイメージ領域を説明するための概念図である。
【図５】ドライバ１４が右側の自転車６０を見た状況を示す図である。
【図６】オプティカルフローアルゴリズムによる歩行者および自転車の検出を４枚のフレームで示す図である。
【図７】ドライバ１４の有効視野を説明する４枚のフレームを示す図である。
【図８】本発明の実施例１における有効視野測定システム１０および有効視野測定方法における処理の流れを示すフローチャートである。
【図９】ＲＩＴによる解析結果例を示す図である。
【図１０】人の視野を説明するためのグラフを示す図である。
【発明を実施するための最良の形態】
【００２６】
以下、実施例について図面を参照して詳細に説明する。
【実施例１】
【００２７】
図１は、本発明の実施例１における自動車（車両）のドライバ（運転者）の有効視野を測定する有効視野測定システム１０を示す。図１において、符号１１は車外の交通状況を測定する道路カメラ（第１撮像器）、１２はドライバ１４を測定するドライバモニタカメラ（第２撮像器）、１３はフロントガラス、１５はハンドル、ＥＶはドライバの視線ベクトル、１６は道路カメラ１１およびドライバモニタカメラ１２に接続されたコンピュータ、１７はコンピュータ１６のディスプレイ、２０はコンピュータ１６の機能を示す機能ブロック、４０はコンピュータ１６に接続されたハードディスク等の記録装置、４１はドライバ１４の視線ベクトルＥＶを含む視線計測情報を記録した視線計測情報データベース（ＤＢ）（視線計測情報記録部）、４２は道路カメラ１１により測定された車外の交通状況を記録した交通状況ＤＢ（交通状況記録部）である。図１で自動車の全体図は省略してある。有効視野測定システム１０は、道路カメラ１１の測定から検出された車外の移動対象とドライバモニタカメラ１２の測定から得られた実運転中の運転者１４の視線ベクトルＥＶを含む視線計測情報とに基づき、コンピュータ１６が実運転中の運転者１４の有効視野をオンラインで計算する。
【００２８】
図２は、ドライバモニタカメラ１２の設置状態を示す。図２で図１と同じ符号を付した箇所は同じ要素を示すため、説明は省略する。図２に示されるように、ドライバモニタカメラ１２は自動車のハンドル１５の後部に設置することが好適である。図２ではドライバモニタカメラ１２は計器類と同じ位置に設置されているが、設置箇所は当該位置に限定されるものではなく、運転の邪魔にならない箇所、例えばダッシュボードの上に設置してもよい。ドライバモニタカメラ１２は、コンピュータ１６にＵＳＢ等で接続された低コストのいわゆるウェブカエラとし、ドライバモニタリングシステムとしては、例えばTrackEye（登録商標）と呼ばれるソフトウェアを用いることができる。図３は、ドライバモニタリングシステムを用いてドライバ１４を撮像した様子を示す。TrackEye（登録商標）は図３に示されるようにドライバ１４の顔および目を検知し、ドライバ１４の注視点の測定を行う。上述の例ではドライバモニタカメラ１２としてTrackEye（登録商標）を例示したが、１秒あたりのフレーム数がより高い、例えばFaceLab sysytemを用いる方が好適である。
【００２９】
道路カメラ１１は、ドライバ１４の周辺視Ｐ（図１０参照。以下同様）の範囲において左右から出現した道路交通状況における対象物を検出する。道路カメラ１１は、自動車のフロントガラス１３の後部に設置することが好適である（図１参照）。例えば、バックミラーの左側または右側に取り付ければよい。道路カメラ１１は、例えばuEye UI-1225LEM(IDS（登録商標）-imaging社製)を用い、コンピュータ１６とはＵＳＢで接続した。ドライバ１４の周辺視Ｐから道路交通状況における対象物を追跡するためには、レンズは広角レンズ（例えば１２５°）とすることが好適である。撮像した各フレームはタイムスタンプを付けられて交通状況ＤＢ４２に記録される。
【００３０】
次に、発明者らが使用した測定座標系について説明する。図４は、測定座標系における３つのイメージ領域を説明するための概念図である。図４において、符号５０は自動車、６０は道路交通状況における対象物（図４では自転車を例示）、Ｃはドライバ１４の中心視(原図では赤色で表示)、Ｐｒは道路カメラ１１で撮像される周辺領域（原図では黄色で表示）である。３つのイメージ領域とは中心視Ｃと左右２つの周辺領域Ｐｒである。図４の上部は道路カメラ１１のイメージフレームを示し、下部は上からの全体図を示す。図４に示されるように、中心視Ｃは角度β（β１からβ２までの範囲）で示され、周辺領域Ｐｒは角度パラメータα（進行方向左側では−α２から−α１までの範囲、進行方向右側ではα１からα２までの範囲）で示されている。角度パラメータαは道路カメラ１１の進行方向における中心線Ｘからとられている。上記１２５°の広角レンズの場合、角度パラメータα２は６２．５°となる。角度パラメータα１は周辺領域Ｐｒの内側における限界を示し、例えば３０°とした。しかし、ドライバ１４の中心視Ｃおよび周辺視Ｐに合わせて他の値としてもよい。ドライバ１４の中心視Ｃの領域はβ２−β１で示され、ドライバ１４の視角β０により変化する。β２−β１は背景技術で説明した視角２６°とした。視角β０は上述したドライバモニタカメラ１２を用いたドライバモニタリングシステムの出力結果であり、画像の品質等に依存する。なお、図４で中心視Ｃの原点と周辺領域Ｐｒの原点とがずれているのは、道路カメラ１１とドライバ１４の頭部との間の距離が約１ｍ離れていることを反映させたためである。
【００３１】
図５は、ドライバ１４が右側の自転車６０を見た状況を示す。図５で図４と同じ符号を付した箇所は同じ要素を示すため、説明は省略する。ドライバ１４は図４に示されるように最初は前方を注視しているが、周辺視Ｐで自転車６０を認知すると、図５に示されるように中心視Ｃで自転車６０を注視する。ドライバ１４が自転車６０を注視したということはドライバ１４が自転車を認知したものと考えることができる。そこで、自転車６０が周辺領域Ｐｒに出現してからドライバ１４が中心視Ｃで自転車６０を捉えるまでの時間を測定すれば、ドライバ１４が自転車６０を認知するまでの認知時間を得ることができる。自転車６０が周辺領域Ｐｒに出現した時間は、道路カメラ１１により撮像され交通状況ＤＢ４２に記録された各フレームに基づき得ることができる。ドライバ１４が中心視Ｃで自転車６０を捉えたことは、ドライバモニタリングシステムにより得られた図５に示される視角β０が道路カメラ１１の角度パラメータα１からα２の範囲に入ったことにより検出することができる。言い換えれば、道路カメラ１１の周辺領域Ｐｒとドライバ１４の中心視Ｃとが交差したことを検出することにより、上記認知時間を得ることができる。ドライバ１４の有効視野は図５に示される視角β０となる。
【００３２】
以下、上述した説明および図４、５を適宜用いて、図１に示される機能ブロック２０に示される諸機能について説明する。当該諸機能はソフトウェアにより実現されているが、一部はハードウェアにより実現してもよい。移動対象検出部２１（移動対象検出手段）は、道路カメラ１１により測定された自動車５０の外の交通状況を交通状況ＤＢ４２に記録すると共に、当該交通状況から所定の動物体解析手法により自動車５０の外の移動対象（例えば、図４等における自転車６０）を検出する。交通状況ＤＢ４２への記録は、上述したように道路カメラ１１が撮像した各フレームにタイムスタンプを付けて記録される。所定の動物体解析手法としては既存技術であるオプティカルフローアルゴリズムによる解析手法が好適である。発明者らはHalcon（登録商標） machine vision library function（optical_flow_mg()）を使用した。詳細は、Halcon（登録商標）reference manual（http://www/mvtec.com/download/documentation/reference-9.0/hdevelop/optical_flow_mg.html）を参照されたい。移動対象の追跡にはddrawアルゴリズムまたはfdrigアルゴリズムが好適である。例えば、ddrawアルゴリズムにより、図５に示される自転車６０の右方向からの接近を検知することができる。図６は、オプティカルフローアルゴリズムによる歩行者および自転車の検出を４枚のフレームで示す。図６（Ａ）から（Ｄ）はこの順に道路カメラ１１で撮像されたフレームである。図６（Ａ）のフレームに示されるように、左側に自転車６０が見え、右側に歩行者６１および６２が見える。周知のように、オプティカルフローアルゴリズムは、連続するフレーム間で移動方向および強さを示すベクトルを計算する。図６（Ａ）の歩行者６１に付して示されるように、ベクトルは(原図では赤い)矢印で示されている。各移動対象はフレーム内の中間点まで追跡される。例えば、図６（Ｂ）では歩行者６１にはベクトルは付されておらず、もはや追跡されていない。原図では最も重要な移動対象は白色で表示され、２番目に重要な移動対象は黄色で表示されている。例えば図６（Ａ）では歩行者６１が白色で表示され、歩行者６２は黄色で表示されている。図６（Ｃ）では歩行者６２が白色で表示されている。図６（Ｄ）では歩行者６２にはベクトルは付されておらず、もはや追跡されていない。一方、自転車６０は白色で表示され、ベクトルが付されている。
【００３３】
走行確認部２２（走行確認手段）は、道路カメラ１１により測定された自動車５０の外の交通状況から自動車５０が走行中であることを確認する。より詳しくは、自動車５０が進行方向の急回転等ではない、正常な運転状態であることを確認する。進行方向の急回転等では背景が水平方向に急にシフトするため、オプティカルフローアルゴリズムに悪影響を及ぼすからである。急加速、急減速も車体が上下に動くため、背景も上下に動くことなり、正常な運転状態ではない。長時間の停車も正常な運転状態とはされない。例えば、信号による停止では、ドライバ１４の車外の物体に対する注意がそれることが多いため、ドライバモニタカメラ１２による監視が意味をもたなくなるからである。但し、横断歩道前の一時停止のような場合は正常な運転状態である。正常な運転状態であることの確認は、Halcon（登録商標）のfdrigアルゴリズムによりオプティカルフローを計測し、背景の動き（背景差分データ）から走行中であることを確認することができる。
【００３４】
視線計測記録開始部２３（視線計測記録開始手段）は、走行確認部２２により自動車５０が走行中であることが確認され、且つ移動対象検出部２１により車外の移動対象が検出された場合、ドライバモニタカメラ１２により測定された運転者１４の視線計測情報の視線計測ＤＢ４１への記録を開始させる。即ち、車外の移動対象の動きとドライバ１４の視角とが共に測定される。測定の終了時刻は車外の移動対象の位置と速度とに依存する。視線計測情報には、図４または５に示されたドライバ１４の中心視Ｃに関する情報（視角β０、ドライバ１４の顔画像等）が測定時刻と共に記録される。
【００３５】
移動情報計算部２４（移動情報計算手段）は、走行確認部２２により自動車５０が走行中であることが確認され、且つ移動対象検出部２１により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める。具体的には、図６に示されるようなフレーム内で歩行者６１等が存在する画像上の領域を、ベクトルに基づき移動対象領域として求める。
【００３６】
注視領域計算部２５（注視領域計算手段）は、視線計測記録開始部２３により開始され視線計測ＤＢ４１に記録されたドライバ１４の視線計測情報に基づき、実運転中のドライバ１４が見ている注視領域（図４または５に示されたドライバ１４の中心視Ｃの領域）を求める。さらに、当該注視領域に関連する視線計測情報を出力する。
【００３７】
交差判断部２６（交差判断手段）は、移動情報計算部２４により求められた移動対象領域と注視領域計算部２５により求められた注視領域とが交差するか否かを判断する。上述したように、道路カメラ１１の周辺領域Ｐｒとドライバ１４の中心視Ｃとが交差したか否かにより判断することができる。
【００３８】
有効視野計算部２７（段有効視野計算手段）は、交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、実運転中のドライバ１４の有効視野（図４または５に示されたドライバ１４の視角β０）を計算する。
【００３９】
図７は、ドライバ１４の有効視野を説明する４枚のフレームを示す。図７（Ａ）から（Ｄ）はこの順に道路カメラ１１で撮像されたフレームである。図７（Ａ）から（Ｄ）に示されるように、自動車５０は交差点で一時停止し、画像の右側から自転車６０が近づいてきている。ドライバ１４の中心視Ｃは矩形(原図では赤色で表示)で表示されている。図７（Ａ）から（Ｄ）の各フレームには、ドライバモニタカメラ１２で撮像された対応する５枚のフレーム(ドライバ１４の顔画像)が時間順に右側に付されている。この５枚のフレームに対応するドライバ１４の５つの中心視Ｃが道路カメラ１１で撮像された各フレーム中に重ねて表示されている。例えば、図７（Ａ）では、ドライバ１４の顔画像が次第に右側を向いており、これに対応して中心視Ｃも次第に右側へ移動している。
【００４０】
図７（Ａ）に示されるように、移動対象検出部２１が道路カメラ１１により測定された自動車５０の外の交通状況を交通状況ＤＢ４２に記録すると共に、当該交通状況からオプティカルフローアルゴリズム等の動物体解析手法により自動車５０の外の移動対象（例えば、自転車６０）を検出する。走行確認部２２は、道路カメラ１１により測定された自動車５０の外の交通状況から自動車５０が走行中であることを確認する。上述したように自動車５０は交差点で一時停止した状況であるため、正常な運転状態であると確認される。視線計測記録開始部２３は、走行確認部２２により自動車５０が走行中であることが確認され、且つ移動対象検出部２１により車外の移動対象（自転車６０）が検出されたため、ドライバモニタカメラ１２により測定された運転者１４の視線計測情報の視線計測ＤＢ４１への記録を開始させる。移動情報計算部２４は、走行確認部２２により自動車５０が走行中であることが確認され、且つ移動対象検出部２１により車外の移動対象（自転車６０）が検出されたため、検出された車外の移動対象（自転車６０）が存在する移動対象領域を求める。具体的には、図７（Ａ）等に示されるようなフレーム内で自転車６０が存在する画像上の領域を、ベクトルに基づき移動対象領域として求める（原図では緑色で表示）。注視領域計算部２５は、視線計測記録開始部２３により開始され視線計測ＤＢ４１に記録されたドライバ１４の視線計測情報に基づき、実運転中のドライバ１４が見ている注視領域（図７（Ａ）等に表示されたドライバ１４の中心視Ｃ）を求める。さらに、当該注視領域に関連する視線計測情報を出力する。交差判断部２６は、移動情報計算部２４により求められた移動対象領域（原図では緑色で表示された領域）と注視領域計算部２５により求められた注視領域（原図では赤色で表示された矩形で示される中心視Ｃ）とが交差するか否かを判断する。有効視野計算部２７は、図７（Ｂ）で示されるように交差判断部２６により移動対象領域と注視領域とが交差すると判断されたため、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、実運転中のドライバ１４の有効視野（図４または５に示されたドライバ１４の視角β０）を計算する。
【００４１】
通過確認部２８（通過確認手段）は、道路カメラ１１により測定された車外の交通状況から、移動対象検出部２１により検出された車外の移動対象が自動車５０の前方を通過したか否かを確認する。繰り返し部２９（繰り返し手段）は、交差判断部２６により移動対象領域と注視領域とが交差すると判断されず、且つ通過確認部２８により車外の移動対象が自動車５０の前方を通過したと確認されなかった場合、移動情報計算部２４、注視領域計算部２５および交差判断部２６の各処理を繰り返す。
【００４２】
検出終了部３０（検出終了手段）は、交差判断部２６により移動対象領域と注視領域とが交差すると判断されず、且つ通過確認部２８により車外の移動対象が自動車５０の前方を通過したと確認された場合、車外の移動対象の検出を終了させる。
【００４３】
図８は、本発明の実施例１における有効視野測定システム１０および有効視野測定方法における処理の流れをフローチャートで示す。有効視野測定方法は、自動車５０のドライバ１４の有効視野を測定する有効視野測定方法であって、道路カメラ１１と、ドライバモニタカメラ１２と、コンピュータ１６とを用いるものであり、コンピュータ１６が、道路カメラ１１の測定から検出された車外の移動対象とドライバモニタカメラ１２の測定から得られた実運転中の運転者１４の視線ベクトルＥＶを含む視線計測情報とに基づき、コンピュータ１６が実運転中の運転者１４の有効視野をオンラインで計算する方法である。図８に示されるように、まず、車両操作データ（ハンドル、アクセル、ブレーキ等）の取得と、道路カメラ１１と、ドライバモニタカメラ１２との間でキャリブレーションを行って同期をとる（ステップＳ５）。
【００４４】
次に、道路カメラ１１により測定された車外の交通状況を交通状況ＤＢ４２に記録すると共に、当該交通状況から所定の動物体解析手法（例えばオプティカルフローアルゴリズム等）により車外の移動対象を検出する（移動対象検出ステップ。ステップＳ１０）。
【００４５】
道路カメラ１１により測定された車外の交通状況から自動車５０が走行中であることを確認する（走行確認ステップ。ステップＳ２０）。
【００４６】
走行確認ステップ（ステップＳ２０）で自動車５０が走行中であることが確認され且つ移動対象検出ステップ（ステップＳ１０）で車外の移動対象が検出された場合、ドライバモニタカメラ１２により測定されたドライバ１４の視線計測情報の視線計測ＤＢ４１への記録を開始させる（視線計測記録開始ステップ。ステップＳ３０、Ｓ１００）。
【００４７】
走行確認ステップ（ステップＳ２０）で自動車５０が走行中であることが確認され且つ移動対象検出ステップ（ステップＳ１０）で車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める（移動情報計算ステップ。ステップＳ３０、Ｓ４０）。
【００４８】
視線計測記録開始ステップ(ステップＳ１００)で開始され視線計測ＤＢ４１に記録されたドライバ１４の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に、当該注視領域に関連する視線計測情報を出力する（注視領域計算ステップ。ステップＳ１１０）。
【００４９】
移動情報計算ステップ（ステップＳ４０）で求められた移動対象領域と注視領域計算ステップ（ステップＳ１１０）で求められた注視領域とが交差するか否か判断する（交差判断ステップ。ステップＳ５０）。
【００５０】
交差判断ステップ(ステップＳ５０)で移動対象領域と注視領域とが交差すると判断された場合、注視領域計算ステップ（ステップＳ１１０）で出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する（有効視野計算ステップ。ステップＳ７０）。ステップＳ６０は飛ばし、実施例２で説明する。
【００５１】
交差判断ステップ（ステップＳ５０）で移動対象領域と注視領域とが交差すると判断されなかった場合、道路カメラ１１により測定された車外の交通状況から移動対象検出ステップ（ステップＳ１０）で検出された車外の移動対象が自動車５０の前方を通過したか否かを確認する（通過確認ステップ。ステップＳ５５）。通過確認ステップ（ステップＳ５５）で車外の移動対象が自動車５０の前方を通過したと確認されなかった場合、移動情報計算ステップ（ステップＳ４０）へ戻り、注視領域計算ステップ（ステップＳ１１０）および交差判断ステップ（ステップＳ５０）を繰り返す（繰り返しステップ）。
【００５２】
交差判断ステップ（ステップＳ５０）で移動対象領域と注視領域とが交差すると判断されず、且つ通過確認ステップ（ステップＳ５５）で車外の移動対象が自動車５０の前方を通過したと確認された場合、車外の移動対象の検出を終了させる（検出終了ステップ。ステップＳ５７）。
【００５３】
図８に示されるフローチャートに示されるように、ステップＳ３０で移動対象があると判断されなかった場合、車両操作データ（ハンドル、アクセル、ブレーキ等）の車両操作データＤＢ（不図示）への記録を開始させる（ステップＳ２００）。これはドライバ１４が移動対象（不図示）との衝突を回避するために自動車５０を減速させたり、進路を変えたりすることにより、移動対象を認知した可能性があるためである。このようなドライバ１４の挙動結果である車両データを有効視野の計算に用いることもできる。勿論、ステップＳ３０で移動対象があると判断されなかった場合、移動対象無しとして終了させることも可能である（ステップＳ３５）。交差判断ステップ（ステップＳ５０）で移動対象領域と注視領域とが交差すると判断されなかった場合、有効視野計算ステップ（ステップＳ７０）へ進む流れもある。これは、ドライバ１４が移動対象に気づかなかった場合でも、狭い有効視野として計算することも可能だからである。
【００５４】
以上のように、本発明の実施例１によれば、有効視野測定システム１０は、道路カメラ１１の測定から検出された車外の移動対象とドライバモニタカメラ１２の測定から得られた実運転中の運転者１４の視線ベクトルＥＶを含む視線計測情報とに基づき、コンピュータ１６が実運転中の運転者１４の有効視野をオンラインで計算する。まず、車両操作データ（ハンドル、アクセル、ブレーキ等）の取得と、道路カメラ１１と、ドライバモニタカメラ１２との間でキャリブレーションを行って同期をとる。次に、移動体検出部２１は道路カメラ１１により測定された車外の交通状況を交通状況ＤＢ４２に記録すると共に、当該交通状況から所定の動物体解析手法（例えばオプティカルフローアルゴリズム等）により車外の移動対象を検出する。走行確認部２２は道路カメラ１１により測定された車外の交通状況から自動車５０が走行中であることを確認する。視線計測記録開始部２３は、走行確認部２２により自動車５０が走行中であることが確認され且つ移動対象検出部２１により車外の移動対象が検出された場合、ドライバモニタカメラ１２により測定されたドライバ１４の視線計測情報の視線計測ＤＢ４１への記録を開始させる。移動情報計算部２４は、走行確認部２２により自動車５０が走行中であることが確認され且つ移動対象検出部２１により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める。注視領域計算部２５は、視線計測記録開始部２３により開始され視線計測ＤＢ４１に記録されたドライバ１４の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に、当該注視領域に関連する視線計測情報を出力する。交差判断部２６は、移動情報計算部２４により求められた移動対象領域と注視領域計算部２５により求められた注視領域とが交差するか否か判断する。有効視野計算部２７は、交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する。
【００５５】
ドライバ１４の有効視野は年齢、性別等に加えて、道路状況、心理状態、個人差により異なると言われている。本発明の実施例１における有効視野測定システム１０によれば、道路カメラ１１の測定から検出された車外の移動対象とドライバモニタカメラ１２の測定から得られた実運転中の運転者１４の視線ベクトルＥＶを含む視線計測情報とに基づき、コンピュータ１６が実運転中の運転者１４の有効視野をオンラインで計算するため、車外の移動物体が存在する実際の道路で実際に運転中のドライバ１４の有効視野をオンラインで求めることができる。
【００５６】
上述したように、自転車６０が周辺領域Ｐｒに出現してからドライバ１４が中心視Ｃで自転車６０を捉えるまでの時間を測定すれば、認知時間を得ることができる（図５参照）。この認知時間を有効視野の計算に利用することも可能である。
【実施例２】
【００５７】
実施例２では、実施例１における交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、交通状況ＤＢ４２に記録された過去の交通状況に基づき、移動対象検出部２１により検出された車外の移動対象が出現した時点を求める移動対象出現時点計算部３１（移動対象出現時点計算手段）をさらに備えることができる（図１参照）。即ち、交通状況ＤＢ４２に記録された過去の交通状況から移動対象の軌跡データを遡り、移動対象が出現した時点を求めることができる。移動対象出現時点計算部３１の機能は、HALCON（登録商標）のＲＩＴ（Reversed-in-time）により実現した。図７（Ｄ）の右側に表示された符号ＴＲＡＣＫが自転車６０の軌跡データを示す。軌跡データＴＲＡＣＫを遡ることにより、自転車６０が出現した時点を求めることができる。有効視野計算部２７は、交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報と移動対象出現時点計算部３１により求められた車外の移動対象が出現した時点とに基づき、実運転中のドライバ１４の有効視野を計算することができる。
【００５８】
本発明の実施例２における有効視野測定方法等における処理の流れは、以下のようになる（図８参照）。実施例１における有効視野計算ステップ（ステップＳ７０）に先立ち、交差判断ステップで（ステップＳ５０）移動対象領域と注視領域とが交差すると判断された場合、交通状況ＤＢ４２に記録された過去の交通状況に基づき、移動対象検出ステップ（ステップＳ１０）で検出された車外の移動対象が出現した時点を求める（移動対象出現時点計算ステップ。ステップＳ６０）。有効視野計算ステップ（ステップＳ７０）は、注視領域計算ステップ（ステップＳ１１０）で出力された注視領域に関連する視線計測情報と移動対象出現時点計算ステップ（ステップＳ６０）で求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することができる。
【００５９】
図９は、ＲＩＴによる解析結果例を示す。図９で、ポリゴンＰＯＬＹ（原図では赤色で表示）がＲＩＴによる歩行者６１の追跡結果を示す。ポリゴンＰＯＬＹを遡ることにより、歩行者６０が出現した時点を求めることができる。
【００６０】
以上のように、本発明の実施例２によれば、実施例１における交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、交通状況ＤＢ４２に記録された過去の交通状況に基づき、移動対象検出部２１により検出された車外の移動対象が出現した時点を求める移動対象出現時点計算部３１をさらに備えることができる。この結果、移動対象検出部２１のオプティカルフローアルゴリズム等による車外の移動対象の検出を検証することができる。
【実施例３】
【００６１】
実施例３では、実施例１における交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報部３２（警報手段）をさらに備えることができる（図１参照）。例えば、注視領域計算部２５により出力された注視領域に関連する視線計測情報により、ドライバ１４が中心視Ｃで自転車６０を捉えていないことを検出することが可能である。この場合、警報部３２はディスプレイ１７への表示または音声出力部（不図示）により生成された音声（例えば、「自転車がいます。」等）により、ドライバ１４へ警報を発することができる。自転車６０までの距離を測定できる場合、例えば、「自転車にぶつかります。」等により、ドライバ１４へ警報を発することができる。以上のように、警報部３２は危険度に応じた警報を発することができる。
【００６２】
本発明の実施例３における有効視野測定方法等における処理の流れは、以下のようになる（図８参照）。交差判断ステップ(ステップＳ５０)で移動対象領域と注視領域とが交差すると判断された場合、注視領域計算ステップ（ステップＳ１１０）で出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報ステップ（ステップＳ８０）をさらに備えることができる。図８のフローチャートに示されるように、警報ステップ（ステップＳ８０）は有効視野計算ステップ（ステップＳ７０）の後に設けてもよく、あるいは有効視野計算ステップ（ステップＳ７０）に先立って設けてもよい。
【００６３】
以上のように、本発明の実施例３によれば、実施例１における交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報部３２をさらに備えることができる。この結果、ドライバ１４が中心視Ｃで自転車６０を捉えていないことを検出した場合、危険度に応じて警報を発することができる。
【産業上の利用可能性】
【００６４】
本発明の活用例として、高齢者の通常走行時における事故防止ツールに適用することができる。わが国の交通事故を法令違反別に見ると、安全不確認が約３割と最も多いと言われている。事故と視覚認知特性との関連では、特に中高年の有効視野と事故率との相関が高いことも報告されている。このため、本発明の有効視野測定システム１０等を利用して、交通状況に応じた自身の有効視野の範囲を常時把握することにより、過大評価することなく、安全運転スタイルを心がけるようにすることができる。
【００６５】
本発明の他の活用例として、通常走行時におけるヒューマンファクター組込型事故防止ツールに適用することができる。本発明の有効視野測定システム１０を従来の走行支援システムに組み込むことにより、判断・操作支援機能においても、精度の向上、ドライバのシステム受容性を高めることが期待できる。
【００６６】
本発明の別の活用例として、有効視野を拡大することで運転技術を向上させることに適用することができる。有効視野に与えるマイナス変化要因を特定し、それを低下させることにより運転技術を向上させることができる。即ち、有効視野は年齢だけではなく、心理的な変化（あせり、漫然等）要因によりカバーする範囲が変化する。このため、個人特性または交通状況の変化に応じ自身の有効視野が急激に変化することを事前に把握しておくことにより、安全運転スタイルを心がけることができる。
【符号の説明】
【００６７】
１０ 有効視野測定システム、 １１ 道路カメラ、 １２ ドライバモニタカメラ、 １３ フロントガラス、 １４ ドライバ、 １５ ハンドル、 １６ コンピュータ、 １７ ディスプレイ、 ２０ 機能ブロック、 ２１ 移動対象検出部、 ２２ 走行確認部、 ２３ 視線計測開始部、 ２４ 移動情報計算部、 ２５ 注視領域計算部、 ２６ 交差判断部、 ２７ 有効視野計算部、 ２８ 通過確認部、 ２９ 繰り返し部、 ３０ 検出終了部、 ３１ 移動対象出現時点計算部、 ３２ 警報部、 ４０ 記録装置、 ４１ 視線計測ＤＢ、 ４２ 交通状況ＤＢ、 ５０ 自動車、 ６０ 自転車、 ６１、６２ 歩行者。
【先行技術文献】
【特許文献】
【００６８】
【特許文献１】特開２００６−１８２３２４号公報
【非特許文献】
【００６９】
【非特許文献１】“What is UFOV?”、［online］、VISUAL AWARENESS、［平成２２年３月１１日検索］、インターネット、<URL: http://www.visualqwareness.com/Pages/whatis.html>
【非特許文献２】太田 博雄著、「運転走行時の有効視野測定装置の開発」、平成１０年５月１４日発行、日本交通心理学会第５７回大会。
【技術分野】
【０００１】
本発明は、車両の運転者の有効視野を測定する有効視野測定システム等に関する。
【背景技術】
【０００２】
一般に、人の視野とは目を動かさずに見える範囲とされている。図１０は、人の視野を説明するためのグラフを示す。図１０で、横軸は視野の角度、縦軸は視力である。図１０に示されるように、目を向けている点（注視点Ａ）を角度０°とすると、注視点Ａから左右１３°（視角２６°。中心視Ｃ）の範囲では視力は約１．２と良好であるが、視野の周辺部の範囲（周辺視Ｐ）では視力は約０．１と急に低くなっている。周辺視Ｐで物体を認知することができる範囲を有効視野と呼ぶ。有効視野は年齢、性別等により異なると言われている。自動車等の運転者のように、動いている状態で車外を見る場合、有効視野が重要となる。この場合、有効視野は年齢、性別等に加えて、走行状況、道路状況、心理状態、個人差により異なると言われている。
【０００３】
従来、自動車等の運転者の有効視野を測定する方法として、フロントガラス上に格子状の目盛を設け、運転者にその視線を検知するためのアイカメラ（ヘッドマウントカメラ）を取付けて、運転者が車外の物体を格子に合わせて見る際の目をアイカメラで撮影することにより、視線ベクトルを検出する方法が用いられてきた。この方法では、フロントガラス上の格子を利用して運転者の注視点を測定していた。
【０００４】
自動車等の運転者の有効視野を測定する別の方法として、自動車のフロントガラス上に格子状の目盛を設け、ある格子に光点を表示した後に別の格子に光点を表示して、運転者が当該別の光点の表示を認知するまでの時間(認知時間)を測定し、ある光点と別の光点と間の距離および角度を変化させて認知時間との関係を調べる方法もある。この方法でも、フロントガラス上の格子を利用して運転者の注視点を測定していた。
【０００５】
有効視野を測定する別の方法として、被験者に対しパーソナルコンピュータ（ＰＣ）の画面上に人為的に設定したいくつかの絵を見せて、その反応時間を測定する方法がある（非特許文献１参照）。より具体的には、ＰＣの画面上に１台の自動車の絵を表示してから、画面上の別の位置に別の自動車の絵を表示させ、当該別の自動車の絵が表示されたことを認知するまでの認知時間を測定するという方法である。この方法はオフラインのＰＣの画面を利用して、被験者の注視点を測定していた。
【０００６】
以上の測定方法は、フロントガラス上の格子またはオフラインのＰＣの画面上の絵を利用して運転者または被験者の注視点を測定するものであり、実際の運転走行時における外部の物体を直接利用した測定方法ではないという問題があった。非特許文献２は実際の運転走行時における有効視野を測定する方法を示している。より詳しくは、フロントガラス面にダッシュボードより約２０ｃｍの高さに赤色ＬＥＤ８個を取付けた棒を設置し、自動車教習所等で走行する運転者に、ＬＥＤの点灯を感じた時に合図を求めるという方法である。非特許文献２の方法は実際の運転走行時ではあるが実際の道路の運転走行時ではなく、さらに車内のＬＥＤの点灯を利用したものであって実車の外部の物体を直接利用した測定方法ではないという問題があった。
【０００７】
特許文献１は実際の運転走行時における有効視野を測定する別の方法を示している。より詳しくは、運転者の顔の角度および車速度による標準視野、対象物と自車との間の相対速度および距離等に基づき、対象物が運転者の標準視野に入っているか否かを判断し、警報を発するというものである。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、自動車等の運転者の有効視野は年齢、性別等に加えて、走行状況、道路状況、心理状態、個人差により異なると言われている。特許文献１に記載された方法は一般的な標準視野に基づく方法であり、実際に運転している運転者の有効視野を測定する方法ではないという問題があった。そこで、本発明の目的は、上記問題を解決するためになされたものであり、車外の移動物体が存在する実際の道路で実際に運転中の運転者の有効視野をオンラインで求める有効視野測定システム等を提供することにある。
【課題を解決するための手段】
【０００９】
この発明の有効視野測定システムは、車両の運転者の有効視野を測定する有効視野測定システムであって、車外の交通状況を測定する第１撮像器と、運転者を測定する第２撮像器と、第１撮像器及び第２撮像器に接続されたコンピュータとを備え、第１撮像器の測定から検出された車外の移動対象と第２撮像器の測定から得られた実運転中の運転者の視線計測情報とに基づき、コンピュータが実運転中の運転者の有効視野をオンラインで計算することを特徴とする。
【００１０】
ここで、この発明の有効視野測定システムにおいて、前記コンピュータは、第１撮像器により測定された車外の交通状況を交通状況記録部に記録すると共に該交通状況から所定の動物体解析手法により車外の移動対象を検出する移動対象検出手段と、第１撮像器により測定された車外の交通状況から車両が走行中であることを確認する走行確認手段と、前記走行確認手段により車両が走行中であることが確認され且つ前記移動対象検出手段により車外の移動対象が検出された場合、第２撮像器により測定された運転者の視線計測情報の視線計測記録部への記録を開始させる視線計測記録開始手段と、前記走行確認手段により車両が走行中であることが確認され且つ前記移動対象検出手段により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める移動情報計算手段と、前記視線計測記録開始手段により開始され前記視線計測記録部に記録された運転者の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に該注視領域に関連する視線計測情報を出力する注視領域計算手段と、前記移動情報計算手段により求められた移動対象領域と前記注視領域計算手段により求められた注視領域とが交差するか否か判断する交差判断手段と、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する有効視野計算手段とを備えることができる。
【００１１】
ここで、この発明の有効視野測定システムにおいて、第１撮像器により測定された車外の交通状況から前記移動対象検出手段により検出された車外の移動対象が車両の前方を通過したか否かを確認する通過確認手段と、前記交差判断手段により移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認手段により車外の移動対象が車両の前方を通過したと確認されなかった場合、前記移動情報計算手段、前記注視領域計算手段及び前記交差判断手段を繰り返す繰り返し手段とをさらに備えることができる。
【００１２】
ここで、この発明の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認手段により車外の移動対象が車両の前方を通過したと確認された場合、車外の移動対象の検出を終了させる検出終了手段をさらに備えることができる。
【００１３】
ここで、この発明の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記交通状況記録部に記録された過去の交通状況に基づき、前記移動対象検出手段により検出された車外の移動対象が出現した時点を求める移動対象出現時点計算手段をさらに備え、前記有効視野計算手段は、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報と前記移動対象出現時点計算手段により求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することができる。
【００１４】
ここで、この発明の有視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報手段をさらに備えることができる。
【００１５】
ここで、この発明の有効視野測定システムにおいて、第１撮像器は車両のフロントガラス後部に設置することができる。
【００１６】
ここで、この発明の有効視野測定システムにおいて、第２撮像器は車両のハンドル後部に設置することができる。
【００１７】
この発明の有効視野測定方法は、車両の運転者の有効視野を測定する有効視野測定方法であって、車外の交通状況を測定する第１撮像器と、運転者を測定する第２撮像器と、第１撮像器及び第２撮像器に接続されたコンピュータとを用いるものであり、コンピュータが、第１撮像器の測定から検出された車外の移動対象と第２撮像器の測定から得られた実運転中の運転者の視線計測情報とに基づき、実運転中の運転者の有効視野をオンラインで計算することを特徴とする。
【００１８】
ここで、この発明の有効視野測定方法において、第１撮像器により測定された車外の交通状況を交通状況記録部に記録すると共に該交通状況から所定の動物体解析手法により車外の移動対象を検出する移動対象検出ステップと、第１撮像器により測定された車外の交通状況から車両が走行中であることを確認する走行確認ステップと、前記走行確認ステップで車両が走行中であることが確認され且つ前記移動対象検出ステップで車外の移動対象が検出された場合、第２撮像器により測定された運転者の視線計測情報の視線計測記録部への記録を開始させる視線計測記録開始ステップと、前記走行確認ステップで車両が走行中であることが確認され且つ前記移動対象検出ステップで車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める移動情報計算ステップと、前記視線計測記録開始ステップで開始され前記視線計測記録部に記録された運転者の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に該注視領域に関連する視線計測情報を出力する注視領域計算ステップと、前記移動情報計算ステップで求められた移動対象領域と前記注視領域計算ステップで求められた注視領域とが交差するか否か判断する交差判断ステップと、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する有効視野計算ステップとを備えることができる。
【００１９】
ここで、この発明の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断されなかった場合、第１撮像器により測定された車外の交通状況から前記移動対象検出ステップで検出された車外の移動対象が車両の前方を通過したか否かを確認する通過確認ステップと、前記通過確認ステップで車外の移動対象が車両の前方を通過したと確認されなかった場合、前記移動情報計算ステップ、前記注視領域計算ステップ及び前記交差判断ステップを繰り返す繰り返しステップとをさらに備えることができる。
【００２０】
ここで、この発明の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認ステップで車外の移動対象が車両の前方を通過したと確認された場合、車外の移動対象の検出を終了させる検出終了ステップをさらに備えることができる。
【００２１】
ここで、この発明の有効視野測定方法において、前記有効視野計算ステップに先立ち、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記交通状況記録部に記録された過去の交通状況に基づき、前記移動対象検出ステップで検出された車外の移動対象が出現した時点を求める移動対象出現時点計算ステップをさらに備え、前記有効視野計算ステップは、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報と前記移動対象出現時点計算ステップで求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することができる。
【００２２】
ここで、この発明の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報ステップをさらに備えることができる。
【発明の効果】
【００２３】
本発明の有効視野測定システム等によれば、移動体検出部は道路カメラにより測定された車外の交通状況を交通状況データベース（ＤＢ）に記録すると共に、当該交通状況から所定の動物体解析手法（例えばオプティカルフローアルゴリズム等）により車外の移動対象を検出する。走行確認部は道路カメラにより測定された車外の交通状況から自動車が走行中であることを確認する。視線計測記録開始部は、走行確認部により自動車が走行中であることが確認され且つ移動対象検出部により車外の移動対象が検出された場合、ドライバモニタカメラにより測定されたドライバの視線計測情報の視線計測ＤＢへの記録を開始させる。移動情報計算部は、走行確認部により自動車が走行中であることが確認され且つ移動対象検出部により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める。注視領域計算部は、視線計測記録開始部により開始され視線計測ＤＢに記録されたドライバの視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に、当該注視領域に関連する視線計測情報を出力する。交差判断部は、移動情報計算部により求められた移動対象領域と注視領域計算部により求められた注視領域とが交差するか否か判断する。有効視野計算部は、交差判断部により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する。
【００２４】
以上のようにして、本発明の有効視野測定システムによれば、道路カメラの測定から検出された車外の移動対象とドライバモニタカメラの測定から得られた実運転中の運転者の視線ベクトルを含む視線計測情報とに基づき、コンピュータが実運転中の運転者の有効視野をオンラインで計算するため、車外の移動物体が存在する実際の道路で実際に運転中のドライバの有効視野をオンラインで求めることができるという効果がある。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施例１における自動車（車両）のドライバ（運転者）の有効視野を測定する有効視野測定システム１０を示す図である。
【図２】ドライバモニタカメラ１２の設置状態を示す図である。
【図３】ドライバモニタリングシステムを用いてドライバ１４を撮像した様子を示す図である。
【図４】測定座標系における３つのイメージ領域を説明するための概念図である。
【図５】ドライバ１４が右側の自転車６０を見た状況を示す図である。
【図６】オプティカルフローアルゴリズムによる歩行者および自転車の検出を４枚のフレームで示す図である。
【図７】ドライバ１４の有効視野を説明する４枚のフレームを示す図である。
【図８】本発明の実施例１における有効視野測定システム１０および有効視野測定方法における処理の流れを示すフローチャートである。
【図９】ＲＩＴによる解析結果例を示す図である。
【図１０】人の視野を説明するためのグラフを示す図である。
【発明を実施するための最良の形態】
【００２６】
以下、実施例について図面を参照して詳細に説明する。
【実施例１】
【００２７】
図１は、本発明の実施例１における自動車（車両）のドライバ（運転者）の有効視野を測定する有効視野測定システム１０を示す。図１において、符号１１は車外の交通状況を測定する道路カメラ（第１撮像器）、１２はドライバ１４を測定するドライバモニタカメラ（第２撮像器）、１３はフロントガラス、１５はハンドル、ＥＶはドライバの視線ベクトル、１６は道路カメラ１１およびドライバモニタカメラ１２に接続されたコンピュータ、１７はコンピュータ１６のディスプレイ、２０はコンピュータ１６の機能を示す機能ブロック、４０はコンピュータ１６に接続されたハードディスク等の記録装置、４１はドライバ１４の視線ベクトルＥＶを含む視線計測情報を記録した視線計測情報データベース（ＤＢ）（視線計測情報記録部）、４２は道路カメラ１１により測定された車外の交通状況を記録した交通状況ＤＢ（交通状況記録部）である。図１で自動車の全体図は省略してある。有効視野測定システム１０は、道路カメラ１１の測定から検出された車外の移動対象とドライバモニタカメラ１２の測定から得られた実運転中の運転者１４の視線ベクトルＥＶを含む視線計測情報とに基づき、コンピュータ１６が実運転中の運転者１４の有効視野をオンラインで計算する。
【００２８】
図２は、ドライバモニタカメラ１２の設置状態を示す。図２で図１と同じ符号を付した箇所は同じ要素を示すため、説明は省略する。図２に示されるように、ドライバモニタカメラ１２は自動車のハンドル１５の後部に設置することが好適である。図２ではドライバモニタカメラ１２は計器類と同じ位置に設置されているが、設置箇所は当該位置に限定されるものではなく、運転の邪魔にならない箇所、例えばダッシュボードの上に設置してもよい。ドライバモニタカメラ１２は、コンピュータ１６にＵＳＢ等で接続された低コストのいわゆるウェブカエラとし、ドライバモニタリングシステムとしては、例えばTrackEye（登録商標）と呼ばれるソフトウェアを用いることができる。図３は、ドライバモニタリングシステムを用いてドライバ１４を撮像した様子を示す。TrackEye（登録商標）は図３に示されるようにドライバ１４の顔および目を検知し、ドライバ１４の注視点の測定を行う。上述の例ではドライバモニタカメラ１２としてTrackEye（登録商標）を例示したが、１秒あたりのフレーム数がより高い、例えばFaceLab sysytemを用いる方が好適である。
【００２９】
道路カメラ１１は、ドライバ１４の周辺視Ｐ（図１０参照。以下同様）の範囲において左右から出現した道路交通状況における対象物を検出する。道路カメラ１１は、自動車のフロントガラス１３の後部に設置することが好適である（図１参照）。例えば、バックミラーの左側または右側に取り付ければよい。道路カメラ１１は、例えばuEye UI-1225LEM(IDS（登録商標）-imaging社製)を用い、コンピュータ１６とはＵＳＢで接続した。ドライバ１４の周辺視Ｐから道路交通状況における対象物を追跡するためには、レンズは広角レンズ（例えば１２５°）とすることが好適である。撮像した各フレームはタイムスタンプを付けられて交通状況ＤＢ４２に記録される。
【００３０】
次に、発明者らが使用した測定座標系について説明する。図４は、測定座標系における３つのイメージ領域を説明するための概念図である。図４において、符号５０は自動車、６０は道路交通状況における対象物（図４では自転車を例示）、Ｃはドライバ１４の中心視(原図では赤色で表示)、Ｐｒは道路カメラ１１で撮像される周辺領域（原図では黄色で表示）である。３つのイメージ領域とは中心視Ｃと左右２つの周辺領域Ｐｒである。図４の上部は道路カメラ１１のイメージフレームを示し、下部は上からの全体図を示す。図４に示されるように、中心視Ｃは角度β（β１からβ２までの範囲）で示され、周辺領域Ｐｒは角度パラメータα（進行方向左側では−α２から−α１までの範囲、進行方向右側ではα１からα２までの範囲）で示されている。角度パラメータαは道路カメラ１１の進行方向における中心線Ｘからとられている。上記１２５°の広角レンズの場合、角度パラメータα２は６２．５°となる。角度パラメータα１は周辺領域Ｐｒの内側における限界を示し、例えば３０°とした。しかし、ドライバ１４の中心視Ｃおよび周辺視Ｐに合わせて他の値としてもよい。ドライバ１４の中心視Ｃの領域はβ２−β１で示され、ドライバ１４の視角β０により変化する。β２−β１は背景技術で説明した視角２６°とした。視角β０は上述したドライバモニタカメラ１２を用いたドライバモニタリングシステムの出力結果であり、画像の品質等に依存する。なお、図４で中心視Ｃの原点と周辺領域Ｐｒの原点とがずれているのは、道路カメラ１１とドライバ１４の頭部との間の距離が約１ｍ離れていることを反映させたためである。
【００３１】
図５は、ドライバ１４が右側の自転車６０を見た状況を示す。図５で図４と同じ符号を付した箇所は同じ要素を示すため、説明は省略する。ドライバ１４は図４に示されるように最初は前方を注視しているが、周辺視Ｐで自転車６０を認知すると、図５に示されるように中心視Ｃで自転車６０を注視する。ドライバ１４が自転車６０を注視したということはドライバ１４が自転車を認知したものと考えることができる。そこで、自転車６０が周辺領域Ｐｒに出現してからドライバ１４が中心視Ｃで自転車６０を捉えるまでの時間を測定すれば、ドライバ１４が自転車６０を認知するまでの認知時間を得ることができる。自転車６０が周辺領域Ｐｒに出現した時間は、道路カメラ１１により撮像され交通状況ＤＢ４２に記録された各フレームに基づき得ることができる。ドライバ１４が中心視Ｃで自転車６０を捉えたことは、ドライバモニタリングシステムにより得られた図５に示される視角β０が道路カメラ１１の角度パラメータα１からα２の範囲に入ったことにより検出することができる。言い換えれば、道路カメラ１１の周辺領域Ｐｒとドライバ１４の中心視Ｃとが交差したことを検出することにより、上記認知時間を得ることができる。ドライバ１４の有効視野は図５に示される視角β０となる。
【００３２】
以下、上述した説明および図４、５を適宜用いて、図１に示される機能ブロック２０に示される諸機能について説明する。当該諸機能はソフトウェアにより実現されているが、一部はハードウェアにより実現してもよい。移動対象検出部２１（移動対象検出手段）は、道路カメラ１１により測定された自動車５０の外の交通状況を交通状況ＤＢ４２に記録すると共に、当該交通状況から所定の動物体解析手法により自動車５０の外の移動対象（例えば、図４等における自転車６０）を検出する。交通状況ＤＢ４２への記録は、上述したように道路カメラ１１が撮像した各フレームにタイムスタンプを付けて記録される。所定の動物体解析手法としては既存技術であるオプティカルフローアルゴリズムによる解析手法が好適である。発明者らはHalcon（登録商標） machine vision library function（optical_flow_mg()）を使用した。詳細は、Halcon（登録商標）reference manual（http://www/mvtec.com/download/documentation/reference-9.0/hdevelop/optical_flow_mg.html）を参照されたい。移動対象の追跡にはddrawアルゴリズムまたはfdrigアルゴリズムが好適である。例えば、ddrawアルゴリズムにより、図５に示される自転車６０の右方向からの接近を検知することができる。図６は、オプティカルフローアルゴリズムによる歩行者および自転車の検出を４枚のフレームで示す。図６（Ａ）から（Ｄ）はこの順に道路カメラ１１で撮像されたフレームである。図６（Ａ）のフレームに示されるように、左側に自転車６０が見え、右側に歩行者６１および６２が見える。周知のように、オプティカルフローアルゴリズムは、連続するフレーム間で移動方向および強さを示すベクトルを計算する。図６（Ａ）の歩行者６１に付して示されるように、ベクトルは(原図では赤い)矢印で示されている。各移動対象はフレーム内の中間点まで追跡される。例えば、図６（Ｂ）では歩行者６１にはベクトルは付されておらず、もはや追跡されていない。原図では最も重要な移動対象は白色で表示され、２番目に重要な移動対象は黄色で表示されている。例えば図６（Ａ）では歩行者６１が白色で表示され、歩行者６２は黄色で表示されている。図６（Ｃ）では歩行者６２が白色で表示されている。図６（Ｄ）では歩行者６２にはベクトルは付されておらず、もはや追跡されていない。一方、自転車６０は白色で表示され、ベクトルが付されている。
【００３３】
走行確認部２２（走行確認手段）は、道路カメラ１１により測定された自動車５０の外の交通状況から自動車５０が走行中であることを確認する。より詳しくは、自動車５０が進行方向の急回転等ではない、正常な運転状態であることを確認する。進行方向の急回転等では背景が水平方向に急にシフトするため、オプティカルフローアルゴリズムに悪影響を及ぼすからである。急加速、急減速も車体が上下に動くため、背景も上下に動くことなり、正常な運転状態ではない。長時間の停車も正常な運転状態とはされない。例えば、信号による停止では、ドライバ１４の車外の物体に対する注意がそれることが多いため、ドライバモニタカメラ１２による監視が意味をもたなくなるからである。但し、横断歩道前の一時停止のような場合は正常な運転状態である。正常な運転状態であることの確認は、Halcon（登録商標）のfdrigアルゴリズムによりオプティカルフローを計測し、背景の動き（背景差分データ）から走行中であることを確認することができる。
【００３４】
視線計測記録開始部２３（視線計測記録開始手段）は、走行確認部２２により自動車５０が走行中であることが確認され、且つ移動対象検出部２１により車外の移動対象が検出された場合、ドライバモニタカメラ１２により測定された運転者１４の視線計測情報の視線計測ＤＢ４１への記録を開始させる。即ち、車外の移動対象の動きとドライバ１４の視角とが共に測定される。測定の終了時刻は車外の移動対象の位置と速度とに依存する。視線計測情報には、図４または５に示されたドライバ１４の中心視Ｃに関する情報（視角β０、ドライバ１４の顔画像等）が測定時刻と共に記録される。
【００３５】
移動情報計算部２４（移動情報計算手段）は、走行確認部２２により自動車５０が走行中であることが確認され、且つ移動対象検出部２１により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める。具体的には、図６に示されるようなフレーム内で歩行者６１等が存在する画像上の領域を、ベクトルに基づき移動対象領域として求める。
【００３６】
注視領域計算部２５（注視領域計算手段）は、視線計測記録開始部２３により開始され視線計測ＤＢ４１に記録されたドライバ１４の視線計測情報に基づき、実運転中のドライバ１４が見ている注視領域（図４または５に示されたドライバ１４の中心視Ｃの領域）を求める。さらに、当該注視領域に関連する視線計測情報を出力する。
【００３７】
交差判断部２６（交差判断手段）は、移動情報計算部２４により求められた移動対象領域と注視領域計算部２５により求められた注視領域とが交差するか否かを判断する。上述したように、道路カメラ１１の周辺領域Ｐｒとドライバ１４の中心視Ｃとが交差したか否かにより判断することができる。
【００３８】
有効視野計算部２７（段有効視野計算手段）は、交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、実運転中のドライバ１４の有効視野（図４または５に示されたドライバ１４の視角β０）を計算する。
【００３９】
図７は、ドライバ１４の有効視野を説明する４枚のフレームを示す。図７（Ａ）から（Ｄ）はこの順に道路カメラ１１で撮像されたフレームである。図７（Ａ）から（Ｄ）に示されるように、自動車５０は交差点で一時停止し、画像の右側から自転車６０が近づいてきている。ドライバ１４の中心視Ｃは矩形(原図では赤色で表示)で表示されている。図７（Ａ）から（Ｄ）の各フレームには、ドライバモニタカメラ１２で撮像された対応する５枚のフレーム(ドライバ１４の顔画像)が時間順に右側に付されている。この５枚のフレームに対応するドライバ１４の５つの中心視Ｃが道路カメラ１１で撮像された各フレーム中に重ねて表示されている。例えば、図７（Ａ）では、ドライバ１４の顔画像が次第に右側を向いており、これに対応して中心視Ｃも次第に右側へ移動している。
【００４０】
図７（Ａ）に示されるように、移動対象検出部２１が道路カメラ１１により測定された自動車５０の外の交通状況を交通状況ＤＢ４２に記録すると共に、当該交通状況からオプティカルフローアルゴリズム等の動物体解析手法により自動車５０の外の移動対象（例えば、自転車６０）を検出する。走行確認部２２は、道路カメラ１１により測定された自動車５０の外の交通状況から自動車５０が走行中であることを確認する。上述したように自動車５０は交差点で一時停止した状況であるため、正常な運転状態であると確認される。視線計測記録開始部２３は、走行確認部２２により自動車５０が走行中であることが確認され、且つ移動対象検出部２１により車外の移動対象（自転車６０）が検出されたため、ドライバモニタカメラ１２により測定された運転者１４の視線計測情報の視線計測ＤＢ４１への記録を開始させる。移動情報計算部２４は、走行確認部２２により自動車５０が走行中であることが確認され、且つ移動対象検出部２１により車外の移動対象（自転車６０）が検出されたため、検出された車外の移動対象（自転車６０）が存在する移動対象領域を求める。具体的には、図７（Ａ）等に示されるようなフレーム内で自転車６０が存在する画像上の領域を、ベクトルに基づき移動対象領域として求める（原図では緑色で表示）。注視領域計算部２５は、視線計測記録開始部２３により開始され視線計測ＤＢ４１に記録されたドライバ１４の視線計測情報に基づき、実運転中のドライバ１４が見ている注視領域（図７（Ａ）等に表示されたドライバ１４の中心視Ｃ）を求める。さらに、当該注視領域に関連する視線計測情報を出力する。交差判断部２６は、移動情報計算部２４により求められた移動対象領域（原図では緑色で表示された領域）と注視領域計算部２５により求められた注視領域（原図では赤色で表示された矩形で示される中心視Ｃ）とが交差するか否かを判断する。有効視野計算部２７は、図７（Ｂ）で示されるように交差判断部２６により移動対象領域と注視領域とが交差すると判断されたため、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、実運転中のドライバ１４の有効視野（図４または５に示されたドライバ１４の視角β０）を計算する。
【００４１】
通過確認部２８（通過確認手段）は、道路カメラ１１により測定された車外の交通状況から、移動対象検出部２１により検出された車外の移動対象が自動車５０の前方を通過したか否かを確認する。繰り返し部２９（繰り返し手段）は、交差判断部２６により移動対象領域と注視領域とが交差すると判断されず、且つ通過確認部２８により車外の移動対象が自動車５０の前方を通過したと確認されなかった場合、移動情報計算部２４、注視領域計算部２５および交差判断部２６の各処理を繰り返す。
【００４２】
検出終了部３０（検出終了手段）は、交差判断部２６により移動対象領域と注視領域とが交差すると判断されず、且つ通過確認部２８により車外の移動対象が自動車５０の前方を通過したと確認された場合、車外の移動対象の検出を終了させる。
【００４３】
図８は、本発明の実施例１における有効視野測定システム１０および有効視野測定方法における処理の流れをフローチャートで示す。有効視野測定方法は、自動車５０のドライバ１４の有効視野を測定する有効視野測定方法であって、道路カメラ１１と、ドライバモニタカメラ１２と、コンピュータ１６とを用いるものであり、コンピュータ１６が、道路カメラ１１の測定から検出された車外の移動対象とドライバモニタカメラ１２の測定から得られた実運転中の運転者１４の視線ベクトルＥＶを含む視線計測情報とに基づき、コンピュータ１６が実運転中の運転者１４の有効視野をオンラインで計算する方法である。図８に示されるように、まず、車両操作データ（ハンドル、アクセル、ブレーキ等）の取得と、道路カメラ１１と、ドライバモニタカメラ１２との間でキャリブレーションを行って同期をとる（ステップＳ５）。
【００４４】
次に、道路カメラ１１により測定された車外の交通状況を交通状況ＤＢ４２に記録すると共に、当該交通状況から所定の動物体解析手法（例えばオプティカルフローアルゴリズム等）により車外の移動対象を検出する（移動対象検出ステップ。ステップＳ１０）。
【００４５】
道路カメラ１１により測定された車外の交通状況から自動車５０が走行中であることを確認する（走行確認ステップ。ステップＳ２０）。
【００４６】
走行確認ステップ（ステップＳ２０）で自動車５０が走行中であることが確認され且つ移動対象検出ステップ（ステップＳ１０）で車外の移動対象が検出された場合、ドライバモニタカメラ１２により測定されたドライバ１４の視線計測情報の視線計測ＤＢ４１への記録を開始させる（視線計測記録開始ステップ。ステップＳ３０、Ｓ１００）。
【００４７】
走行確認ステップ（ステップＳ２０）で自動車５０が走行中であることが確認され且つ移動対象検出ステップ（ステップＳ１０）で車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める（移動情報計算ステップ。ステップＳ３０、Ｓ４０）。
【００４８】
視線計測記録開始ステップ(ステップＳ１００)で開始され視線計測ＤＢ４１に記録されたドライバ１４の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に、当該注視領域に関連する視線計測情報を出力する（注視領域計算ステップ。ステップＳ１１０）。
【００４９】
移動情報計算ステップ（ステップＳ４０）で求められた移動対象領域と注視領域計算ステップ（ステップＳ１１０）で求められた注視領域とが交差するか否か判断する（交差判断ステップ。ステップＳ５０）。
【００５０】
交差判断ステップ(ステップＳ５０)で移動対象領域と注視領域とが交差すると判断された場合、注視領域計算ステップ（ステップＳ１１０）で出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する（有効視野計算ステップ。ステップＳ７０）。ステップＳ６０は飛ばし、実施例２で説明する。
【００５１】
交差判断ステップ（ステップＳ５０）で移動対象領域と注視領域とが交差すると判断されなかった場合、道路カメラ１１により測定された車外の交通状況から移動対象検出ステップ（ステップＳ１０）で検出された車外の移動対象が自動車５０の前方を通過したか否かを確認する（通過確認ステップ。ステップＳ５５）。通過確認ステップ（ステップＳ５５）で車外の移動対象が自動車５０の前方を通過したと確認されなかった場合、移動情報計算ステップ（ステップＳ４０）へ戻り、注視領域計算ステップ（ステップＳ１１０）および交差判断ステップ（ステップＳ５０）を繰り返す（繰り返しステップ）。
【００５２】
交差判断ステップ（ステップＳ５０）で移動対象領域と注視領域とが交差すると判断されず、且つ通過確認ステップ（ステップＳ５５）で車外の移動対象が自動車５０の前方を通過したと確認された場合、車外の移動対象の検出を終了させる（検出終了ステップ。ステップＳ５７）。
【００５３】
図８に示されるフローチャートに示されるように、ステップＳ３０で移動対象があると判断されなかった場合、車両操作データ（ハンドル、アクセル、ブレーキ等）の車両操作データＤＢ（不図示）への記録を開始させる（ステップＳ２００）。これはドライバ１４が移動対象（不図示）との衝突を回避するために自動車５０を減速させたり、進路を変えたりすることにより、移動対象を認知した可能性があるためである。このようなドライバ１４の挙動結果である車両データを有効視野の計算に用いることもできる。勿論、ステップＳ３０で移動対象があると判断されなかった場合、移動対象無しとして終了させることも可能である（ステップＳ３５）。交差判断ステップ（ステップＳ５０）で移動対象領域と注視領域とが交差すると判断されなかった場合、有効視野計算ステップ（ステップＳ７０）へ進む流れもある。これは、ドライバ１４が移動対象に気づかなかった場合でも、狭い有効視野として計算することも可能だからである。
【００５４】
以上のように、本発明の実施例１によれば、有効視野測定システム１０は、道路カメラ１１の測定から検出された車外の移動対象とドライバモニタカメラ１２の測定から得られた実運転中の運転者１４の視線ベクトルＥＶを含む視線計測情報とに基づき、コンピュータ１６が実運転中の運転者１４の有効視野をオンラインで計算する。まず、車両操作データ（ハンドル、アクセル、ブレーキ等）の取得と、道路カメラ１１と、ドライバモニタカメラ１２との間でキャリブレーションを行って同期をとる。次に、移動体検出部２１は道路カメラ１１により測定された車外の交通状況を交通状況ＤＢ４２に記録すると共に、当該交通状況から所定の動物体解析手法（例えばオプティカルフローアルゴリズム等）により車外の移動対象を検出する。走行確認部２２は道路カメラ１１により測定された車外の交通状況から自動車５０が走行中であることを確認する。視線計測記録開始部２３は、走行確認部２２により自動車５０が走行中であることが確認され且つ移動対象検出部２１により車外の移動対象が検出された場合、ドライバモニタカメラ１２により測定されたドライバ１４の視線計測情報の視線計測ＤＢ４１への記録を開始させる。移動情報計算部２４は、走行確認部２２により自動車５０が走行中であることが確認され且つ移動対象検出部２１により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める。注視領域計算部２５は、視線計測記録開始部２３により開始され視線計測ＤＢ４１に記録されたドライバ１４の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に、当該注視領域に関連する視線計測情報を出力する。交差判断部２６は、移動情報計算部２４により求められた移動対象領域と注視領域計算部２５により求められた注視領域とが交差するか否か判断する。有効視野計算部２７は、交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する。
【００５５】
ドライバ１４の有効視野は年齢、性別等に加えて、道路状況、心理状態、個人差により異なると言われている。本発明の実施例１における有効視野測定システム１０によれば、道路カメラ１１の測定から検出された車外の移動対象とドライバモニタカメラ１２の測定から得られた実運転中の運転者１４の視線ベクトルＥＶを含む視線計測情報とに基づき、コンピュータ１６が実運転中の運転者１４の有効視野をオンラインで計算するため、車外の移動物体が存在する実際の道路で実際に運転中のドライバ１４の有効視野をオンラインで求めることができる。
【００５６】
上述したように、自転車６０が周辺領域Ｐｒに出現してからドライバ１４が中心視Ｃで自転車６０を捉えるまでの時間を測定すれば、認知時間を得ることができる（図５参照）。この認知時間を有効視野の計算に利用することも可能である。
【実施例２】
【００５７】
実施例２では、実施例１における交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、交通状況ＤＢ４２に記録された過去の交通状況に基づき、移動対象検出部２１により検出された車外の移動対象が出現した時点を求める移動対象出現時点計算部３１（移動対象出現時点計算手段）をさらに備えることができる（図１参照）。即ち、交通状況ＤＢ４２に記録された過去の交通状況から移動対象の軌跡データを遡り、移動対象が出現した時点を求めることができる。移動対象出現時点計算部３１の機能は、HALCON（登録商標）のＲＩＴ（Reversed-in-time）により実現した。図７（Ｄ）の右側に表示された符号ＴＲＡＣＫが自転車６０の軌跡データを示す。軌跡データＴＲＡＣＫを遡ることにより、自転車６０が出現した時点を求めることができる。有効視野計算部２７は、交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報と移動対象出現時点計算部３１により求められた車外の移動対象が出現した時点とに基づき、実運転中のドライバ１４の有効視野を計算することができる。
【００５８】
本発明の実施例２における有効視野測定方法等における処理の流れは、以下のようになる（図８参照）。実施例１における有効視野計算ステップ（ステップＳ７０）に先立ち、交差判断ステップで（ステップＳ５０）移動対象領域と注視領域とが交差すると判断された場合、交通状況ＤＢ４２に記録された過去の交通状況に基づき、移動対象検出ステップ（ステップＳ１０）で検出された車外の移動対象が出現した時点を求める（移動対象出現時点計算ステップ。ステップＳ６０）。有効視野計算ステップ（ステップＳ７０）は、注視領域計算ステップ（ステップＳ１１０）で出力された注視領域に関連する視線計測情報と移動対象出現時点計算ステップ（ステップＳ６０）で求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することができる。
【００５９】
図９は、ＲＩＴによる解析結果例を示す。図９で、ポリゴンＰＯＬＹ（原図では赤色で表示）がＲＩＴによる歩行者６１の追跡結果を示す。ポリゴンＰＯＬＹを遡ることにより、歩行者６０が出現した時点を求めることができる。
【００６０】
以上のように、本発明の実施例２によれば、実施例１における交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、交通状況ＤＢ４２に記録された過去の交通状況に基づき、移動対象検出部２１により検出された車外の移動対象が出現した時点を求める移動対象出現時点計算部３１をさらに備えることができる。この結果、移動対象検出部２１のオプティカルフローアルゴリズム等による車外の移動対象の検出を検証することができる。
【実施例３】
【００６１】
実施例３では、実施例１における交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報部３２（警報手段）をさらに備えることができる（図１参照）。例えば、注視領域計算部２５により出力された注視領域に関連する視線計測情報により、ドライバ１４が中心視Ｃで自転車６０を捉えていないことを検出することが可能である。この場合、警報部３２はディスプレイ１７への表示または音声出力部（不図示）により生成された音声（例えば、「自転車がいます。」等）により、ドライバ１４へ警報を発することができる。自転車６０までの距離を測定できる場合、例えば、「自転車にぶつかります。」等により、ドライバ１４へ警報を発することができる。以上のように、警報部３２は危険度に応じた警報を発することができる。
【００６２】
本発明の実施例３における有効視野測定方法等における処理の流れは、以下のようになる（図８参照）。交差判断ステップ(ステップＳ５０)で移動対象領域と注視領域とが交差すると判断された場合、注視領域計算ステップ（ステップＳ１１０）で出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報ステップ（ステップＳ８０）をさらに備えることができる。図８のフローチャートに示されるように、警報ステップ（ステップＳ８０）は有効視野計算ステップ（ステップＳ７０）の後に設けてもよく、あるいは有効視野計算ステップ（ステップＳ７０）に先立って設けてもよい。
【００６３】
以上のように、本発明の実施例３によれば、実施例１における交差判断部２６により移動対象領域と注視領域とが交差すると判断された場合、注視領域計算部２５により出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報部３２をさらに備えることができる。この結果、ドライバ１４が中心視Ｃで自転車６０を捉えていないことを検出した場合、危険度に応じて警報を発することができる。
【産業上の利用可能性】
【００６４】
本発明の活用例として、高齢者の通常走行時における事故防止ツールに適用することができる。わが国の交通事故を法令違反別に見ると、安全不確認が約３割と最も多いと言われている。事故と視覚認知特性との関連では、特に中高年の有効視野と事故率との相関が高いことも報告されている。このため、本発明の有効視野測定システム１０等を利用して、交通状況に応じた自身の有効視野の範囲を常時把握することにより、過大評価することなく、安全運転スタイルを心がけるようにすることができる。
【００６５】
本発明の他の活用例として、通常走行時におけるヒューマンファクター組込型事故防止ツールに適用することができる。本発明の有効視野測定システム１０を従来の走行支援システムに組み込むことにより、判断・操作支援機能においても、精度の向上、ドライバのシステム受容性を高めることが期待できる。
【００６６】
本発明の別の活用例として、有効視野を拡大することで運転技術を向上させることに適用することができる。有効視野に与えるマイナス変化要因を特定し、それを低下させることにより運転技術を向上させることができる。即ち、有効視野は年齢だけではなく、心理的な変化（あせり、漫然等）要因によりカバーする範囲が変化する。このため、個人特性または交通状況の変化に応じ自身の有効視野が急激に変化することを事前に把握しておくことにより、安全運転スタイルを心がけることができる。
【符号の説明】
【００６７】
１０ 有効視野測定システム、 １１ 道路カメラ、 １２ ドライバモニタカメラ、 １３ フロントガラス、 １４ ドライバ、 １５ ハンドル、 １６ コンピュータ、 １７ ディスプレイ、 ２０ 機能ブロック、 ２１ 移動対象検出部、 ２２ 走行確認部、 ２３ 視線計測開始部、 ２４ 移動情報計算部、 ２５ 注視領域計算部、 ２６ 交差判断部、 ２７ 有効視野計算部、 ２８ 通過確認部、 ２９ 繰り返し部、 ３０ 検出終了部、 ３１ 移動対象出現時点計算部、 ３２ 警報部、 ４０ 記録装置、 ４１ 視線計測ＤＢ、 ４２ 交通状況ＤＢ、 ５０ 自動車、 ６０ 自転車、 ６１、６２ 歩行者。
【先行技術文献】
【特許文献】
【００６８】
【特許文献１】特開２００６−１８２３２４号公報
【非特許文献】
【００６９】
【非特許文献１】“What is UFOV?”、［online］、VISUAL AWARENESS、［平成２２年３月１１日検索］、インターネット、<URL: http://www.visualqwareness.com/Pages/whatis.html>
【非特許文献２】太田 博雄著、「運転走行時の有効視野測定装置の開発」、平成１０年５月１４日発行、日本交通心理学会第５７回大会。
【特許請求の範囲】
【請求項１】
車両の運転者の有効視野を測定する有効視野測定システムであって、車外の交通状況を測定する第１撮像器と、運転者を測定する第２撮像器と、第１撮像器及び第２撮像器に接続されたコンピュータとを備え、
第１撮像器の測定から検出された車外の移動対象と第２撮像器の測定から得られた実運転中の運転者の視線計測情報とに基づき、コンピュータが実運転中の運転者の有効視野をオンラインで計算することを特徴とする有効視野測定システム。
【請求項２】
請求項１記載の有効視野測定システムにおいて、前記コンピュータは、
第１撮像器により測定された車外の交通状況を交通状況記録部に記録すると共に該交通状況から所定の動物体解析手法により車外の移動対象を検出する移動対象検出手段と、
第１撮像器により測定された車外の交通状況から車両が走行中であることを確認する走行確認手段と、
前記走行確認手段により車両が走行中であることが確認され且つ前記移動対象検出手段により車外の移動対象が検出された場合、第２撮像器により測定された運転者の視線計測情報の視線計測記録部への記録を開始させる視線計測記録開始手段と、
前記走行確認手段により車両が走行中であることが確認され且つ前記移動対象検出手段により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める移動情報計算手段と、
前記視線計測記録開始手段により開始され前記視線計測記録部に記録された運転者の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に該注視領域に関連する視線計測情報を出力する注視領域計算手段と、
前記移動情報計算手段により求められた移動対象領域と前記注視領域計算手段により求められた注視領域とが交差するか否か判断する交差判断手段と、
前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する有効視野計算手段とを備えたことを特徴とする有効視野測定システム。
【請求項３】
請求項２記載の有効視野測定システムにおいて、
第１撮像器により測定された車外の交通状況から前記移動対象検出手段により検出された車外の移動対象が車両の前方を通過したか否かを確認する通過確認手段と、
前記交差判断手段により移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認手段により車外の移動対象が車両の前方を通過したと確認されなかった場合、前記移動情報計算手段、前記注視領域計算手段及び前記交差判断手段を繰り返す繰り返し手段とをさらに備えたことを特徴とする有効視野測定システム。
【請求項４】
請求項３記載の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認手段により車外の移動対象が車両の前方を通過したと確認された場合、車外の移動対象の検出を終了させる検出終了手段をさらに備えたことを特徴とする有効視野測定システム。
【請求項５】
請求項２乃至４のいずれかに記載の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記交通状況記録部に記録された過去の交通状況に基づき、前記移動対象検出手段により検出された車外の移動対象が出現した時点を求める移動対象出現時点計算手段をさらに備え、
前記有効視野計算手段は、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報と前記移動対象出現時点計算手段により求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することを特徴とする有効視野測定システム。
【請求項６】
請求項２乃至５のいずれかに記載の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報手段をさらに備えたことを特徴とする有効視野測定システム。
【請求項７】
請求項１乃至６のいずれかに記載の有効視野測定システムにおいて、第１撮像器は車両のフロントガラス後部に設置されたことを特徴とする有効視野測定システム。
【請求項８】
請求項１乃至７のいずれかに記載の有効視野測定システムにおいて、第２撮像器は車両のハンドル後部に設置されたことを特徴とする有効視野測定システム。
【請求項９】
車両の運転者の有効視野を測定する有効視野測定方法であって、車外の交通状況を測定する第１撮像器と、運転者を測定する第２撮像器と、第１撮像器及び第２撮像器に接続されたコンピュータとを用いるものであり、コンピュータが、
第１撮像器の測定から検出された車外の移動対象と第２撮像器の測定から得られた実運転中の運転者の視線計測情報とに基づき、実運転中の運転者の有効視野をオンラインで計算することを特徴とする有効視野測定方法。
【請求項１０】
請求項９記載の有効視野測定方法において、
第１撮像器により測定された車外の交通状況を交通状況記録部に記録すると共に該交通状況から所定の動物体解析手法により車外の移動対象を検出する移動対象検出ステップと、
第１撮像器により測定された車外の交通状況から車両が走行中であることを確認する走行確認ステップと、
前記走行確認ステップで車両が走行中であることが確認され且つ前記移動対象検出ステップで車外の移動対象が検出された場合、第２撮像器により測定された運転者の視線計測情報の視線計測記録部への記録を開始させる視線計測記録開始ステップと、
前記走行確認ステップで車両が走行中であることが確認され且つ前記移動対象検出ステップで車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める移動情報計算ステップと、
前記視線計測記録開始ステップで開始され前記視線計測記録部に記録された運転者の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に該注視領域に関連する視線計測情報を出力する注視領域計算ステップと、
前記移動情報計算ステップで求められた移動対象領域と前記注視領域計算ステップで求められた注視領域とが交差するか否か判断する交差判断ステップと、
前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する有効視野計算ステップとを備えたことを特徴とする有効視野測定方法。
【請求項１１】
請求項１０記載の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断されなかった場合、
第１撮像器により測定された車外の交通状況から前記移動対象検出ステップで検出された車外の移動対象が車両の前方を通過したか否かを確認する通過確認ステップと、
前記通過確認ステップで車外の移動対象が車両の前方を通過したと確認されなかった場合、前記移動情報計算ステップ、前記注視領域計算ステップ及び前記交差判断ステップを繰り返す繰り返しステップとをさらに備えたことを特徴とする有効視野測定方法。
【請求項１２】
請求項１１記載の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認ステップで車外の移動対象が車両の前方を通過したと確認された場合、車外の移動対象の検出を終了させる検出終了ステップをさらに備えたことを特徴とする有効視野測定方法。
【請求項１３】
請求項１０乃至１２のいずれかに記載の有効視野測定方法において、前記有効視野計算ステップに先立ち、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記交通状況記録部に記録された過去の交通状況に基づき、前記移動対象検出ステップで検出された車外の移動対象が出現した時点を求める移動対象出現時点計算ステップをさらに備え、
前記有効視野計算ステップは、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報と前記移動対象出現時点計算ステップで求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することを特徴とする有効視野測定方法。
【請求項１４】
請求項１０乃至１３のいずれかに記載の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報ステップをさらに備えたことを特徴とする有効視野測定方法。
【請求項１】
車両の運転者の有効視野を測定する有効視野測定システムであって、車外の交通状況を測定する第１撮像器と、運転者を測定する第２撮像器と、第１撮像器及び第２撮像器に接続されたコンピュータとを備え、
第１撮像器の測定から検出された車外の移動対象と第２撮像器の測定から得られた実運転中の運転者の視線計測情報とに基づき、コンピュータが実運転中の運転者の有効視野をオンラインで計算することを特徴とする有効視野測定システム。
【請求項２】
請求項１記載の有効視野測定システムにおいて、前記コンピュータは、
第１撮像器により測定された車外の交通状況を交通状況記録部に記録すると共に該交通状況から所定の動物体解析手法により車外の移動対象を検出する移動対象検出手段と、
第１撮像器により測定された車外の交通状況から車両が走行中であることを確認する走行確認手段と、
前記走行確認手段により車両が走行中であることが確認され且つ前記移動対象検出手段により車外の移動対象が検出された場合、第２撮像器により測定された運転者の視線計測情報の視線計測記録部への記録を開始させる視線計測記録開始手段と、
前記走行確認手段により車両が走行中であることが確認され且つ前記移動対象検出手段により車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める移動情報計算手段と、
前記視線計測記録開始手段により開始され前記視線計測記録部に記録された運転者の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に該注視領域に関連する視線計測情報を出力する注視領域計算手段と、
前記移動情報計算手段により求められた移動対象領域と前記注視領域計算手段により求められた注視領域とが交差するか否か判断する交差判断手段と、
前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する有効視野計算手段とを備えたことを特徴とする有効視野測定システム。
【請求項３】
請求項２記載の有効視野測定システムにおいて、
第１撮像器により測定された車外の交通状況から前記移動対象検出手段により検出された車外の移動対象が車両の前方を通過したか否かを確認する通過確認手段と、
前記交差判断手段により移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認手段により車外の移動対象が車両の前方を通過したと確認されなかった場合、前記移動情報計算手段、前記注視領域計算手段及び前記交差判断手段を繰り返す繰り返し手段とをさらに備えたことを特徴とする有効視野測定システム。
【請求項４】
請求項３記載の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認手段により車外の移動対象が車両の前方を通過したと確認された場合、車外の移動対象の検出を終了させる検出終了手段をさらに備えたことを特徴とする有効視野測定システム。
【請求項５】
請求項２乃至４のいずれかに記載の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記交通状況記録部に記録された過去の交通状況に基づき、前記移動対象検出手段により検出された車外の移動対象が出現した時点を求める移動対象出現時点計算手段をさらに備え、
前記有効視野計算手段は、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報と前記移動対象出現時点計算手段により求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することを特徴とする有効視野測定システム。
【請求項６】
請求項２乃至５のいずれかに記載の有効視野測定システムにおいて、前記交差判断手段により移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算手段により出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報手段をさらに備えたことを特徴とする有効視野測定システム。
【請求項７】
請求項１乃至６のいずれかに記載の有効視野測定システムにおいて、第１撮像器は車両のフロントガラス後部に設置されたことを特徴とする有効視野測定システム。
【請求項８】
請求項１乃至７のいずれかに記載の有効視野測定システムにおいて、第２撮像器は車両のハンドル後部に設置されたことを特徴とする有効視野測定システム。
【請求項９】
車両の運転者の有効視野を測定する有効視野測定方法であって、車外の交通状況を測定する第１撮像器と、運転者を測定する第２撮像器と、第１撮像器及び第２撮像器に接続されたコンピュータとを用いるものであり、コンピュータが、
第１撮像器の測定から検出された車外の移動対象と第２撮像器の測定から得られた実運転中の運転者の視線計測情報とに基づき、実運転中の運転者の有効視野をオンラインで計算することを特徴とする有効視野測定方法。
【請求項１０】
請求項９記載の有効視野測定方法において、
第１撮像器により測定された車外の交通状況を交通状況記録部に記録すると共に該交通状況から所定の動物体解析手法により車外の移動対象を検出する移動対象検出ステップと、
第１撮像器により測定された車外の交通状況から車両が走行中であることを確認する走行確認ステップと、
前記走行確認ステップで車両が走行中であることが確認され且つ前記移動対象検出ステップで車外の移動対象が検出された場合、第２撮像器により測定された運転者の視線計測情報の視線計測記録部への記録を開始させる視線計測記録開始ステップと、
前記走行確認ステップで車両が走行中であることが確認され且つ前記移動対象検出ステップで車外の移動対象が検出された場合、検出された車外の移動対象が存在する移動対象領域を求める移動情報計算ステップと、
前記視線計測記録開始ステップで開始され前記視線計測記録部に記録された運転者の視線計測情報に基づき、実運転中の運転者が見ている注視領域を求めると共に該注視領域に関連する視線計測情報を出力する注視領域計算ステップと、
前記移動情報計算ステップで求められた移動対象領域と前記注視領域計算ステップで求められた注視領域とが交差するか否か判断する交差判断ステップと、
前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報に基づき、実運転中の運転者の有効視野を計算する有効視野計算ステップとを備えたことを特徴とする有効視野測定方法。
【請求項１１】
請求項１０記載の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断されなかった場合、
第１撮像器により測定された車外の交通状況から前記移動対象検出ステップで検出された車外の移動対象が車両の前方を通過したか否かを確認する通過確認ステップと、
前記通過確認ステップで車外の移動対象が車両の前方を通過したと確認されなかった場合、前記移動情報計算ステップ、前記注視領域計算ステップ及び前記交差判断ステップを繰り返す繰り返しステップとをさらに備えたことを特徴とする有効視野測定方法。
【請求項１２】
請求項１１記載の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断されず、且つ前記通過確認ステップで車外の移動対象が車両の前方を通過したと確認された場合、車外の移動対象の検出を終了させる検出終了ステップをさらに備えたことを特徴とする有効視野測定方法。
【請求項１３】
請求項１０乃至１２のいずれかに記載の有効視野測定方法において、前記有効視野計算ステップに先立ち、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記交通状況記録部に記録された過去の交通状況に基づき、前記移動対象検出ステップで検出された車外の移動対象が出現した時点を求める移動対象出現時点計算ステップをさらに備え、
前記有効視野計算ステップは、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報と前記移動対象出現時点計算ステップで求められた車外の移動対象が出現した時点とに基づき、実運転中の運転者の有効視野を計算することを特徴とする有効視野測定方法。
【請求項１４】
請求項１０乃至１３のいずれかに記載の有効視野測定方法において、前記交差判断ステップで移動対象領域と注視領域とが交差すると判断された場合、前記注視領域計算ステップで出力された注視領域に関連する視線計測情報に基づき、所定の警報を発する警報ステップをさらに備えたことを特徴とする有効視野測定方法。
【図８】
【図１０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【公開番号】特開２０１１−２０６０７２（Ｐ２０１１−２０６０７２Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７３７７１（Ｐ２０１０−７３７７１）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]