説明

脇見警報装置

【課題】運転者の脇見状態の詳細に応じた適切な警報を行なう。
【解決手段】脇見警報装置10は、運転者の注視あるいは脇見が、視線方向のみに拠る状態(視線注視)であるか、顔向き方向に拠る状態(顔向き注視)であるかを判定する注視判定部23及び脇見判定部25を備える。注視判定部23は、視線方向又は顔向き方向が記憶部24に記憶された注視方向領域内に注視判定時間に亘って含まれる場合に、運転者が特定対象物を注視する状態であると判定する。脇見判定部25は、視線方向又は顔向き方向が、記憶部24に記憶された脇見方向領域内に脇見判定時間に亘って含まれる場合に、運転者が脇見状態であると判定する。顔向き注視での注視判定時間及び脇見判定時間は、視線注視での注視判定時間及び脇見判定時間よりも短く設定されている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脇見警報装置に関する。
【背景技術】
【0002】
従来、例えば運転者の顔向き角度または視線方向、あるいは、運転者の顔向き角度および視線方向に基づき、運転者が非正面状態であるか否かを判定し、この非正面状態が継続される時間に基づき、脇見に対する警報出力のタイミングや自動的な走行制御の実行タイミングを変更する(早める)装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−72570号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記従来技術に係る装置によれば、単に、運転者の顔向き角度または視線方向が前方を向いているか否か、あるいは、運転者の顔向き角度および視線方向が前方を向いているか否かに応じて、正面状態であるか、あるいは、非正面状態(脇見状態)であるかを一律に判定するだけであり、運転者の脇見状態の詳細に応じた適切な警報を行なうことができないという問題が生じる。
【0005】
本発明は上記事情に鑑みてなされたもので、運転者の脇見状態の詳細に応じた適切な警報を行なうことが可能な脇見警報装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決して係る目的を達成するために、本発明の第1態様に係る脇見警報装置は、運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段(例えば、実施の形態での乗員カメラ12)と、該撮像手段から出力された前記顔画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段(例えば、実施の形態での視線方向検出部21)と、前記撮像手段から出力された前記顔画像に基づき前記運転者の顔向き方向を検知して検知結果を出力する顔向き検知手段(例えば、実施の形態での顔向き検知部22)と、前記視線方向および前記顔向き方向に対して設定された所定の脇見方向領域を記憶する記憶手段(例えば、実施の形態での記憶部24)と、前記視線方向検出手段から出力された前記検出結果の前記視線方向または前記顔向き検知手段から出力された前記検知結果の前記顔向き方向が、前記記憶手段に記憶された前記脇見方向領域内に所定時間に亘って継続して含まれる場合に、前記運転者が脇見状態(例えば、実施の形態での特定対象物注視の状態、脇見状態)であると判定して判定結果を出力する脇見判定手段(例えば、実施の形態での注視判定部23および脇見判定部25)と、該脇見判定手段から出力された前記判定結果において前記運転者が脇見状態であると判定された場合に所定の警報を行なう警報手段(例えば、実施の形態での警報制御部28および報知装置14)と、前記運転者の脇見状態に応じて前記所定時間を設定する時間設定手段(例えば、実施の形態での時間設定部26)とを備える脇見警報装置であって、前記脇見状態は、前記視線方向のみに拠る状態であるか、あるいは、前記顔向き方向に拠る状態であるか、を判定する脇見状態判定手段(例えば、実施の形態での注視判定部23および脇見判定部25が兼ねる)を備え、前記時間設定手段は、前記脇見状態判定手段により前記脇見状態は前記顔向き方向に拠る状態であると判定された場合に、前記脇見状態判定手段により前記脇見状態は前記視線方向のみに拠る状態であると判定された場合に比べて、より短い時間を前記所定時間として設定する。
【0007】
さらに、本発明の第2態様に係る脇見警報装置は、前記運転者により操作可能な操作部を有する車載機器(例えば、実施の形態での車載機器15)と、前記操作部が操作されているか否かを判定して判定結果を出力する操作判定手段(例えば、実施の形態での操作判定部27)とを備え、前記記憶手段に記憶されている前記脇見方向領域は前記車載機器が配置される方向を含み、前記時間設定手段は、前記脇見判定手段により前記前記運転者が前記車載機器に対する前記脇見状態であると判定され、かつ、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていると判定された場合に、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていないと判定された場合に比べて、より短い時間を前記所定時間として設定する。
【発明の効果】
【0008】
本発明の第1態様に係る脇見警報装置によれば、視線方向のみによる脇見状態に比べて、正面方向への復帰に要する時間が長くなる顔向き方向による脇見状態に対して、より短い時間を所定時間として設定することにより、運転者の脇見状態の詳細に応じて警報を行なうタイミングを変更する(早める)ことができ、運転者の脇見状態に応じて適切な警報を行なうことができる。
【0009】
さらに、本発明の第2態様に係る脇見警報装置によれば、車載機器の操作を伴わない脇見状態に比べて、正面方向への復帰に要する時間が長くなる車載機器の操作を伴う脇見状態に対して、より短い時間を所定時間として設定することにより、運転者の脇見状態の詳細に応じて警報を行なうタイミングを変更する(早める)ことができ、運転者の脇見状態に応じて適切な警報を行なうことができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施の形態に係る脇見警報装置の構成図である。
【図2】本発明の実施の形態に係る運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θの一例を示す図である。
【図3】本発明の実施の形態に係る脇見判定角度と車両の速度との対応関係の例を示すグラフ図である。
【図4】本発明の実施の形態に係る脇見判定時間と注視角度と車両の速度との対応関係の例を示すグラフ図である。
【図5】本発明の実施の形態に係る脇見警報装置の動作を示すフローチャートである。
【図6】本発明の実施の形態に係る特定対象物注視判定の処理を示すフローチャートである。
【図7】本発明の実施の形態に係る脇見判定の処理を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の脇見警報装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による脇見警報装置10は、例えば図1に示すように、撮像制御装置11と、乗員カメラ12と、処理装置13と、報知装置14と、車載機器15と、車速センサ16とを備えて構成され、さらに、処理装置13は、視線方向検出部21と、顔向き検知部22と、注視判定部23と、記憶部24と、脇見判定部25と、時間設定部26と、操作判定部27と、警報制御部28とを備えて構成されている。
【0012】
撮像制御装置11により制御される乗員カメラ12は、例えば車室内のインスツルメントパネルに配置され、少なくとも車両の運転席に着座した運転者の顔を撮像対象として撮像領域内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。
【0013】
視線方向検出部21は、例えば乗員カメラ12から出力された顔画像に対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行ない、左右の眼の位置(例えば、虹彩の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置など)を検出する。そして、この検出結果に基づく処理の処理によって、運転者の視線方向を検出し、さらに、運転席に着座した運転者の正面方向に対する視線方向のなす角度(注視角度)を算出する。
【0014】
顔向き検知部22は、例えば乗員カメラ12から出力された顔画像に基づき、顔中心位置FCと、左右の顔端位置FL,FRとを検出し、これらの検出結果に基づき、例えばひとの顔をシリンダー形状に近似して顔向きを算出するシリンダー法などによって、運転者の顔向き方向を検知する。
【0015】
顔向き検知部22は、例えば図2に示すように、左右の顔端位置FL,FR間の中央位置COと顔中心位置FCとの間の左右方向での距離を顔中心のずれrとし、左右の顔端位置FL,FR間の距離を顔の幅2Rとし、中央位置COから乗員カメラ12に向かう方向が運転席に着座した運転者の正面方向に対してなす角度αと、顔中心のずれrと顔の幅2Rとに基づき、運転席に着座した運転者の正面方向に対する顔向き方向のなす角度(顔向き角度)θを算出する。例えば角度β=90−αとして、正弦定理による下記数式(1)を変形して下記数式(2)が得られ、この下記数式(2)から角度θが下記数式(3)に示すように記述される。
【0016】
【数1】

【0017】
【数2】

【0018】
【数3】

【0019】
注視判定部23は、視線方向検出部21により検出された視線方向または顔向き検知部22により検知された顔向き方向に基づき、車両に搭載されて運転者により操作される各種の車載機器15などの特定対象物(例えば、ドアミラー、ナビゲーション装置、空調装置など)を運転者が注視しているか否かを判定する。
【0020】
例えば、注視判定部23は、視線方向または顔向き方向が、予め記憶部24に記憶された所定の注視方向領域内に所定時間(各注視判定時間)に亘って継続して含まれる場合に、運転者が特定対象物を注視する状態(特定対象物注視の状態)であると判定して、判定結果の信号を出力する。
また、注視判定部23は、視線方向検出部21により検出された視線方向および顔向き検知部22により検知された顔向き方向に基づき、運転者による特定対象物の注視が、視線方向のみに拠る状態(視線注視)であるか、あるいは、顔向き方向に拠る状態(顔向き注視)であるかを判定する。
【0021】
記憶部24は、例えば、所定の注視方向領域を各特定対象物毎の配置位置に応じて記憶している。
また、記憶部24は、各注視判定時間として、例えば、各特定対象物毎に対して、かつ、顔向き注視および視線注視の各注視状態毎に対して、特定対象物注視判定時間と特定対象物操作時注視判定時間とを記憶している。なお、特定対象物注視判定時間は、運転者が各特定対象物を注視している場合に対応する注視判定時間であって、特定対象物操作時注視判定時間は、運転者が注視している各特定対象物を運転者が操作している場合に対応する注視判定時間である。そして、特定対象物操作時注視判定時間は特定対象物注視判定時間よりも短く設定されている。また、各注視判定時間に対して、顔向き注視での注視判定時間は、視線注視での注視判定時間よりも短く設定されている。
【0022】
脇見判定部25は、視線方向検出部21により検出された視線方向または顔向き検知部22により検知された顔向き方向が、予め記憶部24に記憶された所定の脇見方向領域内に所定時間(各脇見判定時間)に亘って継続して含まれる場合に、運転者が脇見状態であると判定して、判定結果の信号を出力する。
また、脇見判定部25は、視線方向検出部21により検出された視線方向および顔向き検知部22により検知された顔向き方向に基づき、運転者の脇見が、視線方向のみに拠る状態(視線脇見)であるか、あるいは、顔向き方向に拠る状態(顔向き脇見)であるかを判定する。
【0023】
記憶部24は、例えば、所定の脇見方向領域を、運転席に着座した運転者の正面方向に対してなす角度である所定の脇見判定角度により設定しており、この脇見判定角度は、例えば図3(A)〜(C)の何れかに示すように、車速センサ16により検出される車両の速度に応じて変化するように設定されている。例えば、脇見判定角度は、車両の速度が増大することに伴い、低下傾向に変化するように設定されている。
【0024】
また、記憶部24は、例えば、顔向き脇見および視線脇見の各脇見状態毎に対して各脇見判定時間を記憶している。脇見判定時間は、例えば図4(A),(B)の何れかに示すように、車速センサ16により検出される車両の速度と、注視角度とに応じて変化するように設定されている。例えば、脇見判定時間は、車両の速度が増大することに伴い、あるいは、注視角度が増大することに伴い、低下傾向に変化するように設定されている。なお、顔向き脇見での脇見判定時間は、視線脇見での脇見判定時間よりも短く設定されている。
【0025】
時間設定部26は、注視判定部23が記憶部24から取得する各注視判定時間を設定し、脇見判定部25が記憶部24から取得する各脇見判定時間を設定する。
例えば、時間設定部26は、顔向き注視および視線注視の各注視状態毎に対して、運転者が注視している各種の車載機器15などの特定対象物と、運転者が注視している特定対象物に対する運転者による操作の有無とに応じて、注視判定部23により記憶部24から取得される各注視判定時間を設定する。
また、例えば、時間設定部26は、顔向き脇見および視線脇見の各脇見状態毎に対して、車速センサ16により検出される車両の速度と、注視角度とに応じて、脇見判定部25により記憶部24から取得される脇見判定時間を設定する。
【0026】
操作判定部27は、車両に搭載されて運転者により操作される各種の車載機器15などの特定対象物毎に対する運転者の操作の有無を判定して、判定結果を出力する。
【0027】
警報制御部28は、注視判定部23および脇見判定部25から出力される各判定結果の信号に応じて、報知装置14による警報出力の動作を制御する。
【0028】
なお、報知装置14は、例えば、触覚的伝達装置と、視覚的伝達装置と、聴覚的伝達装
置とを備えて構成されている。
触覚的伝達装置は、例えばシートベルト装置や操舵制御装置などであって、警報制御部28から出力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自
車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイー
ルに自車両の運転者が触覚的に知覚可能な振動(ステアリング振動)を発生させる。
視覚的伝達装置は、例えば表示装置などであって、警報制御部28から入力される制御
信号に応じて、例えば表示装置に所定の情報を表示したり、所定の灯体を点滅させる。
聴覚的伝達装置は、例えばスピーカなどであって、警報制御部28から入力される制御
信号に応じて所定の音や音声などを出力する。
【0029】
警報制御部28は、例えば下記表1に示すように、運転者が脇見状態であると脇見判定部25により判定された場合には、警報種別を「脇見」として、視覚的伝達装置において青色の発光表示を行ない、聴覚的伝達装置および触覚的伝達装置においては警報の出力を禁止する。
また、例えば運転者が特定対象物を操作せずに注視している状態であると注視判定部23により判定された場合には、警報種別を「特定対象物注視」として、視覚的伝達装置において黄色の発光表示を行ない、聴覚的伝達装置において所定の単音を出力し、触覚的伝達装置においては警報の出力を禁止する。
また、例えば運転者が特定対象物を操作して注視している状態であると注視判定部23により判定された場合には、警報種別を「特定対象物操作」として、視覚的伝達装置において赤色の発光表示を行ない、聴覚的伝達装置において所定の繰り返し音を出力し、触覚的伝達装置において振動を発生させる。
つまり、運転者の脇見状態に対する危険の度合いに応じて視覚的伝達装置および聴覚的伝達装置および触覚的伝達装置における警報の出力態様を変化させ、危険度の度合いが高いほど運転者の注意を喚起するように、運転者が煩わしいと感じる警報を行なう。
【0030】
【表1】

【0031】
この実施の形態による脇見警報装置10は上記構成を備えており、次に、この脇見警報装置10の動作について説明する。
【0032】
先ず、例えば図5に示すステップS01においては、乗員カメラ12から出力された顔画像に基づき顔向き方向を検出する。
次に、ステップS02においては、乗員カメラ12から出力された顔画像に基づき視線方向を検出する。
次に、ステップS03においては、車両の速度(車速)を取得する。
次に、ステップS04においては、後述する特定対象物注視判定の処理を実行する。
【0033】
次に、ステップS05においては、運転者が特定対象物を注視する状態(特定対象物注視の状態)であるか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS08に進む。
一方、この判定結果が「NO」の場合には、ステップS06に進む。
そして、ステップS06においては、後述する脇見判定の処理を実行する。
次に、ステップS07においては、運転者が脇見状態であるか否かを判定する。
この判定結果が「YES」の場合には、ステップS08に進む。
そして、ステップS08においては、上述したステップS04またはステップS06にて判定された警報種別に応じた警報を実行し、エンドに進む。
【0034】
以下に、上述したステップS04での特定対象物注視判定の処理について説明する。
先ず、例えば図6に示すステップS11においては、視線方向検出部21により検出された視線方向または顔向き検知部22により検知された顔向き方向に基づき、車両に搭載されて運転者により操作される各種の車載機器15などの複数の特定対象物から、運転者が注視している特定対象物(注視特定対象物)を判定する。
【0035】
次に、ステップS12においては、顔向き角度が所定の閾値(例えば、30°など)以上、または、顔向き角度と注視角度との差が所定値(例えば、5°など)未満であるか否かを判定する。
この判定結果が「YES」の場合には、ステップS13に進み、このステップS13においては、特定対象物注視判定時間および特定対象物操作時注視判定時間として、顔向き注視に対応する特定対象物注視判定時間および特定対象物操作時注視判定時間を設定する。
一方、この判定結果が「NO」の場合には、ステップS14に進み、このステップS14においては、特定対象物注視判定時間および特定対象物操作時注視判定時間として、視線注視に対応する特定対象物注視判定時間および特定対象物操作時注視判定時間を設定する。
【0036】
そして、ステップS15においては、運転者が特定対象物を注視しているか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS16に進む。
そして、ステップS16においては、運転者は、注視している特定対象物を操作しているか否かを判定する。
この判定結果が「YES」の場合には、ステップS17に進む。
一方、この判定結果が「NO」の場合には、後述するステップS20に進む。
【0037】
そして、ステップS17においては、運転者が特定対象物を注視している継続時間(特定対象物注視継続時間)が特定対象物操作時注視判定時間よりも長いか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS18に進む。
そして、ステップS18においては、警報種別を「特定対象物操作」とする。
そして、ステップS19においては、運転者が特定対象物を注視する状態(特定対象物注視の状態)であると判定して、リターンに進む。
【0038】
また、ステップS20においては、運転者が特定対象物を注視している継続時間(特定対象物注視継続時間)が特定対象物注視判定時間よりも長いか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS21に進む。
そして、ステップS21においては、警報種別を「特定対象物注視」とし、上述したステップS19に進む。
【0039】
以下に、上述したステップS06での脇見判定の処理について説明する。
先ず、例えば図7に示すステップS31においては、例えば車速センサ16により検出される車両の速度に応じて、脇見判定角度を設定する。
次に、ステップS32においては、顔向き角度が所定の閾値(例えば、30°など)以上、または、顔向き角度と注視角度との差(例えば、5°など)が所定値未満であるか否かを判定する。
この判定結果が「YES」の場合には、ステップS33に進み、このステップS33においては、脇見判定時間として、顔向き脇見に対応する脇見判定時間を設定する。
一方、この判定結果が「NO」の場合には、ステップS34に進み、このステップS34においては、脇見判定時間として、視線脇見に対応する脇見判定時間を設定する。
【0040】
そして、ステップS35においては、注視角度が脇見判定角度よりも大きいか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS36に進む。
そして、ステップS36においては、注視角度が脇見判定角度よりも大きい状態の継続時間(脇見継続時間)が脇見判定時間よりも長いか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS37に進む。
そして、ステップS37においては、運転者が脇見状態であると判定する。
そして、ステップS38においては、警報種別を「脇見」として、リターンに進む。
【0041】
上述したように、本実施の形態による脇見警報装置10によれば、視線方向のみによる脇見あるいは注視に比べて、正面方向への復帰に要する時間が長くなる顔向き方向による脇見あるいは注視に対して、より短い脇見判定時間および各注視判定時間(つまり、特定対象物注視判定時間および特定対象物操作時注視判定時間)を設定することにより、運転者の脇見あるいは運転者による特定対象物の注視の詳細に応じて警報を行なうタイミングを変更する(早める)ことができ、運転者の脇見状態に応じて適切な警報を行なうことができる。
さらに、特定対象物に対する運転者の操作を伴わない注視に比べて、正面方向への復帰に要する時間が長くなる特定対象物に対する運転者の操作を伴う注視に対して、より短い注視判定時間(つまり、特定対象物注視判定時間より短い特定対象物操作時注視判定時間)を設定することにより、運転者による特定対象物の注視の詳細に応じて警報を行なうタイミングを変更する(早める)ことができ、運転者の脇見状態に応じて適切な警報を行なうことができる。
【0042】
なお、上述した実施の形態においては、特定対象物注視判定時間と特定対象物操作時注視判定時間とを、車速センサ16により検出される車両の速度に応じて変化するように設定されてもよい。この場合には、例えば、各注視判定時間は、車両の速度が増大することに伴い、低下傾向に変化するように設定される。
【符号の説明】
【0043】
10 脇見警報装置
12 乗員カメラ(撮像手段)
14 報知装置(警報手段)
15 車載機器
21 視線方向検出部(視線方向検出手段)
22 顔向き検知部(顔向き検知手段)
23 注視判定部(脇見判定手段、脇見状態判定手段)
24 記憶部(記憶手段)
25 脇見判定部(脇見判定手段、脇見状態判定手段)
26 時間設定部(時間設定手段)
27 操作判定部(操作判定手段)
28 警報制御部(警報手段)

【特許請求の範囲】
【請求項1】
運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段と、前記撮像手段から出力された前記顔画像に基づき前記運転者の顔向き方向を検知して検知結果を出力する顔向き検知手段と、
前記視線方向および前記顔向き方向に対して設定された所定の脇見方向領域を記憶する記憶手段と、
前記視線方向検出手段から出力された前記検出結果の前記視線方向または前記顔向き検知手段から出力された前記検知結果の前記顔向き方向が、前記記憶手段に記憶された前記脇見方向領域内に所定時間に亘って継続して含まれる場合に、前記運転者が脇見状態であると判定して判定結果を出力する脇見判定手段と、
該脇見判定手段から出力された前記判定結果において前記運転者が脇見状態であると判定された場合に所定の警報を行なう警報手段と、
前記運転者の脇見状態に応じて前記所定時間を設定する時間設定手段とを備える脇見警報装置であって、
前記脇見状態は、前記視線方向のみに拠る状態であるか、あるいは、前記顔向き方向に拠る状態であるか、を判定する脇見状態判定手段を備え、
前記時間設定手段は、前記脇見状態判定手段により前記脇見状態は前記顔向き方向に拠る状態であると判定された場合に、前記脇見状態判定手段により前記脇見状態は前記視線方向のみに拠る状態であると判定された場合に比べて、より短い時間を前記所定時間として設定することを特徴とする脇見警報装置。
【請求項2】
前記運転者により操作可能な操作部を有する車載機器と、
前記操作部が操作されているか否かを判定して判定結果を出力する操作判定手段とを備え、
前記記憶手段に記憶されている前記脇見方向領域は前記車載機器が配置される方向を含み、
前記時間設定手段は、前記脇見判定手段により前記前記運転者が前記車載機器に対する前記脇見状態であると判定され、かつ、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていると判定された場合に、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていないと判定された場合に比べて、より短い時間を前記所定時間として設定することを特徴とする請求項1に記載の脇見警報装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−164712(P2011−164712A)
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願番号】特願2010−23531(P2010−23531)
【出願日】平成22年2月4日(2010.2.4)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】