視線方向推定装置及び視線方向推定方法
【課題】車両運転者の目の向きを特定できない場合でも、車両運転者の視線方向を推定できるようにする。
【解決手段】シーンモデルデータベース5に運転者ごと、運転シーンごとのシーンモデルを格納しておく。視線方向推定処理部6は、個人認証処理部3による認証結果と運転シーン推定処理部4による推定結果とに基づいて、シーンモデルデータベース5に格納されている各種シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、顔向き推定処理部2による推定結果をこのシーンモデルと照合することで、車両運転者の視線方向を推定する。
【解決手段】シーンモデルデータベース5に運転者ごと、運転シーンごとのシーンモデルを格納しておく。視線方向推定処理部6は、個人認証処理部3による認証結果と運転シーン推定処理部4による推定結果とに基づいて、シーンモデルデータベース5に格納されている各種シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、顔向き推定処理部2による推定結果をこのシーンモデルと照合することで、車両運転者の視線方向を推定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両運転者の視線方向を推定する視線方向推定装置及び視線方向推定方法に関する。
【背景技術】
【0002】
近年、車両運転者の視線の方向を検出する技術の研究開発が盛んに行われており、運転者の視線方向から脇見や安全確認不履行などを検出して警報を行う安全装置、運転者の視線方向から次の行動や意図を予測して車両動作を制御する車両運動制御装置、さらには、運転者の視線方向により所定の入力操作を行う入力装置などへの適用が期待されている。
【0003】
このような車両運転者の視線方向を検出する装置としては、例えば、特許文献1にて開示されるように、車両運転者の眼球方向と頭部方向とを合成して視線方向を特定するものが知られている。この特許文献1に記載の視線計測装置では、眼球センサや撮像装置により車両運転者の瞳部位置を検出し、予め求めておいた瞳部位置と眼球方向との相関関係を示す情報に基づいて眼球センサや撮像装置で検出した瞳部位置を補正して、車両運転者の眼球方向を求めている。そして、求めた眼球方向を頭部方向と合成して、車両運転者の視線方向を特定するようにしている。
【0004】
また、特許文献2には、外乱が太陽光である場合に太陽光スペクトルの特性により分光放射照度が減衰する波長領域の光を利用して対象物の状態を高いSN比で検出できるようにした対象物検出装置が開示されており、その実施形態として、車両運転者の眼球を対象物とし、車両運転者の角膜反射像及び網膜反射像を取得して、その注視点を計測するように構成した対象物検出装置が記載されている。
【0005】
また、特許文献3には、第1カメラで撮像した車両運転者の顔画像の画像データから、パターン認識やステレオ立体視の理論に基づく処理によって車両運転者の眼球の3次元位置座標や視線方向ベクトル等を判断して視線方向を検出するとともに、第2カメラで撮像した車両周囲の風景の画像データから認識対象物及びその3次元位置を検出し、これら車両運転者の視線方向と認識対象物の位置とから車両運転者が注視している認識対象物を特定することが記載されている。この特許文献3に記載の状態推定装置では、さらに、車両運転者による注視対象への視線配分に基づいて、車両運転者の生理状態や心理状態などを推定するようにしている。
【特許文献1】特開平11−276438号公報
【特許文献2】特開2000−28315号公報
【特許文献3】特開2006−48171号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
以上の特許文献1〜3にて開示されているように、車両運転者の視線方向を検出する従来の技術は、いずれも車両運転者の目の向きが特定できることを前提としていた。しかしながら、車両運転者は日差しが強すぎるときにはサングラスを着用することもあり、サングラス着用時には車両運転者の目の向きを特定できない場合がある。また、車両運転者が視力矯正用の眼鏡を着用している場合にも、眼鏡のレンズに風景の映り込みが発生することで、車両運転者の目の向きを特定できない場合がある。このため、車両運転者がサングラスや眼鏡を着用しているときには、従来の技術では車両運転者の視線方向を適切に推定することが困難であるという問題があった。
【0007】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両運転者の目の向きを特定できない場合でも、車両運転者の視線方向を推定できるようにした視線方向推定装置及び視線方向推定方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
車両運転者の顔の向きは、車両の運転シーンごとにある程度パターン化されたかたちで変化する。そして、この運転シーンごとの顔向きの変化パターンは、車両運転者の視線移動と高い相関があり、車両の運転シーンと車両運転者の顔向きが分かれば、車両運転者の視線方向をある程度正確に推定できる。ただし、車両運転シーンごとの顔向きの変化パターンには個人差があり、車両運転者が変われば、視線方向に対応する顔向きも変化する。そこで、本発明に係る視線方向推定装置及び視線方向推定方法では、当該視線方向推定装置が搭載される車両の運転者となり得る複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを記憶しておくようにしている。そして、車両運転者に対する個人認証処理と車両の運転シーンの推定とを行い、これらの結果に基づいて、記憶している各シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定する。また、車両運転者の顔画像を撮影して顔画像から顔向きを推定し、現在の運転シーンに対応した車両運転者のシーンモデルと車両運転者の顔向きの推定結果とから、車両運転者の視線方向を推定する。
【発明の効果】
【0009】
本発明によれば、サングラスや眼鏡の着用時など、車両運転者の目の向きが特定できない場合であっても、車両運転者の視線方向を適切に推定することができる。
【発明を実施するための最良の形態】
【0010】
以下、本発明を適用した視線方向推定装置の具体例について、図面を参照しながら詳細に説明する。
【0011】
[第1の実施形態]
<装置構成>
図1は、本発明の一実施形態である視線方向推定装置の構成を示すブロック図である。本実施形態の視線方向推定装置は、図1に示すように、カメラ1、顔向き推定処理部2、個人認証処理部3、運転シーン推定処理部4、シーンモデルデータベース5、視線方向推定処理部6を備えて構成される。これらの各構成要素のうち、顔向き推定処理部2、個人認証処理部3、運転シーン推定処理部4、視線方向推定処理部6は、処理機能別に区別した構成要素であり、ハードウェアとしては一体であってもよいし、個別のハードウェアで実現されていてもよい。
【0012】
カメラ1は、車両に搭載されて車両運転者の顔画像を撮影するものである。このカメラ1としては、CCDやCMOSなどの撮像素子、レンズ、フィルタ、及び近赤外領域の照明を有するものが用いられる。カメラ1で撮影された車両運転者の顔画像は、フレーム単位の映像信号として、所定のフレーム周期で顔向き推定処理部2へと随時送られる。
【0013】
顔向き推定処理部2は、カメラ1で撮影された車両運転者の顔画像に基づいて、車両運転者の顔向きを推定する。具体的には、この顔向き推定処理部2は、例えば、カメラ1で撮影された顔画像から複数の特徴点を抽出し、抽出した特徴点の位置関係に基づいて車両運転者の顔向きを推定する処理を行う。
【0014】
個人認証処理部3は、車両運転者に対する個人認証処理を行う。具体的には、この個人認証処理部3は、例えば、カメラ1で撮影された車両運転者の顔画像を用いて、このカメラ1で撮影された顔画像と予め記憶している登録者の顔画像とのマッチングなどの手法により、車両運転者が誰であるかを特定する個人認証処理を行う。なお、個人認証処理の手法としては、カメラ1で撮影された顔画像を用いる以外にも、例えば、ICチップによるID確認や、指紋、音声、静脈などの生体情報による認証、パスワード入力による認証など、一般的に知られている何れの手法を採用してもよい。
【0015】
運転シーン推定手段4は、車両信号と周辺環境情報とに基づいて、車両の運転シーンを推定する。ここで、車両信号とは、例えば、車両の走行速度を示す信号や操舵角度を示す信号、ウィンカーの操作信号、アクセルやブレーキの操作信号など、車両に搭載された各種センサで検出される車両の状態を表す信号である。また、周辺環境情報とは、例えば、車両の現在位置周辺における道路環境についての情報など、車両に搭載されたナビゲーションシステムや路車間通信、車車間通信等により取得される情報である。運転シーン推定手段4は、これら車両信号と周辺環境情報とに基づいて、例えば、右折や左折を行うシーン、車線変更を行うシーン、交差点を直進するシーンといったような、各種の運転シーンを推定する。
【0016】
シーンモデルデータベース5には、車両の運転者となり得る複数の登録者を対象として、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルが、各登録者ごとに識別可能に記憶されている。このシーンモデルデータベース5に記憶されているシーンモデルは、例えば、車両運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定したデータである。このようなシーンモデルは、予めデフォルトのデータを記憶しておいて、実際に車両の運転が行われたときに、各車両運転シーンごとに車両運転者の顔向きの時系列変化を求めて、これに合わせてデフォルトのデータを修正していくようにすることで、車両運転者の特性を反映した精度の高いデータとすることができる。
【0017】
視線方向推定処理部6は、個人認証処理部3による認証結果と運転シーン推定処理部4による推定結果とに基づいて、シーンモデルデータベース5に記憶されている各種のシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと顔向き推定処理部2による推定結果とに基づいて、車両運転者の視線方向を推定する。すなわち、視線方向推定処理部6は、個人認証処理部3による認証結果から、シーンモデルデータベース5に記憶されている各種シーンモデルの中で、車両運転者に対応するものを識別し、さらに、運転シーン推定処理部4による推定結果から、車両運転者に対応するシーンモデルのうちで、現在の運転シーンに対応するものを識別する。そして、この現在の運転シーンに対応した車両運転者のシーンモデルをシーンモデルデータベース5から読み出して、顔向き推定処理部2で推定された車両運転者の顔向きをシーンモデルに照らし合わせることで、車両運転者の視線方向を推定する。
【0018】
なお、車両運転者の顔向きとシーンモデルとの照合による視線方向の推定は、車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合に特に有効な処理であるので、視線方向推定処理部6は、運転シーン推定処理部4により推定された現在の車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンであるかどうかを判定して、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合にのみ、以上のような視線方向の推定処理を行うようにしてもよい。
【0019】
<顔向き推定処理部による処理>
ここで、顔向き推定処理部2による処理について、具体例を例示しながらさらに詳しく説明する。
【0020】
顔向き推定処理部2は、カメラ1から送られてくる映像信号をディジタル画像としてキャプチャし、フレームメモリに車両運転者の顔画像として取り込む。そして、顔向き推定処理部2は、このフレームメモリに取り込んだ顔画像に対してエッジ検出処理やグラフマッチング処理などの画像処理を行い、顔画像から複数の特徴点を抽出する。ここで、顔画像から抽出される特徴点は画像上で濃度変化が大きく現われる点であり、一般的に、左右の目、左右の眉、鼻、口などが対象となる。ただし、車両運転者がサングラスや眼鏡を着用している場合には、左右の目を特徴点として検出できない場合も多い。
【0021】
図2は、顔向き推定処理部2による特徴点抽出処理の一例を示すフローチャートである。以下、この図2のフローチャートに沿って、図3に示すような顔画像から特徴点を抽出する処理について具体的に説明する。
【0022】
顔向き推定処理部2は、まず「横エッジ検出」ステップにおいて、フレームメモリ上の顔画像の縦の各列について、濃度値の極小値を検出する。
【0023】
次に、「ノイズ除去」ステップにおいて、「横エッジ検出」ステップで検出されら濃度値の極小点のうち、濃度変化が設定値未満のものと、縦横斜めに隣接する他の極小点がないもの(つまり独立点)を削除する。
【0024】
次に、「顔特徴候補選択」ステップにおいて、個々の極小点ごとの隣接する極小点との連接を調べて、連続する極小点の集まりをエッジとして捉え、エッジの傾きの大きいものを削除する。また、横方向への広がりが設定値以上のものについては、濃度変化の最も小さい極小点を削除することにより分割を行い、顔特徴点候補とする。顔特徴候補選択結果の一例を図4に示す。ここで、「顔特徴候補選択」ステップで得られた顔特徴点候補の数が設定値未満の場合には、現フレームの顔画像においては特徴点の抽出ができないと判断して処理を抜ける。
【0025】
以上と同様の処理を縦エッジについても行い、輪郭の候補とする。輪郭候補選択結果の一例を図5に示す。
【0026】
次に、「ラベリング」ステップにおいて、「顔特徴候補選択」ステップで得られた各顔特徴候補にラベルをつける。ラベリング結果の一例を図6に示す。
【0027】
次に、「グラフマッチング」ステップにおいて、「ラベリング」ステップでラベルが付けられた顔特徴候補の組み合わせを、あらかじめ用意した顔特徴(ノード)と顔特徴間の関係(ブランチ)に照合する。ここで、照合数が0の場合には、現フレームの顔画像においては特徴点の抽出ができないとして処理を抜ける。
【0028】
次に、「顔特徴検出」ステップにおいて、「グラフマッチング」ステップで照合された複数の顔特徴の組み合わせ結果のうち、あらかじめ用意した顔特徴と顔特徴間の関係に最も一致する顔特徴の組み合わせを選択する。顔特徴検出結果の一例を図7に示す。ここで、一致の度合いを表す評価値が最小評価値未満の場合には、現フレームの顔画像においては特徴点の抽出ができないと判断して処理を抜ける。
【0029】
以上の特徴点抽出処理により、例えば図2に示した顔画像からは、右眉、左眉、右上眼鏡フレーム、左上眼鏡フレーム、眼鏡フレーム中心、右下眼鏡フレーム、左下眼鏡フレーム、鼻、口(左右両端の2点)が、顔の特徴点として抽出される。図3に示した顔画像から抽出された各特徴点間の位置関係を、鼻の位置を基準として表したグラフを図8に示す。なお、この図8のグラフでは、図2に示した顔画像のサイズ(縦320画素、縦240画素)を1/5にしたサイズで各特徴点の位置関係を表している。
【0030】
顔画像から抽出される各特徴点は、マッチングのため一定の範囲を持っており、グラフマッチングの際に、基準となる顔部位(例えば鼻など)を基準として、その範囲内に他の顔特徴点が何個入るかという照合を行う。また、各特徴点間は、重み付けの係数を保持しており、グラフマッチング結果に対して、マッチングした特徴点の重みを合計した値を評価値とする。また、顔の輪郭については、例えば図5に示したような縦エッジのうちで、特徴点の外側にあるものを顔の輪郭として採用する。
【0031】
ところで、カメラ1から顔向き推定処理部2へと送られる顔画像は、フレームごとに連続性があるので、前フレームの顔画像から特徴点が抽出できれば、その特徴点を追跡することによってそれ以降のフレームの顔画像から特徴点を容易に抽出できる。そこで、顔向き推定処理部2は、例えば図9のフローチャートで示すような特徴点追跡処理を行うことで、顔画像から特徴点を抽出する処理を簡素化している。
【0032】
図9に示す特徴点追跡処理では、まず前段の処理ループで、前フレームの顔画像に対する特徴点抽出処理或いは特徴点追跡処理により抽出した特徴点の座標をもとに、現フレームの顔画像の中から対応する特徴点を探索する。そして、前段の処理ループで現フレームの顔画像の中から特徴点を抽出できたら、後段の処理ループで、抽出した特徴点を基準として、前フレームの顔画像から抽出した各特徴点間の位置関係に基づき、現フレームの顔画像の中から残りの特徴点を抽出する。
【0033】
具体的に説明すると、例えば前フレームの顔画像で鼻が基準となる特徴点として抽出され、その位置座標が現フレームの顔画像においては図10のA点であったとする。この場合、顔向き推定処理部2は、まず、現フレームの顔画像においてA点近辺の所定領域を探索領域S1とし、この探索領域S1を対象としたエッジ検出などにより、探索領域S1内で前フレームの顔画像における鼻に相当する特徴点Bを検出する。ここで、探索領域S1内で特徴点Bが検出できない場合には、前フレームの顔画像から抽出された他の特徴点の位置座標を基準として現フレームの顔画像上に同様の探索領域を設定し、特徴点の探索を行う。そして、前フレームの顔画像から抽出された全ての特徴点に関して以上の処理を行っても、現フレームの顔画像から特徴点が検出できない場合には、現フレームの顔画像での特徴点の追跡に失敗したとみなす。
【0034】
一方、探索領域S1内で特徴点が検出できたら、その位置座標で当該特徴点の座標を更新する。そして、図11に示すように、前フレームの顔画像で把握されるこの特徴点と他の特徴点との位置関係に基づいて、現フレームの顔画像上における次の各特徴点の探索領域S2を設定し、この探索領域S2内で次の特徴点を順次検出し、探索領域S2内で検出した特徴点の位置座標で、次の特徴点の座標を更新する。以上の処理を前フレームの顔画像で抽出された全ての特徴点について繰り返し行い、現フレームの顔画像における各特徴点の位置座標を更新する。なお、現フレームの顔画像上で設定された探索領域内で検出できなかった特徴点については、前フレームの顔画像での基準となる特徴点からの距離に応じて、現フレームの顔画像においてもこの距離に相当する位置に当該特徴点が存在すると仮定して、その位置の位置座標で更新する。特徴点追跡処理では、以上を繰り返して、全ての特徴点の位置座標を随時更新していく。
【0035】
顔向き推定処理部2は、以上の処理により車両運転者の顔画像から複数の特徴点を抽出したら、各特徴点の座標から、車両運転者の顔向きを推定する。以下にその方法の一例を示す。
【0036】
一般に人の顔は左右対称に近い形状をしており、顔が回転することにより顔の特徴点の見かけの位置がずれることによって、対称性に生じる歪を用いることにより顔の向きを推定することができる。
【0037】
例えば、図12に示すように、車両運転者の顔画像から特徴点として抽出された鼻の位置をA、口の右端をB、口の左端をCとして、線分BCに対してAより下ろした垂線の交点をDとする。また、顔の右端をE、顔の左端をFとする。
【0038】
次式に対称性を評価するためのパラメータs,t,uを示す。
DB:DC=s:(1−s)
AE:AF=t:(1−t)
BE:CF=u:(1−u)
顔の向き変えに対してこれらのパラメータの値を予め求めていくと、図13に示すように、顔の回転角(ヨー運動)に連動してその値が変化することが分かる。このように対象性を評価するためのパラメータs,t,uは顔の回転角と相関があるので、車両運転者の顔画像から抽出した複数の特徴点の2次元座標に基づいて前記パラメータs,t,uを求めれば、車両運転者の顔向きを推定することができる。なお、以上のようにして推定した車両運転者の顔向きは、カメラ1の設置位置と向きによって補正する必要があるが、正面方向をヨー角の0度とした場合、推定した顔向きにカメラ1の向き角を加えるだけでよい。
【0039】
<シーンモデル>
次に、シーンモデルデータベース5に格納されるシーンモデルについて、さらに詳しく説明する。
【0040】
2名の被験者(被験者A及び被験者B)に、左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に2回繰り返して注視させたときの顔の回転角を計測した結果を図14及び図15に示す。これらの計測結果から分かるように、物の見方は人によって異なるため、視対象が同じであっても見る人が違えばそのときの顔の回転角は人ごとに異なる値を示すが、見る人が同一の場合は、視対象が同じであれば顔の回転角は常に同じような値を示す。ここで、車両の運転シーンについて考えると、例えば、右折や左折を行うシーン、車線変更を行うシーン、交差点を直進するシーンなど、車両運転者が安全確認のために視線移動を行うシーンでは、視対象がある程度特定され、視線移動はパターン化されている。例えば、左折のシーンであれば巻き込み確認のための左ドアミラーの注視行動や後方確認のためのルームミラーの注視行動などが視線移動としてパターン化されている。また、交差点の直進シーンであれば、左右安全確認のための左右注視行動が視線移動としてパターン化されている。したがって、このような運転シーンごとに車両運転者の顔向きがどのように変化するかを各運転者ごとの固有のデータとして保持しておけば、車両運転者が誰であるかを特定し、車両の運転シーン及び車両運転者の顔向きを推定することによって、車両運転者の視線方向をある程度正確に推定することが可能となる。
【0041】
シーンモデルは、このような車両運転者の視線方向を推定するためのデータであり、車両の運転シーンごとの顔向きの変化パターンをモデル化したものである。このシーンモデルは、車両運転者となり得る複数の登録者ごとの固有のデータとして、シーンモデルデータベース5に格納されている。
【0042】
具体的な例を挙げると、シーンモデルデータベース5には、例えば図16に示すようなシーンモデルが格納されている。このシーンモデルは、車両運転者となり得る複数の登録者(図16の例では、登録者1、登録者2)ごとに、左折前、車線変更前、交差点直進・・・といった各運転シーンごとの顔向きの時系列変化を、その運転シーンから特定される視対象と対応付けて表したものである。
【0043】
このようなシーンモデルは、例えば、車両の運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定するといった手法で作成可能である。図17に、右ドアミラー、左ドアミラー、ルームミラー、ナビゲーション画面付近を2回ずつ注視した際の顔向きの時系列変化と視対象をマッピングした結果を示す。この図17においては、顔向きの時系列データにおいて一定区間の分散値が設定値以下になる区間を抽出し、区間時間が設定値以上である区間を視対象の区間として抽出している。この結果が示すように、車両運転者が同一であれば、車両運転者の視線移動に伴う顔向きの変化が、視対象ごとにある範囲内で滞留することになり、この顔向き変化が滞留する範囲を、それぞれ車両の運転シーンから想定される各視対象の領域として抽出できる。
【0044】
なお、このようなシーンモデルは、予め各登録者ごとに固有のデータとして作成してシーンモデルデータベース5に格納しておいてもよいが、初期状態では各運転シーンごとのデフォルトのデータとしておき、実際に車両の運転が行われたときに、上述した個人認証処理部3の認証結果や運転シーン推定処理部4の推定結果、顔向き推定処理部2による推定結果を用いて、各車両運転シーンごとに車両運転者の顔向きの時系列変化を求め、これに合わせてデフォルトのデータを随時修正していくようにしてもよい。このように、車両運転者の実際の行動に応じてシーンモデルを随時更新していくようにすれば、車両運転者の特性を反映した精度の高いデータとすることができる。
【0045】
<視線移動推定処理部による処理>
次に、視線方向推定処理部6による処理について、さらに詳しく説明する。
【0046】
視線方向推定処理部6は、個人認証処理部3によって行われる個人認証処理の結果を取得して、現在の車両運転者が複数の登録者のうちの誰であるかを識別する。この車両運転者に関する識別情報は、個人認証処理部3から新たな認証結果が送られるまで、つまり車両運転者が変更されるまで保持される。また、視線方向推定処理部6は、運転シーン推定処理部4による推定結果を取得して、現在の車両の運転シーンがシーンモデルの対象とされている運転シーンのうちの何れであるかを識別する。この車両運転シーンに関する識別情報も、運転シーン推定処理部4から新たな推定結果が送られるまで、つまり車両の運転シーンが切り替わるまで保持される。そして、視線方向推定処理部6は、以上の車両運転者に関する識別情報と、車両運転シーンに関する識別情報とをもとに、シーンモデルデータベース5に記憶されている各種シーンモデルの中で、現在の車両運転者に対応し、さらに、現在の運転シーンに対応するものを特定する。そして、この現在の運転シーンに対応した車両運転者のシーンモデルをシーンモデルデータベース5から読み出す。
【0047】
また、視線方向推定処理部6には、顔向き推定処理部2での上述した処理により推定される車両運転者の顔向きの情報(例えば回転角)が随時送られている。視線方向推定処理部6は、この顔向き推定処理部2から随時送られる車両運転者の顔向きの情報を、シーンモデルデータベース5から読み出したシーンモデルに照らし合わせることによって、車両運転者の視線移動行動、つまり、車両運転者が現在どの視対象に目を向けているか(視線方向)を推定し、その推定結果を出力する。
【0048】
なお、車両の運転シーンとしては、例えば、右折や左折を行うシーンや車線変更を行うシーン、交差点を直進するシーンといった、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーン以外にも様々なシーンが考えられるが、車両運転者の顔向きとシーンモデルとの照合による視線方向の推定は、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンの場合に特に有効な処理である。したがって、視線方向推定処理部6は、運転シーン推定処理部4により推定された現在の車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合にのみ、以上のような視線方向の推定処理を行うようにしてもよい。
【0049】
<効果>
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の視線方向推定装置によれば、視線方向推定処理部6が、個人認証処理部3による認証結果と運転シーン推定処理部4による推定結果とに基づいて、シーンモデルデータベース5に格納されている各種シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、顔向き推定処理部2による推定結果をこのシーンモデルと照合することで、車両運転者の視線方向を推定するようにしているので、サングラスや眼鏡の着用時など、車両運転者の目の向きが特定できない場合であっても、車両運転者の視線方向を適切に推定することができる。
【0050】
[第2の実施形態]
次に、本発明の第2の実施形態としての視線方向推定装置について説明する。本実施形態の視線方向推定装置は、車両運転者の目の向きを特定できるか否かを判定する機能を設けて、車両運転者の目の向きが特定できない場合にのみ、上述した第1の実施形態で説明した手法で車両運転者の視線方向を推定するようにしたものである。
【0051】
本実施形態の視線方向推定装置の構成を図18に示す。この図18に示すように、本実施形態の視線方向推定装置は、上述した第1の実施形態の視線方向推定装置に、目向き特定可否判定部11と、目向き推定処理部12と、視線方向検出処理部13とを付加した構成とされる。
【0052】
目向き特定可否判定部11は、カメラ1で撮影された車両運転者の顔画像から車両運転者の目の向きを特定できるか否かの判定を行う。判定の手法は、例えば、顔向き推定処理部2での顔特徴抽出処理の結果、目が特徴点として検出されなかった場合に目向きを特定できないと判定する、或いは、眼鏡のフレームが特徴点として検出された場合に目向きを特定できないと判定するなどの手法が考えられる。また、個人認証処理部3での個人認証処理の結果、車両運転者が眼鏡着用者として登録されている者であると特定された場合に、目向きを特定できないと判定するようにしてもよい。
【0053】
目向き推定処理部12は、目向き特定可否判定部11により車両運転者の目の向きを特定可能と判定された場合に、カメラ1で撮影された顔画像に基づいて、車両運転者の目の向きを推定する。なお、目の向きを推定する手法としては、従来一般的に知られている手法が何れも採用可能である。
【0054】
視線方向検出処理部13は、目向き特定可否判定部11により車両運転者の目の向きを特定可能と判定された場合に、顔向き推定処理部2により推定された車両運転者の顔向きと、目向き推定処理部12により推定された車両運転者の目向きとを合成して、車両運転者の視線方向を検出する。
【0055】
本実施形態の視線方向推定装置では、以上のように、目向き特定可否判定部11により車両運転者の目向きを特定できるか否かを判定し、車両運転者の目向きが特定可能な場合には、車両運転者の顔向きと目向きとを合成して車両運転者の視線方向を検出し、車両運転者の目向きが特定できない場合にのみ、上述した第1の実施形態で説明した手法、すなわち、車両運転者の顔向き推定結果を現在の運転シーンに対応した車両運転者のシーンモデルと照合することで、車両運転者の視線方向を推定するようにしている。したがって、本実施形態の視線方向推定装置では、車両運転者の目向きが特定できない場合でも視線方向を適切に推定できることに加え、車両運転者の目向きが特定可能な場合には、車両運転者の視線方向をより正確に検出することが可能となる。
【0056】
[第3の実施形態]
次に、本発明の第3の実施形態としての視線方向推定装置について説明する。本実施形態の視線方向推定装置は、車両運転者の顔向き推定結果を現在の運転シーンに対応した車両運転者のシーンモデルと照合した際に、車両運転者の顔向きの移動がシーンモデルから乖離しているか否かにより視線移動の逸脱を判定し、視線逸脱が生じている場合に警報を発して注意を促すようにしたものである。
【0057】
本実施形態の視線方向推定装置の構成を図19に示す。この図19に示すように、本実施形態の視線方向推定装置は、上述した第1の実施形態の視線方向推定装置に、視線逸脱判定部15を付加した構成とされる。
【0058】
視線逸脱判定部15は、視線方向推定処理部6での車両運転者の顔向きとシーンモデルとの照合結果を随時取得して、顔向き推定処理部2により推定される車両運転者の顔向きの時系列変化が、シーンモデルデータベース5から読み出された現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、車両運転者の視線移動が正常でない、つまり視線移動の逸脱が生じていると判定して、警報を出力する。視線移動の逸脱は、例えば、顔向き推定処理部2による推定結果から分かる今回の顔向きの移動と、シーンモデルから分かる普段の顔向きの移動との違いを、距離(角度差)の二乗誤差の積分値を用いて求めることで判定できる。
【0059】
本実施形態の視線方向推定装置では、以上のように、顔向き推定処理部2により推定される車両運転者の顔向きの時系列変化が、シーンモデルデータベース5から読み出された現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、視線逸脱判定部5が車両運転者に視線逸脱が生じていると判定して警報を出力するようにしている。したがって、本実施形態の視線方向推定装置では、車両運転者の目向きが特定できない場合でも視線方向を適切に推定できることに加え、車両運転者の視線移動が普段の行動と違う場合にその旨を車両運転者に認識させ、注意を促すことが可能となる。
【0060】
以上、本発明の実施形態について具体例を挙げながら詳細に説明したが、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。
【図面の簡単な説明】
【0061】
【図1】第1の実施形態の視線方向推定装置の構成を示すブロック図である。
【図2】顔向き推定処理部による特徴点抽出処理の一例を示すフローチャートである。
【図3】カメラで撮影された車両運転者の顔画像の一例を示す図である。
【図4】図3に示した顔画像から顔特徴候補を選択した結果を示す図である。
【図5】図3に示した顔画像から輪郭候補を選択した結果を示す図である。
【図6】図3に示した顔画像から得られた顔特徴候補にラベリングした結果を示す図である。
【図7】図3に示した顔画像から顔の特徴点を抽出した結果を示す図である。
【図8】図3に示した顔画像から抽出された各特徴点間の位置関係を、鼻の位置を基準として表したグラフ図である。
【図9】顔向き推定処理部による特徴点追跡処理の一例を示すフローチャートである。
【図10】前フレームの顔画像における基準特徴点の位置を基準に、現フレームの顔画像における基準特徴点を探索する手法を説明する図である。
【図11】前フレームの顔画像における基準特徴点と次の特徴点との位置関係をもとに、現フレームの顔画像における次の特徴点を探索する手法を説明する図である。
【図12】顔画像から抽出した各特徴点の座標に基づいて車両運転者の顔向きを推定する手法を説明する図である。
【図13】顔の回転角(ヨー運動)に連動して対称性を評価するパラメータs,t,uの値が変化すること示すグラフ図である。
【図14】被験者Aに左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に2回繰り返して注視させたときの顔の回転角を計測した結果を示す図である。
【図15】被験者Bに左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に2回繰り返して注視させたときの顔の回転角を計測した結果を示す図である。
【図16】シーンモデルデータベースに格納されるシーンモデルの一例を示す図である。
【図17】右ドアミラー、左ドアミラー、ルームミラー、ナビゲーション画面付近を2回ずつ注視した際の顔向きの時系列変化と視対象をマッピングした結果を示す図である。
【図18】第2の実施形態の視線方向推定装置の構成を示すブロック図である。
【図19】第3の実施形態の視線方向推定装置の構成を示すブロック図である。
【符号の説明】
【0062】
1 カメラ
2 顔向き推定処理部
3 個人認証処理部
4 運転シーン推定処理部
5 シーンモデルデータベース
6 視線方向推定処理部
11 目向き特定可否判定部
12 目向き推定処理部
13 視線方向検出処理部
15 視線逸脱判定部
【技術分野】
【0001】
本発明は、車両運転者の視線方向を推定する視線方向推定装置及び視線方向推定方法に関する。
【背景技術】
【0002】
近年、車両運転者の視線の方向を検出する技術の研究開発が盛んに行われており、運転者の視線方向から脇見や安全確認不履行などを検出して警報を行う安全装置、運転者の視線方向から次の行動や意図を予測して車両動作を制御する車両運動制御装置、さらには、運転者の視線方向により所定の入力操作を行う入力装置などへの適用が期待されている。
【0003】
このような車両運転者の視線方向を検出する装置としては、例えば、特許文献1にて開示されるように、車両運転者の眼球方向と頭部方向とを合成して視線方向を特定するものが知られている。この特許文献1に記載の視線計測装置では、眼球センサや撮像装置により車両運転者の瞳部位置を検出し、予め求めておいた瞳部位置と眼球方向との相関関係を示す情報に基づいて眼球センサや撮像装置で検出した瞳部位置を補正して、車両運転者の眼球方向を求めている。そして、求めた眼球方向を頭部方向と合成して、車両運転者の視線方向を特定するようにしている。
【0004】
また、特許文献2には、外乱が太陽光である場合に太陽光スペクトルの特性により分光放射照度が減衰する波長領域の光を利用して対象物の状態を高いSN比で検出できるようにした対象物検出装置が開示されており、その実施形態として、車両運転者の眼球を対象物とし、車両運転者の角膜反射像及び網膜反射像を取得して、その注視点を計測するように構成した対象物検出装置が記載されている。
【0005】
また、特許文献3には、第1カメラで撮像した車両運転者の顔画像の画像データから、パターン認識やステレオ立体視の理論に基づく処理によって車両運転者の眼球の3次元位置座標や視線方向ベクトル等を判断して視線方向を検出するとともに、第2カメラで撮像した車両周囲の風景の画像データから認識対象物及びその3次元位置を検出し、これら車両運転者の視線方向と認識対象物の位置とから車両運転者が注視している認識対象物を特定することが記載されている。この特許文献3に記載の状態推定装置では、さらに、車両運転者による注視対象への視線配分に基づいて、車両運転者の生理状態や心理状態などを推定するようにしている。
【特許文献1】特開平11−276438号公報
【特許文献2】特開2000−28315号公報
【特許文献3】特開2006−48171号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
以上の特許文献1〜3にて開示されているように、車両運転者の視線方向を検出する従来の技術は、いずれも車両運転者の目の向きが特定できることを前提としていた。しかしながら、車両運転者は日差しが強すぎるときにはサングラスを着用することもあり、サングラス着用時には車両運転者の目の向きを特定できない場合がある。また、車両運転者が視力矯正用の眼鏡を着用している場合にも、眼鏡のレンズに風景の映り込みが発生することで、車両運転者の目の向きを特定できない場合がある。このため、車両運転者がサングラスや眼鏡を着用しているときには、従来の技術では車両運転者の視線方向を適切に推定することが困難であるという問題があった。
【0007】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両運転者の目の向きを特定できない場合でも、車両運転者の視線方向を推定できるようにした視線方向推定装置及び視線方向推定方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
車両運転者の顔の向きは、車両の運転シーンごとにある程度パターン化されたかたちで変化する。そして、この運転シーンごとの顔向きの変化パターンは、車両運転者の視線移動と高い相関があり、車両の運転シーンと車両運転者の顔向きが分かれば、車両運転者の視線方向をある程度正確に推定できる。ただし、車両運転シーンごとの顔向きの変化パターンには個人差があり、車両運転者が変われば、視線方向に対応する顔向きも変化する。そこで、本発明に係る視線方向推定装置及び視線方向推定方法では、当該視線方向推定装置が搭載される車両の運転者となり得る複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを記憶しておくようにしている。そして、車両運転者に対する個人認証処理と車両の運転シーンの推定とを行い、これらの結果に基づいて、記憶している各シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定する。また、車両運転者の顔画像を撮影して顔画像から顔向きを推定し、現在の運転シーンに対応した車両運転者のシーンモデルと車両運転者の顔向きの推定結果とから、車両運転者の視線方向を推定する。
【発明の効果】
【0009】
本発明によれば、サングラスや眼鏡の着用時など、車両運転者の目の向きが特定できない場合であっても、車両運転者の視線方向を適切に推定することができる。
【発明を実施するための最良の形態】
【0010】
以下、本発明を適用した視線方向推定装置の具体例について、図面を参照しながら詳細に説明する。
【0011】
[第1の実施形態]
<装置構成>
図1は、本発明の一実施形態である視線方向推定装置の構成を示すブロック図である。本実施形態の視線方向推定装置は、図1に示すように、カメラ1、顔向き推定処理部2、個人認証処理部3、運転シーン推定処理部4、シーンモデルデータベース5、視線方向推定処理部6を備えて構成される。これらの各構成要素のうち、顔向き推定処理部2、個人認証処理部3、運転シーン推定処理部4、視線方向推定処理部6は、処理機能別に区別した構成要素であり、ハードウェアとしては一体であってもよいし、個別のハードウェアで実現されていてもよい。
【0012】
カメラ1は、車両に搭載されて車両運転者の顔画像を撮影するものである。このカメラ1としては、CCDやCMOSなどの撮像素子、レンズ、フィルタ、及び近赤外領域の照明を有するものが用いられる。カメラ1で撮影された車両運転者の顔画像は、フレーム単位の映像信号として、所定のフレーム周期で顔向き推定処理部2へと随時送られる。
【0013】
顔向き推定処理部2は、カメラ1で撮影された車両運転者の顔画像に基づいて、車両運転者の顔向きを推定する。具体的には、この顔向き推定処理部2は、例えば、カメラ1で撮影された顔画像から複数の特徴点を抽出し、抽出した特徴点の位置関係に基づいて車両運転者の顔向きを推定する処理を行う。
【0014】
個人認証処理部3は、車両運転者に対する個人認証処理を行う。具体的には、この個人認証処理部3は、例えば、カメラ1で撮影された車両運転者の顔画像を用いて、このカメラ1で撮影された顔画像と予め記憶している登録者の顔画像とのマッチングなどの手法により、車両運転者が誰であるかを特定する個人認証処理を行う。なお、個人認証処理の手法としては、カメラ1で撮影された顔画像を用いる以外にも、例えば、ICチップによるID確認や、指紋、音声、静脈などの生体情報による認証、パスワード入力による認証など、一般的に知られている何れの手法を採用してもよい。
【0015】
運転シーン推定手段4は、車両信号と周辺環境情報とに基づいて、車両の運転シーンを推定する。ここで、車両信号とは、例えば、車両の走行速度を示す信号や操舵角度を示す信号、ウィンカーの操作信号、アクセルやブレーキの操作信号など、車両に搭載された各種センサで検出される車両の状態を表す信号である。また、周辺環境情報とは、例えば、車両の現在位置周辺における道路環境についての情報など、車両に搭載されたナビゲーションシステムや路車間通信、車車間通信等により取得される情報である。運転シーン推定手段4は、これら車両信号と周辺環境情報とに基づいて、例えば、右折や左折を行うシーン、車線変更を行うシーン、交差点を直進するシーンといったような、各種の運転シーンを推定する。
【0016】
シーンモデルデータベース5には、車両の運転者となり得る複数の登録者を対象として、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルが、各登録者ごとに識別可能に記憶されている。このシーンモデルデータベース5に記憶されているシーンモデルは、例えば、車両運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定したデータである。このようなシーンモデルは、予めデフォルトのデータを記憶しておいて、実際に車両の運転が行われたときに、各車両運転シーンごとに車両運転者の顔向きの時系列変化を求めて、これに合わせてデフォルトのデータを修正していくようにすることで、車両運転者の特性を反映した精度の高いデータとすることができる。
【0017】
視線方向推定処理部6は、個人認証処理部3による認証結果と運転シーン推定処理部4による推定結果とに基づいて、シーンモデルデータベース5に記憶されている各種のシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと顔向き推定処理部2による推定結果とに基づいて、車両運転者の視線方向を推定する。すなわち、視線方向推定処理部6は、個人認証処理部3による認証結果から、シーンモデルデータベース5に記憶されている各種シーンモデルの中で、車両運転者に対応するものを識別し、さらに、運転シーン推定処理部4による推定結果から、車両運転者に対応するシーンモデルのうちで、現在の運転シーンに対応するものを識別する。そして、この現在の運転シーンに対応した車両運転者のシーンモデルをシーンモデルデータベース5から読み出して、顔向き推定処理部2で推定された車両運転者の顔向きをシーンモデルに照らし合わせることで、車両運転者の視線方向を推定する。
【0018】
なお、車両運転者の顔向きとシーンモデルとの照合による視線方向の推定は、車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合に特に有効な処理であるので、視線方向推定処理部6は、運転シーン推定処理部4により推定された現在の車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンであるかどうかを判定して、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合にのみ、以上のような視線方向の推定処理を行うようにしてもよい。
【0019】
<顔向き推定処理部による処理>
ここで、顔向き推定処理部2による処理について、具体例を例示しながらさらに詳しく説明する。
【0020】
顔向き推定処理部2は、カメラ1から送られてくる映像信号をディジタル画像としてキャプチャし、フレームメモリに車両運転者の顔画像として取り込む。そして、顔向き推定処理部2は、このフレームメモリに取り込んだ顔画像に対してエッジ検出処理やグラフマッチング処理などの画像処理を行い、顔画像から複数の特徴点を抽出する。ここで、顔画像から抽出される特徴点は画像上で濃度変化が大きく現われる点であり、一般的に、左右の目、左右の眉、鼻、口などが対象となる。ただし、車両運転者がサングラスや眼鏡を着用している場合には、左右の目を特徴点として検出できない場合も多い。
【0021】
図2は、顔向き推定処理部2による特徴点抽出処理の一例を示すフローチャートである。以下、この図2のフローチャートに沿って、図3に示すような顔画像から特徴点を抽出する処理について具体的に説明する。
【0022】
顔向き推定処理部2は、まず「横エッジ検出」ステップにおいて、フレームメモリ上の顔画像の縦の各列について、濃度値の極小値を検出する。
【0023】
次に、「ノイズ除去」ステップにおいて、「横エッジ検出」ステップで検出されら濃度値の極小点のうち、濃度変化が設定値未満のものと、縦横斜めに隣接する他の極小点がないもの(つまり独立点)を削除する。
【0024】
次に、「顔特徴候補選択」ステップにおいて、個々の極小点ごとの隣接する極小点との連接を調べて、連続する極小点の集まりをエッジとして捉え、エッジの傾きの大きいものを削除する。また、横方向への広がりが設定値以上のものについては、濃度変化の最も小さい極小点を削除することにより分割を行い、顔特徴点候補とする。顔特徴候補選択結果の一例を図4に示す。ここで、「顔特徴候補選択」ステップで得られた顔特徴点候補の数が設定値未満の場合には、現フレームの顔画像においては特徴点の抽出ができないと判断して処理を抜ける。
【0025】
以上と同様の処理を縦エッジについても行い、輪郭の候補とする。輪郭候補選択結果の一例を図5に示す。
【0026】
次に、「ラベリング」ステップにおいて、「顔特徴候補選択」ステップで得られた各顔特徴候補にラベルをつける。ラベリング結果の一例を図6に示す。
【0027】
次に、「グラフマッチング」ステップにおいて、「ラベリング」ステップでラベルが付けられた顔特徴候補の組み合わせを、あらかじめ用意した顔特徴(ノード)と顔特徴間の関係(ブランチ)に照合する。ここで、照合数が0の場合には、現フレームの顔画像においては特徴点の抽出ができないとして処理を抜ける。
【0028】
次に、「顔特徴検出」ステップにおいて、「グラフマッチング」ステップで照合された複数の顔特徴の組み合わせ結果のうち、あらかじめ用意した顔特徴と顔特徴間の関係に最も一致する顔特徴の組み合わせを選択する。顔特徴検出結果の一例を図7に示す。ここで、一致の度合いを表す評価値が最小評価値未満の場合には、現フレームの顔画像においては特徴点の抽出ができないと判断して処理を抜ける。
【0029】
以上の特徴点抽出処理により、例えば図2に示した顔画像からは、右眉、左眉、右上眼鏡フレーム、左上眼鏡フレーム、眼鏡フレーム中心、右下眼鏡フレーム、左下眼鏡フレーム、鼻、口(左右両端の2点)が、顔の特徴点として抽出される。図3に示した顔画像から抽出された各特徴点間の位置関係を、鼻の位置を基準として表したグラフを図8に示す。なお、この図8のグラフでは、図2に示した顔画像のサイズ(縦320画素、縦240画素)を1/5にしたサイズで各特徴点の位置関係を表している。
【0030】
顔画像から抽出される各特徴点は、マッチングのため一定の範囲を持っており、グラフマッチングの際に、基準となる顔部位(例えば鼻など)を基準として、その範囲内に他の顔特徴点が何個入るかという照合を行う。また、各特徴点間は、重み付けの係数を保持しており、グラフマッチング結果に対して、マッチングした特徴点の重みを合計した値を評価値とする。また、顔の輪郭については、例えば図5に示したような縦エッジのうちで、特徴点の外側にあるものを顔の輪郭として採用する。
【0031】
ところで、カメラ1から顔向き推定処理部2へと送られる顔画像は、フレームごとに連続性があるので、前フレームの顔画像から特徴点が抽出できれば、その特徴点を追跡することによってそれ以降のフレームの顔画像から特徴点を容易に抽出できる。そこで、顔向き推定処理部2は、例えば図9のフローチャートで示すような特徴点追跡処理を行うことで、顔画像から特徴点を抽出する処理を簡素化している。
【0032】
図9に示す特徴点追跡処理では、まず前段の処理ループで、前フレームの顔画像に対する特徴点抽出処理或いは特徴点追跡処理により抽出した特徴点の座標をもとに、現フレームの顔画像の中から対応する特徴点を探索する。そして、前段の処理ループで現フレームの顔画像の中から特徴点を抽出できたら、後段の処理ループで、抽出した特徴点を基準として、前フレームの顔画像から抽出した各特徴点間の位置関係に基づき、現フレームの顔画像の中から残りの特徴点を抽出する。
【0033】
具体的に説明すると、例えば前フレームの顔画像で鼻が基準となる特徴点として抽出され、その位置座標が現フレームの顔画像においては図10のA点であったとする。この場合、顔向き推定処理部2は、まず、現フレームの顔画像においてA点近辺の所定領域を探索領域S1とし、この探索領域S1を対象としたエッジ検出などにより、探索領域S1内で前フレームの顔画像における鼻に相当する特徴点Bを検出する。ここで、探索領域S1内で特徴点Bが検出できない場合には、前フレームの顔画像から抽出された他の特徴点の位置座標を基準として現フレームの顔画像上に同様の探索領域を設定し、特徴点の探索を行う。そして、前フレームの顔画像から抽出された全ての特徴点に関して以上の処理を行っても、現フレームの顔画像から特徴点が検出できない場合には、現フレームの顔画像での特徴点の追跡に失敗したとみなす。
【0034】
一方、探索領域S1内で特徴点が検出できたら、その位置座標で当該特徴点の座標を更新する。そして、図11に示すように、前フレームの顔画像で把握されるこの特徴点と他の特徴点との位置関係に基づいて、現フレームの顔画像上における次の各特徴点の探索領域S2を設定し、この探索領域S2内で次の特徴点を順次検出し、探索領域S2内で検出した特徴点の位置座標で、次の特徴点の座標を更新する。以上の処理を前フレームの顔画像で抽出された全ての特徴点について繰り返し行い、現フレームの顔画像における各特徴点の位置座標を更新する。なお、現フレームの顔画像上で設定された探索領域内で検出できなかった特徴点については、前フレームの顔画像での基準となる特徴点からの距離に応じて、現フレームの顔画像においてもこの距離に相当する位置に当該特徴点が存在すると仮定して、その位置の位置座標で更新する。特徴点追跡処理では、以上を繰り返して、全ての特徴点の位置座標を随時更新していく。
【0035】
顔向き推定処理部2は、以上の処理により車両運転者の顔画像から複数の特徴点を抽出したら、各特徴点の座標から、車両運転者の顔向きを推定する。以下にその方法の一例を示す。
【0036】
一般に人の顔は左右対称に近い形状をしており、顔が回転することにより顔の特徴点の見かけの位置がずれることによって、対称性に生じる歪を用いることにより顔の向きを推定することができる。
【0037】
例えば、図12に示すように、車両運転者の顔画像から特徴点として抽出された鼻の位置をA、口の右端をB、口の左端をCとして、線分BCに対してAより下ろした垂線の交点をDとする。また、顔の右端をE、顔の左端をFとする。
【0038】
次式に対称性を評価するためのパラメータs,t,uを示す。
DB:DC=s:(1−s)
AE:AF=t:(1−t)
BE:CF=u:(1−u)
顔の向き変えに対してこれらのパラメータの値を予め求めていくと、図13に示すように、顔の回転角(ヨー運動)に連動してその値が変化することが分かる。このように対象性を評価するためのパラメータs,t,uは顔の回転角と相関があるので、車両運転者の顔画像から抽出した複数の特徴点の2次元座標に基づいて前記パラメータs,t,uを求めれば、車両運転者の顔向きを推定することができる。なお、以上のようにして推定した車両運転者の顔向きは、カメラ1の設置位置と向きによって補正する必要があるが、正面方向をヨー角の0度とした場合、推定した顔向きにカメラ1の向き角を加えるだけでよい。
【0039】
<シーンモデル>
次に、シーンモデルデータベース5に格納されるシーンモデルについて、さらに詳しく説明する。
【0040】
2名の被験者(被験者A及び被験者B)に、左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に2回繰り返して注視させたときの顔の回転角を計測した結果を図14及び図15に示す。これらの計測結果から分かるように、物の見方は人によって異なるため、視対象が同じであっても見る人が違えばそのときの顔の回転角は人ごとに異なる値を示すが、見る人が同一の場合は、視対象が同じであれば顔の回転角は常に同じような値を示す。ここで、車両の運転シーンについて考えると、例えば、右折や左折を行うシーン、車線変更を行うシーン、交差点を直進するシーンなど、車両運転者が安全確認のために視線移動を行うシーンでは、視対象がある程度特定され、視線移動はパターン化されている。例えば、左折のシーンであれば巻き込み確認のための左ドアミラーの注視行動や後方確認のためのルームミラーの注視行動などが視線移動としてパターン化されている。また、交差点の直進シーンであれば、左右安全確認のための左右注視行動が視線移動としてパターン化されている。したがって、このような運転シーンごとに車両運転者の顔向きがどのように変化するかを各運転者ごとの固有のデータとして保持しておけば、車両運転者が誰であるかを特定し、車両の運転シーン及び車両運転者の顔向きを推定することによって、車両運転者の視線方向をある程度正確に推定することが可能となる。
【0041】
シーンモデルは、このような車両運転者の視線方向を推定するためのデータであり、車両の運転シーンごとの顔向きの変化パターンをモデル化したものである。このシーンモデルは、車両運転者となり得る複数の登録者ごとの固有のデータとして、シーンモデルデータベース5に格納されている。
【0042】
具体的な例を挙げると、シーンモデルデータベース5には、例えば図16に示すようなシーンモデルが格納されている。このシーンモデルは、車両運転者となり得る複数の登録者(図16の例では、登録者1、登録者2)ごとに、左折前、車線変更前、交差点直進・・・といった各運転シーンごとの顔向きの時系列変化を、その運転シーンから特定される視対象と対応付けて表したものである。
【0043】
このようなシーンモデルは、例えば、車両の運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定するといった手法で作成可能である。図17に、右ドアミラー、左ドアミラー、ルームミラー、ナビゲーション画面付近を2回ずつ注視した際の顔向きの時系列変化と視対象をマッピングした結果を示す。この図17においては、顔向きの時系列データにおいて一定区間の分散値が設定値以下になる区間を抽出し、区間時間が設定値以上である区間を視対象の区間として抽出している。この結果が示すように、車両運転者が同一であれば、車両運転者の視線移動に伴う顔向きの変化が、視対象ごとにある範囲内で滞留することになり、この顔向き変化が滞留する範囲を、それぞれ車両の運転シーンから想定される各視対象の領域として抽出できる。
【0044】
なお、このようなシーンモデルは、予め各登録者ごとに固有のデータとして作成してシーンモデルデータベース5に格納しておいてもよいが、初期状態では各運転シーンごとのデフォルトのデータとしておき、実際に車両の運転が行われたときに、上述した個人認証処理部3の認証結果や運転シーン推定処理部4の推定結果、顔向き推定処理部2による推定結果を用いて、各車両運転シーンごとに車両運転者の顔向きの時系列変化を求め、これに合わせてデフォルトのデータを随時修正していくようにしてもよい。このように、車両運転者の実際の行動に応じてシーンモデルを随時更新していくようにすれば、車両運転者の特性を反映した精度の高いデータとすることができる。
【0045】
<視線移動推定処理部による処理>
次に、視線方向推定処理部6による処理について、さらに詳しく説明する。
【0046】
視線方向推定処理部6は、個人認証処理部3によって行われる個人認証処理の結果を取得して、現在の車両運転者が複数の登録者のうちの誰であるかを識別する。この車両運転者に関する識別情報は、個人認証処理部3から新たな認証結果が送られるまで、つまり車両運転者が変更されるまで保持される。また、視線方向推定処理部6は、運転シーン推定処理部4による推定結果を取得して、現在の車両の運転シーンがシーンモデルの対象とされている運転シーンのうちの何れであるかを識別する。この車両運転シーンに関する識別情報も、運転シーン推定処理部4から新たな推定結果が送られるまで、つまり車両の運転シーンが切り替わるまで保持される。そして、視線方向推定処理部6は、以上の車両運転者に関する識別情報と、車両運転シーンに関する識別情報とをもとに、シーンモデルデータベース5に記憶されている各種シーンモデルの中で、現在の車両運転者に対応し、さらに、現在の運転シーンに対応するものを特定する。そして、この現在の運転シーンに対応した車両運転者のシーンモデルをシーンモデルデータベース5から読み出す。
【0047】
また、視線方向推定処理部6には、顔向き推定処理部2での上述した処理により推定される車両運転者の顔向きの情報(例えば回転角)が随時送られている。視線方向推定処理部6は、この顔向き推定処理部2から随時送られる車両運転者の顔向きの情報を、シーンモデルデータベース5から読み出したシーンモデルに照らし合わせることによって、車両運転者の視線移動行動、つまり、車両運転者が現在どの視対象に目を向けているか(視線方向)を推定し、その推定結果を出力する。
【0048】
なお、車両の運転シーンとしては、例えば、右折や左折を行うシーンや車線変更を行うシーン、交差点を直進するシーンといった、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーン以外にも様々なシーンが考えられるが、車両運転者の顔向きとシーンモデルとの照合による視線方向の推定は、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンの場合に特に有効な処理である。したがって、視線方向推定処理部6は、運転シーン推定処理部4により推定された現在の車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合にのみ、以上のような視線方向の推定処理を行うようにしてもよい。
【0049】
<効果>
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の視線方向推定装置によれば、視線方向推定処理部6が、個人認証処理部3による認証結果と運転シーン推定処理部4による推定結果とに基づいて、シーンモデルデータベース5に格納されている各種シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、顔向き推定処理部2による推定結果をこのシーンモデルと照合することで、車両運転者の視線方向を推定するようにしているので、サングラスや眼鏡の着用時など、車両運転者の目の向きが特定できない場合であっても、車両運転者の視線方向を適切に推定することができる。
【0050】
[第2の実施形態]
次に、本発明の第2の実施形態としての視線方向推定装置について説明する。本実施形態の視線方向推定装置は、車両運転者の目の向きを特定できるか否かを判定する機能を設けて、車両運転者の目の向きが特定できない場合にのみ、上述した第1の実施形態で説明した手法で車両運転者の視線方向を推定するようにしたものである。
【0051】
本実施形態の視線方向推定装置の構成を図18に示す。この図18に示すように、本実施形態の視線方向推定装置は、上述した第1の実施形態の視線方向推定装置に、目向き特定可否判定部11と、目向き推定処理部12と、視線方向検出処理部13とを付加した構成とされる。
【0052】
目向き特定可否判定部11は、カメラ1で撮影された車両運転者の顔画像から車両運転者の目の向きを特定できるか否かの判定を行う。判定の手法は、例えば、顔向き推定処理部2での顔特徴抽出処理の結果、目が特徴点として検出されなかった場合に目向きを特定できないと判定する、或いは、眼鏡のフレームが特徴点として検出された場合に目向きを特定できないと判定するなどの手法が考えられる。また、個人認証処理部3での個人認証処理の結果、車両運転者が眼鏡着用者として登録されている者であると特定された場合に、目向きを特定できないと判定するようにしてもよい。
【0053】
目向き推定処理部12は、目向き特定可否判定部11により車両運転者の目の向きを特定可能と判定された場合に、カメラ1で撮影された顔画像に基づいて、車両運転者の目の向きを推定する。なお、目の向きを推定する手法としては、従来一般的に知られている手法が何れも採用可能である。
【0054】
視線方向検出処理部13は、目向き特定可否判定部11により車両運転者の目の向きを特定可能と判定された場合に、顔向き推定処理部2により推定された車両運転者の顔向きと、目向き推定処理部12により推定された車両運転者の目向きとを合成して、車両運転者の視線方向を検出する。
【0055】
本実施形態の視線方向推定装置では、以上のように、目向き特定可否判定部11により車両運転者の目向きを特定できるか否かを判定し、車両運転者の目向きが特定可能な場合には、車両運転者の顔向きと目向きとを合成して車両運転者の視線方向を検出し、車両運転者の目向きが特定できない場合にのみ、上述した第1の実施形態で説明した手法、すなわち、車両運転者の顔向き推定結果を現在の運転シーンに対応した車両運転者のシーンモデルと照合することで、車両運転者の視線方向を推定するようにしている。したがって、本実施形態の視線方向推定装置では、車両運転者の目向きが特定できない場合でも視線方向を適切に推定できることに加え、車両運転者の目向きが特定可能な場合には、車両運転者の視線方向をより正確に検出することが可能となる。
【0056】
[第3の実施形態]
次に、本発明の第3の実施形態としての視線方向推定装置について説明する。本実施形態の視線方向推定装置は、車両運転者の顔向き推定結果を現在の運転シーンに対応した車両運転者のシーンモデルと照合した際に、車両運転者の顔向きの移動がシーンモデルから乖離しているか否かにより視線移動の逸脱を判定し、視線逸脱が生じている場合に警報を発して注意を促すようにしたものである。
【0057】
本実施形態の視線方向推定装置の構成を図19に示す。この図19に示すように、本実施形態の視線方向推定装置は、上述した第1の実施形態の視線方向推定装置に、視線逸脱判定部15を付加した構成とされる。
【0058】
視線逸脱判定部15は、視線方向推定処理部6での車両運転者の顔向きとシーンモデルとの照合結果を随時取得して、顔向き推定処理部2により推定される車両運転者の顔向きの時系列変化が、シーンモデルデータベース5から読み出された現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、車両運転者の視線移動が正常でない、つまり視線移動の逸脱が生じていると判定して、警報を出力する。視線移動の逸脱は、例えば、顔向き推定処理部2による推定結果から分かる今回の顔向きの移動と、シーンモデルから分かる普段の顔向きの移動との違いを、距離(角度差)の二乗誤差の積分値を用いて求めることで判定できる。
【0059】
本実施形態の視線方向推定装置では、以上のように、顔向き推定処理部2により推定される車両運転者の顔向きの時系列変化が、シーンモデルデータベース5から読み出された現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、視線逸脱判定部5が車両運転者に視線逸脱が生じていると判定して警報を出力するようにしている。したがって、本実施形態の視線方向推定装置では、車両運転者の目向きが特定できない場合でも視線方向を適切に推定できることに加え、車両運転者の視線移動が普段の行動と違う場合にその旨を車両運転者に認識させ、注意を促すことが可能となる。
【0060】
以上、本発明の実施形態について具体例を挙げながら詳細に説明したが、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。
【図面の簡単な説明】
【0061】
【図1】第1の実施形態の視線方向推定装置の構成を示すブロック図である。
【図2】顔向き推定処理部による特徴点抽出処理の一例を示すフローチャートである。
【図3】カメラで撮影された車両運転者の顔画像の一例を示す図である。
【図4】図3に示した顔画像から顔特徴候補を選択した結果を示す図である。
【図5】図3に示した顔画像から輪郭候補を選択した結果を示す図である。
【図6】図3に示した顔画像から得られた顔特徴候補にラベリングした結果を示す図である。
【図7】図3に示した顔画像から顔の特徴点を抽出した結果を示す図である。
【図8】図3に示した顔画像から抽出された各特徴点間の位置関係を、鼻の位置を基準として表したグラフ図である。
【図9】顔向き推定処理部による特徴点追跡処理の一例を示すフローチャートである。
【図10】前フレームの顔画像における基準特徴点の位置を基準に、現フレームの顔画像における基準特徴点を探索する手法を説明する図である。
【図11】前フレームの顔画像における基準特徴点と次の特徴点との位置関係をもとに、現フレームの顔画像における次の特徴点を探索する手法を説明する図である。
【図12】顔画像から抽出した各特徴点の座標に基づいて車両運転者の顔向きを推定する手法を説明する図である。
【図13】顔の回転角(ヨー運動)に連動して対称性を評価するパラメータs,t,uの値が変化すること示すグラフ図である。
【図14】被験者Aに左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に2回繰り返して注視させたときの顔の回転角を計測した結果を示す図である。
【図15】被験者Bに左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に2回繰り返して注視させたときの顔の回転角を計測した結果を示す図である。
【図16】シーンモデルデータベースに格納されるシーンモデルの一例を示す図である。
【図17】右ドアミラー、左ドアミラー、ルームミラー、ナビゲーション画面付近を2回ずつ注視した際の顔向きの時系列変化と視対象をマッピングした結果を示す図である。
【図18】第2の実施形態の視線方向推定装置の構成を示すブロック図である。
【図19】第3の実施形態の視線方向推定装置の構成を示すブロック図である。
【符号の説明】
【0062】
1 カメラ
2 顔向き推定処理部
3 個人認証処理部
4 運転シーン推定処理部
5 シーンモデルデータベース
6 視線方向推定処理部
11 目向き特定可否判定部
12 目向き推定処理部
13 視線方向検出処理部
15 視線逸脱判定部
【特許請求の範囲】
【請求項1】
車両運転者の顔画像を撮影する顔画像撮影手段と、
前記顔画像撮影手段で撮影された顔画像に基づいて、車両運転者の顔向きを推定する顔向き推定手段と、
車両運転者に対する個人認証処理を行う個人認証手段と、
車両信号と周囲環境情報とに基づいて、車両の運転シーンを推定するシーン推定手段と、
複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを記憶するシーンモデル記憶手段と、
前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段による推定結果とに基づいて、車両運転者の視線方向を推定する視線方向推定手段とを備えることを特徴とする視線方向推定装置。
【請求項2】
前記視線方向推定手段は、前記シーン推定手段により推定された現在の運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合に、前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段の推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする請求項1に記載の視線方向推定装置。
【請求項3】
前記顔画像撮影手段で撮影された顔画像から車両運転者の目の向きを特定できるか否かを判定する目向き特定可否判定手段をさらに備え、
前記視線方向推定手段は、前記目向き特定可否判定手段により車両運転者の目の向きを特定できないと判定されたときに、前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段の推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする請求項1に記載の視線方向推定装置。
【請求項4】
前記シーンモデル記憶手段に記憶されているシーンモデルは、車両運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定したデータであることを特徴とする請求項1に記載の視線方向推定装置。
【請求項5】
前記顔向き推定手段により推定される車両運転者の顔向きの時系列変化が、現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、車両運転者の視線移動が正常でないと判定する視線逸脱判定手段をさらに備えることを特徴とする請求項1に記載の視線方向推定装置。
【請求項6】
前記個人認証手段は、前記顔画像撮影手段で撮影された顔画像に基づいて、車両運転者に対する個人認証処理を行うことを特徴とする請求項1に記載の視線方向推定装置。
【請求項7】
前記顔向き推定手段は、前記顔画像撮影手段で撮影された顔画像から複数の特徴点を抽出し、抽出した複数の特徴点の位置関係に基づいて、車両運転者の顔向きを推定することを特徴とする請求項1に記載の視線方向推定装置。
【請求項8】
複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを予め記憶しておき、
車両運転者の顔画像を撮影し、
撮影した顔画像に基づいて、車両運転者の顔向きを推定し、
車両運転者に対する個人認証処理を行い、
車両信号と周囲環境情報とに基づいて、車両の運転シーンを推定し、
前記個人認証処理の結果と前記車両の運転シーンの推定結果とに基づいて、前記予め記憶しているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記車両運転者の顔向きの推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする視線方向推定方法。
【請求項1】
車両運転者の顔画像を撮影する顔画像撮影手段と、
前記顔画像撮影手段で撮影された顔画像に基づいて、車両運転者の顔向きを推定する顔向き推定手段と、
車両運転者に対する個人認証処理を行う個人認証手段と、
車両信号と周囲環境情報とに基づいて、車両の運転シーンを推定するシーン推定手段と、
複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを記憶するシーンモデル記憶手段と、
前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段による推定結果とに基づいて、車両運転者の視線方向を推定する視線方向推定手段とを備えることを特徴とする視線方向推定装置。
【請求項2】
前記視線方向推定手段は、前記シーン推定手段により推定された現在の運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合に、前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段の推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする請求項1に記載の視線方向推定装置。
【請求項3】
前記顔画像撮影手段で撮影された顔画像から車両運転者の目の向きを特定できるか否かを判定する目向き特定可否判定手段をさらに備え、
前記視線方向推定手段は、前記目向き特定可否判定手段により車両運転者の目の向きを特定できないと判定されたときに、前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段の推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする請求項1に記載の視線方向推定装置。
【請求項4】
前記シーンモデル記憶手段に記憶されているシーンモデルは、車両運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定したデータであることを特徴とする請求項1に記載の視線方向推定装置。
【請求項5】
前記顔向き推定手段により推定される車両運転者の顔向きの時系列変化が、現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、車両運転者の視線移動が正常でないと判定する視線逸脱判定手段をさらに備えることを特徴とする請求項1に記載の視線方向推定装置。
【請求項6】
前記個人認証手段は、前記顔画像撮影手段で撮影された顔画像に基づいて、車両運転者に対する個人認証処理を行うことを特徴とする請求項1に記載の視線方向推定装置。
【請求項7】
前記顔向き推定手段は、前記顔画像撮影手段で撮影された顔画像から複数の特徴点を抽出し、抽出した複数の特徴点の位置関係に基づいて、車両運転者の顔向きを推定することを特徴とする請求項1に記載の視線方向推定装置。
【請求項8】
複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを予め記憶しておき、
車両運転者の顔画像を撮影し、
撮影した顔画像に基づいて、車両運転者の顔向きを推定し、
車両運転者に対する個人認証処理を行い、
車両信号と周囲環境情報とに基づいて、車両の運転シーンを推定し、
前記個人認証処理の結果と前記車両の運転シーンの推定結果とに基づいて、前記予め記憶しているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記車両運転者の顔向きの推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする視線方向推定方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図16】
【図18】
【図19】
【図14】
【図15】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図16】
【図18】
【図19】
【図14】
【図15】
【図17】
【公開番号】特開2008−146356(P2008−146356A)
【公開日】平成20年6月26日(2008.6.26)
【国際特許分類】
【出願番号】特願2006−332825(P2006−332825)
【出願日】平成18年12月11日(2006.12.11)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
【公開日】平成20年6月26日(2008.6.26)
【国際特許分類】
【出願日】平成18年12月11日(2006.12.11)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
[ Back to top ]