運転支援システム
【課題】運転中に視線を向けた対象物を後から確認できる運転支援システムを提供する。
【解決手段】リモコン１２の記録操作により前方撮像カメラ８で前方画像を撮像する。この撮像に同期して顔撮像カメラ１０で運転者の顔画像を撮像し、顔画像から運転者の視線方向データを検出する。メモリ４５には、前方画像データ、視線方向データ、撮像位置座標からなる合成データが記録される。リモコン１２が再生操作されると、マイクロコンピュータ２０は視線方向データに基づいて、撮像範囲を複数の領域に分割した分割領域から注目領域を判定する。この注目領域に対応する画像データが前方画像データから抽出され、液晶ディスプレイ６に注目領域の画像が表示される。よって、運転中に注目できなかった対象物を、後から容易に確認することができるので利便性が向上した。
【解決手段】リモコン１２の記録操作により前方撮像カメラ８で前方画像を撮像する。この撮像に同期して顔撮像カメラ１０で運転者の顔画像を撮像し、顔画像から運転者の視線方向データを検出する。メモリ４５には、前方画像データ、視線方向データ、撮像位置座標からなる合成データが記録される。リモコン１２が再生操作されると、マイクロコンピュータ２０は視線方向データに基づいて、撮像範囲を複数の領域に分割した分割領域から注目領域を判定する。この注目領域に対応する画像データが前方画像データから抽出され、液晶ディスプレイ６に注目領域の画像が表示される。よって、運転中に注目できなかった対象物を、後から容易に確認することができるので利便性が向上した。
【発明の詳細な説明】
【技術分野】
【０００１】
車両の前方が撮像された前方画像内で対象者の視線が向けられた場所を拡大表示する運転支援システムに関するものである。
【背景技術】
【０００２】
自動車など車両には、走行中にその周囲を撮像する車載カメラを備えたものがある。車載カメラによって撮像された画像は、例えば、車内に設置されたカーナビゲーション装置の液晶ディスプレイなどの表示装置に表示される。運転者は撮像画像を見ながら障害物や歩行者などを認識することにより安全運転を行っている。特許文献１に記載の車載カメラでは、車両が高速走行の時には望遠撮像を行い遠方の障害物を重点的に監視する。また、車両が低速走行の時には広角撮像を行い、車両近傍を重点的に監視している。さらに、操作パネルを操作することにより、車載カメラの光軸を所望の方向に移動させることや、ズームインやズームアウトを行うことで最適な画像を撮像している。
【特許文献１】特開平１１−３１２３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載のように、走行中に運転者が操作パネルを操作する場合には、撮像画像が運転者の意図する画像となっているか否かを確認しながら操作を行う必要がある。そのため、走行中に運転者の注意が撮像画像に向いてしまうので非常に危険であり、交通事故が発生しかねない。また、運転中に看板や店舗などの個人的な興味の対象物が現れても、運転中はそれらを注視することができないという問題がある。
【０００４】
本発明は、上記問題点を解決するためになされたものであり、車両の前方画像内で視線が向けられた場所に対応する画像を拡大表示できる運転支援システムに関するものである。
【課題を解決するための手段】
【０００５】
本発明の運転支援システムは、車両の前方を撮像する撮像手段と、前記車両に乗車した対象者の視線方向を検出する視線検出手段と、前記撮像手段の撮像範囲を複数の領域に分割した分割領域を作成する領域作成手段と、記録指示により前記撮像手段の撮像で得られた前方画像データとこの前方画像データが撮像された時に前記視線検出手段により検出された視線方向データを関連付け、これら前記前方画像データ及び前記視線方向データを時系列に沿って記録する記録手段と、前記記録手段から前記前方画像及び前記視線方向データを読み出し、前記視線方向データに基づいて撮像時に視線が向けられていた前記分割領域を注目領域として判定し、前記前方画像データから前記注目領域、又は前記注目領域とその近傍に対応する画像データを抽出する領域抽出手段と、抽出された前記注目領域、または前記注目領域とその近傍に対応する画像データに基づいて、前記前記注目領域、または前記注目領域とその近傍の画像を表示する表示手段とを備えたことを特徴とするものである。また、前記注目領域、または前記注目領域とその近傍の画像は、前記前方画像が表示された後に表示されるようにしてもよい。
【０００６】
また、前記車両の位置座標を検出する位置座標検出手段と、前記位置座標検出手段によって前方画像の撮像場所に対応する撮像位置座標を検出し、検出された前記撮像位置座標に基づいて、前記表示手段に表示される地図画像上に前記撮像位置を示すマークを付加するマーク付加手段とを備えてもよい。さらに、前記位置座標検出手段は、ＧＰＳであってもよい。
【０００７】
また、前記領域抽出手段によって抽出された前記注目領域、または前記注目領域とその近傍の画像データから道路標識の領域のみを抽出する標識抽出手段と、前記標識抽出手段によって抽出された道路標識データと、予め設定された道路標識に関するサンプルデータとを比較して、前記道路標識データに前記サンプルデータが一致すると判定された際に、前記サンプルデータに応じて設定された道路標識の情報信号を出力する標識判定手段と、出力された前記情報信号に基づいて、前記車両の乗車者に前記道路標識の情報を通知する通知手段を備えてもよい。
【０００８】
また、前記視線検出手段によって検出された前記対象者の視線方向に前記撮像手段の光軸が向くように前記撮像手段の向きを変更する視線追跡手段を備えてもよい。
【発明の効果】
【０００９】
以上のように、本発明によると、車両に乗車する対象者の視線方向が、撮像領域を複数に分割した分割領域のどこに向けられていたかを判定し、判定された分割領域を注目領域として、前方画像データからこの注目領域、又は注目領域とこの近傍に対応する画像データを抽出して、表示手段に注目領域、または注目領域とその近傍の画像を表示したので、運転中に注目することのできなかった道路標識や建物などを、後から容易に確認することができるので利便性が向上した。
【００１０】
また、前方画像を撮像した撮像位置座標を位置座標検出手段によって検出し、この撮像位置座標に基づいて、表示手段に表示される地図画像上に撮像位置を示すマークを付加したので、前方画像を撮像した場所が容易に確認できる。
【００１１】
また、表示手段に表示された注目領域の画像に道路標識が表示されていた場合に、注目領域の画像データから道路標識データが抽出され、サンプルデータと比較、判定され、道路標識データがサンプルデータと一致した場合には、サンプルデータに応じて設定された道路標識の情報が車両の乗車者に通知されるので、安全運転を支援することができる。
【００１２】
また、視線検出手段によって検出された対象者の視線方向に撮像手段の光軸が向くように撮像手段の向きを変更する視線追跡手段を備えたので、撮像される前方画像の中央部分が注目領域となるので、確実に対象者の見たい画像が記録、表示できる。
【発明を実施するための最良の形態】
【００１３】
図１は、運転支援システムであるナビゲーションシステム２が取り付けられた自動車の運転席部分を示す説明図である。ナビゲーションシステム２は、例えばダッシュボード３内に収納された本体部４及びスピーカー５と、ダッシュボード３上に取り付けられた液晶ディスプレイ６と、ＧＰＳ（Global Positioning System；全地球測位システム）衛星からの信号を受信するＧＰＳアンテナ７と、自動車の前方を撮像する前方撮像カメラ８と、運転者の顔画像を撮像する顔撮像カメラ１０と、本体部４の前面に着脱自在に設けられ、操作ボタンやレバーなどによって各種操作や設定を行うリモコン１２などから構成されている。
【００１４】
図２は、カーナビゲーションシステム２の電気的構成を示すブロック図である。本体部４に設けられたマイクロコンピュータ２０は、各種プログラムやデータが記憶されたＲＯＭと、このＲＯＭから読み出したプログラムに基づいて各種演算処理を行うＣＰＵと、各種演算処理時に読み出したプログラムやデータを一時的に記憶したり、各種設定データを記憶するＲＡＭからなる。本体部４内の各種構成部品は、データバス２１を介してマイクロコンピュータ２０に接続されて制御されている。
【００１５】
インターフェース（Ｉ／Ｆ）部２２は、本体部４と外部装置の接続に使用される。Ｉ／Ｆ部２２には、スピーカー５、液晶ディスプレイ６、ＧＰＳアンテナ７、前方撮像カメラ８、顔撮像カメラ１０が接続している。スピーカー５は、音声処理部２５から出力された音声信号に基づいて、自動車を目的地に誘導する際のナビゲーション音声などを出力する。
【００１６】
撮像手段である前方撮像カメラ８は、広角な範囲を撮像することが可能な広角レンズを備えており、光軸を前方（運転者の視線と同じ方向）に向けてダッシュボード３の上に固定されている。そして、前方撮像カメラ８は、広角レンズの背後に配置されたＣＣＤ撮像素子や、ＣＣＤ制御部、信号処理回路などから構成され、広角レンズを透過して形成される被写体の光学像を撮像信号として検出する。検出された撮像信号は、信号処理回路で一定レベルまで増幅され、ホワイトバランス調節、Γ補正などの信号処理が行われた後、デジタル画像データに変換される。このデジタル画像データに変換された前方画像データは、Ｉ／Ｆ部２２を介してマイクロコンピュータ２０に出力される。
【００１７】
顔撮像カメラ１０は、前方撮像カメラ８が前方画像を撮像した際に、対象者である運転者の視線を検出するために顔画像の撮像を行う。顔撮像カメラ１０は、前方撮像カメラ８の広角レンズよりも画角の狭い撮像レンズが設けられており、ＣＣＤ撮像素子や、ＣＣＤ制御部、信号処理回路などから構成されている。撮像レンズを透過して形成される被写体の光学像は、撮像信号として検出され、上述と同様に各種画像処理が行われた後、デジタル画像データに変換されて顔画像データとなる。また、顔撮像カメラ１０は、運転席２８と対向するフロントガラス２９の上部で、運転席２８に座る運転者の顔の中心に光軸を向けるように、光軸方向を微調整可能に取り付けられている。顔撮像カメラ１０で撮像された顔画像データは、Ｉ／Ｆ部２２を介して視線検出部３０に出力される。
【００１８】
視線検出部３０は、顔撮像カメラ１０から検出された顔画像データを用いて運転者の視線方向の検出を行う。視線方向の検出方法としては、先ず顔画像データから顔領域の検出を行う。顔領域の検出は、運転者の顔画像を予めＲＯＭに登録しておき、この顔画像を用いたパターンマッチングにより行う。このときＲＯＭには複数方向からの顔画像を登録しておく。これにより、顔の向きも計測する。次に、目領域の検出を行う。目領域の検出は、検出された顔領域の中心軸から等間隔にある黒色の円領域を抽出することにより行う。視線は、目領域の画像から計測した眼球の向きと、パターンマッチングにより計測された顔の向きとを合わせることで計測されて視線方向データが形成される。視線方向データは、マイクロコンピュータ２０に出力される。なお、視線検出手段としては、顔撮像カメラ１０及び視線検出部３０から構成されている。また、視線方向の検出方法はこれに限るものではない。
【００１９】
位置座標検出部３１は、ＧＰＳアンテナ７によってＧＰＳ衛星（図示せず）からリアルタイムでＧＰＳ信号を受信し、このＧＰＳ信号から現在の走行位置の座標を検出する。地図データ記憶部３２は、例えば、地図データが記憶された記憶メディアがセットされるＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブ、ハードディスクドライブなどからなる。マイクロコンピュータ２０は、位置座標検出部３１によって検出された位置座標に基づいて、現在の走行位置付近の地図データを地図データ記憶部３２から読み出し、図３に示すように液晶ディスプレイ６上に地図画像３５を表示する。また、マイクロコンピュータ２０は、前方撮像カメラ８によって前方画像の撮像が行われたときに、位置座標検出部３１から撮像場所の撮像位置座標を取得する。また、画像処理部３６は、位置座標検出部３１からの位置座標に基づいて自動車の現在の走行位置を示すアイコン３８を地図画像３６上に重ねて表示する。
【００２０】
リモコン１２は、前方撮像カメラ８への撮像指示や、撮像された前方画像の表示指示、ナビゲーションシステム２の目的地設定などの操作を行う。リモコン１２の各種操作ボタンやレバーが操作されると、本体部４に設けられた赤外線受信部４０に各種操作信号が送信され、赤外線受信部４０で受信した操作信号は、データバス２１を介してマイクロコンピュータ２０に送られる。マイクロコンピュータ２０は、この操作信号に基づいて各部を制御する。
【００２１】
前方撮像カメラ８は、例えば自動車のエンジンが始動された場合に所定間隔で図４（Ａ）に示すような前方画像４２の撮像を行い、この撮像で得られた前方画像データをＲＡＭに出力する。さらに、顔撮像カメラ１０は、前方撮像カメラ８の撮像に同期して運転者の顔画像の撮像を行う。そして、撮像された顔画像に基づいて運転者の視線方向データが検出される。このとき検出された視線方向データはＲＡＭに出力される。さらに、位置座標検出部３１から前方撮像カメラ８が撮像した撮像位置座標がＲＡＭに出力される。
【００２２】
ＲＡＭに出力された前方画像データ、視線方向データ、及び撮像位置座標は、前方画像カメラ８で次の撮像が行われるまで一時的に記憶される。なお、前方撮像カメラ８は、短い所定間隔で撮像されており、ＲＡＭに記憶される前方画像データ、視線方向データ、及び撮像位置座標は、常に最新の各データが上書きされて記憶される。
【００２３】
そして、記録指示として運転者がリモコン１２の操作によって記録信号をシステムコントローラ２０に入力すると、システムコントローラ２０は記録信号の入力時に撮像されてＲＡＭに記憶された前方画像データ、視線方向データ、及び撮像位置座標が記録手段であるメモリ４５に出力される。メモリ３０には、ＲＡＭから入力された前方画像データ、視線方向データ、及び撮像位置座標から形成された合成データが記録される。さらに、マーク付加手段である画像処理部３６は、合成データの撮像位置座標に基づいて、地図画像３５上の撮像場所にマーク４６を重ねて表示する（図３参照）。
【００２４】
また、領域作成手段であるマイクロコンピュータ２０は、図４（Ｂ）に示すように前方画像４２の撮像範囲４３を縦５列、横５列の領域に分割して２５個の分割領域４７を形成する。リモコン１２の操作によって再生信号がマイクロコンピュータ２０に入力されると、領域抽出手段でもあるマイクロコンピュータ２０は、メモリ４５に記録された合成データを読み出す。そして、マイクロコンピュータ２０は、視線方向データに基づいて、撮像時の視線がどの分割領域４７に向けられていたかを判定する。そして、判定された分割領域を注目領域４７ａとし、前方画像データから注目領域４７ａに対応する画像データを抽出する。この抽出された注目領域４７ａの画像データは、液晶ディスプレイ６に出力される。これにより、図５に示すような注目領域４７ａの画像が液晶ディスプレイ６に表示される。なお、液晶ディスプレイ６に表示された注目領域４７ａの画像は、リモコン１２の操作によってズームイン又はズームアウトが可能となる。
【００２５】
標識抽出部５０は、液晶ディスプレイ６に表示する注目領域４７ａの画像データから道路標識５１の領域のみを抽出して道路標識データを作成する。標識抽出部５０によって作成された道路標識データは、標識判定手段であるマイクロコンピュータ２０によって、予めＲＯＭに記憶されている各種道路標示に関するサンプルデータと比較、判定が行われる。抽出された道路標識データとサンプルデータが一致する場合は、マイクロコンピュータ２０はサンプルデータに応じて設定された情報信号を音声処理部２５に出力する。音声処理部２５は、情報信号に基づいてスピーカー５から例えば「Ｕターン禁止です。」などの情報を音声で通知する。なお、通知手段としては、音声処理部２５及びスピーカー５から構成されている。また、道路標識の情報を音声とともに液晶ディスプレイ６に文字で通知してもよい。
【００２６】
次に上記構成の作用を図６に示すフローチャートを用いて説明する。自動車のエンジンを始動すると前方撮像カメラ８によって短い所定間隔で前方の撮像が行われる。さらに、前方撮像カメラ８の撮像に同期して顔撮像カメラ１０によって運転者の顔画像も撮像され、この顔画像に基づいて運転者の視線方向データが検出される。また、ＧＰＳ衛星からのＧＰＳ信号を受信して前方画像４２の撮像位置座標を取得する。これら前方画像データ、視線方向データ、及び撮像位置座標は前方撮像カメラ８の次の撮像が行われるまでＲＡＭに一時的に記憶される。ＲＡＭには、撮像によって順次に得られた新たな前方画像データ、視線方向データ、及び撮像位置座標が上書きされて記憶される。
【００２７】
そして、運転中に例えば図４（Ａ）に示す道路標識５１が現れた場合に、運転者はその道路標識５１に視線を向けてリモコン１２の記録ボタンを押す。この記録ボタンが押された時に撮像によりＲＡＭに記憶された前方画像データ、視線方向データ、及び撮像位置座標はメモリ４５に出力される。そして、メモリ４５では、前方画像データ、視線方向データ、及び撮像位置座標から形成された合成データが記録される。さらに、液晶ディスプレイ６に表示されている地図画像３５上には、撮像位置座標に基づいて撮像場所を示すマーク４６が重ねて表示される（図３参照）。これにより、液晶ディスプレイ６に表示される注目領域４７ａの画像がどこで撮像されたかを確認することができる。
【００２８】
そして、信号待ちなどで自動車を停車させた際に、リモコン１２の操作によって再生ボタンが押されると、走行中にメモリ４５に記録した合成データが読み出される。そして、読み出した合成データの視線方向データに基づいて、前方画像データから注目領域４７ａに対応する画像データが抽出され、液晶ディスプレイ６に注目領域４７ａの画像が表示される。また、リモコン１２の操作により表示された注目領域４７ａの画像をズームインまたはズームアウトさせてもよい。これにより、運転中には注目できなかった道路標識５１を容易に確認することができる。
【００２９】
さらに、液晶ディスプレイ６に表示された注目領域４７ａの画像に道路標識５１が含まれている場合（図５参照）には、注目領域４７ａの画像データから道路標識５１の領域のみを抽出して道路標識データを作成する。この道路標識データは予め各種道路標識に関する情報が設定されたサンプルデータと比較、判定される。道路標識データがサンプルデータと一致した場合には、スピーカー５から「Ｕターン禁止です。」という道路標識５１の情報が音声で運転者に通知される。これにより、運転者が道路標識に従って運転することを支援することができる。
【００３０】
なお、Ｕターン禁止の道路標識５１を例に挙げて説明したが、これに限らず、道路標識としては一般道路、高速道路などで使用されているものがサンプルデータに設定されている。また、運転者の視線を道路標識５１に向けた例を説明したが、これに限らず、運転者の視線を向ける対象物としては、道路の側方にある店舗や建物などでもよい。
【００３１】
また、上記実施形態では、運転者の視線方向を検出して撮像範囲４３内から注目領域４７ａを判定し、この注目領域４７ａの画像を液晶ディスプレイ６に表示させたが、これに代えて、助手席５２の同乗者の視線方向を検出し、同乗者が視線を向けた分割領域４７を注目領域４７ａと判定し、液晶ディスプレイ６に判定された注目領域４７ａの画像を表示してもよい。この場合は、図７に示すように、フロントガラス２９の上部に顔撮像カメラ１０を運転席２８と対向する位置から、助手席５２に対向する位置にスライドさせるレール５３を設ける。さらに、顔撮像カメラ１０には、顔撮像カメラ１０をレール５３に固定するロック機構５４を設けるものである。
【００３２】
このように、運転者の他に同乗者がいる場合には、視線方向を検出する対象者を運転者と助手席５２の同乗者のどちらかに選択することができる。例えば、顔撮像カメラ１０を助手席５２に対向する位置にスライドさせて固定した場合には、前方撮像カメラ８の撮像に同期して助手席５２の同乗者の顔画像の撮像が行われる。そして、撮像された顔画像データから視線方向データが検出される。同乗者がリモコン１２で記録ボタンを操作すると、メモリ４５には記録ボタンが押された時に撮像された前方画像データ、同乗者の視線方向データ、及び撮像位置座標から形成される合成データが記録される。
【００３３】
そして、リモコン１２の再生ボタンが押されると、メモリ４５から合成データが読み出され、合成データの視線方向データに基づいて、注目領域４７ａが判定される（図４（Ｂ）参照）。そして、前方画像データからは、注目領域４７ａの画像データが抽出され、液晶ディスプレイ６に注目領域４７ａの画像が表示される（図５参照）。このように、顔撮像カメラ１０を助手席５２と対向する位置までスライドさせて固定した顔撮像カメラ１０によって、助手席５２の同乗者の顔画像から視線方向が検出され、液晶ディスプレイ６には同乗者の視線が向けられた場所（注目領域）の画像が表示されるので、運転者が走行中に注目できなかった標識や店舗などを後から容易に確認できるので利便性が向上した。さらに、運転者は運転に集中することができるので安全性が向上する。また、顔撮像カメラ１０を固定するロック機構５４を設けたので、カーブの走行時に遠心力によって顔撮像カメラ１０がレール５３に沿ってスライドしてしまうことがない。そのため、顔撮像カメラ１０は、確実に対象者の顔画像を撮像できる。なお、図７では顔撮像カメラ１０を運転席２８または助手席５２に対向する位置に移動させるためにレール５３を用いたが、これに限らず、顔撮像カメラ１０を運転席２８または助手席５２に対向する位置に着脱自在に取り付ける構造にしてもよい。
【００３４】
また、上記実施形態で用いられた前方撮像カメラ８には、広角な撮像範囲４３が撮像できるに広角レンズを用いたが、これに代えて、画角の狭い撮像レンズを用いた前方撮像カメラ５５を用いて、運転者の視線方向に前方撮像カメラ５５の光軸を向けるようにしてもよい。この場合は、図８に示すように、運転者の視線方向と同じ方向に前方撮像カメラ５５の向きを変更するための駆動機構５８と、この駆動機構５８を制御する追跡駆動制御部５９を備えるものである。なお、上記実施形態と同様の構成部材には、同一の符号を付してその説明は省略する。
【００３５】
駆動機構５８は、例えば、ステッピングモータとこのステッピングモータの駆動力を前方撮像カメラ５５に伝達するギア部から構成されている。ステッピングモータは、顔撮像カメラ５５の光軸を上下方向と左右方向に振るために２個設けられている。
【００３６】
追跡駆動制御部５９は、視線検出部３０から検出された視線方向データに基づいて前方撮像カメラ５５の光軸が視線方向に向くように、２個のステッピングモータのそれぞれの動作を制御する。なお、視線追跡手段としては、駆動機構５８及び追跡駆動制御部５９から構成されている。
【００３７】
運転中に前方画像の撮像を行う場合を図９のフローチャートを用いて説明する。例えば、自動車のエンジンが始動すると、顔撮像カメラ１０は運転者の顔画像を短い所定間隔で撮像する。視線検出部３０は、この撮像された顔画像データに基づいて、視線方向データを検出する。この視線方向データは、マイクロコンピュータ２０のＲＡＭと追跡駆動制御部５９の両方に出力される。追跡駆動制御部５９は、視線方向データに基づいて、前方撮像カメラ８の光軸が運転者の視線方向に向くようにステッピングモータの動作を制御する。
【００３８】
運転者がリモコン１２を操作して記録ボタンを押すと、図１０（Ａ）に示すように、視線方向に光軸を向けた前方撮像カメラ８によって前方画像６０の撮像が行われる。このとき、液晶ディスプレイ６に表示されている地図画像３５上には、画像処理部３６によって撮像が行われたことを示すマーク４６が重ねて表示される（図３参照）。そして、撮像された前方画像データは、メモリ４５に記録される。
【００３９】
そして、図１０（Ｂ）に示すように、マイクロコンピュータ２０は、例えば前方撮像カメラ８の撮像範囲６１を縦５列、横５列の領域に分割して２５個の分割領域６２を形成する。運転者によってリモコン１２の再生ボタンが押されると、撮像範囲６１の中央部分の分割領域６２を注目領域６３と判定し、マイクロコンピュータ２０は、前方画像データから注目領域６３に対応する画像データを抽出する。そして、図１０（Ｃ）に示すように、液晶ディスプレイ６に前方画像６０の中央部分の画像が表示される。これにより、運転者が視線を向けた場所が液晶ディスプレイ６に拡大表示されるので、利便性が向上する。
【００４０】
なお、注目領域６３に道路標識が表示されている場合には、サンプルデータに基づいて道路標識が判定され、道路標識の情報がスピーカー５から通知される。これにより、運転者の安全運転を支援することができる。
【００４１】
なお、上記実施形態では、自動車を目的地に案内するナビゲーションシステムに運転支援システムを用いたが、これに限らず、運転支援システムを構成するスピーカー５、液晶ディスプレイ６、前撮像カメラ８、顔撮像カメラ１０、マイクロコンピュータ２０、音声処理部２５、視線検出部３０、位置座標検出部３１、画像処理部３６、標識抽出部５０を個別に自動車などの車両に設けてもよい。また、運転支援システムを自動車に用いたが、これに限らず、電車、船舶、飛行機などの車両に設けてもよい。
【００４２】
また、本実施形態の運転支援システムには、撮像場所を示すマーク４６を地図画像上に表示させたり、注目領域の画像に道路標識５１が表示されていた場合には、道路標識５１の情報を自動車の乗車者に通知したが、これらの機能は適宜に運転支援システムに設けるようにしてもよい。また、前方撮像カメラ８では、短い所定間隔で撮像を行ったが、この所定間隔を極端に短くすることで動画撮像を行い、この動画で撮像された前方画像データを一時的にＲＡＭに記憶させてもよい。
【００４３】
また、前方画像を記録する記録指示としては、リモコン１２の記録ボタン操作によって行ったが、これに限らず、記録指示としてはエンジンの始動や、車速を検出して前方画面データ及び視線方向データの記録を行っても良い。例えば、記録指示としてエンジンが始動されると、前方画像の撮像が予め設定された所定時間行われ、メモリ４５に前方画像データとこの撮像に伴って検出された視線方向データが記録される。そして、所定時間内に再生ボタンが操作されなければ、再び前方画像の撮像が所定時間行われ、前回記録した前方画像データ及び視線方向データの上から今回撮像した前方画像データ及び視線方向データが記録されるようにしてもよい。なお、再生ボタンが操作されると、記録した前方画像データ及び視線方向データはメモリ４５に記録されたままとなることが好ましい。
【００４４】
なお、再生ボタンの操作によって、液晶ディスプレイ６に注目領域の画像を表示させたが、この注目領域とその近傍の画像を表示させてもよい。また、注目領域の画像を表示させる前に前方画像を一時的に表示させてもよい。さらにまた、液晶ディスプレイ６の表示画面を分割して地図画像３５と注目領域の画像を同時に表示させてもよい。これにより、注目領域の画像が撮像された場所を容易に確認することができる。また、撮像範囲を分割する領域の大きさをユーザが設定できるようにしてもよい。
【００４５】
なお、前方画像の撮像や、注目領域４７ａ前方撮像カメラ８による撮像や注目領域４７ａの表示を行う操作信号をリモコン１２の操作によって行ったが、音声入力やタッチパネルによって記録、再生操作を行ってもよい。また、対象者の視線方向が検出されない場合に、警告音又は表示などで知らせてもよい。これにより、よそ見運転を防止することができる。また、夜間走行中でも対象者の顔画像を撮像可能とするために、顔撮像カメラは赤外線、高感度撮像が可能であることが好ましい。
【図面の簡単な説明】
【００４６】
【図１】本発明のナビゲーションシステムを備えた自動車の運転席部分の構成を示す斜視図である。
【図２】ナビゲーションシステムの電気的構成を示すブロック図である。
【図３】地図画像上に重ねて表示されたマークを表示した液晶ディスプレイを示す説図である。
【図４】撮像した前方画像と、撮像範囲を分割した分割領域を説明する説明図である。
【図５】注目領域の画像を表示した液晶ディスプレイを示す説明図である。
【図６】注目領域の画像を表示する手順を示すフローチャートである。
【図７】顔撮像カメラをスライド自在に設置した運転席部分を示す斜視図である。
【図８】前方撮像カメラを視線方向に向ける駆動機構を設けたナビゲーションシステムの電気的構成を示すブロック図である。
【図９】視線方向に向けた前方撮像カメラによって撮像された注目領域の画像を表示する手順を示すフローチャートである。
【図１０】視線方向に向けた前方撮像カメラで撮像された前方画像及び注目領域を示す説明図である。
【符号の説明】
【００４７】
２ ナビゲーションシステム
５ スピーカー
６ 液晶ディスプレイ
８ 前方撮像カメラ
１０ 顔撮像カメラ
２０ マイクロコンピュータ
３０ 視線検出部
３１ 位置検出部
４５ メモリ
５０ 標識抽出
【技術分野】
【０００１】
車両の前方が撮像された前方画像内で対象者の視線が向けられた場所を拡大表示する運転支援システムに関するものである。
【背景技術】
【０００２】
自動車など車両には、走行中にその周囲を撮像する車載カメラを備えたものがある。車載カメラによって撮像された画像は、例えば、車内に設置されたカーナビゲーション装置の液晶ディスプレイなどの表示装置に表示される。運転者は撮像画像を見ながら障害物や歩行者などを認識することにより安全運転を行っている。特許文献１に記載の車載カメラでは、車両が高速走行の時には望遠撮像を行い遠方の障害物を重点的に監視する。また、車両が低速走行の時には広角撮像を行い、車両近傍を重点的に監視している。さらに、操作パネルを操作することにより、車載カメラの光軸を所望の方向に移動させることや、ズームインやズームアウトを行うことで最適な画像を撮像している。
【特許文献１】特開平１１−３１２３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載のように、走行中に運転者が操作パネルを操作する場合には、撮像画像が運転者の意図する画像となっているか否かを確認しながら操作を行う必要がある。そのため、走行中に運転者の注意が撮像画像に向いてしまうので非常に危険であり、交通事故が発生しかねない。また、運転中に看板や店舗などの個人的な興味の対象物が現れても、運転中はそれらを注視することができないという問題がある。
【０００４】
本発明は、上記問題点を解決するためになされたものであり、車両の前方画像内で視線が向けられた場所に対応する画像を拡大表示できる運転支援システムに関するものである。
【課題を解決するための手段】
【０００５】
本発明の運転支援システムは、車両の前方を撮像する撮像手段と、前記車両に乗車した対象者の視線方向を検出する視線検出手段と、前記撮像手段の撮像範囲を複数の領域に分割した分割領域を作成する領域作成手段と、記録指示により前記撮像手段の撮像で得られた前方画像データとこの前方画像データが撮像された時に前記視線検出手段により検出された視線方向データを関連付け、これら前記前方画像データ及び前記視線方向データを時系列に沿って記録する記録手段と、前記記録手段から前記前方画像及び前記視線方向データを読み出し、前記視線方向データに基づいて撮像時に視線が向けられていた前記分割領域を注目領域として判定し、前記前方画像データから前記注目領域、又は前記注目領域とその近傍に対応する画像データを抽出する領域抽出手段と、抽出された前記注目領域、または前記注目領域とその近傍に対応する画像データに基づいて、前記前記注目領域、または前記注目領域とその近傍の画像を表示する表示手段とを備えたことを特徴とするものである。また、前記注目領域、または前記注目領域とその近傍の画像は、前記前方画像が表示された後に表示されるようにしてもよい。
【０００６】
また、前記車両の位置座標を検出する位置座標検出手段と、前記位置座標検出手段によって前方画像の撮像場所に対応する撮像位置座標を検出し、検出された前記撮像位置座標に基づいて、前記表示手段に表示される地図画像上に前記撮像位置を示すマークを付加するマーク付加手段とを備えてもよい。さらに、前記位置座標検出手段は、ＧＰＳであってもよい。
【０００７】
また、前記領域抽出手段によって抽出された前記注目領域、または前記注目領域とその近傍の画像データから道路標識の領域のみを抽出する標識抽出手段と、前記標識抽出手段によって抽出された道路標識データと、予め設定された道路標識に関するサンプルデータとを比較して、前記道路標識データに前記サンプルデータが一致すると判定された際に、前記サンプルデータに応じて設定された道路標識の情報信号を出力する標識判定手段と、出力された前記情報信号に基づいて、前記車両の乗車者に前記道路標識の情報を通知する通知手段を備えてもよい。
【０００８】
また、前記視線検出手段によって検出された前記対象者の視線方向に前記撮像手段の光軸が向くように前記撮像手段の向きを変更する視線追跡手段を備えてもよい。
【発明の効果】
【０００９】
以上のように、本発明によると、車両に乗車する対象者の視線方向が、撮像領域を複数に分割した分割領域のどこに向けられていたかを判定し、判定された分割領域を注目領域として、前方画像データからこの注目領域、又は注目領域とこの近傍に対応する画像データを抽出して、表示手段に注目領域、または注目領域とその近傍の画像を表示したので、運転中に注目することのできなかった道路標識や建物などを、後から容易に確認することができるので利便性が向上した。
【００１０】
また、前方画像を撮像した撮像位置座標を位置座標検出手段によって検出し、この撮像位置座標に基づいて、表示手段に表示される地図画像上に撮像位置を示すマークを付加したので、前方画像を撮像した場所が容易に確認できる。
【００１１】
また、表示手段に表示された注目領域の画像に道路標識が表示されていた場合に、注目領域の画像データから道路標識データが抽出され、サンプルデータと比較、判定され、道路標識データがサンプルデータと一致した場合には、サンプルデータに応じて設定された道路標識の情報が車両の乗車者に通知されるので、安全運転を支援することができる。
【００１２】
また、視線検出手段によって検出された対象者の視線方向に撮像手段の光軸が向くように撮像手段の向きを変更する視線追跡手段を備えたので、撮像される前方画像の中央部分が注目領域となるので、確実に対象者の見たい画像が記録、表示できる。
【発明を実施するための最良の形態】
【００１３】
図１は、運転支援システムであるナビゲーションシステム２が取り付けられた自動車の運転席部分を示す説明図である。ナビゲーションシステム２は、例えばダッシュボード３内に収納された本体部４及びスピーカー５と、ダッシュボード３上に取り付けられた液晶ディスプレイ６と、ＧＰＳ（Global Positioning System；全地球測位システム）衛星からの信号を受信するＧＰＳアンテナ７と、自動車の前方を撮像する前方撮像カメラ８と、運転者の顔画像を撮像する顔撮像カメラ１０と、本体部４の前面に着脱自在に設けられ、操作ボタンやレバーなどによって各種操作や設定を行うリモコン１２などから構成されている。
【００１４】
図２は、カーナビゲーションシステム２の電気的構成を示すブロック図である。本体部４に設けられたマイクロコンピュータ２０は、各種プログラムやデータが記憶されたＲＯＭと、このＲＯＭから読み出したプログラムに基づいて各種演算処理を行うＣＰＵと、各種演算処理時に読み出したプログラムやデータを一時的に記憶したり、各種設定データを記憶するＲＡＭからなる。本体部４内の各種構成部品は、データバス２１を介してマイクロコンピュータ２０に接続されて制御されている。
【００１５】
インターフェース（Ｉ／Ｆ）部２２は、本体部４と外部装置の接続に使用される。Ｉ／Ｆ部２２には、スピーカー５、液晶ディスプレイ６、ＧＰＳアンテナ７、前方撮像カメラ８、顔撮像カメラ１０が接続している。スピーカー５は、音声処理部２５から出力された音声信号に基づいて、自動車を目的地に誘導する際のナビゲーション音声などを出力する。
【００１６】
撮像手段である前方撮像カメラ８は、広角な範囲を撮像することが可能な広角レンズを備えており、光軸を前方（運転者の視線と同じ方向）に向けてダッシュボード３の上に固定されている。そして、前方撮像カメラ８は、広角レンズの背後に配置されたＣＣＤ撮像素子や、ＣＣＤ制御部、信号処理回路などから構成され、広角レンズを透過して形成される被写体の光学像を撮像信号として検出する。検出された撮像信号は、信号処理回路で一定レベルまで増幅され、ホワイトバランス調節、Γ補正などの信号処理が行われた後、デジタル画像データに変換される。このデジタル画像データに変換された前方画像データは、Ｉ／Ｆ部２２を介してマイクロコンピュータ２０に出力される。
【００１７】
顔撮像カメラ１０は、前方撮像カメラ８が前方画像を撮像した際に、対象者である運転者の視線を検出するために顔画像の撮像を行う。顔撮像カメラ１０は、前方撮像カメラ８の広角レンズよりも画角の狭い撮像レンズが設けられており、ＣＣＤ撮像素子や、ＣＣＤ制御部、信号処理回路などから構成されている。撮像レンズを透過して形成される被写体の光学像は、撮像信号として検出され、上述と同様に各種画像処理が行われた後、デジタル画像データに変換されて顔画像データとなる。また、顔撮像カメラ１０は、運転席２８と対向するフロントガラス２９の上部で、運転席２８に座る運転者の顔の中心に光軸を向けるように、光軸方向を微調整可能に取り付けられている。顔撮像カメラ１０で撮像された顔画像データは、Ｉ／Ｆ部２２を介して視線検出部３０に出力される。
【００１８】
視線検出部３０は、顔撮像カメラ１０から検出された顔画像データを用いて運転者の視線方向の検出を行う。視線方向の検出方法としては、先ず顔画像データから顔領域の検出を行う。顔領域の検出は、運転者の顔画像を予めＲＯＭに登録しておき、この顔画像を用いたパターンマッチングにより行う。このときＲＯＭには複数方向からの顔画像を登録しておく。これにより、顔の向きも計測する。次に、目領域の検出を行う。目領域の検出は、検出された顔領域の中心軸から等間隔にある黒色の円領域を抽出することにより行う。視線は、目領域の画像から計測した眼球の向きと、パターンマッチングにより計測された顔の向きとを合わせることで計測されて視線方向データが形成される。視線方向データは、マイクロコンピュータ２０に出力される。なお、視線検出手段としては、顔撮像カメラ１０及び視線検出部３０から構成されている。また、視線方向の検出方法はこれに限るものではない。
【００１９】
位置座標検出部３１は、ＧＰＳアンテナ７によってＧＰＳ衛星（図示せず）からリアルタイムでＧＰＳ信号を受信し、このＧＰＳ信号から現在の走行位置の座標を検出する。地図データ記憶部３２は、例えば、地図データが記憶された記憶メディアがセットされるＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブ、ハードディスクドライブなどからなる。マイクロコンピュータ２０は、位置座標検出部３１によって検出された位置座標に基づいて、現在の走行位置付近の地図データを地図データ記憶部３２から読み出し、図３に示すように液晶ディスプレイ６上に地図画像３５を表示する。また、マイクロコンピュータ２０は、前方撮像カメラ８によって前方画像の撮像が行われたときに、位置座標検出部３１から撮像場所の撮像位置座標を取得する。また、画像処理部３６は、位置座標検出部３１からの位置座標に基づいて自動車の現在の走行位置を示すアイコン３８を地図画像３６上に重ねて表示する。
【００２０】
リモコン１２は、前方撮像カメラ８への撮像指示や、撮像された前方画像の表示指示、ナビゲーションシステム２の目的地設定などの操作を行う。リモコン１２の各種操作ボタンやレバーが操作されると、本体部４に設けられた赤外線受信部４０に各種操作信号が送信され、赤外線受信部４０で受信した操作信号は、データバス２１を介してマイクロコンピュータ２０に送られる。マイクロコンピュータ２０は、この操作信号に基づいて各部を制御する。
【００２１】
前方撮像カメラ８は、例えば自動車のエンジンが始動された場合に所定間隔で図４（Ａ）に示すような前方画像４２の撮像を行い、この撮像で得られた前方画像データをＲＡＭに出力する。さらに、顔撮像カメラ１０は、前方撮像カメラ８の撮像に同期して運転者の顔画像の撮像を行う。そして、撮像された顔画像に基づいて運転者の視線方向データが検出される。このとき検出された視線方向データはＲＡＭに出力される。さらに、位置座標検出部３１から前方撮像カメラ８が撮像した撮像位置座標がＲＡＭに出力される。
【００２２】
ＲＡＭに出力された前方画像データ、視線方向データ、及び撮像位置座標は、前方画像カメラ８で次の撮像が行われるまで一時的に記憶される。なお、前方撮像カメラ８は、短い所定間隔で撮像されており、ＲＡＭに記憶される前方画像データ、視線方向データ、及び撮像位置座標は、常に最新の各データが上書きされて記憶される。
【００２３】
そして、記録指示として運転者がリモコン１２の操作によって記録信号をシステムコントローラ２０に入力すると、システムコントローラ２０は記録信号の入力時に撮像されてＲＡＭに記憶された前方画像データ、視線方向データ、及び撮像位置座標が記録手段であるメモリ４５に出力される。メモリ３０には、ＲＡＭから入力された前方画像データ、視線方向データ、及び撮像位置座標から形成された合成データが記録される。さらに、マーク付加手段である画像処理部３６は、合成データの撮像位置座標に基づいて、地図画像３５上の撮像場所にマーク４６を重ねて表示する（図３参照）。
【００２４】
また、領域作成手段であるマイクロコンピュータ２０は、図４（Ｂ）に示すように前方画像４２の撮像範囲４３を縦５列、横５列の領域に分割して２５個の分割領域４７を形成する。リモコン１２の操作によって再生信号がマイクロコンピュータ２０に入力されると、領域抽出手段でもあるマイクロコンピュータ２０は、メモリ４５に記録された合成データを読み出す。そして、マイクロコンピュータ２０は、視線方向データに基づいて、撮像時の視線がどの分割領域４７に向けられていたかを判定する。そして、判定された分割領域を注目領域４７ａとし、前方画像データから注目領域４７ａに対応する画像データを抽出する。この抽出された注目領域４７ａの画像データは、液晶ディスプレイ６に出力される。これにより、図５に示すような注目領域４７ａの画像が液晶ディスプレイ６に表示される。なお、液晶ディスプレイ６に表示された注目領域４７ａの画像は、リモコン１２の操作によってズームイン又はズームアウトが可能となる。
【００２５】
標識抽出部５０は、液晶ディスプレイ６に表示する注目領域４７ａの画像データから道路標識５１の領域のみを抽出して道路標識データを作成する。標識抽出部５０によって作成された道路標識データは、標識判定手段であるマイクロコンピュータ２０によって、予めＲＯＭに記憶されている各種道路標示に関するサンプルデータと比較、判定が行われる。抽出された道路標識データとサンプルデータが一致する場合は、マイクロコンピュータ２０はサンプルデータに応じて設定された情報信号を音声処理部２５に出力する。音声処理部２５は、情報信号に基づいてスピーカー５から例えば「Ｕターン禁止です。」などの情報を音声で通知する。なお、通知手段としては、音声処理部２５及びスピーカー５から構成されている。また、道路標識の情報を音声とともに液晶ディスプレイ６に文字で通知してもよい。
【００２６】
次に上記構成の作用を図６に示すフローチャートを用いて説明する。自動車のエンジンを始動すると前方撮像カメラ８によって短い所定間隔で前方の撮像が行われる。さらに、前方撮像カメラ８の撮像に同期して顔撮像カメラ１０によって運転者の顔画像も撮像され、この顔画像に基づいて運転者の視線方向データが検出される。また、ＧＰＳ衛星からのＧＰＳ信号を受信して前方画像４２の撮像位置座標を取得する。これら前方画像データ、視線方向データ、及び撮像位置座標は前方撮像カメラ８の次の撮像が行われるまでＲＡＭに一時的に記憶される。ＲＡＭには、撮像によって順次に得られた新たな前方画像データ、視線方向データ、及び撮像位置座標が上書きされて記憶される。
【００２７】
そして、運転中に例えば図４（Ａ）に示す道路標識５１が現れた場合に、運転者はその道路標識５１に視線を向けてリモコン１２の記録ボタンを押す。この記録ボタンが押された時に撮像によりＲＡＭに記憶された前方画像データ、視線方向データ、及び撮像位置座標はメモリ４５に出力される。そして、メモリ４５では、前方画像データ、視線方向データ、及び撮像位置座標から形成された合成データが記録される。さらに、液晶ディスプレイ６に表示されている地図画像３５上には、撮像位置座標に基づいて撮像場所を示すマーク４６が重ねて表示される（図３参照）。これにより、液晶ディスプレイ６に表示される注目領域４７ａの画像がどこで撮像されたかを確認することができる。
【００２８】
そして、信号待ちなどで自動車を停車させた際に、リモコン１２の操作によって再生ボタンが押されると、走行中にメモリ４５に記録した合成データが読み出される。そして、読み出した合成データの視線方向データに基づいて、前方画像データから注目領域４７ａに対応する画像データが抽出され、液晶ディスプレイ６に注目領域４７ａの画像が表示される。また、リモコン１２の操作により表示された注目領域４７ａの画像をズームインまたはズームアウトさせてもよい。これにより、運転中には注目できなかった道路標識５１を容易に確認することができる。
【００２９】
さらに、液晶ディスプレイ６に表示された注目領域４７ａの画像に道路標識５１が含まれている場合（図５参照）には、注目領域４７ａの画像データから道路標識５１の領域のみを抽出して道路標識データを作成する。この道路標識データは予め各種道路標識に関する情報が設定されたサンプルデータと比較、判定される。道路標識データがサンプルデータと一致した場合には、スピーカー５から「Ｕターン禁止です。」という道路標識５１の情報が音声で運転者に通知される。これにより、運転者が道路標識に従って運転することを支援することができる。
【００３０】
なお、Ｕターン禁止の道路標識５１を例に挙げて説明したが、これに限らず、道路標識としては一般道路、高速道路などで使用されているものがサンプルデータに設定されている。また、運転者の視線を道路標識５１に向けた例を説明したが、これに限らず、運転者の視線を向ける対象物としては、道路の側方にある店舗や建物などでもよい。
【００３１】
また、上記実施形態では、運転者の視線方向を検出して撮像範囲４３内から注目領域４７ａを判定し、この注目領域４７ａの画像を液晶ディスプレイ６に表示させたが、これに代えて、助手席５２の同乗者の視線方向を検出し、同乗者が視線を向けた分割領域４７を注目領域４７ａと判定し、液晶ディスプレイ６に判定された注目領域４７ａの画像を表示してもよい。この場合は、図７に示すように、フロントガラス２９の上部に顔撮像カメラ１０を運転席２８と対向する位置から、助手席５２に対向する位置にスライドさせるレール５３を設ける。さらに、顔撮像カメラ１０には、顔撮像カメラ１０をレール５３に固定するロック機構５４を設けるものである。
【００３２】
このように、運転者の他に同乗者がいる場合には、視線方向を検出する対象者を運転者と助手席５２の同乗者のどちらかに選択することができる。例えば、顔撮像カメラ１０を助手席５２に対向する位置にスライドさせて固定した場合には、前方撮像カメラ８の撮像に同期して助手席５２の同乗者の顔画像の撮像が行われる。そして、撮像された顔画像データから視線方向データが検出される。同乗者がリモコン１２で記録ボタンを操作すると、メモリ４５には記録ボタンが押された時に撮像された前方画像データ、同乗者の視線方向データ、及び撮像位置座標から形成される合成データが記録される。
【００３３】
そして、リモコン１２の再生ボタンが押されると、メモリ４５から合成データが読み出され、合成データの視線方向データに基づいて、注目領域４７ａが判定される（図４（Ｂ）参照）。そして、前方画像データからは、注目領域４７ａの画像データが抽出され、液晶ディスプレイ６に注目領域４７ａの画像が表示される（図５参照）。このように、顔撮像カメラ１０を助手席５２と対向する位置までスライドさせて固定した顔撮像カメラ１０によって、助手席５２の同乗者の顔画像から視線方向が検出され、液晶ディスプレイ６には同乗者の視線が向けられた場所（注目領域）の画像が表示されるので、運転者が走行中に注目できなかった標識や店舗などを後から容易に確認できるので利便性が向上した。さらに、運転者は運転に集中することができるので安全性が向上する。また、顔撮像カメラ１０を固定するロック機構５４を設けたので、カーブの走行時に遠心力によって顔撮像カメラ１０がレール５３に沿ってスライドしてしまうことがない。そのため、顔撮像カメラ１０は、確実に対象者の顔画像を撮像できる。なお、図７では顔撮像カメラ１０を運転席２８または助手席５２に対向する位置に移動させるためにレール５３を用いたが、これに限らず、顔撮像カメラ１０を運転席２８または助手席５２に対向する位置に着脱自在に取り付ける構造にしてもよい。
【００３４】
また、上記実施形態で用いられた前方撮像カメラ８には、広角な撮像範囲４３が撮像できるに広角レンズを用いたが、これに代えて、画角の狭い撮像レンズを用いた前方撮像カメラ５５を用いて、運転者の視線方向に前方撮像カメラ５５の光軸を向けるようにしてもよい。この場合は、図８に示すように、運転者の視線方向と同じ方向に前方撮像カメラ５５の向きを変更するための駆動機構５８と、この駆動機構５８を制御する追跡駆動制御部５９を備えるものである。なお、上記実施形態と同様の構成部材には、同一の符号を付してその説明は省略する。
【００３５】
駆動機構５８は、例えば、ステッピングモータとこのステッピングモータの駆動力を前方撮像カメラ５５に伝達するギア部から構成されている。ステッピングモータは、顔撮像カメラ５５の光軸を上下方向と左右方向に振るために２個設けられている。
【００３６】
追跡駆動制御部５９は、視線検出部３０から検出された視線方向データに基づいて前方撮像カメラ５５の光軸が視線方向に向くように、２個のステッピングモータのそれぞれの動作を制御する。なお、視線追跡手段としては、駆動機構５８及び追跡駆動制御部５９から構成されている。
【００３７】
運転中に前方画像の撮像を行う場合を図９のフローチャートを用いて説明する。例えば、自動車のエンジンが始動すると、顔撮像カメラ１０は運転者の顔画像を短い所定間隔で撮像する。視線検出部３０は、この撮像された顔画像データに基づいて、視線方向データを検出する。この視線方向データは、マイクロコンピュータ２０のＲＡＭと追跡駆動制御部５９の両方に出力される。追跡駆動制御部５９は、視線方向データに基づいて、前方撮像カメラ８の光軸が運転者の視線方向に向くようにステッピングモータの動作を制御する。
【００３８】
運転者がリモコン１２を操作して記録ボタンを押すと、図１０（Ａ）に示すように、視線方向に光軸を向けた前方撮像カメラ８によって前方画像６０の撮像が行われる。このとき、液晶ディスプレイ６に表示されている地図画像３５上には、画像処理部３６によって撮像が行われたことを示すマーク４６が重ねて表示される（図３参照）。そして、撮像された前方画像データは、メモリ４５に記録される。
【００３９】
そして、図１０（Ｂ）に示すように、マイクロコンピュータ２０は、例えば前方撮像カメラ８の撮像範囲６１を縦５列、横５列の領域に分割して２５個の分割領域６２を形成する。運転者によってリモコン１２の再生ボタンが押されると、撮像範囲６１の中央部分の分割領域６２を注目領域６３と判定し、マイクロコンピュータ２０は、前方画像データから注目領域６３に対応する画像データを抽出する。そして、図１０（Ｃ）に示すように、液晶ディスプレイ６に前方画像６０の中央部分の画像が表示される。これにより、運転者が視線を向けた場所が液晶ディスプレイ６に拡大表示されるので、利便性が向上する。
【００４０】
なお、注目領域６３に道路標識が表示されている場合には、サンプルデータに基づいて道路標識が判定され、道路標識の情報がスピーカー５から通知される。これにより、運転者の安全運転を支援することができる。
【００４１】
なお、上記実施形態では、自動車を目的地に案内するナビゲーションシステムに運転支援システムを用いたが、これに限らず、運転支援システムを構成するスピーカー５、液晶ディスプレイ６、前撮像カメラ８、顔撮像カメラ１０、マイクロコンピュータ２０、音声処理部２５、視線検出部３０、位置座標検出部３１、画像処理部３６、標識抽出部５０を個別に自動車などの車両に設けてもよい。また、運転支援システムを自動車に用いたが、これに限らず、電車、船舶、飛行機などの車両に設けてもよい。
【００４２】
また、本実施形態の運転支援システムには、撮像場所を示すマーク４６を地図画像上に表示させたり、注目領域の画像に道路標識５１が表示されていた場合には、道路標識５１の情報を自動車の乗車者に通知したが、これらの機能は適宜に運転支援システムに設けるようにしてもよい。また、前方撮像カメラ８では、短い所定間隔で撮像を行ったが、この所定間隔を極端に短くすることで動画撮像を行い、この動画で撮像された前方画像データを一時的にＲＡＭに記憶させてもよい。
【００４３】
また、前方画像を記録する記録指示としては、リモコン１２の記録ボタン操作によって行ったが、これに限らず、記録指示としてはエンジンの始動や、車速を検出して前方画面データ及び視線方向データの記録を行っても良い。例えば、記録指示としてエンジンが始動されると、前方画像の撮像が予め設定された所定時間行われ、メモリ４５に前方画像データとこの撮像に伴って検出された視線方向データが記録される。そして、所定時間内に再生ボタンが操作されなければ、再び前方画像の撮像が所定時間行われ、前回記録した前方画像データ及び視線方向データの上から今回撮像した前方画像データ及び視線方向データが記録されるようにしてもよい。なお、再生ボタンが操作されると、記録した前方画像データ及び視線方向データはメモリ４５に記録されたままとなることが好ましい。
【００４４】
なお、再生ボタンの操作によって、液晶ディスプレイ６に注目領域の画像を表示させたが、この注目領域とその近傍の画像を表示させてもよい。また、注目領域の画像を表示させる前に前方画像を一時的に表示させてもよい。さらにまた、液晶ディスプレイ６の表示画面を分割して地図画像３５と注目領域の画像を同時に表示させてもよい。これにより、注目領域の画像が撮像された場所を容易に確認することができる。また、撮像範囲を分割する領域の大きさをユーザが設定できるようにしてもよい。
【００４５】
なお、前方画像の撮像や、注目領域４７ａ前方撮像カメラ８による撮像や注目領域４７ａの表示を行う操作信号をリモコン１２の操作によって行ったが、音声入力やタッチパネルによって記録、再生操作を行ってもよい。また、対象者の視線方向が検出されない場合に、警告音又は表示などで知らせてもよい。これにより、よそ見運転を防止することができる。また、夜間走行中でも対象者の顔画像を撮像可能とするために、顔撮像カメラは赤外線、高感度撮像が可能であることが好ましい。
【図面の簡単な説明】
【００４６】
【図１】本発明のナビゲーションシステムを備えた自動車の運転席部分の構成を示す斜視図である。
【図２】ナビゲーションシステムの電気的構成を示すブロック図である。
【図３】地図画像上に重ねて表示されたマークを表示した液晶ディスプレイを示す説図である。
【図４】撮像した前方画像と、撮像範囲を分割した分割領域を説明する説明図である。
【図５】注目領域の画像を表示した液晶ディスプレイを示す説明図である。
【図６】注目領域の画像を表示する手順を示すフローチャートである。
【図７】顔撮像カメラをスライド自在に設置した運転席部分を示す斜視図である。
【図８】前方撮像カメラを視線方向に向ける駆動機構を設けたナビゲーションシステムの電気的構成を示すブロック図である。
【図９】視線方向に向けた前方撮像カメラによって撮像された注目領域の画像を表示する手順を示すフローチャートである。
【図１０】視線方向に向けた前方撮像カメラで撮像された前方画像及び注目領域を示す説明図である。
【符号の説明】
【００４７】
２ ナビゲーションシステム
５ スピーカー
６ 液晶ディスプレイ
８ 前方撮像カメラ
１０ 顔撮像カメラ
２０ マイクロコンピュータ
３０ 視線検出部
３１ 位置検出部
４５ メモリ
５０ 標識抽出
【特許請求の範囲】
【請求項１】
車両の前方を撮像する撮像手段と、
前記車両に乗車した対象者の視線方向を検出する視線検出手段と、
前記撮像手段の撮像範囲を複数の領域に分割した分割領域を作成する領域作成手段と、
記録指示により前記撮像手段の撮像で得られた前方画像データとこの前方画像データが撮像された時に前記視線検出手段により検出された視線方向データを関連付け、これら前記前方画像データ及び前記視線方向データを時系列に記録する記録手段と、
前記記録手段から前記前方画像及び前記視線方向データを読み出し、前記視線方向データに基づいて撮像時に視線が向けられていた前記分割領域を注目領域として判定し、前記前方画像データから前記注目領域、又は前記注目領域とその近傍に対応する画像データを抽出する領域抽出手段と、
抽出された前記注目領域、または前記注目領域とその近傍に対応する画像データに基づいて、前記注目領域、または前記注目領域とその近傍の画像を表示する表示手段とを備えたことを特徴とする運転支援システム。
【請求項２】
前記車両の位置座標を検出する位置座標検出手段と、
前記位置座標検出手段によって前方画像の撮像場所に対応する撮像位置座標を検出し、
検出された前記撮像位置座標に基づいて、前記表示手段に表示される地図画像上に前記撮像位置を示すマークを付加するマーク付加手段と、を備えたことを特徴とする請求項１記載の運転支援システム。
【請求項３】
前記位置座標検出手段は、ＧＰＳであることを特徴とする請求項１または２記載の運転支援システム。
【請求項４】
前記領域抽出手段によって抽出された前記注目領域、または前記注目領域とその近傍の画像データから道路標識の領域のみを抽出する標識抽出手段と、
前記標識抽出手段によって抽出された道路標識データと、予め設定された道路標識に関するサンプルデータとを比較して、前記道路標識データに前記サンプルデータが一致すると判定された際に、前記サンプルデータに応じて設定された道路標識の情報信号を出力する標識判定手段と、
出力された前記情報信号に基づいて、前記車両の乗車者に前記道路標識の情報を通知する通知手段と、を備えたことを特徴とする請求項１または３記載の運転支援システム。
【請求項５】
前記視線検出手段によって検出された前記対象者の視線方向に前記撮像手段の光軸が向くように前記撮像手段の向きを変更する視線追跡手段を備えたことを特徴とする請求項１ないし４いずれか記載の運転支援システム。
【請求項６】
前記注目領域、または前記注目領域とその近傍の画像は、前記前方画像が表示された後に表示されることを特徴とする請求項１ないし５いずれか記載の運転支援システム。
【請求項１】
車両の前方を撮像する撮像手段と、
前記車両に乗車した対象者の視線方向を検出する視線検出手段と、
前記撮像手段の撮像範囲を複数の領域に分割した分割領域を作成する領域作成手段と、
記録指示により前記撮像手段の撮像で得られた前方画像データとこの前方画像データが撮像された時に前記視線検出手段により検出された視線方向データを関連付け、これら前記前方画像データ及び前記視線方向データを時系列に記録する記録手段と、
前記記録手段から前記前方画像及び前記視線方向データを読み出し、前記視線方向データに基づいて撮像時に視線が向けられていた前記分割領域を注目領域として判定し、前記前方画像データから前記注目領域、又は前記注目領域とその近傍に対応する画像データを抽出する領域抽出手段と、
抽出された前記注目領域、または前記注目領域とその近傍に対応する画像データに基づいて、前記注目領域、または前記注目領域とその近傍の画像を表示する表示手段とを備えたことを特徴とする運転支援システム。
【請求項２】
前記車両の位置座標を検出する位置座標検出手段と、
前記位置座標検出手段によって前方画像の撮像場所に対応する撮像位置座標を検出し、
検出された前記撮像位置座標に基づいて、前記表示手段に表示される地図画像上に前記撮像位置を示すマークを付加するマーク付加手段と、を備えたことを特徴とする請求項１記載の運転支援システム。
【請求項３】
前記位置座標検出手段は、ＧＰＳであることを特徴とする請求項１または２記載の運転支援システム。
【請求項４】
前記領域抽出手段によって抽出された前記注目領域、または前記注目領域とその近傍の画像データから道路標識の領域のみを抽出する標識抽出手段と、
前記標識抽出手段によって抽出された道路標識データと、予め設定された道路標識に関するサンプルデータとを比較して、前記道路標識データに前記サンプルデータが一致すると判定された際に、前記サンプルデータに応じて設定された道路標識の情報信号を出力する標識判定手段と、
出力された前記情報信号に基づいて、前記車両の乗車者に前記道路標識の情報を通知する通知手段と、を備えたことを特徴とする請求項１または３記載の運転支援システム。
【請求項５】
前記視線検出手段によって検出された前記対象者の視線方向に前記撮像手段の光軸が向くように前記撮像手段の向きを変更する視線追跡手段を備えたことを特徴とする請求項１ないし４いずれか記載の運転支援システム。
【請求項６】
前記注目領域、または前記注目領域とその近傍の画像は、前記前方画像が表示された後に表示されることを特徴とする請求項１ないし５いずれか記載の運転支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１７２２１５（Ｐ２００６−１７２２１５Ａ）
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願番号】特願２００４−３６４９０４（Ｐ２００４−３６４９０４）
【出願日】平成１６年１２月１６日（２００４．１２．１６）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願日】平成１６年１２月１６日（２００４．１２．１６）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]