周辺認知支援装置
【課題】運転者の状態から運転者が目視する領域と異なる領域の確認が可能な装置を構成する。
【解決手段】運転座席に備えた複数の荷重センサＷＳの荷重情報から目視方向推定手段３２が運転者Ｄの目視方向を推定し、この推定方向と異なる方向の距離センサＤＳで障害物の接近を判定した場合には、その障害物を撮影する車載カメラの撮影画像をモニタ７に拡大表示する。
【解決手段】運転座席に備えた複数の荷重センサＷＳの荷重情報から目視方向推定手段３２が運転者Ｄの目視方向を推定し、この推定方向と異なる方向の距離センサＤＳで障害物の接近を判定した場合には、その障害物を撮影する車載カメラの撮影画像をモニタ７に拡大表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周辺認知支援装置に関し、詳しくは、車載カメラによって撮影した車両の周辺画像を撮影した画像をモニタに表示する技術に関する。
【背景技術】
【０００２】
上記のように構成された周辺認知支援装置に関連するものとして特許文献１には、運転者の位置から死角になる領域を撮影する複数のＣＣＤカメラが車体に備えられ、車内には運転者の顔を撮影する赤外線カメラが備えられた車両周辺表示装置が示されている。この車両周辺表示装置では、赤外線カメラで撮影された画像から運転者の顔の向き等を求めて運転者が注視する方向を判別するＥＣＵを備えており、このＥＣＵは判別された顔の方向のカメラで撮影された画像をモニタに表示する制御を行う。
【０００３】
周辺認知支援装置に関連するものとして特許文献２には、特許文献１と類似する構成を備えた車両用モニタリングシステムでは、運転者用カメラで撮影された運転者の顔の向きを顔向き検知ＥＣＵで判別し、顔の向きに一致する特定領域の画像の拡大表示を行う拡大表示手段が備えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７‐１４２７２４号公報 （段落番号〔００１６〕〜〔００７６〕、図１〜図４）
【特許文献２】特開２００７‐１５６６３号公報 （段落番号〔００２７〕、〔００５９〕、図１〜図７）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両を後進させて駐車を行う際の運転者の操作を例に挙げると、車両を後進させる際には、運転者は上半身を捩るように車両の後方を振り返り、車両の後方を直接的に確認することや、場合によっては運転座席のドアのウインドウを開放し、この開放部位から車両の後方を直接的に確認することや、サイドミラーに視線を向けることでミラーを介して車両の後方を確認することが行われている。また、車両の後方を撮影するカメラを備えたものでは、運転座席近傍のディスプレイに対してカメラからの画像を表示することで車両の後方を確認することも行われている。
【０００６】
このように車両を後進させる際には、車両の後方の確認を行うことは重要であり、特許文献１に記載されるように運転者から死角になる領域をモニタに表示する制御が有効となり、特許文献２に記載されるように運転者が必要とする方向の映像をモニタに表示することも有効となる。
【０００７】
しかしながら、狭い駐車スペースに車両を導入する場合や障害物が存在する領域に車両を導入する場合には、車両の後方の一部の領域を確認するだけでは、不充分な場合があり、例えば、車両の前端部に近い領域に障害物が存在する場合には、ステアリング操作に伴い車両の前端部が横方向に振れる際に、その障害物に接触する可能性もあり、このような前端部位置の障害物の確認も同時に行う必要があった。
【０００８】
このような状況を考えると特許文献１や特許文献２に記載されるように、運転者の状態から自動的にモニタに情報を表示する有効性は認められるものの、運転者が目視している領域をモニタに表示するだけでは不充分であることも考えられ改善の余地がある。
【０００９】
本発明の目的は、運転者の状態から運転者が目視する領域と異なる領域の確認が可能な装置を合理的に構成する点にある。
【課題を解決するための手段】
【００１０】
本発明の特徴は、車両周辺を撮影する車載カメラと、この車載カメラで撮影された画像を表示するモニタとを備えると共に、
車両の運転座席に着座した運転者の姿勢から運転者が目視する方向を推定する目視方向推定手段と、
前記車載カメラで撮影された車体周辺の撮影画像のうち、前記目視方向推定手段で推定した目視方向と異なる方向となる車体周辺の撮影画像を前記モニタに表示する表示対象設定手段が備えられている点にある。
【００１１】
この構成によると、運転者の姿勢から目視方向推定手段が目視方向を推定するので、視線の方向を特定するためのカメラ類を用いずに構成することが可能となり、また、車載カメラで撮影された車体周辺の撮影画像のうち、推定した目視方向と異なる方向となる車体周辺の画像が、表示対象設定手段によってモニタに表示される。そして、この表示対象がモニタに表示されることで運転者の注意を促すことも可能となる。つまり、運転者は目視していない方向の車体周辺の状況を積極的に確認している訳ではないので、運転者が目視しない領域をモニタに表示することで、運転者が障害物等の見落としを少なくできる。
その結果、運転者の状態から運転者が確認を行う領域と異なる領域の確認が可能な装置が合理的に構成された。
【００１２】
本発明は、車体外部に存在する障害物を検出する障害物検出手段を備え、前記表示対象設定手段は、前記目視方向と異なる方向において前記障害物検出手段で障害物が検出された領域の撮影画像を表示対象に設定しても良い。
これによると、運転者が目視する方向と異なる方向において、障害物検出手段が障害物を検出した場合に、その障害物が検出された領域がモニタに表示されることになるので、例えば、障害物が検出されない場合には、車体の進行方向の撮影画像や、所謂トップビュー等を表示しておき、障害物が検出された場合に、その領域を表示することにより、運転者に注意を促すことも可能となる。
【００１３】
本発明は、前記目視方向推定手段が、前記運転座席に着座した運転者の荷重情報を取得する荷重センサを備えても良い。
これによると、運転座席に備えた荷重センサの荷重情報から運転者の姿勢を判別できる。
【００１４】
本発明は、前記目視方向推定手段が、前記運転座席に着座した運転者と、運転者近傍のドアとの距離情報を取得するように前記ドアに形成された近接センサを備えても良い。
これによると、ドアに備えた近接センサの距離情報から運転者の姿勢を判別できる。
【００１５】
本発明は、前記目視方向推定手段が、ステアリングホイールを運転者が握る把持位置と把持力とを圧力情報として取得する感圧センサを備えても良い。
これによると、ステアリングホイールに備えた感圧センサの圧力情報から運転者がステアイングホイールを握る把持位置と把持力とを特定し、これに基づいて運転者の姿勢を判別できる。
【００１６】
本発明は、前記表示対象設定手段で設定された表示対象の撮影画像のうち、前記目視方向と異なる方向の画像を切り出して前記モニタに表示する表示領域抽出手段を備えても良い。
これによると、複数の車載カメラを備えなくとも、撮影画像からモニタに表示すべき画像を切り出して拡大表示できる。
【００１７】
本発明は、前記車載カメラが車体周辺の異なる領域を撮影するように複数備えられ、前記表示対象設定手段は、前記車載カメラで撮影された撮影画像のうち、前記目視方向と異なる方向の領域を撮影する車載カメラからの画像を選択してモニタに表示しても良い。
これによると、複数の車載カメラのうちの１つからの画像を選択してモニタに表示するので、モニタに表示される画像の画質を低下させることがない。
【図面の簡単な説明】
【００１８】
【図１】車両の構成を示す斜視図である。
【図２】車内のパネル部を示す斜視図である。
【図３】カメラの撮影領域を示す平面図である。
【図４】制御系を示すブロック回路図である。
【図５】表示制御ルーチンのフローチャートである。
【図６】運転者の目視方向等を示す図である。
【図７】駐車エリアと車体との位置関係を示す平面図である。
【図８】リアカメラの撮影画像が表示されたモニタを示す図である。
【図９】フロントカメラの撮影画像が表示されたモニタを示す図である。
【図１０】左サイドカメラの撮影画像と右サイドカメラの撮影画像とが表示されたモニタを示す図である。
【図１１】障害物が表示されたモニタを示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を図面に基づいて説明する。
〔車体構成〕
図１〜図３には車両の一例としての乗用車を示している。この乗用車の車体Ａには左右一対の前車輪１及び左右一対の後車輪２が備えられ、ルーム内には運転座席３と助手席４とが備えられ、運転座席３の前方位置にステアリングホイール５が配置されている。また、運転座席３の前方位置にメータ類を有するパネル６が備えられ、このパネル６と隣接する位置に各種情報を表示するモニタ７が備えられている。パネル６の下方にはアクセルペダル８とブレーキペダル９とが備えられ、運転座席３の側部には変速操作を実現するシフトレバー１０が配置されている。
【００２０】
ルーム内の前部にはルームミラー１１が備えられている。車体前部の左ドア１２の外部に左ドアミラー１３が備えられ、車体前部の右側の右ドア１４の外部に右ドアミラー１５が備えられている。
【００２１】
車体Ａの前端には車体前方の路面を含む周辺領域を撮影するフロントカメラ１６が備えられ、車体Ａの後端には車体後方の路面を含む周辺領域を撮影するリアカメラ１７が備えられている。左ドアミラー１３のハウジングには車体Ａの左側方の路面を含む周辺領域を撮影する左サイドカメラ１８が備えられ、これと同様に、右ドアミラー１５のハウジングには車体の右側方の路面を含む周辺領域を撮影する右サイドカメラ１９が備えられている。
【００２２】
これらフロントカメラ１６、リアカメラ１７、左サイドカメラ１８、右サイドカメラ１９は車載カメラの具体例であり、夫々ともＣＣＤやＣＩＳ等の撮像素子を内蔵したデジタルカメラとして構成されている。これらのデジタルカメラは、撮像角度が水平方向に１８０度に及ぶ広角度レンズを有し、撮影した撮影画像を動画情報としてリアルタイムに出力する。図３には、フロントカメラ１６の前方撮影領域Ｆａと、リアカメラ１７の後方撮影領域Ｂａと、左サイドカメラ１８の左方撮影領域Ｌａと、右サイドカメラ１９の右方撮影領域Ｒａとを異なるハッチングを付して示しており、これらの領域が対応するカメラにおいて撮影画像として取得される。
【００２３】
車体Ａの前端のバンパーの左右両端となる２箇所と、車体Ａの後端のバンパーの左右両端となる２箇所との合計４箇所には、障害物を検出する超音波型や赤外線反射型等の距離センサＤＳ（障害物検出手段の一例）が備えられている。
【００２４】
この乗用車では、複数のＧＰＳ衛星から電波信号を受信することで車体Ａの位置を地球の経度と緯度とで構成されるポジション情報を取得するナビゲーションシステム２１を（図４を参照）を備えている。このナビゲーションシステム２１は、取得したポジション情報に対応する領域の地図を前記モニタ７に表示する共に、車体Ａが存在する位置を地図上に表示し、この地図上に車体Ａが走行すべき経路を表示し、既に走行した経路を表示する等の処理を実現する。
【００２５】
図１及び図４に示すように、この乗用車では、前述したフロントカメラ１６、リアカメラ１７、左サイドカメラ１８、右サイドカメラ１９からの撮影画像を前記モニタ７に表示することが可能な周辺認知制御ユニット３０を備えている。この周辺認知制御ユニット３０は、マイクロプロセッサやＤＳＰ（digital signal processor）等を有し、所定のソフトウエアが実行される表示ＥＣＵとして構成されている（制御形態は後述する）。
【００２６】
モニタ７は、表示面にタッチパネルを備え、バックライトを備えた液晶式に構成されている。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネルは、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。モニタ７の下部にはモニタ７に表示すべき画像を人為的に設定するマニュアルスイッチ２２が備えられ、この近傍にはスピーカ２３を備えている。
【００２７】
この乗用車は一般的なものと同様にシフトレバー１０の設定により前後進の何れかの方向への走行が実現する。アクセルペダル８の操作で走行速度の調節が実現し、ブレーキペダル９の操作で減速が実現し、ステアリングホイール５の操作により操舵輪として機能する前車輪１の操向作動が実現する。
【００２８】
運転座席３は、シートクッション３Ａとシートバック３Ｂとを備えており、このシートクッション３Ａとシートバック３Ｂとには、運転者Ｄ（図６を参照）が着座した際の圧力を検出する複数の荷重センサＷＳを備えている。この複数の荷重センサＷＳは、シートクッション３Ａにおいて運転者Ｄの左右方向と前後方向とにおける荷重を計測できるように前部と後部と左部と右部との少なくとも４箇所に配置されている。シートバック３Ｂに対しても運転者Ｄの左右方向における荷重を計測できるように左部と右部との少なくとも２箇所に配置されている。
【００２９】
右ドア１４の内壁面には、運転者Ｄとの距離を計測する複数の近接センサ２４を備え、ステアリングホイール５には運転者Ｄの把持位置と把持力とを計測する複数の感圧センサ２５を備えている。
【００３０】
近接センサ２４は、静電容量型や、赤外線を用いた反射型の測距センサ等、非接触型のものが用いられ、ドア内面と運転者Ｄとの距離を計測する。感圧センサ２５は感圧ゴムやストレインゲージ等で構成され、運転者Ｄがホイール部分を握る把持力と把持位置との情報を出力する。
【００３１】
例えば、図７に示すように、駐車エリアＰの近傍に車体Ａを停止させて、駐車エリアＰに車体を導入する際には、周辺認知制御ユニット３０が運転座席３に着座する運転者Ｄの目視方向を推定する。この推定に基づいてフロントカメラ１６、リアカメラ１７、左サイドカメラ１８、右サイドカメラ１９の何れかからの撮影画像がモニタ７に表示され、運転者Ｄによる車体周辺の認知の支援を行える。この周辺認知制御ユニット３０の制御構成、制御形態を以下に説明する。
【００３２】
〔制御構成〕
図４に示すようにモニタ７に画像を表示する制御系が構成されている。この制御系では、周辺認知制御ユニット３０に対して、ナビゲーションシステム２１からのナビゲーション情報と、マニュアルスイッチ２２の設定情報とが入力する情報取得系が形成されている。また、シフトレバー１０のシフト位置を検出するシフト位置センサ１０Ｓからのシフト位置情報と、フロントカメラ１６・バックカメラ１７・左サイドカメラ１８・右サイドカメラ１９夫々からの撮影画像とが入力する情報取得系が形成されている。更に、複数の荷重センサＷＳからの荷重情報と、複数の近接センサ２４からの距離情報と、複数の感圧センサ２５からの把持位置を含む圧力情報と、障害物検出手段として機能する複数の距離センサＤＳからの距離情報とが入力する情報取得系が形成されている。
【００３３】
周辺認知制御ユニット３０は、複数の荷重センサＷＳで荷重情報を取得し、近接センサ２４の計測情報を取得し、感圧センサ２５の圧力情報を取得する。周辺認知制御ユニット３０では、取得した情報から運転座席３に着座した運転者Ｄの姿勢を判別し、この姿勢から更に、運転者が目視する方向を推定し、運転者Ｄの目視方向と異なる方向をモニタ７に表示する制御を行う。
【００３４】
周辺認知制御ユニット３０は、撮影画像取得手段３１と、目視方向推定手段３２と、障害物位置判定手段３３と、表示対象設定手段３４と、表示画像取得手段３５と、表示領域抽出手段３６と、表示対象決定手段３７と、タイマ３８と、表示画像出力モジュール３９と、音声処理モジュール４０とを備えている。
【００３５】
撮影画像取得手段３１は、フロントカメラ１６・バックカメラ１７・左サイドカメラ１８・右サイドカメラ１９夫々からの撮影画像を取得する。目視方向推定手段３２は、複数の荷重センサＷＳ・複数の近接センサ２４・複数の感圧センサ２５夫々からの情報の少なくとも１つを取得して運転者の目視方向を推定する。また、この目視方向推定手段３２に対して推定の基準とする荷重分布や閾値等の情報を与える目視方向判定テーブル３２Ｔを備えている。
【００３６】
図面には示していないが、車体Ａにはステアリングホイール５の回転操作角を取得する回転角センサが備えられ、目視方向推定手段３２では、回転角センサで特定されるステアリングホイール５の回転操作角と、複数の感圧センサ２５の圧力情報とに基づいて、運転者Ｄがホイール部分を握る把持位置と把持力とを特定する処理が行われる。
【００３７】
障害物位置判定手段３３は、複数の距離センサＤＳからの距離情報に基づいて障害物の位置を判定する。表示対象設定手段３４は、外部からの情報あるいは内部で生成した情報に基づいてモニタ７に表示すべき対象を設定する。表示画像取得手段３５は表示すべき撮影画像等を取得する。表示領域抽出手段３６は、撮影画像から障害物Ｂ（図７を参照）が存在する一部の領域を切り出す処理を行う。
【００３８】
表示対象決定手段３７は、表示画像取得手段３５で取得した撮影画像又は表示領域抽出手段３６で切り出した撮影画像等を表示する処理を行う。表示画像出力モジュール３９はモニタ７に対して画像を出力する処理を行う。この表示画像出力モジュール３９はモニタ７に画像の表示形態を設定する情報を取得するレイアウトテーブル３９Ｔを備えている。音声処理モジュール４０は障害物位置判定手段３３で検出した障害物Ｂと車体Ａとの距離が設定値未満まで減少するとスピーカ２３から警報音を出力する。
【００３９】
これら、撮影画像取得手段３１と、目視方向推定手段３２と、障害物位置判定手段３３と、表示対象設定手段３４と、表示画像取得手段３５と、表示領域抽出手段３６と、表示対象決定手段３７とはソフトウエアで構成されるものであるが、夫々をハードウエアで構成して良く、また、夫々をハードウエアとソフトウエアとの組み合わせによって構成しても良い。
【００４０】
周辺認知制御ユニット３０は、車体Ａの走行方向や走行速度に拘わらず運転者Ｄの目視方向に基づいてモニタ７に表示すべき画像の自動設定を実現するものであるが、この実施形態では図７に示すように車体Ａを駐車エリアＰの近傍に停車させた状態で車体Ａを後進させる場合の表示制御を説明する。
【００４１】
〔表示制御〕
図５のフローチャートに示すように、シフト位置センサ１０Ｓからの情報から車体Ａの走行方向が後進でない（前進である）場合には、マニュアルスイッチ２２の設定情報に基づいてナビゲーションシステム２１から取得したナビゲーション情報又はフロントカメラ１６・バックカメラ１７・左サイドカメラ１８・右サイドカメラ１９の何れかから取得した撮影画像を表示対象にセットする（＃１０１、＃１０２ステップ）。
【００４２】
また、シフト位置が後進（リバース）である場合には、リアカメラ１７からの撮影画像が表示対象にセットされる。このセット状態で目視方向を推定し、この推定された目視方向が設定時間以上維持された場合にのみ、距離センサＤＳの距離情報を取得し、既に推定されている目視方向と異なる方向に存在する障害物Ｂ（図７を参照）が設定距離未満まで車体Ａに接近したことを判定した場合にのみ、障害物Ｂを検出した領域の拡大画像を表示対象にセットする（＃１０３〜＃１０８ステップ）。
【００４３】
次に、既に障害物Ｂが表示されている場合には目視方向の変更時間が設定値未満である場合には、障害物Ｂを表示対象にセットする。このようにセットされた表示対象はモニタ７に表示される（＃１０９〜＃１１１ステップ）。
【００４４】
フローチャートには示していないが障害物Ｂを検出した場合には、音声処理モジュール４０が生成した電子音がスピーカ２３から出力されるので、運転者Ｄは音声によっても障害物Ｂの存在が把握できる。特に、音声処理モジュールは障害物Ｂを検出した際には必ず音声を出力するので、モニタ７に障害物Ｂが表示されない状況でも音声から障害物Ｂの存在を把握できる。
【００４５】
つまり、＃１０１、＃１０２、＃１１１ステップの処理として、車体Ａを後進させない場合には、表示対象設定手段３４がマニュアルスイッチ２２の設定情報に基づいて表示対象をセットする。
【００４６】
具体的には、表示対象としてはナビゲーションシステム２１が生成したナビゲーション画面や、複数のカメラでの撮影された撮影画像が表示対象に設定され、このセットに基づいて表示画像取得手段３５が表示すべき撮影画像を取得し、表示画像出力モジュール３９がモニタ７に表示する。このような表示が行われる際には、レイアウトテーブル３９Ｔに基づいて表示位置を設定することも可能であり、例えば、モニタ７の表示面を分割し、複数のカメラでの撮影された撮影画像を分割された表示面に表示できる。
【００４７】
また、＃１０３ステップの処理として、車体Ａを後進させる状況にある場合には、モニタ７に対してリアカメラ１７で撮影された後方撮影領域Ｂａの撮影画像を表示する基本的な設定が表示対象設定手段３４において行われる。このようにセットされた状態で障害物Ｂが検出されない場合には、＃１１１ステップにおいて、リアカメラ１７の撮影画像を表示画像取得手段３５が取得し、図８に示すように撮影画像がモニタ７に表示される。
【００４８】
尚、この図８のようにモニタ７に示される撮影画像は、ミラーによって後方を確認した際の像と整合させるため、左右が入れ替わった像となっている。また、モニタ７に表示される撮影画像には左右一対の車幅ラインＹｗと、５ｍ（メートル）、３ｍ、１ｍに対応した予想進路線Ｙ１、Ｙ２、Ｙ３で成るガイドインジケータがスーパーインポーズの処理によって表示される。
【００４９】
特に、＃１０４、＃１０５ステップの処理として、＃１０３ステップで車体後方の撮影画像が表示対象にセットされている状況において、荷重センサＷＳ、近接センサ２４、感圧センサ２５の少なくとも１つからの情報に基づいて目視方向推定手段３２が運転者Ｄの姿勢に基づいて目視方向を推定する。
【００５０】
この推定の一例を挙げると、車体Ａを駐車エリアＰに導入する際に、図６に示すように運転座席３に着座する運転者Ｄが右ドアミラー１５を目視する場合や、直接的に車体Ａに右後方を目視する場合には、運転者Ｄの体の重心が右側に移動し、体も傾斜する。このような理由から、荷重センサＷＳの荷重情報から体の姿勢の判別し、目視方向の推定が可能となる。これと同様に理由から、近接センサ２４の検出値、及び、感圧センサ２５の圧力情報から運転者Ｄの姿勢を判別し、目視方向の推定を実現している。
【００５１】
目視方向判定テーブル３２Ｔには、複数の荷重センサＷＳの荷重情報と目視方向との関係、複数の近接センサ２４の計測値と目視方向との関係、複数の感圧センサ２５の圧力情報と目視方向との関係夫々をデータ化して保存している。また、この目視方向判定テーブル３２Ｔは、運転者Ｄが直接的に車外を目視した場合の目視方向だけを推定するだけではなく、運転者Ｄがミラーを介して車体Ａの後方を目視した場合にも、車体Ａの後方を目視していることを推定するように、ルームミラー１１、左ドアミラー１３、右ドアミラー１５夫々の位置が記録されている。
【００５２】
つまり、推定された目視方向がルームミラー１１に向かっている場合には、運転者Ｄは車体Ａの後方を目視して入ると見なす。これと同様に、推定された目視方向が左ドアミラー１３に向かっている場合には、運転者Ｄは車体Ａの左後方を目視して入ると見なす。また、推定された目視方向が右ドアミラー１５に向かっている場合には、前述したように運転者Ｄは車体Ａの右後方を目視して入ると見なす。
【００５３】
これにより、目視方向判定テーブル３２Ｔの情報に基づき複数の荷重センサＷＳの荷重情報と、複数の近接センサ２４の距離情報と、複数の感圧センサ２５の圧力情報との少なくとも１つに基づいて目視方向の推定を実現している。
【００５４】
特に荷重センサＷＳの荷重情報を基本として、近接センサ２４の距離情報と、感圧センサ２５の圧力情報とのうちの少なくとも１つの情報も併せて参照することで目視方向の推定の精度を高めることが可能である。
【００５５】
＃１０５ステップのように、目視方向推定手段３２によって推定された目視方向が設定時間（数秒程度）以上維持されたことをタイマ３８からの情報に基づいて判別した状況において、＃１０６、＃１０７ステップの処理では、障害物位置判定手段３３が距離センサＤＳの距離情報を取得する。そして、目視方向と異なる方向の障害物Ｂが検出された場合には、障害物Ｂを検出した領域の撮影画像の一部の拡大画像が表示対象にセットされる。
【００５６】
本実施の形態では撮影画像の一部を拡大表示する処理を示しているが、複数の車載カメラの１つからの撮影画像を拡大せずにモニタ７に表示するように表示対象設定手段３４の処理形態を設定しても良い。
【００５７】
具体的な状況として、図６に示されるように運転者Ｄが右ドアミラー１５を目視している場合や、車体Ａの右後方を目視する場合において、図７に示すように、車体Ａの左前部において障害物Ｂが検出された場合には、図１１に示す画像がモニタ７に表示される。つまり、撮影画像取得手段３１においてフロントカメラ１６から図９に示す撮影画像を取得しており、左サイドカメラ１８から図１０に示す撮影画像（モニタ７の左側に表示されたもの）を取得している。尚、同図には右サイドカメラ１９も併せてモニタ７に並列的に表示した状態を示している
【００５８】
ここで、目視方向と異なる方向として、運転者Ｄが車体Ａの右後方を目視している場合には、異なる方向として車体Ａの左前部に存在する障害物Ｂを表示対象にセットした例を挙げたが、異なる方向として車体Ａの右前部であっても、車体Ａの左後部であっても、その位置に存在する障害物Ｂはモニタ７に表示されることになる。
【００５９】
これらの撮影画像のうち、表示対象設定手段３４が、図９、図１０において破線で示す領域Ｅを表示対象にセットすることで、拡大画像が表示対象となる。このようにセットされた２つの拡大画像は＃１１１ステップにおいて図１１に示すようにモニタ７に並列的に表示される。このような並列的な表示はレイアウトテーブル３９Ｔからのレイアウト情報に基づいて表示画像出力モジュール３９が実現する。
【００６０】
尚、障害物Ｂは地上に設置された非移動物に限るものではなく、車体Ａに接近するバイクや人物等の移動物を含むものである。
【００６１】
＃１０９、＃１１０ステップの処理は、障害物Ｂが表示対象に設定されている状況において、その障害物Ｂが既にモニタ７に表示されている場合には、目視方向の変更時間が設定値未満である場合、つまり、目視方向から視線をそらすことがあっても、そらす時間が短時間である場合には、障害物Ｂの拡大画像を表示対象にセットする状態が維持されることを意味している。
【００６２】
つまり、短時間だけモニタ７を見ることや、短時間だけルームミラー１１を見ることがあっても障害物Ｂの表示は継続することになる。
【００６３】
この周辺認知制御ユニット３０では、車体Ａを後進させて駐車エリアＰに導入する際には、障害物Ｂが検出されない限りモニタ７にはリアカメラ１７からの撮影画像（図８を参照）が表示される。しかしながら、運転者Ｄの目視方向を推定し、推定された方向と異なる方向で障害物Ｂが検出された場合には、モニタ７に対して障害物Ｂを表示することにより、運転者Ｄに対して障害物Ｂの存在を視覚的に認識させ、接触を未然に回避できるものにしているのである。
【００６４】
〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。
【００６５】
（ａ）表示対象設定手段は、障害物が検出されない状況において、運転者の目視方向と反対方向を表示するように単純な処理を行うように処理形態を設定しても良い。この場合、常に目視方向と反対方向を表示する表示形態でも良く、例えば、目視方向が後方である場合には、右前方や左前方等表示方向を予め設定できるように表示形態を設定しても良い。
【００６６】
（ｂ）例えば、縦軸芯周りにパーン作動自在で、ズームレンズを有する車載カメラを備え、表示対象設定手段が障害物の存在する領域をモニタに表示する対象に設定した場合には、車載カメラをパーン作動させて撮影領域の中央を障害物が存在する領域に向け、ズームレンズで撮影対象を拡大するように焦点距離の設定を行うように構成する。このように構成することにより、多数の車載カメラを備えずとも広範な領域の対象を拡大表示することも可能となる。
【００６７】
（ｃ）障害物検出手段が、複数の車載カメラの撮影画像の画像処理により立体物を抽出し、その立体物を障害物として認識し、車体との距離を計測できるように構成されたものであっても良い。このように構成した場合には、画像処理だけで障害物との距離を把握できるため超音波センサ等を備える必要がなく、部位点数の低減に繋がる。
【００６８】
（ｄ）車内のフロアー等に運転者の足（靴）からの圧力を検出する感圧センサを備え、この感圧センサの圧力情報も併せて目視方向を推定する処理に用いる。このように構成することにより、運転者の姿勢を明確に判定でき目視方向の推定精度を高めることが可能となる。
【産業上の利用可能性】
【００６９】
本発明は、ナビゲーションシステムを備えず、車載カメラの撮影画像のみをモニタに表示するシンプルなシステムに利用することができる。
【符号の説明】
【００７０】
３ 運転座席
５ ステアリングホイール
７ モニタ
１４ ドア（右ドア）
１６ 車載カメラ（フロントカメラ）
１７ 車載カメラ（リアカメラ）
１８ 車載カメラ（左サイドカメラ）
１９ 車載カメラ（右サイドカメラ）
２５ 感圧センサ
３２ 目視方向推定手段
３４ 表示対象設定手段
３６ 表示領域抽出手段
Ｄ 運転者
ＤＳ 障害物検出手段（距離センサ）
ＷＳ 荷重センサ
【技術分野】
【０００１】
本発明は、周辺認知支援装置に関し、詳しくは、車載カメラによって撮影した車両の周辺画像を撮影した画像をモニタに表示する技術に関する。
【背景技術】
【０００２】
上記のように構成された周辺認知支援装置に関連するものとして特許文献１には、運転者の位置から死角になる領域を撮影する複数のＣＣＤカメラが車体に備えられ、車内には運転者の顔を撮影する赤外線カメラが備えられた車両周辺表示装置が示されている。この車両周辺表示装置では、赤外線カメラで撮影された画像から運転者の顔の向き等を求めて運転者が注視する方向を判別するＥＣＵを備えており、このＥＣＵは判別された顔の方向のカメラで撮影された画像をモニタに表示する制御を行う。
【０００３】
周辺認知支援装置に関連するものとして特許文献２には、特許文献１と類似する構成を備えた車両用モニタリングシステムでは、運転者用カメラで撮影された運転者の顔の向きを顔向き検知ＥＣＵで判別し、顔の向きに一致する特定領域の画像の拡大表示を行う拡大表示手段が備えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７‐１４２７２４号公報 （段落番号〔００１６〕〜〔００７６〕、図１〜図４）
【特許文献２】特開２００７‐１５６６３号公報 （段落番号〔００２７〕、〔００５９〕、図１〜図７）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両を後進させて駐車を行う際の運転者の操作を例に挙げると、車両を後進させる際には、運転者は上半身を捩るように車両の後方を振り返り、車両の後方を直接的に確認することや、場合によっては運転座席のドアのウインドウを開放し、この開放部位から車両の後方を直接的に確認することや、サイドミラーに視線を向けることでミラーを介して車両の後方を確認することが行われている。また、車両の後方を撮影するカメラを備えたものでは、運転座席近傍のディスプレイに対してカメラからの画像を表示することで車両の後方を確認することも行われている。
【０００６】
このように車両を後進させる際には、車両の後方の確認を行うことは重要であり、特許文献１に記載されるように運転者から死角になる領域をモニタに表示する制御が有効となり、特許文献２に記載されるように運転者が必要とする方向の映像をモニタに表示することも有効となる。
【０００７】
しかしながら、狭い駐車スペースに車両を導入する場合や障害物が存在する領域に車両を導入する場合には、車両の後方の一部の領域を確認するだけでは、不充分な場合があり、例えば、車両の前端部に近い領域に障害物が存在する場合には、ステアリング操作に伴い車両の前端部が横方向に振れる際に、その障害物に接触する可能性もあり、このような前端部位置の障害物の確認も同時に行う必要があった。
【０００８】
このような状況を考えると特許文献１や特許文献２に記載されるように、運転者の状態から自動的にモニタに情報を表示する有効性は認められるものの、運転者が目視している領域をモニタに表示するだけでは不充分であることも考えられ改善の余地がある。
【０００９】
本発明の目的は、運転者の状態から運転者が目視する領域と異なる領域の確認が可能な装置を合理的に構成する点にある。
【課題を解決するための手段】
【００１０】
本発明の特徴は、車両周辺を撮影する車載カメラと、この車載カメラで撮影された画像を表示するモニタとを備えると共に、
車両の運転座席に着座した運転者の姿勢から運転者が目視する方向を推定する目視方向推定手段と、
前記車載カメラで撮影された車体周辺の撮影画像のうち、前記目視方向推定手段で推定した目視方向と異なる方向となる車体周辺の撮影画像を前記モニタに表示する表示対象設定手段が備えられている点にある。
【００１１】
この構成によると、運転者の姿勢から目視方向推定手段が目視方向を推定するので、視線の方向を特定するためのカメラ類を用いずに構成することが可能となり、また、車載カメラで撮影された車体周辺の撮影画像のうち、推定した目視方向と異なる方向となる車体周辺の画像が、表示対象設定手段によってモニタに表示される。そして、この表示対象がモニタに表示されることで運転者の注意を促すことも可能となる。つまり、運転者は目視していない方向の車体周辺の状況を積極的に確認している訳ではないので、運転者が目視しない領域をモニタに表示することで、運転者が障害物等の見落としを少なくできる。
その結果、運転者の状態から運転者が確認を行う領域と異なる領域の確認が可能な装置が合理的に構成された。
【００１２】
本発明は、車体外部に存在する障害物を検出する障害物検出手段を備え、前記表示対象設定手段は、前記目視方向と異なる方向において前記障害物検出手段で障害物が検出された領域の撮影画像を表示対象に設定しても良い。
これによると、運転者が目視する方向と異なる方向において、障害物検出手段が障害物を検出した場合に、その障害物が検出された領域がモニタに表示されることになるので、例えば、障害物が検出されない場合には、車体の進行方向の撮影画像や、所謂トップビュー等を表示しておき、障害物が検出された場合に、その領域を表示することにより、運転者に注意を促すことも可能となる。
【００１３】
本発明は、前記目視方向推定手段が、前記運転座席に着座した運転者の荷重情報を取得する荷重センサを備えても良い。
これによると、運転座席に備えた荷重センサの荷重情報から運転者の姿勢を判別できる。
【００１４】
本発明は、前記目視方向推定手段が、前記運転座席に着座した運転者と、運転者近傍のドアとの距離情報を取得するように前記ドアに形成された近接センサを備えても良い。
これによると、ドアに備えた近接センサの距離情報から運転者の姿勢を判別できる。
【００１５】
本発明は、前記目視方向推定手段が、ステアリングホイールを運転者が握る把持位置と把持力とを圧力情報として取得する感圧センサを備えても良い。
これによると、ステアリングホイールに備えた感圧センサの圧力情報から運転者がステアイングホイールを握る把持位置と把持力とを特定し、これに基づいて運転者の姿勢を判別できる。
【００１６】
本発明は、前記表示対象設定手段で設定された表示対象の撮影画像のうち、前記目視方向と異なる方向の画像を切り出して前記モニタに表示する表示領域抽出手段を備えても良い。
これによると、複数の車載カメラを備えなくとも、撮影画像からモニタに表示すべき画像を切り出して拡大表示できる。
【００１７】
本発明は、前記車載カメラが車体周辺の異なる領域を撮影するように複数備えられ、前記表示対象設定手段は、前記車載カメラで撮影された撮影画像のうち、前記目視方向と異なる方向の領域を撮影する車載カメラからの画像を選択してモニタに表示しても良い。
これによると、複数の車載カメラのうちの１つからの画像を選択してモニタに表示するので、モニタに表示される画像の画質を低下させることがない。
【図面の簡単な説明】
【００１８】
【図１】車両の構成を示す斜視図である。
【図２】車内のパネル部を示す斜視図である。
【図３】カメラの撮影領域を示す平面図である。
【図４】制御系を示すブロック回路図である。
【図５】表示制御ルーチンのフローチャートである。
【図６】運転者の目視方向等を示す図である。
【図７】駐車エリアと車体との位置関係を示す平面図である。
【図８】リアカメラの撮影画像が表示されたモニタを示す図である。
【図９】フロントカメラの撮影画像が表示されたモニタを示す図である。
【図１０】左サイドカメラの撮影画像と右サイドカメラの撮影画像とが表示されたモニタを示す図である。
【図１１】障害物が表示されたモニタを示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を図面に基づいて説明する。
〔車体構成〕
図１〜図３には車両の一例としての乗用車を示している。この乗用車の車体Ａには左右一対の前車輪１及び左右一対の後車輪２が備えられ、ルーム内には運転座席３と助手席４とが備えられ、運転座席３の前方位置にステアリングホイール５が配置されている。また、運転座席３の前方位置にメータ類を有するパネル６が備えられ、このパネル６と隣接する位置に各種情報を表示するモニタ７が備えられている。パネル６の下方にはアクセルペダル８とブレーキペダル９とが備えられ、運転座席３の側部には変速操作を実現するシフトレバー１０が配置されている。
【００２０】
ルーム内の前部にはルームミラー１１が備えられている。車体前部の左ドア１２の外部に左ドアミラー１３が備えられ、車体前部の右側の右ドア１４の外部に右ドアミラー１５が備えられている。
【００２１】
車体Ａの前端には車体前方の路面を含む周辺領域を撮影するフロントカメラ１６が備えられ、車体Ａの後端には車体後方の路面を含む周辺領域を撮影するリアカメラ１７が備えられている。左ドアミラー１３のハウジングには車体Ａの左側方の路面を含む周辺領域を撮影する左サイドカメラ１８が備えられ、これと同様に、右ドアミラー１５のハウジングには車体の右側方の路面を含む周辺領域を撮影する右サイドカメラ１９が備えられている。
【００２２】
これらフロントカメラ１６、リアカメラ１７、左サイドカメラ１８、右サイドカメラ１９は車載カメラの具体例であり、夫々ともＣＣＤやＣＩＳ等の撮像素子を内蔵したデジタルカメラとして構成されている。これらのデジタルカメラは、撮像角度が水平方向に１８０度に及ぶ広角度レンズを有し、撮影した撮影画像を動画情報としてリアルタイムに出力する。図３には、フロントカメラ１６の前方撮影領域Ｆａと、リアカメラ１７の後方撮影領域Ｂａと、左サイドカメラ１８の左方撮影領域Ｌａと、右サイドカメラ１９の右方撮影領域Ｒａとを異なるハッチングを付して示しており、これらの領域が対応するカメラにおいて撮影画像として取得される。
【００２３】
車体Ａの前端のバンパーの左右両端となる２箇所と、車体Ａの後端のバンパーの左右両端となる２箇所との合計４箇所には、障害物を検出する超音波型や赤外線反射型等の距離センサＤＳ（障害物検出手段の一例）が備えられている。
【００２４】
この乗用車では、複数のＧＰＳ衛星から電波信号を受信することで車体Ａの位置を地球の経度と緯度とで構成されるポジション情報を取得するナビゲーションシステム２１を（図４を参照）を備えている。このナビゲーションシステム２１は、取得したポジション情報に対応する領域の地図を前記モニタ７に表示する共に、車体Ａが存在する位置を地図上に表示し、この地図上に車体Ａが走行すべき経路を表示し、既に走行した経路を表示する等の処理を実現する。
【００２５】
図１及び図４に示すように、この乗用車では、前述したフロントカメラ１６、リアカメラ１７、左サイドカメラ１８、右サイドカメラ１９からの撮影画像を前記モニタ７に表示することが可能な周辺認知制御ユニット３０を備えている。この周辺認知制御ユニット３０は、マイクロプロセッサやＤＳＰ（digital signal processor）等を有し、所定のソフトウエアが実行される表示ＥＣＵとして構成されている（制御形態は後述する）。
【００２６】
モニタ７は、表示面にタッチパネルを備え、バックライトを備えた液晶式に構成されている。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネルは、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。モニタ７の下部にはモニタ７に表示すべき画像を人為的に設定するマニュアルスイッチ２２が備えられ、この近傍にはスピーカ２３を備えている。
【００２７】
この乗用車は一般的なものと同様にシフトレバー１０の設定により前後進の何れかの方向への走行が実現する。アクセルペダル８の操作で走行速度の調節が実現し、ブレーキペダル９の操作で減速が実現し、ステアリングホイール５の操作により操舵輪として機能する前車輪１の操向作動が実現する。
【００２８】
運転座席３は、シートクッション３Ａとシートバック３Ｂとを備えており、このシートクッション３Ａとシートバック３Ｂとには、運転者Ｄ（図６を参照）が着座した際の圧力を検出する複数の荷重センサＷＳを備えている。この複数の荷重センサＷＳは、シートクッション３Ａにおいて運転者Ｄの左右方向と前後方向とにおける荷重を計測できるように前部と後部と左部と右部との少なくとも４箇所に配置されている。シートバック３Ｂに対しても運転者Ｄの左右方向における荷重を計測できるように左部と右部との少なくとも２箇所に配置されている。
【００２９】
右ドア１４の内壁面には、運転者Ｄとの距離を計測する複数の近接センサ２４を備え、ステアリングホイール５には運転者Ｄの把持位置と把持力とを計測する複数の感圧センサ２５を備えている。
【００３０】
近接センサ２４は、静電容量型や、赤外線を用いた反射型の測距センサ等、非接触型のものが用いられ、ドア内面と運転者Ｄとの距離を計測する。感圧センサ２５は感圧ゴムやストレインゲージ等で構成され、運転者Ｄがホイール部分を握る把持力と把持位置との情報を出力する。
【００３１】
例えば、図７に示すように、駐車エリアＰの近傍に車体Ａを停止させて、駐車エリアＰに車体を導入する際には、周辺認知制御ユニット３０が運転座席３に着座する運転者Ｄの目視方向を推定する。この推定に基づいてフロントカメラ１６、リアカメラ１７、左サイドカメラ１８、右サイドカメラ１９の何れかからの撮影画像がモニタ７に表示され、運転者Ｄによる車体周辺の認知の支援を行える。この周辺認知制御ユニット３０の制御構成、制御形態を以下に説明する。
【００３２】
〔制御構成〕
図４に示すようにモニタ７に画像を表示する制御系が構成されている。この制御系では、周辺認知制御ユニット３０に対して、ナビゲーションシステム２１からのナビゲーション情報と、マニュアルスイッチ２２の設定情報とが入力する情報取得系が形成されている。また、シフトレバー１０のシフト位置を検出するシフト位置センサ１０Ｓからのシフト位置情報と、フロントカメラ１６・バックカメラ１７・左サイドカメラ１８・右サイドカメラ１９夫々からの撮影画像とが入力する情報取得系が形成されている。更に、複数の荷重センサＷＳからの荷重情報と、複数の近接センサ２４からの距離情報と、複数の感圧センサ２５からの把持位置を含む圧力情報と、障害物検出手段として機能する複数の距離センサＤＳからの距離情報とが入力する情報取得系が形成されている。
【００３３】
周辺認知制御ユニット３０は、複数の荷重センサＷＳで荷重情報を取得し、近接センサ２４の計測情報を取得し、感圧センサ２５の圧力情報を取得する。周辺認知制御ユニット３０では、取得した情報から運転座席３に着座した運転者Ｄの姿勢を判別し、この姿勢から更に、運転者が目視する方向を推定し、運転者Ｄの目視方向と異なる方向をモニタ７に表示する制御を行う。
【００３４】
周辺認知制御ユニット３０は、撮影画像取得手段３１と、目視方向推定手段３２と、障害物位置判定手段３３と、表示対象設定手段３４と、表示画像取得手段３５と、表示領域抽出手段３６と、表示対象決定手段３７と、タイマ３８と、表示画像出力モジュール３９と、音声処理モジュール４０とを備えている。
【００３５】
撮影画像取得手段３１は、フロントカメラ１６・バックカメラ１７・左サイドカメラ１８・右サイドカメラ１９夫々からの撮影画像を取得する。目視方向推定手段３２は、複数の荷重センサＷＳ・複数の近接センサ２４・複数の感圧センサ２５夫々からの情報の少なくとも１つを取得して運転者の目視方向を推定する。また、この目視方向推定手段３２に対して推定の基準とする荷重分布や閾値等の情報を与える目視方向判定テーブル３２Ｔを備えている。
【００３６】
図面には示していないが、車体Ａにはステアリングホイール５の回転操作角を取得する回転角センサが備えられ、目視方向推定手段３２では、回転角センサで特定されるステアリングホイール５の回転操作角と、複数の感圧センサ２５の圧力情報とに基づいて、運転者Ｄがホイール部分を握る把持位置と把持力とを特定する処理が行われる。
【００３７】
障害物位置判定手段３３は、複数の距離センサＤＳからの距離情報に基づいて障害物の位置を判定する。表示対象設定手段３４は、外部からの情報あるいは内部で生成した情報に基づいてモニタ７に表示すべき対象を設定する。表示画像取得手段３５は表示すべき撮影画像等を取得する。表示領域抽出手段３６は、撮影画像から障害物Ｂ（図７を参照）が存在する一部の領域を切り出す処理を行う。
【００３８】
表示対象決定手段３７は、表示画像取得手段３５で取得した撮影画像又は表示領域抽出手段３６で切り出した撮影画像等を表示する処理を行う。表示画像出力モジュール３９はモニタ７に対して画像を出力する処理を行う。この表示画像出力モジュール３９はモニタ７に画像の表示形態を設定する情報を取得するレイアウトテーブル３９Ｔを備えている。音声処理モジュール４０は障害物位置判定手段３３で検出した障害物Ｂと車体Ａとの距離が設定値未満まで減少するとスピーカ２３から警報音を出力する。
【００３９】
これら、撮影画像取得手段３１と、目視方向推定手段３２と、障害物位置判定手段３３と、表示対象設定手段３４と、表示画像取得手段３５と、表示領域抽出手段３６と、表示対象決定手段３７とはソフトウエアで構成されるものであるが、夫々をハードウエアで構成して良く、また、夫々をハードウエアとソフトウエアとの組み合わせによって構成しても良い。
【００４０】
周辺認知制御ユニット３０は、車体Ａの走行方向や走行速度に拘わらず運転者Ｄの目視方向に基づいてモニタ７に表示すべき画像の自動設定を実現するものであるが、この実施形態では図７に示すように車体Ａを駐車エリアＰの近傍に停車させた状態で車体Ａを後進させる場合の表示制御を説明する。
【００４１】
〔表示制御〕
図５のフローチャートに示すように、シフト位置センサ１０Ｓからの情報から車体Ａの走行方向が後進でない（前進である）場合には、マニュアルスイッチ２２の設定情報に基づいてナビゲーションシステム２１から取得したナビゲーション情報又はフロントカメラ１６・バックカメラ１７・左サイドカメラ１８・右サイドカメラ１９の何れかから取得した撮影画像を表示対象にセットする（＃１０１、＃１０２ステップ）。
【００４２】
また、シフト位置が後進（リバース）である場合には、リアカメラ１７からの撮影画像が表示対象にセットされる。このセット状態で目視方向を推定し、この推定された目視方向が設定時間以上維持された場合にのみ、距離センサＤＳの距離情報を取得し、既に推定されている目視方向と異なる方向に存在する障害物Ｂ（図７を参照）が設定距離未満まで車体Ａに接近したことを判定した場合にのみ、障害物Ｂを検出した領域の拡大画像を表示対象にセットする（＃１０３〜＃１０８ステップ）。
【００４３】
次に、既に障害物Ｂが表示されている場合には目視方向の変更時間が設定値未満である場合には、障害物Ｂを表示対象にセットする。このようにセットされた表示対象はモニタ７に表示される（＃１０９〜＃１１１ステップ）。
【００４４】
フローチャートには示していないが障害物Ｂを検出した場合には、音声処理モジュール４０が生成した電子音がスピーカ２３から出力されるので、運転者Ｄは音声によっても障害物Ｂの存在が把握できる。特に、音声処理モジュールは障害物Ｂを検出した際には必ず音声を出力するので、モニタ７に障害物Ｂが表示されない状況でも音声から障害物Ｂの存在を把握できる。
【００４５】
つまり、＃１０１、＃１０２、＃１１１ステップの処理として、車体Ａを後進させない場合には、表示対象設定手段３４がマニュアルスイッチ２２の設定情報に基づいて表示対象をセットする。
【００４６】
具体的には、表示対象としてはナビゲーションシステム２１が生成したナビゲーション画面や、複数のカメラでの撮影された撮影画像が表示対象に設定され、このセットに基づいて表示画像取得手段３５が表示すべき撮影画像を取得し、表示画像出力モジュール３９がモニタ７に表示する。このような表示が行われる際には、レイアウトテーブル３９Ｔに基づいて表示位置を設定することも可能であり、例えば、モニタ７の表示面を分割し、複数のカメラでの撮影された撮影画像を分割された表示面に表示できる。
【００４７】
また、＃１０３ステップの処理として、車体Ａを後進させる状況にある場合には、モニタ７に対してリアカメラ１７で撮影された後方撮影領域Ｂａの撮影画像を表示する基本的な設定が表示対象設定手段３４において行われる。このようにセットされた状態で障害物Ｂが検出されない場合には、＃１１１ステップにおいて、リアカメラ１７の撮影画像を表示画像取得手段３５が取得し、図８に示すように撮影画像がモニタ７に表示される。
【００４８】
尚、この図８のようにモニタ７に示される撮影画像は、ミラーによって後方を確認した際の像と整合させるため、左右が入れ替わった像となっている。また、モニタ７に表示される撮影画像には左右一対の車幅ラインＹｗと、５ｍ（メートル）、３ｍ、１ｍに対応した予想進路線Ｙ１、Ｙ２、Ｙ３で成るガイドインジケータがスーパーインポーズの処理によって表示される。
【００４９】
特に、＃１０４、＃１０５ステップの処理として、＃１０３ステップで車体後方の撮影画像が表示対象にセットされている状況において、荷重センサＷＳ、近接センサ２４、感圧センサ２５の少なくとも１つからの情報に基づいて目視方向推定手段３２が運転者Ｄの姿勢に基づいて目視方向を推定する。
【００５０】
この推定の一例を挙げると、車体Ａを駐車エリアＰに導入する際に、図６に示すように運転座席３に着座する運転者Ｄが右ドアミラー１５を目視する場合や、直接的に車体Ａに右後方を目視する場合には、運転者Ｄの体の重心が右側に移動し、体も傾斜する。このような理由から、荷重センサＷＳの荷重情報から体の姿勢の判別し、目視方向の推定が可能となる。これと同様に理由から、近接センサ２４の検出値、及び、感圧センサ２５の圧力情報から運転者Ｄの姿勢を判別し、目視方向の推定を実現している。
【００５１】
目視方向判定テーブル３２Ｔには、複数の荷重センサＷＳの荷重情報と目視方向との関係、複数の近接センサ２４の計測値と目視方向との関係、複数の感圧センサ２５の圧力情報と目視方向との関係夫々をデータ化して保存している。また、この目視方向判定テーブル３２Ｔは、運転者Ｄが直接的に車外を目視した場合の目視方向だけを推定するだけではなく、運転者Ｄがミラーを介して車体Ａの後方を目視した場合にも、車体Ａの後方を目視していることを推定するように、ルームミラー１１、左ドアミラー１３、右ドアミラー１５夫々の位置が記録されている。
【００５２】
つまり、推定された目視方向がルームミラー１１に向かっている場合には、運転者Ｄは車体Ａの後方を目視して入ると見なす。これと同様に、推定された目視方向が左ドアミラー１３に向かっている場合には、運転者Ｄは車体Ａの左後方を目視して入ると見なす。また、推定された目視方向が右ドアミラー１５に向かっている場合には、前述したように運転者Ｄは車体Ａの右後方を目視して入ると見なす。
【００５３】
これにより、目視方向判定テーブル３２Ｔの情報に基づき複数の荷重センサＷＳの荷重情報と、複数の近接センサ２４の距離情報と、複数の感圧センサ２５の圧力情報との少なくとも１つに基づいて目視方向の推定を実現している。
【００５４】
特に荷重センサＷＳの荷重情報を基本として、近接センサ２４の距離情報と、感圧センサ２５の圧力情報とのうちの少なくとも１つの情報も併せて参照することで目視方向の推定の精度を高めることが可能である。
【００５５】
＃１０５ステップのように、目視方向推定手段３２によって推定された目視方向が設定時間（数秒程度）以上維持されたことをタイマ３８からの情報に基づいて判別した状況において、＃１０６、＃１０７ステップの処理では、障害物位置判定手段３３が距離センサＤＳの距離情報を取得する。そして、目視方向と異なる方向の障害物Ｂが検出された場合には、障害物Ｂを検出した領域の撮影画像の一部の拡大画像が表示対象にセットされる。
【００５６】
本実施の形態では撮影画像の一部を拡大表示する処理を示しているが、複数の車載カメラの１つからの撮影画像を拡大せずにモニタ７に表示するように表示対象設定手段３４の処理形態を設定しても良い。
【００５７】
具体的な状況として、図６に示されるように運転者Ｄが右ドアミラー１５を目視している場合や、車体Ａの右後方を目視する場合において、図７に示すように、車体Ａの左前部において障害物Ｂが検出された場合には、図１１に示す画像がモニタ７に表示される。つまり、撮影画像取得手段３１においてフロントカメラ１６から図９に示す撮影画像を取得しており、左サイドカメラ１８から図１０に示す撮影画像（モニタ７の左側に表示されたもの）を取得している。尚、同図には右サイドカメラ１９も併せてモニタ７に並列的に表示した状態を示している
【００５８】
ここで、目視方向と異なる方向として、運転者Ｄが車体Ａの右後方を目視している場合には、異なる方向として車体Ａの左前部に存在する障害物Ｂを表示対象にセットした例を挙げたが、異なる方向として車体Ａの右前部であっても、車体Ａの左後部であっても、その位置に存在する障害物Ｂはモニタ７に表示されることになる。
【００５９】
これらの撮影画像のうち、表示対象設定手段３４が、図９、図１０において破線で示す領域Ｅを表示対象にセットすることで、拡大画像が表示対象となる。このようにセットされた２つの拡大画像は＃１１１ステップにおいて図１１に示すようにモニタ７に並列的に表示される。このような並列的な表示はレイアウトテーブル３９Ｔからのレイアウト情報に基づいて表示画像出力モジュール３９が実現する。
【００６０】
尚、障害物Ｂは地上に設置された非移動物に限るものではなく、車体Ａに接近するバイクや人物等の移動物を含むものである。
【００６１】
＃１０９、＃１１０ステップの処理は、障害物Ｂが表示対象に設定されている状況において、その障害物Ｂが既にモニタ７に表示されている場合には、目視方向の変更時間が設定値未満である場合、つまり、目視方向から視線をそらすことがあっても、そらす時間が短時間である場合には、障害物Ｂの拡大画像を表示対象にセットする状態が維持されることを意味している。
【００６２】
つまり、短時間だけモニタ７を見ることや、短時間だけルームミラー１１を見ることがあっても障害物Ｂの表示は継続することになる。
【００６３】
この周辺認知制御ユニット３０では、車体Ａを後進させて駐車エリアＰに導入する際には、障害物Ｂが検出されない限りモニタ７にはリアカメラ１７からの撮影画像（図８を参照）が表示される。しかしながら、運転者Ｄの目視方向を推定し、推定された方向と異なる方向で障害物Ｂが検出された場合には、モニタ７に対して障害物Ｂを表示することにより、運転者Ｄに対して障害物Ｂの存在を視覚的に認識させ、接触を未然に回避できるものにしているのである。
【００６４】
〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。
【００６５】
（ａ）表示対象設定手段は、障害物が検出されない状況において、運転者の目視方向と反対方向を表示するように単純な処理を行うように処理形態を設定しても良い。この場合、常に目視方向と反対方向を表示する表示形態でも良く、例えば、目視方向が後方である場合には、右前方や左前方等表示方向を予め設定できるように表示形態を設定しても良い。
【００６６】
（ｂ）例えば、縦軸芯周りにパーン作動自在で、ズームレンズを有する車載カメラを備え、表示対象設定手段が障害物の存在する領域をモニタに表示する対象に設定した場合には、車載カメラをパーン作動させて撮影領域の中央を障害物が存在する領域に向け、ズームレンズで撮影対象を拡大するように焦点距離の設定を行うように構成する。このように構成することにより、多数の車載カメラを備えずとも広範な領域の対象を拡大表示することも可能となる。
【００６７】
（ｃ）障害物検出手段が、複数の車載カメラの撮影画像の画像処理により立体物を抽出し、その立体物を障害物として認識し、車体との距離を計測できるように構成されたものであっても良い。このように構成した場合には、画像処理だけで障害物との距離を把握できるため超音波センサ等を備える必要がなく、部位点数の低減に繋がる。
【００６８】
（ｄ）車内のフロアー等に運転者の足（靴）からの圧力を検出する感圧センサを備え、この感圧センサの圧力情報も併せて目視方向を推定する処理に用いる。このように構成することにより、運転者の姿勢を明確に判定でき目視方向の推定精度を高めることが可能となる。
【産業上の利用可能性】
【００６９】
本発明は、ナビゲーションシステムを備えず、車載カメラの撮影画像のみをモニタに表示するシンプルなシステムに利用することができる。
【符号の説明】
【００７０】
３ 運転座席
５ ステアリングホイール
７ モニタ
１４ ドア（右ドア）
１６ 車載カメラ（フロントカメラ）
１７ 車載カメラ（リアカメラ）
１８ 車載カメラ（左サイドカメラ）
１９ 車載カメラ（右サイドカメラ）
２５ 感圧センサ
３２ 目視方向推定手段
３４ 表示対象設定手段
３６ 表示領域抽出手段
Ｄ 運転者
ＤＳ 障害物検出手段（距離センサ）
ＷＳ 荷重センサ
【特許請求の範囲】
【請求項１】
車両周辺を撮影する車載カメラと、この車載カメラで撮影された画像を表示するモニタとを備えると共に、
車両の運転座席に着座した運転者の姿勢から運転者が目視する方向を推定する目視方向推定手段と、
前記車載カメラで撮影された車体周辺の撮影画像のうち、前記目視方向推定手段で推定した目視方向と異なる方向となる車体周辺の撮影画像を前記モニタに表示する表示対象設定手段が備えられている周辺認知支援装置。
【請求項２】
車体外部に存在する障害物を検出する障害物検出手段を備え、前記表示対象設定手段は、前記目視方向と異なる方向において前記障害物検出手段で障害物が検出された領域の撮影画像を表示対象に設定する請求項１記載の周辺認知支援装置。
【請求項３】
前記目視方向推定手段が、前記運転座席に着座した運転者の荷重情報を取得する荷重センサを備えている請求項１又は２記載の周辺認知支援装置。
【請求項４】
前記目視方向推定手段が、前記運転座席に着座した運転者と、運転者近傍のドアとの距離情報を取得するように前記ドアに形成された近接センサを備えている請求項１又は２記載の周辺認知支援装置。
【請求項５】
前記目視方向推定手段が、ステアリングホイールを運転者が握る把持位置と把持力とを圧力情報として取得する感圧センサを備えている請求項１又は２記載の周辺認知支援装置。
【請求項６】
前記表示対象設定手段で設定された表示対象の撮影画像のうち、前記目視方向と異なる方向の画像を切り出して前記モニタに表示する表示領域抽出手段を備えている請求項１〜５のいずれか一項に記載の周辺認知支援装置。
【請求項７】
前記車載カメラが車体周辺の異なる領域を撮影するように複数備えられ、前記表示対象設定手段は、前記車載カメラで撮影された撮影画像のうち、前記目視方向と異なる方向の領域を撮影する車載カメラからの画像を選択してモニタに表示する請求項１〜５のいずれか一項に記載の周辺認知支援装置。
【請求項１】
車両周辺を撮影する車載カメラと、この車載カメラで撮影された画像を表示するモニタとを備えると共に、
車両の運転座席に着座した運転者の姿勢から運転者が目視する方向を推定する目視方向推定手段と、
前記車載カメラで撮影された車体周辺の撮影画像のうち、前記目視方向推定手段で推定した目視方向と異なる方向となる車体周辺の撮影画像を前記モニタに表示する表示対象設定手段が備えられている周辺認知支援装置。
【請求項２】
車体外部に存在する障害物を検出する障害物検出手段を備え、前記表示対象設定手段は、前記目視方向と異なる方向において前記障害物検出手段で障害物が検出された領域の撮影画像を表示対象に設定する請求項１記載の周辺認知支援装置。
【請求項３】
前記目視方向推定手段が、前記運転座席に着座した運転者の荷重情報を取得する荷重センサを備えている請求項１又は２記載の周辺認知支援装置。
【請求項４】
前記目視方向推定手段が、前記運転座席に着座した運転者と、運転者近傍のドアとの距離情報を取得するように前記ドアに形成された近接センサを備えている請求項１又は２記載の周辺認知支援装置。
【請求項５】
前記目視方向推定手段が、ステアリングホイールを運転者が握る把持位置と把持力とを圧力情報として取得する感圧センサを備えている請求項１又は２記載の周辺認知支援装置。
【請求項６】
前記表示対象設定手段で設定された表示対象の撮影画像のうち、前記目視方向と異なる方向の画像を切り出して前記モニタに表示する表示領域抽出手段を備えている請求項１〜５のいずれか一項に記載の周辺認知支援装置。
【請求項７】
前記車載カメラが車体周辺の異なる領域を撮影するように複数備えられ、前記表示対象設定手段は、前記車載カメラで撮影された撮影画像のうち、前記目視方向と異なる方向の領域を撮影する車載カメラからの画像を選択してモニタに表示する請求項１〜５のいずれか一項に記載の周辺認知支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−９３３（Ｐ２０１１−９３３Ａ）
【公開日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願番号】特願２００９−１４４４６５（Ｐ２００９−１４４４６５）
【出願日】平成２１年６月１７日（２００９．６．１７）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願日】平成２１年６月１７日（２００９．６．１７）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]