車輌用映像表示装置
【課題】立体映像による状況認識性能の向上を図ることが可能な車輌用映像表示装置を提供する。
【解決手段】車輌用映像表示装置１０は、自動車１に搭載され、自動車１の周囲を撮像するカメラ２１，２２と、カメラ２１，２２により撮像された映像を立体映像として表示する３Ｄモニタ３０と、自動車１の運転シーンを推定するシーン推定部６２と、運転シーンに基づいて３Ｄモニタ３０に表示する立体映像の奥行き度を調整する奥行き度調整部６３と、を備えている。
【解決手段】車輌用映像表示装置１０は、自動車１に搭載され、自動車１の周囲を撮像するカメラ２１，２２と、カメラ２１，２２により撮像された映像を立体映像として表示する３Ｄモニタ３０と、自動車１の運転シーンを推定するシーン推定部６２と、運転シーンに基づいて３Ｄモニタ３０に表示する立体映像の奥行き度を調整する奥行き度調整部６３と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車輌周囲の映像を立体映像として運転者に表示する車輌用映像表示装置に関するものである。
【背景技術】
【０００２】
自動車の後方或いは側方に設けられた２台のカメラによって撮像した画像を、車室内に設けられた液晶表示画面に立体映像として表示する技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００４／０８４５５９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
運転者は運転シーンに応じて注目すべき対象を自然に変えているが、立体映像の中には視差が大き過ぎて融像できない部分も含まれている。上記の技術では、モニタと運転者との位置関係に立体映像の奥行き度を対応させているだけなので、運転シーンによっては注目すべき物体を立体映像から視認できない場合があり、十分な状況認識性能を確保できないおそれがあるという問題がある。
【０００５】
本発明が解決しようとする課題は、立体映像による状況認識性能の向上を図ることが可能な車輌用映像表示装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、立体映像表示手段に表示する立体映像の奥行き度を、車輌の運転シーンに基づいて調整することによって上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、運転シーンに応じて奥行き度が最適化された立体映像を運転者に対して表示することが可能となるので、立体映像による状況認識性能の向上を図ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の実施形態における車輌用映像表示装置の全体構成を示すブロック図である。
【図２】図２は、左眼用と右眼用の２つの映像間の視差を説明するための図である。
【図３】図３は、立体映像におけるカメラ、近傍面、スクリーン面、及び遠方面の関係を示す斜視図である。
【図４】図４は、図３の立体映像を示す図である。
【図５】図５（ａ）〜図５（ｃ）は、それぞれの運転シーンにおける最適な提示範囲の例を示す側面図である。
【図６】図６は、本発明の実施形態における立体映像の奥行き度の調整手法の第１の例を示す図である。
【図７】図７は、本発明の実施形態における立体映像の奥行き度の調整手法の第２の例を示す図である。
【図８】図８（ａ）及び図８（ｂ）は、本発明の実施形態における立体映像の奥行き度の調整手法の第３の例を示す図である。
【図９】図９は、本発明の実施形態における立体映像の奥行き度の調整手法の第４の例を示す図である。
【図１０】図１０は、本発明の実施形態における立体映像の奥行き度の調整手法の第５の例を示す図である。
【図１１】図１１（ａ）及び図１１（ｂ）は、本発明の実施形態における提示範囲と車速の関係をグラフの一例である。
【図１２】図１２は、本発明の実施形態において、他車輌の平均距離に基づいて提示範囲を補正したグラフの一例である。
【図１３】図１３は、自車輌が本線に合流する例における車輌間の位置関係を示す平面図である。
【図１４】図１４は、車輌後方を表示する立体映像において注目したい他車輌を選択する画面の例を示す図である。
【図１５】図１５（ａ）は、本発明に実施形態において立体映像の奥行き度を運転シーンに応じて最適化した画像の例を示す図であり、図１５（ｂ）は、立体映像の奥行き度を調整せずに表示した画像の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
図１は本実施形態における車輌用映像表示装置の構成を示すブロック図、図２は２つの映像間の視差を説明するための図、図３は立体映像におけるカメラ、近傍面、スクリーン面、及び遠方面の関係を示す斜視図、図４は図３の例における立体映像を示す図、図５（ａ）〜図５（ｃ）はそれぞれの運転シーンにおける最適な提示範囲の例を示す側面図である。
【００１１】
本実施形態における車輌用映像表示装置１は、自動車１の前方又は後方の映像を立体映像として運転者に表示する装置であり、図１に示すように、２組のカメラ２１Ｌ／Ｒ，２２Ｌ／Ｒと、３Ｄモニタ３０と、ナビゲーション装置４０と、物体検出センサ５０と、映像制御部６０と、を備えている。
【００１２】
一対の前方カメラ２１Ｌ，２１Ｒ（以下単に、前方カメラ２１とも称する。）は、ＣＣＤイメージセンサ、ＭＯＳセンサ、又はＣＩＤ等の複数の光電変換素子が二次元に配置された光電変換モジュールを備えている。この前方カメラ２１は、自動車１の先端に設けられおり、自動車１の前方を撮像することが可能となっている。なお、左側のカメラ２１Ｌが、立体映像を形成するための左眼用の映像を撮像し、右側のカメラ２１Ｒが右眼用の映像を撮像する。
【００１３】
なお、いわゆる平行法を採用する場合には、光軸が実質的に平行になるように２つのカメラ２０Ｌ，２０Ｒを平行に並べて配置する。一方、いわゆる交差法を採用する場合（以下単にカメラ交差法と称する。）には、カメラの光軸が相互に交差するようにカメラ２０Ｌ，２０Ｒを互いに傾けて設置する。また、それぞれのカメラにおいて撮像素子に対してレンズをずらすことで、カメラの光軸を相互に交差させる場合（以下単にレンズ交差法と称する。図８（ａ）及び図８（ｂ）参照）には、２つのカメラ２０Ｒ，２０Ｌを平行に並べて設置する。また、後述する多視点方式を採用する場合には、自動車１の先端や後端に３以上のカメラをそれぞれ設ける。
【００１４】
自動車１の後端にも、前方カメラ２１と同様の一対の後方カメラ２２Ｌ，２２Ｒ（以下単に、後方カメラ２２とも称する。）が設けられており、自動車１の後方を撮像することが可能となっている。
【００１５】
３Ｄモニタ３０は、自動車１の車室内に設けられ、運転者の左右眼に対して映像を分割して提示することが可能な裸眼型或いはメガネ型の三次元ディスプレイであり、２台のカメラ２１（又は２２）によって撮像された映像を立体映像として表示することが可能となっている。
【００１６】
裸眼型の３Ｄディスプレイの具体例としては、例えば、パララックスバリア（Parallax Barrier）方式、レンチキュラ（Lenticular）方式、ＣＬＤ（Chromatic Light Deflector）方式等を例示することができる。また、メガネ型の３Ｄディスプレイの具体例としては、例えば、液晶シャッタ方式や偏光フィルタ方式等を例示することができる。
【００１７】
なお、前方カメラ２１によって撮像された映像と、後方カメラ２２によって撮像された画像を同時に表示するために３Ｄモニタ３０を複数設けてもよいし、一つの３Ｄモニタ３０に前方及び後方の立体映像を表示してもよい。
【００１８】
ナビゲーション装置４０は、自車輌１の現在位置やナビゲーション情報に基づいて、運転者に地理的な情報等を提示する装置である。自車輌１の現在位置は、例えば、ＧＰＳ（Global Positioning System）衛星から受信した位置情報（測位データ）等の情報に基づいて特定される。一方、ナビゲーション情報は、例えば、ナビゲーション装置４０と一体化されたハードディスク装置等の記憶装置に格納されている。
【００１９】
このナビゲーション情報は、経路検索や経路案内に用いられる情報であり、主に「ノードデータ」と「道路データ」から構成されている。ナビゲーション情報において、各道路は、交差・分岐・合流等の地点に対応するノードによって分割されており、個々のノード間の接続が道路リンクとして規定される。そのため、個々のノードを介して道路リンクを接続することにより、一連の道路形状が規定される。
【００２０】
「ノードデータ」は、個々のノード毎に、ノードを識別する識別番号（ノードＩＤ）、緯度及び経度を用いた絶対位置情報、ノードに接続する道路リンクの固有番号（リンクＩＤ）等が互いに関連付けられたデータである。
【００２１】
一方、「道路データ」は、個々の道路リンク毎に、道路リンクを識別する固有番号（リンクＩＤ）、道路リンクに該当する道路の長さ、幅、勾配、路面状態、曲率半径、種別（高速道路、自動車専用道路、一般道路）等が関連付けられたデータである。
【００２２】
物体検出センサ５０は、例えば、レーザレンジファインダや超音波センサから構成されており、自動車１の先端及び後端に配置され、自動車１の前方や後方に存在する他車輌等の物体までの距離等を検出することが可能となっている。なお、ステレオカメラや、他車輌との通信等によって他車輌までの距離を検出してもよい。
【００２３】
映像制御装置６０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び入出力インタフェース等を備えたコンピュータから構成されており、本実施形態では、キャプチャ部６１と、シーン推定部６２と、奥行き度調整部６３と、変換部６４と、を備えている。なお、キャプチャ部６１、シーン推定部６２、奥行き度調整部６３、及びは、変換部６４は、映像制御装置６０がプログラムを実行することによって、それぞれの機能が実現されている。
【００２４】
キャプチャ部６１は、前方カメラ２１や後方カメラ２２によって撮像された映像を映像制御装置６０内に取り込む。
【００２５】
シーン推定部６２は、ナビゲーション装置４０、物体検出センサ５０、或いは、自動車１の挙動や運転者による自動車１の操作を検出するセンサ等からの情報に基づいて、自動車１の運転シーンを推定する。なお、自動車１の挙動や運転者による自動車１の操作を検出するセンサとしては、車速、加速度、操舵角、アクセルやブレーキの操作量、ウィンカの操作、シフトポジション等を検出するセンサを例示することができる。
【００２６】
本実施形態では、運転シーンは、道路の種別と、自動車１の走行状態と、に基づいて設定されている。道路の種別は、例えば、ナビゲーション装置４０から提供される情報に基づいて判断することができ、その具体例としては、「高速道路」や「一般道路」等を例示することができる。
【００２７】
一方、自動車１の走行状態としては、例えば、「発進」、「停止」、「直進」、「旋回」、「後退」、「合流」、「車線変更」、「追い越し」等を例示することができる。
【００２８】
シーン推定部６２による具体的な推定方法の一例を示すと、例えば、自動車１の車速が０から増加を開始したら、シーン推定部６２は、自動車１が「発進」していると推定する。一方、自動車１の減速度が大きく且つ車速が０に近づいている場合には、シーン推定部６２は、自動車１が「停止」していると推定する。
【００２９】
また、例えば、自動車１の車速が所定値以上であり、且つ、操舵角がほぼゼロである場合には、シーン推定部６２は、自動車１が「直進」していると推定する。一方、自動車１の操舵角がプラス或いはマイナスの値となったら、シーン推定部６２は、自動車１が「旋回」していると推定する。また、例えば、自動車１のシフトポジションとしてバックギアを検出すれば、シーン推定部６２は、例えば駐車等により自動車１が「後退」していると推定する。
【００３０】
さらに、「合流」については、シーン推定部６２はナビゲーション装置４０から提供される情報に基づいて判断する。また、例えば、ナビゲーション装置４０からの情報によると自動車１は複数車線を有する直線路を走行しているにも関わらず、ウィンカの操作を検出した場合には、シーン推定部６２は、自動車１が「車線変更」していると推定する。また、例えば、物体検出センサ５０等によって他車輌に対する接近を検出し且つウィンカの操作を検出した場合には、シーン推定部６２は、自動車１が「追い越し」を行っていると推定する。なお、シーン推定部６２による運転シーンの具体的な推定方法は、上記に限定されない。
【００３１】
奥行き度調整部６３は、シーン推定部６２によって推定された運転シーンに基づいて、立体映像の奥行き度を調整する。
【００３２】
ところで、人間は、左眼用と右眼用の２つの映像を融像することで一つの立体映像として認識するが、当該映像における視差が許容範囲を超えている部分については、人間は２つの映像を融像することができず、その部分から詳細な情報を入手することができない。
【００３３】
例えば、図２に示す例では、物体１００を２つのカメラ２０Ｌ，２０Ｒで撮像した場合、左眼用カメラ２０Ｌでは、レンズ２０２Ｌを透過した物体１００の像は、撮像素子２０１Ｌにおいて中心から左側に距離ｐ１だけ離れた位置に結像される。これに対し、右眼用カメラ２０Ｒでは、レンズ２０２Ｒを透過した物体１００の像は、撮像素子２０１Ｒにおいて中心から右側に距離ｐ２だけ離れた位置に結像される。この際の視差は、下記の（１）式で算出されるΔｐを、３Ｄモニタ３０上でのピクセル数に換算することで算出される。
【００３４】
Δｐ＝ｐ１−ｐ２ …（１）
【００３５】
この視差が許容範囲内である場合には、人間は２つのカメラ２０Ｌ，２０Ｒによって撮像された２つの映像を融像することができる。これに対し、視差が許容範囲外である場合には、人間は２つの映像を融像することができず、２つの映像は複視されてしまう。
【００３６】
そこで、本実施形態では、図３に示すように、立体映像における飛び出し側の視差（いわゆる負の視差）が最大許容値となる近傍面ＮＰと、引っ込み側の視差（いわゆる正の視差）が最大許容値となる遠方面ＦＰと、を運転シーンに応じて変更することで、立体映像の奥行き度を最適に調節する。この視差の最大許容値は、運転者と３Ｄモニタ３０との位置関係（特に視距離）や、３Ｄモニタ３０の画面サイズ等に基づいて予め設定されている。
【００３７】
なお、視差が所定値（例えば、人間の両眼の間隔（瞳孔間隔（IPD）、一般的に６０〜６５［mm］程度）の所定倍）よりも大きくなると、実際の物体のサイズと、立体映像における当該物体のサイズとの間に違和感が生じる場合があるため、上記の視差の最大許容値の設定の際にはこの違和感も考慮することが好ましい。
【００３８】
図３に示す例の場合には、図４に示すように、近傍面ＮＰよりも手前に位置する物体１０１や、遠方面ＦＰよりも奥に位置する物体１０６，１０７は、視野が大き過ぎて融像することができない。これに対し、近傍面ＮＰと遠方面ＦＰとの間に位置する物体１０２〜１０５は、視差が許容範囲内であるので融像することができる。なお、図３及び図４における符号ＳＰは、視差が実質的にゼロとなるスクリーン面ＳＰ（Screen Plane又はFocal Plane）である。
【００３９】
本実施形態では、奥行き度調整部６３は、シーン推定部６２から運転シーンを受信すると、当該運転シーンに対応した提示範囲ＰＷを下記の表１及び表２から読み込み、当該提示範囲ＰＷが近傍面ＮＰと遠方面ＦＰとの間に包含されるように近傍面ＮＰと遠方面ＦＰを設定する。具体的には、奥行き度調整部６３は、提示範囲ＰＷにおける最近値に近傍面ＮＰを設定すると共に、当該提示範囲ＰＷにおける最遠値に遠方面ＦＰを設定する。これにより、スクリーン面ＳＰは、提示範囲ＰＷのほぼ中央に設定される。下記の表１及び２における提示範囲ＰＷは、自車輌１からの距離を示しており、下記の表１は、自動車１の前方側の提示範囲ＰＷを示し、下記の表２は、自動車の後方側の提示範囲ＰＷを示している。なお、表１及び表２における運転シーンやその提示範囲の具体的な数値は一例に過ぎない。
【００４０】
【表１】
【００４１】
【表２】
【００４２】
例えば、運転シーンとして「一般道路／高速道路−発進」（シーンＮｏ．１）が推定された場合には、奥行き度調整部６３は、表１及び表２に基づいて、図５（ａ）に示すように、自車輌１の前方及び後方のいずれの立体映像についても、近傍面ＮＰを１０［ｍ］に設定すると共に、遠方面ＦＰを５０［ｍ］に設定する。
【００４３】
一方、例えば、運転シーンとして「高速道路−直進」（シーンＮｏ．５）が推定された場合には、奥行き度調整部６３は、表１に基づいて、図５（ｂ）に示すように、自車輌１の前方の立体映像について、近傍面ＮＰを５０［ｍ］に設定すると共に、遠方面ＦＰを１５０［ｍ］に設定する。なお、この場合には、車輌後方の立体映像は３Ｄモニタ３０に表示されない。
【００４４】
また、例えば、運転シーンとして「高速道路−合流」（シーンＮｏ．８）が推定された場合には、奥行き度調整部６３は、表２に基づいて、図５（ｃ）に示すように、自車輌１の後方の立体映像について、近傍面ＮＰを１００［ｍ］に設定すると共に、遠方面ＦＰを２００［ｍ］に設定する。なお、この場合には、車輌前方の立体映像は３Ｄモニタ３０に表示されない。
【００４５】
すなわち、本実施形態では、運転者が運転シーンにおいて注目すべき範囲を融像することが可能となるように、近傍面ＮＰと遠方面ＦＰとで規定される提示範囲ＰＷを運転シーンに応じてシフトさせる。なお、いわゆる平行法を採用している場合には、後述の図６の手法によってクロスポイントが移動しない限り、スクリーン面ＳＰが無限遠点となるため、近傍面ＮＰのみを設定すればよい。
【００４６】
ここで、近傍面ＮＰと遠方面ＦＰとで規定される提示範囲ＰＷをシフトさせる具体的な手法としては、図６〜図１０に示すものを例示することができる。図６〜図１０は本実施形態における立体映像の奥行き度の調整方法の具体例を示す図である。
【００４７】
例えば、図６に示す例では、左眼映像１５０Ｌと右眼用の映像１５０Ｒを部分的に表示することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整する。
【００４８】
具体的には、同図に示すように、左眼用の映像１５０Ｌの左側の一部１５１Ｌを削除すると共に、右眼用の映像１５０Ｒの右側一部１５１Ｒを削除することで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、左眼用の映像の右側の一部を削除すると共に、右眼用の映像の左側の一部を削除することで、提示範囲ＰＷを自車輌１に近づけることができる。
【００４９】
こうした画像処理は、映像制御装置６０が所定のプログラムを実行することで遂行することができるので、車輌用映像表示装置１の低コスト化を図ることができる。なお、この手法は、平行法、カメラ交差法、及びレンズ交差法のいずれにも採用することができる。
【００５０】
一方、図７に示す例では、カメラ２０Ｌ，２０Ｒの間隔を変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整する。
【００５１】
具体的には、同図に示すように、２つのカメラ２０Ｌ，２０Ｒの間隔を広げることで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、２つのカメラ２０Ｌ，２０Ｒの間隔を狭めることで、提示範囲ＰＷを自車輌１に近づけることができる。なお、カメラ２０Ｌ，２０Ｒの間隔を変更する具体的な手段としては、例えば、モータにより駆動するボールネジ機構等を例示することができる。
【００５２】
この場合には、カメラ２０Ｌ，２０Ｒの撮像素子の画素数を維持することができるため、運転者に対して繊細な立体映像を呈示することができる。なお、この手法も、平行法、カメラ交差法、及びレンズ交差法のいずれにも採用することができる。
【００５３】
また、図８（ａ）及び図８（ｂ）に示すように、上述のレンズ交差法を採用している場合には、カメラ２０Ｌ，２０Ｒのレンズ２０２Ｌ，２０２Ｒの間隔を変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。
【００５４】
具体的には、同図に示すように、２つのレンズ２０２Ｌ，２０２Ｒの間隔を広げることで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、２つのレンズ２０２Ｌ，２０２Ｒの間隔を狭めることで、提示範囲ＰＷを自車輌１に近づけることができる。
【００５５】
なお、レンズ２０２Ｌ，２０２Ｒの間隔を変更する具体的な手段としては、例えば、モータにより駆動するボールネジ機構等を例示することができる。また、レンズ２０２Ｌ，２０２Ｒに対して撮像素子２０１Ｌ，２０１Ｒを相対移動させることで、提示範囲ＰＷを変更してもよい。
【００５６】
図８に示す例の場合には、レンズ２０２Ｌ，２０２Ｒの間隔を連続的に変更することができるので、運転者に違和感を与えることなく立体映像の奥行き度を調整することができる。
【００５７】
また、３つ以上（図９に示す例では８つ）のカメラ２０Ａ〜２０Ｈを用いた多視点（マルチビュー又はインテグラルイメージング）方式を採用している場合には、左眼用のカメラと右眼用のカメラの組合せを切り替えることで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。
【００５８】
例えば、図９に示すように、中央の２つのカメラ２０Ｄ，２０Ｅを使用している場合、左眼用のカメラをカメラ２０Ｄからその左隣のカメラ２０Ｃに切り替えると共に、右眼用のカメラをカメラ２０Ｅからその右隣のカメラ２０Ｆに切り替えることで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、外側のカメラから内側のカメラに切り替えるほど、提示範囲ＰＷを自車輌１に近づけることができる。
【００５９】
この場合には、左眼用映像と右眼映像における視差を制御するための機械的な可動部が存在しないため、立体映像の奥行き度を高速に調整することができる。なお、この多視点方式は、平行法、カメラ交差法、及びレンズ交差法のいずれの場合でも採用することができる。
【００６０】
また、図１０に示すように、上述のカメラ交差法を採用している場合には、当該カメラ２０Ｌ、２０Ｒの傾きを変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。
【００６１】
具体的には、同図に示すように、２つのカメラ２０Ｌ，２０Ｒの傾きを緩くすることで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、カメラ２０Ｌ，２０Ｒの傾きを強くすることで、提示範囲ＰＷを自車輌１に近づけることができる。
【００６２】
以上のように、本実施形態では、運転シーンに応じて奥行き度が最適化された立体映像が表示されるので、運転者は運転シーンにおいて重要な範囲を視認することが可能となり、立体映像による状況認識性能の向上を図ることができる。
【００６３】
なお、図１１（ａ）及び図１１（ｂ）に示すように、運転シーンと自動車１の車速とに応じて、提示範囲ＰＷを設定してもよい。図１１（ａ）は、運転シーンとして「高速道路−直進」（シーンＮｏ．５）が推定された場合の提示範囲ＰＷと車速との関係を示すグラフであり、図１１（ｂ）は、運転シーンとして「一般道路／高速道路−発進」（シーンＮｏ．１）が推定された場合の提示範囲ＰＷと車速の関係を示すグラフである。
【００６４】
奥行き度調整部６３は、図１１（ａ）や図１１（ｂ）に示すようなマップを運転シーンに応じて参照して、車速センサ７０（図１参照）から得られた車速に応じて、提示範囲ＰＷを補正する。具体的には、図１１（ａ）や図１１（ｂ）に示すようなマップに対応した運転シーンの場合には、奥行き度調整部６３は、車速が高くなるに従って提示範囲ＰＷを自車輌１から遠ざけるように補正する。このように、運転シーンと自車輌１の車速に基づいて立体映像の奥行き度を調整することで、立体映像の奥行き度が一層最適化されるので、立体映像による状況認識性能がさらに向上する。
【００６５】
なお、特に図示しないが、上記の表１及び表２に示す全ての運転シーンに対して、図１１（ａ）や図１１（ｂ）に示すようなグラフを設定してもよいし、一部の運転シーンについては車速に対して提示範囲ＰＷを固定してもよい。
【００６６】
また、図１２に示すように、自車輌１の周囲に存在する複数の他車輌の平均距離に応じて、提示範囲ＰＷを変化させてもよい。図１２は、他車輌の平均距離に基づいて提示範囲を補正したグラフである。
【００６７】
この自車輌１の周囲に存在する複数の他車輌の平均距離Ｄは、下記の（２）〜（４）式によって算出され、図１２に示すように、現在の車速（図１２に示す例では１００［ｋｍ／ｈ］）におけるスクリーン面ＳＰが平均距離Ｄとなるように、その車速付近における提示範囲ＰＷを補正する。
【００６８】
Ｄ＝Σ（ｄｎ×ｗｎ／Ｗ） …（２）
ｗｎ＝Δｖｎ×１／Δｓｎ …（３）
Ｗ＝Σｗｎ …（４）
【００６９】
但し、上記の（２）〜（４）式において、ｄｎは、自車輌から個々の他車輌までの距離であり、Δｖｎは、自車輌に対する個々の他車輌の相対速度であり、Δｓｎは、自車輌に対する個々の他車輌の横変位である。なお、ｄｎ，Δｖｎ，Δｓｎは、物体検出センサ５０や車速センサ等の検出信号に基づいて算出される。
【００７０】
具体的に図１３に示す合流シーンを例にとって平均距離Ｄの算出方法について説明する。図１３は自車輌が本線に合流する例における車輌間の位置関係を示す図である。
【００７１】
図１３に示す例では、自車輌１が速度ｖ０で走行している車線１２１の隣の車線１２２を他車輌１１１が速度ｖ１で走行し、さらにその隣の車線１２３を別の他車輌１１２が速度ｖ２で走行している。このような例では、複数の他車輌１１１，１１２の平均距離は、下記の（５）〜（１０）によって算出される。
【００７２】
Δｖ１＝ｖ１−ｖ０ …（５）式
Δｖ２＝ｖ２−ｖ０ …（６）式
ｗ１＝Δｖ１×１／ｓ１ …（７）式
ｗ２＝Δｖ２×１／ｓ２ …（８）式
Ｗ＝ｗ１＋ｗ２ …（９）式
Ｄ＝ｄ１×ｗ１／Ｗ＋ｄ２×ｗ２／Ｗ …（１０）式
【００７３】
但し、上記の（５）〜（１０）式において、ｓ１は自車輌１に対する他車輌１１１のＸ方向の距離（横変位）であり、ｓ２は自車輌１に対する他車輌１１２のＸ方向の距離（横変位）であり、ｄ１は自車輌１に対する他車輌１１１のＹ方向の距離であり、ｄ２は自車輌１に対する他車輌１１２のＹ方向の距離である。
【００７４】
このように、自車輌１に対する他車輌１１１，１１２の距離に基づいて、立体映像の奥行き度を補正することで、運転者に対して注意すべき物体を強調することができ、立体映像による状況認識性能がさらに向上する。なお、こうした物体強調は、運転シーンの切替直後に実行することが好ましい。
【００７５】
なお、運転者が注目したい車輌を複数の他車輌１１３，１１４の中から選択可能としてもよい。図１４は車輌後方を表示する立体映像において注目したい他車輌を選択する画面の例を示す図である。この場合には、図１４に示すように、例えば、ステアリングホイールやリモコン等に設けられた選択スイッチ８０（図１参照）を操作して、３Ｄモニタ３０上でウィンドウ枠１４１を移動させて注目したい他車輌１１３を囲むことで、当該他車輌１１３を選択する。そして、奥行き度調整部６３は、特に図示しないが、現在の車速におけるスクリーン面ＳＰが、選択された他車輌１１３の距離となるように、提示範囲ＰＷを補正する。なお、注目したい他車輌の選択方法は特に上記に限定されない。
【００７６】
このように、運転者が選択した物体１１３の自車輌１に対する距離に基づいて、立体映像の奥行き度を補正することで、複数の物体の中でも特に注意が必要な物体に対する状況認識性能を高めることができる。
【００７７】
奥行き度調整部６３によって運転シーンに応じて奥行き度が調整された立体映像は、変換部６４によって３Ｄモニタ３０に適合した信号パターンに変換された後に３Ｄモニタ３０に出力され、３Ｄモニタ３０はその立体映像を運転者に対して表示する。
【００７８】
例えば、３Ｄモニタが２視点のパララックスバリア方式である場合には、変換部６４は、左眼用映像と右眼用映像が垂直１ライン毎に交互に出力されるような信号パターンに変換する。
【００７９】
この際、本実施形態では、奥行き度調整部６３によって立体映像の奥行き度が運転シーンに応じて最適化されている。例えば、高速道路において直進走行している場合には近傍領域よりも遠方領域の情報が重要であるが、本実施形態では、図１５（ａ）に示すように、遠方に存在する他車輌１１５，１１６や案内標識１３１が融像可能であり、これらから正確に情報を入手することができる。
【００８０】
これに対し、奥行き度調整部６３によって立体映像の奥行き度を調整しない場合には、図１５（ｂ）に示すように、自車輌から近傍領域は融像することができるが、遠方領域については融像することができず複視されてしまい、高速道路の直進走行に重要な情報が十分に入手できない場合がある。
【００８１】
なお、図１５（ａ）は本実施形態において立体映像の奥行き度を運転シーンに応じて調整した画像の例を示す図、図１５（ｂ）は立体映像の奥行き度を調整せずに表示した画像の例を示す図である。
【００８２】
以上のように、本実施形態では、３Ｄモニタ３０に表示される立体映像の奥行き度を、奥行き度調整部６３によって運転シーンに基づいて調整する。これにより、運転シーンに応じて奥行き度が最適化された立体映像を運転者に対して表示することが可能となるので、立体映像による状況認識性能を向上させることができる。
【００８３】
また、本実施形態では、「一般道路」や「高速道路」を含む道路種別と、「発進」、「停止」、「直進」、「旋回」、「後退」、「合流」、「車線変更」、及び「追い越し」を含む走行状態と、に基づいて運転シーンを設定している。このため、それぞれのシーンで重要な提示範囲ＰＷを設定することができ、立体映像による状況認識性能を向上させることができる。
【００８４】
本実施形態におけるカメラ２１，２２が本発明における撮像手段の一例に相当し、本実施形態における３Ｄモニタ３０が本発明における立体映像表示手段の一例に相当し、本実施形態におけるシーン推定部６２が本発明におけるシーン推定手段の一例に相当し、本実施形態における奥行き度調整部６３が本発明における奥行き度調整手段の一例に相当し、本実施形態における物体検出センサ５０が本発明における物体検出手段の一例に相当し、本実施形態における選択スイッチ８０が本発明における物体選択手段の一例に相当し、本実施形態におけるレンズ２０２Ｌ，２０２Ｒが本発明における集光手段の一例に相当する。
【００８５】
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【００８６】
１…自動車（自車輌）
１０…車輌用映像表示装置
２１Ｌ，２１Ｒ，２２Ｌ，２２Ｒ…カメラ
３０…３Ｄモニタ
４０…ナビゲーション装置
５０…物体検出センサ
６０…映像制御装置
６１…キャプチャ部
６２…シーン推定部
６３…奥行き度変換部
６４…変換部
７０…車速センサ
８０…選択スイッチ
ＮＰ…近傍面
ＳＰ…スクリーン面
ＦＰ…遠方面
ＰＷ…提示範囲
【技術分野】
【０００１】
本発明は、車輌周囲の映像を立体映像として運転者に表示する車輌用映像表示装置に関するものである。
【背景技術】
【０００２】
自動車の後方或いは側方に設けられた２台のカメラによって撮像した画像を、車室内に設けられた液晶表示画面に立体映像として表示する技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００４／０８４５５９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
運転者は運転シーンに応じて注目すべき対象を自然に変えているが、立体映像の中には視差が大き過ぎて融像できない部分も含まれている。上記の技術では、モニタと運転者との位置関係に立体映像の奥行き度を対応させているだけなので、運転シーンによっては注目すべき物体を立体映像から視認できない場合があり、十分な状況認識性能を確保できないおそれがあるという問題がある。
【０００５】
本発明が解決しようとする課題は、立体映像による状況認識性能の向上を図ることが可能な車輌用映像表示装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、立体映像表示手段に表示する立体映像の奥行き度を、車輌の運転シーンに基づいて調整することによって上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、運転シーンに応じて奥行き度が最適化された立体映像を運転者に対して表示することが可能となるので、立体映像による状況認識性能の向上を図ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の実施形態における車輌用映像表示装置の全体構成を示すブロック図である。
【図２】図２は、左眼用と右眼用の２つの映像間の視差を説明するための図である。
【図３】図３は、立体映像におけるカメラ、近傍面、スクリーン面、及び遠方面の関係を示す斜視図である。
【図４】図４は、図３の立体映像を示す図である。
【図５】図５（ａ）〜図５（ｃ）は、それぞれの運転シーンにおける最適な提示範囲の例を示す側面図である。
【図６】図６は、本発明の実施形態における立体映像の奥行き度の調整手法の第１の例を示す図である。
【図７】図７は、本発明の実施形態における立体映像の奥行き度の調整手法の第２の例を示す図である。
【図８】図８（ａ）及び図８（ｂ）は、本発明の実施形態における立体映像の奥行き度の調整手法の第３の例を示す図である。
【図９】図９は、本発明の実施形態における立体映像の奥行き度の調整手法の第４の例を示す図である。
【図１０】図１０は、本発明の実施形態における立体映像の奥行き度の調整手法の第５の例を示す図である。
【図１１】図１１（ａ）及び図１１（ｂ）は、本発明の実施形態における提示範囲と車速の関係をグラフの一例である。
【図１２】図１２は、本発明の実施形態において、他車輌の平均距離に基づいて提示範囲を補正したグラフの一例である。
【図１３】図１３は、自車輌が本線に合流する例における車輌間の位置関係を示す平面図である。
【図１４】図１４は、車輌後方を表示する立体映像において注目したい他車輌を選択する画面の例を示す図である。
【図１５】図１５（ａ）は、本発明に実施形態において立体映像の奥行き度を運転シーンに応じて最適化した画像の例を示す図であり、図１５（ｂ）は、立体映像の奥行き度を調整せずに表示した画像の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
図１は本実施形態における車輌用映像表示装置の構成を示すブロック図、図２は２つの映像間の視差を説明するための図、図３は立体映像におけるカメラ、近傍面、スクリーン面、及び遠方面の関係を示す斜視図、図４は図３の例における立体映像を示す図、図５（ａ）〜図５（ｃ）はそれぞれの運転シーンにおける最適な提示範囲の例を示す側面図である。
【００１１】
本実施形態における車輌用映像表示装置１は、自動車１の前方又は後方の映像を立体映像として運転者に表示する装置であり、図１に示すように、２組のカメラ２１Ｌ／Ｒ，２２Ｌ／Ｒと、３Ｄモニタ３０と、ナビゲーション装置４０と、物体検出センサ５０と、映像制御部６０と、を備えている。
【００１２】
一対の前方カメラ２１Ｌ，２１Ｒ（以下単に、前方カメラ２１とも称する。）は、ＣＣＤイメージセンサ、ＭＯＳセンサ、又はＣＩＤ等の複数の光電変換素子が二次元に配置された光電変換モジュールを備えている。この前方カメラ２１は、自動車１の先端に設けられおり、自動車１の前方を撮像することが可能となっている。なお、左側のカメラ２１Ｌが、立体映像を形成するための左眼用の映像を撮像し、右側のカメラ２１Ｒが右眼用の映像を撮像する。
【００１３】
なお、いわゆる平行法を採用する場合には、光軸が実質的に平行になるように２つのカメラ２０Ｌ，２０Ｒを平行に並べて配置する。一方、いわゆる交差法を採用する場合（以下単にカメラ交差法と称する。）には、カメラの光軸が相互に交差するようにカメラ２０Ｌ，２０Ｒを互いに傾けて設置する。また、それぞれのカメラにおいて撮像素子に対してレンズをずらすことで、カメラの光軸を相互に交差させる場合（以下単にレンズ交差法と称する。図８（ａ）及び図８（ｂ）参照）には、２つのカメラ２０Ｒ，２０Ｌを平行に並べて設置する。また、後述する多視点方式を採用する場合には、自動車１の先端や後端に３以上のカメラをそれぞれ設ける。
【００１４】
自動車１の後端にも、前方カメラ２１と同様の一対の後方カメラ２２Ｌ，２２Ｒ（以下単に、後方カメラ２２とも称する。）が設けられており、自動車１の後方を撮像することが可能となっている。
【００１５】
３Ｄモニタ３０は、自動車１の車室内に設けられ、運転者の左右眼に対して映像を分割して提示することが可能な裸眼型或いはメガネ型の三次元ディスプレイであり、２台のカメラ２１（又は２２）によって撮像された映像を立体映像として表示することが可能となっている。
【００１６】
裸眼型の３Ｄディスプレイの具体例としては、例えば、パララックスバリア（Parallax Barrier）方式、レンチキュラ（Lenticular）方式、ＣＬＤ（Chromatic Light Deflector）方式等を例示することができる。また、メガネ型の３Ｄディスプレイの具体例としては、例えば、液晶シャッタ方式や偏光フィルタ方式等を例示することができる。
【００１７】
なお、前方カメラ２１によって撮像された映像と、後方カメラ２２によって撮像された画像を同時に表示するために３Ｄモニタ３０を複数設けてもよいし、一つの３Ｄモニタ３０に前方及び後方の立体映像を表示してもよい。
【００１８】
ナビゲーション装置４０は、自車輌１の現在位置やナビゲーション情報に基づいて、運転者に地理的な情報等を提示する装置である。自車輌１の現在位置は、例えば、ＧＰＳ（Global Positioning System）衛星から受信した位置情報（測位データ）等の情報に基づいて特定される。一方、ナビゲーション情報は、例えば、ナビゲーション装置４０と一体化されたハードディスク装置等の記憶装置に格納されている。
【００１９】
このナビゲーション情報は、経路検索や経路案内に用いられる情報であり、主に「ノードデータ」と「道路データ」から構成されている。ナビゲーション情報において、各道路は、交差・分岐・合流等の地点に対応するノードによって分割されており、個々のノード間の接続が道路リンクとして規定される。そのため、個々のノードを介して道路リンクを接続することにより、一連の道路形状が規定される。
【００２０】
「ノードデータ」は、個々のノード毎に、ノードを識別する識別番号（ノードＩＤ）、緯度及び経度を用いた絶対位置情報、ノードに接続する道路リンクの固有番号（リンクＩＤ）等が互いに関連付けられたデータである。
【００２１】
一方、「道路データ」は、個々の道路リンク毎に、道路リンクを識別する固有番号（リンクＩＤ）、道路リンクに該当する道路の長さ、幅、勾配、路面状態、曲率半径、種別（高速道路、自動車専用道路、一般道路）等が関連付けられたデータである。
【００２２】
物体検出センサ５０は、例えば、レーザレンジファインダや超音波センサから構成されており、自動車１の先端及び後端に配置され、自動車１の前方や後方に存在する他車輌等の物体までの距離等を検出することが可能となっている。なお、ステレオカメラや、他車輌との通信等によって他車輌までの距離を検出してもよい。
【００２３】
映像制御装置６０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び入出力インタフェース等を備えたコンピュータから構成されており、本実施形態では、キャプチャ部６１と、シーン推定部６２と、奥行き度調整部６３と、変換部６４と、を備えている。なお、キャプチャ部６１、シーン推定部６２、奥行き度調整部６３、及びは、変換部６４は、映像制御装置６０がプログラムを実行することによって、それぞれの機能が実現されている。
【００２４】
キャプチャ部６１は、前方カメラ２１や後方カメラ２２によって撮像された映像を映像制御装置６０内に取り込む。
【００２５】
シーン推定部６２は、ナビゲーション装置４０、物体検出センサ５０、或いは、自動車１の挙動や運転者による自動車１の操作を検出するセンサ等からの情報に基づいて、自動車１の運転シーンを推定する。なお、自動車１の挙動や運転者による自動車１の操作を検出するセンサとしては、車速、加速度、操舵角、アクセルやブレーキの操作量、ウィンカの操作、シフトポジション等を検出するセンサを例示することができる。
【００２６】
本実施形態では、運転シーンは、道路の種別と、自動車１の走行状態と、に基づいて設定されている。道路の種別は、例えば、ナビゲーション装置４０から提供される情報に基づいて判断することができ、その具体例としては、「高速道路」や「一般道路」等を例示することができる。
【００２７】
一方、自動車１の走行状態としては、例えば、「発進」、「停止」、「直進」、「旋回」、「後退」、「合流」、「車線変更」、「追い越し」等を例示することができる。
【００２８】
シーン推定部６２による具体的な推定方法の一例を示すと、例えば、自動車１の車速が０から増加を開始したら、シーン推定部６２は、自動車１が「発進」していると推定する。一方、自動車１の減速度が大きく且つ車速が０に近づいている場合には、シーン推定部６２は、自動車１が「停止」していると推定する。
【００２９】
また、例えば、自動車１の車速が所定値以上であり、且つ、操舵角がほぼゼロである場合には、シーン推定部６２は、自動車１が「直進」していると推定する。一方、自動車１の操舵角がプラス或いはマイナスの値となったら、シーン推定部６２は、自動車１が「旋回」していると推定する。また、例えば、自動車１のシフトポジションとしてバックギアを検出すれば、シーン推定部６２は、例えば駐車等により自動車１が「後退」していると推定する。
【００３０】
さらに、「合流」については、シーン推定部６２はナビゲーション装置４０から提供される情報に基づいて判断する。また、例えば、ナビゲーション装置４０からの情報によると自動車１は複数車線を有する直線路を走行しているにも関わらず、ウィンカの操作を検出した場合には、シーン推定部６２は、自動車１が「車線変更」していると推定する。また、例えば、物体検出センサ５０等によって他車輌に対する接近を検出し且つウィンカの操作を検出した場合には、シーン推定部６２は、自動車１が「追い越し」を行っていると推定する。なお、シーン推定部６２による運転シーンの具体的な推定方法は、上記に限定されない。
【００３１】
奥行き度調整部６３は、シーン推定部６２によって推定された運転シーンに基づいて、立体映像の奥行き度を調整する。
【００３２】
ところで、人間は、左眼用と右眼用の２つの映像を融像することで一つの立体映像として認識するが、当該映像における視差が許容範囲を超えている部分については、人間は２つの映像を融像することができず、その部分から詳細な情報を入手することができない。
【００３３】
例えば、図２に示す例では、物体１００を２つのカメラ２０Ｌ，２０Ｒで撮像した場合、左眼用カメラ２０Ｌでは、レンズ２０２Ｌを透過した物体１００の像は、撮像素子２０１Ｌにおいて中心から左側に距離ｐ１だけ離れた位置に結像される。これに対し、右眼用カメラ２０Ｒでは、レンズ２０２Ｒを透過した物体１００の像は、撮像素子２０１Ｒにおいて中心から右側に距離ｐ２だけ離れた位置に結像される。この際の視差は、下記の（１）式で算出されるΔｐを、３Ｄモニタ３０上でのピクセル数に換算することで算出される。
【００３４】
Δｐ＝ｐ１−ｐ２ …（１）
【００３５】
この視差が許容範囲内である場合には、人間は２つのカメラ２０Ｌ，２０Ｒによって撮像された２つの映像を融像することができる。これに対し、視差が許容範囲外である場合には、人間は２つの映像を融像することができず、２つの映像は複視されてしまう。
【００３６】
そこで、本実施形態では、図３に示すように、立体映像における飛び出し側の視差（いわゆる負の視差）が最大許容値となる近傍面ＮＰと、引っ込み側の視差（いわゆる正の視差）が最大許容値となる遠方面ＦＰと、を運転シーンに応じて変更することで、立体映像の奥行き度を最適に調節する。この視差の最大許容値は、運転者と３Ｄモニタ３０との位置関係（特に視距離）や、３Ｄモニタ３０の画面サイズ等に基づいて予め設定されている。
【００３７】
なお、視差が所定値（例えば、人間の両眼の間隔（瞳孔間隔（IPD）、一般的に６０〜６５［mm］程度）の所定倍）よりも大きくなると、実際の物体のサイズと、立体映像における当該物体のサイズとの間に違和感が生じる場合があるため、上記の視差の最大許容値の設定の際にはこの違和感も考慮することが好ましい。
【００３８】
図３に示す例の場合には、図４に示すように、近傍面ＮＰよりも手前に位置する物体１０１や、遠方面ＦＰよりも奥に位置する物体１０６，１０７は、視野が大き過ぎて融像することができない。これに対し、近傍面ＮＰと遠方面ＦＰとの間に位置する物体１０２〜１０５は、視差が許容範囲内であるので融像することができる。なお、図３及び図４における符号ＳＰは、視差が実質的にゼロとなるスクリーン面ＳＰ（Screen Plane又はFocal Plane）である。
【００３９】
本実施形態では、奥行き度調整部６３は、シーン推定部６２から運転シーンを受信すると、当該運転シーンに対応した提示範囲ＰＷを下記の表１及び表２から読み込み、当該提示範囲ＰＷが近傍面ＮＰと遠方面ＦＰとの間に包含されるように近傍面ＮＰと遠方面ＦＰを設定する。具体的には、奥行き度調整部６３は、提示範囲ＰＷにおける最近値に近傍面ＮＰを設定すると共に、当該提示範囲ＰＷにおける最遠値に遠方面ＦＰを設定する。これにより、スクリーン面ＳＰは、提示範囲ＰＷのほぼ中央に設定される。下記の表１及び２における提示範囲ＰＷは、自車輌１からの距離を示しており、下記の表１は、自動車１の前方側の提示範囲ＰＷを示し、下記の表２は、自動車の後方側の提示範囲ＰＷを示している。なお、表１及び表２における運転シーンやその提示範囲の具体的な数値は一例に過ぎない。
【００４０】
【表１】
【００４１】
【表２】
【００４２】
例えば、運転シーンとして「一般道路／高速道路−発進」（シーンＮｏ．１）が推定された場合には、奥行き度調整部６３は、表１及び表２に基づいて、図５（ａ）に示すように、自車輌１の前方及び後方のいずれの立体映像についても、近傍面ＮＰを１０［ｍ］に設定すると共に、遠方面ＦＰを５０［ｍ］に設定する。
【００４３】
一方、例えば、運転シーンとして「高速道路−直進」（シーンＮｏ．５）が推定された場合には、奥行き度調整部６３は、表１に基づいて、図５（ｂ）に示すように、自車輌１の前方の立体映像について、近傍面ＮＰを５０［ｍ］に設定すると共に、遠方面ＦＰを１５０［ｍ］に設定する。なお、この場合には、車輌後方の立体映像は３Ｄモニタ３０に表示されない。
【００４４】
また、例えば、運転シーンとして「高速道路−合流」（シーンＮｏ．８）が推定された場合には、奥行き度調整部６３は、表２に基づいて、図５（ｃ）に示すように、自車輌１の後方の立体映像について、近傍面ＮＰを１００［ｍ］に設定すると共に、遠方面ＦＰを２００［ｍ］に設定する。なお、この場合には、車輌前方の立体映像は３Ｄモニタ３０に表示されない。
【００４５】
すなわち、本実施形態では、運転者が運転シーンにおいて注目すべき範囲を融像することが可能となるように、近傍面ＮＰと遠方面ＦＰとで規定される提示範囲ＰＷを運転シーンに応じてシフトさせる。なお、いわゆる平行法を採用している場合には、後述の図６の手法によってクロスポイントが移動しない限り、スクリーン面ＳＰが無限遠点となるため、近傍面ＮＰのみを設定すればよい。
【００４６】
ここで、近傍面ＮＰと遠方面ＦＰとで規定される提示範囲ＰＷをシフトさせる具体的な手法としては、図６〜図１０に示すものを例示することができる。図６〜図１０は本実施形態における立体映像の奥行き度の調整方法の具体例を示す図である。
【００４７】
例えば、図６に示す例では、左眼映像１５０Ｌと右眼用の映像１５０Ｒを部分的に表示することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整する。
【００４８】
具体的には、同図に示すように、左眼用の映像１５０Ｌの左側の一部１５１Ｌを削除すると共に、右眼用の映像１５０Ｒの右側一部１５１Ｒを削除することで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、左眼用の映像の右側の一部を削除すると共に、右眼用の映像の左側の一部を削除することで、提示範囲ＰＷを自車輌１に近づけることができる。
【００４９】
こうした画像処理は、映像制御装置６０が所定のプログラムを実行することで遂行することができるので、車輌用映像表示装置１の低コスト化を図ることができる。なお、この手法は、平行法、カメラ交差法、及びレンズ交差法のいずれにも採用することができる。
【００５０】
一方、図７に示す例では、カメラ２０Ｌ，２０Ｒの間隔を変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整する。
【００５１】
具体的には、同図に示すように、２つのカメラ２０Ｌ，２０Ｒの間隔を広げることで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、２つのカメラ２０Ｌ，２０Ｒの間隔を狭めることで、提示範囲ＰＷを自車輌１に近づけることができる。なお、カメラ２０Ｌ，２０Ｒの間隔を変更する具体的な手段としては、例えば、モータにより駆動するボールネジ機構等を例示することができる。
【００５２】
この場合には、カメラ２０Ｌ，２０Ｒの撮像素子の画素数を維持することができるため、運転者に対して繊細な立体映像を呈示することができる。なお、この手法も、平行法、カメラ交差法、及びレンズ交差法のいずれにも採用することができる。
【００５３】
また、図８（ａ）及び図８（ｂ）に示すように、上述のレンズ交差法を採用している場合には、カメラ２０Ｌ，２０Ｒのレンズ２０２Ｌ，２０２Ｒの間隔を変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。
【００５４】
具体的には、同図に示すように、２つのレンズ２０２Ｌ，２０２Ｒの間隔を広げることで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、２つのレンズ２０２Ｌ，２０２Ｒの間隔を狭めることで、提示範囲ＰＷを自車輌１に近づけることができる。
【００５５】
なお、レンズ２０２Ｌ，２０２Ｒの間隔を変更する具体的な手段としては、例えば、モータにより駆動するボールネジ機構等を例示することができる。また、レンズ２０２Ｌ，２０２Ｒに対して撮像素子２０１Ｌ，２０１Ｒを相対移動させることで、提示範囲ＰＷを変更してもよい。
【００５６】
図８に示す例の場合には、レンズ２０２Ｌ，２０２Ｒの間隔を連続的に変更することができるので、運転者に違和感を与えることなく立体映像の奥行き度を調整することができる。
【００５７】
また、３つ以上（図９に示す例では８つ）のカメラ２０Ａ〜２０Ｈを用いた多視点（マルチビュー又はインテグラルイメージング）方式を採用している場合には、左眼用のカメラと右眼用のカメラの組合せを切り替えることで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。
【００５８】
例えば、図９に示すように、中央の２つのカメラ２０Ｄ，２０Ｅを使用している場合、左眼用のカメラをカメラ２０Ｄからその左隣のカメラ２０Ｃに切り替えると共に、右眼用のカメラをカメラ２０Ｅからその右隣のカメラ２０Ｆに切り替えることで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、外側のカメラから内側のカメラに切り替えるほど、提示範囲ＰＷを自車輌１に近づけることができる。
【００５９】
この場合には、左眼用映像と右眼映像における視差を制御するための機械的な可動部が存在しないため、立体映像の奥行き度を高速に調整することができる。なお、この多視点方式は、平行法、カメラ交差法、及びレンズ交差法のいずれの場合でも採用することができる。
【００６０】
また、図１０に示すように、上述のカメラ交差法を採用している場合には、当該カメラ２０Ｌ、２０Ｒの傾きを変更することで、左眼用映像と右眼映像における視差を制御して、立体映像の奥行き度を調整してもよい。
【００６１】
具体的には、同図に示すように、２つのカメラ２０Ｌ，２０Ｒの傾きを緩くすることで、提示範囲ＰＷを自車輌１から遠ざけることができる。これに対し、特に図示しないが、カメラ２０Ｌ，２０Ｒの傾きを強くすることで、提示範囲ＰＷを自車輌１に近づけることができる。
【００６２】
以上のように、本実施形態では、運転シーンに応じて奥行き度が最適化された立体映像が表示されるので、運転者は運転シーンにおいて重要な範囲を視認することが可能となり、立体映像による状況認識性能の向上を図ることができる。
【００６３】
なお、図１１（ａ）及び図１１（ｂ）に示すように、運転シーンと自動車１の車速とに応じて、提示範囲ＰＷを設定してもよい。図１１（ａ）は、運転シーンとして「高速道路−直進」（シーンＮｏ．５）が推定された場合の提示範囲ＰＷと車速との関係を示すグラフであり、図１１（ｂ）は、運転シーンとして「一般道路／高速道路−発進」（シーンＮｏ．１）が推定された場合の提示範囲ＰＷと車速の関係を示すグラフである。
【００６４】
奥行き度調整部６３は、図１１（ａ）や図１１（ｂ）に示すようなマップを運転シーンに応じて参照して、車速センサ７０（図１参照）から得られた車速に応じて、提示範囲ＰＷを補正する。具体的には、図１１（ａ）や図１１（ｂ）に示すようなマップに対応した運転シーンの場合には、奥行き度調整部６３は、車速が高くなるに従って提示範囲ＰＷを自車輌１から遠ざけるように補正する。このように、運転シーンと自車輌１の車速に基づいて立体映像の奥行き度を調整することで、立体映像の奥行き度が一層最適化されるので、立体映像による状況認識性能がさらに向上する。
【００６５】
なお、特に図示しないが、上記の表１及び表２に示す全ての運転シーンに対して、図１１（ａ）や図１１（ｂ）に示すようなグラフを設定してもよいし、一部の運転シーンについては車速に対して提示範囲ＰＷを固定してもよい。
【００６６】
また、図１２に示すように、自車輌１の周囲に存在する複数の他車輌の平均距離に応じて、提示範囲ＰＷを変化させてもよい。図１２は、他車輌の平均距離に基づいて提示範囲を補正したグラフである。
【００６７】
この自車輌１の周囲に存在する複数の他車輌の平均距離Ｄは、下記の（２）〜（４）式によって算出され、図１２に示すように、現在の車速（図１２に示す例では１００［ｋｍ／ｈ］）におけるスクリーン面ＳＰが平均距離Ｄとなるように、その車速付近における提示範囲ＰＷを補正する。
【００６８】
Ｄ＝Σ（ｄｎ×ｗｎ／Ｗ） …（２）
ｗｎ＝Δｖｎ×１／Δｓｎ …（３）
Ｗ＝Σｗｎ …（４）
【００６９】
但し、上記の（２）〜（４）式において、ｄｎは、自車輌から個々の他車輌までの距離であり、Δｖｎは、自車輌に対する個々の他車輌の相対速度であり、Δｓｎは、自車輌に対する個々の他車輌の横変位である。なお、ｄｎ，Δｖｎ，Δｓｎは、物体検出センサ５０や車速センサ等の検出信号に基づいて算出される。
【００７０】
具体的に図１３に示す合流シーンを例にとって平均距離Ｄの算出方法について説明する。図１３は自車輌が本線に合流する例における車輌間の位置関係を示す図である。
【００７１】
図１３に示す例では、自車輌１が速度ｖ０で走行している車線１２１の隣の車線１２２を他車輌１１１が速度ｖ１で走行し、さらにその隣の車線１２３を別の他車輌１１２が速度ｖ２で走行している。このような例では、複数の他車輌１１１，１１２の平均距離は、下記の（５）〜（１０）によって算出される。
【００７２】
Δｖ１＝ｖ１−ｖ０ …（５）式
Δｖ２＝ｖ２−ｖ０ …（６）式
ｗ１＝Δｖ１×１／ｓ１ …（７）式
ｗ２＝Δｖ２×１／ｓ２ …（８）式
Ｗ＝ｗ１＋ｗ２ …（９）式
Ｄ＝ｄ１×ｗ１／Ｗ＋ｄ２×ｗ２／Ｗ …（１０）式
【００７３】
但し、上記の（５）〜（１０）式において、ｓ１は自車輌１に対する他車輌１１１のＸ方向の距離（横変位）であり、ｓ２は自車輌１に対する他車輌１１２のＸ方向の距離（横変位）であり、ｄ１は自車輌１に対する他車輌１１１のＹ方向の距離であり、ｄ２は自車輌１に対する他車輌１１２のＹ方向の距離である。
【００７４】
このように、自車輌１に対する他車輌１１１，１１２の距離に基づいて、立体映像の奥行き度を補正することで、運転者に対して注意すべき物体を強調することができ、立体映像による状況認識性能がさらに向上する。なお、こうした物体強調は、運転シーンの切替直後に実行することが好ましい。
【００７５】
なお、運転者が注目したい車輌を複数の他車輌１１３，１１４の中から選択可能としてもよい。図１４は車輌後方を表示する立体映像において注目したい他車輌を選択する画面の例を示す図である。この場合には、図１４に示すように、例えば、ステアリングホイールやリモコン等に設けられた選択スイッチ８０（図１参照）を操作して、３Ｄモニタ３０上でウィンドウ枠１４１を移動させて注目したい他車輌１１３を囲むことで、当該他車輌１１３を選択する。そして、奥行き度調整部６３は、特に図示しないが、現在の車速におけるスクリーン面ＳＰが、選択された他車輌１１３の距離となるように、提示範囲ＰＷを補正する。なお、注目したい他車輌の選択方法は特に上記に限定されない。
【００７６】
このように、運転者が選択した物体１１３の自車輌１に対する距離に基づいて、立体映像の奥行き度を補正することで、複数の物体の中でも特に注意が必要な物体に対する状況認識性能を高めることができる。
【００７７】
奥行き度調整部６３によって運転シーンに応じて奥行き度が調整された立体映像は、変換部６４によって３Ｄモニタ３０に適合した信号パターンに変換された後に３Ｄモニタ３０に出力され、３Ｄモニタ３０はその立体映像を運転者に対して表示する。
【００７８】
例えば、３Ｄモニタが２視点のパララックスバリア方式である場合には、変換部６４は、左眼用映像と右眼用映像が垂直１ライン毎に交互に出力されるような信号パターンに変換する。
【００７９】
この際、本実施形態では、奥行き度調整部６３によって立体映像の奥行き度が運転シーンに応じて最適化されている。例えば、高速道路において直進走行している場合には近傍領域よりも遠方領域の情報が重要であるが、本実施形態では、図１５（ａ）に示すように、遠方に存在する他車輌１１５，１１６や案内標識１３１が融像可能であり、これらから正確に情報を入手することができる。
【００８０】
これに対し、奥行き度調整部６３によって立体映像の奥行き度を調整しない場合には、図１５（ｂ）に示すように、自車輌から近傍領域は融像することができるが、遠方領域については融像することができず複視されてしまい、高速道路の直進走行に重要な情報が十分に入手できない場合がある。
【００８１】
なお、図１５（ａ）は本実施形態において立体映像の奥行き度を運転シーンに応じて調整した画像の例を示す図、図１５（ｂ）は立体映像の奥行き度を調整せずに表示した画像の例を示す図である。
【００８２】
以上のように、本実施形態では、３Ｄモニタ３０に表示される立体映像の奥行き度を、奥行き度調整部６３によって運転シーンに基づいて調整する。これにより、運転シーンに応じて奥行き度が最適化された立体映像を運転者に対して表示することが可能となるので、立体映像による状況認識性能を向上させることができる。
【００８３】
また、本実施形態では、「一般道路」や「高速道路」を含む道路種別と、「発進」、「停止」、「直進」、「旋回」、「後退」、「合流」、「車線変更」、及び「追い越し」を含む走行状態と、に基づいて運転シーンを設定している。このため、それぞれのシーンで重要な提示範囲ＰＷを設定することができ、立体映像による状況認識性能を向上させることができる。
【００８４】
本実施形態におけるカメラ２１，２２が本発明における撮像手段の一例に相当し、本実施形態における３Ｄモニタ３０が本発明における立体映像表示手段の一例に相当し、本実施形態におけるシーン推定部６２が本発明におけるシーン推定手段の一例に相当し、本実施形態における奥行き度調整部６３が本発明における奥行き度調整手段の一例に相当し、本実施形態における物体検出センサ５０が本発明における物体検出手段の一例に相当し、本実施形態における選択スイッチ８０が本発明における物体選択手段の一例に相当し、本実施形態におけるレンズ２０２Ｌ，２０２Ｒが本発明における集光手段の一例に相当する。
【００８５】
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【００８６】
１…自動車（自車輌）
１０…車輌用映像表示装置
２１Ｌ，２１Ｒ，２２Ｌ，２２Ｒ…カメラ
３０…３Ｄモニタ
４０…ナビゲーション装置
５０…物体検出センサ
６０…映像制御装置
６１…キャプチャ部
６２…シーン推定部
６３…奥行き度変換部
６４…変換部
７０…車速センサ
８０…選択スイッチ
ＮＰ…近傍面
ＳＰ…スクリーン面
ＦＰ…遠方面
ＰＷ…提示範囲
【特許請求の範囲】
【請求項１】
車輌に搭載され、前記車輌の周囲を撮像する少なくとも２つの撮像手段と、
前記撮像手段により撮像された映像を立体映像として表示する立体映像表示手段と、
前記車輌の運転シーンを推定するシーン推定手段と、
前記運転シーンに基づいて、前記立体映像表示手段に表示する立体映像の奥行き度を調整する奥行き度調整手段と、を備えたことを特徴とする車輌用映像表示装置。
【請求項２】
請求項１に記載の車輌用映像表示装置であって、
前記運転シーンは、道路の種別と前記車輌の走行状態とに基づいて設定されており、
前記道路種別は、一般道路、及び高速道路を含み、
前記車輌の走行状態は、発進、停止、直進、旋回、後退、合流、車線変更、及び追い越しを含むことを特徴とする車輌用映像表示装置。
【請求項３】
請求項１又は２に記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、前記運転シーンと前記車輌の速度と、に基づいて、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【請求項４】
請求項１〜３の何れかに記載の車輌用映像表示装置であって、
前記車輌の周囲に存在する物体を検出する物体検出手段を備え、
前記奥行き度調整手段は、前記車両に対する前記物体の距離に基づいて、前記立体映像の奥行き度を補正することを特徴とする車輌用映像表示装置。
【請求項５】
請求項４に記載の車輌用映像表示装置であって、
前記物体検出手段によって検出された物体の中から一つの物体を選択する物体選択手段を備え、
前記奥行き度調整手段は、前記物体選択手段によって選択された物体の前記車輌に対する距離に基づいて、前記立体映像の奥行き度を補正することを特徴とする車輌用映像表示装置。
【請求項６】
請求項１〜５の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、前記撮像手段から得られた映像を部分的に表示することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【請求項７】
請求項１〜５の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、２つの前記撮像手段が有する集光手段の間の距離を変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【請求項８】
請求項１〜５の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、３以上の前記撮像手段の中から選択される２つの前記撮像手段の組合せを変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【請求項９】
請求項１〜５の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、２つの前記撮像手段の間の距離を変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【請求項１】
車輌に搭載され、前記車輌の周囲を撮像する少なくとも２つの撮像手段と、
前記撮像手段により撮像された映像を立体映像として表示する立体映像表示手段と、
前記車輌の運転シーンを推定するシーン推定手段と、
前記運転シーンに基づいて、前記立体映像表示手段に表示する立体映像の奥行き度を調整する奥行き度調整手段と、を備えたことを特徴とする車輌用映像表示装置。
【請求項２】
請求項１に記載の車輌用映像表示装置であって、
前記運転シーンは、道路の種別と前記車輌の走行状態とに基づいて設定されており、
前記道路種別は、一般道路、及び高速道路を含み、
前記車輌の走行状態は、発進、停止、直進、旋回、後退、合流、車線変更、及び追い越しを含むことを特徴とする車輌用映像表示装置。
【請求項３】
請求項１又は２に記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、前記運転シーンと前記車輌の速度と、に基づいて、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【請求項４】
請求項１〜３の何れかに記載の車輌用映像表示装置であって、
前記車輌の周囲に存在する物体を検出する物体検出手段を備え、
前記奥行き度調整手段は、前記車両に対する前記物体の距離に基づいて、前記立体映像の奥行き度を補正することを特徴とする車輌用映像表示装置。
【請求項５】
請求項４に記載の車輌用映像表示装置であって、
前記物体検出手段によって検出された物体の中から一つの物体を選択する物体選択手段を備え、
前記奥行き度調整手段は、前記物体選択手段によって選択された物体の前記車輌に対する距離に基づいて、前記立体映像の奥行き度を補正することを特徴とする車輌用映像表示装置。
【請求項６】
請求項１〜５の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、前記撮像手段から得られた映像を部分的に表示することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【請求項７】
請求項１〜５の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、２つの前記撮像手段が有する集光手段の間の距離を変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【請求項８】
請求項１〜５の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、３以上の前記撮像手段の中から選択される２つの前記撮像手段の組合せを変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【請求項９】
請求項１〜５の何れかに記載の車輌用映像表示装置であって、
前記奥行き度調整手段は、２つの前記撮像手段の間の距離を変更することで、前記立体映像の奥行き度を調整することを特徴とする車輌用映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−２６７７０（Ｐ２０１３−２６７７０Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５８８００（Ｐ２０１１−１５８８００）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]