運転支援画像生成装置
【課題】サイドミラーの開閉状態にかかわらず、同一カメラで撮影した映像を運転状況に適した映像に適宜加工し変換して運転者に提示することができる運転支援画像生成装置を提供する。
【解決手段】車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ車両の側方を撮像するカメラ３と、車両の速度を検出する車速センサ９と、車速センサ９の検出信号に基づいて、カメラ３から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、画像データを加工処理する画像変換手段４とを備える。
【解決手段】車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ車両の側方を撮像するカメラ３と、車両の速度を検出する車速センサ９と、車速センサ９の検出信号に基づいて、カメラ３から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、画像データを加工処理する画像変換手段４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両周囲をカメラで撮影しその映像を車両内のモニタ画面に表示して運転支援を行う運転支援画像生成装置に係り、特に、車両のサイドミラーに取り付けたカメラによる映像を運転者に提示にする運転支援画像生成装置に関する。
【背景技術】
【０００２】
近年、ＲＶとよばれるレクレーションを主用途とした大型車両の普及に伴い、サイドミラー、バックミラーなど従来から車両に取り付けられているミラーだけでは、運転者に十分な視野を提供することが難しくなってきている。そこで、カメラを車両の各所に搭載し、これらの車載カメラによる映像を車室内のモニタ画面に表示して運転者に提示する運転支援装置が普及し始めている。
【０００３】
例えば、下記の特許文献１に記載された従来技術では、カメラをサイドミラーの下部に路面方向に向けて設置し、運転者がサイドミラーを介し直視で確認できない死角位置の映像をモニタ画面に表示することで、運転者の視覚を補助する様になっている。
【０００４】
【特許文献１】特開２０００−２４０６２９号公報（図７−図９）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、サイドミラーにカメラを取り付けた従来の運転支援装置では、開閉式のサイドミラーが開いている状態でカメラが撮影した画像を使用することを前提としており、サイドミラーが閉じた状態での使用を前提としていない。
【０００６】
現在、多くの車両においてサイドミラーは開閉式となっており、通常の運転時にはサイドミラーを開いて後側方の安全確認を行い、駐車時や小路走行時などにおいては、サイドミラーの出っ張りが周囲や走行の邪魔になることがあるため、サイドミラーを閉じるのが普通である。
【０００７】
従って、サイドミラーが開いた状態でモニタ画面内に自車両の側面を映り込ませ、この自車両画像がモニタ画面上で縦方向に表示されるように設定してあると、サイドミラーを閉じた状態では、例えばサイドミラーが開状態から９０°回転した閉状態では、モニタ画面内の自車両画像はモニタ画面上でも９０°回転して水平方向に表示されることになってしまう。
【０００８】
また、サイドミラーを開閉するための回転軸は、カメラのレンズ中心と異なるのが普通であるため、サイドミラーが開いた状態と閉じた状態では、自車両とカメラの相対位置が異なってしまい、サイドミラーが開状態のカメラ撮影範囲とサイドミラーが閉状態のカメラ撮影範囲は異なってしまう。
【０００９】
このため、サイドミラーが開状態のときのモニタ画面に見慣れていると、サイドミラーが閉状態となったときのモニタ画面内の映像は、方向や範囲がサイドミラー開状態時に撮影された映像と異なり、直感的に把握しにくい映像になってしまうという問題がある。
【００１０】
本発明の目的は、サイドミラーが開いた状態でも閉じた状態でも、常に運転者にとって分かり易く直感的に把握可能な映像をモニタ画面に表示する運転支援画像生成装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成する本発明の運転支援画像生成装置は、車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記サイドミラーの開閉状態を検出する状態センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記状態センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする。
【００１２】
この構成により、車両運転時点におけるサイドミラーの開閉状態に応じて、モニタ画面への出力画像を加工し変換することが可能となり、サイドミラーの開閉状態によらず運転者へ自車両の側方の映像を分かり易く提示可能となる。
【００１３】
上記目的を達成する本発明の運転支援画像生成装置は、また、車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記車両の速度を検出する車速センサと、前記車速センサの検出信号に基づいて、前記撮像手段から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、前記画像データを加工処理する画像変換手段とを備えたことを特徴とする。
【００１４】
この構成により、車両運転時点の車速から想定される運転状況に応じて、モニタ画面への出力画像を加工し変換することが可能となり、例えば、車両の幅寄せ操作時にはズーム映像を、始動時や左折時には広い範囲の映像を、それぞれ自動的にモニタ画面に表示するなど、運転状況に適した映像を運転者に提示可能となる。
【００１５】
上記目的を達成する本発明の運転支援画像生成装置は、また、車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記サイドミラーの開閉状態を検出する状態センサと、前記車両の速度を検出する車速センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記状態センサの検出信号及び前記車速センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする。
【００１６】
この構成により、サイドミラーの状態や車速から車両運転時点における運転状況を運転支援画像生成装置がより正しく決定でき、かつ、現時点の運転状況に応じて、モニタ画面への出力画像を加工し変換することが可能となり、現時点の運転状況に適した自車両の側方映像を運転者に分かり易く提示することができる。また、例えば、サイドミラーが閉じられた状態にも関わらず車速が３０ｋｍ／ｈで運転者がサイドミラーを開き忘れたと判断できるときは、警報を出力したり自動的にサイドミラーを開動作させることが可能となる。
【００１７】
好適には、上記運転支援画像生成装置の前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中に映っている前記車両の側面の画像が前記車両内に設置されるモニタ画面上で縦方向に表示される様に前記加工処理を行うことを特徴とする。
【００１８】
この構成により、運転者はモニタ画面で常に自車両の向く方向を固定して判断することができ、モニタ画面に表示されている画像を直感的に把握可能となる。
【００１９】
好適には、上記運転支援画像生成装置の前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中の特定位置画像が前記車両内に設置されるモニタ画面上の所定位置に表示される様に前記加工処理を行うことを特徴とする。
【００２０】
この構成により、運転者はモニタ画面で常に自車両と周囲状況との相対位置関係を容易且つ直感的に把握可能となる。
【００２１】
好適には、上記運転支援画像生成装置の前記画像変換手段は、前記撮像手段による撮影映像を仮想視点から見た画像データに変換して前記車両内に設置されるモニタ画面に表示させることを特徴とする。
【００２２】
この構成により、撮像手段（カメラ）の実設置位置等の物理的制約を受けずに仮想的なカメラの位置、画角等を選択して運転者に運転操作に役に立つ見やすい画像を提示可能となる。
【００２３】
上記目的を達成する運転支援画像生成装置は、車両に搭載され前記車両の周囲を撮像する撮像手段と、前記車両の速度を検出する車速センサと、前記車速センサの検出信号に基づいて、前記撮像手段から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、前記画像データを加工処理する画像変換手段とを備えたことを特徴とする。
【００２４】
この構成により、同一撮像手段による撮影映像を運転状況に応じて加工処理し運転者に提示できる。例えば、始動時や通常走行時には安全確認のために運転者に広い視野範囲の映像が必要であるが、幅寄せ時には周囲と自車両との位置関係の確認のために限られた領域のズーム映像が必要となるが、本発明の構成により、夫々の運転状況に応じた映像が運転者に提示される。
【発明の効果】
【００２５】
本発明によれば、サイドミラーの開閉状態にかかわらず、常に自車両の側方近辺の映像を運転者に分かり易く提示できる優れた運転支援画像生成装置を提供でき、また、同一カメラで撮影した映像を運転状況に適した映像に適宜加工し変換して運転者に提示することができる運転支援画像生成装置を提供できる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る運転支援画像生成装置を有する運転支援装置を車両に取り付けた状態を示す模式図である。この運転支援画像生成装置は、車両１のサイドミラー２の下部にレンズ光軸が下向きになるように設置されたＣＣＤやＣＭＯＳ等のイメージセンサでなる撮像手段（以下、カメラという。）３と、車両内の適宜箇所に設置されカメラ３の撮像画像を処理する画像変換手段４とを備えて成り、この運転支援画像生成装置と、車室内の運転席近傍に設置され画像変換手段４による画像変換後の画像をモニタ画面に表示する表示手段５とにより運転支援装置が構成される。
【００２８】
カメラ３は、運転者の位置に対して反対側、例えば右ハンドル車であれば左側のサイドミラー（サイドミラー本体やその筐体を含む概念として「サイドミラー」という。）に取り付けられ、広角レンズによって車体左側近傍の車体側方を自車両が一部映り込むように設置されている。図１の例では、画角θがカメラ３の撮影範囲となる。
【００２９】
図２は、左側のサイドミラーを上方から見た模式図である。車両１の左側部１ａに軸６を中心として開閉可能に設けられたサイドミラー２は、点線で示す開位置から実線で示す閉位置まで任意角度で開閉され、サイドミラー２の開閉角度をサイドミラー２近傍に設置した状態センサによって検出する様になっている。
【００３０】
図３（ａ）（ｂ）（ｃ）は、状態センサによるサイドミラー開閉状態の検出説明図である。軸６には図３（ａ）に示す様に断面が楕円形のロータ部６ａが設けられており、サイドミラー２の開閉に伴って回転するロータ部６ａの回転状態を状態センサが検出する。この例では、状態センサは、軸６の半径方向からロータ部６ａに向かって突出する押杆７を有し、押杆７の一端部がロータ部６ａ表面に摺接する様になっている。
【００３１】
これにより、サイドミラーが「開」状態のとき、図３（ａ）に示す様に押杆７は最も軸６内に入り込み、「開」状態から「閉」状態に移る途中では、押杆７は図３（ｂ）に示す途中状態となり、「開」状態から９０°回転したサイドミラー「閉」状態で、図３（ｃ）に示す様に押杆７は軸６から最も排除される。
【００３２】
状態センサは、押杆７の位置に応じて位置信号を出力する。この例では、サイドミラー２の「開」状態位置で開信号を出力し、「閉」状態位置で閉信号を出力する。状態センサは、サイドミラーの開状態と閉状態の２位置の状態を検出する構成でもよく、また、押杆７の位置に応じてサイドミラーの回転角度を検出し、回転角度に応じた位置信号を出力する構成でもよい。
【００３３】
図４は、本発明の第１の実施の形態に係る運転支援装置のブロック構成図である。この運転支援画像生成装置は、図１に示すサイドミラー２の開状態と閉状態とを検出し開状態のとき開信号を閉状態のとき閉信号を出力する上述した状態センサ８と、サイドミラー２の下部に取り付けられサイドミラー２の下方路面状態を撮像し撮像画像データを出力するカメラ３と、状態センサ８の出力信号とカメラ３の撮像画像データを取り込みこの撮像画像データを加工処理して出力する画像変換手段４と、この画像変換手段４から出力される画像データをモニタ画面に表示する表示手段５とを備えてなる。
【００３４】
画像変換手段４は、この実施の形態では、状態センサ８の出力信号を取り込む位置調整手段４１と、カメラ３の撮像画像データを取り込み位置調整手段４１からの指示信号に基づいて前記の撮像画像データを加工処理して変換し表示手段５に出力するアフィン変換手段４２とを備える。
【００３５】
位置調整手段４１は、状態センサ８から入力されるサイドミラーの開閉状態に従って、予め設定されているパラメータの値をアフィン変換手段４２へ出力する。パラメータとしては、例えば、撮像画像データからモニタ表示する範囲を切り出す「切り出し範囲」、サイドミラーの「回転角」、「移動量」、モニタ表示するときの「拡大率」等が挙げられる。
【００３６】
アフィン変換手段４２は、位置調整手段４１から入力されるパラメータの値に基づいて、カメラ３から入力される映像を後述のように変換し、アフィン変換手段４２によって変換された画像データが表示手段５に表示される。
【００３７】
次に、本実施の形態に係る運転支援装置の動作を詳細に説明する。尚、以下では、説明を簡単にするために、状態センサ８はサイドミラーの開状態、閉状態の２位置を検出し、サイドミラーの開状態時の表示画像と閉状態時の表示画像を例示して説明する。
【００３８】
サイドミラー２が開状態の場合は、状態センサ８から位置調整手段４１に開信号が出力される。位置調整手段４１には、サイドミラー２が開状態のときにアフィン変換手段４２に対して出力する上述したパラメータの値が予め用意されており、位置調整手段４１は、状態センサ８からの開信号の入力によってこれらのパラメータ値をアフィン変換手段４２に出力する。
【００３９】
図５は、サイドミラー２が開状態のときにカメラ３が撮影した映像である。この映像自体、運転者にとって見やすい映像であるため、本実施形態では、この映像をそのまま表示手段５のモニタ画面に表示する様に設定されている。
【００４０】
即ち、自車両の側面画像１ｂがモニタ画面上で縦方向に表示され、モニタ画面に映っている範囲も適当であるため、位置調整手段４１は、サイドミラー開状態用のパラメータの各値として、切り出し範囲を「画面全体」、回転角０度、移動量０、拡大率１を示す値をアフィン変換手段４２に出力する。これにより、アフィン変換手段４２は事実上何の加工処理も施さずに、入力画像データを表示手段５に出力する。
【００４１】
図６は、サイドミラー２が閉状態のときにカメラ３が撮影した映像であり、位置調整手段４１がサイドミラー開状態時と同じパラメータ値でアファン変換手段４２を動作させたときのモニタ画面を示す図である。この図６の映像は、図５の映像に比べてサイドミラー２が５０°回転した映像であり、このため、モニタ画面上で、自車両の側面画像１ｂは、モニタ画面の縦方向に対して斜め５０°に傾いた画像となっている。
【００４２】
この図６の映像がそのまま運転者に提示されても、運転者は図５の映像を見慣れているため、自車両の向く方向と整合性を持たせてモニタ画面の映像を直感的に把握することが困難である。そこで、本実施の形態では、運転支援画像生成装置の状態センサ８の検出位置に応じたパラメータの値が位置調整手段４１からアフィン変換手段４２に出力される。
【００４３】
即ち、位置調整手段４１には、サイドミラー閉状態用のパラメータの値として切り出し範囲「画面全体」、回転角５０度、移動量０、拡大率１という値が予め設定されており、状態センサ８から閉信号が入力されたときこれらの値をアフィン変換手段４２に出力する。
【００４４】
アフィン変換手段４２は、パラメータの値によって構成された画像加工指令に基づき、カメラ３から入力された画像データを５０°回転変換し、表示手段５に出力する。この結果、図６の映像に対して５０°回転した映像が図７に示されるようにモニタ画面に表示される。このモニタ画面では、自車両の側面画像１ｂはモニタ画面の縦方向となっており、運転者にとって直感的に把握しやすい画像となっている。
【００４５】
本実施の形態では、図７の画像を更に加工してモニタ画面に表示する。上述した〔発明が解決しようとする課題〕の欄で述べた様に、サイドミラー２の開閉位置によって、カメラ３と自車両１との間の相対位置が変化してしまい、カメラ３の撮影範囲はずれてしまう。
【００４６】
即ち、図３に示すサイドミラー２の閉状態におけるカメラ３の位置と、サイドミラー２の開状態におけるカメラ位置３ａとがずれるため、各撮影範囲がずれ、この結果、例えば自車両の側面画像１ｂ上の図５に示す任意の固定点Ａの位置が、図７のモニタ画面上ではズレた位置Ｂに表示されてしまう。
【００４７】
そこで、本実施の形態では、このズレを無くすように、上記パラメータの「移動量」の値を設定しておき、図７に示す画像を移動量設定値に基づいてモニタ画面上で縦方向、横方向にずらし、図８に示す様に表示する。これにより、固定点Ａのモニタ画面上の位置（ｘ，ｙ）が図５と図８で同じ位置となり、運転者はこの図８のモニタ画面の映像を見ながら、図５のモニタ画面と同様に、周囲状況の相対位置関係を判断することが可能となる。
【００４８】
このように、本実施の形態によれば、サイドミラーの開閉状態を検知してその状態に合わせて画像変換することにより、サイドミラーの状態によらず常に運転者が把握しやすい映像を提供可能となる。
【００４９】
また、図５と図７に例示するように、サイドミラーの状態に関わらず車両がモニタ画面上で常に所定方向を向くように表示されるため、運転者がサイドミラーの状態を意識することなく車両側方の状況を同じ様に監視することが可能となる。
【００５０】
更に、図５と図８に例示するように、サイドミラーの状態に関わらず、車両上、あるいは、路面上の特定の位置が常にモニタ画面上で同じ位置に表示されるため、サイドミラーの状態が変化した場合でも、運転者はモニタ画面と周囲状況との位置関係を容易に把握することが可能となる。
【００５１】
尚、アフィン変換手段４２による変換によって、画面の一部に映像が映らない領域が発生する場合がある。図７や図８でハッチングを示した領域である。この領域は予め予測できるため、この領域にはカメラの撮像画像を表示せずにグラフィック等で表示する。例えば、赤色や黒色でベタ塗りしたグラフィック画像とする。
【００５２】
（第２の実施の形態）
図９は、本発明の第２の実施の形態に係る運転支援装置のブロック構成図である。この運転支援装置は、車両周りを撮影するカメラ３と、車両の速度を検出する車速センサ９と、カメラ３の撮影画像データと車速センサ９の検出した車速検出値とを取り込んで前記撮影画像データを加工する画像変換手段４と、画像変換手段４によって変換された後の画像データをモニタ画面に表示する表示手段５とを備えて構成される。尚、この運転支援装置は、図１と同様に車両に取り付けられる。
【００５３】
カメラ３は、車両の左側方（右ハンドル車の場合）の運転者から死角になる領域を撮像するように設置され、車速センサ９は、例えば、ドライブシャフト近傍に設置され、タイヤが回転するたびにパルス信号を発生するなどして車速を測定し、車速検出値を画像変換手段４に出力する。
【００５４】
画像変換手段３は、車速センサ９の検出信号を受信する視点調整手段４３と、視点調整手段４３からの指示に基づいてカメラ３の撮影画像データを加工するアフィン変換手段４２とを備える。
【００５５】
視点調整手段４３は、予め設定されているパラメータの値のうち車速センサ９から入力される車速検出値に基づくパラメータ値をアフィン変換手段４２に出力する。パラメータとしては、例えば、切り出し範囲、拡大率等が挙げられる。アフィン変換手段４２は、視点調整手段４３から入力されるパラメータの値に基づいて、カメラ３から入力される映像を加工処理して変換する。
【００５６】
次に、本実施の形態に係る運転支援装置の動作をより詳細に説明する。
【００５７】
仮に１０秒間以上、車速センサ９の出力が速度０ｋｍ／ｈを示した場合、視点調整手段４３は車両が停車状態にあると判断する。車両停車時には、運転者は車両側方の広い範囲をモニタ画面上で視認し安全確認を行うのが望ましく、このため、モニタ画面上に広い範囲の映像を表示する必要がある。
【００５８】
そこで、車両停車と判断されるときには、視点調整手段４２は、パラメータの値として、例えば、切り出し範囲を「画面全体」、拡大率を“１”と設定してアフィン変換手段４２に出力する。このときのカメラ３による撮影映像を表示したモニタ画面の画像を図１０に示す。図１０は、サイドミラーが開状態でカメラ３により撮像された映像がそのままはモニタ画面に表示された図である。
【００５９】
一方、移動中の車両の車速が５Ｋｍ／ｈ以下の場合、停車や駐車への移行状態にあると判断できる。この場合には、運転者から死角位置となる左側方のズーム映像がモニタ画面に表示されると、駐車運転に役に立つ。
【００６０】
そこで、視点調整手段４３は、運転者に対し車両側方位置の確認が容易となるようにズームした映像を提供するためのパラメータの値として、例えば、切り出し範囲を「画面中央領域（図１０中に示す切り取り枠４５）」、拡大率を“２”と設定し、アフィン変換手段４２に出力する。この結果、アフィン変換手段４２は、図１０中の枠４５内の映像をカメラ３の撮影画像データから切り出し、２倍に拡大した画像データを生成し、表示手段５に出力する。これにより、モニタ画面には図１１に示される映像が表示され、運転者は死角位置の状況を容易に把握可能となる。
【００６１】
このように、本実施の形態では、車速を検知し車速から判断される運転状況に合わせて画像変換が行われるため、例えば、幅寄せ時にはズーム映像が、エンジン始動時や左折時には広い範囲の映像が、それぞれ自動的に運転者に提供されることになる。
【００６２】
（第３の実施の形態）
図１２は、本発明の第３の実施の形態に係る運転支援装置のブロック構成図である。この運転支援装置は、車両周りを撮影するカメラ３と、サイドミラーの開閉状態を検出する状態センサ８と、車両の速度を検出する車速センサ９と、カメラ３の撮影画像データと状態センサ８の検出値と車速センサ９の検出値とを取り込んで前記撮影画像データを加工する画像変換手段４と、画像変換手段４によって変換された後の画像データをモニタ画面に表示する表示手段５とを備えて構成される。尚、この運転支援装置は、図１と同様に車両に取り付けられる。
【００６３】
カメラ３は、車両の左側方（右ハンドル車の場合）の運転者から死角になる領域を撮像するように設置され、状態センサ８は左側のサイドミラー近傍に設置され、車速センサ９は、例えば、ドライブシャフト近傍に設置される。
【００６４】
本実施の形態に係る画像変換手段４は、状態センサ８及び車速センサ９の各検出信号を受信する視点調整手段４３と、視点調整手段４３からの指示に基づいてカメラ３の撮影画像データをカメラ３の実際の設置位置とは異なる仮想視点から見た画像データに変換する視点変換手段４４とを備える。
【００６５】
図１３は、視点変換の説明図である。視点変換手段４４は、実際のカメラ３で撮影された映像を、路面投影変換を施してあたかも仮想視点に設置された仮想カメラ１１で撮像したかのような映像へと変換するものである。
【００６６】
路面上の点１２が、仮想カメラ１１の画素位置（Ｘ，Ｙ）に撮影され、カメラ３では画素位置（ｘ，ｙ）に撮影されるとする。このとき、画素（Ｘ，Ｙ）には画素（ｘ，ｙ）が対応する。これを仮想カメラ１１の全画素に対して実施することで、仮想カメラ１１による映像がカメラ３の撮像画像データから生成できる。
【００６７】
この様な視点変換の演算処理を全画素について演算処理手段が一々計算することも可能であるが、本実施の形態では、画素（Ｘ，Ｙ）と画素（ｘ，ｙ）との対応関係を全画素について予めマッピングテーブルとして用意しておき、実カメラ３の撮影映像をリアルタイムに視点変換することにしている。このマッピングテーブルは、カメラ３と仮想カメラ１１の夫々のカメラパラメータが決定されることで、予め計算して求めておくことができる。
【００６８】
このマッピングテーブルは仮想カメラ１１を設ける位置毎に予め用意しておき、各マッピングテーブルに番号を付けておく。そして、視点調整手段４３は、状態センサ８から入力されるサイドミラーの開閉状態と、車速センサ９から入力される車速検出値とに基づいて、使用するマッピングテーブルの番号を視点変換手段４４に指示する構成となっている。
【００６９】
図１４は、視点変換手段４４の詳細構成図である。この視点変換手段４４は、実カメラ３から入力される撮影画像データを一時的に記録するフレームメモリ２１と、複数のマッピングテーブルを記録したメモリ２２と、メモリ２２に記録されているマッピングテーブルに基づいてフレームメモリ２１から該当画素の値を読み出す画素読み出し手段２３と、読み出した画素値から出力画像信号を生成する映像信号生成手段２４とを備える。
【００７０】
画素読み出し手段２３は、視点変換手段４３から指示されるテーブル番号に基づいて、メモリ２２内に記録されている複数のマッピングテーブルの中から、例えば、マッピングテーブル♯２を選択する。これにより、以後の視点変換処理はマッピングテーブル♯２を参照して行われ、適当なタイミングでフレームメモリ２１内に記録されている画素値を読み出して映像信号生成手段２４へと出力する。映像信号生成手段２４は、入力される画素値から出力画像信号を生成して表示手段５に出力する。
【００７１】
次に、本実施の形態に係る運転支援装置の動作を説明する。
【００７２】
例えば、状態センサ８からはサイドミラー２が閉じられている信号が出力されており、車速センサ９からは３ｋｍ／ｈの低速で走行している信号が出力されているとする。
【００７３】
この場合、視点調整手段４３は、狭い道を走行中、あるいは、幅寄せ中であると判断して、あたかもサイドミラー２の上空２ｍの仮想位置に設置した仮想カメラからの映像へと変換するマッピングテーブルの番号「♯１」を視点変換手段４４に出力する。視点変換手段４４は、カメラ３から取り込んだ映像を、メモリ２２内の番号「♯１」のマッピングテーブルに従って変換して、表示手段５へ出力する。
【００７４】
図１５は、このときの実際のカメラ３によって撮影された画像を示す図である。車両の左側には車両に隣接する駐車スペースが格子模様で示してある。カメラ３は広角カメラであるため、遠近感の大きな画像となっており、遠方ほど歪んだ画像となっている。
【００７５】
上記の車両運転状況は「幅寄せ中」であるため、遠方の画像は運転者に不要であり、運転者から死角となる左前輪近傍のズーム画像が必要となっている。このとき使用されるマッピングテーブル♯１は、この図１５の映像中に示す矩形枠４５内を図１６に示す様にズームし、且つ、この矩形枠４５内のズームした映像を上視点２ｍから見た画像に変換して表示手段５のモニタ画面に表示するテーブルである。この様に変換されモニタ画面に表示された画像を図１７に示す。運転者は、この図１７の映像をモニタ画面で確認することで、幅寄せ運転を安心して行うことができる。
【００７６】
尚、上述した実施の形態では、幅寄せ運転中の場合に図１７の映像をモニタ画面に表示したが、運転者の指示入力に従って、図１５の映像、図１６の映像、図１７の映像を切り替える構成とすることでもよい。また、図１８に示す様に、モニタ画面を２分割し、左側領域Ｘ１には、例えば、カメラ３の撮影映像からレンズ歪みを除去し直線が直線として表示される様に補正した映像を表示し、右側領域Ｘ２には、あたかもサイドミラーの上空に設置した仮想カメラからの映像に変換した映像をそれぞれ表示することでもよい。
【００７７】
上述した実施の形態では、モニタ画面に表示する映像について説明したが、例えば、サイドミラーが閉状態にあること検出した信号が状態センサ８から出力され、且つ、２０ｋｍ／ｈの中速で走行している信号が車速センサ９から出力されていた場合、視点調整手段４３は、運転者が誤ってサイドミラーを閉じたまま運転していると判断して警告信号を出力する様にしてもよい。例えば、「サイドミラーを開いて下さい」とモニタ画面に表示したり、音声出力したりする。あるいは、警告信号とあわせて或いは警告信号に代えて自動的にサイドミラーを開動作させることでもよい。
【００７８】
このように、本実施の形態に係る運転支援装置は、サイドミラーの開閉状態と車速とを検知することで運転状況をより正しく決定でき、かつ、現在の運転状況に応じて、出力画像を加工し変換することが可能となり、現在の運転状況に適した自車両の側方近辺の映像をわかりやすく提供することが可能となる。なお、上記実施の形態に加え、運転支援装置に舵角センサや測距センサ等を付加することで、より詳細な運転状況を判断することも可能となる。
【００７９】
また、上述した各実施の形態では、サイドミラーの開状態、閉状態の２位置について映像を切り替える例について述べたが、サイドミラーの開閉角度によらず、常に同じような視線の映像で、かつ、自車両の側面画像を常にモニタ画面上で縦に表示することも可能である。これにより、運転者はサイドミラーの開閉状態や開閉角度を気にすることなくモニタ画面で自車両の側方映像を確認できる。
【００８０】
さらに、サイドミラーの開閉状態によらず、常に、自車両、あるいは、路面上の特定位置を常にモニタ上の同じ位置に表示するため、運転者が映像に映るものと自車両との相対位置関係を容易に把握可能となる。
【産業上の利用可能性】
【００８１】
本発明によれば、サイドミラーの開閉状態にかかわらず、常に自車両の側方近辺の映像を運転者に分かり易く提示できる優れた運転支援画像生成装置を提供でき、また、同一カメラで撮影した映像を運転状況に適した映像に適宜加工し変換して運転者に提示することができる運転支援画像生成装置を提供できる。
【図面の簡単な説明】
【００８２】
【図１】本発明の第１の実施の形態に係る運転支援装置を車両に取り付けた状態を示す模式図
【図２】本発明の第１の実施の形態に係る運転支援装置を搭載した車両の左側サイドミラーを上方から見た模式図
【図３】本発明の第１の実施の形態に係る運転支援装置におけるサイドミラー開閉状態の検出説明図であり、 （ａ）はサイドミラー開位置を示す図 （ｂ）はサイドミラー開閉の途中状態を示す図 （ｃ）はサイドミラー閉位置を示す図
【図４】本発明の第１の実施の形態に係る運転支援装置のブロック構成図
【図５】本発明の第１の実施の形態に係る運転支援装置のカメラがサイドミラー開状態時に撮影した映像を示す図
【図６】本発明の第１の実施の形態に係る運転支援装置のカメラがサイドミラー閉状態時に撮影した映像を示す図
【図７】本発明の第１の実施の形態に係る運転支援装置のアファン変換手段が図６に示す映像をアフィン変換した映像を示す図
【図８】本発明の第１の実施の形態に係る運転支援装置のアファン変換手段が図７に示す映像を位置調整した映像を示す図
【図９】本発明の第２の実施の形態に係る運転支援装置のブロック構成図
【図１０】本発明の第２の実施の形態に係る運転支援装置のカメラがサイドミラー開状態時に撮影した映像を示す図
【図１１】本発明の第２の実施の形態に係る運転支援装置のアファン変換手段が図１０に示す映像から切り出した範囲をズームした映像を示す図
【図１２】本発明の第３の実施の形態に係る運転支援装置のブロック構成図
【図１３】本発明の第３の実施の形態に係る運転支援装置の視点変換手段が行う視点変換の説明図
【図１４】本発明の第３の実施の形態に係る運転支援装置の視点変換手段の詳細構成図
【図１５】本発明の第３の実施の形態に係る運転支援装置のカメラがサイドミラー開状態時に撮影した映像を示す図
【図１６】本発明の第３の実施の形態に係る運転支援装置が図１５中の矩形枠内を拡大した映像を示す図
【図１７】本発明の第３の実施の形態に係る運転支援装置が図１６の映像を視点変換した映像を示す図
【図１８】本発明の第３の実施の形態に係る運転支援装置のモニタ画面の表示例を示す図
【符号の説明】
【００８３】
１ 車両
２ サイドミラー
３ カメラ
４ 画像変換手段
５ 表示手段
６ 軸
７ 押杆
８ 状態センサ
９ 車速センサ
１１ 仮想カメラ
２１ フレームメモリ
２２ マッピングテーブル格納用のメモリ
２３ 画素読み出し手段
２４ 映像信号生成手段
４１ 位置調整手段
４２ アフィン変換手段
４３ 視点調整手段
４４ 視点変換手段
【技術分野】
【０００１】
本発明は車両周囲をカメラで撮影しその映像を車両内のモニタ画面に表示して運転支援を行う運転支援画像生成装置に係り、特に、車両のサイドミラーに取り付けたカメラによる映像を運転者に提示にする運転支援画像生成装置に関する。
【背景技術】
【０００２】
近年、ＲＶとよばれるレクレーションを主用途とした大型車両の普及に伴い、サイドミラー、バックミラーなど従来から車両に取り付けられているミラーだけでは、運転者に十分な視野を提供することが難しくなってきている。そこで、カメラを車両の各所に搭載し、これらの車載カメラによる映像を車室内のモニタ画面に表示して運転者に提示する運転支援装置が普及し始めている。
【０００３】
例えば、下記の特許文献１に記載された従来技術では、カメラをサイドミラーの下部に路面方向に向けて設置し、運転者がサイドミラーを介し直視で確認できない死角位置の映像をモニタ画面に表示することで、運転者の視覚を補助する様になっている。
【０００４】
【特許文献１】特開２０００−２４０６２９号公報（図７−図９）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、サイドミラーにカメラを取り付けた従来の運転支援装置では、開閉式のサイドミラーが開いている状態でカメラが撮影した画像を使用することを前提としており、サイドミラーが閉じた状態での使用を前提としていない。
【０００６】
現在、多くの車両においてサイドミラーは開閉式となっており、通常の運転時にはサイドミラーを開いて後側方の安全確認を行い、駐車時や小路走行時などにおいては、サイドミラーの出っ張りが周囲や走行の邪魔になることがあるため、サイドミラーを閉じるのが普通である。
【０００７】
従って、サイドミラーが開いた状態でモニタ画面内に自車両の側面を映り込ませ、この自車両画像がモニタ画面上で縦方向に表示されるように設定してあると、サイドミラーを閉じた状態では、例えばサイドミラーが開状態から９０°回転した閉状態では、モニタ画面内の自車両画像はモニタ画面上でも９０°回転して水平方向に表示されることになってしまう。
【０００８】
また、サイドミラーを開閉するための回転軸は、カメラのレンズ中心と異なるのが普通であるため、サイドミラーが開いた状態と閉じた状態では、自車両とカメラの相対位置が異なってしまい、サイドミラーが開状態のカメラ撮影範囲とサイドミラーが閉状態のカメラ撮影範囲は異なってしまう。
【０００９】
このため、サイドミラーが開状態のときのモニタ画面に見慣れていると、サイドミラーが閉状態となったときのモニタ画面内の映像は、方向や範囲がサイドミラー開状態時に撮影された映像と異なり、直感的に把握しにくい映像になってしまうという問題がある。
【００１０】
本発明の目的は、サイドミラーが開いた状態でも閉じた状態でも、常に運転者にとって分かり易く直感的に把握可能な映像をモニタ画面に表示する運転支援画像生成装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成する本発明の運転支援画像生成装置は、車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記サイドミラーの開閉状態を検出する状態センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記状態センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする。
【００１２】
この構成により、車両運転時点におけるサイドミラーの開閉状態に応じて、モニタ画面への出力画像を加工し変換することが可能となり、サイドミラーの開閉状態によらず運転者へ自車両の側方の映像を分かり易く提示可能となる。
【００１３】
上記目的を達成する本発明の運転支援画像生成装置は、また、車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記車両の速度を検出する車速センサと、前記車速センサの検出信号に基づいて、前記撮像手段から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、前記画像データを加工処理する画像変換手段とを備えたことを特徴とする。
【００１４】
この構成により、車両運転時点の車速から想定される運転状況に応じて、モニタ画面への出力画像を加工し変換することが可能となり、例えば、車両の幅寄せ操作時にはズーム映像を、始動時や左折時には広い範囲の映像を、それぞれ自動的にモニタ画面に表示するなど、運転状況に適した映像を運転者に提示可能となる。
【００１５】
上記目的を達成する本発明の運転支援画像生成装置は、また、車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、前記サイドミラーの開閉状態を検出する状態センサと、前記車両の速度を検出する車速センサと、前記撮像手段から取り込んだ撮影映像の画像データを前記状態センサの検出信号及び前記車速センサの検出信号に基づいて加工処理する画像変換手段とを備えたことを特徴とする。
【００１６】
この構成により、サイドミラーの状態や車速から車両運転時点における運転状況を運転支援画像生成装置がより正しく決定でき、かつ、現時点の運転状況に応じて、モニタ画面への出力画像を加工し変換することが可能となり、現時点の運転状況に適した自車両の側方映像を運転者に分かり易く提示することができる。また、例えば、サイドミラーが閉じられた状態にも関わらず車速が３０ｋｍ／ｈで運転者がサイドミラーを開き忘れたと判断できるときは、警報を出力したり自動的にサイドミラーを開動作させることが可能となる。
【００１７】
好適には、上記運転支援画像生成装置の前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中に映っている前記車両の側面の画像が前記車両内に設置されるモニタ画面上で縦方向に表示される様に前記加工処理を行うことを特徴とする。
【００１８】
この構成により、運転者はモニタ画面で常に自車両の向く方向を固定して判断することができ、モニタ画面に表示されている画像を直感的に把握可能となる。
【００１９】
好適には、上記運転支援画像生成装置の前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中の特定位置画像が前記車両内に設置されるモニタ画面上の所定位置に表示される様に前記加工処理を行うことを特徴とする。
【００２０】
この構成により、運転者はモニタ画面で常に自車両と周囲状況との相対位置関係を容易且つ直感的に把握可能となる。
【００２１】
好適には、上記運転支援画像生成装置の前記画像変換手段は、前記撮像手段による撮影映像を仮想視点から見た画像データに変換して前記車両内に設置されるモニタ画面に表示させることを特徴とする。
【００２２】
この構成により、撮像手段（カメラ）の実設置位置等の物理的制約を受けずに仮想的なカメラの位置、画角等を選択して運転者に運転操作に役に立つ見やすい画像を提示可能となる。
【００２３】
上記目的を達成する運転支援画像生成装置は、車両に搭載され前記車両の周囲を撮像する撮像手段と、前記車両の速度を検出する車速センサと、前記車速センサの検出信号に基づいて、前記撮像手段から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、前記画像データを加工処理する画像変換手段とを備えたことを特徴とする。
【００２４】
この構成により、同一撮像手段による撮影映像を運転状況に応じて加工処理し運転者に提示できる。例えば、始動時や通常走行時には安全確認のために運転者に広い視野範囲の映像が必要であるが、幅寄せ時には周囲と自車両との位置関係の確認のために限られた領域のズーム映像が必要となるが、本発明の構成により、夫々の運転状況に応じた映像が運転者に提示される。
【発明の効果】
【００２５】
本発明によれば、サイドミラーの開閉状態にかかわらず、常に自車両の側方近辺の映像を運転者に分かり易く提示できる優れた運転支援画像生成装置を提供でき、また、同一カメラで撮影した映像を運転状況に適した映像に適宜加工し変換して運転者に提示することができる運転支援画像生成装置を提供できる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る運転支援画像生成装置を有する運転支援装置を車両に取り付けた状態を示す模式図である。この運転支援画像生成装置は、車両１のサイドミラー２の下部にレンズ光軸が下向きになるように設置されたＣＣＤやＣＭＯＳ等のイメージセンサでなる撮像手段（以下、カメラという。）３と、車両内の適宜箇所に設置されカメラ３の撮像画像を処理する画像変換手段４とを備えて成り、この運転支援画像生成装置と、車室内の運転席近傍に設置され画像変換手段４による画像変換後の画像をモニタ画面に表示する表示手段５とにより運転支援装置が構成される。
【００２８】
カメラ３は、運転者の位置に対して反対側、例えば右ハンドル車であれば左側のサイドミラー（サイドミラー本体やその筐体を含む概念として「サイドミラー」という。）に取り付けられ、広角レンズによって車体左側近傍の車体側方を自車両が一部映り込むように設置されている。図１の例では、画角θがカメラ３の撮影範囲となる。
【００２９】
図２は、左側のサイドミラーを上方から見た模式図である。車両１の左側部１ａに軸６を中心として開閉可能に設けられたサイドミラー２は、点線で示す開位置から実線で示す閉位置まで任意角度で開閉され、サイドミラー２の開閉角度をサイドミラー２近傍に設置した状態センサによって検出する様になっている。
【００３０】
図３（ａ）（ｂ）（ｃ）は、状態センサによるサイドミラー開閉状態の検出説明図である。軸６には図３（ａ）に示す様に断面が楕円形のロータ部６ａが設けられており、サイドミラー２の開閉に伴って回転するロータ部６ａの回転状態を状態センサが検出する。この例では、状態センサは、軸６の半径方向からロータ部６ａに向かって突出する押杆７を有し、押杆７の一端部がロータ部６ａ表面に摺接する様になっている。
【００３１】
これにより、サイドミラーが「開」状態のとき、図３（ａ）に示す様に押杆７は最も軸６内に入り込み、「開」状態から「閉」状態に移る途中では、押杆７は図３（ｂ）に示す途中状態となり、「開」状態から９０°回転したサイドミラー「閉」状態で、図３（ｃ）に示す様に押杆７は軸６から最も排除される。
【００３２】
状態センサは、押杆７の位置に応じて位置信号を出力する。この例では、サイドミラー２の「開」状態位置で開信号を出力し、「閉」状態位置で閉信号を出力する。状態センサは、サイドミラーの開状態と閉状態の２位置の状態を検出する構成でもよく、また、押杆７の位置に応じてサイドミラーの回転角度を検出し、回転角度に応じた位置信号を出力する構成でもよい。
【００３３】
図４は、本発明の第１の実施の形態に係る運転支援装置のブロック構成図である。この運転支援画像生成装置は、図１に示すサイドミラー２の開状態と閉状態とを検出し開状態のとき開信号を閉状態のとき閉信号を出力する上述した状態センサ８と、サイドミラー２の下部に取り付けられサイドミラー２の下方路面状態を撮像し撮像画像データを出力するカメラ３と、状態センサ８の出力信号とカメラ３の撮像画像データを取り込みこの撮像画像データを加工処理して出力する画像変換手段４と、この画像変換手段４から出力される画像データをモニタ画面に表示する表示手段５とを備えてなる。
【００３４】
画像変換手段４は、この実施の形態では、状態センサ８の出力信号を取り込む位置調整手段４１と、カメラ３の撮像画像データを取り込み位置調整手段４１からの指示信号に基づいて前記の撮像画像データを加工処理して変換し表示手段５に出力するアフィン変換手段４２とを備える。
【００３５】
位置調整手段４１は、状態センサ８から入力されるサイドミラーの開閉状態に従って、予め設定されているパラメータの値をアフィン変換手段４２へ出力する。パラメータとしては、例えば、撮像画像データからモニタ表示する範囲を切り出す「切り出し範囲」、サイドミラーの「回転角」、「移動量」、モニタ表示するときの「拡大率」等が挙げられる。
【００３６】
アフィン変換手段４２は、位置調整手段４１から入力されるパラメータの値に基づいて、カメラ３から入力される映像を後述のように変換し、アフィン変換手段４２によって変換された画像データが表示手段５に表示される。
【００３７】
次に、本実施の形態に係る運転支援装置の動作を詳細に説明する。尚、以下では、説明を簡単にするために、状態センサ８はサイドミラーの開状態、閉状態の２位置を検出し、サイドミラーの開状態時の表示画像と閉状態時の表示画像を例示して説明する。
【００３８】
サイドミラー２が開状態の場合は、状態センサ８から位置調整手段４１に開信号が出力される。位置調整手段４１には、サイドミラー２が開状態のときにアフィン変換手段４２に対して出力する上述したパラメータの値が予め用意されており、位置調整手段４１は、状態センサ８からの開信号の入力によってこれらのパラメータ値をアフィン変換手段４２に出力する。
【００３９】
図５は、サイドミラー２が開状態のときにカメラ３が撮影した映像である。この映像自体、運転者にとって見やすい映像であるため、本実施形態では、この映像をそのまま表示手段５のモニタ画面に表示する様に設定されている。
【００４０】
即ち、自車両の側面画像１ｂがモニタ画面上で縦方向に表示され、モニタ画面に映っている範囲も適当であるため、位置調整手段４１は、サイドミラー開状態用のパラメータの各値として、切り出し範囲を「画面全体」、回転角０度、移動量０、拡大率１を示す値をアフィン変換手段４２に出力する。これにより、アフィン変換手段４２は事実上何の加工処理も施さずに、入力画像データを表示手段５に出力する。
【００４１】
図６は、サイドミラー２が閉状態のときにカメラ３が撮影した映像であり、位置調整手段４１がサイドミラー開状態時と同じパラメータ値でアファン変換手段４２を動作させたときのモニタ画面を示す図である。この図６の映像は、図５の映像に比べてサイドミラー２が５０°回転した映像であり、このため、モニタ画面上で、自車両の側面画像１ｂは、モニタ画面の縦方向に対して斜め５０°に傾いた画像となっている。
【００４２】
この図６の映像がそのまま運転者に提示されても、運転者は図５の映像を見慣れているため、自車両の向く方向と整合性を持たせてモニタ画面の映像を直感的に把握することが困難である。そこで、本実施の形態では、運転支援画像生成装置の状態センサ８の検出位置に応じたパラメータの値が位置調整手段４１からアフィン変換手段４２に出力される。
【００４３】
即ち、位置調整手段４１には、サイドミラー閉状態用のパラメータの値として切り出し範囲「画面全体」、回転角５０度、移動量０、拡大率１という値が予め設定されており、状態センサ８から閉信号が入力されたときこれらの値をアフィン変換手段４２に出力する。
【００４４】
アフィン変換手段４２は、パラメータの値によって構成された画像加工指令に基づき、カメラ３から入力された画像データを５０°回転変換し、表示手段５に出力する。この結果、図６の映像に対して５０°回転した映像が図７に示されるようにモニタ画面に表示される。このモニタ画面では、自車両の側面画像１ｂはモニタ画面の縦方向となっており、運転者にとって直感的に把握しやすい画像となっている。
【００４５】
本実施の形態では、図７の画像を更に加工してモニタ画面に表示する。上述した〔発明が解決しようとする課題〕の欄で述べた様に、サイドミラー２の開閉位置によって、カメラ３と自車両１との間の相対位置が変化してしまい、カメラ３の撮影範囲はずれてしまう。
【００４６】
即ち、図３に示すサイドミラー２の閉状態におけるカメラ３の位置と、サイドミラー２の開状態におけるカメラ位置３ａとがずれるため、各撮影範囲がずれ、この結果、例えば自車両の側面画像１ｂ上の図５に示す任意の固定点Ａの位置が、図７のモニタ画面上ではズレた位置Ｂに表示されてしまう。
【００４７】
そこで、本実施の形態では、このズレを無くすように、上記パラメータの「移動量」の値を設定しておき、図７に示す画像を移動量設定値に基づいてモニタ画面上で縦方向、横方向にずらし、図８に示す様に表示する。これにより、固定点Ａのモニタ画面上の位置（ｘ，ｙ）が図５と図８で同じ位置となり、運転者はこの図８のモニタ画面の映像を見ながら、図５のモニタ画面と同様に、周囲状況の相対位置関係を判断することが可能となる。
【００４８】
このように、本実施の形態によれば、サイドミラーの開閉状態を検知してその状態に合わせて画像変換することにより、サイドミラーの状態によらず常に運転者が把握しやすい映像を提供可能となる。
【００４９】
また、図５と図７に例示するように、サイドミラーの状態に関わらず車両がモニタ画面上で常に所定方向を向くように表示されるため、運転者がサイドミラーの状態を意識することなく車両側方の状況を同じ様に監視することが可能となる。
【００５０】
更に、図５と図８に例示するように、サイドミラーの状態に関わらず、車両上、あるいは、路面上の特定の位置が常にモニタ画面上で同じ位置に表示されるため、サイドミラーの状態が変化した場合でも、運転者はモニタ画面と周囲状況との位置関係を容易に把握することが可能となる。
【００５１】
尚、アフィン変換手段４２による変換によって、画面の一部に映像が映らない領域が発生する場合がある。図７や図８でハッチングを示した領域である。この領域は予め予測できるため、この領域にはカメラの撮像画像を表示せずにグラフィック等で表示する。例えば、赤色や黒色でベタ塗りしたグラフィック画像とする。
【００５２】
（第２の実施の形態）
図９は、本発明の第２の実施の形態に係る運転支援装置のブロック構成図である。この運転支援装置は、車両周りを撮影するカメラ３と、車両の速度を検出する車速センサ９と、カメラ３の撮影画像データと車速センサ９の検出した車速検出値とを取り込んで前記撮影画像データを加工する画像変換手段４と、画像変換手段４によって変換された後の画像データをモニタ画面に表示する表示手段５とを備えて構成される。尚、この運転支援装置は、図１と同様に車両に取り付けられる。
【００５３】
カメラ３は、車両の左側方（右ハンドル車の場合）の運転者から死角になる領域を撮像するように設置され、車速センサ９は、例えば、ドライブシャフト近傍に設置され、タイヤが回転するたびにパルス信号を発生するなどして車速を測定し、車速検出値を画像変換手段４に出力する。
【００５４】
画像変換手段３は、車速センサ９の検出信号を受信する視点調整手段４３と、視点調整手段４３からの指示に基づいてカメラ３の撮影画像データを加工するアフィン変換手段４２とを備える。
【００５５】
視点調整手段４３は、予め設定されているパラメータの値のうち車速センサ９から入力される車速検出値に基づくパラメータ値をアフィン変換手段４２に出力する。パラメータとしては、例えば、切り出し範囲、拡大率等が挙げられる。アフィン変換手段４２は、視点調整手段４３から入力されるパラメータの値に基づいて、カメラ３から入力される映像を加工処理して変換する。
【００５６】
次に、本実施の形態に係る運転支援装置の動作をより詳細に説明する。
【００５７】
仮に１０秒間以上、車速センサ９の出力が速度０ｋｍ／ｈを示した場合、視点調整手段４３は車両が停車状態にあると判断する。車両停車時には、運転者は車両側方の広い範囲をモニタ画面上で視認し安全確認を行うのが望ましく、このため、モニタ画面上に広い範囲の映像を表示する必要がある。
【００５８】
そこで、車両停車と判断されるときには、視点調整手段４２は、パラメータの値として、例えば、切り出し範囲を「画面全体」、拡大率を“１”と設定してアフィン変換手段４２に出力する。このときのカメラ３による撮影映像を表示したモニタ画面の画像を図１０に示す。図１０は、サイドミラーが開状態でカメラ３により撮像された映像がそのままはモニタ画面に表示された図である。
【００５９】
一方、移動中の車両の車速が５Ｋｍ／ｈ以下の場合、停車や駐車への移行状態にあると判断できる。この場合には、運転者から死角位置となる左側方のズーム映像がモニタ画面に表示されると、駐車運転に役に立つ。
【００６０】
そこで、視点調整手段４３は、運転者に対し車両側方位置の確認が容易となるようにズームした映像を提供するためのパラメータの値として、例えば、切り出し範囲を「画面中央領域（図１０中に示す切り取り枠４５）」、拡大率を“２”と設定し、アフィン変換手段４２に出力する。この結果、アフィン変換手段４２は、図１０中の枠４５内の映像をカメラ３の撮影画像データから切り出し、２倍に拡大した画像データを生成し、表示手段５に出力する。これにより、モニタ画面には図１１に示される映像が表示され、運転者は死角位置の状況を容易に把握可能となる。
【００６１】
このように、本実施の形態では、車速を検知し車速から判断される運転状況に合わせて画像変換が行われるため、例えば、幅寄せ時にはズーム映像が、エンジン始動時や左折時には広い範囲の映像が、それぞれ自動的に運転者に提供されることになる。
【００６２】
（第３の実施の形態）
図１２は、本発明の第３の実施の形態に係る運転支援装置のブロック構成図である。この運転支援装置は、車両周りを撮影するカメラ３と、サイドミラーの開閉状態を検出する状態センサ８と、車両の速度を検出する車速センサ９と、カメラ３の撮影画像データと状態センサ８の検出値と車速センサ９の検出値とを取り込んで前記撮影画像データを加工する画像変換手段４と、画像変換手段４によって変換された後の画像データをモニタ画面に表示する表示手段５とを備えて構成される。尚、この運転支援装置は、図１と同様に車両に取り付けられる。
【００６３】
カメラ３は、車両の左側方（右ハンドル車の場合）の運転者から死角になる領域を撮像するように設置され、状態センサ８は左側のサイドミラー近傍に設置され、車速センサ９は、例えば、ドライブシャフト近傍に設置される。
【００６４】
本実施の形態に係る画像変換手段４は、状態センサ８及び車速センサ９の各検出信号を受信する視点調整手段４３と、視点調整手段４３からの指示に基づいてカメラ３の撮影画像データをカメラ３の実際の設置位置とは異なる仮想視点から見た画像データに変換する視点変換手段４４とを備える。
【００６５】
図１３は、視点変換の説明図である。視点変換手段４４は、実際のカメラ３で撮影された映像を、路面投影変換を施してあたかも仮想視点に設置された仮想カメラ１１で撮像したかのような映像へと変換するものである。
【００６６】
路面上の点１２が、仮想カメラ１１の画素位置（Ｘ，Ｙ）に撮影され、カメラ３では画素位置（ｘ，ｙ）に撮影されるとする。このとき、画素（Ｘ，Ｙ）には画素（ｘ，ｙ）が対応する。これを仮想カメラ１１の全画素に対して実施することで、仮想カメラ１１による映像がカメラ３の撮像画像データから生成できる。
【００６７】
この様な視点変換の演算処理を全画素について演算処理手段が一々計算することも可能であるが、本実施の形態では、画素（Ｘ，Ｙ）と画素（ｘ，ｙ）との対応関係を全画素について予めマッピングテーブルとして用意しておき、実カメラ３の撮影映像をリアルタイムに視点変換することにしている。このマッピングテーブルは、カメラ３と仮想カメラ１１の夫々のカメラパラメータが決定されることで、予め計算して求めておくことができる。
【００６８】
このマッピングテーブルは仮想カメラ１１を設ける位置毎に予め用意しておき、各マッピングテーブルに番号を付けておく。そして、視点調整手段４３は、状態センサ８から入力されるサイドミラーの開閉状態と、車速センサ９から入力される車速検出値とに基づいて、使用するマッピングテーブルの番号を視点変換手段４４に指示する構成となっている。
【００６９】
図１４は、視点変換手段４４の詳細構成図である。この視点変換手段４４は、実カメラ３から入力される撮影画像データを一時的に記録するフレームメモリ２１と、複数のマッピングテーブルを記録したメモリ２２と、メモリ２２に記録されているマッピングテーブルに基づいてフレームメモリ２１から該当画素の値を読み出す画素読み出し手段２３と、読み出した画素値から出力画像信号を生成する映像信号生成手段２４とを備える。
【００７０】
画素読み出し手段２３は、視点変換手段４３から指示されるテーブル番号に基づいて、メモリ２２内に記録されている複数のマッピングテーブルの中から、例えば、マッピングテーブル♯２を選択する。これにより、以後の視点変換処理はマッピングテーブル♯２を参照して行われ、適当なタイミングでフレームメモリ２１内に記録されている画素値を読み出して映像信号生成手段２４へと出力する。映像信号生成手段２４は、入力される画素値から出力画像信号を生成して表示手段５に出力する。
【００７１】
次に、本実施の形態に係る運転支援装置の動作を説明する。
【００７２】
例えば、状態センサ８からはサイドミラー２が閉じられている信号が出力されており、車速センサ９からは３ｋｍ／ｈの低速で走行している信号が出力されているとする。
【００７３】
この場合、視点調整手段４３は、狭い道を走行中、あるいは、幅寄せ中であると判断して、あたかもサイドミラー２の上空２ｍの仮想位置に設置した仮想カメラからの映像へと変換するマッピングテーブルの番号「♯１」を視点変換手段４４に出力する。視点変換手段４４は、カメラ３から取り込んだ映像を、メモリ２２内の番号「♯１」のマッピングテーブルに従って変換して、表示手段５へ出力する。
【００７４】
図１５は、このときの実際のカメラ３によって撮影された画像を示す図である。車両の左側には車両に隣接する駐車スペースが格子模様で示してある。カメラ３は広角カメラであるため、遠近感の大きな画像となっており、遠方ほど歪んだ画像となっている。
【００７５】
上記の車両運転状況は「幅寄せ中」であるため、遠方の画像は運転者に不要であり、運転者から死角となる左前輪近傍のズーム画像が必要となっている。このとき使用されるマッピングテーブル♯１は、この図１５の映像中に示す矩形枠４５内を図１６に示す様にズームし、且つ、この矩形枠４５内のズームした映像を上視点２ｍから見た画像に変換して表示手段５のモニタ画面に表示するテーブルである。この様に変換されモニタ画面に表示された画像を図１７に示す。運転者は、この図１７の映像をモニタ画面で確認することで、幅寄せ運転を安心して行うことができる。
【００７６】
尚、上述した実施の形態では、幅寄せ運転中の場合に図１７の映像をモニタ画面に表示したが、運転者の指示入力に従って、図１５の映像、図１６の映像、図１７の映像を切り替える構成とすることでもよい。また、図１８に示す様に、モニタ画面を２分割し、左側領域Ｘ１には、例えば、カメラ３の撮影映像からレンズ歪みを除去し直線が直線として表示される様に補正した映像を表示し、右側領域Ｘ２には、あたかもサイドミラーの上空に設置した仮想カメラからの映像に変換した映像をそれぞれ表示することでもよい。
【００７７】
上述した実施の形態では、モニタ画面に表示する映像について説明したが、例えば、サイドミラーが閉状態にあること検出した信号が状態センサ８から出力され、且つ、２０ｋｍ／ｈの中速で走行している信号が車速センサ９から出力されていた場合、視点調整手段４３は、運転者が誤ってサイドミラーを閉じたまま運転していると判断して警告信号を出力する様にしてもよい。例えば、「サイドミラーを開いて下さい」とモニタ画面に表示したり、音声出力したりする。あるいは、警告信号とあわせて或いは警告信号に代えて自動的にサイドミラーを開動作させることでもよい。
【００７８】
このように、本実施の形態に係る運転支援装置は、サイドミラーの開閉状態と車速とを検知することで運転状況をより正しく決定でき、かつ、現在の運転状況に応じて、出力画像を加工し変換することが可能となり、現在の運転状況に適した自車両の側方近辺の映像をわかりやすく提供することが可能となる。なお、上記実施の形態に加え、運転支援装置に舵角センサや測距センサ等を付加することで、より詳細な運転状況を判断することも可能となる。
【００７９】
また、上述した各実施の形態では、サイドミラーの開状態、閉状態の２位置について映像を切り替える例について述べたが、サイドミラーの開閉角度によらず、常に同じような視線の映像で、かつ、自車両の側面画像を常にモニタ画面上で縦に表示することも可能である。これにより、運転者はサイドミラーの開閉状態や開閉角度を気にすることなくモニタ画面で自車両の側方映像を確認できる。
【００８０】
さらに、サイドミラーの開閉状態によらず、常に、自車両、あるいは、路面上の特定位置を常にモニタ上の同じ位置に表示するため、運転者が映像に映るものと自車両との相対位置関係を容易に把握可能となる。
【産業上の利用可能性】
【００８１】
本発明によれば、サイドミラーの開閉状態にかかわらず、常に自車両の側方近辺の映像を運転者に分かり易く提示できる優れた運転支援画像生成装置を提供でき、また、同一カメラで撮影した映像を運転状況に適した映像に適宜加工し変換して運転者に提示することができる運転支援画像生成装置を提供できる。
【図面の簡単な説明】
【００８２】
【図１】本発明の第１の実施の形態に係る運転支援装置を車両に取り付けた状態を示す模式図
【図２】本発明の第１の実施の形態に係る運転支援装置を搭載した車両の左側サイドミラーを上方から見た模式図
【図３】本発明の第１の実施の形態に係る運転支援装置におけるサイドミラー開閉状態の検出説明図であり、 （ａ）はサイドミラー開位置を示す図 （ｂ）はサイドミラー開閉の途中状態を示す図 （ｃ）はサイドミラー閉位置を示す図
【図４】本発明の第１の実施の形態に係る運転支援装置のブロック構成図
【図５】本発明の第１の実施の形態に係る運転支援装置のカメラがサイドミラー開状態時に撮影した映像を示す図
【図６】本発明の第１の実施の形態に係る運転支援装置のカメラがサイドミラー閉状態時に撮影した映像を示す図
【図７】本発明の第１の実施の形態に係る運転支援装置のアファン変換手段が図６に示す映像をアフィン変換した映像を示す図
【図８】本発明の第１の実施の形態に係る運転支援装置のアファン変換手段が図７に示す映像を位置調整した映像を示す図
【図９】本発明の第２の実施の形態に係る運転支援装置のブロック構成図
【図１０】本発明の第２の実施の形態に係る運転支援装置のカメラがサイドミラー開状態時に撮影した映像を示す図
【図１１】本発明の第２の実施の形態に係る運転支援装置のアファン変換手段が図１０に示す映像から切り出した範囲をズームした映像を示す図
【図１２】本発明の第３の実施の形態に係る運転支援装置のブロック構成図
【図１３】本発明の第３の実施の形態に係る運転支援装置の視点変換手段が行う視点変換の説明図
【図１４】本発明の第３の実施の形態に係る運転支援装置の視点変換手段の詳細構成図
【図１５】本発明の第３の実施の形態に係る運転支援装置のカメラがサイドミラー開状態時に撮影した映像を示す図
【図１６】本発明の第３の実施の形態に係る運転支援装置が図１５中の矩形枠内を拡大した映像を示す図
【図１７】本発明の第３の実施の形態に係る運転支援装置が図１６の映像を視点変換した映像を示す図
【図１８】本発明の第３の実施の形態に係る運転支援装置のモニタ画面の表示例を示す図
【符号の説明】
【００８３】
１ 車両
２ サイドミラー
３ カメラ
４ 画像変換手段
５ 表示手段
６ 軸
７ 押杆
８ 状態センサ
９ 車速センサ
１１ 仮想カメラ
２１ フレームメモリ
２２ マッピングテーブル格納用のメモリ
２３ 画素読み出し手段
２４ 映像信号生成手段
４１ 位置調整手段
４２ アフィン変換手段
４３ 視点調整手段
４４ 視点変換手段
【特許請求の範囲】
【請求項１】
車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、
前記車両の速度を検出する車速センサと、
前記車速センサの検出信号に基づいて、前記撮像手段から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、前記画像データを加工処理する画像変換手段と
を備えたことを特徴とする運転支援画像生成装置。
【請求項２】
前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中に映っている前記車両の側面の画像が前記車両内に設置されるモニタ画面上で縦方向に表示される様に前記加工処理を行うことを特徴とする請求項１に記載の運転支援画像生成装置。
【請求項３】
前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中の特定位置画像が前記車両内に設置されるモニタ画面上の所定位置に表示される様に前記加工処理を行うことを特徴とする請求項１または２に記載の運転支援画像生成装置。
【請求項４】
前記画像変換手段は、前記撮像手段による撮影映像を仮想視点から見た画像データに変換して前記車両内に設置されるモニタ画面に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の運転支援画像生成装置。
【請求項５】
車両に搭載され前記車両の周囲を撮像する撮像手段と、
前記車両の速度を検出する車速センサと、
前記車速センサの検出信号に基づいて、前記撮像手段から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、前記画像データを加工処理する画像変換手段と
を備えたことを特徴とする運転支援画像生成装置。
【請求項１】
車両に搭載された開閉式のサイドミラーを構成する筐体に取り付けられ前記車両の側方を撮像する撮像手段と、
前記車両の速度を検出する車速センサと、
前記車速センサの検出信号に基づいて、前記撮像手段から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、前記画像データを加工処理する画像変換手段と
を備えたことを特徴とする運転支援画像生成装置。
【請求項２】
前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中に映っている前記車両の側面の画像が前記車両内に設置されるモニタ画面上で縦方向に表示される様に前記加工処理を行うことを特徴とする請求項１に記載の運転支援画像生成装置。
【請求項３】
前記画像変換手段は、前記サイドミラーの開閉状態に関わらず前記撮像手段による撮影映像中の特定位置画像が前記車両内に設置されるモニタ画面上の所定位置に表示される様に前記加工処理を行うことを特徴とする請求項１または２に記載の運転支援画像生成装置。
【請求項４】
前記画像変換手段は、前記撮像手段による撮影映像を仮想視点から見た画像データに変換して前記車両内に設置されるモニタ画面に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の運転支援画像生成装置。
【請求項５】
車両に搭載され前記車両の周囲を撮像する撮像手段と、
前記車両の速度を検出する車速センサと、
前記車速センサの検出信号に基づいて、前記撮像手段から取り込んだ撮影映像の画像データを加工するためのパラメータを選択し、選択したパラメータに基づいて、前記画像データを加工処理する画像変換手段と
を備えたことを特徴とする運転支援画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−２７８５２６（Ｐ２００８−２７８５２６Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００８−１５６９７５（Ｐ２００８−１５６９７５）
【出願日】平成２０年６月１６日（２００８．６．１６）
【分割の表示】特願２００２−３６０８４６（Ｐ２００２−３６０８４６）の分割
【原出願日】平成１４年１２月１２日（２００２．１２．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成２０年６月１６日（２００８．６．１６）
【分割の表示】特願２００２−３６０８４６（Ｐ２００２−３６０８４６）の分割
【原出願日】平成１４年１２月１２日（２００２．１２．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]