画像処理装置
【課題】視認性の向上を図ることができる画像処理装置を提供する。
【解決手段】画像処理装置１では、自車両の周囲の障害物が動体である場合にその障害物の進路を推定し、推定された進路に基づいて自車両の前方の風景に重畳させる認識対象物の画像の表示の形態を変更する。これにより、障害物の進路上を予め避けて認識対象物の画像を表示させることができる。したがって、障害物が移動した後の位置においても認識対象物の画像が障害物に重畳して表示されることを避けることができる。その結果、運転者の視認性の向上を図ることができる。
【解決手段】画像処理装置１では、自車両の周囲の障害物が動体である場合にその障害物の進路を推定し、推定された進路に基づいて自車両の前方の風景に重畳させる認識対象物の画像の表示の形態を変更する。これにより、障害物の進路上を予め避けて認識対象物の画像を表示させることができる。したがって、障害物が移動した後の位置においても認識対象物の画像が障害物に重畳して表示されることを避けることができる。その結果、運転者の視認性の向上を図ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来の画像処置装置として、例えば特許文献１に記載されたものが知られている。特許文献１に記載の画像処置装置では、背景輝度値の分布状態から自車両の前方に存在する特定の対象物を推定し、対象物に表示画像（視覚情報）が重畳して表示されないように表示画像の位置を制御して視認性の向上を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の画像処理装置では、対象物の移動が考慮されていない。そのため、対象物が動体である場合には、移動した後の位置において対象物に表示画像が重畳して表示されるおそれがある。したがって、運転者の視認性が低下するといった問題があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、視認性の向上を図ることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理装置は、画像が自車両の前方の風景に重畳して表示手段に表示されるように画像の表示を制御する表示制御手段と、自車両の周囲の障害物を検出する障害物検出手段と、障害物検出手段によって検出された障害物が動体である場合に、当該障害物の進路を推定する進路推定手段とを備え、表示制御手段は、進路推定手段によって推定された障害物の進路に基づいて、画像の表示の形態を変更することを特徴とする。
【０００７】
この画像処理装置では、自車両の周囲の障害物が動体である場合にその障害物の進路を推定し、推定された進路に基づいて自車両の前方の風景に重畳させる画像の表示の形態を変更する。これにより、障害物の進路上を予め避けて画像を表示させることができる。したがって、障害物が移動した後の位置においても画像が障害物に重畳して表示されることを避けることができる。その結果、運転者の視認性の向上を図ることができる。
【０００８】
表示制御手段は、進路推定手段によって推定された障害物の進路上において障害物と画像とが重畳しないように、画像の表示位置及び／又はサイズの設定を行うことが好ましい。このように、障害物の進路上において対象物の画像が重畳しないように画像の表示位置及び／又はサイズの設定を行うことにより、障害物と画像とが重畳することをより確実に避けることができる。その結果、運転者の視認性の向上を更に図ることができる。
【０００９】
自車両の車速を検出する車速検出手段を更に備え、表示制御手段は、車速検出手段によって検出された自車両の車速に基づいて、画像のサイズを設定することが好ましい。運転者の視認性は、自車両の速度によって変化する。そのため、自車両の車速に応じて画像のサイズを変更することにより、運転者の視認性を更に向上させることができる。
【００１０】
自車両の前方で運転者が認識すべき認識対象物を検出する対象物検出手段を更に備え、表示制御手段は、対象物検出手段によって検出された認識対象物の画像を生成し、進路推定手段によって推定された障害物の進路上において障害物と認識対象物の画像とが重畳しないように、認識対象物の画像の表示位置及び／又はサイズの設定を行う。これにより、例えば交通標識等といった運転者が認識すべき認識対象物を好適に検出でき、この認識対象物の画像と障害物とが重畳することを避けることができる。
【００１１】
自車両の前方の画像を撮像する撮像手段を更に備え、対象物検出手段は、撮像手段によって撮像された画像に基づいて、運転者が認識すべき認識対象物を検出し、障害物検出手段は、画像撮像手段によって撮像された画像に基づいて、障害物を検出することが好ましい。このような構成によれば、対象物及び障害物を画像処理によって良好に検出することができる。
【発明の効果】
【００１２】
本発明によれば、運転者の視認性の向上を図ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る画像処理装置の構成を示す図である。
【図２】画像処理装置の動作を示すフローチャートである。
【図３】画像処理ＥＣＵにおける画像処理を示すフローチャートである。
【図４】表示の一例を示す図である。
【図５】表示の一例を示す図である。
【図６】表示の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【００１５】
図１は、本発明の一実施形態に係る画像処理装置の構成を示す図である。図１に示す画像処理装置１は、自車両のフロントスクリーン（表示手段）Ｓにおいて、自車両の前方の風景に標識等の画像を重畳させて表示させる装置である。図１に示すように、画像処理装置１は、画像処理ＥＣＵ２を備えている。画像処理ＥＣＵ２には、カメラ（画像撮像手段）３、車速センサ（車速検出手段）４、及び投影装置５が接続されている。
【００１６】
カメラ３は、自車両の前方を撮像し、車両前方の撮像画像を取得する。カメラ３は、取得した車両前方の撮像画像を画像情報として画像処理ＥＣＵ２に出力する。
【００１７】
車速センサ４は、自車両の車速を検出する。車速センサ４は、検出した自車両の車速を車速信号として画像処理ＥＣＵ２に出力する。
【００１８】
画像処理ＥＣＵ２は、対象物検出部（対象物検出手段）２１と、障害物検出部（障害物検出手段）２２と、進路推定部（進路推定手段）２３と、表示制御部（表示制御手段）２４とを備えている。画像処理ＥＣＵ２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random AccessMemory）等からなる電子制御ユニットである。
【００１９】
対象物検出部２１は、自車両の前方で運転者が認識すべき認識対象物を検出する部分である。対象物検出部２１は、カメラ３から出力された画像情報を受け取ると、運転者が認識すべき認識対象物を検出し、この認識対象物を運転者に対して表示を強調すべき対象物として認識する。運転者が認識すべき認識対象物とは、交通標識等である。また、対象物検出部２１では、道路、信号機、交差点等の自車両の前方に存在する種々の対象物についても認識する。対象物検出部２１による対象物の検出は、周知の画像処理技術を利用して行われる。対象物検出部２１は、検出した対象物を対象物情報として表示制御部２４に出力する。
【００２０】
障害物検出部２２は、自車両の周囲の障害物を検出する部分である。障害物検出部２２は、カメラ３から出力された画像情報を受け取ると、この画像情報に基づいて障害物を検出する。障害物検出部２２による障害物の検出は、周知の画像処理技術によって行われる。障害物検出部２２は、画像情報に基づいて検出した障害物を障害物情報として進路推定部２３に出力する。なお、ここで言う障害物とは、例えば、自転車、自動車、人等の自車両の走行に障害（影響）を与えるものである。
【００２１】
進路推定部２３は、障害物の進路を推定する部分である。進路推定部２３は、障害物検出部２２から出力された障害物情報を受け取ると、この障害物情報が示す障害物が動体であるか否かを判定する。具体的には、進路推定部２３は、例えば障害物情報が示す障害物が時間の経過と共に移動している（位置が変化している）場合には、障害物が動体であると判定する。進路推定部２３は、障害物が動体であると判定した場合には、障害物の進路を推定する。具体的には、進路推定部２３は、障害物の移動方向（進行方向）から、障害物の進路を推定する。進路推定部２３は、推定した障害物の進路を進路情報として表示制御部２４に出力する。
【００２２】
表示制御部２４は、自車両の前方の風景に認識対象物の画像が重畳するようにフロントスクリーン（表示手段）Ｓに認識対象物の画像を表示させる部分である。表示制御部２４は、対象物検出部２１から出力された対象物情報を受け取ると、対象物情報が示す認識対象物の画像を生成し、この画像が自車両前方の風景に重畳して表示されるように制御する。また、表示制御部２４は、自車両の前方の対象物及び障害物に応じて認識対象物の画像の表示形態を変更する。表示制御部２４は、認識対象物の画像のサイズを設定すると共に、認識対象物の画像の表示位置を設定する。具体的には、表示制御部２４は、人、自動車、自転車、道路、信号、交差点等に認識対象物の画像が重畳して表示されないように、認識対象物の画像のサイズ及び表示位置を最適化する画像処理を行う。
【００２３】
また、表示制御部２４は、障害物が動体である場合、障害物の進路に基づいて認識対象物の画像の表示形態を変更する。表示制御部２４は、進路推定部２３から出力された障害物進路情報を受け取ると、障害物進路情報が示す障害物の進路に認識対象物の画像が重畳するか否かを判定する。表示制御部２４は、障害物の進路に認識対象物の画像が重畳すると判定した場合には、障害物の進路上において障害物と認識対象物の画像とが重畳しないように、認識対象物の画像の表示を制御する。具体的には、表示制御部２４は、障害物進路情報が示す障害物の進路上に認識対象物の画像が表示されないように、対象物の画像のサイズ及び表示位置を設定する。
【００２４】
また、表示制御部２４は、車速センサ４から出力された車速信号に基づいて、認識対象物の表示形態を変更する。表示制御部２４は、車速センサ４から出力された車速信号を受け取ると、この車速信号が示す自車両の車速に基づいて、認識対象物の画像のサイズを変更する。より具体的には、表示制御部２４は、車速信号が自車両の停止状態を示している、すなわち車速が「０」又は所定速度以下である場合には、強調すべき認識対象物の画像のサイズが最大となる又は現状のサイズを維持するように設定する。そして、表示制御部２４は、車速信号が示す自車両の車速が増大するにつれて、或いは、所定の閾値を超える毎に、強調すべき認識対象物の画像のサイズが小さくなるように設定する。
【００２５】
また、表示制御部２４は、車速が所定速度以上（高速）である場合には、自車両から遠方に存在する認識対象物の画像が表示されるように設定する。すなわち、表示制御部２４は、自車両が所定速度以下で走行している場合には、遠方に存在している認識対象物を強調して表示させず、自車両が所定速度以上となった場合には、遠方に存在している認識対象物を強調して表示させるように制御する。表示制御部２４は、画像処理を行った画像データを投影装置５に出力する。
【００２６】
投影装置５は、フロントスクリーンＳに画像を投影する部分である。投影装置５は、表示制御部２４から出力された画像データに応じた画像を生成してフロントスクリーンＳに投影する。投影装置５は、例えばＨＵＤ（Head Up Display）である。なお、フロントスクリーンＳは、自車両のフロントウィンドウ（図示しない）の一部で構成されている。
【００２７】
続いて、画像処理装置１の動作について説明する。図２は、画像処理装置の動作を示すフローチャートである。
【００２８】
図２に示すように、まずカメラ３によって自車両の前方が撮像される（ステップＳ０１）。また、車速センサ４によって自車両の車速が検出される（ステップＳ０２）。次に、カメラ３によって撮像された撮像画像及び車速センサ４によって検出された自車両の車速に基づいて、画像処理ＥＣＵ２において画像処理が実施される（ステップＳ０３）。
【００２９】
図３は、画像処理ＥＣＵ２における画像処理を示すフローチャートである。図３に示すように、まずカメラ３によって撮像された撮像画像に基づいて、自車両の前方で運転者が認識すべき認識対象物が対象物検出部２１によって検出される（ステップＳ１１）。また、カメラ３によって撮像された撮像画像に基づいて、自車両の周囲の障害物が障害物検出部２２によって検出される（ステップＳ１２）。
【００３０】
続いて、障害物検出部２２によって検出された障害物が動体であるか否かが進路推定部２３によって判定される（ステップＳ１３）。障害物が動体であると判定された場合には、ステップＳ１６に進む。一方、障害物が動体であると判定されなかった場合には、ステップＳ１４に進む。
【００３１】
ステップＳ１４では、自車両の前方に存在する対象物と認識対象物の画像とが重畳して表示されないように、表示制御部２４において認識対象物の画像のサイズが設定される。また、表示制御部２４において、サイズが設定された認識対象物の画像の表示位置が設定される（ステップＳ１５）。具体的には、図４を参照して説明する。図４（ａ）に示すように、例えば自車両の前方に信号機Ｍが存在している場合、まず信号機Ｍに標識Ｈ１が重畳して表示されないように、標識Ｈ１の大きさを変更する（図４（ｂ））。次に、標識Ｈ２の画像が道路に重畳して表示されている場合には、図４（ｃ）に示すように、標識Ｈ２の画像が道路に重畳して表示されない位置に移動する。
【００３２】
図３に戻って、ステップＳ１６では、障害物の進路上において、障害物と認識対象物の画像とが重畳するか否かが表示制御部２４によって判定される。動体の障害物の進路上において障害物と認識対象物の画像とが重なると判定された場合には、ステップＳ１７に進む。一方、動体の障害物の進路上において障害物と認識対象物の画像とが重なると判定されなかった場合には、ステップＳ１９に進む。
【００３３】
ステップＳ１７では、自車両の前方に存在する動体の障害物と認識対象物の画像とが、障害物の進路上において重畳して表示されないように、表示制御部２４において認識対象物の画像のサイズが設定される。また、表示制御部２４において、サイズが変更された認識対象物の画像の表示位置が設定される（ステップＳ１８）。
【００３４】
具体的には、図５を参照して説明する。図５（ａ）に示すように、例えば自車両の前方を自転車Ｒが横切ろうとしており、自転車Ｒの進路上において自転車Ｒと標識Ｈの画像とが重畳して表示されてしまう場合には（図５（ｂ））、自転車Ｒの進路上に標識Ｈの画像が表示されないように、自転車Ｒに被らない位置、サイズで標識Ｈの強調表示となるように画像の設定を行う（図５（ｃ））。
【００３５】
図３に戻って、ステップＳ１９では、車速センサ４によって検出された自車両の車速が所定速度以下であるか否かが表示制御部２４にて判定される。具体的には、自車両の速度が低速又は自車両が停車中であるか否かが判定される。自車両の車速が所定速度以下であると判定された場合には、画像処理が終了する。一方、自車両の車速が所定速度以下であると判定されなかった場合には、認識対象物の画像のサイズが小さくなるように設定される（ステップＳ２０）。
【００３６】
具体的には、図６を参照しながら説明する。図６（ａ）に示すように、例えば自車両の車速が低速である場合には、標識Ｈ１の画像の現状のサイズを維持するように設定する。この後、図６（ｂ）に示すように、自車両の速度が増加した場合には、低速走行時よりも標識Ｈ１，Ｈ２の画像のサイズを小さくして表示すると共に、更に遠方に存在する標識Ｈ３の画像も表示されるように設定する。以上のような画像処理が画像処理ＥＣＵ２において実施される。
【００３７】
図２に戻って、画像処理ＥＣＵ２において画像処理が実施されると、画像処理ＥＣＵ２から投影装置５に画像データが出力され、この画像データに応じた画像が投影装置５によって生成されてフロントスクリーンＳに認識対象物の画像が投影されて表示される（ステップＳ０４）。
【００３８】
以上説明したように、画像処理装置１では、自車両の周囲の障害物が動体である場合にその障害物の進路を推定し、推定された進路に基づいて自車両の前方の風景に重畳させる認識対象物の画像の表示の形態を変更する。これにより、障害物の進路上を予め避けて認識対象物の画像を表示させることができる。したがって、障害物が移動した後の位置においても認識対象物の画像が障害物に重畳して表示されることを避けることができる。その結果、運転者の視認性の向上を図ることができる。
【００３９】
より詳しくは、表示制御部２４は、進路推定部２３によって推定された障害物の進路上において障害物と認識対象物の画像とが重畳して表示されないように、認識対象物の画像の表示位置及び認識対象物の画像のサイズを変更する。このように、障害物の進路上に認識対象物の画像が重畳して表示されないように認識対象物の画像の表示位置及び画像のサイズを変更することにより、障害物と認識対象物の画像とが重畳して表示されることをより確実に避けることができる。そのため、例えば自転車等が走行車線に急に進入してきた場合であっても、強調すべき画像によって運転者が自転車等を見失うことが防止され、走行の安全性を高めることができる。
【００４０】
また、車両の前方に存在する信号機、道路、交差点等の遮蔽されてしまうと走行の妨げになるものに認識対象物の画像が被って表示されることを防止することができるため、運転者の視界を十分に確保することができる。
【００４１】
また、車速センサ４によって検出された自車両の車速に基づいて、認識対象物の画像のサイズを変更している。運転者の視認性は、自車両の速度によって変化する。そのため、自車両の車速に応じて対象物の画像のサイズを変更することにより、運転者の視認性を更に向上させることができる。
【００４２】
本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では、画像を表示させる表示手段としてフロントスクリーンＳを用いているが、表示手段はフロントスクリーンＳだけに限定されず、車両に搭載されたディスプレイ等であってもよい。
【００４３】
また、上記実施形態では、障害物による認識対象物の画像の処理と、自車両の車速による認識対象物の画像の処理との両方の処理を行っているが、それぞれの処理が別々に行われてもよい。また、それぞれの処理が運転者によって選択されて実行されるようにしてもよい。
【００４４】
また、標識や信号機などの対象物や障害物の検出は、画像処理による検出の他、レーザセンサ等を組み合わせて検出する様態であってもよい。また、地図情報に含まれる対象物の位置情報等を利用して対象物を検出する様態であってもよい。
【００４５】
また、上記実施形態では、フロントスクリーンＳに重畳させる画像を認識対象物である交通標識としているが、画像は例えば自車両の速度を示す画像等であってもよい。
【符号の説明】
【００４６】
１…画像処理装置、２…画像処理ＥＣＵ、３…カメラ（画像撮像手段）、４…車速センサ（車速検出手段）、２１…対象物検出部（対象物検出手段）、２２…障害物検出部（障害物検出手段）、２３…進路推定部（進路推定手段）、２４…表示制御部（表示制御手段）、Ｓ…フロントスクリーン（表示手段）。
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来の画像処置装置として、例えば特許文献１に記載されたものが知られている。特許文献１に記載の画像処置装置では、背景輝度値の分布状態から自車両の前方に存在する特定の対象物を推定し、対象物に表示画像（視覚情報）が重畳して表示されないように表示画像の位置を制御して視認性の向上を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の画像処理装置では、対象物の移動が考慮されていない。そのため、対象物が動体である場合には、移動した後の位置において対象物に表示画像が重畳して表示されるおそれがある。したがって、運転者の視認性が低下するといった問題があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、視認性の向上を図ることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理装置は、画像が自車両の前方の風景に重畳して表示手段に表示されるように画像の表示を制御する表示制御手段と、自車両の周囲の障害物を検出する障害物検出手段と、障害物検出手段によって検出された障害物が動体である場合に、当該障害物の進路を推定する進路推定手段とを備え、表示制御手段は、進路推定手段によって推定された障害物の進路に基づいて、画像の表示の形態を変更することを特徴とする。
【０００７】
この画像処理装置では、自車両の周囲の障害物が動体である場合にその障害物の進路を推定し、推定された進路に基づいて自車両の前方の風景に重畳させる画像の表示の形態を変更する。これにより、障害物の進路上を予め避けて画像を表示させることができる。したがって、障害物が移動した後の位置においても画像が障害物に重畳して表示されることを避けることができる。その結果、運転者の視認性の向上を図ることができる。
【０００８】
表示制御手段は、進路推定手段によって推定された障害物の進路上において障害物と画像とが重畳しないように、画像の表示位置及び／又はサイズの設定を行うことが好ましい。このように、障害物の進路上において対象物の画像が重畳しないように画像の表示位置及び／又はサイズの設定を行うことにより、障害物と画像とが重畳することをより確実に避けることができる。その結果、運転者の視認性の向上を更に図ることができる。
【０００９】
自車両の車速を検出する車速検出手段を更に備え、表示制御手段は、車速検出手段によって検出された自車両の車速に基づいて、画像のサイズを設定することが好ましい。運転者の視認性は、自車両の速度によって変化する。そのため、自車両の車速に応じて画像のサイズを変更することにより、運転者の視認性を更に向上させることができる。
【００１０】
自車両の前方で運転者が認識すべき認識対象物を検出する対象物検出手段を更に備え、表示制御手段は、対象物検出手段によって検出された認識対象物の画像を生成し、進路推定手段によって推定された障害物の進路上において障害物と認識対象物の画像とが重畳しないように、認識対象物の画像の表示位置及び／又はサイズの設定を行う。これにより、例えば交通標識等といった運転者が認識すべき認識対象物を好適に検出でき、この認識対象物の画像と障害物とが重畳することを避けることができる。
【００１１】
自車両の前方の画像を撮像する撮像手段を更に備え、対象物検出手段は、撮像手段によって撮像された画像に基づいて、運転者が認識すべき認識対象物を検出し、障害物検出手段は、画像撮像手段によって撮像された画像に基づいて、障害物を検出することが好ましい。このような構成によれば、対象物及び障害物を画像処理によって良好に検出することができる。
【発明の効果】
【００１２】
本発明によれば、運転者の視認性の向上を図ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る画像処理装置の構成を示す図である。
【図２】画像処理装置の動作を示すフローチャートである。
【図３】画像処理ＥＣＵにおける画像処理を示すフローチャートである。
【図４】表示の一例を示す図である。
【図５】表示の一例を示す図である。
【図６】表示の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【００１５】
図１は、本発明の一実施形態に係る画像処理装置の構成を示す図である。図１に示す画像処理装置１は、自車両のフロントスクリーン（表示手段）Ｓにおいて、自車両の前方の風景に標識等の画像を重畳させて表示させる装置である。図１に示すように、画像処理装置１は、画像処理ＥＣＵ２を備えている。画像処理ＥＣＵ２には、カメラ（画像撮像手段）３、車速センサ（車速検出手段）４、及び投影装置５が接続されている。
【００１６】
カメラ３は、自車両の前方を撮像し、車両前方の撮像画像を取得する。カメラ３は、取得した車両前方の撮像画像を画像情報として画像処理ＥＣＵ２に出力する。
【００１７】
車速センサ４は、自車両の車速を検出する。車速センサ４は、検出した自車両の車速を車速信号として画像処理ＥＣＵ２に出力する。
【００１８】
画像処理ＥＣＵ２は、対象物検出部（対象物検出手段）２１と、障害物検出部（障害物検出手段）２２と、進路推定部（進路推定手段）２３と、表示制御部（表示制御手段）２４とを備えている。画像処理ＥＣＵ２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random AccessMemory）等からなる電子制御ユニットである。
【００１９】
対象物検出部２１は、自車両の前方で運転者が認識すべき認識対象物を検出する部分である。対象物検出部２１は、カメラ３から出力された画像情報を受け取ると、運転者が認識すべき認識対象物を検出し、この認識対象物を運転者に対して表示を強調すべき対象物として認識する。運転者が認識すべき認識対象物とは、交通標識等である。また、対象物検出部２１では、道路、信号機、交差点等の自車両の前方に存在する種々の対象物についても認識する。対象物検出部２１による対象物の検出は、周知の画像処理技術を利用して行われる。対象物検出部２１は、検出した対象物を対象物情報として表示制御部２４に出力する。
【００２０】
障害物検出部２２は、自車両の周囲の障害物を検出する部分である。障害物検出部２２は、カメラ３から出力された画像情報を受け取ると、この画像情報に基づいて障害物を検出する。障害物検出部２２による障害物の検出は、周知の画像処理技術によって行われる。障害物検出部２２は、画像情報に基づいて検出した障害物を障害物情報として進路推定部２３に出力する。なお、ここで言う障害物とは、例えば、自転車、自動車、人等の自車両の走行に障害（影響）を与えるものである。
【００２１】
進路推定部２３は、障害物の進路を推定する部分である。進路推定部２３は、障害物検出部２２から出力された障害物情報を受け取ると、この障害物情報が示す障害物が動体であるか否かを判定する。具体的には、進路推定部２３は、例えば障害物情報が示す障害物が時間の経過と共に移動している（位置が変化している）場合には、障害物が動体であると判定する。進路推定部２３は、障害物が動体であると判定した場合には、障害物の進路を推定する。具体的には、進路推定部２３は、障害物の移動方向（進行方向）から、障害物の進路を推定する。進路推定部２３は、推定した障害物の進路を進路情報として表示制御部２４に出力する。
【００２２】
表示制御部２４は、自車両の前方の風景に認識対象物の画像が重畳するようにフロントスクリーン（表示手段）Ｓに認識対象物の画像を表示させる部分である。表示制御部２４は、対象物検出部２１から出力された対象物情報を受け取ると、対象物情報が示す認識対象物の画像を生成し、この画像が自車両前方の風景に重畳して表示されるように制御する。また、表示制御部２４は、自車両の前方の対象物及び障害物に応じて認識対象物の画像の表示形態を変更する。表示制御部２４は、認識対象物の画像のサイズを設定すると共に、認識対象物の画像の表示位置を設定する。具体的には、表示制御部２４は、人、自動車、自転車、道路、信号、交差点等に認識対象物の画像が重畳して表示されないように、認識対象物の画像のサイズ及び表示位置を最適化する画像処理を行う。
【００２３】
また、表示制御部２４は、障害物が動体である場合、障害物の進路に基づいて認識対象物の画像の表示形態を変更する。表示制御部２４は、進路推定部２３から出力された障害物進路情報を受け取ると、障害物進路情報が示す障害物の進路に認識対象物の画像が重畳するか否かを判定する。表示制御部２４は、障害物の進路に認識対象物の画像が重畳すると判定した場合には、障害物の進路上において障害物と認識対象物の画像とが重畳しないように、認識対象物の画像の表示を制御する。具体的には、表示制御部２４は、障害物進路情報が示す障害物の進路上に認識対象物の画像が表示されないように、対象物の画像のサイズ及び表示位置を設定する。
【００２４】
また、表示制御部２４は、車速センサ４から出力された車速信号に基づいて、認識対象物の表示形態を変更する。表示制御部２４は、車速センサ４から出力された車速信号を受け取ると、この車速信号が示す自車両の車速に基づいて、認識対象物の画像のサイズを変更する。より具体的には、表示制御部２４は、車速信号が自車両の停止状態を示している、すなわち車速が「０」又は所定速度以下である場合には、強調すべき認識対象物の画像のサイズが最大となる又は現状のサイズを維持するように設定する。そして、表示制御部２４は、車速信号が示す自車両の車速が増大するにつれて、或いは、所定の閾値を超える毎に、強調すべき認識対象物の画像のサイズが小さくなるように設定する。
【００２５】
また、表示制御部２４は、車速が所定速度以上（高速）である場合には、自車両から遠方に存在する認識対象物の画像が表示されるように設定する。すなわち、表示制御部２４は、自車両が所定速度以下で走行している場合には、遠方に存在している認識対象物を強調して表示させず、自車両が所定速度以上となった場合には、遠方に存在している認識対象物を強調して表示させるように制御する。表示制御部２４は、画像処理を行った画像データを投影装置５に出力する。
【００２６】
投影装置５は、フロントスクリーンＳに画像を投影する部分である。投影装置５は、表示制御部２４から出力された画像データに応じた画像を生成してフロントスクリーンＳに投影する。投影装置５は、例えばＨＵＤ（Head Up Display）である。なお、フロントスクリーンＳは、自車両のフロントウィンドウ（図示しない）の一部で構成されている。
【００２７】
続いて、画像処理装置１の動作について説明する。図２は、画像処理装置の動作を示すフローチャートである。
【００２８】
図２に示すように、まずカメラ３によって自車両の前方が撮像される（ステップＳ０１）。また、車速センサ４によって自車両の車速が検出される（ステップＳ０２）。次に、カメラ３によって撮像された撮像画像及び車速センサ４によって検出された自車両の車速に基づいて、画像処理ＥＣＵ２において画像処理が実施される（ステップＳ０３）。
【００２９】
図３は、画像処理ＥＣＵ２における画像処理を示すフローチャートである。図３に示すように、まずカメラ３によって撮像された撮像画像に基づいて、自車両の前方で運転者が認識すべき認識対象物が対象物検出部２１によって検出される（ステップＳ１１）。また、カメラ３によって撮像された撮像画像に基づいて、自車両の周囲の障害物が障害物検出部２２によって検出される（ステップＳ１２）。
【００３０】
続いて、障害物検出部２２によって検出された障害物が動体であるか否かが進路推定部２３によって判定される（ステップＳ１３）。障害物が動体であると判定された場合には、ステップＳ１６に進む。一方、障害物が動体であると判定されなかった場合には、ステップＳ１４に進む。
【００３１】
ステップＳ１４では、自車両の前方に存在する対象物と認識対象物の画像とが重畳して表示されないように、表示制御部２４において認識対象物の画像のサイズが設定される。また、表示制御部２４において、サイズが設定された認識対象物の画像の表示位置が設定される（ステップＳ１５）。具体的には、図４を参照して説明する。図４（ａ）に示すように、例えば自車両の前方に信号機Ｍが存在している場合、まず信号機Ｍに標識Ｈ１が重畳して表示されないように、標識Ｈ１の大きさを変更する（図４（ｂ））。次に、標識Ｈ２の画像が道路に重畳して表示されている場合には、図４（ｃ）に示すように、標識Ｈ２の画像が道路に重畳して表示されない位置に移動する。
【００３２】
図３に戻って、ステップＳ１６では、障害物の進路上において、障害物と認識対象物の画像とが重畳するか否かが表示制御部２４によって判定される。動体の障害物の進路上において障害物と認識対象物の画像とが重なると判定された場合には、ステップＳ１７に進む。一方、動体の障害物の進路上において障害物と認識対象物の画像とが重なると判定されなかった場合には、ステップＳ１９に進む。
【００３３】
ステップＳ１７では、自車両の前方に存在する動体の障害物と認識対象物の画像とが、障害物の進路上において重畳して表示されないように、表示制御部２４において認識対象物の画像のサイズが設定される。また、表示制御部２４において、サイズが変更された認識対象物の画像の表示位置が設定される（ステップＳ１８）。
【００３４】
具体的には、図５を参照して説明する。図５（ａ）に示すように、例えば自車両の前方を自転車Ｒが横切ろうとしており、自転車Ｒの進路上において自転車Ｒと標識Ｈの画像とが重畳して表示されてしまう場合には（図５（ｂ））、自転車Ｒの進路上に標識Ｈの画像が表示されないように、自転車Ｒに被らない位置、サイズで標識Ｈの強調表示となるように画像の設定を行う（図５（ｃ））。
【００３５】
図３に戻って、ステップＳ１９では、車速センサ４によって検出された自車両の車速が所定速度以下であるか否かが表示制御部２４にて判定される。具体的には、自車両の速度が低速又は自車両が停車中であるか否かが判定される。自車両の車速が所定速度以下であると判定された場合には、画像処理が終了する。一方、自車両の車速が所定速度以下であると判定されなかった場合には、認識対象物の画像のサイズが小さくなるように設定される（ステップＳ２０）。
【００３６】
具体的には、図６を参照しながら説明する。図６（ａ）に示すように、例えば自車両の車速が低速である場合には、標識Ｈ１の画像の現状のサイズを維持するように設定する。この後、図６（ｂ）に示すように、自車両の速度が増加した場合には、低速走行時よりも標識Ｈ１，Ｈ２の画像のサイズを小さくして表示すると共に、更に遠方に存在する標識Ｈ３の画像も表示されるように設定する。以上のような画像処理が画像処理ＥＣＵ２において実施される。
【００３７】
図２に戻って、画像処理ＥＣＵ２において画像処理が実施されると、画像処理ＥＣＵ２から投影装置５に画像データが出力され、この画像データに応じた画像が投影装置５によって生成されてフロントスクリーンＳに認識対象物の画像が投影されて表示される（ステップＳ０４）。
【００３８】
以上説明したように、画像処理装置１では、自車両の周囲の障害物が動体である場合にその障害物の進路を推定し、推定された進路に基づいて自車両の前方の風景に重畳させる認識対象物の画像の表示の形態を変更する。これにより、障害物の進路上を予め避けて認識対象物の画像を表示させることができる。したがって、障害物が移動した後の位置においても認識対象物の画像が障害物に重畳して表示されることを避けることができる。その結果、運転者の視認性の向上を図ることができる。
【００３９】
より詳しくは、表示制御部２４は、進路推定部２３によって推定された障害物の進路上において障害物と認識対象物の画像とが重畳して表示されないように、認識対象物の画像の表示位置及び認識対象物の画像のサイズを変更する。このように、障害物の進路上に認識対象物の画像が重畳して表示されないように認識対象物の画像の表示位置及び画像のサイズを変更することにより、障害物と認識対象物の画像とが重畳して表示されることをより確実に避けることができる。そのため、例えば自転車等が走行車線に急に進入してきた場合であっても、強調すべき画像によって運転者が自転車等を見失うことが防止され、走行の安全性を高めることができる。
【００４０】
また、車両の前方に存在する信号機、道路、交差点等の遮蔽されてしまうと走行の妨げになるものに認識対象物の画像が被って表示されることを防止することができるため、運転者の視界を十分に確保することができる。
【００４１】
また、車速センサ４によって検出された自車両の車速に基づいて、認識対象物の画像のサイズを変更している。運転者の視認性は、自車両の速度によって変化する。そのため、自車両の車速に応じて対象物の画像のサイズを変更することにより、運転者の視認性を更に向上させることができる。
【００４２】
本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では、画像を表示させる表示手段としてフロントスクリーンＳを用いているが、表示手段はフロントスクリーンＳだけに限定されず、車両に搭載されたディスプレイ等であってもよい。
【００４３】
また、上記実施形態では、障害物による認識対象物の画像の処理と、自車両の車速による認識対象物の画像の処理との両方の処理を行っているが、それぞれの処理が別々に行われてもよい。また、それぞれの処理が運転者によって選択されて実行されるようにしてもよい。
【００４４】
また、標識や信号機などの対象物や障害物の検出は、画像処理による検出の他、レーザセンサ等を組み合わせて検出する様態であってもよい。また、地図情報に含まれる対象物の位置情報等を利用して対象物を検出する様態であってもよい。
【００４５】
また、上記実施形態では、フロントスクリーンＳに重畳させる画像を認識対象物である交通標識としているが、画像は例えば自車両の速度を示す画像等であってもよい。
【符号の説明】
【００４６】
１…画像処理装置、２…画像処理ＥＣＵ、３…カメラ（画像撮像手段）、４…車速センサ（車速検出手段）、２１…対象物検出部（対象物検出手段）、２２…障害物検出部（障害物検出手段）、２３…進路推定部（進路推定手段）、２４…表示制御部（表示制御手段）、Ｓ…フロントスクリーン（表示手段）。
【特許請求の範囲】
【請求項１】
画像が自車両の前方の風景に重畳して表示手段に表示されるように前記画像の表示を制御する表示制御手段と、
前記自車両の周囲の障害物を検出する障害物検出手段と、
前記障害物検出手段によって検出された前記障害物が動体である場合に、当該障害物の進路を推定する進路推定手段とを備え、
前記表示制御手段は、前記進路推定手段によって推定された前記障害物の進路に基づいて、前記画像の表示の形態を変更することを特徴とする画像処理装置。
【請求項２】
前記表示制御手段は、前記進路推定手段によって推定された前記障害物の進路上において前記障害物と前記画像とが重畳しないように、前記画像の表示位置及び／又はサイズの設定を行う請求項１記載の画像処理装置。
【請求項３】
前記自車両の車速を検出する車速検出手段を更に備え、
前記表示制御手段は、前記車速検出手段によって検出された前記自車両の車速に基づいて、前記画像のサイズを設定する請求項１又は２記載の画像処理装置。
【請求項４】
前記自車両の前方で運転者が認識すべき認識対象物を検出する対象物検出手段を更に備え、
前記表示制御手段は、前記対象物検出手段によって検出された前記認識対象物の画像を生成し、前記進路推定手段によって推定された前記障害物の進路上において前記障害物と前記認識対象物の画像とが重畳しないように、前記認識対象物の画像の表示位置及び／又はサイズの設定を行う請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
前記自車両の前方の画像を撮像する撮像手段を更に備え、
前記対象物検出手段は、前記撮像手段によって撮像された前記画像に基づいて、前記運転者が認識すべき前記認識対象物を検出し、
前記障害物検出手段は、前記画像撮像手段によって撮像された前記画像に基づいて、前記障害物を検出する請求項４記載の画像処理装置。
【請求項１】
画像が自車両の前方の風景に重畳して表示手段に表示されるように前記画像の表示を制御する表示制御手段と、
前記自車両の周囲の障害物を検出する障害物検出手段と、
前記障害物検出手段によって検出された前記障害物が動体である場合に、当該障害物の進路を推定する進路推定手段とを備え、
前記表示制御手段は、前記進路推定手段によって推定された前記障害物の進路に基づいて、前記画像の表示の形態を変更することを特徴とする画像処理装置。
【請求項２】
前記表示制御手段は、前記進路推定手段によって推定された前記障害物の進路上において前記障害物と前記画像とが重畳しないように、前記画像の表示位置及び／又はサイズの設定を行う請求項１記載の画像処理装置。
【請求項３】
前記自車両の車速を検出する車速検出手段を更に備え、
前記表示制御手段は、前記車速検出手段によって検出された前記自車両の車速に基づいて、前記画像のサイズを設定する請求項１又は２記載の画像処理装置。
【請求項４】
前記自車両の前方で運転者が認識すべき認識対象物を検出する対象物検出手段を更に備え、
前記表示制御手段は、前記対象物検出手段によって検出された前記認識対象物の画像を生成し、前記進路推定手段によって推定された前記障害物の進路上において前記障害物と前記認識対象物の画像とが重畳しないように、前記認識対象物の画像の表示位置及び／又はサイズの設定を行う請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
前記自車両の前方の画像を撮像する撮像手段を更に備え、
前記対象物検出手段は、前記撮像手段によって撮像された前記画像に基づいて、前記運転者が認識すべき前記認識対象物を検出し、
前記障害物検出手段は、前記画像撮像手段によって撮像された前記画像に基づいて、前記障害物を検出する請求項４記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１５３２５６（Ｐ２０１２−１５３２５６Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４１９３（Ｐ２０１１−１４１９３）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]