画像表示装置及び制御方法
【課題】実写画像に基づき案内表示を行う際に、好適に障害物を透過して表示可能な画像表示装置を提供する。
【解決手段】画像表示装置は、移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、移動体の現在位置を示す情報を取得する現在位置取得手段と、現在位置が、移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、信号機が見える位置であると判定され、かつ、取得された画像に信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、画像処理が施された画像を表示させる表示制御手段と、を備える。
【解決手段】画像表示装置は、移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、移動体の現在位置を示す情報を取得する現在位置取得手段と、現在位置が、移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、信号機が見える位置であると判定され、かつ、取得された画像に信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、画像処理が施された画像を表示させる表示制御手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体から撮影された画像に基づき情報を表示する技術に関する。
【背景技術】
【０００２】
従来から、ナビゲーション装置などで地図を表示する際、一部の表示を半透明化する技術が知られている。例えば、特許文献１には、地図情報に基づき生成した３次元の地図を表示する際に、車−車間通信に基づき他の車両を隠す建築物があると判断した場合、当該建築物を半透明の画像で表示する技術が開示されている。また、特許文献２には、地図データに基づいて、道路および立体的な建物の画像を表示させ、ウィンカがオンされたことを検出すると、前方の道路形状に基づいて、立体的な建物の画像を透過的に表示させる透過表示領域を定め、その領域の建物の画像を透過的に表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２０７９４３号公報
【特許文献２】特開２００４−２３３５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラで撮影した実写画像に基づき案内表示を行う場合、運転上必要な信号機の表示や、歩行者などの注目すべき物（危険物）の表示が、障害物によって隠れてしまう場合がある。
【０００５】
本発明は、上記のような課題を解決するためになされたものであり、実写画像に基づき案内表示を行う際に、好適に障害物を透過して表示可能な情報表示装置を提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、画像表示装置であって、移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、前記移動体の現在位置を示す情報を取得する現在位置取得手段と、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、前記画像処理が施された画像を表示させる表示制御手段と、を備えることを特徴とする。
請求項４に記載の発明は、画像表示装置が実行する制御方法であって、移動体の進行方向の風景を撮影した実写画像を取得する画像取得工程と、前記移動体の現在位置を示す情報を取得する現在位置取得工程と、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定工程と、前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断工程と、前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理工程と、前記画像処理が施された画像を表示させる表示制御工程と、を有することを特徴とする。
【図面の簡単な説明】
【０００７】
【図１】各実施例に共通した情報表示システムの概略構成を示す。
【図２】（ａ）は、所定の場所を走行中に生成されたカメラ画像の一例を示す。（ｂ）は、（ａ）に対応するリファレンス画像の一例を示す。
【図３】カメラ画像及びリファレンス画像に基づき生成された表示画像の一例である。
【図４】第１実施例の処理手順を示すフローチャートの一例である。
【図５】第２実施例の処理手順を示すフローチャートの一例である。
【図６】第２実施例の処理を具体的に示した図である。
【図７】（ａ）は、右折地点を走行する直前に撮影されたカメラ画像の一例を示す。（ｂ）は、（ａ）のカメラ画像に基づき生成された表示画像の一例である。
【図８】第３実施例の処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【０００８】
本発明の好適な実施形態によれば、情報表示装置は、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段と、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段と、前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段と、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段と、を有する。
【０００９】
第一取得手段は、移動体の現在位置から所定の方向を撮影した実写画像を取得する。特定手段は、実写画像に含まれる第一撮影対象のうち、所定の方向に対して死角を形成している障害物を特定する。第二取得手段は、障害物が無い場合に、第一取得手段が取得できる第二撮影対象の画像を取得する。表示制御手段は、第二撮影対象の画像に基づいて、障害物を透過させて実写画像を表示手段に表示させる。このようにすることで、情報表示装置は、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
【００１０】
上記の情報表示装置の一態様では、前記表示制御手段は、前記第一取得手段により取得された実写画像に透過処理を施し、透過画像を生成する透過画像生成手段を備え、前記透過画像と前記第二撮影対象の画像を重ねて表示することで、前記障害物を透過させる。この態様により、情報表示装置は、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
【００１１】
上記の情報表示装置の一態様では、前記第二取得手段は、前記第一取得手段が前記実写画像を取得した時とは異なるタイミングで前記第二撮影対象の画像を取得する。この態様により、情報表示装置は、好適に、第二撮影対象の画像を取得し、障害物を透過させた実写画像を表示することができる。
【００１２】
上記の情報表示装置の一態様では、前記第二撮影対象の画像は、前記移動体又は他の移動体により撮影された画像であり、前記第二取得手段は、前記第二撮影対象の画像を記憶するサーバ装置から、前記第二撮影対象の画像を取得する。この態様により、情報表示装置は、好適に、第二撮影対象の画像を取得し、障害物を透過させた実写画像を表示することができる。
【００１３】
上記の情報表示装置の一態様では、前記障害物が形成する死角に存在する運転上注意すべき危険物を特定する危険物特定手段と、前記危険物を表す表示を決定する危険物表示決定手段と、をさらに備え、前記表示制御手段は、透過された前記障害物の表示に、前記危険物表示決定手段が決定した前記危険物を表す表示を重畳させることを特徴とする。ここで、「危険物」とは、運転上注意すべき対象として予め定められたものであって、例えば、歩行者、動物、荷物などの能動的又は受動的に動く物体を指す。このようにすることで、情報表示装置は、障害物に隠れた危険物を明確に表示させ、注意喚起を促すことができる。
【００１４】
上記の情報表示装置の一態様では、前記危険物特定手段は、前記危険物の種類を特定し、前記表示危険物表示決定手段は、前記危険物の種類に基づき、前記危険物を表す表示を決定する。これにより、情報表示装置は、障害物に隠れた危険物を運転者により容易に特定させることができる。
【００１５】
本発明の他の実施形態によれば、情報表示装置により実行される制御方法であって、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得工程と、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定工程と、前記障害物が無い場合に、前記第一取得工程が取得できる第二撮影対象の画像を取得する第二取得工程と、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御工程と、を備える。情報表示装置は、この制御方法を用いることで、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
【００１６】
本発明のさらに別の実施形態によれば、情報表示装置により実行されるプログラムであって、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段、前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段、として前記情報表示装置を機能させる。情報表示装置は、このプログラムを搭載して実行することで、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。
【実施例】
【００１７】
以下、図面を参照して本発明の好適な第１実施例乃至第３実施例について説明する。以後では、「危険物」とは、運転上注意すべきものを指し、例えば、歩行者、動物、荷物などの能動的又は受動的に動くものを指す。また、「静的障害物」とは、建物などの地図データに登録されている可動性のある障害物を指し、「動的障害物」とは、地図データに登録されている可能性がない車両などの可動性のある障害物を指す。
【００１８】
［システム構成］
図１は、本発明の各実施例に共通した情報表示システムの概略構成を示す。なお、以下に説明する実施例は、本発明の情報表示装置を車両のナビゲーション装置に適用した例である。
【００１９】
図１に示すように、情報表示システムは、サーバ装置１と、複数の車両（ここでは、車両２、車両２Ａ、車両２Ｂ）と、インターネットなどの通信網５と、を有する。
【００２０】
サーバ装置１は、複数の車両と通信可能に構成され、各車両で撮影された画像（「リファレンス画像Ｉｒｅｆ」とも呼ぶ。）を管理する。具体的には、サーバ装置１は、リファレンス画像データベース（以下、データベースを「ＤＢ」と表記する。）１０を備え、各車両から送信された撮影画像を、リファレンス画像Ｉｒｅｆとして記憶する。このとき、好適には、サーバ装置１は、各車両から送信された撮影画像のうち、動的障害物が表示されていない撮影画像のみを、リファレンス画像Ｉｒｅｆとしてリファレンス画像ＤＢ１０に記憶する。このように、リファレンス画像Ｉｒｅｆは、本発明における「第二撮影対象の画像」の一例である。
【００２１】
また、リファレンス画像ＤＢ１０は、各リファレンス画像Ｉｒｅｆを、その撮影位置及び撮影方向の情報と関連付けて記憶する。そして、サーバ装置１は、車両２からの要求に基づき、リファレンス画像Ｉｒｅｆを車両２に送信する。
【００２２】
車両２は、フロントカメラ２７と、バックカメラ２８と、ナビゲーション装置２０とを備える。フロントカメラ２７は、車両２に搭載され、車両２の進行方向を撮影する位置に設置される。フロントカメラ２７は、撮影した画像（「カメラ画像Ｉｆ」とも呼ぶ。）をナビゲーション装置２０へ出力する。
【００２３】
同様に、バックカメラ２８は、車両２に搭載され、車両２の後進方向を撮影する位置に設置される。バックカメラ２８は、撮影した画像（「カメラ画像Ｉｂ」とも呼ぶ。）をナビゲーション装置２０へ出力する。カメラ画像Ｉｆ、Ｉｂは、本発明における「実写画像」の一例である。
【００２４】
ナビゲーション装置２０は、記憶部２１と、制御部２２と、無線通信部２３と、ＧＰＳ受信機２４と、表示部２５と、を備える。
【００２５】
記憶部２１は、制御部２２の制御に必要な情報を記憶する。記憶部２１は、地図ＤＢ２１０を備える。地図ＤＢ２１０は、ナビゲーション装置２０による地図表示や経路案内などの処理に必要な地図情報を記憶している。
【００２６】
無線通信部２３は、通信網５を通じてサーバ装置１と通信するための通信処理を実行する。通常、無線通信部２３は、携帯電話、携帯型端末装置などの通信機能を利用し、無線通信によりサーバ装置１と通信する。
【００２７】
ＧＰＳ受信機２４は、複数のＧＰＳ衛星等から受信した緯度及び経度情報等から車両２の絶対的な位置（現在位置）を検出する。そして、ＧＰＳ受信機２４は、取得した現在位置の情報を制御部２２へ一定又は不定の周期で送信する。
【００２８】
表示部２５は、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
【００２９】
制御部２２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでおり、ナビゲーション装置２０全体を制御する。また、制御部２２は、画像処理エンジンを備え、カメラ画像Ｉｆ、Ｉｂの画像処理を行う。そして、制御部２２は、カメラ画像Ｉｆ、Ｉｂ及びリファレンス画像Ｉｒｅｆを用いて、表示部２５に表示させる画像（以後、「表示画像Ｉｖ」とも呼ぶ。）を生成する。そして、制御部２２は、本発明における「第一取得手段」、「特定手段」、「第二取得手段」、「表示制御手段」、「透過画像生成手段」、「危険物特定手段」、及び「危険物表示決定手段」として機能する。
【００３０】
［第１実施例］
第１実施例では、概略的には、制御部２２は、死角を形成する動的障害物をカメラ画像Ｉｆから検出した場合、当該動的障害物を半透明化し、死角部分に存在する信号機等の所定の対象物を視認可能にした表示画像Ｉｖを生成する。これにより、制御部２２は、制御部２２は、動的障害物の死角にある信号機などを表示させ、利便性を向上させる。
【００３１】
これについて、図２及び図３を参照して説明する。図２（ａ）は、所定の場所を走行中に生成されたカメラ画像Ｉｆの一例を示す。図２（ｂ）は、図２（ａ）と同一の場所又はその近傍で同一方向に向けて撮影されたリファレンス画像Ｉｒｅｆの一例を示す。
【００３２】
まず、制御部２２は、カメラ画像Ｉｆから、信号機の表示を妨げる動的障害物があることを検出する。ここでは、制御部２２は、図２（ａ）に示すカメラ画像Ｉｆから、トラック４１を動的障害物として特定したものとする。
【００３３】
ここで、動的障害物の特定方法について補足説明する。例えば、制御部２２は、地図データに基づき、現在位置が、信号機が見える位置であると判断した場合、カメラ画像Ｉｆから信号機をパターンマッチングなどの手法により検出する。そして、カメラ画像Ｉｆから信号機を検出できた場合、動的障害物がないと判断する。一方、制御部２２は、カメラ画像Ｉｆから信号機を検出できなかった場合、動的障害物があると判断し、信号機が表示されると推定される部分を含む領域を、動的障害物の表示領域とする。他の例では、制御部２２は、カメラ画像Ｉｆを近接した類似画素ごとに領域分割し、空や道路以外の領域であって、所定画素以上を含む領域を、動的障害物の表示領域と特定する。
【００３４】
次に、制御部２２は、リファレンス画像Ｉｒｅｆの要求情報をサーバ装置１に送信し、図２（ａ）に示すカメラ画像Ｉｆに対応するリファレンス画像Ｉｒｅｆ（図２（ｂ）参照）をサーバ装置１から受信する。ここで、上述の要求情報は、ＧＰＳ受信機２４により特定した現在位置の情報と、カメラ画像Ｉｆの撮影方向（即ち、車両２の進行方向）の情報とを含む。
【００３５】
そして、制御部２２は、カメラ画像Ｉｆと、当該リファレンス画像Ｉｒｅｆとに基づき、トラック４１に半透明化処理（透過処理）を施した表示画像Ｉｖを生成する。トラック４１を半透明化する画像処理方法については、後述する図４のフローチャートを用いて具体的に説明する。
【００３６】
図３は、図２（ａ）に示すカメラ画像Ｉｆ及び図２（ｂ）に示すリファレンス画像Ｉｒｅｆに基づき生成された表示画像Ｉｖの一例である。なお、図３以降では、便宜上、斑点が付された領域は、半透明部分を示すものとする。
【００３７】
図３に示す表示画像Ｉｖでは、トラック４１が半透明化されていることにより、トラック４１の死角に存在した信号機５１が表示されている。このように、動的障害物を半透明化した表示画像Ｉｖを生成し、表示部２５に表示させることで、ナビゲーション装置２０は、運転を好適に補助することができる。
【００３８】
図４は、第１実施例で制御部２２が実行する処理手順を示すフローチャートの一例である。制御部２２は、図４に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。
【００３９】
まず、制御部２２は、カメラ画像Ｉｆから動的障害物を検出する（ステップＳ１０１）。次に、制御部２２は、サーバ装置１からリファレンス画像Ｉｒｅｆを取得する（ステップＳ１０２）。具体的には、制御部２２は、カメラ画像Ｉｆの撮影方向である進行方向と現在位置との情報をサーバ装置１へ送信することで、カメラ画像Ｉｆに対応するリファレンス画像Ｉｒｅｆをサーバ装置１から受信する。
【００４０】
次に、制御部２２は、カメラ画像Ｉｆの半透明化処理を行う（ステップＳ１０３）。言い換えると、制御部２２は、カメラ画像Ｉｆに透過処理を施し、透過画像を生成する。具体的には、制御部２２は、画像処理エンジンにより、所定の透明度を有するように、カメラ画像Ｉｆの全画素値を変更する。上述の透明度は、例えば、実験等に基づき、表示画像Ｉｖを生成した際の視認性等を勘案して予め定められる。
【００４１】
そして、制御部２２は、リファレンス画像Ｉｒｅｆと、半透明化したカメラ画像Ｉｆとを合成した表示画像Ｉｖを生成する（ステップＳ１０４）。言い換えると、制御部２２は、リファレンス画像Ｉｒｅｆと、半透明化したカメラ画像Ｉｆとを重畳させた表示画像Ｉｖを生成する。これにより、動的障害物と、動的障害物により形成された死角にある対象物とを両方表示した表示画像Ｉｖが生成される。
【００４２】
次に、制御部２２は、表示画像Ｉｖを表示部２５に表示させる（ステップＳ１０５）。これにより、ナビゲーション装置２０は、動的障害物と、動的障害物により形成された死角にある対象物とを両方表示させ、運転を好適に補助することができる。
【００４３】
［第２実施例］
次に、第２実施例について説明する。概略的には、第２実施例では、制御部２２は、第１実施例に代えて、又はこれに加えて、動的障害物により一部の表示が妨げられている危険物をカメラ画像Ｉｂから検出した場合、当該動的障害物を半透明化して表示すると共に、当該動的障害物の表示上に、当該危険物に相当する表示を重畳させる。これにより、制御部２２は、危険物の存在を表示画像Ｉｖ上で明確に表示し、好適に運転者の注意喚起を行う。
【００４４】
これについて、図５、図６を参照して具体的に説明する。図５は、第２実施例において、制御部２２が実行する処理手順を示すフローチャートの一例である。図６は、図５のフローチャートの処理を具体的に示す概要図である。なお、図６は、縦列駐車を行う場合に撮影されたカメラ画像Ｉｂを対象とした処理の具体例を示す。図６に示すカメラ画像Ｉｂには、停車車両４２と、停車車両４２により一部非表示となっている歩行者４３と、歩行者４３に抱えられた荷物４４と、が表示されている。
【００４５】
まず、制御部２２は、カメラ画像Ｉｂから動的障害物を検出する（ステップＳ２０１）。ここでは、図６（ａ）に示すように、制御部２２は、カメラ画像Ｉｂから動的障害物として停車車両４２を検出する。例えば、制御部２２は、この場合、カメラ画像Ｉｂと同一位置かつ同一方向から撮影されたリファレンス画像Ｉｒｅｆをサーバ装置１から取得し、当該リファレンス画像Ｉｒｅｆと、カメラ画像Ｉｂとを比較する。そして、制御部２２は、カメラ画像Ｉｂで表示された停車車両４２がリファレンス画像Ｉｒｅｆにはないと判断し、当該停車車両４２を動的障害物に定める。このように、制御部２２は、カメラ画像Ｉｂとリファレンス画像Ｉｒｅｆとを比較し、リファレンス画像Ｉｒｅｆには表示されていないものを動的障害物に定める。
【００４６】
次に、制御部２２は、動的障害物に一部隠れた危険物を検出したか否か判定する（ステップＳ２０２）。例えば、制御部２２は、時系列で得られたカメラ画像Ｉｂから、動的障害物の表示領域の近傍に動く物体が存在するか否か判定し、当該物体が存在する場合、当該物体を危険物とみなす。ここでは、図６（ａ）に示すように、制御部２２は、停車車両４２が形成する死角に存在する荷物４４を抱えた歩行者４３を、危険物とみなす。また、このとき、制御部２２は、例えば周知の画像認識技術に基づき、歩行者４３の顔等の表示部分から、危険物が人であることを特定する。
【００４７】
そして、制御部２２は、動的障害物に一部隠れた危険物を検出したと判断した場合（ステップＳ２０２；Ｙｅｓ）、動的障害物の半透明化処理を行う（ステップＳ２０３）。例えば、制御部２２は、第１実施例と同様、所定の透明度を有するようにカメラ画像Ｉｂの半透明化処理を行い、さらに当該カメラ画像Ｉｂにリファレンス画像Ｉｒｅｆを重畳させる。これにより、図６（ｂ）に示すように、停車車両４２が半透明化される。一方、制御部２２は、動的障害物に一部隠れた危険物を検出しなかった場合（ステップＳ２０２；Ｎｏ）、フローチャートの処理を終了する。
【００４８】
次に、制御部２２は、危険物として表示させるグラフィックス（コンピュータグラフィックス）を選択する（ステップＳ２０４）。具体的には、制御部２２は、例えば周知の画像認識技術に基づき、危険物がどの種類の物体であるかパターンマッチングを行い特定し、特定した種類に対応するグラフィックスを選択する。ここでは、図６（ｃ）に示すように、制御部２２は、危険物を人間（歩行者）であると特定し、人間（歩行者）を表すグラフィックス４５を選択する。なお、制御部２２は、認識可能な危険物の種類にそれぞれ対応するグラフィックスを予めメモリに記憶しておく。
【００４９】
そして、制御部２２は、動的障害物が半透明化されたカメラ画像Ｉｂに、ステップＳ２０４で選択したグラフィックス４５を重畳させた表示画像Ｉｖを生成し、表示部２５に表示させる（ステップＳ２０５）。このとき、図６（ｄ）に示すように、制御部２２は、認識した危険物の表示位置に重畳させて、グラフィックス４５をカメラ画像Ｉｂに重畳させる。このとき、図６（ｄ）に示すように、危険物を示すグラフィックス４５の上からカメラ画像Ｉｂを重畳させて表示するようにすれば、運転者から見て車両の後方（奥行き側）に歩行者が存在しているということが認識しやすくなる。また、これにより、制御部２２は、撮影したカメラ画像Ｉｂでは一部非表示となっていた歩行者４３の存在を、明確に表示画像Ｉｖに表示させることができ、視認しにくい危険物を明確に表示して運転者に注意喚起を促すことができる。
【００５０】
［第３実施例］
第３実施例では、第１、第２実施例に代えて、又はこれに加えて、制御部２２は、建物等の地図データに登録されている静的障害物をカメラ画像Ｉｆから検出した場合、当該静的障害物を半透明化すると共に、静的障害物が形成する死角に存在する危険物及び道路に相当するグラフィックスを重畳表示する。これにより、制御部２２は、運転を好適に補助する。
【００５１】
これについて、図７を参照して説明する。図７（ａ）は、右折地点を走行する直前に撮影されたカメラ画像Ｉｆの一例を示す。図７（ａ）に示すように、カメラ画像Ｉｆでは、右折地点に静的障害物である建物４７が表示されている。この場合、ユーザは、建物４７が形成する死角に、危険物があるか否か判別することができない。
【００５２】
従って、この場合、制御部２２は、建物４７の死角にある危険物及び道路を表示した表示画像Ｉｖを生成する。図７（ｂ）は、図７（ａ）のカメラ画像Ｉｆに基づき生成された表示画像Ｉｖの一例である。
【００５３】
ここで、図７（ｂ）に示す表示画像Ｉｖを生成する具体的な処理について説明する。まず、制御部２２は、危険物認識の先行技術などに基づき、建物４７の死角に危険物が存在するか否か判定する。例えば、この場合、制御部２２は、建物４７の死角部分を撮影する路上に設けられたカメラ（不図示）から無線通信により画像を取得し、当該画像に基づき危険物が存在するか否か判定する。ここでは、制御部２２は、危険物である歩行者を検出したものとする。
【００５４】
次に、制御部２２は、静的障害物である建物４７の表示を半透明化する。具体的には、制御部２２は、カメラ画像Ｉｆに表示された建物４７の表示を消去すると共に、予め生成された建物４７の半透明画像（透過画像）をカメラ画像Ｉｆに重畳させる。ここで、ナビゲーション装置２０は、例えば、地図ＤＢ２１０に登録されている施設のうち、静的障害物となる施設の半透明画像を、当該施設の施設情報として予め地図ＤＢ２１０に記憶しておく。
【００５５】
さらに、制御部２２は、予め記憶部２１に記憶された複数種類のグラフィックスから、検出した危険物に対応するグラフィックス及び死角にある道路を表すグラフィックスを選択し、カメラ画像Ｉｆに重畳させて表示画像Ｉｖを生成する。図７（ｂ）では、制御部２２は、歩行者のグラフィックス４９と、建物４７に隠れた道路のグラフィックス５０とを、建物４７が半透明化されたカメラ画像Ｉｆに重畳表示している。なお、制御部２２は、道路のグラフィックスについては、カメラ画像Ｉｆに表示されている部分の道路形状等に基づき動的に生成してもよい。
【００５６】
このようにすることで、制御部２２は、ユーザに、道路及び歩行者が建物４７の奥に存在することを明確に知らせることができる。また、制御部２２は、上述の処理に加えて、表示画像Ｉｖに、矢印などのルート案内表示をさらに付加してもよい。
【００５７】
なお、制御部２２は、静的障害物の死角に危険物が存在しないと判断した場合であっても、静的障害物の死角に走行予定の道路が存在する場合には、静的障害物を半透明化してもよい。この場合、制御部２２は、静的障害物に隠れた道路のグラフィックスのみをカメラ画像Ｉｆに重畳させる。これにより、制御部２２は、走行する道路に危険物が存在しないことを運転者に知らせることができる。
【００５８】
図８は、第３実施例の処理手順を示すフローチャートの一例である。制御部２２は、図８に示す処理を、所定の周期に従い繰り返し実行する。
【００５９】
まず、制御部２２は、静的障害物を検出する（ステップＳ３０１）。例えば、制御部２２は、現在位置に基づき地図ＤＢ２１０を参照することで、走行先の道路近傍にある静的障害物を検出する。
【００６０】
次に、制御部２２は、検出した静的障害物の半透明画像を地図ＤＢ２１０から検索する（ステップＳ３０２）。そして、制御部２２は、カメラ画像Ｉｆから静的障害物の表示領域を切り取る（ステップＳ３０３）。例えば、制御部２２は、カメラ画像Ｉｆから静的障害物の表示領域を所定の均一の画素値に置き換える。
【００６１】
次に、制御部２２は、カメラ画像Ｉｆに静的障害物の半透明画像を貼り付ける（ステップＳ３０４）。そして、制御部２２は、危険物及び道路として表示させるグラフィックスをそれぞれ選択する（ステップＳ３０５）。
【００６２】
そして、制御部２２は、ステップＳ３０４を実行後のカメラ画像Ｉｂに、各グラフィックスを重畳させた表示画像Ｉｖを生成し、表示部２５に表示させる（ステップＳ３０６）。これにより、制御部２２は、静的障害物により死角が形成されている場合であっても、運転者に適切に危険物の存在を知らせることができる。
［変形例］
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の各実施例に適用することが可能である。
【００６３】
（変形例１）
第２実施例では、制御部２２は、カメラ画像Ｉｂから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、又は、これに加えて、制御部２２は、カメラ画像Ｉｆから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させてもよい。
【００６４】
（変形例２）
第２実施例及び第３実施例では、制御部２２は、危険物の種類を特定し、表示画像Ｉｖに危険物の種類に対応するグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、制御部２２は、危険物をビックリマークなどの所定のマークで表示画像Ｉｖ中に表示させてもよい。これによっても、好適に、制御部２２は、危険物の存在を運転者に知らせることができる。
【００６５】
（変形例３）
第１実施例乃至第３実施例に加えて、制御部２２は、半透明化させた障害物のエッジ部分を点滅表示や太線表示などで強調させて、表示画像Ｉｖ中に表示させてもよい。他の例では、制御部２２は、半透明化させる障害物のコントラスト又は色を変更して表示してもよい。
【００６６】
また、第２実施例及び第３実施例において、制御部２２は、半透明化させる障害物が１つのカメラ画像Ｉｆ又はカメラ画像Ｉｂに複数存在した場合、これらの透明度を異ならせてもよい。例えば、制御部２２は、第２実施例において、カメラ画像Ｉｂに、複数の停車車両が存在し、それぞれに危険物が隠れていた場合、カメラ画像Ｉｂに占める面積が最も大きい停車車両の透明度を、他の停車車両の透明度よりも低くし、前者の停車車両に重畳表示させる危険物のグラフィックスを目立たせる。
【００６７】
また、制御部２２は、危険物や道路をグラフィックスにて表示させる場合、注目させたい対象のグラフィックスを他のグラフィックスに比べて強調表示させてもよい。ここで、注目させたい対象とは、例えば人であり、具体的には予め定められた種類の危険物を指す。
【００６８】
これらの例によっても、制御部２２は、好適に、障害物に隠れた危険物等を目立たせて、運転者に注意喚起を促すことができる。
【００６９】
（変形例４）
図１の情報表示システムの構成は、一例であり、本発明が適用可能な構成は、これに限定されない。例えば、ナビゲーション装置２０は、バックカメラ２８を有しなくてもよい。この場合、制御部２２は、第１乃至第３実施例に基づき、カメラ画像Ｉｆを用いて、表示画像Ｉｖを生成する。
【００７０】
（変形例５）
第３実施例では、制御部２２は、静的障害物に隠された危険物及び道路のグラフィックスを表示画像Ｉｖに表示させた。しかし、これに加え、制御部２２は、危険物及び道路以外の物体のグラフィックスを表示画像Ｉｖに表示させてもよい。例えば、制御部２２は、図７（ａ）に示す建物４７の裏に歩行者４９に加えて、木が隠れていた場合、当該木のグラフィックスを図７（ｂ）に示す表示画像Ｉｖで表示させてもよい。
【産業上の利用可能性】
【００７１】
本発明は、車載用ナビゲーション装置、ＰＮＤ（Ｐｅｒｓｏｎａｌ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）、その他情報を表示する装置に好適に適用することができる。
【符号の説明】
【００７２】
１ サーバ装置
２、２Ａ、２Ｂ 車両
５ 通信網
２０ ナビゲーション装置
２７ フロントカメラ
２８ バックカメラ
【技術分野】
【０００１】
本発明は、移動体から撮影された画像に基づき情報を表示する技術に関する。
【背景技術】
【０００２】
従来から、ナビゲーション装置などで地図を表示する際、一部の表示を半透明化する技術が知られている。例えば、特許文献１には、地図情報に基づき生成した３次元の地図を表示する際に、車−車間通信に基づき他の車両を隠す建築物があると判断した場合、当該建築物を半透明の画像で表示する技術が開示されている。また、特許文献２には、地図データに基づいて、道路および立体的な建物の画像を表示させ、ウィンカがオンされたことを検出すると、前方の道路形状に基づいて、立体的な建物の画像を透過的に表示させる透過表示領域を定め、その領域の建物の画像を透過的に表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２０７９４３号公報
【特許文献２】特開２００４−２３３５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラで撮影した実写画像に基づき案内表示を行う場合、運転上必要な信号機の表示や、歩行者などの注目すべき物（危険物）の表示が、障害物によって隠れてしまう場合がある。
【０００５】
本発明は、上記のような課題を解決するためになされたものであり、実写画像に基づき案内表示を行う際に、好適に障害物を透過して表示可能な情報表示装置を提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、画像表示装置であって、移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、前記移動体の現在位置を示す情報を取得する現在位置取得手段と、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、前記画像処理が施された画像を表示させる表示制御手段と、を備えることを特徴とする。
請求項４に記載の発明は、画像表示装置が実行する制御方法であって、移動体の進行方向の風景を撮影した実写画像を取得する画像取得工程と、前記移動体の現在位置を示す情報を取得する現在位置取得工程と、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定工程と、前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断工程と、前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理工程と、前記画像処理が施された画像を表示させる表示制御工程と、を有することを特徴とする。
【図面の簡単な説明】
【０００７】
【図１】各実施例に共通した情報表示システムの概略構成を示す。
【図２】（ａ）は、所定の場所を走行中に生成されたカメラ画像の一例を示す。（ｂ）は、（ａ）に対応するリファレンス画像の一例を示す。
【図３】カメラ画像及びリファレンス画像に基づき生成された表示画像の一例である。
【図４】第１実施例の処理手順を示すフローチャートの一例である。
【図５】第２実施例の処理手順を示すフローチャートの一例である。
【図６】第２実施例の処理を具体的に示した図である。
【図７】（ａ）は、右折地点を走行する直前に撮影されたカメラ画像の一例を示す。（ｂ）は、（ａ）のカメラ画像に基づき生成された表示画像の一例である。
【図８】第３実施例の処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【０００８】
本発明の好適な実施形態によれば、情報表示装置は、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段と、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段と、前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段と、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段と、を有する。
【０００９】
第一取得手段は、移動体の現在位置から所定の方向を撮影した実写画像を取得する。特定手段は、実写画像に含まれる第一撮影対象のうち、所定の方向に対して死角を形成している障害物を特定する。第二取得手段は、障害物が無い場合に、第一取得手段が取得できる第二撮影対象の画像を取得する。表示制御手段は、第二撮影対象の画像に基づいて、障害物を透過させて実写画像を表示手段に表示させる。このようにすることで、情報表示装置は、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
【００１０】
上記の情報表示装置の一態様では、前記表示制御手段は、前記第一取得手段により取得された実写画像に透過処理を施し、透過画像を生成する透過画像生成手段を備え、前記透過画像と前記第二撮影対象の画像を重ねて表示することで、前記障害物を透過させる。この態様により、情報表示装置は、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
【００１１】
上記の情報表示装置の一態様では、前記第二取得手段は、前記第一取得手段が前記実写画像を取得した時とは異なるタイミングで前記第二撮影対象の画像を取得する。この態様により、情報表示装置は、好適に、第二撮影対象の画像を取得し、障害物を透過させた実写画像を表示することができる。
【００１２】
上記の情報表示装置の一態様では、前記第二撮影対象の画像は、前記移動体又は他の移動体により撮影された画像であり、前記第二取得手段は、前記第二撮影対象の画像を記憶するサーバ装置から、前記第二撮影対象の画像を取得する。この態様により、情報表示装置は、好適に、第二撮影対象の画像を取得し、障害物を透過させた実写画像を表示することができる。
【００１３】
上記の情報表示装置の一態様では、前記障害物が形成する死角に存在する運転上注意すべき危険物を特定する危険物特定手段と、前記危険物を表す表示を決定する危険物表示決定手段と、をさらに備え、前記表示制御手段は、透過された前記障害物の表示に、前記危険物表示決定手段が決定した前記危険物を表す表示を重畳させることを特徴とする。ここで、「危険物」とは、運転上注意すべき対象として予め定められたものであって、例えば、歩行者、動物、荷物などの能動的又は受動的に動く物体を指す。このようにすることで、情報表示装置は、障害物に隠れた危険物を明確に表示させ、注意喚起を促すことができる。
【００１４】
上記の情報表示装置の一態様では、前記危険物特定手段は、前記危険物の種類を特定し、前記表示危険物表示決定手段は、前記危険物の種類に基づき、前記危険物を表す表示を決定する。これにより、情報表示装置は、障害物に隠れた危険物を運転者により容易に特定させることができる。
【００１５】
本発明の他の実施形態によれば、情報表示装置により実行される制御方法であって、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得工程と、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定工程と、前記障害物が無い場合に、前記第一取得工程が取得できる第二撮影対象の画像を取得する第二取得工程と、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御工程と、を備える。情報表示装置は、この制御方法を用いることで、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
【００１６】
本発明のさらに別の実施形態によれば、情報表示装置により実行されるプログラムであって、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段、前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段、として前記情報表示装置を機能させる。情報表示装置は、このプログラムを搭載して実行することで、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。
【実施例】
【００１７】
以下、図面を参照して本発明の好適な第１実施例乃至第３実施例について説明する。以後では、「危険物」とは、運転上注意すべきものを指し、例えば、歩行者、動物、荷物などの能動的又は受動的に動くものを指す。また、「静的障害物」とは、建物などの地図データに登録されている可動性のある障害物を指し、「動的障害物」とは、地図データに登録されている可能性がない車両などの可動性のある障害物を指す。
【００１８】
［システム構成］
図１は、本発明の各実施例に共通した情報表示システムの概略構成を示す。なお、以下に説明する実施例は、本発明の情報表示装置を車両のナビゲーション装置に適用した例である。
【００１９】
図１に示すように、情報表示システムは、サーバ装置１と、複数の車両（ここでは、車両２、車両２Ａ、車両２Ｂ）と、インターネットなどの通信網５と、を有する。
【００２０】
サーバ装置１は、複数の車両と通信可能に構成され、各車両で撮影された画像（「リファレンス画像Ｉｒｅｆ」とも呼ぶ。）を管理する。具体的には、サーバ装置１は、リファレンス画像データベース（以下、データベースを「ＤＢ」と表記する。）１０を備え、各車両から送信された撮影画像を、リファレンス画像Ｉｒｅｆとして記憶する。このとき、好適には、サーバ装置１は、各車両から送信された撮影画像のうち、動的障害物が表示されていない撮影画像のみを、リファレンス画像Ｉｒｅｆとしてリファレンス画像ＤＢ１０に記憶する。このように、リファレンス画像Ｉｒｅｆは、本発明における「第二撮影対象の画像」の一例である。
【００２１】
また、リファレンス画像ＤＢ１０は、各リファレンス画像Ｉｒｅｆを、その撮影位置及び撮影方向の情報と関連付けて記憶する。そして、サーバ装置１は、車両２からの要求に基づき、リファレンス画像Ｉｒｅｆを車両２に送信する。
【００２２】
車両２は、フロントカメラ２７と、バックカメラ２８と、ナビゲーション装置２０とを備える。フロントカメラ２７は、車両２に搭載され、車両２の進行方向を撮影する位置に設置される。フロントカメラ２７は、撮影した画像（「カメラ画像Ｉｆ」とも呼ぶ。）をナビゲーション装置２０へ出力する。
【００２３】
同様に、バックカメラ２８は、車両２に搭載され、車両２の後進方向を撮影する位置に設置される。バックカメラ２８は、撮影した画像（「カメラ画像Ｉｂ」とも呼ぶ。）をナビゲーション装置２０へ出力する。カメラ画像Ｉｆ、Ｉｂは、本発明における「実写画像」の一例である。
【００２４】
ナビゲーション装置２０は、記憶部２１と、制御部２２と、無線通信部２３と、ＧＰＳ受信機２４と、表示部２５と、を備える。
【００２５】
記憶部２１は、制御部２２の制御に必要な情報を記憶する。記憶部２１は、地図ＤＢ２１０を備える。地図ＤＢ２１０は、ナビゲーション装置２０による地図表示や経路案内などの処理に必要な地図情報を記憶している。
【００２６】
無線通信部２３は、通信網５を通じてサーバ装置１と通信するための通信処理を実行する。通常、無線通信部２３は、携帯電話、携帯型端末装置などの通信機能を利用し、無線通信によりサーバ装置１と通信する。
【００２７】
ＧＰＳ受信機２４は、複数のＧＰＳ衛星等から受信した緯度及び経度情報等から車両２の絶対的な位置（現在位置）を検出する。そして、ＧＰＳ受信機２４は、取得した現在位置の情報を制御部２２へ一定又は不定の周期で送信する。
【００２８】
表示部２５は、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
【００２９】
制御部２２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでおり、ナビゲーション装置２０全体を制御する。また、制御部２２は、画像処理エンジンを備え、カメラ画像Ｉｆ、Ｉｂの画像処理を行う。そして、制御部２２は、カメラ画像Ｉｆ、Ｉｂ及びリファレンス画像Ｉｒｅｆを用いて、表示部２５に表示させる画像（以後、「表示画像Ｉｖ」とも呼ぶ。）を生成する。そして、制御部２２は、本発明における「第一取得手段」、「特定手段」、「第二取得手段」、「表示制御手段」、「透過画像生成手段」、「危険物特定手段」、及び「危険物表示決定手段」として機能する。
【００３０】
［第１実施例］
第１実施例では、概略的には、制御部２２は、死角を形成する動的障害物をカメラ画像Ｉｆから検出した場合、当該動的障害物を半透明化し、死角部分に存在する信号機等の所定の対象物を視認可能にした表示画像Ｉｖを生成する。これにより、制御部２２は、制御部２２は、動的障害物の死角にある信号機などを表示させ、利便性を向上させる。
【００３１】
これについて、図２及び図３を参照して説明する。図２（ａ）は、所定の場所を走行中に生成されたカメラ画像Ｉｆの一例を示す。図２（ｂ）は、図２（ａ）と同一の場所又はその近傍で同一方向に向けて撮影されたリファレンス画像Ｉｒｅｆの一例を示す。
【００３２】
まず、制御部２２は、カメラ画像Ｉｆから、信号機の表示を妨げる動的障害物があることを検出する。ここでは、制御部２２は、図２（ａ）に示すカメラ画像Ｉｆから、トラック４１を動的障害物として特定したものとする。
【００３３】
ここで、動的障害物の特定方法について補足説明する。例えば、制御部２２は、地図データに基づき、現在位置が、信号機が見える位置であると判断した場合、カメラ画像Ｉｆから信号機をパターンマッチングなどの手法により検出する。そして、カメラ画像Ｉｆから信号機を検出できた場合、動的障害物がないと判断する。一方、制御部２２は、カメラ画像Ｉｆから信号機を検出できなかった場合、動的障害物があると判断し、信号機が表示されると推定される部分を含む領域を、動的障害物の表示領域とする。他の例では、制御部２２は、カメラ画像Ｉｆを近接した類似画素ごとに領域分割し、空や道路以外の領域であって、所定画素以上を含む領域を、動的障害物の表示領域と特定する。
【００３４】
次に、制御部２２は、リファレンス画像Ｉｒｅｆの要求情報をサーバ装置１に送信し、図２（ａ）に示すカメラ画像Ｉｆに対応するリファレンス画像Ｉｒｅｆ（図２（ｂ）参照）をサーバ装置１から受信する。ここで、上述の要求情報は、ＧＰＳ受信機２４により特定した現在位置の情報と、カメラ画像Ｉｆの撮影方向（即ち、車両２の進行方向）の情報とを含む。
【００３５】
そして、制御部２２は、カメラ画像Ｉｆと、当該リファレンス画像Ｉｒｅｆとに基づき、トラック４１に半透明化処理（透過処理）を施した表示画像Ｉｖを生成する。トラック４１を半透明化する画像処理方法については、後述する図４のフローチャートを用いて具体的に説明する。
【００３６】
図３は、図２（ａ）に示すカメラ画像Ｉｆ及び図２（ｂ）に示すリファレンス画像Ｉｒｅｆに基づき生成された表示画像Ｉｖの一例である。なお、図３以降では、便宜上、斑点が付された領域は、半透明部分を示すものとする。
【００３７】
図３に示す表示画像Ｉｖでは、トラック４１が半透明化されていることにより、トラック４１の死角に存在した信号機５１が表示されている。このように、動的障害物を半透明化した表示画像Ｉｖを生成し、表示部２５に表示させることで、ナビゲーション装置２０は、運転を好適に補助することができる。
【００３８】
図４は、第１実施例で制御部２２が実行する処理手順を示すフローチャートの一例である。制御部２２は、図４に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。
【００３９】
まず、制御部２２は、カメラ画像Ｉｆから動的障害物を検出する（ステップＳ１０１）。次に、制御部２２は、サーバ装置１からリファレンス画像Ｉｒｅｆを取得する（ステップＳ１０２）。具体的には、制御部２２は、カメラ画像Ｉｆの撮影方向である進行方向と現在位置との情報をサーバ装置１へ送信することで、カメラ画像Ｉｆに対応するリファレンス画像Ｉｒｅｆをサーバ装置１から受信する。
【００４０】
次に、制御部２２は、カメラ画像Ｉｆの半透明化処理を行う（ステップＳ１０３）。言い換えると、制御部２２は、カメラ画像Ｉｆに透過処理を施し、透過画像を生成する。具体的には、制御部２２は、画像処理エンジンにより、所定の透明度を有するように、カメラ画像Ｉｆの全画素値を変更する。上述の透明度は、例えば、実験等に基づき、表示画像Ｉｖを生成した際の視認性等を勘案して予め定められる。
【００４１】
そして、制御部２２は、リファレンス画像Ｉｒｅｆと、半透明化したカメラ画像Ｉｆとを合成した表示画像Ｉｖを生成する（ステップＳ１０４）。言い換えると、制御部２２は、リファレンス画像Ｉｒｅｆと、半透明化したカメラ画像Ｉｆとを重畳させた表示画像Ｉｖを生成する。これにより、動的障害物と、動的障害物により形成された死角にある対象物とを両方表示した表示画像Ｉｖが生成される。
【００４２】
次に、制御部２２は、表示画像Ｉｖを表示部２５に表示させる（ステップＳ１０５）。これにより、ナビゲーション装置２０は、動的障害物と、動的障害物により形成された死角にある対象物とを両方表示させ、運転を好適に補助することができる。
【００４３】
［第２実施例］
次に、第２実施例について説明する。概略的には、第２実施例では、制御部２２は、第１実施例に代えて、又はこれに加えて、動的障害物により一部の表示が妨げられている危険物をカメラ画像Ｉｂから検出した場合、当該動的障害物を半透明化して表示すると共に、当該動的障害物の表示上に、当該危険物に相当する表示を重畳させる。これにより、制御部２２は、危険物の存在を表示画像Ｉｖ上で明確に表示し、好適に運転者の注意喚起を行う。
【００４４】
これについて、図５、図６を参照して具体的に説明する。図５は、第２実施例において、制御部２２が実行する処理手順を示すフローチャートの一例である。図６は、図５のフローチャートの処理を具体的に示す概要図である。なお、図６は、縦列駐車を行う場合に撮影されたカメラ画像Ｉｂを対象とした処理の具体例を示す。図６に示すカメラ画像Ｉｂには、停車車両４２と、停車車両４２により一部非表示となっている歩行者４３と、歩行者４３に抱えられた荷物４４と、が表示されている。
【００４５】
まず、制御部２２は、カメラ画像Ｉｂから動的障害物を検出する（ステップＳ２０１）。ここでは、図６（ａ）に示すように、制御部２２は、カメラ画像Ｉｂから動的障害物として停車車両４２を検出する。例えば、制御部２２は、この場合、カメラ画像Ｉｂと同一位置かつ同一方向から撮影されたリファレンス画像Ｉｒｅｆをサーバ装置１から取得し、当該リファレンス画像Ｉｒｅｆと、カメラ画像Ｉｂとを比較する。そして、制御部２２は、カメラ画像Ｉｂで表示された停車車両４２がリファレンス画像Ｉｒｅｆにはないと判断し、当該停車車両４２を動的障害物に定める。このように、制御部２２は、カメラ画像Ｉｂとリファレンス画像Ｉｒｅｆとを比較し、リファレンス画像Ｉｒｅｆには表示されていないものを動的障害物に定める。
【００４６】
次に、制御部２２は、動的障害物に一部隠れた危険物を検出したか否か判定する（ステップＳ２０２）。例えば、制御部２２は、時系列で得られたカメラ画像Ｉｂから、動的障害物の表示領域の近傍に動く物体が存在するか否か判定し、当該物体が存在する場合、当該物体を危険物とみなす。ここでは、図６（ａ）に示すように、制御部２２は、停車車両４２が形成する死角に存在する荷物４４を抱えた歩行者４３を、危険物とみなす。また、このとき、制御部２２は、例えば周知の画像認識技術に基づき、歩行者４３の顔等の表示部分から、危険物が人であることを特定する。
【００４７】
そして、制御部２２は、動的障害物に一部隠れた危険物を検出したと判断した場合（ステップＳ２０２；Ｙｅｓ）、動的障害物の半透明化処理を行う（ステップＳ２０３）。例えば、制御部２２は、第１実施例と同様、所定の透明度を有するようにカメラ画像Ｉｂの半透明化処理を行い、さらに当該カメラ画像Ｉｂにリファレンス画像Ｉｒｅｆを重畳させる。これにより、図６（ｂ）に示すように、停車車両４２が半透明化される。一方、制御部２２は、動的障害物に一部隠れた危険物を検出しなかった場合（ステップＳ２０２；Ｎｏ）、フローチャートの処理を終了する。
【００４８】
次に、制御部２２は、危険物として表示させるグラフィックス（コンピュータグラフィックス）を選択する（ステップＳ２０４）。具体的には、制御部２２は、例えば周知の画像認識技術に基づき、危険物がどの種類の物体であるかパターンマッチングを行い特定し、特定した種類に対応するグラフィックスを選択する。ここでは、図６（ｃ）に示すように、制御部２２は、危険物を人間（歩行者）であると特定し、人間（歩行者）を表すグラフィックス４５を選択する。なお、制御部２２は、認識可能な危険物の種類にそれぞれ対応するグラフィックスを予めメモリに記憶しておく。
【００４９】
そして、制御部２２は、動的障害物が半透明化されたカメラ画像Ｉｂに、ステップＳ２０４で選択したグラフィックス４５を重畳させた表示画像Ｉｖを生成し、表示部２５に表示させる（ステップＳ２０５）。このとき、図６（ｄ）に示すように、制御部２２は、認識した危険物の表示位置に重畳させて、グラフィックス４５をカメラ画像Ｉｂに重畳させる。このとき、図６（ｄ）に示すように、危険物を示すグラフィックス４５の上からカメラ画像Ｉｂを重畳させて表示するようにすれば、運転者から見て車両の後方（奥行き側）に歩行者が存在しているということが認識しやすくなる。また、これにより、制御部２２は、撮影したカメラ画像Ｉｂでは一部非表示となっていた歩行者４３の存在を、明確に表示画像Ｉｖに表示させることができ、視認しにくい危険物を明確に表示して運転者に注意喚起を促すことができる。
【００５０】
［第３実施例］
第３実施例では、第１、第２実施例に代えて、又はこれに加えて、制御部２２は、建物等の地図データに登録されている静的障害物をカメラ画像Ｉｆから検出した場合、当該静的障害物を半透明化すると共に、静的障害物が形成する死角に存在する危険物及び道路に相当するグラフィックスを重畳表示する。これにより、制御部２２は、運転を好適に補助する。
【００５１】
これについて、図７を参照して説明する。図７（ａ）は、右折地点を走行する直前に撮影されたカメラ画像Ｉｆの一例を示す。図７（ａ）に示すように、カメラ画像Ｉｆでは、右折地点に静的障害物である建物４７が表示されている。この場合、ユーザは、建物４７が形成する死角に、危険物があるか否か判別することができない。
【００５２】
従って、この場合、制御部２２は、建物４７の死角にある危険物及び道路を表示した表示画像Ｉｖを生成する。図７（ｂ）は、図７（ａ）のカメラ画像Ｉｆに基づき生成された表示画像Ｉｖの一例である。
【００５３】
ここで、図７（ｂ）に示す表示画像Ｉｖを生成する具体的な処理について説明する。まず、制御部２２は、危険物認識の先行技術などに基づき、建物４７の死角に危険物が存在するか否か判定する。例えば、この場合、制御部２２は、建物４７の死角部分を撮影する路上に設けられたカメラ（不図示）から無線通信により画像を取得し、当該画像に基づき危険物が存在するか否か判定する。ここでは、制御部２２は、危険物である歩行者を検出したものとする。
【００５４】
次に、制御部２２は、静的障害物である建物４７の表示を半透明化する。具体的には、制御部２２は、カメラ画像Ｉｆに表示された建物４７の表示を消去すると共に、予め生成された建物４７の半透明画像（透過画像）をカメラ画像Ｉｆに重畳させる。ここで、ナビゲーション装置２０は、例えば、地図ＤＢ２１０に登録されている施設のうち、静的障害物となる施設の半透明画像を、当該施設の施設情報として予め地図ＤＢ２１０に記憶しておく。
【００５５】
さらに、制御部２２は、予め記憶部２１に記憶された複数種類のグラフィックスから、検出した危険物に対応するグラフィックス及び死角にある道路を表すグラフィックスを選択し、カメラ画像Ｉｆに重畳させて表示画像Ｉｖを生成する。図７（ｂ）では、制御部２２は、歩行者のグラフィックス４９と、建物４７に隠れた道路のグラフィックス５０とを、建物４７が半透明化されたカメラ画像Ｉｆに重畳表示している。なお、制御部２２は、道路のグラフィックスについては、カメラ画像Ｉｆに表示されている部分の道路形状等に基づき動的に生成してもよい。
【００５６】
このようにすることで、制御部２２は、ユーザに、道路及び歩行者が建物４７の奥に存在することを明確に知らせることができる。また、制御部２２は、上述の処理に加えて、表示画像Ｉｖに、矢印などのルート案内表示をさらに付加してもよい。
【００５７】
なお、制御部２２は、静的障害物の死角に危険物が存在しないと判断した場合であっても、静的障害物の死角に走行予定の道路が存在する場合には、静的障害物を半透明化してもよい。この場合、制御部２２は、静的障害物に隠れた道路のグラフィックスのみをカメラ画像Ｉｆに重畳させる。これにより、制御部２２は、走行する道路に危険物が存在しないことを運転者に知らせることができる。
【００５８】
図８は、第３実施例の処理手順を示すフローチャートの一例である。制御部２２は、図８に示す処理を、所定の周期に従い繰り返し実行する。
【００５９】
まず、制御部２２は、静的障害物を検出する（ステップＳ３０１）。例えば、制御部２２は、現在位置に基づき地図ＤＢ２１０を参照することで、走行先の道路近傍にある静的障害物を検出する。
【００６０】
次に、制御部２２は、検出した静的障害物の半透明画像を地図ＤＢ２１０から検索する（ステップＳ３０２）。そして、制御部２２は、カメラ画像Ｉｆから静的障害物の表示領域を切り取る（ステップＳ３０３）。例えば、制御部２２は、カメラ画像Ｉｆから静的障害物の表示領域を所定の均一の画素値に置き換える。
【００６１】
次に、制御部２２は、カメラ画像Ｉｆに静的障害物の半透明画像を貼り付ける（ステップＳ３０４）。そして、制御部２２は、危険物及び道路として表示させるグラフィックスをそれぞれ選択する（ステップＳ３０５）。
【００６２】
そして、制御部２２は、ステップＳ３０４を実行後のカメラ画像Ｉｂに、各グラフィックスを重畳させた表示画像Ｉｖを生成し、表示部２５に表示させる（ステップＳ３０６）。これにより、制御部２２は、静的障害物により死角が形成されている場合であっても、運転者に適切に危険物の存在を知らせることができる。
［変形例］
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の各実施例に適用することが可能である。
【００６３】
（変形例１）
第２実施例では、制御部２２は、カメラ画像Ｉｂから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、又は、これに加えて、制御部２２は、カメラ画像Ｉｆから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させてもよい。
【００６４】
（変形例２）
第２実施例及び第３実施例では、制御部２２は、危険物の種類を特定し、表示画像Ｉｖに危険物の種類に対応するグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、制御部２２は、危険物をビックリマークなどの所定のマークで表示画像Ｉｖ中に表示させてもよい。これによっても、好適に、制御部２２は、危険物の存在を運転者に知らせることができる。
【００６５】
（変形例３）
第１実施例乃至第３実施例に加えて、制御部２２は、半透明化させた障害物のエッジ部分を点滅表示や太線表示などで強調させて、表示画像Ｉｖ中に表示させてもよい。他の例では、制御部２２は、半透明化させる障害物のコントラスト又は色を変更して表示してもよい。
【００６６】
また、第２実施例及び第３実施例において、制御部２２は、半透明化させる障害物が１つのカメラ画像Ｉｆ又はカメラ画像Ｉｂに複数存在した場合、これらの透明度を異ならせてもよい。例えば、制御部２２は、第２実施例において、カメラ画像Ｉｂに、複数の停車車両が存在し、それぞれに危険物が隠れていた場合、カメラ画像Ｉｂに占める面積が最も大きい停車車両の透明度を、他の停車車両の透明度よりも低くし、前者の停車車両に重畳表示させる危険物のグラフィックスを目立たせる。
【００６７】
また、制御部２２は、危険物や道路をグラフィックスにて表示させる場合、注目させたい対象のグラフィックスを他のグラフィックスに比べて強調表示させてもよい。ここで、注目させたい対象とは、例えば人であり、具体的には予め定められた種類の危険物を指す。
【００６８】
これらの例によっても、制御部２２は、好適に、障害物に隠れた危険物等を目立たせて、運転者に注意喚起を促すことができる。
【００６９】
（変形例４）
図１の情報表示システムの構成は、一例であり、本発明が適用可能な構成は、これに限定されない。例えば、ナビゲーション装置２０は、バックカメラ２８を有しなくてもよい。この場合、制御部２２は、第１乃至第３実施例に基づき、カメラ画像Ｉｆを用いて、表示画像Ｉｖを生成する。
【００７０】
（変形例５）
第３実施例では、制御部２２は、静的障害物に隠された危険物及び道路のグラフィックスを表示画像Ｉｖに表示させた。しかし、これに加え、制御部２２は、危険物及び道路以外の物体のグラフィックスを表示画像Ｉｖに表示させてもよい。例えば、制御部２２は、図７（ａ）に示す建物４７の裏に歩行者４９に加えて、木が隠れていた場合、当該木のグラフィックスを図７（ｂ）に示す表示画像Ｉｖで表示させてもよい。
【産業上の利用可能性】
【００７１】
本発明は、車載用ナビゲーション装置、ＰＮＤ（Ｐｅｒｓｏｎａｌ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）、その他情報を表示する装置に好適に適用することができる。
【符号の説明】
【００７２】
１ サーバ装置
２、２Ａ、２Ｂ 車両
５ 通信網
２０ ナビゲーション装置
２７ フロントカメラ
２８ バックカメラ
【特許請求の範囲】
【請求項１】
移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、
前記移動体の現在位置を示す情報を取得する現在位置取得手段と、
前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、
前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、
前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、
前記画像処理が施された画像を表示させる表示制御手段と、
を備えたことを特徴とする画像表示装置。
【請求項２】
前記信号機が存在する実写画像を外部から取得する外部画像取得手段を備え、
前記画像処理手段は、前記動的障害物が存在する実写画像に透過処理を施し、
前記表示制御手段は、前記透過処理が施された実写画像と外部から取得した実写画像とを重ねて表示させることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
信号機の位置に関する情報を含む地図データを記憶する記憶手段をさらに備え、
前記判定手段は、前記地図データに基づき、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定することを特徴とする請求項１または２に記載の画像表示装置。
【請求項４】
画像表示装置が実行する制御方法であって、
移動体の進行方向の風景を撮影した実写画像を取得する画像取得工程と、
前記移動体の現在位置を示す情報を取得する現在位置取得工程と、
前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定工程と、
前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断工程と、
前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理工程と、
前記画像処理が施された画像を表示させる表示制御工程と、
を有することを特徴とする制御方法。
【請求項１】
移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、
前記移動体の現在位置を示す情報を取得する現在位置取得手段と、
前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、
前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、
前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、
前記画像処理が施された画像を表示させる表示制御手段と、
を備えたことを特徴とする画像表示装置。
【請求項２】
前記信号機が存在する実写画像を外部から取得する外部画像取得手段を備え、
前記画像処理手段は、前記動的障害物が存在する実写画像に透過処理を施し、
前記表示制御手段は、前記透過処理が施された実写画像と外部から取得した実写画像とを重ねて表示させることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
信号機の位置に関する情報を含む地図データを記憶する記憶手段をさらに備え、
前記判定手段は、前記地図データに基づき、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定することを特徴とする請求項１または２に記載の画像表示装置。
【請求項４】
画像表示装置が実行する制御方法であって、
移動体の進行方向の風景を撮影した実写画像を取得する画像取得工程と、
前記移動体の現在位置を示す情報を取得する現在位置取得工程と、
前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定工程と、
前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断工程と、
前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理工程と、
前記画像処理が施された画像を表示させる表示制御工程と、
を有することを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２０８１１１（Ｐ２０１２−２０８１１１Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−２６５５２４（Ｐ２０１１−２６５５２４）
【出願日】平成２３年１２月５日（２０１１．１２．５）
【分割の表示】特願２０１１−５４５９６７（Ｐ２０１１−５４５９６７）の分割
【原出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年１２月５日（２０１１．１２．５）
【分割の表示】特願２０１１−５４５９６７（Ｐ２０１１−５４５９６７）の分割
【原出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
[ Back to top ]