画像処理装置
【課題】観察者の死角となる範囲の画像を適切に生成することが可能な画像処理装置を提供する。
【解決手段】第１カメラ１５０−１は第１の範囲に対応する第１画像を撮影し、第２カメラ１５０−２は第２の範囲に対応する第２画像を撮影する。制御部１０２は、第１画像から物体３００の画像を抽出し、当該画像を運転者４００の視点位置と物体３００との距離と、第１カメラ１５０−１と物体３００との距離とによって定まる倍率で拡縮する。更に、制御部１０２は、第２画像から背景画像を抽出して、第１画像に背景画像を重畳し、更に当該背景画像に拡縮物体画像を重畳することで合成画像を生成する。
【解決手段】第１カメラ１５０−１は第１の範囲に対応する第１画像を撮影し、第２カメラ１５０−２は第２の範囲に対応する第２画像を撮影する。制御部１０２は、第１画像から物体３００の画像を抽出し、当該画像を運転者４００の視点位置と物体３００との距離と、第１カメラ１５０−１と物体３００との距離とによって定まる倍率で拡縮する。更に、制御部１０２は、第２画像から背景画像を抽出して、第１画像に背景画像を重畳し、更に当該背景画像に拡縮物体画像を重畳することで合成画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成する画像処理装置に関する。
【背景技術】
【０００２】
近年、車両の安全性を確保すべく、車両周辺を監視するシステムが提案されている。例えば、特許文献１に記載された車両の画像処理装置では、車外に設けられたカメラの撮影により得られた画像を運転者の視点から見た画像（運転者視点画像）に変換する。更に、運転者の視点位置近傍に設けられたカメラの撮影により得られた画像から死角範囲を除いた画像を生成し、当該画像に運転者視点画像を合成する。また、特許文献２に記載された運転支援装置では、路面上の物体を平面物とみなし、カメラの撮影により得られた画像が鳥瞰変換されて統合された統合鳥瞰画像を運転者視点画像に変換する。
【０００３】
また、車両前方下部が運転者の死角になることに鑑み、当該フロントガラスの下部に配置されたディスプレイに表示する画像処理装置を撮影するとともに、その撮影により得られた画像を、車室内のフロントガラスの下部に配置されたディスプレイに表示する画像処理装置も存在する。
【特許文献１】特開２００３−１９６６４５号公報
【特許文献２】特開２００５−１６７３０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した、車両前方下部の画像を、フロントガラスの下部に配置されたディスプレイに表示する画像処理装置では、運転者に違和感を生じさせないようにするためには、運転者によって、フロントガラスを介して直接視認される範囲と、ディスプレイに画像が表示されることで認識される死角範囲とが連続したものとして把握されるようにすることが望ましい。
【０００５】
しかし、物体が運転者によって直接視認される範囲と死角範囲とに跨って存在する場合、物体の連続性が確保されないという問題がある。例えば、図１４に示す、運転者の認識範囲において、物体５１０がフロントガラスを介して直接視認される範囲５０１と、ディスプレイに画像が表示されることで認識される死角範囲５０２とに跨って存在している。このような場合、物体５１０について、直接視認範囲５０１と死角範囲５０２との連続性が確保されなくなってしまう。これは、死角範囲５０２を撮影するカメラの位置と、運転者の視点位置とが異なることによる。
【０００６】
本発明の目的は、上述した問題を解決するものであり、観察者の死角となる範囲の画像を適切に生成することが可能な画像処理装置を提供するものである。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、第１の範囲を撮影し、第１の画像を生成する第１の撮影手段と、第２の範囲を撮影し、第２の画像を生成する第２の撮影手段と、前記第１の範囲に存在する物体を検出する物体検出手段と、前記第１の撮影手段により生成された第１の画像から前記物体検出手段により検出された物体に対応する物体画像を抽出する物体画像抽出手段と、前記物体画像抽出手段により抽出された物体画像を拡縮した拡縮物体画像を生成する物体画像変換手段と、前記第２の撮影手段により生成された第２の画像から前記拡縮物体画像を重ねるべき背景画像を抽出する背景画像抽出手段と、前記第１の画像と、前記背景画像と、該背景画像の所定位置に重ねられた前記拡縮物体画像からなる合成画像を生成する画像合成手段とを有する。
【０００８】
この構成によれば、第１の範囲を撮影して得られる第１の画像から当該第１の範囲に存在する物体の画像のみを抽出、拡縮し、第２の範囲を撮影して得られる第２の画像から背景画像を抽出した上で、第１の画像と、背景画像と、当該背景画像の所定位置に重ねられた拡縮物体画像からなる合成画像が生成される。これにより、物体画像が適切に拡縮されて、観察者が直接視認する範囲と死角となる範囲とを跨る物体について、連続性が確保された状態で把握される。
【０００９】
また、本発明に係る画像処理装置は、前記物体検出手段が、前記物体の位置を検出し、前記物体画像変換手段が、前記物体検出手段により検出された位置に基づいて、前記物体、前記第１の撮影手段、及び、前記観察者の視点位置の配置を認識し、該配置によって定まる倍率で前記物体画像を縮小又は拡大して前記拡縮物体画像とするようにしてもよい。
【００１０】
この構成によれば、第１の撮影手段と観察者の視点位置とが異なることを考慮して、物体画像を適切に拡縮することができる。
【００１１】
また、本発明に係る画像処理装置は、前記画像合成手段が、前記第１の画像における前記物体画像を含む位置に前記背景画像を重ねるようにしてもよい。
【００１２】
この構成によれば、物体画像が背景画像によって隠蔽されて、更に拡縮物体画像が重ねられるため、合成画像に物体画像と拡縮物体画像の双方が含まれることがなく、観察者が物体を認識しやすくなる。
【００１３】
また、本発明に係る画像処理装置は、前記画像合成手段により生成された合成画像を表示する表示手段を有するようにしてもよい。
【００１４】
また、本発明に係る画像処理装置は、前記表示手段が、車両の室内におけるフロントガラス下部に配置されるようにしてもよい。
【００１５】
また、本発明に係る画像処理装置は、前記画像合成手段により生成された合成画像から観察者の死角範囲に対応する画像を切り出す画像切り出し手段を有し、前記表示手段が、前記画像切り出し手段により切り出された画像を表示するようにしてもよい。
【発明の効果】
【００１６】
本発明によれば、物体の画像のみが拡縮されて、第１の画像及び背景画像と合成されるため、観察者が直接視認する範囲と死角となる範囲とを跨る物体について、連続性が確保された状態で把握されることが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、図面を参照して具体的に説明する。図１は、本発明の実施形態に係る画像処理装置としての車両周辺画像提供装置の構成を示す図である。
【００１８】
図１に示す車両周辺画像提供装置１００は、車両に搭載されるものであり、メモリ１０４と、ディスプレイ１０６と、第１カメラ１５０−１と、第２カメラ１５０−２と、センサ１５２により構成される。これらのうち、第１カメラ１５０−１が第１の撮影手段に対応し、第２カメラ１５０−２が第２の撮影手段に対応し、センサ１５２が物体検出手段に対応する。また、制御部１０２が物体画像抽出手段、物体画像変換手段、背景画像抽出手段、及び、画像合成手段に対応し、ディスプレイ１０６が表示手段に対応する。
【００１９】
図２は、車両における第１カメラ１５０−１、第２カメラ１５０−２及びセンサ１５２の取り付け位置の一例を示す図である。図２において、第１カメラ１５０−１は、車両２００の前部左側に取り付けられ、第２カメラ１５０−２は、車両２００の前部右側に取り付けられている。これら第１カメラ１５０−１及び第２カメラ１５０−２は、広角もしくは魚眼レンズ（図示せず）を内蔵し、広い画角を有しており、車両２００の前方の広い範囲を撮影可能である。また、センサ１５２は、車両２００の前部中央に取り付けられている。
【００２０】
第１カメラ１５０−１は、車両前方の予め定められた撮影範囲（第１の範囲）を撮影して画像（第１画像）を生成する。一方、第２カメラ１５０−２は、車両前方の予め定められた撮影範囲（第２の範囲）を撮影して画像（第２画像）を生成する。
【００２１】
図３は、第１カメラ１５０−１の撮影範囲である第１の範囲と、第２カメラ１５０−２の撮影範囲である。第２の範囲との一例を示す図である。図３に示すように、第１の範囲１５１−１と第２の範囲１５１−２とは、重複するように予め設定されている。本実施形態の車両周辺画像提供装置１００は、第１の範囲に存在する物体３００を適切に表示させるようにするものである。
【００２２】
再び、図１に戻って説明する。センサ１５２は、車両２００の前方の路面上に存在する物体３００を検出するものであり、例えばレーザセンサである。
【００２３】
制御部１０２は、ＣＰＵを内蔵しており、車両周辺画像提供装置１００の全体を制御する。具体的には、制御部１０２は、第１カメラ１５０−１からの第１画像と、第２カメラ１５０−２からの第２画像と、センサ１５２によって検出された物体３００の位置とを入力する。そして、制御部１０２は、これらに基づいて、物体３００が、観察者である運転者によってフロントガラスを介して直接視認される範囲と、死角となる範囲とに跨る場合に、当該物体３００が、運転者によってフロントガラスを介して直接視認される部分と、ディスプレイ１０６に画像が表示されることで認識される部分とが連続したものとして把握されるように、ディスプレイ１０６に表示されるべき画像を生成する。画像生成の詳細については後述する。ディスプレイ１０６は、この制御部１０２によって生成された画像を表示する。
【００２４】
以下、フローチャートを参照しつつ、車両周辺画像提供装置１００の動作を説明する。図４及び図５は、車両周辺画像提供装置１００による画像処理の動作を示すフローチャートである。
【００２５】
第１カメラ１５０−１は、車両前方の第１の範囲を撮影して第１画像を生成する。一方、第２カメラ１５０−２は、車両前方の第２の範囲を撮影して第２画像を生成する（Ｓ１０１）。第１カメラ１５０−１は、生成した第１画像を制御部１０２へ出力し、第２カメラ１５０−２は、生成した第２画像を制御部１０２へ出力する。
【００２６】
次に、センサ１５２は、車両２００の前方の第１の範囲に向けてレーザ光を照射し、当該第１の範囲内に存在する物体３００で反射したレーザ光を受ける。そして、センサ１５２は、レーザ光の照射方向と、照射から受光までの時間差とにより、第１の範囲内に存在する物体３００の位置を検出する（Ｓ１０２）。ここで、物体３００の位置は、センサ１５２の位置を原点とし、車両２００の前方を１つの座標軸とする三次元空間における座標として特定される。検出された物体３００の位置は、制御部１０２へ出力される。制御部１０２は、第１カメラ１５０−１からの第１画像、第２カメラ１５０−２からの第２画像、及び、センサ１５２からの物体３００の位置を入力し、メモリ１０４に格納する。
【００２７】
次に、制御部１０２は、第１画像のうち、運転者の死角となる車両前方下部の範囲（死角範囲）を特定する（Ｓ１０３）。ここで、運転者の視点位置は、センサ１５２の位置を原点とし、車両２００の前方を１つの座標軸とする三次元空間における座標として予め特定され、メモリ１０４に格納されている。また、第１画像に対応する撮影範囲である第１の範囲と、第２画像に対応する撮影範囲である第２の範囲とは、それぞれセンサ１５２の位置を原点とし、車両２００の前方を１つの座標軸とする三次元空間における座標の集合として予め特定され、メモリ１０４に格納されている。
【００２８】
死角範囲は、運転者の視点位置と第１の範囲とにより一意に定まる。従って、これら運転者の視点位置及び第１の範囲が予め特定されることにより、死角範囲も予め特定されることになる。この死角範囲は、センサ１５２の位置を原点とし、車両２００の前方を１つの座標軸とする三次元空間における座標の集合として、メモリ１０４に格納される。制御部１０２は、メモリ１０４から死角範囲の座標集合を読み出し、当該死角範囲を特定する。
【００２９】
次に、制御部１０２は、物体３００の位置と、死角範囲とに基づいて、当該死角範囲に物体３００の少なくとも一部が存在するか否かを判定する（Ｓ１０４）。死角範囲に物体３００が存在しない場合には、一連の動作が終了する。この場合には、制御部１０２は、ディスプレイ１０６に対して、後述する死角範囲画像を出力し、ディスプレイ１０６は、この死角範囲画像を表示する。
【００３０】
一方、死角範囲に物体３００の少なくとも一部が存在する場合には、図５に示す動作に移行し、制御部１０２は、第１画像から物体３００の画像を抽出する（Ｓ１１１）。具体的には、制御部１０２は、メモリ１０４から第１画像の撮影範囲である第１の範囲と、物体３００の位置とを読み出し、これら第１の範囲と物体３００の位置とに基づいて、第１画像における物体３００の画像の位置を特定し、その物体３００の画像を抽出する。例えば、図６に示す第１画像３５０においては、物体３００の画像３１０が抽出される。
【００３１】
再び、図５に戻って説明する。次に、制御部１０２は、抽出した物体３００の画像の拡縮倍率を導出する（Ｓ１１２）。拡縮倍率は、物体３００が、運転者がフロントガラスを介して直接視認する範囲と死角となる範囲とを跨る場合に、運転者によって、フロントガラスを介して直接視認される部分と、ディスプレイ１０６に画像が表示されることで認識される部分とが連続したものとして把握されるような値に設定される。
【００３２】
ここで、運転者４００の視点位置と物体３００との距離をａ、第１カメラ１５０−１と物体３００との距離をｂとすると、倍率はａ／ｂに所定の係数を乗じた値で算出される。すなわち、第１カメラ１５０−１と物体３００との距離ｂに対する、運転者４００の視点位置と物体３００との距離ａの比率が小さいほど、倍率は小さくなる。例えば、図７の例では、運転者４００の視点位置と物体３００との距離ａは、第１カメラ１５０−１と物体３００との距離ｂより大きい。この場合には、一般に倍率は１以下となり、物体３００の画像は縮小されることになる。例えば、メモリ１０４に図８に示すような運転者４００の視点位置と物体３００との距離、第１カメラ１５０−１と物体３００との距離、及び、倍率を対応付けたテーブルを格納しておき、制御部１０２は、このテーブルに基づいて、運転者４００の視点位置と物体３００との距離と、第１カメラ１５０−１と物体３００との距離とから倍率を一意に特定するようにしてもよい。
【００３３】
再び、図５に戻って説明する。次に、制御部１０２は、Ｓ１１２にて導出した拡縮倍率に基づいて、Ｓ１１１にて抽出した物体３００の画像を縮小又は拡大する（Ｓ１１３）。
【００３４】
更に、制御部１０２は、第２画像から、Ｓ１１３にて縮小又は拡大した物体３００の画像を重ねるべき背景画像を抽出する（Ｓ１１４）。具体的には、制御部１０２は、第１画像における物体３００の画像の周辺の画像（周辺画像）を特定する。例えば、図９に示す第１画像３５０では、物体３００の画像３１０の周辺である、周辺画像３１１が特定される。次に、制御部１０２は、第２画像のうち、第１画像にて特定した周辺画像に近似する画像を、背景画像として特定する。例えば、図１０に示す第２画像３６０では、図９における周辺画像３１１に近似する画像が背景画像３１２として特定される。周辺画像に対する背景画像の近似の度合いは、例えば、周辺画像と背景画像の同一位置の画素の画素値の差の合計値に基づいて判断することができる。この場合、周辺画像と背景画像の同一位置の画素の画素値の差の合計値が最も小さくなれば、その背景画像は、第２の画像において、周辺画像に最も近似する画像であると判断される。
【００３５】
再び、図５に戻って説明する。次に、制御部１０２は、第１画像における周辺画像の位置にＳ１１４にて抽出した背景画像を重畳する（Ｓ１１５）。次に、制御部１０２は、該１画像に重畳した背景画像の位置に、更にＳ１１３にて物体３００の画像を縮小又は拡大して得られた画像（拡縮物体画像）を重畳して、合成画像を生成する（Ｓ１１６）。例えば、図１１では、第１画像３５０に背景画像３１２が重畳され、当該背景画像３１２に更に拡縮物体画像３１３が重畳されて、合成画像が得られる。
【００３６】
再び、図５に戻って説明する。次に、制御部１０２は、Ｓ１１６にて生成した合成画像から運転者４００の死角範囲に対応する画像（死角範囲画像）を切り出す（Ｓ１１７）。ここで、死角範囲は、運転者の視点位置と第１の範囲とにより一意に定まるため、これら運転者の視点位置及び第１の範囲が予め特定されることにより、死角範囲に対応する画像の切り出し範囲も予め特定される。この死角範囲画像の切り出し範囲は、第１画像に対応する２次元空間における座標の集合として、メモリ１０４に格納される。制御部１０２は、メモリ１０４から死角範囲画像の切り出し範囲の座標集合を読み出し、当該座標集合に基づいて第１画像、背景画像及び拡縮物体画像からなる合成画像から死角範囲画像を切り出すことができる。例えば、図１２では、第１画像３５０、背景画像３１２及び拡縮物体画像３１３からなる合成画像から死角範囲画像３１４が切り出される。
【００３７】
制御部１０２は、このようにして切り出した死角範囲画像を、ディスプレイ１０６に出力する。ディスプレイ１０６は、車両２００のフロントガラス下部に配置されており、制御部１０２からの死角範囲画像を表示する（Ｓ１１８）。
【００３８】
このように、本実施形態の車両周辺画像提供装置１００では、第１カメラ１５０−１によって第１画像を撮影し、第２カメラ１５０−２によって第２画像を撮影する。そして、制御部１０２は、第１画像から物体３００の画像を抽出し、当該画像を運転者４００の視点位置と物体３００との距離と、第１カメラ１５０−１と物体３００との距離とによって定まる倍率で拡縮する。更に、制御部１０２は、第２画像から背景画像を抽出して、第１画像に背景画像を重畳し、更に当該背景画像に拡縮物体画像を重畳することで合成画像を生成する。そして、制御部１０２は、合成画像から運転者４００の死角に対応する死角範囲の画像を切り出して、フロントガラス下部のディスプレイ１０６に表示させる。これにより、物体３００が、運転者４００がフロントガラスを介して直接視認する範囲と死角となる範囲とを跨る場合には、図１３に示すように、運転者によって、フロントガラス５０１を介して直接視認される物体３００の部分と、ディスプレイ１０６に死角範囲画像３１４が表示されることで認識される物体３００の部分とが連続したものとして把握されることが可能となり、運転者４００に違和感を生じさせないようにすることができる。
【００３９】
なお、上述した実施形態では、車両周辺の画像を提供する専用の装置である車両周辺画像提供装置１００について説明したが、例えば、車両周辺の画像を提供する機能を有するナビゲーション装置等にも、同様に本発明を適用することができる。
【産業上の利用可能性】
【００４０】
以上、説明したように、本発明に係る画像処理装置は、観察者の死角となる範囲の画像を適切に生成することが可能であり、画像処理装置として有用である。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態に係る画像処理装置を適用した車両周辺画像提供装置の構成を示す図である。
【図２】車両におけるカメラ及びセンサの取り付け位置の一例を示す図である。
【図３】カメラの撮影範囲の一例を示す図である。
【図４】車両周辺画像提供装置による画像処理の動作を示す第１のフローチャートである。
【図５】車両周辺画像提供装置による画像処理の動作を示す第２のフローチャートである。
【図６】第１画像と当該第１画像に含まれる物体画像の一例を示す図である。
【図７】運転者の視点位置と物体との距離と、第１カメラと物体との距離の一例を示す図である。
【図８】倍率導出のためのテーブルの一例を示す図である。
【図９】第１画像と当該第１画像に含まれる周辺画像の一例を示す図である。
【図１０】第２画像と当該第２画像に含まれる背景画像の一例を示す図である。
【図１１】第１画像、背景画像及び拡縮物体画像からなる合成画像の一例を示す図である。
【図１２】合成画像における死角範囲画像の一例を示す図である。
【図１３】運転者の認識範囲の一例を示す図である。
【図１４】従来の運転者の認識範囲の一例を示す図である。
【符号の説明】
【００４２】
１００ 車両周辺画像提供装置
１０２ 制御部
１０４ メモリ
１０６ ディスプレイ
１５０−１ 第１カメラ
１５０−２ 第２カメラ
１５２ センサ
２００ 車両
３００ 物体
４００ 運転者
【技術分野】
【０００１】
本発明は、複数の画像を合成する画像処理装置に関する。
【背景技術】
【０００２】
近年、車両の安全性を確保すべく、車両周辺を監視するシステムが提案されている。例えば、特許文献１に記載された車両の画像処理装置では、車外に設けられたカメラの撮影により得られた画像を運転者の視点から見た画像（運転者視点画像）に変換する。更に、運転者の視点位置近傍に設けられたカメラの撮影により得られた画像から死角範囲を除いた画像を生成し、当該画像に運転者視点画像を合成する。また、特許文献２に記載された運転支援装置では、路面上の物体を平面物とみなし、カメラの撮影により得られた画像が鳥瞰変換されて統合された統合鳥瞰画像を運転者視点画像に変換する。
【０００３】
また、車両前方下部が運転者の死角になることに鑑み、当該フロントガラスの下部に配置されたディスプレイに表示する画像処理装置を撮影するとともに、その撮影により得られた画像を、車室内のフロントガラスの下部に配置されたディスプレイに表示する画像処理装置も存在する。
【特許文献１】特開２００３−１９６６４５号公報
【特許文献２】特開２００５−１６７３０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した、車両前方下部の画像を、フロントガラスの下部に配置されたディスプレイに表示する画像処理装置では、運転者に違和感を生じさせないようにするためには、運転者によって、フロントガラスを介して直接視認される範囲と、ディスプレイに画像が表示されることで認識される死角範囲とが連続したものとして把握されるようにすることが望ましい。
【０００５】
しかし、物体が運転者によって直接視認される範囲と死角範囲とに跨って存在する場合、物体の連続性が確保されないという問題がある。例えば、図１４に示す、運転者の認識範囲において、物体５１０がフロントガラスを介して直接視認される範囲５０１と、ディスプレイに画像が表示されることで認識される死角範囲５０２とに跨って存在している。このような場合、物体５１０について、直接視認範囲５０１と死角範囲５０２との連続性が確保されなくなってしまう。これは、死角範囲５０２を撮影するカメラの位置と、運転者の視点位置とが異なることによる。
【０００６】
本発明の目的は、上述した問題を解決するものであり、観察者の死角となる範囲の画像を適切に生成することが可能な画像処理装置を提供するものである。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、第１の範囲を撮影し、第１の画像を生成する第１の撮影手段と、第２の範囲を撮影し、第２の画像を生成する第２の撮影手段と、前記第１の範囲に存在する物体を検出する物体検出手段と、前記第１の撮影手段により生成された第１の画像から前記物体検出手段により検出された物体に対応する物体画像を抽出する物体画像抽出手段と、前記物体画像抽出手段により抽出された物体画像を拡縮した拡縮物体画像を生成する物体画像変換手段と、前記第２の撮影手段により生成された第２の画像から前記拡縮物体画像を重ねるべき背景画像を抽出する背景画像抽出手段と、前記第１の画像と、前記背景画像と、該背景画像の所定位置に重ねられた前記拡縮物体画像からなる合成画像を生成する画像合成手段とを有する。
【０００８】
この構成によれば、第１の範囲を撮影して得られる第１の画像から当該第１の範囲に存在する物体の画像のみを抽出、拡縮し、第２の範囲を撮影して得られる第２の画像から背景画像を抽出した上で、第１の画像と、背景画像と、当該背景画像の所定位置に重ねられた拡縮物体画像からなる合成画像が生成される。これにより、物体画像が適切に拡縮されて、観察者が直接視認する範囲と死角となる範囲とを跨る物体について、連続性が確保された状態で把握される。
【０００９】
また、本発明に係る画像処理装置は、前記物体検出手段が、前記物体の位置を検出し、前記物体画像変換手段が、前記物体検出手段により検出された位置に基づいて、前記物体、前記第１の撮影手段、及び、前記観察者の視点位置の配置を認識し、該配置によって定まる倍率で前記物体画像を縮小又は拡大して前記拡縮物体画像とするようにしてもよい。
【００１０】
この構成によれば、第１の撮影手段と観察者の視点位置とが異なることを考慮して、物体画像を適切に拡縮することができる。
【００１１】
また、本発明に係る画像処理装置は、前記画像合成手段が、前記第１の画像における前記物体画像を含む位置に前記背景画像を重ねるようにしてもよい。
【００１２】
この構成によれば、物体画像が背景画像によって隠蔽されて、更に拡縮物体画像が重ねられるため、合成画像に物体画像と拡縮物体画像の双方が含まれることがなく、観察者が物体を認識しやすくなる。
【００１３】
また、本発明に係る画像処理装置は、前記画像合成手段により生成された合成画像を表示する表示手段を有するようにしてもよい。
【００１４】
また、本発明に係る画像処理装置は、前記表示手段が、車両の室内におけるフロントガラス下部に配置されるようにしてもよい。
【００１５】
また、本発明に係る画像処理装置は、前記画像合成手段により生成された合成画像から観察者の死角範囲に対応する画像を切り出す画像切り出し手段を有し、前記表示手段が、前記画像切り出し手段により切り出された画像を表示するようにしてもよい。
【発明の効果】
【００１６】
本発明によれば、物体の画像のみが拡縮されて、第１の画像及び背景画像と合成されるため、観察者が直接視認する範囲と死角となる範囲とを跨る物体について、連続性が確保された状態で把握されることが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、図面を参照して具体的に説明する。図１は、本発明の実施形態に係る画像処理装置としての車両周辺画像提供装置の構成を示す図である。
【００１８】
図１に示す車両周辺画像提供装置１００は、車両に搭載されるものであり、メモリ１０４と、ディスプレイ１０６と、第１カメラ１５０−１と、第２カメラ１５０−２と、センサ１５２により構成される。これらのうち、第１カメラ１５０−１が第１の撮影手段に対応し、第２カメラ１５０−２が第２の撮影手段に対応し、センサ１５２が物体検出手段に対応する。また、制御部１０２が物体画像抽出手段、物体画像変換手段、背景画像抽出手段、及び、画像合成手段に対応し、ディスプレイ１０６が表示手段に対応する。
【００１９】
図２は、車両における第１カメラ１５０−１、第２カメラ１５０−２及びセンサ１５２の取り付け位置の一例を示す図である。図２において、第１カメラ１５０−１は、車両２００の前部左側に取り付けられ、第２カメラ１５０−２は、車両２００の前部右側に取り付けられている。これら第１カメラ１５０−１及び第２カメラ１５０−２は、広角もしくは魚眼レンズ（図示せず）を内蔵し、広い画角を有しており、車両２００の前方の広い範囲を撮影可能である。また、センサ１５２は、車両２００の前部中央に取り付けられている。
【００２０】
第１カメラ１５０−１は、車両前方の予め定められた撮影範囲（第１の範囲）を撮影して画像（第１画像）を生成する。一方、第２カメラ１５０−２は、車両前方の予め定められた撮影範囲（第２の範囲）を撮影して画像（第２画像）を生成する。
【００２１】
図３は、第１カメラ１５０−１の撮影範囲である第１の範囲と、第２カメラ１５０−２の撮影範囲である。第２の範囲との一例を示す図である。図３に示すように、第１の範囲１５１−１と第２の範囲１５１−２とは、重複するように予め設定されている。本実施形態の車両周辺画像提供装置１００は、第１の範囲に存在する物体３００を適切に表示させるようにするものである。
【００２２】
再び、図１に戻って説明する。センサ１５２は、車両２００の前方の路面上に存在する物体３００を検出するものであり、例えばレーザセンサである。
【００２３】
制御部１０２は、ＣＰＵを内蔵しており、車両周辺画像提供装置１００の全体を制御する。具体的には、制御部１０２は、第１カメラ１５０−１からの第１画像と、第２カメラ１５０−２からの第２画像と、センサ１５２によって検出された物体３００の位置とを入力する。そして、制御部１０２は、これらに基づいて、物体３００が、観察者である運転者によってフロントガラスを介して直接視認される範囲と、死角となる範囲とに跨る場合に、当該物体３００が、運転者によってフロントガラスを介して直接視認される部分と、ディスプレイ１０６に画像が表示されることで認識される部分とが連続したものとして把握されるように、ディスプレイ１０６に表示されるべき画像を生成する。画像生成の詳細については後述する。ディスプレイ１０６は、この制御部１０２によって生成された画像を表示する。
【００２４】
以下、フローチャートを参照しつつ、車両周辺画像提供装置１００の動作を説明する。図４及び図５は、車両周辺画像提供装置１００による画像処理の動作を示すフローチャートである。
【００２５】
第１カメラ１５０−１は、車両前方の第１の範囲を撮影して第１画像を生成する。一方、第２カメラ１５０−２は、車両前方の第２の範囲を撮影して第２画像を生成する（Ｓ１０１）。第１カメラ１５０−１は、生成した第１画像を制御部１０２へ出力し、第２カメラ１５０−２は、生成した第２画像を制御部１０２へ出力する。
【００２６】
次に、センサ１５２は、車両２００の前方の第１の範囲に向けてレーザ光を照射し、当該第１の範囲内に存在する物体３００で反射したレーザ光を受ける。そして、センサ１５２は、レーザ光の照射方向と、照射から受光までの時間差とにより、第１の範囲内に存在する物体３００の位置を検出する（Ｓ１０２）。ここで、物体３００の位置は、センサ１５２の位置を原点とし、車両２００の前方を１つの座標軸とする三次元空間における座標として特定される。検出された物体３００の位置は、制御部１０２へ出力される。制御部１０２は、第１カメラ１５０−１からの第１画像、第２カメラ１５０−２からの第２画像、及び、センサ１５２からの物体３００の位置を入力し、メモリ１０４に格納する。
【００２７】
次に、制御部１０２は、第１画像のうち、運転者の死角となる車両前方下部の範囲（死角範囲）を特定する（Ｓ１０３）。ここで、運転者の視点位置は、センサ１５２の位置を原点とし、車両２００の前方を１つの座標軸とする三次元空間における座標として予め特定され、メモリ１０４に格納されている。また、第１画像に対応する撮影範囲である第１の範囲と、第２画像に対応する撮影範囲である第２の範囲とは、それぞれセンサ１５２の位置を原点とし、車両２００の前方を１つの座標軸とする三次元空間における座標の集合として予め特定され、メモリ１０４に格納されている。
【００２８】
死角範囲は、運転者の視点位置と第１の範囲とにより一意に定まる。従って、これら運転者の視点位置及び第１の範囲が予め特定されることにより、死角範囲も予め特定されることになる。この死角範囲は、センサ１５２の位置を原点とし、車両２００の前方を１つの座標軸とする三次元空間における座標の集合として、メモリ１０４に格納される。制御部１０２は、メモリ１０４から死角範囲の座標集合を読み出し、当該死角範囲を特定する。
【００２９】
次に、制御部１０２は、物体３００の位置と、死角範囲とに基づいて、当該死角範囲に物体３００の少なくとも一部が存在するか否かを判定する（Ｓ１０４）。死角範囲に物体３００が存在しない場合には、一連の動作が終了する。この場合には、制御部１０２は、ディスプレイ１０６に対して、後述する死角範囲画像を出力し、ディスプレイ１０６は、この死角範囲画像を表示する。
【００３０】
一方、死角範囲に物体３００の少なくとも一部が存在する場合には、図５に示す動作に移行し、制御部１０２は、第１画像から物体３００の画像を抽出する（Ｓ１１１）。具体的には、制御部１０２は、メモリ１０４から第１画像の撮影範囲である第１の範囲と、物体３００の位置とを読み出し、これら第１の範囲と物体３００の位置とに基づいて、第１画像における物体３００の画像の位置を特定し、その物体３００の画像を抽出する。例えば、図６に示す第１画像３５０においては、物体３００の画像３１０が抽出される。
【００３１】
再び、図５に戻って説明する。次に、制御部１０２は、抽出した物体３００の画像の拡縮倍率を導出する（Ｓ１１２）。拡縮倍率は、物体３００が、運転者がフロントガラスを介して直接視認する範囲と死角となる範囲とを跨る場合に、運転者によって、フロントガラスを介して直接視認される部分と、ディスプレイ１０６に画像が表示されることで認識される部分とが連続したものとして把握されるような値に設定される。
【００３２】
ここで、運転者４００の視点位置と物体３００との距離をａ、第１カメラ１５０−１と物体３００との距離をｂとすると、倍率はａ／ｂに所定の係数を乗じた値で算出される。すなわち、第１カメラ１５０−１と物体３００との距離ｂに対する、運転者４００の視点位置と物体３００との距離ａの比率が小さいほど、倍率は小さくなる。例えば、図７の例では、運転者４００の視点位置と物体３００との距離ａは、第１カメラ１５０−１と物体３００との距離ｂより大きい。この場合には、一般に倍率は１以下となり、物体３００の画像は縮小されることになる。例えば、メモリ１０４に図８に示すような運転者４００の視点位置と物体３００との距離、第１カメラ１５０−１と物体３００との距離、及び、倍率を対応付けたテーブルを格納しておき、制御部１０２は、このテーブルに基づいて、運転者４００の視点位置と物体３００との距離と、第１カメラ１５０−１と物体３００との距離とから倍率を一意に特定するようにしてもよい。
【００３３】
再び、図５に戻って説明する。次に、制御部１０２は、Ｓ１１２にて導出した拡縮倍率に基づいて、Ｓ１１１にて抽出した物体３００の画像を縮小又は拡大する（Ｓ１１３）。
【００３４】
更に、制御部１０２は、第２画像から、Ｓ１１３にて縮小又は拡大した物体３００の画像を重ねるべき背景画像を抽出する（Ｓ１１４）。具体的には、制御部１０２は、第１画像における物体３００の画像の周辺の画像（周辺画像）を特定する。例えば、図９に示す第１画像３５０では、物体３００の画像３１０の周辺である、周辺画像３１１が特定される。次に、制御部１０２は、第２画像のうち、第１画像にて特定した周辺画像に近似する画像を、背景画像として特定する。例えば、図１０に示す第２画像３６０では、図９における周辺画像３１１に近似する画像が背景画像３１２として特定される。周辺画像に対する背景画像の近似の度合いは、例えば、周辺画像と背景画像の同一位置の画素の画素値の差の合計値に基づいて判断することができる。この場合、周辺画像と背景画像の同一位置の画素の画素値の差の合計値が最も小さくなれば、その背景画像は、第２の画像において、周辺画像に最も近似する画像であると判断される。
【００３５】
再び、図５に戻って説明する。次に、制御部１０２は、第１画像における周辺画像の位置にＳ１１４にて抽出した背景画像を重畳する（Ｓ１１５）。次に、制御部１０２は、該１画像に重畳した背景画像の位置に、更にＳ１１３にて物体３００の画像を縮小又は拡大して得られた画像（拡縮物体画像）を重畳して、合成画像を生成する（Ｓ１１６）。例えば、図１１では、第１画像３５０に背景画像３１２が重畳され、当該背景画像３１２に更に拡縮物体画像３１３が重畳されて、合成画像が得られる。
【００３６】
再び、図５に戻って説明する。次に、制御部１０２は、Ｓ１１６にて生成した合成画像から運転者４００の死角範囲に対応する画像（死角範囲画像）を切り出す（Ｓ１１７）。ここで、死角範囲は、運転者の視点位置と第１の範囲とにより一意に定まるため、これら運転者の視点位置及び第１の範囲が予め特定されることにより、死角範囲に対応する画像の切り出し範囲も予め特定される。この死角範囲画像の切り出し範囲は、第１画像に対応する２次元空間における座標の集合として、メモリ１０４に格納される。制御部１０２は、メモリ１０４から死角範囲画像の切り出し範囲の座標集合を読み出し、当該座標集合に基づいて第１画像、背景画像及び拡縮物体画像からなる合成画像から死角範囲画像を切り出すことができる。例えば、図１２では、第１画像３５０、背景画像３１２及び拡縮物体画像３１３からなる合成画像から死角範囲画像３１４が切り出される。
【００３７】
制御部１０２は、このようにして切り出した死角範囲画像を、ディスプレイ１０６に出力する。ディスプレイ１０６は、車両２００のフロントガラス下部に配置されており、制御部１０２からの死角範囲画像を表示する（Ｓ１１８）。
【００３８】
このように、本実施形態の車両周辺画像提供装置１００では、第１カメラ１５０−１によって第１画像を撮影し、第２カメラ１５０−２によって第２画像を撮影する。そして、制御部１０２は、第１画像から物体３００の画像を抽出し、当該画像を運転者４００の視点位置と物体３００との距離と、第１カメラ１５０−１と物体３００との距離とによって定まる倍率で拡縮する。更に、制御部１０２は、第２画像から背景画像を抽出して、第１画像に背景画像を重畳し、更に当該背景画像に拡縮物体画像を重畳することで合成画像を生成する。そして、制御部１０２は、合成画像から運転者４００の死角に対応する死角範囲の画像を切り出して、フロントガラス下部のディスプレイ１０６に表示させる。これにより、物体３００が、運転者４００がフロントガラスを介して直接視認する範囲と死角となる範囲とを跨る場合には、図１３に示すように、運転者によって、フロントガラス５０１を介して直接視認される物体３００の部分と、ディスプレイ１０６に死角範囲画像３１４が表示されることで認識される物体３００の部分とが連続したものとして把握されることが可能となり、運転者４００に違和感を生じさせないようにすることができる。
【００３９】
なお、上述した実施形態では、車両周辺の画像を提供する専用の装置である車両周辺画像提供装置１００について説明したが、例えば、車両周辺の画像を提供する機能を有するナビゲーション装置等にも、同様に本発明を適用することができる。
【産業上の利用可能性】
【００４０】
以上、説明したように、本発明に係る画像処理装置は、観察者の死角となる範囲の画像を適切に生成することが可能であり、画像処理装置として有用である。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態に係る画像処理装置を適用した車両周辺画像提供装置の構成を示す図である。
【図２】車両におけるカメラ及びセンサの取り付け位置の一例を示す図である。
【図３】カメラの撮影範囲の一例を示す図である。
【図４】車両周辺画像提供装置による画像処理の動作を示す第１のフローチャートである。
【図５】車両周辺画像提供装置による画像処理の動作を示す第２のフローチャートである。
【図６】第１画像と当該第１画像に含まれる物体画像の一例を示す図である。
【図７】運転者の視点位置と物体との距離と、第１カメラと物体との距離の一例を示す図である。
【図８】倍率導出のためのテーブルの一例を示す図である。
【図９】第１画像と当該第１画像に含まれる周辺画像の一例を示す図である。
【図１０】第２画像と当該第２画像に含まれる背景画像の一例を示す図である。
【図１１】第１画像、背景画像及び拡縮物体画像からなる合成画像の一例を示す図である。
【図１２】合成画像における死角範囲画像の一例を示す図である。
【図１３】運転者の認識範囲の一例を示す図である。
【図１４】従来の運転者の認識範囲の一例を示す図である。
【符号の説明】
【００４２】
１００ 車両周辺画像提供装置
１０２ 制御部
１０４ メモリ
１０６ ディスプレイ
１５０−１ 第１カメラ
１５０−２ 第２カメラ
１５２ センサ
２００ 車両
３００ 物体
４００ 運転者
【特許請求の範囲】
【請求項１】
第１の範囲を撮影し、第１の画像を生成する第１の撮影手段と、
第２の範囲を撮影し、第２の画像を生成する第２の撮影手段と、
前記第１の範囲に存在する物体を検出する物体検出手段と、
前記第１の撮影手段により生成された第１の画像から前記物体検出手段により検出された物体に対応する物体画像を抽出する物体画像抽出手段と、
前記物体画像抽出手段により抽出された物体画像を拡縮した拡縮物体画像を生成する物体画像変換手段と、
前記第２の撮影手段により生成された第２の画像から前記拡縮物体画像を重ねるべき背景画像を抽出する背景画像抽出手段と、
前記第１の画像と、前記背景画像と、該背景画像の所定位置に重ねられた前記拡縮物体画像からなる合成画像を生成する画像合成手段とを有する画像処理装置。
【請求項２】
前記物体検出手段は、前記物体の位置を検出し、
前記物体画像変換手段は、前記物体検出手段により検出された位置に基づいて、前記物体、前記第１の撮影手段、及び、前記観察者の視点位置の配置を認識し、該配置によって定まる倍率で前記物体画像を縮小又は拡大して前記拡縮物体画像とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段は、前記第１の画像における前記物体画像を含む位置に前記背景画像を重ねることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像合成手段により生成された合成画像を表示する表示手段を有する請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記表示手段は、車両の室内におけるフロントガラス下部に配置される請求項４に記載の画像処理装置。
【請求項６】
前記画像合成手段により生成された合成画像から観察者の死角範囲に対応する画像を切り出す画像切り出し手段を有し、
前記表示手段は、前記画像切り出し手段により切り出された画像を表示する請求項４又は５に記載の画像処理装置。
【請求項１】
第１の範囲を撮影し、第１の画像を生成する第１の撮影手段と、
第２の範囲を撮影し、第２の画像を生成する第２の撮影手段と、
前記第１の範囲に存在する物体を検出する物体検出手段と、
前記第１の撮影手段により生成された第１の画像から前記物体検出手段により検出された物体に対応する物体画像を抽出する物体画像抽出手段と、
前記物体画像抽出手段により抽出された物体画像を拡縮した拡縮物体画像を生成する物体画像変換手段と、
前記第２の撮影手段により生成された第２の画像から前記拡縮物体画像を重ねるべき背景画像を抽出する背景画像抽出手段と、
前記第１の画像と、前記背景画像と、該背景画像の所定位置に重ねられた前記拡縮物体画像からなる合成画像を生成する画像合成手段とを有する画像処理装置。
【請求項２】
前記物体検出手段は、前記物体の位置を検出し、
前記物体画像変換手段は、前記物体検出手段により検出された位置に基づいて、前記物体、前記第１の撮影手段、及び、前記観察者の視点位置の配置を認識し、該配置によって定まる倍率で前記物体画像を縮小又は拡大して前記拡縮物体画像とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段は、前記第１の画像における前記物体画像を含む位置に前記背景画像を重ねることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像合成手段により生成された合成画像を表示する表示手段を有する請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記表示手段は、車両の室内におけるフロントガラス下部に配置される請求項４に記載の画像処理装置。
【請求項６】
前記画像合成手段により生成された合成画像から観察者の死角範囲に対応する画像を切り出す画像切り出し手段を有し、
前記表示手段は、前記画像切り出し手段により切り出された画像を表示する請求項４又は５に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−１５２９５１（Ｐ２００９−１５２９５１Ａ）
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願番号】特願２００７−３２９７５７（Ｐ２００７−３２９７５７）
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]