車両用周辺監視装置および車両用周辺画像表示方法
【課題】車両用周辺監視装置において、複数の異なる方向を撮像した画像の明るさを補正して1枚の画像に合成した画像と、前記複数の異なる方向を撮像した画像とを合成して表示したとき、前者の画像の明るさ補正の影響によらずに、後者の画像を見やすくする。
【解決手段】車両周辺を撮像する複数の撮像手段と、前記複数の撮像手段のうちいずれか1つの撮像手段で撮像された画像の中から、前記画像の明るさに対応した値を算出し、算出された値に基づいて、前記複数の撮像手段で得られた画像の明るさを補正し、明るさが補正された画像に対して所定の座標変換を施した後、1枚の画像に合成し、前記いずれか1つの撮像手段で撮像された画像と同時に表示する。
【解決手段】車両周辺を撮像する複数の撮像手段と、前記複数の撮像手段のうちいずれか1つの撮像手段で撮像された画像の中から、前記画像の明るさに対応した値を算出し、算出された値に基づいて、前記複数の撮像手段で得られた画像の明るさを補正し、明るさが補正された画像に対して所定の座標変換を施した後、1枚の画像に合成し、前記いずれか1つの撮像手段で撮像された画像と同時に表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用周辺監視装置および車両用周辺画像表示方法に関し、詳細には、互いに異なる方向を撮像した複数の画像の明るさの違いを補正して、自然な合成画像を得る手法に関する。
【背景技術】
【0002】
近年、車両にカメラを搭載し、運転者に、死角になりやすい車両周辺の画像を提供するシステムが一般的になってきている。
【0003】
特に、最近では、カメラで撮像した画像を車両の真上から見下ろしたように座標変換した俯瞰画像を提供するものや、車両に複数のカメラを搭載し、座標変換した俯瞰画像同士を合成して、車両の周辺360°を見渡せるような画像を提供するシステムも実用化されている。
【0004】
このような、複数のカメラで撮像した画像を1枚の画像に合成するシステムにおいては、システムを構成するカメラの種類の違い、あるいは、同じ種類のカメラであっても、各カメラの自動露出補正の働きの違いや、カメラ中心からの距離に応じた光量の減少によって、特に画像のつなぎ目で明るさが不連続になり、合成した画像に違和感が生じるという問題があった。
【0005】
こうした問題に対し、従来、隣りあったカメラの共通撮像領域の平均的な明るさが一致するように、各カメラで撮像した画像の明るさを補正して、明るさが補正された画像を表示する技術が提案されている(特許文献1、特許文献2)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3297040号公報
【特許文献2】特開2007−141098号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、こうした従来の提案では、複数の画像を座標変換、および合成した画像を提供することを前提にして明るさの補正を行っている。
【0008】
したがって、例えば、車両後方の画像と車両周囲を俯瞰した画像を並べて同時に表示することで、車両後方の画像を確認しながら車両周囲の状況を確認できる、あるいは、車両前方の画像と車両周囲を俯瞰した画像を並べて同時に表示することで、車両前方の画像を確認しながら車両周囲の状況を確認できる、という機能を有する車両用周辺監視装置を実現した場合、合成した画像の明るさを補正することによって、もう一方の画像、すなわち、車両後方、もしくは車両前方の画像の明るさも同時に補正されてしまう。
【0009】
例えば、複数のカメラで撮像した画像の中の一部の画像で明暗が頻繁に変化するような場合、これら複数の画像を1枚に合成した画像の明るさを補正するために算出した明るさの補正値によって、車両周囲の合成画像と同時に表示される、車両後方や車両前方の画像の明るさも同時に補正されるため、これらが見にくくなってしまうという問題が生じてしまう。
【0010】
本発明は上記事情に鑑みなされたものであり、並べて表示される、合成された画像を含む2種類以上の画像が、互いの画像に影響されず、合成した画像の明るさの補正が可能な車両用周辺監視装置および車両用周辺画像表示方法を提供することを目的とするものである。
【課題を解決するための手段】
【0011】
本発明は、車両周辺を俯瞰した合成画像と、車両後方の画像を並べて表示するとき、車両後方の画像の中の明るさに対応した値に基づいて、前記車両周辺を俯瞰した合成画像の明るさを補正することにより、明るさの変化が激しい環境にあっても、見やすい画像を提供できるものである。
【0012】
すなわち、本発明に係る車両用周辺監視装置は、車両に設置され、車両周辺を撮像する複数の撮像手段と、前記複数の撮像手段のうちいずれか1つの撮像手段で撮像された画像の中から、前記1つの撮像手段で撮像された画像の明るさに対応した値を算出する画像の明るさ算出手段と、前記画像の明るさ算出手段によって算出された値に基づいて、前記複数の撮像手段で得られた画像の明るさを補正する明るさ補正手段と、前記明るさ補正手段によって明るさが補正された画像に対して、所定の座標変換処理を施す画像変換手段と、前記座標変換処理が施された複数の画像を1つの画像に合成する画像合成手段と、前記画像合成手段によって合成された画像と前記いずれか1つの撮像手段で撮像された画像とを同時に表示する画像表示手段とを備えることを特徴とする。
【0013】
このように構成された本発明に係る車両用周辺監視装置によれば、複数の撮像手段の中の1つの撮像手段で撮像された画像の中から、その画像の明るさに対応した値を算出し、明るさ補正手段は、前記算出された値に基づいて、複数の撮像手段によって撮像された画像の明るさを補正する。
【0014】
明るさが補正された画像は、画像変換手段で座標変換され、さらに、画像合成手段で1枚の画像に合成される。1枚に合成された画像と、前記複数の撮像手段の中の1つで撮像された画像が並べて表示されるため、前記複数の撮像手段の中の1つで撮影した画像の明るさには影響を与えず、合成画像の明るさのみが補正できる。
【0015】
また、本発明に係る車両用周辺監視装置は、車両の進行方向を判定する進行方向判定手段と、前記進行方向判定手段の判定結果に基づいて、複数の撮像手段から1つの撮像手段を選択する撮像手段選択手段とを備え、前記画像の明るさ算出手段は、前記撮像手段選択手段によって選択された1つの撮像手段で撮像した画像の中から画像の明るさに対応した値を算出するものであり、前記画像表示手段は、前記画像合成手段によって合成された画像と前記撮像手段選択手段によって選択された1つの撮像手段で撮像した画像とを同時に表示するものであることが望ましい。
【0016】
このように構成された本発明に係る車両用周辺監視装置によれば、進行方向判定手段によって判定された結果に基づいて、撮像手段選択手段によって1つの撮像手段が選択され、選択された撮像手段によって撮像された画像の中の明るさに対応した値が算出される。明るさ補正手段は、算出された値に基づいて、複数の撮像手段によって撮像された画像の明るさを補正する。明るさが補正された画像は、画像変換手段で座標変換され、さらに、画像合成手段で1枚の画像に合成される。1枚に合成された画像と、前記、複数の撮像手段の中の1つで撮像された画像が並べて表示されるため、明るさ補正の結果が、運転中に最も注意を払う必要がある、車両の進行方向の画像の明るさに影響を与えずに、前記進行方向の情報を運転者に提示することができるため、車両周辺の安全確認に有効である。
【0017】
また、本発明に係る車両用周辺監視装置は、前記撮像手段選択手段が、その中の少なくとも2つの撮像手段で撮像される範囲が一部重複するように設置された3方向以上の方向を撮像する複数の撮像手段の中から第1の撮像手段を選択するものであり、さらに、前記画像の明るさ算出手段が、前記選択された第1の撮像手段で撮像した画像、および、前記選択された第1の撮像手段と第1の重複する撮像範囲を有する第2の撮像手段で撮像した画像の、前記第1の重複する撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段が、前記算出された値に基づいて、前記第2の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段が、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の撮像手段によって撮像された画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段が、さらに、前記算出された別の値に基づいて、前記第3の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段が、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることが好ましい。
【0018】
このように構成された本発明に係る車両用周辺監視装置によれば、互いに撮像範囲が重複する2つの画像の重複撮像範囲、もしくはその近傍の明るさが等しくなるような明るさ補正を行うとともに、車両の状況に応じて、撮像手段選択手段によって撮像手段が選択されるため、基準になる画像の明るさに基づいて、その画像と一部重複する範囲を撮像した別の画像の明るさを再帰的に補正することが可能であり、多くの画像を1枚の画像に合成して表示する車両用周辺監視装置において、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0019】
さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うことができるため、明るさ補正を短時間で実行することができる。
【0020】
また、本発明に係る車両用周辺監視装置は、前記画像の明るさ算出手段が、その中の少なくとも2つの撮像手段で撮像される範囲が一部重複するように設置された3方向以上の方向を撮像する複数の撮像手段の中の第1の撮像手段で撮像した画像、および、前記第1の撮像手段と第1の重複する撮像範囲を有する第2の撮像手段で撮像した画像の、前記第1の重複する撮像範囲、あるいは、前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段が、前記算出された値に基づいて、前記第2の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段が、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の撮像手段によって撮像された画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段が、さらに、前記算出された別の値に基づいて、前記第3の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段が、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることが好ましい。
【0021】
このように構成された本発明に係る車両用周辺監視装置によれば、特に、多くの画像を1枚の画像に合成して表示する車両用周辺監視装置において、予め選択された画像の明るさを基準にして、画像の明るさを順次補正することが可能なため、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0022】
さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うことができるため、明るさ補正を短時間で実行することができる。
【0023】
また、本発明に係る車両用周辺画像表示方法は、車両周辺を撮像した複数の画像の中から、1つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換が施された複数の画像を1つの画像に合成し、前記合成された画像と、前記1つの画像を同時に表示することを特徴とする。
【0024】
このように構成された本発明に係る車両用周辺画像表示方法によれば、上述した作用によって、前記1つの画像の明るさには影響を与えず、合成画像の明るさのみが補正できる。
【0025】
また、本発明に係る車両用周辺画像表示方法は、車両の進行方向を判定し、前記進行方向の判定結果に基づいて、車両周辺を撮像した複数の画像から1つの画像を選択し、前記選択された1つの画像の中から前記1つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換処理が施された複数の画像を1つの画像に合成し、前記合成された画像と前記選択された1つの画像を同時に表示することが好ましい。
【0026】
このように構成された本発明に係る車両用周辺画像表示方法によれば、上述した作用によって、画像の明るさを補正した結果が、運転中に最も注意を払う必要がある、車両の進行方向の画像の明るさに影響を与えないため、運転者に、車両周辺の安全確認に有効な情報を提供することができる。
【0027】
また、本発明に係る車両用周辺画像表示方法は、その中の少なくとも2つの画像の撮像範囲が一部重複するように設置された3方向以上の方向を撮像した複数の画像の中から第1の画像を選択し、前記選択された第1の画像、および、前記選択された第1の画像と第1の重複する撮像範囲を有する第2の画像の、前記重複する第1の撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記第2の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第3の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すことが好ましい。
【0028】
このように構成された本発明に係る車両用周辺画像表示方法によれば、上述した作用によって、複数の画像を1枚に合成する際、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0029】
さらに、撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うため、明るさ補正を短時間で実行することができる。
【0030】
また、本発明に係る車両用周辺画像表示方法は、その中の少なくとも2つの画像の撮像範囲が一部重複するように設置された3方向以上の方向を撮像した複数の画像の中の第1の画像と、前記第1の画像と第1の重複する撮像範囲を撮像した第2の画像の、前記第1の重複する撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記第2の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の画像の中から、前記第2の重複する撮影範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第3の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すのが好ましい。
【0031】
このように構成された本発明に係る車両用周辺画像表示方法によれば、予め選択された画像の明るさを基準にして、画像の明るさを順次補正することが可能なため、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0032】
さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うため、明るさ補正を短時間で実行することができる。
【発明の効果】
【0033】
本発明に係る車両用周辺監視装置および車両用周辺画像表示方法によれば、車両周辺を俯瞰した合成画像と、車両後方の画像を並べて表示するとき、車両後方の画像の中の明るさに対応した値に基づいて、前記車両周辺を俯瞰した合成画像の明るさを補正することにより、明るさの変化が激しい環境にあっても、見やすい画像を提供できるという効果を有する。
【図面の簡単な説明】
【0034】
【図1】本発明の第1実施例の車両用周辺監視装置の概略構成を示すブロック図である。
【図2】図1の車両用周辺監視装置における撮像手段110、明るさ補正手段120、座標変換および画像合成手段200、画像の明るさ算出手段300、画像表示手段400の詳細構成を示すブロック図である。
【図3】図1、および、図2に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【図4】本発明の第1実施例で作成され、運転者に提示される画像の1例を示す図である。
【図5】第4の明るさ算出手段で算出される画像の明るさの算出方法を説明する図である。
【図6】第1の明るさ算出手段301、第2の明るさ算出手段302、第3の明るさ算出手段303によって算出される画像の明るさの算出方法を説明する図である。
【図7】本発明の第2実施例の実施形態に係る車両用周辺監視装置の概略構成を示すブロック図である。
【図8】図7の車両用周辺監視装置における撮像手段810、明るさ補正手段820、座標変換および画像合成手段900、画像の明るさ算出手段1000、画像表示手段1100の詳細構成を示すブロック図である。
【図9】図7、および、図8に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【図10】本発明の第2実施例および第3実施例で作成され、運転者に提示される画像の1例を示す図である。
【図11】第1の明るさ算出手段1001で算出される画像の明るさの算出方法を説明する図である。
【図12】図8の第1の明るさ算出手段1001、第2の明るさ算出手段1002、第3の明るさ算出手段1003、第4の明るさ算出手段1004、および、図14の第1の明るさ算出手段1601、第2の明るさ算出手段1602、第3の明るさ算出手段1603、第4の明るさ算出手段1604で算出される明るさの算出方法を説明する図である。
【図13】本発明の第3実施例の車両用周辺監視装置の概略構成を示すブロック図である。
【図14】図13の車両用周辺監視装置における撮像手段1410、明るさ補正手段1420、座標変換および画像合成手段1500、画像の明るさ算出手段1600、画像表示手段1700の詳細構成を示すブロック図である。
【図15】図13、および図14に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0035】
以下、本発明の車両用周辺監視装置の実施形態について、図面を参照して説明する。
【実施例1】
【0036】
図1は、本発明に係る車両用周辺監視装置の第1実施例の概略構成を示すブロック図である。
【0037】
図2は、図1の車両用周辺監視装置における、撮像手段110、明るさ補正手段120、座標変換および画像合成手段200、画像の明るさ算出手段300、および、画像表示手段400の詳細構成を示すブロック図である。
【0038】
図3は、図2に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【0039】
本実施例に係る車両用周辺監視装置は、図1のブロック図に示す通り、車両に設置され、互いに異なる方向を観測するN個のCCDカメラやC−MOSカメラのような撮像手段110と、撮像手段から入力された画像の明るさを補正する明るさ補正手段120と、明るさ補正手段120から出力された画像に対して座標変換を施し、さらに1枚の画像に合成する、座標変換および画像合成手段200と、撮像された画像の明るさを算出する画像の明るさ算出手段300と、座標変換・画像合成を行った結果を表示するモニタ等からなる画像表示手段400、および、車両用周辺監視装置の起動指示と終了指示を検出する起動・終了指示検出手段500を備えた構成になっている。
【0040】
本実施例は、撮像手段110が、4台のカメラで構成される例で記載する。すなわち、撮像手段110と明るさ補正手段120は、車両前方を観測するフロントカメラ111と、それに接続された第1のデコーダおよび明るさ補正手段112と第1のA/D変換器113、車両左横方向を観測する左サイドカメラ121と、それに接続された第2のデコーダおよび明るさ補正手段122と第2のA/D変換器123、車両右横方向を観測する右サイドカメラ131と、それに接続された第3のデコーダおよび明るさ補正手段132と第3のA/D変換器133、車両後方を観測するリアカメラ141と、それに接続された第4のデコーダおよび明るさ補正手段142と第4のA/D変換器143とから構成されるものとする。
【0041】
また、座標変換および画像合成手段200は、座標変換手段201、座標変換テーブル202、および、画像合成手段203とから構成される。
【0042】
画像の明るさ算出手段300は、第1のA/D変換器113に接続された第1の明るさ算出手段301、第2のA/D変換器123に接続された第2の明るさ算出手段B302、第3のA/D変換器133に接続された第3の明るさ算出手段303、および、第4のA/D変換器143に接続された第4の明るさ算出手段304とから構成される。
【0043】
さらに、画像表示手段400は、D/A変換器401、エンコーダ402、およびモニタ403とから構成される。
【0044】
本実施例における車両用周辺監視装置は、図4に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、車両の後方を撮像した画像630を1枚の画像として、モニタ403に表示する構成になっている。
【0045】
ここで、合成画像700は、図6(b)に示すフロントカメラ111で撮像された画像600を、上空の仮想視点Vから俯瞰した画像710と、図6(c)に示す左サイドカメラ121で撮像された画像610を、上空の仮想視点Vから俯瞰した画像720と、図6(d)に示す右サイドカメラ131で撮像された画像620を、上空の仮想視点Vから俯瞰した画像730と、図4に示すリアカメラ141で撮像された画像630を、上空の仮想視点Vから俯瞰した画像740と、本装置が取り付けられた車両を上空の仮想視点Vから俯瞰した仮想画像750を1枚の画像に合成したものである。
【0046】
なお、本実施例の構成は、車両の4方向を観測する構成になっているが、観測方向の数はこの限りではなく、より多数の方向を観測するようにしてもよい。なお、その場合でも、本実施例と同様の作用で本発明を実施することができる。
【0047】
次に、本実施例に係る車両用周辺監視装置の作用について、図3のフローチャートを参照して説明する。
【0048】
フロントカメラ111、左サイドカメラ121、右サイドカメラ131、リアカメラ141は、隣り合ったカメラ(フロントカメラ111と左サイドカメラ121、フロントカメラ111と右サイドカメラ131、左サイドカメラ121とリアカメラ141、右サイドカメラ131とリアカメラ141)の撮像範囲が一部重複するレイアウトで、車両に取り付けられている。
【0049】
起動・終了指示検出手段500にて、シフトポジションが後退位置にあることが検出されると(図3のS2)、座標変換手段201でトリガ信号が発生し、このトリガ信号が、第1のデコーダおよび明るさ補正手段112、第1のA/D変換器113、第2のデコーダおよび明るさ補正手段122、第2のA/D変換器123、第3のデコーダおよび明るさ補正手段132、第3のA/D変換器133、第4のデコーダおよび明るさ補正手段142、第4のA/D変換器143に入力される。
【0050】
各カメラが前記トリガ信号を受信すると、フロントカメラ111、左サイドカメラ121、右サイドカメラ131、リアカメラ141から、同時に画像入力が行われる(図3のS3)。
【0051】
フロントカメラ111から入力された画像は、第1のデコーダおよび明るさ補正手段112にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、さらに、変換されたコンポーネント信号のうち輝度信号は、第1のA/D変換器113でデジタル信号に変換され、画像600が生成される(図3のS6)。同様にして、左サイドカメラ121から入力された画像は、第2のデコーダおよび明るさ補正手段122にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、さらに、変換されたコンポーネント信号のうち輝度信号は、第2のA/D変換器123でデジタル信号に変換され、画像610が生成される(図3のS6)。右サイドカメラ131から入力された画像は、第3のデコーダおよび明るさ補正手段132にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、さらに、変換されたコンポーネント信号のうち輝度信号は、第3のA/D変換器133でデジタル信号に変換され、画像620が生成される(図3のS6)。リアカメラ141から入力された画像は、第4のデコーダおよび明るさ補正手段142にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、さらに、変換されたコンポーネント信号のうち輝度信号は、第4のA/D変換器143でデジタル信号に変換され、画像630が生成される(図3のS6)。
【0052】
なお、ここで、コンポジット信号からコンポーネント信号に信号変換するのと同時に、撮像された画像の明るさの補正を行う(図3のS5)が、画像の明るさを補正する補正量が算出できていないため、車両用周辺監視装置起動後の最初の画像入力時には、この明るさ補正は行われない。
【0053】
次に、第4の明るさ算出手段304によって、リアカメラ141で撮像した画像630の中の所定領域の画素値の平均値を算出する(図3のS7)。ここでは、図5に示すように、予め決めておいた所定位置(x0,y0)に、横方向m個の画素、縦方向n個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Iaveを算出する。
【0054】
次に、第1の明るさ算出手段301によって、フロントカメラ111で撮像された画像600の中の所定領域の画素値の平均値を算出する(図3のS8)。ここでは、図6(b)に示すように、画像600の中に、予め決めておいた所定位置に所定サイズの領域601と領域602を設定し、その領域601、領域602の中の全ての画素値の平均値I1aveを算出する。
【0055】
ここで、領域601は、図6(a)に示すように、画像600を、上空の仮想視点Vから俯瞰した画像710に変換したとき、フロントカメラ111と左サイドカメラ121の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域711に変換される領域とする。さらに、領域602は、画像600を、上空の仮想視点Vから俯瞰した画像710に変換したとき、フロントカメラ111と右サイドカメラ131の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域712に変換される領域とする。
【0056】
なお、この領域601、領域602の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第1の明るさ算出手段301に記憶しておく。
【0057】
次に、第2の明るさ算出手段302によって、左サイドカメラ121で撮像された画像610の中の所定領域の画素値の平均値を算出する(図3のS8)。ここでは、図6(c)に示すように、画像610の中に、予め決めておいた所定位置に所定サイズの領域611と領域612を設定し、その領域611、領域612の中の全ての画素値の平均値I2aveを算出する。
【0058】
ここで、領域611は、図6(a)に示すよう、画像610を、上空の仮想視点Vから見下ろした画像720に変換したとき、フロントカメラ111と左サイドカメラ121の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域721に変換される領域とする。さらに、領域612は、画像610を、図6(a)に示すよう、上空の仮想視点Vから俯瞰した画像720に変換したとき、左サイドカメラ121とリアカメラ141の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域722に変換される領域とする。
【0059】
なお、この領域611、領域612の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第2の明るさ算出手段302に記憶しておく。
【0060】
さらに、第3の明るさ算出手段303によって、右サイドカメラ131で撮像された画像620の中の所定領域の画素値の平均値を算出する(図3のS8)。ここでは、図6(d)に示すように、画像620の中に、予め決めておいた所定位置に所定サイズの領域621と領域622を設定し、その領域621、領域622の中の全ての画素値の平均値I3aveを算出する。
【0061】
ここで、領域621は、図6(a)に示すよう、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、フロントカメラ111と右サイドカメラ131の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域731に変換される領域とする。さらに、領域622は、画像620を、図6(a)に示すよう、上空の仮想視点Vから俯瞰した画像730に変換したとき、右サイドカメラ131とリアカメラ141の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域732に変換される領域とする。
【0062】
なお、この領域621、領域622の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第3の明るさ算出手段303に記憶しておく。
【0063】
こうして算出された画像630の所定領域の画素値の平均値Iaveと、画像600の所定領域の画素値の平均値I1aveは、第1のデコーダおよび明るさ補正手段112に送って、そこに記憶しておく。同様に、画像630の所定領域の画素値の平均値Iaveと、画像610の所定領域の画素値の平均値I2aveは、第2のデコーダおよび明るさ補正手段122に送ってそこに記憶し、画像630の所定領域の画素値の平均値Iaveと、画像620の所定領域の画素値の平均値I3aveは、第3のデコーダおよび明るさ補正手段132に送って、そこに記憶しておく。
【0064】
図3のS6で生成された画像600、画像610、画像620、画像630は、座標変換手段201によって座標変換され、上空の仮想視点Vから見下ろした画像に変換される(図3のS9)。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて計算されるが、一般的には、各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル202を作成しておき、この座標変換テーブル202に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0065】
前記座標変換によって、フロントカメラ111で撮像された画像600が画像710に変換され、左サイドカメラ121で撮像された画像610が画像720に変換され、右サイドカメラ131で撮像された画像620が画像730に変換され、リアカメラ141で撮像された画像630が画像740に変換される。変換された結果は、画像合成手段203によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した仮想画像750が合成され、合成画像700が生成される。さらに、リアカメラ141で撮像した画像630と合成して、図4に示す1枚の画像が作成される(図3のS10)。
【0066】
合成された画像は、D/A変換器401にてコンポーネント信号に再構成され(図3のS11)、さらにエンコーダ402でコンポジット信号に変換されて(図3のS12)、モニタ403に表示される(図3のS13)。
【0067】
起動・終了指示検出手段500にて、シフトポジションが後退位置にあるか否かを検出する(図3のS14)。もし、シフトポジションが後退位置以外であったら、モニタ403の表示を解除する(図3のS15)。
【0068】
もし、シフトポジションが後退位置にあることが確認されると、図3のS3において、再度画像入力が行われる。
【0069】
フロントカメラ111から入力された画像は、第1のデコーダおよび明るさ補正手段112にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、その後、第1デコーダおよび明るさ補正手段112に記憶された、画像630の所定領域の画素値の平均値Iaveと、画像600の所定領域の画素値の平均値I1aveに基づいて、明るさの補正が行われる(図3のS5)。
【0070】
明るさの補正は、具体的には、第1のデコーダおよび明るさ補正手段112における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とすると、(式1)に基づいて、ブライトネス値をB1からB1’に変更することによって行われる。
【0071】
B1’=B1+(Iave−I1ave)×w (式1)
(式1)にて、wは明るさ補正の重み付け値(0≦w≦1)を表す。これは、画面の明るさが急激に変化したとき、明るさの補正値が、それに伴って急激に変化することを避けるために設ける値である。なお、wは、予め決めておいた所定の値に設定される。
【0072】
左サイドカメラ121から入力された画像610、右サイドカメラ131から入力された画像620についても、これと同様に明るさ補正が行われる。
【0073】
すなわち、第2のデコーダおよび明るさ補正手段122における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’、第3のデコーダおよび明るさ補正手段132における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とすると、画像610の明るさは、以下の(式2)に基づいて、ブライトネス値をB2からB2’に変更することによって補正される。また、画像620の明るさは、以下の(式3)に基づいて、ブライトネス値をB3からB3’に変更することによって補正される。
【0074】
B2’=B2+(Iave−I2ave)×w (式2)
B3’=B3+(Iave−I3ave)×w (式3)
なお、リアカメラ141で撮像された画像は、画像の明るさの補正を行う基準になる画像であるため、その画像自身には明るさ補正を行わない。したがって、第4のデコーダおよび明るさ補正手段142には、w=0が記憶される。すなわち、第4のデコーダおよび明るさ補正手段142における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とすると、B4’は(式4)のようになる。
【0075】
B4’=B4 (式4)
(式1)、(式2)、(式3)および(式4)によって明るさが補正された画像は、第1のA/D変換器113、第2のA/D変換器123、第3のA/D変換器133、第4のA/D変換器143でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図3のS6)。
【0076】
このようにして、明るさが補正された新たな画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段300にてIave、I1ave、I2ave、I3aveが算出される。
【0077】
このようにして算出されたIave、I1ave、I2ave、I3aveのうち、Iave、I1aveは、第1のデコーダおよび明るさ補正手段112に送って、そこに記憶しておく。またIave、I2aveは、第2のデコーダおよび明るさ補正手段122に送って、そこに記憶しておく。さらにIave、I3aveは、第3のデコーダおよび明るさ補正手段132に送って、そこに記憶しておく。リアカメラから入力された画像に対しては、明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段142には、w=0が記憶される。
【0078】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ、合成された画像は、D/A変換された後エンコード処理にてコンポジット信号に変換され、モニタ403に出力される。
【0079】
以後、シフトポジションが後退位置になっている限り、上記処理が継続して実行され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。
【0080】
このように構成された本実施形態に係る車両用周辺監視装置によれば、車両周辺の360°を俯瞰できる画像と、車両後方を撮像した画像を同時に表示する際、俯瞰した画像の明るさ補正の結果が、車両後方を撮像した画像に影響を与えないため、車両周辺の明暗変化が激しいときでも、運転者に見やすい画像を提供することができる。
【0081】
なお、本実施例においては、画像の明るさ補正の基準値を、リアカメラ141で撮像した画像630の中の所定領域、すなわち、図5に示すように、所定位置(x0,y0)に、横方向m個の画素、縦方向n個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Iaveとしたが、基準のとり方はこの限りでなく、例えば、リアカメラ141で撮像した画像630の中に、図12(e)に示す領域631、および領域632を設定し、領域631と領域632の全ての画素値の平均値を明るさ補正の基準にしてもよい。ここで、領域631は、画像630を、上空の仮想視点Vから俯瞰した画像740に変換したとき、リアカメラ141と左サイドカメラ121の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域741に変換される領域のことである。また、領域632は、画像740において、リアカメラ141と右サイドカメラ131の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域742に変換される領域のことである。この基準のとり方によると、実施例の方法に比べて、画像のつなぎ目部分の明るさの連続性がより向上するという効果が得られる。
【0082】
なお、上述した本実施例の車両用周辺監視装置の作用は、本発明に係る車両用周辺画像表示方法の実施形態に相当する。
【実施例2】
【0083】
図7は、本発明に係る車両用周辺監視装置の第2実施例の概略構成を示すブロック図である。
【0084】
図8は、図7の車両用周辺監視装置における、撮像手段810、明るさ補正手段820、座標変換および画像合成手段900、画像の明るさ算出手段1000、および、画像表示手段1100の詳細構成を示すブロック図である。
【0085】
図9は、図8に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【0086】
本実施例に係る車両用周辺監視装置は、図7のブロック図に示す通り、車両に設置され、互いに異なる方向を観測するN個のCCDカメラやC−MOSカメラのような撮像手段810と、撮像手段から入力された画像の明るさを補正する明るさ補正手段820と、明るさ補正手段820から出力された画像に対して座標変換を施し、さらに1枚の画像に合成する、座標変換および画像合成手段900と、撮像された画像の明るさを算出する画像の明るさ算出手段1000と、座標変換・画像合成を行った結果を表示するモニタ等からなる画像表示手段1100と、車両用周辺監視装置の起動指示と終了指示を検出する起動・終了指示検出手段1200、および、複数の撮像手段810の中から1つの撮像手段を選択する撮像手段選択手段1300を備えた構成になっている。
【0087】
本実施例は、撮像手段810が、4台のカメラで構成される例で記載する。すなわち、撮像手段810は、車両前方を観測するフロントカメラ811と、それに接続された第1のデコーダおよび明るさ補正手段812と第1のA/D変換器813、車両左横方向を観測する左サイドカメラ821、それに接続された第2のデコーダおよび明るさ補正手段822と第2のA/D変換器823、車両右横方向を観測する右サイドカメラ831と、それに接続された第3のデコーダおよび明るさ補正手段832と第3のA/D変換器833、車両後方を観測するリアカメラ841と、それに接続された第4のデコーダおよび明るさ補正手段842と第4のA/D変換器843とから構成されるものとする。
【0088】
また、座標変換および画像合成手段900は、座標変換手段901、座標変換テーブル902、および、画像合成手段903とから構成される。
【0089】
画像の明るさ算出手段1000は、第1のA/D変換器813に接続された第1の明るさ算出手段A1001、第2のA/D変換器823に接続された第2の明るさ算出手段1002、第3のA/D変換器833に接続された第3の明るさ算出手段1003、および、第4のA/D変換器843に接続された第4の明るさ算出手段1004とから構成される。
【0090】
さらに、画像表示手段1100は、D/A変換器1101、エンコーダ1102、およびモニタ1103とから構成される。
【0091】
本実施例における車両用周辺監視装置は、図10(a)に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、リアカメラ841で撮像した画像630、または、図10(b)に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、フロントカメラ811で撮像した画像600を、1枚の画像に合成してモニタ1103に表示する構成になっている。
【0092】
ここで、合成画像700は、図12に示すように、フロントカメラ811で撮像した画像600を、上空の仮想視点Vから俯瞰した画像710と、左サイドカメラ821で撮像した画像610を、上空の仮想視点Vから俯瞰した画像720と、右サイドカメラ831で撮像した画像620を、上空の仮想視点Vから俯瞰した画像730と、リアカメラ841で撮像した画像630を、上空の仮想視点Vから俯瞰した画像740と、車両を上空の仮想視点Vから俯瞰した仮想画像750を1枚の画像に合成したものである。
【0093】
なお、本実施例の構成は、車両の4方向を観測する構成になっているが、観測方向の数はこの限りではなく、より多数の方向を観測するようにしてもよい。なお、その場合でも、本実施例と同様の作用で本発明を実施することができる。
【0094】
次に、本実施形態に係る車両用周辺監視装置の作用について、図9のフローチャートを参照して説明する。
【0095】
フロントカメラ811、左サイドカメラ821、右サイドカメラ831、リアカメラ841は、隣り合ったカメラ(フロントカメラ811と左サイドカメラ821、フロントカメラ811と右サイドカメラ831、左サイドカメラ821とリアカメラ841、右サイドカメラ831とリアカメラ841)の撮像範囲が一部重複するレイアウトで、車両に取り付けられている。
【0096】
起動・終了指示検出手段1200にて、シフトポジションが後退位置にあること、もしくは、シフトポジションが前進位置にあって、かつ車速が所定値以下であることのどちらか一方であることが検出されると(図9のS2、S3、S4)、座標変換手段901でトリガ信号が発生し、このトリガ信号が、第1のデコーダおよび明るさ補正手段812、第1のA/D変換器813、第2のデコーダおよび明るさ補正手段822、第2のA/D変換器823、第3のデコーダおよび明るさ補正手段832、第3のA/D変換器833、第4のデコーダおよび明るさ補正手段842、第4のA/D変換器843に入力される。
【0097】
各カメラが前記トリガ信号を受信すると、フロントカメラ811、左サイドカメラ821、右サイドカメラ831、リアカメラ841から、同時に画像入力が行われる(図9のS7)。
【0098】
フロントカメラ811から入力された画像は、第1のデコーダおよび明るさ補正手段812にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第1のA/D変換器813でデジタル信号に変換され、画像600が生成される(図9のS10)。同様にして、左サイドカメラ821から入力された画像は、第2のデコーダおよび明るさ補正手段822にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第2のA/D変換器823でデジタル信号に変換され、画像610が生成される(図9のS10)。右サイドカメラ831から入力された画像は、第3のデコーダおよび明るさ補正手段C832にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第3のA/D変換器833でデジタル信号に変換され、画像620が生成される(図9のS10)。また、リアカメラ841から入力された画像は、第4のデコーダおよび明るさ補正手段842にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第4のA/D変換器843でデジタル信号に変換され、画像630が生成される(図9のS10)。
【0099】
なお、ここで、コンポジット信号からコンポーネント信号に信号変換するのと同時に、入力された画像の明るさの補正を行う(図9のS9)が、画像の明るさを補正する補正量が算出できていないため、車両用周辺監視装置起動後の最初の画像入力時には、この明るさ補正は行われない。
【0100】
次に、撮像手段選択手段1300にて、モニタ1103に出力する画像として、図10の画像の右側の領域に、図10(a)のように車両後方を撮像した画像630を表示するか、または、図10(b)のように車両前方を撮像した画像600を表示するかを決定する。
【0101】
これは、起動・終了指示検出手段1200にて、シフトポジションの位置と車速をモニタし、その結果に基づいて判断される。
【0102】
すなわち、シフトポジションが後退位置にあったら、図10(a)、(b)に示す画像の右側の領域には、図10(a)のように車両の後方を撮像した画像630を表示する(図9のS2)、また、シフトポジションが前進位置にあり、かつ、車速が所定値以下であったら、図10の画像の右側の領域には、図10(b)のように車両の前方を撮像した画像600を表示する(図9のS3、S4)。ここで、車両の後方を撮像した画像630を表示すると判断された場合、リアカメラ841が選択され(図9のS6)、車両の前方を撮像した画像600を表示すると判断された場合、フロントカメラ811が選択される(図9のS5)。どちらのカメラが選択されるかによって、後述する明るさ補正処理の手順が異なる。
【0103】
はじめに、撮像手段選択手段1300にてリアカメラ841が選択された場合の動作を説明する。
【0104】
第4の明るさ算出手段1004が、リアカメラ841で撮像された画像630の中の所定領域の画素値の平均値を算出する(図9のS11)。ここでは、図5に示すように、予め決めておいた所定位置(x0,y0)に、横方向m個の画素、縦方向n個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Iaveを算出する。
【0105】
次に、第1の明るさ算出手段1001が、図9のS7で生成された画像600の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図6(b)に示すように、画像600の中に、予め決めておいた所定位置に所定サイズの領域601、602を設定し、その領域601、領域602の中の全ての画素値の平均値I1aveを算出する。
【0106】
ここで、領域601は、画像600を、上空の仮想視点Vから俯瞰した画像710に変換したとき、フロントカメラ811と左サイドカメラ821の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域711に変換される領域とする。さらに、領域602は、画像600を、上空の仮想視点Vから俯瞰した画像710に変換したとき、フロントカメラ811と右サイドカメラ831の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域712に変換される領域とする。
【0107】
なお、この領域601、領域602の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め、第1の明るさ算出手段1001に記憶しておく。
【0108】
次に、第2の明るさ算出手段1002が、図9のS7で生成された画像610の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図6(c)に示すように、画像610の中に、予め決めておいた所定位置に所定サイズの領域611、612を設定し、その領域611、領域612の中の全ての画素値の平均値I2aveを算出する。
【0109】
ここで、領域611は、画像610を、上空の仮想視点Vから俯瞰した画像720に変換したとき、フロントカメラ811と左サイドカメラ821の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域721に変換される領域を611とする。さらに、領域612は、画像610を、上空の仮想視点Vから俯瞰した画像720に変換したとき、左サイドカメラ821とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域722に変換される領域とする。
【0110】
なお、この領域611、領域612の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め、第2の明るさ算出手段1002に記憶しておく。
【0111】
さらに、第3の明るさ算出手段1003が、図9のS7で生成された画像620の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図6(d)に示すように、画像620の中に、予め決めておいた所定位置に所定サイズの領域621、622を設定し、その領域621、領域622の中の全ての画素値の平均値I3aveを算出する。
【0112】
ここで、領域621は、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、フロントカメラ811と右サイドカメラ831の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域731に変換される領域とする。さらに、領域622は、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、右サイドカメラ831とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域732に変換される領域とする。
【0113】
なお、この領域621、領域622の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め、第3の明るさ算出手段1003に記憶しておく。
【0114】
算出されたIaveとI1aveは、第1のデコーダおよび明るさ補正手段812に送られて、そこに記憶される。同様に、IaveとI2aveは、第2のデコーダおよび明るさ補正手段822に送られてそこに記憶され、IaveとI3aveは、第3のデコーダおよび明るさ補正手段832に送られて、そこに記憶される。なお、リアカメラ841から入力された画像に対しては、明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段842には、w=0が記憶される。
【0115】
図3のS7で生成された画像600、画像610、画像620、画像630は、座標変換手段901において座標変換され、上空の仮想視点Vから俯瞰した画像に変換される(図9のS13)。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて計算されるが、一般的には、各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル902を作成しておき、この座標変換テーブル902に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0116】
前記座標変換によって、フロントカメラ811で撮像された画像600が画像710に変換され、左サイドカメラ821で撮像された画像610が画像720に変換され、右サイドカメラ831で撮像された画像620が画像730に変換され、リアカメラ841で撮像された画像630が画像740に変換される。変換された結果は、画像合成手段903によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した画像750が合成され、合成画像700が生成される。さらに、リアカメラ841で撮像した画像630と合成して、図10(a)に示す画像が作成される(図9のS14)。
【0117】
作成された画像は、D/A変換部1101にてコンポーネント信号に再構成され(図9のS15)、さらにエンコーダ1102でコンポジット信号に変換されて(図9のS16)、モニタ1103に表示される(図9のS17)。
【0118】
起動・終了指示検出手段1200にて、シフトポジションが後退位置にあるか否かを検出する(図9のS18、S19)。もし、シフトポジションが後退位置以外であったら、モニタ1103の表示を解除する(図9のS21)。
【0119】
もし、シフトポジションが後退位置にあることが確認されると、図9のS7において、再度画像入力が行われる。
【0120】
フロントカメラ811から入力された画像は、第1のデコーダおよび明るさ補正手段812にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、その後、第1のデコーダおよび明るさ補正手段812に記憶された、IaveとI1aveに基づいて、明るさの補正が行われる(図9のS9)。
【0121】
明るさの補正は、具体的には、第1のデコーダおよび明るさ補正手段812における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とすると、(式1)によって、新たなブライトネス値B1’を算出することによって行われる。
【0122】
左サイドカメラ821、また、右サイドカメラ831で撮像された画像についても、以下のようにして明るさ補正が行われる。
【0123】
すなわち、第2のデコーダおよび明るさ補正手段822における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’、第3のデコーダおよび明るさ補正手段832における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とすると、左サイドカメラ821で撮像された画像は、(式2)で算出される新たなブライトネス値をB2’によって明るさが補正され、右サイドカメラ831で撮像された画像は、(式3)で算出される新たなブライトネス値をB3’によって明るさが補正される。
【0124】
なお、リアカメラで撮像した画像は、画像の明るさの補正を行う基準になる画像であるため、その画像自身には明るさ補正を行わない。したがって、第4のデコーダおよび明るさ補正手段842には、w=0が記憶される。すなわち、第4のデコーダおよび明るさ補正手段842における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とすると、(式4)にて新たなブライトネス値B4’が算出され、明るさ補正が行われる。
【0125】
(式1)、(式2)、(式3)および(式4)によって明るさが補正された画像は、第1のA/D変換器813、第2のA/D変換器823、第3のA/D変換器833、および第4のA/D変換器843でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図9のS10)。
【0126】
このようにして、明るさが補正された画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段1000にてIave、I1ave、I2ave、I3aveが算出される。
【0127】
このようにして算出されたIave、I1ave、I2ave、I3aveのうち、Iave、I1aveは、第1のデコーダおよび明るさ補正手段812に送られて、そこに記憶される。またIave、I2aveは、第2のデコーダおよび明るさ補正手段822に送られて、そこに記憶される。さらにIave、I3aveは、第3のデコーダおよび明るさ補正手段832に送られ、そこに記憶される。画像630に対しては明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段842には、w=0が記憶される。
【0128】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ、合成された画像は、D/A変換された後エンコード処理にてコンポジット信号に変換され、モニタ1103に出力される。
【0129】
以後、シフトポジションが後退位置になっている限り、上記処理が継続して実行され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。
【0130】
次に、撮像手段選択手段1300にてフロントカメラ811が選択された場合の動作を説明する。
【0131】
第1の明るさ算出手段1001によって、フロントカメラ811で撮像された画像600の中の所定領域の画素値の平均値を算出する(図9のS11)。ここでは、図11に示すように、予め決めておいた所定位置(x1,y1)に、横方向k個の画素、縦方向l個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Iaveを算出する。
【0132】
次に、第2の明るさ算出手段1002によって、図9のS7で生成された画像610の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図12(c)に示すように、画像610の中に、予め決めておいた所定位置に所定サイズの領域611、領域612を設定し、その領域611、領域612の中の全ての画素値の平均値I2aveを算出する。
【0133】
ここで、領域611は、図12(a)に示すように、画像610を、上空の仮想視点Vから俯瞰した画像720に変換したとき、フロントカメラ811と左サイドカメラ821の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域721に変換される領域とする。さらに、領域612は、画像610を、上空の仮想視点Vから俯瞰した画像720に変換したとき、左サイドカメラ821とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域722に変換される領域とする。
【0134】
なお、この領域611、領域612の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第2の明るさ算出手段1002に記憶しておく。
【0135】
次に、第3の明るさ算出手段1003によって、図9のS7で生成された画像620の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図12(d)に示すように、画像620の中に、予め決めておいた所定位置に所定サイズの領域621、領域622を設定し、その領域611、領域612の中の全ての画素値の平均値I3aveを算出する。
【0136】
ここで、領域621は、図12(a)に示すように、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、フロントカメラ811と右サイドカメラ831の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域731に変換される領域とする。さらに、領域622は、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、右サイドカメラ831とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域732に変換される領域とする。
【0137】
なお、この領域621、領域622の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第3の明るさ算出手段1003に記憶しておく。
【0138】
さらに、第4の明るさ算出手段1004によって、図9のS7で生成された画像630の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図12(e)に示すように、画像630の中に、予め決めておいた所定位置に所定サイズの領域631、領域632を設定し、その領域631、領域632の中の全ての画素値の平均値I4aveを算出する。
【0139】
ここで、領域631は、図12(a)に示すように、画像630を、上空の仮想視点Vから俯瞰した画像740に変換したとき、リアカメラ841と左サイドカメラ821の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域741に変換される領域とする。さらに、領域632は、画像630を、上空の仮想視点Vから俯瞰した画像740に変換したとき、右サイドカメラ831とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域742に変換される領域とする。
【0140】
なお、この領域631、領域632の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第4の明るさ算出手段1004に記憶しておく。
【0141】
算出されたIaveとI2aveは、第2のデコーダおよび明るさ補正手段822に送られて、そこに記憶される。同様に、IaveとI3aveは、第3のデコーダおよび明るさ補正手段832に送られて、そこに記憶され、IaveとI4aveは、第4のデコーダおよび明るさ補正手段842に送られて、そこに記憶される。なお、フロントカメラ811で撮像された画像に対しては、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段812には、w=0が記憶される。
【0142】
図9のS7で生成された画像600、画像610、画像620、画像630は、座標変換手段901によって座標変換され、上空の仮想視点Vから俯瞰した画像に変換される(図9のS13)。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて計算されるが、一般的には、各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル902を作成しておき、この座標変換テーブル902に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0143】
前記座標変換によって、画像600が画像710に変換され、画像610が画像720に変換され、画像620が画像730に変換され、画像630が画像740に変換される。変換された結果は、画像合成手段903によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した画像750が合成され、合成画像700が生成される。さらに、フロントカメラ811で撮像した画像600と合成して、図10(b)に示す1枚の画像が作成される(図9のS14)。
【0144】
作成された画像は、D/A変換部1101にてコンポーネント信号に再構成され(図9のS15)、さらにエンコーダ1102でコンポジット信号に変換されて(図9のS16)、モニタ1103に表示される(図9のS17)。
【0145】
起動・終了指示検出手段1200にて、フロントカメラ811が選択された状態にあり、なおかつ、車速が所定値以下であることを判定する(図9のS18、S20)。もし、条件に合致しないときは、モニタ1103の表示を解除する(図9のS21)。
【0146】
一方、条件に合致していると判定されたときは、図9のS7において、再度画像入力が行われる。
【0147】
リアカメラ841で撮像された画像は、第4のデコーダおよび明るさ補正手段842にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、その後、第4のデコーダおよび明るさ補正手段842に記憶された、IaveとI4aveに基づいて、明るさの補正が行われる(図9のS9)。
【0148】
明るさの補正は、具体的には、第4のデコーダおよび明るさ補正手段842における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とすると、B4’は(式5)によって算出され、これによって明るさの補正が行われる。
【0149】
B4’=B4+(Iave−I4ave)×w (式5)
左サイドカメラ821、および右サイドカメラ831で撮像された画像についても、以下のようにして明るさ補正が行われる。
【0150】
すなわち、第2のデコーダおよび明るさ補正手段822における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’、第3のデコーダおよび明るさ補正手段832における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とすると、左サイドカメラ821で撮像された画像は、(式2)で算出される新たなブライトネス値をB2’によって明るさが補正され、右サイドカメラ831で撮像された画像は、(式3)で算出される新たなブライトネス値をB3’によって明るさが補正される。
【0151】
なお、フロントカメラで撮像した画像については、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段812には、w=0が記憶される。すなわち、第1のデコーダおよび明るさ補正手段812における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とすると、B1’は、(式6)にて算出される。
【0152】
B1’=B1 (式6)
(式2)、(式3)、(式5)および(式6)によって明るさが補正された画像は、第1のA/D変換器813、第2のA/D変換器823、第3のA/D変換器833、第4のA/D変換器843でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図9のS10)。
【0153】
このようにして、明るさが補正された画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段1000にてIave、I2ave、I3ave、I4aveが算出される。
【0154】
このようにして算出されたIave、I2ave、I3ave、I4aveのうち、Iave、I2aveは、第2のデコーダおよび明るさ補正手段822に送って、そこに記憶する。またIave、I3aveは、第3のデコーダおよび明るさ補正手段832に送って、そこに記憶する。さらにIave、I4aveは、第4のデコーダおよび明るさ補正手段842に送って、そこに記憶しておく。フロントカメラ811から入力された画像600に対しては明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段812には、w=0が記憶される。
【0155】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ、合成された画像信号は、D/A変換された後エンコード処理にてコンポジット信号に変換され、モニタ1103に出力される。
【0156】
以後、シフトポジションが前進位置になっており、かつ車速が所定値以下である限り、上記処理が継続して実行され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。
【0157】
画像の明るさの補正の結果が、運転中に最も注意を払う必要がある、車両の進行方向の画像の明るさに影響を与えないため、運転者に、車両周辺の安全確認に有効な情報を提供することができる。
【0158】
なお、上述した本実施例の車両用周辺監視装置の作用は、本発明に係る車両用周辺画像表示方法の実施形態に相当する。
【実施例3】
【0159】
図13は、本発明に係る車両用周辺監視装置の第3実施例の概略構成を示すブロック図である。
【0160】
図14は、図13の車両用周辺監視装置における、撮像手段1410、明るさ補正手段1420、座標変換および画像合成手段1500、画像の明るさ算出手段1600、および、画像表示手段1700の詳細構成を示すブロック図である。
【0161】
図15は、図12に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【0162】
本実施例に係る車両用周辺監視装置は、図13のブロック図に示す通り、車両に設置され、互いに異なる方向を観測するN個のCCDカメラやC−MOSカメラのような撮像手段1410と、撮像手段から入力された画像の明るさを補正する明るさ補正手段1420と、明るさ補正手段1420から出力された画像に対して座標変換を施し、さらに1枚の画像に合成する、座標変換および画像合成手段1500と、撮像された画像の明るさを算出する画像の明るさ算出手段1600と、座標変換・画像合成を行った結果を表示するモニタ等からなる画像表示手段1700と、車両用周辺監視装置の起動指示と終了指示を検出する起動・終了指示検出手段1800、および、複数の撮像手段1410の中から1つの撮像手段を選択する撮像手段選択手段1900を備えた構成になっている。
【0163】
本実施例は、撮像手段1410が、4台のカメラで構成される例で記載する。すなわち、撮像手段1410は、車両前方を観測するフロントカメラ1411と、それに接続された第1のデコーダおよび明るさ補正手段1412と第1のA/D変換器A1413、車両左横方向を観測する左サイドカメラ1421と、それに接続された第2のデコーダおよび明るさ補正手段1422と第2のA/D変換器1423、車両右横方向を観測する右サイドカメラ1431と、それに接続された第3のデコーダおよび明るさ補正手段1432と第3のA/D変換器1433、車両後方を観測するリアカメラ1441と、それに接続された第4のデコーダおよび明るさ補正手段1442と第4のA/D変換器1443とから構成されるものとする。
【0164】
また、座標変換および画像合成手段1500は、座標変換手段1501、座標変換テーブル1502、および、画像合成手段1503とから構成される。
【0165】
画像の明るさ算出手段1600は、第1のA/D変換器1413に接続された第1の明るさ算出手段1601、第2のA/D変換器1423に接続された第2の明るさ算出手段1602、第3のA/D変換器1433に接続された第3の明るさ算出手段1603、および、第4のA/D変換器1443に接続された第4の明るさ算出手段1604とから構成される。
【0166】
さらに、画像表示手段1700は、D/A変換器1701、エンコーダ1702、およびモニタ1703とから構成される。
【0167】
本実施例における車両用周辺監視装置は、図10(a)に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、リアカメラ1411で撮像した画像630、または、図10(b)に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、フロントカメラ1441で撮像した画像600を、1枚の画像に合成してモニタ1703に表示する構成になっている。
【0168】
ここで、合成画像700は、フロントカメラ1411で撮像された画像600を上空の仮想視点Vから俯瞰した画像710と、左サイドカメラ1421で撮像された画像610を上空の仮想視点Vから俯瞰した画像720と、右サイドカメラ1431で撮像された画像620を上空の仮想視点Vから俯瞰した画像730と、リアカメラ1441で撮像された画像630を上空の仮想視点Vから俯瞰した画像740と、車両を上空の仮想視点Vから俯瞰した仮想画像750を1枚の画像に合成したものである。
【0169】
なお、本実施例の構成は、車両の4方向を観測する構成になっているが、観測方向の数はこの限りではなく、より多数の方向を観測するようにしてもよい。なお、その場合でも、本実施例と同様の作用で本発明を実施することができる。
【0170】
次に、本実施例に係る車両用周辺監視装置の作用について、図15のフローチャートを参照して説明する。
【0171】
フロントカメラ1411、左サイドカメラ1421、右サイドカメラ1431、リアカメラ1441は、隣り合ったカメラ(フロントカメラ1411と左サイドカメラ1421、フロントカメラ1411と右サイドカメラ1431、左サイドカメラ1421とリアカメラ1441、右サイドカメラ1431とリアカメラ1441)の撮像範囲が一部重複するレイアウトで、車両に取り付けられている。
【0172】
起動・終了指示検出手段1800にて、シフトポジションが後退位置にあること、もしくは、シフトポジションが前進位置にあって、かつ車速が所定値以下であることのどちらか一方であることが検出されると(図15のS2、S3、S4)、座標変換手段1501でトリガ信号が発生し、このトリガ信号が、第1のデコーダおよび明るさ補正手段1412、第1のA/D変換器1413、第2のデコーダおよび明るさ補正手段1422、第2のA/D変換器1423、第3のデコーダおよび明るさ補正手段1432、第3のA/D変換器1433、第4のデコーダおよび明るさ補正手段1442、第4のA/D変換器1443に入力される。
【0173】
前記トリガ信号を受けると、フロントカメラ1411、左サイドカメラ1421、右サイドカメラ1431、リアカメラ1441から、同時に画像入力が行われる(図15のS7)。
【0174】
フロントカメラ1411から入力された画像は、第1のデコーダおよび明るさ補正手段1412にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第1のA/D変換器1413でデジタル信号に変換され、画像600が生成される(図15のS10)。同様にして、左サイドカメラ1421から入力された画像は、第2のデコーダおよび明るさ補正手段1422にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第2のA/D変換器1423でデジタル信号に変換され、画像610が生成される(図15のS10)。右サイドカメラ1431から入力された画像は、第3のデコーダおよび明るさ補正手段1432にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第3のA/D変換器1433でデジタル信号に変換され、画像620が生成される(図15のS10)。リアカメラ1441から入力された画像は、第4のデコーダおよび明るさ補正手段1442にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第4のA/D変換器1443でデジタル信号に変換され、画像630が生成される(図15のS10)。
【0175】
なお、ここで、コンポジット信号からコンポーネント信号に信号変換するのと同時に、入力された画像の明るさの補正を行う(図9のS9)が、画像の明るさを補正する補正量が算出できていないため、車両用周辺監視装置起動後の最初の画像入力時には、この明るさ補正は行われない。
【0176】
次に、撮像手段選択手段1900にて、モニタ1103に出力する画像として、図10(a)、(b)の画像の右側の領域に、車両後方を撮像した画像630を表示するか、または、車両前方を撮像した画像600を表示するかを決定する。
【0177】
これは、起動・終了指示検出手段1800にて、シフトポジションの位置と車速をモニタし、その結果に基づいて判断される。
【0178】
すなわち、シフトポジションが後退位置にあったら、図10の画像の右側の領域には、図10(a)のように車両の後方を撮像した画像630を表示する。また、シフトポジションが前進位置にあり、かつ、車速が所定値以下であったら、図10の画像の右側の領域には、図10(b)のように車両の前方を撮像した画像600を表示する。ここで、画像630を表示すると判断された場合、リアカメラ1441が選択され(図15のS6)、画像600を表示すると判断された場合、フロントカメラ1411が選択され(図15のS5)、どちらのカメラが選択されるかによって、後述する明るさ補正処理の手順が異なる。
【0179】
はじめに、撮像手段選択手段1900にてリアカメラ1441が選択された場合の動作を説明する。
【0180】
まず、第4の明るさ算出手段1604によって、図12(b)、(c)、(d)、(e)に示すように、画像600、画像610、画像620、および画像630の中に、予め決めておいた所定位置に所定サイズで設定された、領域601の中の全ての画素値の平均値Ia_ave、領域602の全ての画素値の平均値Ib_ave、領域611の全ての画素値の平均値Ic_ave、領域612の全ての画素値の平均値Id_ave、領域621の全ての画素値の平均値Ie_ave、領域622の全ての画素値の平均値If_ave、領域631の全ての画素値の平均値Ig_ave、領域632の全ての画素値の平均値Ih_aveをそれぞれ算出する。
【0181】
ここで、領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632は、図12(a)に示すように、画像600、画像610、画像620、および画像630を、それぞれ、上空の仮想視点Vから俯瞰した画像710、画像720、画像730、画像740に変換したとき、隣り合ったカメラの撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域711、矩形領域712、矩形領域721、矩形領域722、矩形領域731、矩形領域732、矩形領域741、矩形領域742にそれぞれ変換される領域とする。
【0182】
これらの領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632の位置は、予め計算で求めておくことができる。予め計算した領域の位置のうち、領域601と領域602の位置は、第1の明るさ算出手段1601に記憶し、領域611と領域612の位置は、第2の明るさ算出手段1602に記憶し、領域621と領域622の位置は、第3の明るさ算出手段1603に記憶し、領域631と領域632の位置は、第4の明るさ算出手段1604に、予め記憶しておく。
【0183】
さらに、算出された、各領域の全画素値の平均値Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveのうち、Ia_ave、Ib_ave、Ic_ave、Ie_aveは、第1のデコーダおよび明るさ補正手段1412に記憶し、Id_ave、Ig_aveは、第2のデコーダおよび明るさ補正手段1422に記憶し、If_ave、Ih_aveは、第3のデコーダおよび明るさ補正手段1432に記憶しておく。
【0184】
なお、画像630に対しては、明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段1442には、w=0が記憶される。
【0185】
図15のS7で生成された画像600、画像610、画像620、画像630は、座標変換手段1501によって座標変換され、上空の仮想視点Vから見下ろした画像に変換される(図15のS12)。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点の位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル1502を作成しておき、この座標変換テーブル1502に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0186】
前記座標変換によって、フロントカメラ1411で撮像された画像600が画像710に変換され、左サイドカメラ1421で撮像された画像610が画像720に変換され、右サイドカメラ1431で撮像された画像620が画像730に変換され、リアカメラ1441で撮像された画像630が画像740に変換される。変換された結果は、画像合成手段1503によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した仮想画像750が合成され、合成画像700が生成される。さらに、リアカメラ1441で撮像した画像630と合成して、図10(a)に示す1枚の画像が作成される(図15のS13)。
【0187】
合成された画像は、D/A変換部1701にてコンポーネント信号に再構成され(図15のS14)、さらにエンコーダ1702でコンポジット信号に変換されて(図15のS15)、モニタ1703に表示される(図15のS16)。
【0188】
起動・終了指示検出手段1800にて、シフトポジションが後退位置にあるか否かを検出する(図15のS17、S18)。もし、シフトポジションが後退位置以外であったら、モニタ1703の表示を解除する(図15のS20)。
【0189】
もし、シフトポジションが後退位置にあることが確認されると、図15のS7において、再度画像入力が行われる。
【0190】
左サイドカメラ1421で撮像された画像は、第2のデコーダおよび明るさ補正手段1422にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、その後、第2のデコーダおよび明るさ補正手段1422に記憶されたIg_aveとId_aveに基づいて、明るさの補正が行われる(図15のS9)。
【0191】
明るさの補正は、具体的には、第2のデコーダおよび明るさ補正手段1422における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’とし、以下の(式7)によって行う。
B2’=B2+(Ig_ave−Id_ave)×w (式7)
さらに、右サイドカメラ1431で撮像された画像は、第3のデコーダおよび明るさ補正手段1432にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、その後、第3のデコーダおよび明るさ補正手段1432に記憶されたIh_aveとIf_aveに基づいて、明るさの補正が行われる(図15のS9)。
【0192】
すなわち、第3のデコーダおよび明るさ補正手段1432における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とし、以下の(式8)によって明るさの補正が行われる。
B3’=B3+(Ih_ave−If_ave)×w (式8)
次に、フロントカメラ1411で撮像された画像の明るさ補正を行うが、この補正は、左サイドカメラ1421、および右サイドカメラ1431から入力された画像の明るさ補正の結果に基づいて行われる。すなわち、フロントカメラ1411で撮像された画像の明るさ補正は、ここでは行わず、次の画像入力のタイミングを待って行う。
【0193】
また、リアカメラ1441で撮像された画像については、明るさ補正を行わない。すなわち、第4のデコーダおよび明るさ補正手段1442における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とすると、B4’は、(式4)にて算出される。
【0194】
(式4)、(式7)および(式8)によって明るさが補正された画像は、第1のA/D変換器1413、第2のA/D変換器1423、第3のA/D変換器1433、第4のA/D変換器1443でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図9のS10)。
【0195】
このようにして得られた、明るさが補正された画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段1600にて、Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveが算出される。
【0196】
算出されたIa_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveのうち、Ia_ave、Ib_ave、Ic_ave、Ie_aveは、第1のデコーダおよび明るさ補正手段1412に記憶し、Id_ave、Ig_aveは、第2のデコーダおよび明るさ補正手段1422に記憶し、If_ave、Ih_aveは、第3のデコーダおよび明るさ補正手段1432に記憶しておく。
【0197】
なお、リアカメラから入力された画像に対しては、明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段1442には、w=0が記憶される。
【0198】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ(図15のS12、S13)、合成された画像は、D/A変換された後エンコード処理してコンポジット信号に変換され、モニタ1103に出力される(図15のS14、S15、S16)。
【0199】
図15のS17、S18にて、シフトポジションが後退位置になっていることが確認されると、図15のS7にて、フロントカメラ1411、左サイドカメラ1421、右サイドカメラ1431、リアカメラ1441から、同時に画像入力が行われる。
【0200】
先述した一連の処理が再度繰り返され、明るさ算出手段1600にて、各画像の中の所定領域の明るさIa_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveの各値が算出され、これらの値が、先に説明した通り、所定のデコーダおよび明るさ補正手段に記憶された後、リアカメラ1441で撮像した画像の明るさに基づいて、左サイドカメラ1421で撮像した画像の明るさと、右サイドカメラ1431で撮像した画像の明るさがそれぞれ補正される。
【0201】
さらに、第1のデコーダおよび明るさ補正手段1412に記憶されたIa_ave、Ib_ave、Ic_ave、Ie_aveの値を用いて、フロントカメラ1411で撮像した画像の明るさ補正が行われる。ここでは、第1のデコーダおよび明るさ補正手段1412における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とし、(式9)によって明るさの補正が行われる。
B1’=B1+((Ic_ave+Ie_ave)/2−(Ia_ave+Ib_ave)/2)×w (式9)
以降、明るさ補正された画像に対して、座標変換・合成処理が施され、さらに、D/A変換、エンコード処理され、その結果がモニタ1703に出力される。
【0202】
シフトポジションが後退位置になっていることが確認されると、次の画像入力が行われ、その後、(式4)、(式7)、(式8)、(式9)による明るさ補正が実行される。以下、シフトポジションが後退位置に入っている限り、上記説明の一連の処理が繰り返される。
【0203】
次に、撮像手段選択手段1900にてフロントカメラ1411が選択された場合の動作を説明する。
【0204】
まず、第1の明るさ算出手段1601によって、図12(b)、(c)、(d)、(e)に示すように、画像600、画像610、画像620、画像630の中に、予め決めておいた所定位置に所定サイズで設定された領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632の中の全ての画素値の平均値Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveをそれぞれ算出する(図15のS11)。
【0205】
ここで、領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632は、図12(a)に示すように、画像600、画像610、画像620、画像630を、上空の仮想視点Vから見下ろした画像710、画像720、画像730、画像740に変換したとき、隣り合ったカメラの撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域711、矩形領域712、矩形領域721、矩形領域722、矩形領域731、矩形領域732、矩形領域741、矩形領域742にそれぞれ変換される領域とする。
【0206】
これらの領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632の位置は、予め計算で求めておくことができる。計算された領域の位置のうち、領域601と領域602の位置は、第1の明るさ算出手段1601に記憶し、領域611と領域612の位置は、第2の明るさ算出手段1602に記憶し、領域621と領域622の位置は、第3の明るさ算出手段1603に記憶し、領域631と領域632の位置は、第4の明るさ算出手段D1604に予め記憶しておく。
【0207】
さらに、算出された、Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveの各値のうち、Id_ave、If_ave、Ig_ave、Ih_aveは、第4のデコーダおよび明るさ補正手段1442に記憶し、Ia_ave、Ic_aveは、第2のデコーダおよび明るさ補正手段1422に記憶し、Ib_ave、Ie_aveは、第3のデコーダおよび明るさ補正手段1432に記憶しておく。
【0208】
なお、フロントカメラ1411で撮像された画像に対しては、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段1412には、w=0が記憶される。
【0209】
図15のS7で生成された画像600、画像610、画像620、画像630は、座標変換手段1501によって座標変換され、上空の仮想視点Vから見下ろした画像に変換される(図15のS12)。この座標変換処理は、予め、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点の位置や観測範囲等のパラメータに基づいて座標変換テーブル1502を作成しておき、この座標変換テーブル1502に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0210】
前記座標変換によって、画像600が画像710に変換され、画像610が画像720に変換され、画像620が画像730に変換され、画像630が画像740に変換される。変換された結果は、画像合成手段1503によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した仮想画像750が合成され、合成画像700が生成される。さらに、画像600と合成して、図10(b)に示す1枚の画像が作成される(図15のS13)。
【0211】
合成された画像は、D/A変換部1701にてコンポーネント信号に再構成され(図15のS14)、さらにエンコーダ1702でコンポジット信号に変換されて(図15のS15)、モニタ1703に表示される(図15のS16)。
【0212】
起動・終了指示検出手段1800にて、フロントカメラ1411が選択された状態にあり、なおかつ、車速が所定値以下であることを判定する(図15のS17、S18)。もし、条件に合致しないときは、モニタ1703の表示を解除する(図15のS21)。
【0213】
一方、条件に合致していると判定されたときは、図15のS7において、再度画像入力が行われる。
【0214】
図15のS7にて、再度画像入力が行われた後、左サイドカメラ1421で撮像された画像は、第2のデコーダおよび明るさ補正手段1422にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、その後、第2のデコーダおよび明るさ補正手段1422に記憶された、Ia_aveとIc_aveに基づいて、明るさの補正が行われる(図15のS9)。
【0215】
明るさの補正は、具体的には、第2のデコーダおよび明るさ補正手段1422における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’とし、以下の(式10)によって行う。
B2’=B2+(Ia_ave−Ic_ave)×w (式10)
さらに、右サイドカメラ1431で撮像された画像は、第3のデコーダおよび明るさ補正手段1432にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、その後、第3のデコーダおよび明るさ補正手段1432に記憶された、Ib_aveと、Ie_aveに基づいて、明るさの補正が行われる(図15のS9)。
【0216】
すなわち、第3のデコーダおよび明るさ補正手段1432における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とし、(式11)によって、明るさの補正が行われる。
B3’=B3+(Ib_ave−Ie_ave)×w (式11)
次に、リアカメラ1441で撮像した画像の明るさ補正を行うが、この補正は、左サイドカメラ1421、および右サイドカメラ1431から入力された画像の明るさ補正の結果に基づいて行われる。すなわち、リアカメラ1441で撮像した画像の明るさ補正は、ここでは行わず、次の画像入力のタイミングを待って行う。
【0217】
また、フロントカメラ1411で撮像された画像については、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段1412における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とすると、B1’は(式6)にて算出される。
【0218】
(式6)、(式10)および(式11)によって明るさが補正された画像は、第1のA/D変換器1413、第2のA/D変換器1423、第3のA/D変換器1433、第4のA/D変換器1443でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図9のS10)。
【0219】
このようにして、明るさが補正された画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段1600にて、Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveが算出される。
【0220】
算出されたIa_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveのうち、Id_ave、If_ave、Ig_ave、Ih_aveは、第4のデコーダおよび明るさ補正手段1442に記憶し、Ia_ave、Ic_aveは、第2のデコーダおよび明るさ補正手段1422に記憶し、Ib_ave、Ie_aveは、第3のデコーダおよび明るさ補正手段1432に記憶しておく。
【0221】
なお、画像600に対しては、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段1412には、w=0が記憶される。
【0222】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ(図15のS12、S13)、合成された画像は、D/A変換された後エンコード処理してコンポジット信号に変換され、モニタ1103に出力される(図15のS14、S15、S16)。
【0223】
図15のS17、S18にて、フロントカメラ1411が選択された状態になっていて、かつ車速が所定値以下であることが確認されると、図15のS7にて、フロントカメラ1411、左サイドカメラ1421、右サイドカメラ1431、リアカメラ1441から、同時に画像入力が行われる。
【0224】
先述した一連の処理が再度繰り返され、明るさ算出手段1600にて、各画像の中の所定領域の明るさIa_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveの各値が算出され、これらの値が、所定のデコーダおよび明るさ補正手段に記憶された後、フロントカメラ1411で撮像された画像の明るさに基づいて、左サイドカメラ1421で撮像された画像の明るさと、右サイドカメラ1431で撮像された画像の明るさがそれぞれ補正される。
【0225】
さらに、第4のデコーダおよび明るさ補正手段1442に記憶されたIId_ave、If_ave、Ig_ave、Ih_aveの値を用いて、リアカメラ1441で撮像された画像の明るさ補正が行われる。ここでは、第4のデコーダおよび明るさ補正手段1442における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とし、(式12)によって明るさの補正が行われる。
B4’=B4+((Id_ave+If_ave)/2−(Ig_ave+Ih_ave)/2)×w (式12)
以降、明るさ補正された画像に対して、座標変換・合成処理が施され、さらに、D/A変換、エンコード処理され、その結果がモニタ1703に出力される。
【0226】
フロントカメラ1411が選択された状態で、かつ車速が所定値以下であることが確認されると、次の画像入力が行われ、その後、(式6)、(式10)、(式11)、(式12)による明るさ補正が実行される。以下、車速が所定値以下である限り、上記説明の一連の処理が繰り返され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。
【0227】
このように構成された本実施形態に係る車両用周辺監視装置によれば、撮像範囲の一部が重複する2つの画像の重複撮像範囲、もしくはその近傍の明るさが等しくなるような明るさ補正を行うとともに、基準になる画像の明るさに基づいて、その画像と重複する範囲を撮像した別の画像の明るさを再帰的に補正することが可能なため、多くの画像を1枚の画像に合成して表示する車両用周辺監視装置において、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0228】
さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うため、明るさ補正を短時間で実行することができる。
【0229】
なお、上述した本実施例の車両用周辺監視装置の作用は、本発明に係る車両用周辺画像表示方法の実施形態に相当する。
【0230】
また、ここで、実施例3においては、複数の撮像手段1410の中から1つの撮像手段を選択する撮像手段選択手段1900を有する構成になっているが、この部分の構成は、この限りではなく、予め決めておいた、ある特定の撮像手段を1つ選択するようにしてもよい。
【符号の説明】
【0231】
110 撮像手段
111 フロントカメラ
112 第1のデコーダおよび明るさ補正手段
113 第1のA/D変換器
121 左サイドカメラ
122 第2のデコーダおよび明るさ補正手段
123 第2のA/D変換器
131 右サイドカメラ
132 第3のデコーダおよび明るさ補正手段
133 第3のA/D変換器
141 リアカメラ
142 第4のデコーダおよび明るさ補正手段
143 第4のA/D変換器
200 座標変換および画像合成手段
201 座標変換手段
202 座標変換テーブル
203 画像合成手段
300 画像の明るさ算出手段
301 第1の明るさ算出手段
302 第2の明るさ算出手段
303 第3の明るさ算出手段
304 第4の明るさ算出手段
400 画像表示手段
401 D/A変換器
402 エンコーダ
403 モニタ
500 起動・終了指示検出手段
【技術分野】
【0001】
本発明は、車両用周辺監視装置および車両用周辺画像表示方法に関し、詳細には、互いに異なる方向を撮像した複数の画像の明るさの違いを補正して、自然な合成画像を得る手法に関する。
【背景技術】
【0002】
近年、車両にカメラを搭載し、運転者に、死角になりやすい車両周辺の画像を提供するシステムが一般的になってきている。
【0003】
特に、最近では、カメラで撮像した画像を車両の真上から見下ろしたように座標変換した俯瞰画像を提供するものや、車両に複数のカメラを搭載し、座標変換した俯瞰画像同士を合成して、車両の周辺360°を見渡せるような画像を提供するシステムも実用化されている。
【0004】
このような、複数のカメラで撮像した画像を1枚の画像に合成するシステムにおいては、システムを構成するカメラの種類の違い、あるいは、同じ種類のカメラであっても、各カメラの自動露出補正の働きの違いや、カメラ中心からの距離に応じた光量の減少によって、特に画像のつなぎ目で明るさが不連続になり、合成した画像に違和感が生じるという問題があった。
【0005】
こうした問題に対し、従来、隣りあったカメラの共通撮像領域の平均的な明るさが一致するように、各カメラで撮像した画像の明るさを補正して、明るさが補正された画像を表示する技術が提案されている(特許文献1、特許文献2)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3297040号公報
【特許文献2】特開2007−141098号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、こうした従来の提案では、複数の画像を座標変換、および合成した画像を提供することを前提にして明るさの補正を行っている。
【0008】
したがって、例えば、車両後方の画像と車両周囲を俯瞰した画像を並べて同時に表示することで、車両後方の画像を確認しながら車両周囲の状況を確認できる、あるいは、車両前方の画像と車両周囲を俯瞰した画像を並べて同時に表示することで、車両前方の画像を確認しながら車両周囲の状況を確認できる、という機能を有する車両用周辺監視装置を実現した場合、合成した画像の明るさを補正することによって、もう一方の画像、すなわち、車両後方、もしくは車両前方の画像の明るさも同時に補正されてしまう。
【0009】
例えば、複数のカメラで撮像した画像の中の一部の画像で明暗が頻繁に変化するような場合、これら複数の画像を1枚に合成した画像の明るさを補正するために算出した明るさの補正値によって、車両周囲の合成画像と同時に表示される、車両後方や車両前方の画像の明るさも同時に補正されるため、これらが見にくくなってしまうという問題が生じてしまう。
【0010】
本発明は上記事情に鑑みなされたものであり、並べて表示される、合成された画像を含む2種類以上の画像が、互いの画像に影響されず、合成した画像の明るさの補正が可能な車両用周辺監視装置および車両用周辺画像表示方法を提供することを目的とするものである。
【課題を解決するための手段】
【0011】
本発明は、車両周辺を俯瞰した合成画像と、車両後方の画像を並べて表示するとき、車両後方の画像の中の明るさに対応した値に基づいて、前記車両周辺を俯瞰した合成画像の明るさを補正することにより、明るさの変化が激しい環境にあっても、見やすい画像を提供できるものである。
【0012】
すなわち、本発明に係る車両用周辺監視装置は、車両に設置され、車両周辺を撮像する複数の撮像手段と、前記複数の撮像手段のうちいずれか1つの撮像手段で撮像された画像の中から、前記1つの撮像手段で撮像された画像の明るさに対応した値を算出する画像の明るさ算出手段と、前記画像の明るさ算出手段によって算出された値に基づいて、前記複数の撮像手段で得られた画像の明るさを補正する明るさ補正手段と、前記明るさ補正手段によって明るさが補正された画像に対して、所定の座標変換処理を施す画像変換手段と、前記座標変換処理が施された複数の画像を1つの画像に合成する画像合成手段と、前記画像合成手段によって合成された画像と前記いずれか1つの撮像手段で撮像された画像とを同時に表示する画像表示手段とを備えることを特徴とする。
【0013】
このように構成された本発明に係る車両用周辺監視装置によれば、複数の撮像手段の中の1つの撮像手段で撮像された画像の中から、その画像の明るさに対応した値を算出し、明るさ補正手段は、前記算出された値に基づいて、複数の撮像手段によって撮像された画像の明るさを補正する。
【0014】
明るさが補正された画像は、画像変換手段で座標変換され、さらに、画像合成手段で1枚の画像に合成される。1枚に合成された画像と、前記複数の撮像手段の中の1つで撮像された画像が並べて表示されるため、前記複数の撮像手段の中の1つで撮影した画像の明るさには影響を与えず、合成画像の明るさのみが補正できる。
【0015】
また、本発明に係る車両用周辺監視装置は、車両の進行方向を判定する進行方向判定手段と、前記進行方向判定手段の判定結果に基づいて、複数の撮像手段から1つの撮像手段を選択する撮像手段選択手段とを備え、前記画像の明るさ算出手段は、前記撮像手段選択手段によって選択された1つの撮像手段で撮像した画像の中から画像の明るさに対応した値を算出するものであり、前記画像表示手段は、前記画像合成手段によって合成された画像と前記撮像手段選択手段によって選択された1つの撮像手段で撮像した画像とを同時に表示するものであることが望ましい。
【0016】
このように構成された本発明に係る車両用周辺監視装置によれば、進行方向判定手段によって判定された結果に基づいて、撮像手段選択手段によって1つの撮像手段が選択され、選択された撮像手段によって撮像された画像の中の明るさに対応した値が算出される。明るさ補正手段は、算出された値に基づいて、複数の撮像手段によって撮像された画像の明るさを補正する。明るさが補正された画像は、画像変換手段で座標変換され、さらに、画像合成手段で1枚の画像に合成される。1枚に合成された画像と、前記、複数の撮像手段の中の1つで撮像された画像が並べて表示されるため、明るさ補正の結果が、運転中に最も注意を払う必要がある、車両の進行方向の画像の明るさに影響を与えずに、前記進行方向の情報を運転者に提示することができるため、車両周辺の安全確認に有効である。
【0017】
また、本発明に係る車両用周辺監視装置は、前記撮像手段選択手段が、その中の少なくとも2つの撮像手段で撮像される範囲が一部重複するように設置された3方向以上の方向を撮像する複数の撮像手段の中から第1の撮像手段を選択するものであり、さらに、前記画像の明るさ算出手段が、前記選択された第1の撮像手段で撮像した画像、および、前記選択された第1の撮像手段と第1の重複する撮像範囲を有する第2の撮像手段で撮像した画像の、前記第1の重複する撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段が、前記算出された値に基づいて、前記第2の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段が、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の撮像手段によって撮像された画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段が、さらに、前記算出された別の値に基づいて、前記第3の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段が、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることが好ましい。
【0018】
このように構成された本発明に係る車両用周辺監視装置によれば、互いに撮像範囲が重複する2つの画像の重複撮像範囲、もしくはその近傍の明るさが等しくなるような明るさ補正を行うとともに、車両の状況に応じて、撮像手段選択手段によって撮像手段が選択されるため、基準になる画像の明るさに基づいて、その画像と一部重複する範囲を撮像した別の画像の明るさを再帰的に補正することが可能であり、多くの画像を1枚の画像に合成して表示する車両用周辺監視装置において、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0019】
さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うことができるため、明るさ補正を短時間で実行することができる。
【0020】
また、本発明に係る車両用周辺監視装置は、前記画像の明るさ算出手段が、その中の少なくとも2つの撮像手段で撮像される範囲が一部重複するように設置された3方向以上の方向を撮像する複数の撮像手段の中の第1の撮像手段で撮像した画像、および、前記第1の撮像手段と第1の重複する撮像範囲を有する第2の撮像手段で撮像した画像の、前記第1の重複する撮像範囲、あるいは、前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段が、前記算出された値に基づいて、前記第2の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段が、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の撮像手段によって撮像された画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段が、さらに、前記算出された別の値に基づいて、前記第3の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段が、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることが好ましい。
【0021】
このように構成された本発明に係る車両用周辺監視装置によれば、特に、多くの画像を1枚の画像に合成して表示する車両用周辺監視装置において、予め選択された画像の明るさを基準にして、画像の明るさを順次補正することが可能なため、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0022】
さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うことができるため、明るさ補正を短時間で実行することができる。
【0023】
また、本発明に係る車両用周辺画像表示方法は、車両周辺を撮像した複数の画像の中から、1つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換が施された複数の画像を1つの画像に合成し、前記合成された画像と、前記1つの画像を同時に表示することを特徴とする。
【0024】
このように構成された本発明に係る車両用周辺画像表示方法によれば、上述した作用によって、前記1つの画像の明るさには影響を与えず、合成画像の明るさのみが補正できる。
【0025】
また、本発明に係る車両用周辺画像表示方法は、車両の進行方向を判定し、前記進行方向の判定結果に基づいて、車両周辺を撮像した複数の画像から1つの画像を選択し、前記選択された1つの画像の中から前記1つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換処理が施された複数の画像を1つの画像に合成し、前記合成された画像と前記選択された1つの画像を同時に表示することが好ましい。
【0026】
このように構成された本発明に係る車両用周辺画像表示方法によれば、上述した作用によって、画像の明るさを補正した結果が、運転中に最も注意を払う必要がある、車両の進行方向の画像の明るさに影響を与えないため、運転者に、車両周辺の安全確認に有効な情報を提供することができる。
【0027】
また、本発明に係る車両用周辺画像表示方法は、その中の少なくとも2つの画像の撮像範囲が一部重複するように設置された3方向以上の方向を撮像した複数の画像の中から第1の画像を選択し、前記選択された第1の画像、および、前記選択された第1の画像と第1の重複する撮像範囲を有する第2の画像の、前記重複する第1の撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記第2の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第3の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すことが好ましい。
【0028】
このように構成された本発明に係る車両用周辺画像表示方法によれば、上述した作用によって、複数の画像を1枚に合成する際、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0029】
さらに、撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うため、明るさ補正を短時間で実行することができる。
【0030】
また、本発明に係る車両用周辺画像表示方法は、その中の少なくとも2つの画像の撮像範囲が一部重複するように設置された3方向以上の方向を撮像した複数の画像の中の第1の画像と、前記第1の画像と第1の重複する撮像範囲を撮像した第2の画像の、前記第1の重複する撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記第2の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の画像の中から、前記第2の重複する撮影範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第3の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すのが好ましい。
【0031】
このように構成された本発明に係る車両用周辺画像表示方法によれば、予め選択された画像の明るさを基準にして、画像の明るさを順次補正することが可能なため、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0032】
さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うため、明るさ補正を短時間で実行することができる。
【発明の効果】
【0033】
本発明に係る車両用周辺監視装置および車両用周辺画像表示方法によれば、車両周辺を俯瞰した合成画像と、車両後方の画像を並べて表示するとき、車両後方の画像の中の明るさに対応した値に基づいて、前記車両周辺を俯瞰した合成画像の明るさを補正することにより、明るさの変化が激しい環境にあっても、見やすい画像を提供できるという効果を有する。
【図面の簡単な説明】
【0034】
【図1】本発明の第1実施例の車両用周辺監視装置の概略構成を示すブロック図である。
【図2】図1の車両用周辺監視装置における撮像手段110、明るさ補正手段120、座標変換および画像合成手段200、画像の明るさ算出手段300、画像表示手段400の詳細構成を示すブロック図である。
【図3】図1、および、図2に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【図4】本発明の第1実施例で作成され、運転者に提示される画像の1例を示す図である。
【図5】第4の明るさ算出手段で算出される画像の明るさの算出方法を説明する図である。
【図6】第1の明るさ算出手段301、第2の明るさ算出手段302、第3の明るさ算出手段303によって算出される画像の明るさの算出方法を説明する図である。
【図7】本発明の第2実施例の実施形態に係る車両用周辺監視装置の概略構成を示すブロック図である。
【図8】図7の車両用周辺監視装置における撮像手段810、明るさ補正手段820、座標変換および画像合成手段900、画像の明るさ算出手段1000、画像表示手段1100の詳細構成を示すブロック図である。
【図9】図7、および、図8に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【図10】本発明の第2実施例および第3実施例で作成され、運転者に提示される画像の1例を示す図である。
【図11】第1の明るさ算出手段1001で算出される画像の明るさの算出方法を説明する図である。
【図12】図8の第1の明るさ算出手段1001、第2の明るさ算出手段1002、第3の明るさ算出手段1003、第4の明るさ算出手段1004、および、図14の第1の明るさ算出手段1601、第2の明るさ算出手段1602、第3の明るさ算出手段1603、第4の明るさ算出手段1604で算出される明るさの算出方法を説明する図である。
【図13】本発明の第3実施例の車両用周辺監視装置の概略構成を示すブロック図である。
【図14】図13の車両用周辺監視装置における撮像手段1410、明るさ補正手段1420、座標変換および画像合成手段1500、画像の明るさ算出手段1600、画像表示手段1700の詳細構成を示すブロック図である。
【図15】図13、および図14に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0035】
以下、本発明の車両用周辺監視装置の実施形態について、図面を参照して説明する。
【実施例1】
【0036】
図1は、本発明に係る車両用周辺監視装置の第1実施例の概略構成を示すブロック図である。
【0037】
図2は、図1の車両用周辺監視装置における、撮像手段110、明るさ補正手段120、座標変換および画像合成手段200、画像の明るさ算出手段300、および、画像表示手段400の詳細構成を示すブロック図である。
【0038】
図3は、図2に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【0039】
本実施例に係る車両用周辺監視装置は、図1のブロック図に示す通り、車両に設置され、互いに異なる方向を観測するN個のCCDカメラやC−MOSカメラのような撮像手段110と、撮像手段から入力された画像の明るさを補正する明るさ補正手段120と、明るさ補正手段120から出力された画像に対して座標変換を施し、さらに1枚の画像に合成する、座標変換および画像合成手段200と、撮像された画像の明るさを算出する画像の明るさ算出手段300と、座標変換・画像合成を行った結果を表示するモニタ等からなる画像表示手段400、および、車両用周辺監視装置の起動指示と終了指示を検出する起動・終了指示検出手段500を備えた構成になっている。
【0040】
本実施例は、撮像手段110が、4台のカメラで構成される例で記載する。すなわち、撮像手段110と明るさ補正手段120は、車両前方を観測するフロントカメラ111と、それに接続された第1のデコーダおよび明るさ補正手段112と第1のA/D変換器113、車両左横方向を観測する左サイドカメラ121と、それに接続された第2のデコーダおよび明るさ補正手段122と第2のA/D変換器123、車両右横方向を観測する右サイドカメラ131と、それに接続された第3のデコーダおよび明るさ補正手段132と第3のA/D変換器133、車両後方を観測するリアカメラ141と、それに接続された第4のデコーダおよび明るさ補正手段142と第4のA/D変換器143とから構成されるものとする。
【0041】
また、座標変換および画像合成手段200は、座標変換手段201、座標変換テーブル202、および、画像合成手段203とから構成される。
【0042】
画像の明るさ算出手段300は、第1のA/D変換器113に接続された第1の明るさ算出手段301、第2のA/D変換器123に接続された第2の明るさ算出手段B302、第3のA/D変換器133に接続された第3の明るさ算出手段303、および、第4のA/D変換器143に接続された第4の明るさ算出手段304とから構成される。
【0043】
さらに、画像表示手段400は、D/A変換器401、エンコーダ402、およびモニタ403とから構成される。
【0044】
本実施例における車両用周辺監視装置は、図4に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、車両の後方を撮像した画像630を1枚の画像として、モニタ403に表示する構成になっている。
【0045】
ここで、合成画像700は、図6(b)に示すフロントカメラ111で撮像された画像600を、上空の仮想視点Vから俯瞰した画像710と、図6(c)に示す左サイドカメラ121で撮像された画像610を、上空の仮想視点Vから俯瞰した画像720と、図6(d)に示す右サイドカメラ131で撮像された画像620を、上空の仮想視点Vから俯瞰した画像730と、図4に示すリアカメラ141で撮像された画像630を、上空の仮想視点Vから俯瞰した画像740と、本装置が取り付けられた車両を上空の仮想視点Vから俯瞰した仮想画像750を1枚の画像に合成したものである。
【0046】
なお、本実施例の構成は、車両の4方向を観測する構成になっているが、観測方向の数はこの限りではなく、より多数の方向を観測するようにしてもよい。なお、その場合でも、本実施例と同様の作用で本発明を実施することができる。
【0047】
次に、本実施例に係る車両用周辺監視装置の作用について、図3のフローチャートを参照して説明する。
【0048】
フロントカメラ111、左サイドカメラ121、右サイドカメラ131、リアカメラ141は、隣り合ったカメラ(フロントカメラ111と左サイドカメラ121、フロントカメラ111と右サイドカメラ131、左サイドカメラ121とリアカメラ141、右サイドカメラ131とリアカメラ141)の撮像範囲が一部重複するレイアウトで、車両に取り付けられている。
【0049】
起動・終了指示検出手段500にて、シフトポジションが後退位置にあることが検出されると(図3のS2)、座標変換手段201でトリガ信号が発生し、このトリガ信号が、第1のデコーダおよび明るさ補正手段112、第1のA/D変換器113、第2のデコーダおよび明るさ補正手段122、第2のA/D変換器123、第3のデコーダおよび明るさ補正手段132、第3のA/D変換器133、第4のデコーダおよび明るさ補正手段142、第4のA/D変換器143に入力される。
【0050】
各カメラが前記トリガ信号を受信すると、フロントカメラ111、左サイドカメラ121、右サイドカメラ131、リアカメラ141から、同時に画像入力が行われる(図3のS3)。
【0051】
フロントカメラ111から入力された画像は、第1のデコーダおよび明るさ補正手段112にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、さらに、変換されたコンポーネント信号のうち輝度信号は、第1のA/D変換器113でデジタル信号に変換され、画像600が生成される(図3のS6)。同様にして、左サイドカメラ121から入力された画像は、第2のデコーダおよび明るさ補正手段122にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、さらに、変換されたコンポーネント信号のうち輝度信号は、第2のA/D変換器123でデジタル信号に変換され、画像610が生成される(図3のS6)。右サイドカメラ131から入力された画像は、第3のデコーダおよび明るさ補正手段132にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、さらに、変換されたコンポーネント信号のうち輝度信号は、第3のA/D変換器133でデジタル信号に変換され、画像620が生成される(図3のS6)。リアカメラ141から入力された画像は、第4のデコーダおよび明るさ補正手段142にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、さらに、変換されたコンポーネント信号のうち輝度信号は、第4のA/D変換器143でデジタル信号に変換され、画像630が生成される(図3のS6)。
【0052】
なお、ここで、コンポジット信号からコンポーネント信号に信号変換するのと同時に、撮像された画像の明るさの補正を行う(図3のS5)が、画像の明るさを補正する補正量が算出できていないため、車両用周辺監視装置起動後の最初の画像入力時には、この明るさ補正は行われない。
【0053】
次に、第4の明るさ算出手段304によって、リアカメラ141で撮像した画像630の中の所定領域の画素値の平均値を算出する(図3のS7)。ここでは、図5に示すように、予め決めておいた所定位置(x0,y0)に、横方向m個の画素、縦方向n個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Iaveを算出する。
【0054】
次に、第1の明るさ算出手段301によって、フロントカメラ111で撮像された画像600の中の所定領域の画素値の平均値を算出する(図3のS8)。ここでは、図6(b)に示すように、画像600の中に、予め決めておいた所定位置に所定サイズの領域601と領域602を設定し、その領域601、領域602の中の全ての画素値の平均値I1aveを算出する。
【0055】
ここで、領域601は、図6(a)に示すように、画像600を、上空の仮想視点Vから俯瞰した画像710に変換したとき、フロントカメラ111と左サイドカメラ121の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域711に変換される領域とする。さらに、領域602は、画像600を、上空の仮想視点Vから俯瞰した画像710に変換したとき、フロントカメラ111と右サイドカメラ131の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域712に変換される領域とする。
【0056】
なお、この領域601、領域602の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第1の明るさ算出手段301に記憶しておく。
【0057】
次に、第2の明るさ算出手段302によって、左サイドカメラ121で撮像された画像610の中の所定領域の画素値の平均値を算出する(図3のS8)。ここでは、図6(c)に示すように、画像610の中に、予め決めておいた所定位置に所定サイズの領域611と領域612を設定し、その領域611、領域612の中の全ての画素値の平均値I2aveを算出する。
【0058】
ここで、領域611は、図6(a)に示すよう、画像610を、上空の仮想視点Vから見下ろした画像720に変換したとき、フロントカメラ111と左サイドカメラ121の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域721に変換される領域とする。さらに、領域612は、画像610を、図6(a)に示すよう、上空の仮想視点Vから俯瞰した画像720に変換したとき、左サイドカメラ121とリアカメラ141の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域722に変換される領域とする。
【0059】
なお、この領域611、領域612の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第2の明るさ算出手段302に記憶しておく。
【0060】
さらに、第3の明るさ算出手段303によって、右サイドカメラ131で撮像された画像620の中の所定領域の画素値の平均値を算出する(図3のS8)。ここでは、図6(d)に示すように、画像620の中に、予め決めておいた所定位置に所定サイズの領域621と領域622を設定し、その領域621、領域622の中の全ての画素値の平均値I3aveを算出する。
【0061】
ここで、領域621は、図6(a)に示すよう、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、フロントカメラ111と右サイドカメラ131の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域731に変換される領域とする。さらに、領域622は、画像620を、図6(a)に示すよう、上空の仮想視点Vから俯瞰した画像730に変換したとき、右サイドカメラ131とリアカメラ141の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域732に変換される領域とする。
【0062】
なお、この領域621、領域622の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第3の明るさ算出手段303に記憶しておく。
【0063】
こうして算出された画像630の所定領域の画素値の平均値Iaveと、画像600の所定領域の画素値の平均値I1aveは、第1のデコーダおよび明るさ補正手段112に送って、そこに記憶しておく。同様に、画像630の所定領域の画素値の平均値Iaveと、画像610の所定領域の画素値の平均値I2aveは、第2のデコーダおよび明るさ補正手段122に送ってそこに記憶し、画像630の所定領域の画素値の平均値Iaveと、画像620の所定領域の画素値の平均値I3aveは、第3のデコーダおよび明るさ補正手段132に送って、そこに記憶しておく。
【0064】
図3のS6で生成された画像600、画像610、画像620、画像630は、座標変換手段201によって座標変換され、上空の仮想視点Vから見下ろした画像に変換される(図3のS9)。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて計算されるが、一般的には、各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル202を作成しておき、この座標変換テーブル202に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0065】
前記座標変換によって、フロントカメラ111で撮像された画像600が画像710に変換され、左サイドカメラ121で撮像された画像610が画像720に変換され、右サイドカメラ131で撮像された画像620が画像730に変換され、リアカメラ141で撮像された画像630が画像740に変換される。変換された結果は、画像合成手段203によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した仮想画像750が合成され、合成画像700が生成される。さらに、リアカメラ141で撮像した画像630と合成して、図4に示す1枚の画像が作成される(図3のS10)。
【0066】
合成された画像は、D/A変換器401にてコンポーネント信号に再構成され(図3のS11)、さらにエンコーダ402でコンポジット信号に変換されて(図3のS12)、モニタ403に表示される(図3のS13)。
【0067】
起動・終了指示検出手段500にて、シフトポジションが後退位置にあるか否かを検出する(図3のS14)。もし、シフトポジションが後退位置以外であったら、モニタ403の表示を解除する(図3のS15)。
【0068】
もし、シフトポジションが後退位置にあることが確認されると、図3のS3において、再度画像入力が行われる。
【0069】
フロントカメラ111から入力された画像は、第1のデコーダおよび明るさ補正手段112にて、コンポジット信号からコンポーネント信号に変換され(図3のS4)、その後、第1デコーダおよび明るさ補正手段112に記憶された、画像630の所定領域の画素値の平均値Iaveと、画像600の所定領域の画素値の平均値I1aveに基づいて、明るさの補正が行われる(図3のS5)。
【0070】
明るさの補正は、具体的には、第1のデコーダおよび明るさ補正手段112における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とすると、(式1)に基づいて、ブライトネス値をB1からB1’に変更することによって行われる。
【0071】
B1’=B1+(Iave−I1ave)×w (式1)
(式1)にて、wは明るさ補正の重み付け値(0≦w≦1)を表す。これは、画面の明るさが急激に変化したとき、明るさの補正値が、それに伴って急激に変化することを避けるために設ける値である。なお、wは、予め決めておいた所定の値に設定される。
【0072】
左サイドカメラ121から入力された画像610、右サイドカメラ131から入力された画像620についても、これと同様に明るさ補正が行われる。
【0073】
すなわち、第2のデコーダおよび明るさ補正手段122における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’、第3のデコーダおよび明るさ補正手段132における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とすると、画像610の明るさは、以下の(式2)に基づいて、ブライトネス値をB2からB2’に変更することによって補正される。また、画像620の明るさは、以下の(式3)に基づいて、ブライトネス値をB3からB3’に変更することによって補正される。
【0074】
B2’=B2+(Iave−I2ave)×w (式2)
B3’=B3+(Iave−I3ave)×w (式3)
なお、リアカメラ141で撮像された画像は、画像の明るさの補正を行う基準になる画像であるため、その画像自身には明るさ補正を行わない。したがって、第4のデコーダおよび明るさ補正手段142には、w=0が記憶される。すなわち、第4のデコーダおよび明るさ補正手段142における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とすると、B4’は(式4)のようになる。
【0075】
B4’=B4 (式4)
(式1)、(式2)、(式3)および(式4)によって明るさが補正された画像は、第1のA/D変換器113、第2のA/D変換器123、第3のA/D変換器133、第4のA/D変換器143でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図3のS6)。
【0076】
このようにして、明るさが補正された新たな画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段300にてIave、I1ave、I2ave、I3aveが算出される。
【0077】
このようにして算出されたIave、I1ave、I2ave、I3aveのうち、Iave、I1aveは、第1のデコーダおよび明るさ補正手段112に送って、そこに記憶しておく。またIave、I2aveは、第2のデコーダおよび明るさ補正手段122に送って、そこに記憶しておく。さらにIave、I3aveは、第3のデコーダおよび明るさ補正手段132に送って、そこに記憶しておく。リアカメラから入力された画像に対しては、明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段142には、w=0が記憶される。
【0078】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ、合成された画像は、D/A変換された後エンコード処理にてコンポジット信号に変換され、モニタ403に出力される。
【0079】
以後、シフトポジションが後退位置になっている限り、上記処理が継続して実行され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。
【0080】
このように構成された本実施形態に係る車両用周辺監視装置によれば、車両周辺の360°を俯瞰できる画像と、車両後方を撮像した画像を同時に表示する際、俯瞰した画像の明るさ補正の結果が、車両後方を撮像した画像に影響を与えないため、車両周辺の明暗変化が激しいときでも、運転者に見やすい画像を提供することができる。
【0081】
なお、本実施例においては、画像の明るさ補正の基準値を、リアカメラ141で撮像した画像630の中の所定領域、すなわち、図5に示すように、所定位置(x0,y0)に、横方向m個の画素、縦方向n個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Iaveとしたが、基準のとり方はこの限りでなく、例えば、リアカメラ141で撮像した画像630の中に、図12(e)に示す領域631、および領域632を設定し、領域631と領域632の全ての画素値の平均値を明るさ補正の基準にしてもよい。ここで、領域631は、画像630を、上空の仮想視点Vから俯瞰した画像740に変換したとき、リアカメラ141と左サイドカメラ121の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域741に変換される領域のことである。また、領域632は、画像740において、リアカメラ141と右サイドカメラ131の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域742に変換される領域のことである。この基準のとり方によると、実施例の方法に比べて、画像のつなぎ目部分の明るさの連続性がより向上するという効果が得られる。
【0082】
なお、上述した本実施例の車両用周辺監視装置の作用は、本発明に係る車両用周辺画像表示方法の実施形態に相当する。
【実施例2】
【0083】
図7は、本発明に係る車両用周辺監視装置の第2実施例の概略構成を示すブロック図である。
【0084】
図8は、図7の車両用周辺監視装置における、撮像手段810、明るさ補正手段820、座標変換および画像合成手段900、画像の明るさ算出手段1000、および、画像表示手段1100の詳細構成を示すブロック図である。
【0085】
図9は、図8に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【0086】
本実施例に係る車両用周辺監視装置は、図7のブロック図に示す通り、車両に設置され、互いに異なる方向を観測するN個のCCDカメラやC−MOSカメラのような撮像手段810と、撮像手段から入力された画像の明るさを補正する明るさ補正手段820と、明るさ補正手段820から出力された画像に対して座標変換を施し、さらに1枚の画像に合成する、座標変換および画像合成手段900と、撮像された画像の明るさを算出する画像の明るさ算出手段1000と、座標変換・画像合成を行った結果を表示するモニタ等からなる画像表示手段1100と、車両用周辺監視装置の起動指示と終了指示を検出する起動・終了指示検出手段1200、および、複数の撮像手段810の中から1つの撮像手段を選択する撮像手段選択手段1300を備えた構成になっている。
【0087】
本実施例は、撮像手段810が、4台のカメラで構成される例で記載する。すなわち、撮像手段810は、車両前方を観測するフロントカメラ811と、それに接続された第1のデコーダおよび明るさ補正手段812と第1のA/D変換器813、車両左横方向を観測する左サイドカメラ821、それに接続された第2のデコーダおよび明るさ補正手段822と第2のA/D変換器823、車両右横方向を観測する右サイドカメラ831と、それに接続された第3のデコーダおよび明るさ補正手段832と第3のA/D変換器833、車両後方を観測するリアカメラ841と、それに接続された第4のデコーダおよび明るさ補正手段842と第4のA/D変換器843とから構成されるものとする。
【0088】
また、座標変換および画像合成手段900は、座標変換手段901、座標変換テーブル902、および、画像合成手段903とから構成される。
【0089】
画像の明るさ算出手段1000は、第1のA/D変換器813に接続された第1の明るさ算出手段A1001、第2のA/D変換器823に接続された第2の明るさ算出手段1002、第3のA/D変換器833に接続された第3の明るさ算出手段1003、および、第4のA/D変換器843に接続された第4の明るさ算出手段1004とから構成される。
【0090】
さらに、画像表示手段1100は、D/A変換器1101、エンコーダ1102、およびモニタ1103とから構成される。
【0091】
本実施例における車両用周辺監視装置は、図10(a)に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、リアカメラ841で撮像した画像630、または、図10(b)に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、フロントカメラ811で撮像した画像600を、1枚の画像に合成してモニタ1103に表示する構成になっている。
【0092】
ここで、合成画像700は、図12に示すように、フロントカメラ811で撮像した画像600を、上空の仮想視点Vから俯瞰した画像710と、左サイドカメラ821で撮像した画像610を、上空の仮想視点Vから俯瞰した画像720と、右サイドカメラ831で撮像した画像620を、上空の仮想視点Vから俯瞰した画像730と、リアカメラ841で撮像した画像630を、上空の仮想視点Vから俯瞰した画像740と、車両を上空の仮想視点Vから俯瞰した仮想画像750を1枚の画像に合成したものである。
【0093】
なお、本実施例の構成は、車両の4方向を観測する構成になっているが、観測方向の数はこの限りではなく、より多数の方向を観測するようにしてもよい。なお、その場合でも、本実施例と同様の作用で本発明を実施することができる。
【0094】
次に、本実施形態に係る車両用周辺監視装置の作用について、図9のフローチャートを参照して説明する。
【0095】
フロントカメラ811、左サイドカメラ821、右サイドカメラ831、リアカメラ841は、隣り合ったカメラ(フロントカメラ811と左サイドカメラ821、フロントカメラ811と右サイドカメラ831、左サイドカメラ821とリアカメラ841、右サイドカメラ831とリアカメラ841)の撮像範囲が一部重複するレイアウトで、車両に取り付けられている。
【0096】
起動・終了指示検出手段1200にて、シフトポジションが後退位置にあること、もしくは、シフトポジションが前進位置にあって、かつ車速が所定値以下であることのどちらか一方であることが検出されると(図9のS2、S3、S4)、座標変換手段901でトリガ信号が発生し、このトリガ信号が、第1のデコーダおよび明るさ補正手段812、第1のA/D変換器813、第2のデコーダおよび明るさ補正手段822、第2のA/D変換器823、第3のデコーダおよび明るさ補正手段832、第3のA/D変換器833、第4のデコーダおよび明るさ補正手段842、第4のA/D変換器843に入力される。
【0097】
各カメラが前記トリガ信号を受信すると、フロントカメラ811、左サイドカメラ821、右サイドカメラ831、リアカメラ841から、同時に画像入力が行われる(図9のS7)。
【0098】
フロントカメラ811から入力された画像は、第1のデコーダおよび明るさ補正手段812にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第1のA/D変換器813でデジタル信号に変換され、画像600が生成される(図9のS10)。同様にして、左サイドカメラ821から入力された画像は、第2のデコーダおよび明るさ補正手段822にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第2のA/D変換器823でデジタル信号に変換され、画像610が生成される(図9のS10)。右サイドカメラ831から入力された画像は、第3のデコーダおよび明るさ補正手段C832にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第3のA/D変換器833でデジタル信号に変換され、画像620が生成される(図9のS10)。また、リアカメラ841から入力された画像は、第4のデコーダおよび明るさ補正手段842にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第4のA/D変換器843でデジタル信号に変換され、画像630が生成される(図9のS10)。
【0099】
なお、ここで、コンポジット信号からコンポーネント信号に信号変換するのと同時に、入力された画像の明るさの補正を行う(図9のS9)が、画像の明るさを補正する補正量が算出できていないため、車両用周辺監視装置起動後の最初の画像入力時には、この明るさ補正は行われない。
【0100】
次に、撮像手段選択手段1300にて、モニタ1103に出力する画像として、図10の画像の右側の領域に、図10(a)のように車両後方を撮像した画像630を表示するか、または、図10(b)のように車両前方を撮像した画像600を表示するかを決定する。
【0101】
これは、起動・終了指示検出手段1200にて、シフトポジションの位置と車速をモニタし、その結果に基づいて判断される。
【0102】
すなわち、シフトポジションが後退位置にあったら、図10(a)、(b)に示す画像の右側の領域には、図10(a)のように車両の後方を撮像した画像630を表示する(図9のS2)、また、シフトポジションが前進位置にあり、かつ、車速が所定値以下であったら、図10の画像の右側の領域には、図10(b)のように車両の前方を撮像した画像600を表示する(図9のS3、S4)。ここで、車両の後方を撮像した画像630を表示すると判断された場合、リアカメラ841が選択され(図9のS6)、車両の前方を撮像した画像600を表示すると判断された場合、フロントカメラ811が選択される(図9のS5)。どちらのカメラが選択されるかによって、後述する明るさ補正処理の手順が異なる。
【0103】
はじめに、撮像手段選択手段1300にてリアカメラ841が選択された場合の動作を説明する。
【0104】
第4の明るさ算出手段1004が、リアカメラ841で撮像された画像630の中の所定領域の画素値の平均値を算出する(図9のS11)。ここでは、図5に示すように、予め決めておいた所定位置(x0,y0)に、横方向m個の画素、縦方向n個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Iaveを算出する。
【0105】
次に、第1の明るさ算出手段1001が、図9のS7で生成された画像600の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図6(b)に示すように、画像600の中に、予め決めておいた所定位置に所定サイズの領域601、602を設定し、その領域601、領域602の中の全ての画素値の平均値I1aveを算出する。
【0106】
ここで、領域601は、画像600を、上空の仮想視点Vから俯瞰した画像710に変換したとき、フロントカメラ811と左サイドカメラ821の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域711に変換される領域とする。さらに、領域602は、画像600を、上空の仮想視点Vから俯瞰した画像710に変換したとき、フロントカメラ811と右サイドカメラ831の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域712に変換される領域とする。
【0107】
なお、この領域601、領域602の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め、第1の明るさ算出手段1001に記憶しておく。
【0108】
次に、第2の明るさ算出手段1002が、図9のS7で生成された画像610の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図6(c)に示すように、画像610の中に、予め決めておいた所定位置に所定サイズの領域611、612を設定し、その領域611、領域612の中の全ての画素値の平均値I2aveを算出する。
【0109】
ここで、領域611は、画像610を、上空の仮想視点Vから俯瞰した画像720に変換したとき、フロントカメラ811と左サイドカメラ821の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域721に変換される領域を611とする。さらに、領域612は、画像610を、上空の仮想視点Vから俯瞰した画像720に変換したとき、左サイドカメラ821とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域722に変換される領域とする。
【0110】
なお、この領域611、領域612の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め、第2の明るさ算出手段1002に記憶しておく。
【0111】
さらに、第3の明るさ算出手段1003が、図9のS7で生成された画像620の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図6(d)に示すように、画像620の中に、予め決めておいた所定位置に所定サイズの領域621、622を設定し、その領域621、領域622の中の全ての画素値の平均値I3aveを算出する。
【0112】
ここで、領域621は、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、フロントカメラ811と右サイドカメラ831の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域731に変換される領域とする。さらに、領域622は、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、右サイドカメラ831とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域732に変換される領域とする。
【0113】
なお、この領域621、領域622の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め、第3の明るさ算出手段1003に記憶しておく。
【0114】
算出されたIaveとI1aveは、第1のデコーダおよび明るさ補正手段812に送られて、そこに記憶される。同様に、IaveとI2aveは、第2のデコーダおよび明るさ補正手段822に送られてそこに記憶され、IaveとI3aveは、第3のデコーダおよび明るさ補正手段832に送られて、そこに記憶される。なお、リアカメラ841から入力された画像に対しては、明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段842には、w=0が記憶される。
【0115】
図3のS7で生成された画像600、画像610、画像620、画像630は、座標変換手段901において座標変換され、上空の仮想視点Vから俯瞰した画像に変換される(図9のS13)。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて計算されるが、一般的には、各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル902を作成しておき、この座標変換テーブル902に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0116】
前記座標変換によって、フロントカメラ811で撮像された画像600が画像710に変換され、左サイドカメラ821で撮像された画像610が画像720に変換され、右サイドカメラ831で撮像された画像620が画像730に変換され、リアカメラ841で撮像された画像630が画像740に変換される。変換された結果は、画像合成手段903によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した画像750が合成され、合成画像700が生成される。さらに、リアカメラ841で撮像した画像630と合成して、図10(a)に示す画像が作成される(図9のS14)。
【0117】
作成された画像は、D/A変換部1101にてコンポーネント信号に再構成され(図9のS15)、さらにエンコーダ1102でコンポジット信号に変換されて(図9のS16)、モニタ1103に表示される(図9のS17)。
【0118】
起動・終了指示検出手段1200にて、シフトポジションが後退位置にあるか否かを検出する(図9のS18、S19)。もし、シフトポジションが後退位置以外であったら、モニタ1103の表示を解除する(図9のS21)。
【0119】
もし、シフトポジションが後退位置にあることが確認されると、図9のS7において、再度画像入力が行われる。
【0120】
フロントカメラ811から入力された画像は、第1のデコーダおよび明るさ補正手段812にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、その後、第1のデコーダおよび明るさ補正手段812に記憶された、IaveとI1aveに基づいて、明るさの補正が行われる(図9のS9)。
【0121】
明るさの補正は、具体的には、第1のデコーダおよび明るさ補正手段812における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とすると、(式1)によって、新たなブライトネス値B1’を算出することによって行われる。
【0122】
左サイドカメラ821、また、右サイドカメラ831で撮像された画像についても、以下のようにして明るさ補正が行われる。
【0123】
すなわち、第2のデコーダおよび明るさ補正手段822における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’、第3のデコーダおよび明るさ補正手段832における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とすると、左サイドカメラ821で撮像された画像は、(式2)で算出される新たなブライトネス値をB2’によって明るさが補正され、右サイドカメラ831で撮像された画像は、(式3)で算出される新たなブライトネス値をB3’によって明るさが補正される。
【0124】
なお、リアカメラで撮像した画像は、画像の明るさの補正を行う基準になる画像であるため、その画像自身には明るさ補正を行わない。したがって、第4のデコーダおよび明るさ補正手段842には、w=0が記憶される。すなわち、第4のデコーダおよび明るさ補正手段842における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とすると、(式4)にて新たなブライトネス値B4’が算出され、明るさ補正が行われる。
【0125】
(式1)、(式2)、(式3)および(式4)によって明るさが補正された画像は、第1のA/D変換器813、第2のA/D変換器823、第3のA/D変換器833、および第4のA/D変換器843でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図9のS10)。
【0126】
このようにして、明るさが補正された画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段1000にてIave、I1ave、I2ave、I3aveが算出される。
【0127】
このようにして算出されたIave、I1ave、I2ave、I3aveのうち、Iave、I1aveは、第1のデコーダおよび明るさ補正手段812に送られて、そこに記憶される。またIave、I2aveは、第2のデコーダおよび明るさ補正手段822に送られて、そこに記憶される。さらにIave、I3aveは、第3のデコーダおよび明るさ補正手段832に送られ、そこに記憶される。画像630に対しては明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段842には、w=0が記憶される。
【0128】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ、合成された画像は、D/A変換された後エンコード処理にてコンポジット信号に変換され、モニタ1103に出力される。
【0129】
以後、シフトポジションが後退位置になっている限り、上記処理が継続して実行され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。
【0130】
次に、撮像手段選択手段1300にてフロントカメラ811が選択された場合の動作を説明する。
【0131】
第1の明るさ算出手段1001によって、フロントカメラ811で撮像された画像600の中の所定領域の画素値の平均値を算出する(図9のS11)。ここでは、図11に示すように、予め決めておいた所定位置(x1,y1)に、横方向k個の画素、縦方向l個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Iaveを算出する。
【0132】
次に、第2の明るさ算出手段1002によって、図9のS7で生成された画像610の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図12(c)に示すように、画像610の中に、予め決めておいた所定位置に所定サイズの領域611、領域612を設定し、その領域611、領域612の中の全ての画素値の平均値I2aveを算出する。
【0133】
ここで、領域611は、図12(a)に示すように、画像610を、上空の仮想視点Vから俯瞰した画像720に変換したとき、フロントカメラ811と左サイドカメラ821の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域721に変換される領域とする。さらに、領域612は、画像610を、上空の仮想視点Vから俯瞰した画像720に変換したとき、左サイドカメラ821とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域722に変換される領域とする。
【0134】
なお、この領域611、領域612の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第2の明るさ算出手段1002に記憶しておく。
【0135】
次に、第3の明るさ算出手段1003によって、図9のS7で生成された画像620の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図12(d)に示すように、画像620の中に、予め決めておいた所定位置に所定サイズの領域621、領域622を設定し、その領域611、領域612の中の全ての画素値の平均値I3aveを算出する。
【0136】
ここで、領域621は、図12(a)に示すように、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、フロントカメラ811と右サイドカメラ831の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域731に変換される領域とする。さらに、領域622は、画像620を、上空の仮想視点Vから俯瞰した画像730に変換したとき、右サイドカメラ831とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域732に変換される領域とする。
【0137】
なお、この領域621、領域622の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第3の明るさ算出手段1003に記憶しておく。
【0138】
さらに、第4の明るさ算出手段1004によって、図9のS7で生成された画像630の中の所定領域の画素値の平均値を算出する(図9のS12)。ここでは、図12(e)に示すように、画像630の中に、予め決めておいた所定位置に所定サイズの領域631、領域632を設定し、その領域631、領域632の中の全ての画素値の平均値I4aveを算出する。
【0139】
ここで、領域631は、図12(a)に示すように、画像630を、上空の仮想視点Vから俯瞰した画像740に変換したとき、リアカメラ841と左サイドカメラ821の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域741に変換される領域とする。さらに、領域632は、画像630を、上空の仮想視点Vから俯瞰した画像740に変換したとき、右サイドカメラ831とリアカメラ841の撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域742に変換される領域とする。
【0140】
なお、この領域631、領域632の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第4の明るさ算出手段1004に記憶しておく。
【0141】
算出されたIaveとI2aveは、第2のデコーダおよび明るさ補正手段822に送られて、そこに記憶される。同様に、IaveとI3aveは、第3のデコーダおよび明るさ補正手段832に送られて、そこに記憶され、IaveとI4aveは、第4のデコーダおよび明るさ補正手段842に送られて、そこに記憶される。なお、フロントカメラ811で撮像された画像に対しては、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段812には、w=0が記憶される。
【0142】
図9のS7で生成された画像600、画像610、画像620、画像630は、座標変換手段901によって座標変換され、上空の仮想視点Vから俯瞰した画像に変換される(図9のS13)。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて計算されるが、一般的には、各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Vの位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル902を作成しておき、この座標変換テーブル902に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0143】
前記座標変換によって、画像600が画像710に変換され、画像610が画像720に変換され、画像620が画像730に変換され、画像630が画像740に変換される。変換された結果は、画像合成手段903によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した画像750が合成され、合成画像700が生成される。さらに、フロントカメラ811で撮像した画像600と合成して、図10(b)に示す1枚の画像が作成される(図9のS14)。
【0144】
作成された画像は、D/A変換部1101にてコンポーネント信号に再構成され(図9のS15)、さらにエンコーダ1102でコンポジット信号に変換されて(図9のS16)、モニタ1103に表示される(図9のS17)。
【0145】
起動・終了指示検出手段1200にて、フロントカメラ811が選択された状態にあり、なおかつ、車速が所定値以下であることを判定する(図9のS18、S20)。もし、条件に合致しないときは、モニタ1103の表示を解除する(図9のS21)。
【0146】
一方、条件に合致していると判定されたときは、図9のS7において、再度画像入力が行われる。
【0147】
リアカメラ841で撮像された画像は、第4のデコーダおよび明るさ補正手段842にて、コンポジット信号からコンポーネント信号に変換され(図9のS8)、その後、第4のデコーダおよび明るさ補正手段842に記憶された、IaveとI4aveに基づいて、明るさの補正が行われる(図9のS9)。
【0148】
明るさの補正は、具体的には、第4のデコーダおよび明るさ補正手段842における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とすると、B4’は(式5)によって算出され、これによって明るさの補正が行われる。
【0149】
B4’=B4+(Iave−I4ave)×w (式5)
左サイドカメラ821、および右サイドカメラ831で撮像された画像についても、以下のようにして明るさ補正が行われる。
【0150】
すなわち、第2のデコーダおよび明るさ補正手段822における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’、第3のデコーダおよび明るさ補正手段832における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とすると、左サイドカメラ821で撮像された画像は、(式2)で算出される新たなブライトネス値をB2’によって明るさが補正され、右サイドカメラ831で撮像された画像は、(式3)で算出される新たなブライトネス値をB3’によって明るさが補正される。
【0151】
なお、フロントカメラで撮像した画像については、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段812には、w=0が記憶される。すなわち、第1のデコーダおよび明るさ補正手段812における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とすると、B1’は、(式6)にて算出される。
【0152】
B1’=B1 (式6)
(式2)、(式3)、(式5)および(式6)によって明るさが補正された画像は、第1のA/D変換器813、第2のA/D変換器823、第3のA/D変換器833、第4のA/D変換器843でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図9のS10)。
【0153】
このようにして、明るさが補正された画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段1000にてIave、I2ave、I3ave、I4aveが算出される。
【0154】
このようにして算出されたIave、I2ave、I3ave、I4aveのうち、Iave、I2aveは、第2のデコーダおよび明るさ補正手段822に送って、そこに記憶する。またIave、I3aveは、第3のデコーダおよび明るさ補正手段832に送って、そこに記憶する。さらにIave、I4aveは、第4のデコーダおよび明るさ補正手段842に送って、そこに記憶しておく。フロントカメラ811から入力された画像600に対しては明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段812には、w=0が記憶される。
【0155】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ、合成された画像信号は、D/A変換された後エンコード処理にてコンポジット信号に変換され、モニタ1103に出力される。
【0156】
以後、シフトポジションが前進位置になっており、かつ車速が所定値以下である限り、上記処理が継続して実行され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。
【0157】
画像の明るさの補正の結果が、運転中に最も注意を払う必要がある、車両の進行方向の画像の明るさに影響を与えないため、運転者に、車両周辺の安全確認に有効な情報を提供することができる。
【0158】
なお、上述した本実施例の車両用周辺監視装置の作用は、本発明に係る車両用周辺画像表示方法の実施形態に相当する。
【実施例3】
【0159】
図13は、本発明に係る車両用周辺監視装置の第3実施例の概略構成を示すブロック図である。
【0160】
図14は、図13の車両用周辺監視装置における、撮像手段1410、明るさ補正手段1420、座標変換および画像合成手段1500、画像の明るさ算出手段1600、および、画像表示手段1700の詳細構成を示すブロック図である。
【0161】
図15は、図12に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。
【0162】
本実施例に係る車両用周辺監視装置は、図13のブロック図に示す通り、車両に設置され、互いに異なる方向を観測するN個のCCDカメラやC−MOSカメラのような撮像手段1410と、撮像手段から入力された画像の明るさを補正する明るさ補正手段1420と、明るさ補正手段1420から出力された画像に対して座標変換を施し、さらに1枚の画像に合成する、座標変換および画像合成手段1500と、撮像された画像の明るさを算出する画像の明るさ算出手段1600と、座標変換・画像合成を行った結果を表示するモニタ等からなる画像表示手段1700と、車両用周辺監視装置の起動指示と終了指示を検出する起動・終了指示検出手段1800、および、複数の撮像手段1410の中から1つの撮像手段を選択する撮像手段選択手段1900を備えた構成になっている。
【0163】
本実施例は、撮像手段1410が、4台のカメラで構成される例で記載する。すなわち、撮像手段1410は、車両前方を観測するフロントカメラ1411と、それに接続された第1のデコーダおよび明るさ補正手段1412と第1のA/D変換器A1413、車両左横方向を観測する左サイドカメラ1421と、それに接続された第2のデコーダおよび明るさ補正手段1422と第2のA/D変換器1423、車両右横方向を観測する右サイドカメラ1431と、それに接続された第3のデコーダおよび明るさ補正手段1432と第3のA/D変換器1433、車両後方を観測するリアカメラ1441と、それに接続された第4のデコーダおよび明るさ補正手段1442と第4のA/D変換器1443とから構成されるものとする。
【0164】
また、座標変換および画像合成手段1500は、座標変換手段1501、座標変換テーブル1502、および、画像合成手段1503とから構成される。
【0165】
画像の明るさ算出手段1600は、第1のA/D変換器1413に接続された第1の明るさ算出手段1601、第2のA/D変換器1423に接続された第2の明るさ算出手段1602、第3のA/D変換器1433に接続された第3の明るさ算出手段1603、および、第4のA/D変換器1443に接続された第4の明るさ算出手段1604とから構成される。
【0166】
さらに、画像表示手段1700は、D/A変換器1701、エンコーダ1702、およびモニタ1703とから構成される。
【0167】
本実施例における車両用周辺監視装置は、図10(a)に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、リアカメラ1411で撮像した画像630、または、図10(b)に示すように、車両周辺360°の情報を1枚の画像に合成した合成画像700と、フロントカメラ1441で撮像した画像600を、1枚の画像に合成してモニタ1703に表示する構成になっている。
【0168】
ここで、合成画像700は、フロントカメラ1411で撮像された画像600を上空の仮想視点Vから俯瞰した画像710と、左サイドカメラ1421で撮像された画像610を上空の仮想視点Vから俯瞰した画像720と、右サイドカメラ1431で撮像された画像620を上空の仮想視点Vから俯瞰した画像730と、リアカメラ1441で撮像された画像630を上空の仮想視点Vから俯瞰した画像740と、車両を上空の仮想視点Vから俯瞰した仮想画像750を1枚の画像に合成したものである。
【0169】
なお、本実施例の構成は、車両の4方向を観測する構成になっているが、観測方向の数はこの限りではなく、より多数の方向を観測するようにしてもよい。なお、その場合でも、本実施例と同様の作用で本発明を実施することができる。
【0170】
次に、本実施例に係る車両用周辺監視装置の作用について、図15のフローチャートを参照して説明する。
【0171】
フロントカメラ1411、左サイドカメラ1421、右サイドカメラ1431、リアカメラ1441は、隣り合ったカメラ(フロントカメラ1411と左サイドカメラ1421、フロントカメラ1411と右サイドカメラ1431、左サイドカメラ1421とリアカメラ1441、右サイドカメラ1431とリアカメラ1441)の撮像範囲が一部重複するレイアウトで、車両に取り付けられている。
【0172】
起動・終了指示検出手段1800にて、シフトポジションが後退位置にあること、もしくは、シフトポジションが前進位置にあって、かつ車速が所定値以下であることのどちらか一方であることが検出されると(図15のS2、S3、S4)、座標変換手段1501でトリガ信号が発生し、このトリガ信号が、第1のデコーダおよび明るさ補正手段1412、第1のA/D変換器1413、第2のデコーダおよび明るさ補正手段1422、第2のA/D変換器1423、第3のデコーダおよび明るさ補正手段1432、第3のA/D変換器1433、第4のデコーダおよび明るさ補正手段1442、第4のA/D変換器1443に入力される。
【0173】
前記トリガ信号を受けると、フロントカメラ1411、左サイドカメラ1421、右サイドカメラ1431、リアカメラ1441から、同時に画像入力が行われる(図15のS7)。
【0174】
フロントカメラ1411から入力された画像は、第1のデコーダおよび明るさ補正手段1412にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第1のA/D変換器1413でデジタル信号に変換され、画像600が生成される(図15のS10)。同様にして、左サイドカメラ1421から入力された画像は、第2のデコーダおよび明るさ補正手段1422にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第2のA/D変換器1423でデジタル信号に変換され、画像610が生成される(図15のS10)。右サイドカメラ1431から入力された画像は、第3のデコーダおよび明るさ補正手段1432にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第3のA/D変換器1433でデジタル信号に変換され、画像620が生成される(図15のS10)。リアカメラ1441から入力された画像は、第4のデコーダおよび明るさ補正手段1442にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、さらに、変換されたコンポーネント信号のうち輝度信号は、第4のA/D変換器1443でデジタル信号に変換され、画像630が生成される(図15のS10)。
【0175】
なお、ここで、コンポジット信号からコンポーネント信号に信号変換するのと同時に、入力された画像の明るさの補正を行う(図9のS9)が、画像の明るさを補正する補正量が算出できていないため、車両用周辺監視装置起動後の最初の画像入力時には、この明るさ補正は行われない。
【0176】
次に、撮像手段選択手段1900にて、モニタ1103に出力する画像として、図10(a)、(b)の画像の右側の領域に、車両後方を撮像した画像630を表示するか、または、車両前方を撮像した画像600を表示するかを決定する。
【0177】
これは、起動・終了指示検出手段1800にて、シフトポジションの位置と車速をモニタし、その結果に基づいて判断される。
【0178】
すなわち、シフトポジションが後退位置にあったら、図10の画像の右側の領域には、図10(a)のように車両の後方を撮像した画像630を表示する。また、シフトポジションが前進位置にあり、かつ、車速が所定値以下であったら、図10の画像の右側の領域には、図10(b)のように車両の前方を撮像した画像600を表示する。ここで、画像630を表示すると判断された場合、リアカメラ1441が選択され(図15のS6)、画像600を表示すると判断された場合、フロントカメラ1411が選択され(図15のS5)、どちらのカメラが選択されるかによって、後述する明るさ補正処理の手順が異なる。
【0179】
はじめに、撮像手段選択手段1900にてリアカメラ1441が選択された場合の動作を説明する。
【0180】
まず、第4の明るさ算出手段1604によって、図12(b)、(c)、(d)、(e)に示すように、画像600、画像610、画像620、および画像630の中に、予め決めておいた所定位置に所定サイズで設定された、領域601の中の全ての画素値の平均値Ia_ave、領域602の全ての画素値の平均値Ib_ave、領域611の全ての画素値の平均値Ic_ave、領域612の全ての画素値の平均値Id_ave、領域621の全ての画素値の平均値Ie_ave、領域622の全ての画素値の平均値If_ave、領域631の全ての画素値の平均値Ig_ave、領域632の全ての画素値の平均値Ih_aveをそれぞれ算出する。
【0181】
ここで、領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632は、図12(a)に示すように、画像600、画像610、画像620、および画像630を、それぞれ、上空の仮想視点Vから俯瞰した画像710、画像720、画像730、画像740に変換したとき、隣り合ったカメラの撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域711、矩形領域712、矩形領域721、矩形領域722、矩形領域731、矩形領域732、矩形領域741、矩形領域742にそれぞれ変換される領域とする。
【0182】
これらの領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632の位置は、予め計算で求めておくことができる。予め計算した領域の位置のうち、領域601と領域602の位置は、第1の明るさ算出手段1601に記憶し、領域611と領域612の位置は、第2の明るさ算出手段1602に記憶し、領域621と領域622の位置は、第3の明るさ算出手段1603に記憶し、領域631と領域632の位置は、第4の明るさ算出手段1604に、予め記憶しておく。
【0183】
さらに、算出された、各領域の全画素値の平均値Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveのうち、Ia_ave、Ib_ave、Ic_ave、Ie_aveは、第1のデコーダおよび明るさ補正手段1412に記憶し、Id_ave、Ig_aveは、第2のデコーダおよび明るさ補正手段1422に記憶し、If_ave、Ih_aveは、第3のデコーダおよび明るさ補正手段1432に記憶しておく。
【0184】
なお、画像630に対しては、明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段1442には、w=0が記憶される。
【0185】
図15のS7で生成された画像600、画像610、画像620、画像630は、座標変換手段1501によって座標変換され、上空の仮想視点Vから見下ろした画像に変換される(図15のS12)。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点の位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル1502を作成しておき、この座標変換テーブル1502に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0186】
前記座標変換によって、フロントカメラ1411で撮像された画像600が画像710に変換され、左サイドカメラ1421で撮像された画像610が画像720に変換され、右サイドカメラ1431で撮像された画像620が画像730に変換され、リアカメラ1441で撮像された画像630が画像740に変換される。変換された結果は、画像合成手段1503によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した仮想画像750が合成され、合成画像700が生成される。さらに、リアカメラ1441で撮像した画像630と合成して、図10(a)に示す1枚の画像が作成される(図15のS13)。
【0187】
合成された画像は、D/A変換部1701にてコンポーネント信号に再構成され(図15のS14)、さらにエンコーダ1702でコンポジット信号に変換されて(図15のS15)、モニタ1703に表示される(図15のS16)。
【0188】
起動・終了指示検出手段1800にて、シフトポジションが後退位置にあるか否かを検出する(図15のS17、S18)。もし、シフトポジションが後退位置以外であったら、モニタ1703の表示を解除する(図15のS20)。
【0189】
もし、シフトポジションが後退位置にあることが確認されると、図15のS7において、再度画像入力が行われる。
【0190】
左サイドカメラ1421で撮像された画像は、第2のデコーダおよび明るさ補正手段1422にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、その後、第2のデコーダおよび明るさ補正手段1422に記憶されたIg_aveとId_aveに基づいて、明るさの補正が行われる(図15のS9)。
【0191】
明るさの補正は、具体的には、第2のデコーダおよび明るさ補正手段1422における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’とし、以下の(式7)によって行う。
B2’=B2+(Ig_ave−Id_ave)×w (式7)
さらに、右サイドカメラ1431で撮像された画像は、第3のデコーダおよび明るさ補正手段1432にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、その後、第3のデコーダおよび明るさ補正手段1432に記憶されたIh_aveとIf_aveに基づいて、明るさの補正が行われる(図15のS9)。
【0192】
すなわち、第3のデコーダおよび明るさ補正手段1432における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とし、以下の(式8)によって明るさの補正が行われる。
B3’=B3+(Ih_ave−If_ave)×w (式8)
次に、フロントカメラ1411で撮像された画像の明るさ補正を行うが、この補正は、左サイドカメラ1421、および右サイドカメラ1431から入力された画像の明るさ補正の結果に基づいて行われる。すなわち、フロントカメラ1411で撮像された画像の明るさ補正は、ここでは行わず、次の画像入力のタイミングを待って行う。
【0193】
また、リアカメラ1441で撮像された画像については、明るさ補正を行わない。すなわち、第4のデコーダおよび明るさ補正手段1442における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とすると、B4’は、(式4)にて算出される。
【0194】
(式4)、(式7)および(式8)によって明るさが補正された画像は、第1のA/D変換器1413、第2のA/D変換器1423、第3のA/D変換器1433、第4のA/D変換器1443でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図9のS10)。
【0195】
このようにして得られた、明るさが補正された画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段1600にて、Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveが算出される。
【0196】
算出されたIa_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveのうち、Ia_ave、Ib_ave、Ic_ave、Ie_aveは、第1のデコーダおよび明るさ補正手段1412に記憶し、Id_ave、Ig_aveは、第2のデコーダおよび明るさ補正手段1422に記憶し、If_ave、Ih_aveは、第3のデコーダおよび明るさ補正手段1432に記憶しておく。
【0197】
なお、リアカメラから入力された画像に対しては、明るさ補正を行わないため、第4のデコーダおよび明るさ補正手段1442には、w=0が記憶される。
【0198】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ(図15のS12、S13)、合成された画像は、D/A変換された後エンコード処理してコンポジット信号に変換され、モニタ1103に出力される(図15のS14、S15、S16)。
【0199】
図15のS17、S18にて、シフトポジションが後退位置になっていることが確認されると、図15のS7にて、フロントカメラ1411、左サイドカメラ1421、右サイドカメラ1431、リアカメラ1441から、同時に画像入力が行われる。
【0200】
先述した一連の処理が再度繰り返され、明るさ算出手段1600にて、各画像の中の所定領域の明るさIa_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveの各値が算出され、これらの値が、先に説明した通り、所定のデコーダおよび明るさ補正手段に記憶された後、リアカメラ1441で撮像した画像の明るさに基づいて、左サイドカメラ1421で撮像した画像の明るさと、右サイドカメラ1431で撮像した画像の明るさがそれぞれ補正される。
【0201】
さらに、第1のデコーダおよび明るさ補正手段1412に記憶されたIa_ave、Ib_ave、Ic_ave、Ie_aveの値を用いて、フロントカメラ1411で撮像した画像の明るさ補正が行われる。ここでは、第1のデコーダおよび明るさ補正手段1412における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とし、(式9)によって明るさの補正が行われる。
B1’=B1+((Ic_ave+Ie_ave)/2−(Ia_ave+Ib_ave)/2)×w (式9)
以降、明るさ補正された画像に対して、座標変換・合成処理が施され、さらに、D/A変換、エンコード処理され、その結果がモニタ1703に出力される。
【0202】
シフトポジションが後退位置になっていることが確認されると、次の画像入力が行われ、その後、(式4)、(式7)、(式8)、(式9)による明るさ補正が実行される。以下、シフトポジションが後退位置に入っている限り、上記説明の一連の処理が繰り返される。
【0203】
次に、撮像手段選択手段1900にてフロントカメラ1411が選択された場合の動作を説明する。
【0204】
まず、第1の明るさ算出手段1601によって、図12(b)、(c)、(d)、(e)に示すように、画像600、画像610、画像620、画像630の中に、予め決めておいた所定位置に所定サイズで設定された領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632の中の全ての画素値の平均値Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveをそれぞれ算出する(図15のS11)。
【0205】
ここで、領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632は、図12(a)に示すように、画像600、画像610、画像620、画像630を、上空の仮想視点Vから見下ろした画像710、画像720、画像730、画像740に変換したとき、隣り合ったカメラの撮像範囲が重複した位置、もしくはその近傍にある横A、縦Bの広さを有する矩形領域711、矩形領域712、矩形領域721、矩形領域722、矩形領域731、矩形領域732、矩形領域741、矩形領域742にそれぞれ変換される領域とする。
【0206】
これらの領域601、領域602、領域611、領域612、領域621、領域622、領域631、領域632の位置は、予め計算で求めておくことができる。計算された領域の位置のうち、領域601と領域602の位置は、第1の明るさ算出手段1601に記憶し、領域611と領域612の位置は、第2の明るさ算出手段1602に記憶し、領域621と領域622の位置は、第3の明るさ算出手段1603に記憶し、領域631と領域632の位置は、第4の明るさ算出手段D1604に予め記憶しておく。
【0207】
さらに、算出された、Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveの各値のうち、Id_ave、If_ave、Ig_ave、Ih_aveは、第4のデコーダおよび明るさ補正手段1442に記憶し、Ia_ave、Ic_aveは、第2のデコーダおよび明るさ補正手段1422に記憶し、Ib_ave、Ie_aveは、第3のデコーダおよび明るさ補正手段1432に記憶しておく。
【0208】
なお、フロントカメラ1411で撮像された画像に対しては、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段1412には、w=0が記憶される。
【0209】
図15のS7で生成された画像600、画像610、画像620、画像630は、座標変換手段1501によって座標変換され、上空の仮想視点Vから見下ろした画像に変換される(図15のS12)。この座標変換処理は、予め、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点の位置や観測範囲等のパラメータに基づいて座標変換テーブル1502を作成しておき、この座標変換テーブル1502に基づいて、入力された画像の座標の置き換えを行うことによって実行される。
【0210】
前記座標変換によって、画像600が画像710に変換され、画像610が画像720に変換され、画像620が画像730に変換され、画像630が画像740に変換される。変換された結果は、画像合成手段1503によって1枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Vから俯瞰した仮想画像750が合成され、合成画像700が生成される。さらに、画像600と合成して、図10(b)に示す1枚の画像が作成される(図15のS13)。
【0211】
合成された画像は、D/A変換部1701にてコンポーネント信号に再構成され(図15のS14)、さらにエンコーダ1702でコンポジット信号に変換されて(図15のS15)、モニタ1703に表示される(図15のS16)。
【0212】
起動・終了指示検出手段1800にて、フロントカメラ1411が選択された状態にあり、なおかつ、車速が所定値以下であることを判定する(図15のS17、S18)。もし、条件に合致しないときは、モニタ1703の表示を解除する(図15のS21)。
【0213】
一方、条件に合致していると判定されたときは、図15のS7において、再度画像入力が行われる。
【0214】
図15のS7にて、再度画像入力が行われた後、左サイドカメラ1421で撮像された画像は、第2のデコーダおよび明るさ補正手段1422にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、その後、第2のデコーダおよび明るさ補正手段1422に記憶された、Ia_aveとIc_aveに基づいて、明るさの補正が行われる(図15のS9)。
【0215】
明るさの補正は、具体的には、第2のデコーダおよび明るさ補正手段1422における現在の設定ブライトネス値をB2、明るさ補正によって新たに設定されたブライトネス値をB2’とし、以下の(式10)によって行う。
B2’=B2+(Ia_ave−Ic_ave)×w (式10)
さらに、右サイドカメラ1431で撮像された画像は、第3のデコーダおよび明るさ補正手段1432にて、コンポジット信号からコンポーネント信号に変換され(図15のS8)、その後、第3のデコーダおよび明るさ補正手段1432に記憶された、Ib_aveと、Ie_aveに基づいて、明るさの補正が行われる(図15のS9)。
【0216】
すなわち、第3のデコーダおよび明るさ補正手段1432における現在の設定ブライトネス値をB3、明るさ補正によって新たに設定されたブライトネス値をB3’とし、(式11)によって、明るさの補正が行われる。
B3’=B3+(Ib_ave−Ie_ave)×w (式11)
次に、リアカメラ1441で撮像した画像の明るさ補正を行うが、この補正は、左サイドカメラ1421、および右サイドカメラ1431から入力された画像の明るさ補正の結果に基づいて行われる。すなわち、リアカメラ1441で撮像した画像の明るさ補正は、ここでは行わず、次の画像入力のタイミングを待って行う。
【0217】
また、フロントカメラ1411で撮像された画像については、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段1412における現在の設定ブライトネス値をB1、明るさ補正によって新たに設定されたブライトネス値をB1’とすると、B1’は(式6)にて算出される。
【0218】
(式6)、(式10)および(式11)によって明るさが補正された画像は、第1のA/D変換器1413、第2のA/D変換器1423、第3のA/D変換器1433、第4のA/D変換器1443でデジタル信号に変換され、明るさが補正された新たな画像600、画像610、画像620、画像630が生成される(図9のS10)。
【0219】
このようにして、明るさが補正された画像600、画像610、画像620、画像630に対し、再び画像の明るさ算出手段1600にて、Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveが算出される。
【0220】
算出されたIa_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveのうち、Id_ave、If_ave、Ig_ave、Ih_aveは、第4のデコーダおよび明るさ補正手段1442に記憶し、Ia_ave、Ic_aveは、第2のデコーダおよび明るさ補正手段1422に記憶し、Ib_ave、Ie_aveは、第3のデコーダおよび明るさ補正手段1432に記憶しておく。
【0221】
なお、画像600に対しては、明るさ補正を行わないため、第1のデコーダおよび明るさ補正手段1412には、w=0が記憶される。
【0222】
続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ(図15のS12、S13)、合成された画像は、D/A変換された後エンコード処理してコンポジット信号に変換され、モニタ1103に出力される(図15のS14、S15、S16)。
【0223】
図15のS17、S18にて、フロントカメラ1411が選択された状態になっていて、かつ車速が所定値以下であることが確認されると、図15のS7にて、フロントカメラ1411、左サイドカメラ1421、右サイドカメラ1431、リアカメラ1441から、同時に画像入力が行われる。
【0224】
先述した一連の処理が再度繰り返され、明るさ算出手段1600にて、各画像の中の所定領域の明るさIa_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_aveの各値が算出され、これらの値が、所定のデコーダおよび明るさ補正手段に記憶された後、フロントカメラ1411で撮像された画像の明るさに基づいて、左サイドカメラ1421で撮像された画像の明るさと、右サイドカメラ1431で撮像された画像の明るさがそれぞれ補正される。
【0225】
さらに、第4のデコーダおよび明るさ補正手段1442に記憶されたIId_ave、If_ave、Ig_ave、Ih_aveの値を用いて、リアカメラ1441で撮像された画像の明るさ補正が行われる。ここでは、第4のデコーダおよび明るさ補正手段1442における現在の設定ブライトネス値をB4、明るさ補正によって新たに設定されたブライトネス値をB4’とし、(式12)によって明るさの補正が行われる。
B4’=B4+((Id_ave+If_ave)/2−(Ig_ave+Ih_ave)/2)×w (式12)
以降、明るさ補正された画像に対して、座標変換・合成処理が施され、さらに、D/A変換、エンコード処理され、その結果がモニタ1703に出力される。
【0226】
フロントカメラ1411が選択された状態で、かつ車速が所定値以下であることが確認されると、次の画像入力が行われ、その後、(式6)、(式10)、(式11)、(式12)による明るさ補正が実行される。以下、車速が所定値以下である限り、上記説明の一連の処理が繰り返され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。
【0227】
このように構成された本実施形態に係る車両用周辺監視装置によれば、撮像範囲の一部が重複する2つの画像の重複撮像範囲、もしくはその近傍の明るさが等しくなるような明るさ補正を行うとともに、基準になる画像の明るさに基づいて、その画像と重複する範囲を撮像した別の画像の明るさを再帰的に補正することが可能なため、多くの画像を1枚の画像に合成して表示する車両用周辺監視装置において、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。
【0228】
さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うため、明るさ補正を短時間で実行することができる。
【0229】
なお、上述した本実施例の車両用周辺監視装置の作用は、本発明に係る車両用周辺画像表示方法の実施形態に相当する。
【0230】
また、ここで、実施例3においては、複数の撮像手段1410の中から1つの撮像手段を選択する撮像手段選択手段1900を有する構成になっているが、この部分の構成は、この限りではなく、予め決めておいた、ある特定の撮像手段を1つ選択するようにしてもよい。
【符号の説明】
【0231】
110 撮像手段
111 フロントカメラ
112 第1のデコーダおよび明るさ補正手段
113 第1のA/D変換器
121 左サイドカメラ
122 第2のデコーダおよび明るさ補正手段
123 第2のA/D変換器
131 右サイドカメラ
132 第3のデコーダおよび明るさ補正手段
133 第3のA/D変換器
141 リアカメラ
142 第4のデコーダおよび明るさ補正手段
143 第4のA/D変換器
200 座標変換および画像合成手段
201 座標変換手段
202 座標変換テーブル
203 画像合成手段
300 画像の明るさ算出手段
301 第1の明るさ算出手段
302 第2の明るさ算出手段
303 第3の明るさ算出手段
304 第4の明るさ算出手段
400 画像表示手段
401 D/A変換器
402 エンコーダ
403 モニタ
500 起動・終了指示検出手段
【特許請求の範囲】
【請求項1】
車両に設置され、車両周辺を撮像する複数の撮像手段と、前記複数の撮像手段のうちいずれか1つの撮像手段で撮像された画像の中から、前記1つの撮像手段で撮像された画像の明るさに対応した値を算出する画像の明るさ算出手段と、前記画像の明るさ算出手段によって算出された値に基づいて、前記複数の撮像手段で得られた画像の明るさを補正する明るさ補正手段と、前記明るさ補正手段によって明るさが補正された画像に対して、所定の座標変換処理を施す画像変換手段と、前記座標変換処理が施された複数の画像を1つの画像に合成する画像合成手段と、前記画像合成手段によって合成された画像と前記いずれか1つの撮像手段で撮像された画像とを同時に表示する画像表示手段とを有することを特徴とする車両用周辺監視装置。
【請求項2】
請求項1記載の車両用周辺監視装置において、車両の進行方向を判定する進行方向判定手段と、前記進行方向判定手段の判定結果に基づいて、複数の撮像手段から1つの撮像手段を選択する撮像手段選択手段とを備え、
前記画像の明るさ算出手段は、前記撮像手段選択手段によって選択された1つの撮像手段で撮像した画像の中から画像の明るさに対応した値を算出するものであり、前記画像表示手段は、前記画像合成手段によって合成された画像と前記撮像手段選択手段によって選択された1つの撮像手段で撮像した画像とを同時に表示するものであることを特徴とする車両用周辺監視装置。
【請求項3】
請求項2記載の車両用周辺監視装置において、前記撮像手段選択手段は、その中の少なくとも2つの撮像手段で撮像される範囲が一部重複するように設置された3方向以上の方向を撮像する複数の撮像手段の中から第1の撮像手段を選択するものであり、
前記画像の明るさ算出手段は、前記選択された第1の撮像手段で撮像した画像、および、前記選択された第1の撮像手段と第1の重複する撮像範囲を有する第2の撮像手段で撮像した画像の、前記第1の重複する撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段は、前記算出された値に基づいて、前記第2の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段は、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の撮像手段によって撮像された画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段は、さらに、前記算出された別の値に基づいて、前記第3の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段は、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることを特徴とする車両用周辺監視装置。
【請求項4】
請求項1記載の車両用周辺監視装置において、前記画像の明るさ算出手段は、その中の少なくとも2つの撮像手段で撮像される範囲が一部重複するように設置された3方向以上の方向を撮像する複数の撮像手段の中の第1の撮像手段で撮像した画像、および、前記第1の撮像手段と第1の重複する撮像範囲を有する第2の撮像手段で撮像した画像の、前記第1の重複した撮像範囲、あるいは、前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段は、前記算出された値に基づいて、前記第2の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段は、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の撮像手段によって撮像された画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段は、さらに、前記算出された別の値に基づいて、前記第3の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段は、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることを特徴とする車両用周辺監視装置。
【請求項5】
複数の撮像手段で撮像された車両周辺の複数の画像を合成した画像と、前記複数の撮像手段の1つで撮像された画像を1つの表示画面に表示する車両用周辺画像表示方法において、前記複数の画像の中から、1つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換が施された複数の画像を1つの画像に合成し、前記合成された画像と前記1つの画像とを同時に表示することを特徴とする車両用周辺画像表示方法。
【請求項6】
請求項5記載の車両用周辺画像表示方法において、車両の進行方向を判定し、前記進行方向の判定結果に基づいて、車両周辺を撮像した複数の画像から1つの画像を選択し、前記選択された1つの画像の中から前記1つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換処理が施された複数の画像を1つの画像に合成し、前記合成された画像と前記選択された1つの画像とを同時に表示することを特徴とする車両用周辺画像表示方法。
【請求項7】
請求項6記載の車両用周辺画像表示方法において、その中の少なくとも2つの画像の撮像範囲が一部重複するように設置された3方向以上の方向を撮像した複数の画像の中から第1の画像を選択し、前記選択された第1の画像、および、前記選択された第1の画像と第1の重複する撮像範囲を有する第2の画像の、前記重複する第1の撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記第2の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第3の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すことを特徴とする車両用周辺画像表示方法。
【請求項8】
請求項5記載の車両用周辺画像表示方法において、その中の少なくとも2つの画像の撮像範囲が一部重複するように設置された3方向以上の方向を撮像した複数の画像の中の第1の画像と、前記第1の画像と第1の重複する撮像範囲を撮像した第2の画像の、前記第1の重複する撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記別の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の画像の中から、前記第2の重複する撮影範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第3の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すことを特徴とする車両用周辺画像表示方法。
【請求項1】
車両に設置され、車両周辺を撮像する複数の撮像手段と、前記複数の撮像手段のうちいずれか1つの撮像手段で撮像された画像の中から、前記1つの撮像手段で撮像された画像の明るさに対応した値を算出する画像の明るさ算出手段と、前記画像の明るさ算出手段によって算出された値に基づいて、前記複数の撮像手段で得られた画像の明るさを補正する明るさ補正手段と、前記明るさ補正手段によって明るさが補正された画像に対して、所定の座標変換処理を施す画像変換手段と、前記座標変換処理が施された複数の画像を1つの画像に合成する画像合成手段と、前記画像合成手段によって合成された画像と前記いずれか1つの撮像手段で撮像された画像とを同時に表示する画像表示手段とを有することを特徴とする車両用周辺監視装置。
【請求項2】
請求項1記載の車両用周辺監視装置において、車両の進行方向を判定する進行方向判定手段と、前記進行方向判定手段の判定結果に基づいて、複数の撮像手段から1つの撮像手段を選択する撮像手段選択手段とを備え、
前記画像の明るさ算出手段は、前記撮像手段選択手段によって選択された1つの撮像手段で撮像した画像の中から画像の明るさに対応した値を算出するものであり、前記画像表示手段は、前記画像合成手段によって合成された画像と前記撮像手段選択手段によって選択された1つの撮像手段で撮像した画像とを同時に表示するものであることを特徴とする車両用周辺監視装置。
【請求項3】
請求項2記載の車両用周辺監視装置において、前記撮像手段選択手段は、その中の少なくとも2つの撮像手段で撮像される範囲が一部重複するように設置された3方向以上の方向を撮像する複数の撮像手段の中から第1の撮像手段を選択するものであり、
前記画像の明るさ算出手段は、前記選択された第1の撮像手段で撮像した画像、および、前記選択された第1の撮像手段と第1の重複する撮像範囲を有する第2の撮像手段で撮像した画像の、前記第1の重複する撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段は、前記算出された値に基づいて、前記第2の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段は、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の撮像手段によって撮像された画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段は、さらに、前記算出された別の値に基づいて、前記第3の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段は、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることを特徴とする車両用周辺監視装置。
【請求項4】
請求項1記載の車両用周辺監視装置において、前記画像の明るさ算出手段は、その中の少なくとも2つの撮像手段で撮像される範囲が一部重複するように設置された3方向以上の方向を撮像する複数の撮像手段の中の第1の撮像手段で撮像した画像、および、前記第1の撮像手段と第1の重複する撮像範囲を有する第2の撮像手段で撮像した画像の、前記第1の重複した撮像範囲、あるいは、前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段は、前記算出された値に基づいて、前記第2の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段は、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の撮像手段によって撮像された画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段は、さらに、前記算出された別の値に基づいて、前記第3の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段は、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることを特徴とする車両用周辺監視装置。
【請求項5】
複数の撮像手段で撮像された車両周辺の複数の画像を合成した画像と、前記複数の撮像手段の1つで撮像された画像を1つの表示画面に表示する車両用周辺画像表示方法において、前記複数の画像の中から、1つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換が施された複数の画像を1つの画像に合成し、前記合成された画像と前記1つの画像とを同時に表示することを特徴とする車両用周辺画像表示方法。
【請求項6】
請求項5記載の車両用周辺画像表示方法において、車両の進行方向を判定し、前記進行方向の判定結果に基づいて、車両周辺を撮像した複数の画像から1つの画像を選択し、前記選択された1つの画像の中から前記1つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換処理が施された複数の画像を1つの画像に合成し、前記合成された画像と前記選択された1つの画像とを同時に表示することを特徴とする車両用周辺画像表示方法。
【請求項7】
請求項6記載の車両用周辺画像表示方法において、その中の少なくとも2つの画像の撮像範囲が一部重複するように設置された3方向以上の方向を撮像した複数の画像の中から第1の画像を選択し、前記選択された第1の画像、および、前記選択された第1の画像と第1の重複する撮像範囲を有する第2の画像の、前記重複する第1の撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記第2の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の画像の中から、前記第2の重複する撮像範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第3の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すことを特徴とする車両用周辺画像表示方法。
【請求項8】
請求項5記載の車両用周辺画像表示方法において、その中の少なくとも2つの画像の撮像範囲が一部重複するように設置された3方向以上の方向を撮像した複数の画像の中の第1の画像と、前記第1の画像と第1の重複する撮像範囲を撮像した第2の画像の、前記第1の重複する撮像範囲、あるいは前記第1の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記別の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第2の重複する撮像範囲を有する第3の画像の中から、前記第2の重複する撮影範囲、あるいは、前記第2の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第3の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すことを特徴とする車両用周辺画像表示方法。
【図15】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2011−30141(P2011−30141A)
【公開日】平成23年2月10日(2011.2.10)
【国際特許分類】
【出願番号】特願2009−176308(P2009−176308)
【出願日】平成21年7月29日(2009.7.29)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】
【公開日】平成23年2月10日(2011.2.10)
【国際特許分類】
【出願日】平成21年7月29日(2009.7.29)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】
[ Back to top ]