車両周辺視認装置

【課題】画質改善処理を行うためのフィルタ処理方法を、処理を行う画面の位置に応じて適切に設定することにより、変換時に画質劣化が激しい車両遠方の画像に強いフィルタ効果を、画質劣化が少ない車両近くの画像に弱いフィルタ効果をかける。
【解決手段】撮像部１００で撮像した映像がマッピングテーブル記憶部５００に記憶されたマッピングテーブルに基づき映像変換処理部３００で視点変換映像に変換される。また、映像変換処理部３００は、マッピングテーブルに基づき視点変換画像の画素値の変化を検出し、変化が大きい場合は暈し効果の強いフィルタ処理を、変化が小さい場合は暈し効果の弱いフィルタ処理を行う。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部により撮像される車両周辺の映像の画質を改善するフィルタが設けられた車両周辺視認装置に関するものである。
【背景技術】
【０００２】
一般に、運転初心者やトラック等の後方視界が悪い車両の運転者にとって、駐車エリアへの車両進入は困難を伴うものである。そこで、トランク先端の車幅方向中央部やナンバープレート照明位置などの車両後端にカメラを設定し、このカメラで撮像された映像をナビゲーション等のモニターに映し出すことにより、安全に駐車エリアへの車両誘導が実現できるようにしたものが知られている（特許文献１）。
【０００３】
このカメラとしては通常広角カメラを使用しており、この広角カメラで駐車場の駐車スペースを撮像した場合、例えば図９（ａ）のような駐車場の映像ＩＭＧ１が得られる。
【０００４】
この図９（ａ）では、実際には平行な縦ラインＬ１、Ｒ１とこれらに垂直な横ラインＨ１とで設定された駐車スペースＮＯ．３に車両が駐車するための映像ＩＭＧ１が得られている。
しかし、このような広角カメラのレンズは周縁部に向かうに従ってレンズ歪が大きくなるものであった。しかも、この広角カメラによる映像ＩＭＧ１は低い取り付け位置の映像であるために、運転者は車両と周囲の位置関係を正確に把握し難いものであった。このため、映像ＩＭＧ１では、実際には平行な縦ラインＬ１、Ｒ１が、広角カメラで撮像された映像では車両後端部から離れるに従って間隔が狭くなると共に、遠方側ではレンズの歪曲収差のために極端に湾曲するような画像となっていた。
【０００５】
そこで、このカメラによる視認機能を発展させたものとして、前記特許文献１では、図９（ｂ）に示すように図９（ａ）のような映像を視点変換して、図９（ａ）の縦ラインＬ１、Ｒ１が図９（ｂ）の縦ラインＴＬ１、ＴＬ２のように平行となる映像ＴＩＭＧ１とすることにより上記の問題点を解決するようにしている。この視点変換処理では、図１０に示すように、変換前のある画素の座標（ｘ、ｙ）をあらかじめ設定した変換ルールに従った座標（ｕ、ｖ）に置き換える処理が行われる。すなわち、この変換ルールを関数Ｍとすると、（ｕ、ｖ）＝Ｍ（ｘ、ｙ）の関係となる。ここで、この関数Ｍは、カメラの取り付け位置座標、取り付け角度、撮像範囲、撮像画素数、視点変換を行う位置に仮想した仮想カメラの位置座標、取り付け角度、撮像画素数等のパラメータに基づいて、公知の技術で算出することができる。
また、画素の座標の置き換えとともに、広角カメラで撮像された映像の手前の映像部は等倍あるいは縮小して、奥の映像部は拡大するような画像処理をしている。
【０００６】
ところで、例えば、図１１（ａ）のように広角カメラで撮像された映像ＩＭＧ２の中に多数個の円ＣＬ１〜ＣＬ４からなる円列ＣＬ、多数個の円ＣＭ１〜ＣＭ４からなる円列ＣＭ、多数個の円ＣＲ１〜ＣＲ４からなる円列ＣＲの映像が得られたとする。この図１１（ａ）の映像ＩＭＧ２では、円列ＣＬ、ＣＭ、ＣＲが平行且つ円ＣＬ１〜ＣＬ４、円ＣＭ１〜ＣＭ４、円ＣＲ１〜ＣＲ４は、それぞれ同じ直径で且つ真円の画像として得られているものとする。
【０００７】
これを図９（ｂ）と同様に視点変換処理を行ったとき、図１１（ａ）の円列ＣＬ、ＣＭ、ＣＲは図１１（ｂ）の映像ＴＩＭＧ２となる。この図１１（ｂ）に示したような映像ＴＩＭＧ２の円列ＴＣＬ、ＴＣＭ、ＴＣＲでは、円ＣＬ１〜ＣＬ４、円ＣＭ１〜ＣＭ４、円ＣＲ１〜ＣＲ４は映像ＴＩＭＧ２の下部では縮小された円となり、映像ＴＩＭＧ２の上部では大きな楕円となる。即ち、円列ＴＣＬ、ＴＣＭ、ＴＣＲにおいては下部から上部に向かうに従って徐々に楕円が細長くなると共に大きくなり、且つ円列ＴＣＬの円ＴＣＬ１〜ＴＣＬ４、円列ＴＣＭの円ＴＣＭ１〜ＴＣＭ４、円列ＴＣＲの円ＴＣＲ１〜ＴＣＲ４の間隔が大きくなる。
【０００８】
このような映像の拡大は、元の映像ＩＭＧ２の画素を再配置すると共に、これらの間に元の映像にはない新たな画素（補間画素）を作り出す補間処理操作が必要となる。この手法として一般に
（ア）ニアレストネイバー法（最近傍補間法）
（イ）バイリニア法（線形補間法）
（ウ）バイキュービック法（スプライン補間法）
等の補間処理技術が知られている。
【０００９】
このような補間処理技術の中でハードを中心として装置を構成した場合には、（ア）のニアレストネイバー法が使われている場合が多い。これは、補間画素として最も近い位置に配置された元画素と同じ値を用いるものである。図１２は、このニアレストネイバー法による処理の例を示したものである。この図１２（ａ）は図１１（ａ）の右上の円ＣＲ４を示し、図１２（ｂ）は図１１（ａ）の右上の円ＣＲ４を補間処理して得られた図１１（ｂ）の右上の楕円ＴＣＲ４の一部を拡大して示したものである。
【００１０】
また、ソフトウェアで処理を行う場合には、（イ）のバイリニア法が使われる場合も多い。これは、補間画素として最も近い位置に配置された上下・左右の４つの元画素から、線形的に値を補間するものである。
尚、（ウ）のバイキュービック法を用いた俯瞰処理は最も画像劣化が少ない手法であるが、三次多項式の演算処理になるために、俯瞰処理に時間が掛かり、適用例は少ない。このバイキュービック法の画質向上の考え方は（イ）のバイリニア法と同様である。
【特許文献１】特開２００５−３１１６６６公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、ニアレストネイバー法を用いた場合の映像の視点変換結果は、図１２（ｂ）に示したように画像変化が楕円ＴＣＲ４のように大きくなると、周縁のギザギザ感が目立つような状態となる。このギザギザ感は画像全体の画質を低下させるものであった。
【００１２】
このために、実際の装置の場合には、ニアレストネイバー法を使った場合にはギザギザ感を低減させる暈し効果を得るフィルタ処理（低域通過フィルタ）を視点変換処理部の後段に用いて、画質の改善が図られることが多い。
【００１３】
しかし、暈し効果を得るフィルタ処理を画像全体に用いた場合、遠方の映像のギザギザ間を低減させるためにフィルタ処理の効果を強く設定すると、運転操作の補助映像として重要な車両近傍の映像までもが強い暈し効果により不鮮明となってしまい、認識のしにくい映像になってしまう、という問題点がある。
【００１４】
そこで、フィルタ処理の効果の強さを映像の位置に応じて適切に設定し、視点変換時に画質劣化が激しい車両遠方の映像には効果の強いフィルタ処理を、画質劣化が少ない車両近くの映像には効果の弱いフィルタ処理を行うことで、重要な情報を含む車両近辺の映像の画質の劣化を最小限に抑えながら、車両遠方の映像の画質劣化を改善する方法が考えられる。
ところで、視点変換におけるギザギザ感の程度は、視点変換の角度に応じて異なる。したがって、前述したフィルタ処理の効果の程度も、視点変換の角度毎に適切な処理を行うことが望ましい。ここで、フィルタ処理は各画素毎に行うため、各画素毎にフィルタ処理方法（強さ）を記憶する必要があり、大きな記憶容量を必要とする。特に角度の異なる視点変換を行うアプリケーションを車両が備えている場合は、角度の異なる視点変換毎にフィルタ処理方法を記憶する必要が生じて記憶容量が増大する。このため、大きな記憶容量を備えたメモリ素子が必要となり、装置の大型化やコストアップを招いてしまう、という問題点がある。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、請求項１に記載の発明は、車両周辺を撮像可能に車両に取り付けられた撮像部と、前記撮像部により撮像された映像を視点変換処理して俯瞰映像とする視点変換処理部と、前記映像変換処理部により前記視点変換処理された前記俯瞰映像をフィルタ処理するフィルタ処理部と、前記フィルタ処理部により前記フィルタ処理された前記俯瞰映像を表示する表示部と、を備える車両周辺視認装置であって、前記フィルタ処理部は、前記俯瞰映像の画素に対する前記フィルタ処理の強さを、前記車両近傍から前記車両遠方に向かうに従って順次強くなるように、隣接する前記画素の画素値の変化に基づいて自動的に設定することを特徴としている。
【００１６】
また、請求項２に記載の発明は、請求項１において、前記フィルタ処理部は、前記俯瞰画像を暈すフィルタ処理を行うことを特徴としている。
【００１７】
また、請求項３に記載の発明は、請求項１または２において、前記フィルタ処理部は、前記俯瞰画像の水平方向と垂直方向の少なくとも一方向において、隣接する前記画素の前記画素値の変化を検出し、前記画素値の変化が小さいほど前記フィルタ処理の強さを強くすることを特徴としている。
上記構成によれば、視点変換時に画質劣化が激しい車両遠方の画像には効果の強いフィルタ処理を、画質劣化が少ない車両近くの画像には効果の弱いフィルタ処理を行う。これにより、重要な情報を含む車両近辺の映像の画質の劣化を最小限に抑えながら、車両遠方の映像の画質劣化を改善し、最適な画像品質を実現することができる。
また、フィルタ処理の強さは隣接する画素の画素値の変化に基づいて自動的に設定されるため、視点変換の角度に応じたフィルタ処理方法を各画素毎に全て記憶しておく必要がなく、記憶容量を低減することができ、装置の大型化やコストアップを抑制することができる。
【００１８】
また、請求項４に記載の発明は、請求項１または２において、前記視点変換処理は、前記視点変換処理前後の前記画素の対応関係を表すマッピングデータを格納したマッピンングテーブルに基づいて行われ、前記フィルタ処理部は、前記マッピンングテーブルの水平方向と垂直方向の少なくとも一方向において、隣接する前記マッピングデータの変化に基づき前記画素値の変化を検出し、前記画素値の変化が小さいほど前記フィルタ処理の強さを強くすることを特徴としている。
上記構成によれば、視点変換処理に用いるマッピングデータに基づいて、フィルタ処理の強さを簡単に設定することができる。
【発明の効果】
【００１９】
画質改善処理を行うためのフィルタ処理方法を、フィルタ処理を行う画素の位置に応じて適切に設定することにより、視点変換時に画質劣化が激しい車両遠方の画像には効果の強いフィルタ処理を、画質劣化が少ない車両近くの画像には効果の弱いフィルタ処理を行う。これにより、重要な情報を含む車両近辺の映像の画質の劣化を最小限に抑えながら、車両遠方の映像の画質劣化を改善し、最適な画像品質を実現することができる。また、フィルタ処理方法は視点変換映像の画素値の変化に基づいて自動的に設定されるため、視点変換の角度に応じたフィルタ処理方法を各画素毎に全て記憶しておく必要がなく、記憶容量を低減することができ、装置の大型化やコストアップを抑制することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施形態を図面に従って説明する。
【００２１】
図１に本発明の実施形態のブロック図を示す。
【００２２】
車両周辺視認装置は、撮像部１００、映像信号デコーダ２００、映像変換処理部３００、映像記憶部４００、マッピングテーブル記憶部５００、フィルタテーブル記憶部６００、映像信号エンコーダ７００、表示部８００を備えている。ここで、映像変換処理部３００、映像記憶部４００、マッピングテーブル記憶部５００が視点変換処理部３１０を構成する。また、映像変換処理部３００、映像記憶部４００、フィルタテーブル記憶部６００がフィルタ処理部３２０を構成する。
【００２３】
撮像部１００は、いわゆるＣＣＤ素子、またはＣＭＯＳ素子を用いた小型カメラであり、車両に取り付けられて車両の周囲を撮像し、映像信号デコーダ２００に映像を出力する。取り付け位置は用途や車両の種類によって変わるが、本実施形態ではワンボックス車におけるリアビューカメラを例として、図１に示すようにルーフスポイラーの車幅方向略中央部分に取り付けられ、車両後方を撮像するものとする。
【００２４】
映像信号デコーダ２００は、以降の映像変換処理を行うために映像信号から同期信号を分離し、映像変換処理部３００に出力する。
【００２５】
マッピングテーブル記憶部５００には、映像変換処理部３００において視点変換処理を行うための視点変換前後の画素の座標の対応関係が定義されたマッピングデータが格納されたマッピングテーブルＭＴがあらかじめ記憶されている。
【００２６】
映像変換処理部３００は、映像信号デコーダ２００から受け取った映像を映像記憶部４００に出力して映像を一時的に記憶させ、マッピングテーブル記憶部５００を参照し、マッピングテーブルに応じた画素の画素値を映像記憶部４００から順次読み出して画素の座標変換を行い、視点変換映像(俯瞰映像)を生成する。
【００２７】
次に、視点変換映像の垂直方向と水平方向の少なくとも一方向において、隣接する画素の画素値の変化またはマッピングデータの変化を調べる。ここでは変化量ではなく、変化の有無を検出すればよい。ここで、マッピングデータは変換前の画素の座標であり、変換前の画素を特定することになるため、隣接する画素のマッピングデータの変化の有無を調べることは画素値の変化の有無を調べることと同等となる。そして、変化の有無の程度に応じて各画素に施すフィルタ処理の効果（強度）を設定し（詳細は後述）、各画素毎にフィルタ処理方法をフィルタテーブル記憶部６００に記憶する。フィルタ処理方法は、隣接する画素値の変化の有無が少ない車両遠方の画像には効果の強いフィルタ処理方法が設定され、隣接する画素値の変化の有無が多い車両近くの画像には効果の弱いフィルタ処理方法が設定される。
【００２８】
そして、フィルタテーブル記憶部６００に記憶されたフィルタ処理方法を用いて、視点変換映像のフィルタ処理を行い、視点変換処理を行った際に重要な情報を含む車両近辺の映像の画質の劣化を最小限に抑えながら、車両遠方の映像の画質劣化を改善し、最適な画像品質を実現する。
【００２９】
映像信号エンコーダ７００は、視点変換処理とフィルタ処理を行った映像に映像信号デコーダ２００で分離した同期信号を加え、いわゆるＮＴＳＣ信号として表示部８００に出力する。
【００３０】
表示部８００は、映像信号エンコーダ７００から受け取った映像信号を表示する。
【００３１】
次に、フローチャートを用いて、動作の説明を行う。
【００３２】
図２に、フィルタ処理方法の設定についてのフローチャートを示す。
【００３３】
ステップＳ１０１では、映像変換処理部３００により、視点変換処理で用いるマッピングテーブルＭＴがマッピングテーブル記憶部５００から選択される。異なる位置の仮想カメラからの視点変換映像を得る場合、マッピングテーブルＭＴはそれぞれの仮想カメラ位置に対応したものが必要である。このため、異なる位置の仮想カメラからの視点変換映像を用いるアプリケーションが車載されている場合は、それぞれに応じた複数のマッピングテーブルＭＴがあらかじめ算出され、マッピングテーブル記憶部５００に記憶されおり、映像変換処理部３００はアプリケーション毎に各アプリケーションに応じたマッピングテーブルＭＴをマッピングテーブル記憶部５００から選択決定する。なお、視点変換映像を用いるアプリケーションが一つの場合は、本ステップは省略が可能である。
【００３４】
図３に示すように、マッピングテーブルＭＴは、視点変換後の各画素における画素値が、視点変換前のどの座標の画素値になるかの対応を表すものであり、視点変換前の画素の座標が記憶されている。例えば、図３（ａ）はあるマッピングテーブルの一部を抽出して示したものであるが、このうち視点変換後の左上の画素の画素値は、視点変換前の座標（ｎ、ｍ）の画素値となることを意味し、視点変換後の右上の画素の画素値は視点変換前の座標（ｎ＋１、ｍ）の画素値となることを意味している。また、図３（ｂ）では、視点変換後の左上の画素の画素値は、視点変換前の座標（ｎ、ｍ）の画素値となることを意味し、その右隣の画素の視点変換後の画素値も視点変換前の座標（ｎ、ｍ）の画素値となることを意味している。マッピングテーブルＭＴにおけるこの座標を、マッピングデータと呼ぶ。この後に、フローはステップＳ１０２へ移行する。
【００３５】
ステップＳ１０２では、映像変換処理部３００により、視点変換映像におけるフィルタ処理方法の設定部分（画素）が決定される。フィルタ処理方法の設定、すなわち、各画素に対してどのようなフィルタ処理を行うかは、視点変換映像の全画素に対して行われ、本ステップではフィルタ処理方法を設定する部分（画素）が設定される。フィルタ処理方法の設定については、後述する。この後に、フローはステップＳ１０３へ移行する。
【００３６】
ステップＳ１０３では、映像変換処理部３００がステップＳ１０２で決定したフィルタ処理方法の設定部分のマッピングデータをマッピングデータ記憶部５００のマッピングテーブルＭＴから読み出す。この後に、フローはステップＳ１０４へ移行する。
【００３７】
ステップＳ１０４では、フィルタ処理方法の設定部分において、画素毎にマッピングデータの変化を検出する。フィルタ処理方法は、視点変換映像においてギザギザ感の強い遠方の映像部分にはフィルタ効果の強いフィルタ処理方法が設定され、ギザギザ感の弱い自車両近傍部分にはフィルタ効果の弱いフィルタ処理方法が設定される。ここで、ギザギザ感は、隣り合う画素の画素値が同じ状態が続くほど強くなる。したがって、マッピングテーブルＭＴにおいて隣り合う画素のマッピングデータ（視点変換前の画素の座標）が同じであるかどうかを調べることで、隣り合う画素の画素値が同じ状態が続くか否かを検出することができる。
【００３８】
図４（ａ）に、視点変換映像の水平方向におけるマッピングデータの変化の検出例を、図４（ｂ）に視点変換映像の垂直方向におけるマッピングデータの変化の検出例を示す。
【００３９】
以下、マッピングデータの変化の検出例を図５のフローチャートにより説明する。ここでは、図４（ａ）の水平方向におけるマッピングデータの変化の検出例の説明を行う。
【００４０】
ステップＳ２０１では、マッピングデータＭＤ（ｉ）（ｉ＝１〜Ｎ）の変化を検出する部分（画素）に対応して検出結果を格納する全配列ＨＲ（ｉ）（ｉ＝１〜Ｎ）に０が設定される。この後に、フローはステップＳ２０２へ移行する。
【００４１】
ステップＳ２０２では、マッピングデータＭＤ（ｉ）を特定する指標iに１が設定される。この後に、フローはステップＳ２０３へ移行する。
【００４２】
ステップＳ２０３では、ＭＤ（ｉ＋１）とＭＤ（ｉ）とが比較される。例えば、ＭＤ（２）とＭＤ（１）とが比較される。ここで、ＭＤ（２）には視点変換前の画素（ｎ）の座標が設定され、ＭＤ（１）にも視点変換前の画素（ｎ）の座標が設定されており、この場合はＭＤ（２）＝ＭＤ（１）となる。一方、ＭＤ（３）には視点変換前の画素（ｎ）の座標が設定されており、ＭＤ（４）には視点変換前の画素（ｎ＋１）の座標が設定されており、この場合はＭＤ（４）≠ＭＤ（３）となる。ＭＤ（ｉ＋１）とＭＤ（ｉ）とが一致する場合は、フローはステップＳ２０４へ移行する。一方、ＭＤ（ｉ＋１）とＭＤ（ｉ）とが一致しない場合は、フローはステップＳ２０５へ移行する。
【００４３】
ステップＳ２０４では、隣り合う画素のマッピングデータが同じ場合であり、マッピングデータが同じ状態の継続回数を、ＨＲ（ｉ＋１）＝ＨＲ（ｉ）＋１の数式で算出する。例えば、ＭＤ（２）＝ＭＤ（１）であるので、ＨＲ（２）＝ＨＲ（１）＋１＝０＋１＝１となる。また、ＭＤ（３）＝ＭＤ（２）であるので、ＨＲ（３）＝ＨＲ（２）＋１＝１＋１＝２となる。この後に、フローはステップＳ２０６へ移行する。
【００４４】
ステップＳ２０５では、隣り合う画素のマッピングデータが異なる場合であり、ＨＲ（ｉ＋１）に０が設定される。例えば、ＭＤ（４）≠ＭＤ（３）であるので、ＨＲ（４）＝０となる。この後に、フローはステップＳ２０６へ移行する。
【００４５】
ステップＳ２０６では、次のＨＲ（ｉ）を算出するため、ｉに１が加算される。この後に、フローはステップＳ２０７へ移行する。
【００４６】
ステップＳ２０７では、すべてのＨＲ（ｉ）が算出された否かの判定が行われる。ＨＲ（１）〜ＨＲ（Ｎ）が算出されていれば、フローはステップＳ２０８へ移行する。一方、まだ算出されていないＨＲ（ｉ）があれば、フローはステップＳ２０３に戻り、処理を継続する。
【００４７】
ステップＳ２０８で、マッピングデータＭＤ（ｉ）（ｉ＝１〜Ｎ）の変化の検出処理が終了する。
【００４８】
なお、図４（ｂ）の垂直方向におけるマッピングデータの変化の検出も同様の処理により行うことが出来る。
【００４９】
この後に、フローはステップＳ１０５へ移行する。
【００５０】
ステップＳ１０５では、マッピングデータの変化の検出結果に応じて、視点変換映像の画素毎にフィルタ処理方法を設定する。
【００５１】
ここで、フィルタ処理方法はあらかじめ設定しておく。ステップＳ１０４で検出したマッピングデータの変化の検出結果が大きい場合は、視点変換映像において同じ画素値が連続している場合に相当し、映像のギザギザ感が強くなる。このため、ギザギザ感を弱めるために、暈し効果の強いフィルタ処理方法を用いてフィルタ処理を行う。一方、ステップＳ１０４で検出したマッピングデータの変化の検出結果が小さい場合は、視点変換映像において同じ画素値の連続程度が少ない場合に相当し、映像のギザギザ感は弱くなる。このため、暈し効果の弱いフィルタ処理方法を用いてフィルタ処理を行う。例えば、ＨＲ（ｉ）≧２であれば暈し効果の強いフィルタ処理方法を用い、ＨＲ（ｉ）≦１であれば暈し効果の弱いフィルタ処理方法を用いるものとする。
【００５２】
図６に、フィルタ処理方法の一例を示す。図６（ａ）は、暈し効果の強いフィルタ処理方法の一例であり、図６（ｂ）は、暈し効果の弱いフィルタ処理方法の一例である。
【００５３】
図６（ａ）は、フィルタ処理効果の強いフィルタ処理方法の一例を示したものである。このフィルタ処理方法では、画素ＰＸ（ｎ、ｍ）の画素値ＰＸＤ（ｎ、ｍ）を、画素ＰＸ（ｎ、ｍ）の周囲に位置する所定の画素の画素値との平均から算出するもので、画素ＰＸ（ｎ、ｍ）の画素値ＰＸＤ（ｎ、ｍ）は以下の式で算出される。
【００５４】
ＰＸＤ（ｎ、ｍ）＝１／１６×（ＰＸＤ（ｎ、ｍ−２）＋ＰＸＤ（ｎ−１、ｍ−１）＋ＰＸＤ（ｎ＋１、ｍ−１）＋ＰＸＤ（ｎ−２、ｍ）＋ＰＸＤ（ｎ＋２、ｍ）＋ＰＸＤ（ｎ−１、ｍ＋１）＋ＰＸＤ（ｎ＋１、ｍ＋１）＋ＰＸＤ（ｎ、ｍ＋２））＋８／１６×ＰＸＤ（ｎ、ｍ）（数式１）
すなわち、広い範囲に位置する画素の画素値を平均することで、ギザギザ感の強い部分のギザギザ感を低減する。
【００５５】
図６（ｂ）は、フィルタ処理効果の弱いフィルタ処理方法の一例を示したものである。このフィルタ処理方法では、画素ＰＸ（ｎ、ｍ）の画素値ＰＸＤ（ｎ、ｍ）を、画素ＰＸ（ｎ、ｍ）に隣接する画素の画素値との平均から算出するもので、画素ＰＸ（ｎ、ｍ）の画素値ＰＸＤ（ｎ、ｍ）は以下の式で算出される。
【００５６】
ＰＸＤ（ｎ、ｍ）＝１／８×（ＰＸＤ（ｎ、ｍ−１）＋ＰＸＤ（ｎ−１、ｍ）＋ＰＸＤ（ｎ＋１、ｍ）＋ＰＸＤ（ｎ、ｍ＋１））＋４／８×ＰＸＤ（ｎ、ｍ）（数式２）
すなわち、隣接する画素の画素値を平均することで、ギザギザ感の弱い部分のギザギザ感を低減する。
【００５７】
図７は他のフィルタ処理の方法の一例である。図７（ａ）は、フィルタ処理効果の強いフィルタ処理方法の一例を示したものである。このフィルタ処理方法では、フィルタ処理を行う画素と同じ行ｍおよび同じ列ｎにおいて隣接する画素の画素値を用いてフィルタ処理を行うもので、画素ＰＸ（ｎ、ｍ）の画素値ＰＸＤ（ｎ、ｍ）は以下の式で算出される。
【００５８】
ＰＸＤ（ｎ、ｍ）＝１／１６×ＰＸＤ（ｎ−２、ｍ）＋３／１６×ＰＸＤ（ｎ−１、ｍ）＋８／１６×ＰＸＤ（ｎ、ｍ）＋３／１６×ＰＸＤ（ｎ＋１、ｍ）＋１／１６×ＰＸＤ（ｎ＋２、ｍ）（数式３）
ＰＸＤ（ｎ、ｍ）＝１／１６×ＰＸＤ（ｎ、ｍ−２）＋３／１６×ＰＸＤ（ｎ、ｍ−１）＋８／１６×ＰＸＤ（ｎ、ｍ）＋３／１６×ＰＸＤ（ｎ、ｍ＋１）＋１／１６×ＰＸＤ（ｎ、ｍ＋２）（数式４）
図７（ｂ）は、フィルタ処理効果の弱いフィルタ処理方法の一例を示したものである。このフィルタ処理方法では、フィルタ処理を行う画素と同じ行ｍおよび同じ列ｎにおいて隣接する画素の画素値を用いてフィルタ処理を行うもので、画素ＰＸ（ｎ、ｍ）の画素値ＰＸＤ（ｎ、ｍ）は以下の式で算出される。
【００５９】
ＰＸＤ（ｎ、ｍ）＝３／１６×ＰＸＤ（ｎ−１、ｍ）＋１０／１６×ＰＸＤ（ｎ、ｍ）＋３／１６×ＰＸＤ（ｎ＋１、ｍ）（数式５）
ＰＸＤ（ｎ、ｍ）＝３／１６×ＰＸＤ（ｎ、ｍ−１）＋１０／１６×ＰＸＤ（ｎ、ｍ）＋３／１６×ＰＸＤ（ｎ、ｍ＋１）（数式６）
なお、ある画素ＰＸ（ｎ、ｍ）に着目した場合、上述したフィルタ処理においては、水平方向と垂直方向のフィルタ処理が重なることになるが、この場合はより効果の強いフィルタ処理を行うものとする。
【００６０】
この後に、フローはステップＳ１０６へ移行する。
【００６１】
ステップＳ１０６では、ステップＳ１０５で設定したフィルタ処理方法を各画素ＰＸ（ｎ、ｍ）に対応させて記憶させ、フィルタテーブルＦＴとして記憶させる。すなわち、例えば図６（ａ）のフィルタ処理方法をＳ１、図６（ｂ）のフィルタ処理方法をＳ２とすると、各画素ＰＸ（ｎ、ｍ）にどちらのフィルタ処理方法を行うかをフィルタテーブルＦＴとして記憶させる。この後に、フローはステップＳ１０７へ移行する。
【００６２】
ステップＳ１０７では、すべての画素ＰＸ（ｎ、ｍ）について、フィルタ処理方法が設定されたか否かの判定が行われる。すべての画素ＰＸ（ｎ、ｍ）について、フィルタ処理方法が設定された場合は、フローはステップＳ１０８へ移行する。一方、すべての画素ＰＸ（ｎ、ｍ）について、フィルタ処理方法が設定されていない場合は、フローはステップＳ１０２へ戻り、処理が継続される。
【００６３】
ステップＳ１０８で、フィルタ処理方法の設定が終了する。
【００６４】
図８に、フィルタ処理方法を決定した後のフィルタ処理についてのフローチャートを示す。図２のフローチャートに沿ってフィルタ処理方法が決定した後、本フローチャートに沿って視点変換映像のフィルタ処理が行われる。
【００６５】
ステップＳ３０１では、映像変換処理部３００により、フィルタ処理を行う画素ＰＸ（ｎ、ｍ）が決定される。この後に、フローはステップＳ３０２へ移行する。
【００６６】
ステップＳ３０２では、映像変換処理部３００により、画素ＰＸ（ｎ、ｍ）のフィルタ処理方法がフィルタテーブル記憶部６００から読み出される。この後に、フローはステップＳ３０３へ移行する。
【００６７】
ステップＳ３０３では、映像変換処理部３００により、ステップＳ３０２で読み出されたフィルタ処理方法で用いる画素ＰＸ（ｎ、ｍ）の画素値ＰＸＤ（ｎ、ｍ）が映像記憶部４００から読み出される。例えば、図６（ｂ）に示したフィルタ処理の場合は、画素ＰＸ（ｎ、ｍ−１）、ＰＸ（ｎ−１、ｍ）、ＰＸ（ｎ＋１、ｍ）、ＰＸ（ｎ、ｍ＋１）の各画素値ＰＸＤ（ｎ、ｍ−１）、ＰＸＤ（ｎ−１、ｍ）、ＰＸＤ（ｎ＋１、ｍ）、ＰＸＤ（ｎ、ｍ＋１）が映像記憶部４００から読み出される。この後に、フローはステップＳ３０４へ移行する。
【００６８】
ステップＳ３０４では、ステップＳ３０３で読み出された画素値を用いて、ステップＳ３０２で読み出されたフィルタ処理方法により、画素ＰＸ（ｎ、ｍ）のフィルタ処理が行われ、画素ＰＸ（ｎ、ｍ）の画素値ＰＸＤ（ｎ、ｍ）が算出される。例えば、図６（ｂ）に示したフィルタ処理の場合は、画素値ＰＸＤ（ｎ、ｍ−１）、ＰＸＤ（ｎ−１、ｍ）、ＰＸＤ（ｎ＋１、ｍ）、ＰＸＤ（ｎ、ｍ＋１）を用いて、数式２により画素値ＰＸＤ（ｎ、ｍ）が算出される。この後に、フローはステップＳ３０５へ移行する。
【００６９】
ステップＳ３０５では、全ての画素ＰＸ（ｎ、ｍ）についてフィルタ処理が終了したか否かの判定が行われる。全ての画素ＰＸ（ｎ、ｍ）についてフィルタ処理が終了した場合は、フローはステップＳ３０６へ移行する。一方、全ての画素ＰＸ（ｎ、ｍ）についてフィルタ処理が終了していない場合は、フローはステップＳ３０２へ戻り、処理が継続される。
【００７０】
ステップＳ３０６で、視点変換映像に対するフィルタ処理が終了する。
以上の処理により、画質改善処理を行うためのフィルタ処理方法を、フィルタ処理を行う画素の位置に応じて適切に設定することにより、視点変換時に画質劣化が激しい車両遠方の画像には効果の強いフィルタ処理を、画質劣化が少ない車両近くの画像には効果の弱いフィルタ処理を行う。これにより、重要な情報を含む車両近辺の映像の画質の劣化を最小限に抑えながら、車両遠方の映像の画質劣化を改善し、最適な画像品質を実現することができる。また、フィルタ処理方法は視点変換の角度に応じて自動的に設定されるため、視点変換の角度に応じたフィルタ処理方法を各画素毎に全て記憶しておく必要がなく、記憶容量を低減することができ、装置の大型化やコストアップを抑制することができる。
以上の処理により、画質改善処理を行うためのフィルタ処理方法を、フィルタ処理を行う画素の位置に応じて適切に設定することにより、視点変換時に画質劣化が激しい車両遠方の画像には効果の強いフィルタ処理を、画質劣化が少ない車両近くの画像には効果の弱いフィルタ処理を行う。これにより、重要な情報を含む車両近辺の映像の画質の劣化を最小限に抑えながら、車両遠方の映像の画質劣化を改善し、最適な画像品質を実現することができる。また、フィルタ処理方法は視点変換映像の画素値の変化に基づいて自動的に設定されるため、視点変換の角度に応じたフィルタ処理方法を各画素毎に全て記憶しておく必要がなく、記憶容量を低減することができ、装置の大型化やコストアップを抑制することができる。以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
【００７１】
例えば、ブロック図は図１に示すものに限定されるものではなく、同等の機能を備えていればよい。
【００７２】
また、フィルタ処理方法は図６、図７に示す方法に限定されるものではなく、他のフィルタ処理方法を用いることができる。
【００７３】
また、マッピングデータに基づくフィルタ処理方法の設定はフィルタ処理の効果の強いものと弱いものの２種類に限定されるものではなく、あらかじめ処理内容を定めたより多くのフィルタ処理方法に分類することができる。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態における車両周辺視認装置のブロック図である。
【図２】本発明の実施形態におけるフィルタ処理方法の設定のフローチャートである。
【図３】本発明の実施形態におけるマッピングテーブルの例である。
【図４】本発明の実施形態におけるマッピングデータの変化の検出方法の説明図である。
【図５】本発明の実施形態におけるマッピングデータの変化の検出方法のフローチャートである。
【図６】本発明の実施形態におけるフィルタ処理方法の例である。
【図７】本発明の実施形態におけるフィルタ処理方法の他の例である。
【図８】本発明の実施形態におけるフィルタ処理のフローチャートである。
【図９】先行技術における視点変換映像の例である。
【図１０】先行技術における視点変換処理の概念図である。
【図１１】先行技術における視点変換処理の概念図である。
【図１２】先行技術における視点変換映像の拡大図例である。
【符号の説明】
【００７５】
１００撮像部
２００映像信号デコーダ
３００映像変換処理部
３１０視点変換処理部
３２０フィルタ処理部
４００映像記憶部
５００マッピングテーブル記憶部
６００フィルタテーブル記憶部
７００映像信号エンコーダ
８００表示部

【特許請求の範囲】
【請求項１】
車両周辺を撮像可能に車両に取り付けられた撮像部と、
前記撮像部により撮像された映像を視点変換処理して俯瞰映像とする視点変換処理部と、
前記映像変換処理部により前記視点変換処理された前記俯瞰映像をフィルタ処理するフィルタ処理部と、
前記フィルタ処理部により前記フィルタ処理された前記俯瞰映像を表示する表示部と、
を備える車両周辺視認装置であって、
前記フィルタ処理部は、前記俯瞰映像の画素に対する前記フィルタ処理の強さを、前記車両近傍から前記車両遠方に向かうに従って順次強くなるように、隣接する前記画素の画素値の変化に基づいて自動的に設定することを特徴とする車両周辺視認装置。
【請求項２】
前記フィルタ処理部は、前記俯瞰画像を暈すフィルタ処理を行うことを特徴とする請求項１に記載の車両周辺視認装置。
【請求項３】
前記フィルタ処理部は、前記俯瞰画像の水平方向と垂直方向の少なくとも一方向において、隣接する前記画素の前記画素値の変化を検出し、前記画素値の変化が小さいほど前記フィルタ処理の強さを強くすることを特徴とする請求項１または２に記載の車両周辺視認装置。
【請求項４】
前記視点変換処理は、前記視点変換処理前後の前記画素の対応関係を表すマッピングデータを格納したマッピンングテーブルに基づいて行われ、
前記フィルタ処理部は、前記マッピンングテーブルの水平方向と垂直方向の少なくとも一方向において、隣接する前記マッピングデータの変化に基づき前記画素値の変化を検出し、前記画素値の変化が小さいほど前記フィルタ処理の強さを強くすることを特徴とする請求項１または２に記載の車両周辺視認装置。

【図１】