周辺表示装置
【課題】自動車などの移動体において周辺の俯瞰画像を表示する場合に、オクルージョン領域の存在を考慮した表示を可能とする周辺表示装置を提供する。
【解決手段】画像処理装置１０は、画像データを取り込む画像取得部１１と、画像データに基づいて３次元情報を計測する３次元情報計測部１２と、画像データの視点位置を変更した視点位置変更画像を作成する視点位置変更画像生成部１４と、３次元情報計測部１２で計測された３次元情報に基づいて、視点位置変更画像上の３次元情報から障害物のある領域と推定される障害物領域を判定するとともに、その周辺で３次元情報を取得不能な領域を危険領域と判定する危険領域判定部１３と、危険領域判定部１３での判定結果に基づいて、視点位置変更画像上の危険領域等にマーキングを行う重畳情報画像生成部１５と、視点位置変更画像を合成する視点位置変更画像合成部１６とを備えている。
【解決手段】画像処理装置１０は、画像データを取り込む画像取得部１１と、画像データに基づいて３次元情報を計測する３次元情報計測部１２と、画像データの視点位置を変更した視点位置変更画像を作成する視点位置変更画像生成部１４と、３次元情報計測部１２で計測された３次元情報に基づいて、視点位置変更画像上の３次元情報から障害物のある領域と推定される障害物領域を判定するとともに、その周辺で３次元情報を取得不能な領域を危険領域と判定する危険領域判定部１３と、危険領域判定部１３での判定結果に基づいて、視点位置変更画像上の危険領域等にマーキングを行う重畳情報画像生成部１５と、視点位置変更画像を合成する視点位置変更画像合成部１６とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は周辺表示装置に関し、特に、自走可能な移動体の周辺状況を俯瞰的に表示する周辺表示装置に関する。
【背景技術】
【０００２】
複数の撮像手段によって車両周辺の画像を個々に撮像し、それぞれの画像を視点変換して路面を投影面とする複数の俯瞰画像を作成し、当該複数の俯瞰画像を車両周辺に並べるように合成することで、自車両周辺の俯瞰画像を得る種々の技術が開示されている。
【０００３】
例えば、特許文献１では、俯瞰画像上で物体検出処理を施し、検出された物体が車両だった場合は、疑似車両を俯瞰画像上に描画することで視認性の向上を図る技術が開示されている。
【０００４】
また、特許文献２では、ステレオカメラで計測された３次元情報を用いて物体の高さ情報を考慮した疑似画像（高さ方向に圧縮した画像）を含んだ俯瞰画像を作成することで視認性の向上を図る技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３０９８４４号公報
【特許文献２】特開２００６−３３３００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した何れの特許文献においても、物体の画像をより自然な画像に近づけることはできるものの、当該物体の背後の見えない領域（オクルージョン領域）に物が存在している場合でも、その前の物体しか表示されないので背後の物体を認識することができないという問題を有していた。
【０００７】
本発明は上記のような問題点を解消するためになされたもので、自動車などの自走可能な移動体において周辺の俯瞰画像を表示する場合に、オクルージョン領域の存在を考慮した表示を可能とする周辺表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る周辺表示装置の第１の態様は、自走可能な移動体における周辺の画像データを取得する画像取得部と、前記画像データに基づいて３次元情報を計測する３次元情報計測部と、前記画像データの視点位置を、前記移動体の上方から俯瞰する位置に変更した視点位置変更画像を作成する視点位置変更画像生成部と、前記３次元情報に基づいて、前記視点位置変更画像上の障害物のある領域と推定される障害物領域を特定するとともに、前記障害物領域の周辺で前記３次元情報を取得不能な領域を危険領域として判定する危険領域判定部と、を備え、前記危険領域判定部での判定結果を受け、前記障害物領域および前記危険領域が存在する場合には警告を与える。
【０００９】
本発明に係る周辺表示装置の第２の態様は、前記画像データは、ステレオカメラによって取得され、前記画像取得部は、前記ステレオカメラで得られた２つの画像の特徴点を相互に対応付けし、その結果得られた視差から画像上の各点の３次元位置を算出することで３次元情報を取得し、前記危険領域判定部は、前記３次元情報に含まれる視差情報と、予め保持している路面の画像についての視差情報をテーブル化した視差テーブルとを比較することで、前記障害物領域を特定し、前記障害物領域の背後の、前記３次元情報を取得不能で視差を計測不可能な領域を前記危険領域として判定する。
【００１０】
本発明に係る周辺表示装置の第３の態様は、前記視差テーブルは、前記路面の画像を更新することで随時更新される。
【００１１】
本発明に係る周辺表示装置の第４の態様は、前記危険領域判定部が、前記３次元情報に基づいて得られる３次元空間上の計測点を路面と想定される平面にマッピングした場合に、前記計測点が疎らな領域を前記危険領域として判定し、前記危険領域の近傍であって前記計測点が密集する領域を前記障害物領域として判定する。
【００１２】
本発明に係る周辺表示装置の第５の態様は、前記危険領域判定部が、予め取得した前記路面の画像についての前記計測点のマッピングの分布状態との比較により前記計測点の粗密を判定する。
【００１３】
本発明に係る周辺表示装置の第６の態様は、自走可能な移動体における周辺の画像データを取得する画像取得部と、前記画像データに基づいて３次元情報を計測する３次元情報計測部と、前記画像データの視点位置を、前記移動体の上方から俯瞰する位置に変更した視点位置変更画像を作成する視点位置変更画像生成部と、前記画像データに基づいて障害物を特定するとともに、前記視点位置変更画像における前記障害物の位置に基づいて危険領域を判定する危険領域判定部と、を備え、前記危険領域判定部での判定結果を受け、前記障害物領域および前記危険領域が存在する場合には警告を与える。
【００１４】
本発明に係る周辺表示装置の第７の態様は、前記危険領域判定部が、前記視点位置変更画像における前記障害物の存在する位置でのオクルージョン領域を前記障害物領域として判定する。
【００１５】
本発明に係る周辺表示装置の第８の態様は、前記オクルージョン領域は、前記画像データを取得したカメラの画角と前記障害物の位置との関係に基づいて定められる。
【００１６】
本発明に係る周辺表示装置の第９の態様は、前記危険領域判定部での判定結果に基づいて、前記視点位置変更画像上の前記危険領域にマーキング画像を重畳する重畳情報画像生成部を備える。
【発明の効果】
【００１７】
本発明に係る周辺表示装置の第１の態様によれば、自動車などの自走可能な移動体において、周辺の俯瞰画像を表示する場合に、例えばオクルージョン領域などの危険領域を判定して警告を与えることが可能となり、有効な危険回避が可能となる。
【００１８】
本発明に係る周辺表示装置の第２の態様によれば、３次元情報に含まれる視差情報を用いて障害物領域を特定し、障害物領域の背後の、３次元情報を取得不能で視差を計測不可能な領域を危険領域として判定するので、比較的容易に障害物領域および危険領域の特定を行うことができる。
【００１９】
本発明に係る周辺表示装置の第３の態様によれば、視差テーブルは、路面の画像を更新することで随時更新するので、路面の状態が変わる場合に対応することができる。
【００２０】
本発明に係る周辺表示装置の第４および題５の態様によれば、３次元上の計測点の粗密状態を判定基準として用いることで、正確な物体検出処理を必要とせずに障害物領域および危険領域を特定することができる。
【００２１】
本発明に係る周辺表示装置の第６ないし第８の態様によれば、自動車などの自走可能な移動体において、周辺の俯瞰画像を表示する場合に、画像データに基づいて障害物を特定することができれば危険領域の判定は比較的容易に行うことができ、例えばオクルージョン領域などの危険領域を判定して警告を与えることが可能となり、有効な危険回避が可能となる。
【００２２】
本発明に係る周辺表示装置の第９の態様によれば、危険領域の視覚化が可能となる。
【図面の簡単な説明】
【００２３】
【図１】ステレオカメラの配置例を示す図である。
【図２】本発明に係る周辺表示装置の構成を示すブロック図である。
【図３】対応点探索の概念を説明する図である。
【図４】ステレオカメラが、障害物のない路面を撮影する状態を模式的に示す図である。
【図５】路面の２次元画像に計測点を重ねて示した図である。
【図６】視差テーブルと障害物のない路面の計測視差との関係を示す図である。
【図７】ステレオカメラが、障害物のある路面を撮影する状態を模式的に示す図である。
【図８】視差テーブルと障害物のある路面の計測視差との関係を示す図である。
【図９】車両の上方から見た俯瞰図である。
【図１０】視差と計測点の個数（度数）との関係をヒストグラムで表す図である。
【図１１】視差と計測点の個数（度数）との関係をヒストグラムで表す図である。
【図１２】路面上に障害物がない場合の計測点を俯瞰画像上にマッピングした図である。
【図１３】路面上に障害物がある場合の計測点を俯瞰画像上にマッピングした図である。
【図１４】ステレオカメラが、窪みのある路面を撮影する状態を模式的に示す図である。
【図１５】路面上に窪みがある場合の計測点を俯瞰画像上にマッピングした図である。
【発明を実施するための形態】
【００２４】
＜実施の形態＞
＜装置構成＞
図１は、本発明に係る周辺表示装置を搭載した車両ＶＣにおけるステレオカメラの配置例を示す図である。
【００２５】
図１において、車両ＶＣには、前方、左右および後方の画像を取得する４台のステレオカメラと、左斜め前方、左斜め後方、右斜め前方および右斜め後方の画像を取得する４台のステレオカメラとが搭載されている。
【００２６】
すなわち、前方の画像を取得するステレオカメラＳＣ１、前方に対して左側の画像を取得するステレオカメラＳＣ２、後方の画像を取得するステレオカメラＳＣ３および前方に対して右側の画像を取得するステレオカメラＳＣ４と、左斜め前方の画像を取得するステレオカメラＳＣ５、左斜め後方の画像を取得するステレオカメラＳＣ６、右斜め後方の画像を取得するステレオカメラＳＣ７および左斜め前方の画像を取得するステレオカメラＳＣ８を備えている。また、図１では、ステレオカメラＳＣ１〜ＳＣ８のそれぞれでの画角内領域を領域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７およびＲ８で示し、監視範囲を実線で示している。
【００２７】
また、図１では、ステレオカメラＳＣ１〜ＳＣ８のそれぞれに含まれる２台のカメラを、例えばステレオカメラＳＣ１についてはカメラ１ａ、１ｂとして表している。
【００２８】
このようなシステムを用いることで、自車両の周辺の画像データを取得し、それを視点を変えて自車両の上方から見た俯瞰図に変更することが可能となるが、以下の説明では、ステレオカメラＳＣ１で取得した前方画像を使用する場合を例に採って説明する。
【００２９】
なお、各カメラの実際の配置位置は車種によって異なるが、例えば、ステレオカメラＳＣ１はルームミラーの位置に配置され、ステレオカメラＳＣ２およびＳＣ４は、それぞれ、左右のサイドミラーの位置に配置され、ステレオカメラＳＣ４は、リヤバンパーの位置に、ステレオカメラＳＣ５〜ＳＣ８は、何れも車両ＶＣの四隅のバンパーの位置などに配置される。なお、上記配置は一例であり、ステレオカメラの配置はこれに限定されるものではない。
【００３０】
図２は、本発明に係る周辺表示装置１００の構成を示すブロック図である。図２に示すように周辺表示装置１００は、ステレオカメラＳＣ１〜ＳＣ８と、ステレオカメラＳＣ１〜ＳＣ８で得られた画像データの画像処理を行う画像処理装置１０と、画像処理装置１０から出力される処理済みの画像データを表示する表示部２０とを主たる構成として備えている。
【００３１】
画像処理装置１０は、ステレオカメラＳＣ１〜ＳＣ８で得られた画像データを取り込む画像取得部１１と、画像取得部１１で取得した画像データに基づいて３次元情報を計測する３次元情報計測部１２と、画像取得部１１で取得した画像データの視点位置を変更した視点位置変更画像を作成する視点位置変更画像生成部１４と、３次元情報計測部１２で計測された３次元情報に基づいて、視点位置変更画像上の３次元情報から障害物のある領域と推定される障害物領域を判定するとともに、その周辺で３次元情報を取得不能な領域を危険領域と判定する危険領域判定部１３と、危険領域判定部１３での判定結果に基づいて、視点位置変更画像上の危険領域等にマーキングを行う重畳情報画像生成部１５と、各ステレオカメラＳＣ１〜ＳＣ８のそれぞれの画角内領域Ｒ１〜Ｒ８に対応して得られた視点位置変更画像を合成して、車両ＶＣ周辺の俯瞰画像を得る視点位置変更画像合成部１６とを備えている。以下、各部についての説明を行う。
【００３２】
＜画像取得部１＞
ステレオカメラは、２台のカメラで異なる視点から同時に撮影を行うことができ、画像取得部１では、各カメラで得られた画像データを画素単位で取り込む。
【００３３】
＜３次元情報計測部１２＞
３次元情報計測部１２では、ステレオカメラの、２台のカメラでそれぞれ得られた２つの画像の特徴点について相互に対応付けを行う。これは、対応点探索と呼称され、従来的な手法である。
【００３４】
図３は、対応点探索の概念を説明する図であり、ステレオカメラの２台のカメラで撮像された画像の一方を基準画像Ｇａとし、他方を参照画像Ｇｂとして表している。そして、参照画像Ｇｂ上での対応画素（対応点）Ｗｂを探索するための基準画像Ｇａ上で指定される画素をＷａとして設定している。
【００３５】
画素Ｗａの座標が（ｘ，ｙ）で表され、画素Ｗｂの座標が（ｘ’，ｙ’）で表されるならば、両画素の視差ｄは、ｘ−ｘ’で算出される。
【００３６】
なお、対応点探索においては、画像間から勾配法（gradient-based method）により算出する方法や、ＳＡＤ（Sum of Absolute Difference）法と呼ばれる方法が知られている。この方法は、ステレオカメラのように異なる視点から撮影した２つの画像のうち、一方の画像である基準画像上の注目点に対して、この注目点を内包するようなウィンドウを設定するとともに、他方の画像である参照画像上にも同サイズのウィンドウを複数設定し、基準画像上のウィンドウと、参照画像上の各ウィンドウ間で相関値を算出して、最も相関値が高い参照画像上のウィンドウを探索し、そのウィンドウの重心位置を注目点の対応点として求める方法である。
【００３７】
また、位相限定相関法（ＰＯＣ法）を用いた方法もある。この方法は、基準画像上のピクセルレベルの注目点 に対応する参照画像上のピクセルレベルの対応点を算出した後に、注目点に対する対応点のサブピクセルレベルのずれ量を求めるものであり、高精度な対応付けが可能となる。
【００３８】
そして、算出された対応点に対して、平行化、歪補正、３次元再構成の処理を行うことで３次元情報を取得する。
【００３９】
＜危険領域判定部１３＞
危険領域判定部１３では、３次元情報計測部１２から提供される３次元情報に基づいて、障害物領域を判定するとともに危険領域を判定するが、危険領域の判定方法には以下の２通りの方法がある。
【００４０】
＜危険領域の判定方法１＞
３次元情報計測部１２から提供される３次元情報には、ステレオカメラで撮像された画像の視差情報が含まれており、これと、予め保持している路面の画像についての視差情報をテーブル化した視差テーブルとを比較することで、まず障害物領域を特定する。以下、図４〜図９を用いて具体的に説明する。
【００４１】
図４は、車両ＶＣの進行方向（ｚ方向）の前方を撮影するステレオカメラＳＣ１が、路面を撮影する状態を模式的に示しており、ステレオカメラＳＣ１の画角内領域Ｒ１において対応点探索を行う計測点Ｍ１を模式的に示している。
【００４２】
図５は、路面の２次元画像に計測点Ｍ１を重ねて示した図であり、図においてｘ方向が路面を横断する方向であり、ｚ方向が路面の延在する方向である。計測点Ｍ１は、図の手前側ほど多く、遠くになるほど少なくなっている。図６では、路面上に障害物は存在しておらず、視差テーブルと路面の画像についての視差情報（実際の計測視差）とが一致している状態を表している。
【００４３】
図６は、視差テーブルと実際の計測視差との関係を示す図であり、路面の２次元画像における計測点Ｍ１をｚ方向のレベルごとに階層分けして示している。ここで、視差テーブルにおいて、最下層での視差を基準視差αとすると、次のレベルでの視差は基準視差αよりも数値ａの分だけ小さくなった値（α−ａ）として表される。さらに、次のレベルでの視差は基準視差αよりも数値ｂの分だけ小さくなった値（α−ｂ）で表され、さらに、次のレベルでの視差は基準視差αよりも数値ｃの分だけ小さくなった値（α−ｃ）で表される。ここで、数値ａ〜ｃの大小関係は、数値ａが最も小さく、数値ｃが最も大きく（ｃ＞ｂ＞ａ）、カメラから遠いほど視差が小さくなることを表している。
【００４４】
視差テーブルは、路面上に障害物が存在しない状態で撮影した路面の画像から取得したものであるので、路面上に障害物が存在しない場合は、実際の計測視差ｄ（ｉ，ｊ）と視差テーブルの視差とは一致し、最下層ではｄ（ｉ，ｊ）＝α、 次のレベルではｄ（ｉ，ｊ）＝α−ａ、さらに次のレベルではｄ（ｉ，ｊ）＝α−ｂ、さらに次のレベルではｄ（ｉ，ｊ）＝α−ｃとなる。ここで、ｉは画像横方向（ｘ方向）の指定位置を表し、ｊは画像縦方向（ｚ方向）の指定位置を表す。
【００４５】
図７は、路面上に障害物がある場合に、ステレオカメラＳＣ１が、路面を撮影する状態を模式的に示しており、路面上の計測点Ｍ１と、障害物ＯＢ上の計測点Ｍ２とが模式的に示されている。
【００４６】
図７に示されるように、路面上に障害物ＯＢが存在する場合、障害物ＯＢの表面に計測点Ｍ２が設定される一方で、障害物ＯＢの背後の路面上には、計測点Ｍ１が設定されないこととなる。
【００４７】
図８は、路面上に障害物ＯＢが存在する場合の視差テーブルと実際の計測視差との関係を示す図であり、障害物ＯＢは枠線で囲まれた領域として示されている。
【００４８】
障害物ＯＢが図７に示すような立方体である場合、車両ＶＣに対面する表面に計測点Ｍ２が設定され、その表面の位置は、路面の２次元画像における各計測点レベルの何れかに存在することとなる。その表面は、図８ではα−ａのレベルに存在するので、計測点Ｍ２の視差はどこの値であってもα−ａとなる。
【００４９】
従って、障害物ＯＢが存在することで、実際の計測視差ｄ（ｉ，ｊ）と視差テーブルの視差とが一致しない領域が現れることとなる。従って、実際の計測視差ｄ（ｉ，ｊ）と視差テーブルの視差とが一致しない領域が確認された場合、各計測点の座標（ｉ，ｊ）から、当該領域のｘ方向の長さと、ｘ方向における位置を取得し、当該ｘ方向の長さと位置の情報を、車両ＶＣに対面する表面が存在するレベル、ここでは視差α−ａのレベルに当てはめることで障害物領域を特定する。
【００５０】
障害物領域の背後には、ステレオカメラＳＣ１の画角によって決まる、視差を計測不可能な未計測領域が存在することとなり、当該領域は障害物領域ＯＲに隠れて見えない危険領域ＤＲと判断する。
【００５１】
図９は、車両ＶＣの上方から見た３次元の俯瞰図の一例であり、車両ＶＣの前方に、上述した方法で求めた障害物領域ＯＲが示され、その背後には、障害物領域ＯＲに隠れて見えない危険領域ＤＲが示されている。
【００５２】
図９は、図５に示された路面の２次元画像の視点変換を行って作成されるものであり、視点変換を行った結果、計測点Ｍ１は、車両ＶＣから離れるほど間隔が広くなり、危険領域ＤＲは台形状に広がった領域として表されている。
【００５３】
このように、実際の計測視差ｄ（ｉ，ｊ）と視差テーブルの視差との比較を行うことで、容易に障害物領域を特定することができ、障害物領域を特定した後は、ステレオカメラの画角によって決まる、視差を計測不可能な未計測領域を危険領域として特定することで、オクルージョン領域を考慮した表示が可能となる。
【００５４】
ここで、視差テーブルは、予め路面を撮影して取得した視差値を固定値として用いても良いが、定期的（分刻み）に路面を撮影して視差値を取得し、随時更新する構成としても良い。例えば、平坦な路面と坂道とでは路面の状態が変わるので、このような場合には有効である。
【００５５】
また、図５に示したように、計測点Ｍ１は、図の手前側、すなわちカメラに近いほど多く、遠くになるほど少なく、各レベルでは、同じ視差となるので、視差と計測点の個数（度数）との関係をヒストグラムにして表すと図１０に示すようになる。
【００５６】
すなわち、図１０において、カメラから遠い位置では視差は小さく、カメラに近づくにつれて段階的に視差が大きくなるようなヒストグラムとなる。
【００５７】
しかし、障害物が存在する場合、この階段状のヒストグラムが得られず、何れかの視差のみ度数が突出したり、逆に、度数が減少した形状となる。この状態を図１１に示す。
【００５８】
図１１においては、度数が突出した部分にハッチングを付しているが、この視差を有するレベルに障害物が存在するということが判る。また、度数が突出した視差の手前、すなわち障害物が存在するレベルより遠い位置では、度数が減少しており、度数が減少している視差の範囲から、危険領域を特定することができる。
【００５９】
また、３次元情報計測部１２において３次元情報を得るにはカメラパラメータを使用するが、この３次元情報に基づいて得られる３次元上の計測点を路面と想定される平面にマッピングすることで、マッピング結果の計測点の粗密状態から障害物領域および危険領域を特定することができる。
【００６０】
図１２は、路面上に障害物がない場合の計測点Ｍ１を俯瞰画像上にマッピングした図であり、計測点の分布に粗密は見られない。
【００６１】
図１３は、路面上に障害物がある場合の計測点Ｍ１を俯瞰画像上にマッピングした図であり、障害物の表面上には計測点Ｍ２が存在するものの、奥行き方向、すなわちｚ方向では計測点が存在せず、計測点の分布に粗密が発生する。障害物の表面位置を知ることで、障害物領域を特定することができ、計測点が存在しない領域から危険領域を特定することができる。なお、障害物がある場合の計測点Ｍ１の粗密度の判定は、予め取得した路面上に障害物がない場合の計測点Ｍ１のマッピング結果と比較することで行う。
【００６２】
このように、３次元上の計測点の粗密状態を判定基準として用いることで、正確な物体検出処理を必要とせずに障害物領域および危険領域を特定することができる。
【００６３】
なお、この方法を用いることで、路面上に突出する障害物だけでなく、路面の窪みなどの障害物も特定することができる。
【００６４】
図１４は、車両ＶＣの進行方向（ｚ方向）の前方を撮影するステレオカメラＳＣ１が、路面を撮影する状態を模式的に示しており、ステレオカメラＳＣ１の画角内領域Ｒ１において路面に窪みＣＰがある場合を模式的に示している。
【００６５】
図１４において、画角内領域Ｒ１では、窪みＣＰ以外では計測点Ｍ１が存在するが、窪みＣＰでは、計測点Ｍ１が存在せず、窪みの一方の壁面、すなわち車両ＶＣから見える側の壁面にのみ計測点Ｍ２が存在することとなる。
【００６６】
図１５は、路面上に窪みＣＰがある場合の計測点Ｍ１およびＭ２を俯瞰画像上にマッピングした図であり、窪みＣＰの車両ＶＣの進行方向（ｚ方向）の奥側の壁面には計測点Ｍ２が存在するものの、その手前側は計測点Ｍ１もＭ２も存在しない領域となっている。この場合、計測点Ｍ１もＭ２も存在しない領域によって危険領域ＤＲが特定される。
【００６７】
＜危険領域の判定方法２＞
以上説明した危険領域の判定方法１では、視差情報を用いて障害物を検出していたが、障害物の検出方法はこれに限定されるものではなく、従来的な方法を用いて障害物を検出しても良い。
【００６８】
例えば、障害物となる可能性のある物体についてのテンプレートを予め準備しておき、ステレオカメラを構成する２つのカメラの一方で得られた２次元画像にテンプレートを当てはめ、パターンマッチングを行って、マッチングした場合には当該テンプレートに相当する物体があると判断する手法を採っても良い。
【００６９】
また、２次元画像より算出された特徴量に対して、教師データを当てはめ、パターンマッチングを行って、マッチングした場合には当該教師データに相当する物体があると判断する手法を採っても良い。
【００７０】
また、ステレオカメラを用いて取得した３次元情報に基づいて、実空間上の位置を算出し、道路モデルに基づいて、横方向および視差方向（距離方向）において位置的に対応する道路面の高さと比較して、前記位置が道路面より上にある場合には、その位置のデータを立体物を表すデータとして抽出することで、路面上の障害物を検出する手法を採っても良い。この方法については、特開２００６−１３４０３５号公報に開示がある。
【００７１】
なお、検出された障害物に対応する危険領域の判定は、視点位置変更画像生成部１４において生成された視点位置変更後の俯瞰画像における障害物の位置に基づいて判定を行う。この判定では、ステレオカメラＳＣ１の画角と障害物の位置との関係で決まるオクルージョン領域を障害物領域とすることが現実的である。この場合、図２に示す構成において、視点位置変更画像生成部１４において生成された視点位置変更後の俯瞰画像データを危険領域判定部１３に取り込むことになる。
【００７２】
＜視点位置変更画像生成部１４＞
視点位置変更画像生成部１４では、ステレオカメラで撮影された画像を、自車両の上方から見た俯瞰画像にするための視点位置の変更（座標変換）を行う。この処理は公知の技術を用いれば良く、撮影レンズの光軸の向き、撮影レンズの特性などの撮影条件に基づいて予め作成され、ステレオカメラで撮影された画像の各点と、俯瞰画像の各点とを対応付ける変換テーブルを用いて変換を行う方法が一般的である。
【００７３】
＜重畳情報画像生成部１５＞
重畳情報画像生成部１５は、視点位置変更画像生成部１４で生成された俯瞰画像上の障害物領域および危険領域にマーキング画像の重畳を行う。
【００７４】
これは、俯瞰画像上の対象領域にレイヤー画像を重畳して色付けを行う処理であり、運転者が車内モニターを見て判りやすいようにマーキングを行う処理である。
【００７５】
なお、危険領域等にマーキングを行うのではなく、正確な３次元情報を取得でき、安全に走行できる領域にマーキングを行うようにしても良い。
【００７６】
＜視点位置変更画像合成部１６＞
視点位置変更画像合成部１６では、重畳情報画像生成部１５で生成されたマーキング済みの俯瞰画像を含めて、各ステレオカメラで得られた画像を視点位置変更して得られた俯瞰画像を合成して、車両ＶＣ周辺の俯瞰画像を取得する。
【００７７】
＜表示部２０＞
表示部２０は車内モニターに相当し、画像処理装置１０から出力される処理済みの画像データを表示するが、危険領域が多い場合は、警告音や音声ガイダンス等で、運転者の注意を喚起しやすい方法で警告を行うようにしても良い。
【００７８】
＜変形例＞
以上説明した周辺表示装置１００においては、自車両の前方画像を例に採って説明したが、ステレオカメラＳＣ１〜ＳＣ８の何れで撮影された画像についても、障害物領域および危険領域の検出をすることは可能であり、例えば、車庫入れや、幅寄せの際には後方および側方のステレオカメラで撮影された画像について同様の処理を行えば良い。
【符号の説明】
【００７９】
ＳＣ１〜ＳＣ８ ステレオカメラ
ＯＲ 障害物領域
ＤＲ 危険領域
ＯＢ 障害物
ＶＣ 車両
【技術分野】
【０００１】
本発明は周辺表示装置に関し、特に、自走可能な移動体の周辺状況を俯瞰的に表示する周辺表示装置に関する。
【背景技術】
【０００２】
複数の撮像手段によって車両周辺の画像を個々に撮像し、それぞれの画像を視点変換して路面を投影面とする複数の俯瞰画像を作成し、当該複数の俯瞰画像を車両周辺に並べるように合成することで、自車両周辺の俯瞰画像を得る種々の技術が開示されている。
【０００３】
例えば、特許文献１では、俯瞰画像上で物体検出処理を施し、検出された物体が車両だった場合は、疑似車両を俯瞰画像上に描画することで視認性の向上を図る技術が開示されている。
【０００４】
また、特許文献２では、ステレオカメラで計測された３次元情報を用いて物体の高さ情報を考慮した疑似画像（高さ方向に圧縮した画像）を含んだ俯瞰画像を作成することで視認性の向上を図る技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３０９８４４号公報
【特許文献２】特開２００６−３３３００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した何れの特許文献においても、物体の画像をより自然な画像に近づけることはできるものの、当該物体の背後の見えない領域（オクルージョン領域）に物が存在している場合でも、その前の物体しか表示されないので背後の物体を認識することができないという問題を有していた。
【０００７】
本発明は上記のような問題点を解消するためになされたもので、自動車などの自走可能な移動体において周辺の俯瞰画像を表示する場合に、オクルージョン領域の存在を考慮した表示を可能とする周辺表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る周辺表示装置の第１の態様は、自走可能な移動体における周辺の画像データを取得する画像取得部と、前記画像データに基づいて３次元情報を計測する３次元情報計測部と、前記画像データの視点位置を、前記移動体の上方から俯瞰する位置に変更した視点位置変更画像を作成する視点位置変更画像生成部と、前記３次元情報に基づいて、前記視点位置変更画像上の障害物のある領域と推定される障害物領域を特定するとともに、前記障害物領域の周辺で前記３次元情報を取得不能な領域を危険領域として判定する危険領域判定部と、を備え、前記危険領域判定部での判定結果を受け、前記障害物領域および前記危険領域が存在する場合には警告を与える。
【０００９】
本発明に係る周辺表示装置の第２の態様は、前記画像データは、ステレオカメラによって取得され、前記画像取得部は、前記ステレオカメラで得られた２つの画像の特徴点を相互に対応付けし、その結果得られた視差から画像上の各点の３次元位置を算出することで３次元情報を取得し、前記危険領域判定部は、前記３次元情報に含まれる視差情報と、予め保持している路面の画像についての視差情報をテーブル化した視差テーブルとを比較することで、前記障害物領域を特定し、前記障害物領域の背後の、前記３次元情報を取得不能で視差を計測不可能な領域を前記危険領域として判定する。
【００１０】
本発明に係る周辺表示装置の第３の態様は、前記視差テーブルは、前記路面の画像を更新することで随時更新される。
【００１１】
本発明に係る周辺表示装置の第４の態様は、前記危険領域判定部が、前記３次元情報に基づいて得られる３次元空間上の計測点を路面と想定される平面にマッピングした場合に、前記計測点が疎らな領域を前記危険領域として判定し、前記危険領域の近傍であって前記計測点が密集する領域を前記障害物領域として判定する。
【００１２】
本発明に係る周辺表示装置の第５の態様は、前記危険領域判定部が、予め取得した前記路面の画像についての前記計測点のマッピングの分布状態との比較により前記計測点の粗密を判定する。
【００１３】
本発明に係る周辺表示装置の第６の態様は、自走可能な移動体における周辺の画像データを取得する画像取得部と、前記画像データに基づいて３次元情報を計測する３次元情報計測部と、前記画像データの視点位置を、前記移動体の上方から俯瞰する位置に変更した視点位置変更画像を作成する視点位置変更画像生成部と、前記画像データに基づいて障害物を特定するとともに、前記視点位置変更画像における前記障害物の位置に基づいて危険領域を判定する危険領域判定部と、を備え、前記危険領域判定部での判定結果を受け、前記障害物領域および前記危険領域が存在する場合には警告を与える。
【００１４】
本発明に係る周辺表示装置の第７の態様は、前記危険領域判定部が、前記視点位置変更画像における前記障害物の存在する位置でのオクルージョン領域を前記障害物領域として判定する。
【００１５】
本発明に係る周辺表示装置の第８の態様は、前記オクルージョン領域は、前記画像データを取得したカメラの画角と前記障害物の位置との関係に基づいて定められる。
【００１６】
本発明に係る周辺表示装置の第９の態様は、前記危険領域判定部での判定結果に基づいて、前記視点位置変更画像上の前記危険領域にマーキング画像を重畳する重畳情報画像生成部を備える。
【発明の効果】
【００１７】
本発明に係る周辺表示装置の第１の態様によれば、自動車などの自走可能な移動体において、周辺の俯瞰画像を表示する場合に、例えばオクルージョン領域などの危険領域を判定して警告を与えることが可能となり、有効な危険回避が可能となる。
【００１８】
本発明に係る周辺表示装置の第２の態様によれば、３次元情報に含まれる視差情報を用いて障害物領域を特定し、障害物領域の背後の、３次元情報を取得不能で視差を計測不可能な領域を危険領域として判定するので、比較的容易に障害物領域および危険領域の特定を行うことができる。
【００１９】
本発明に係る周辺表示装置の第３の態様によれば、視差テーブルは、路面の画像を更新することで随時更新するので、路面の状態が変わる場合に対応することができる。
【００２０】
本発明に係る周辺表示装置の第４および題５の態様によれば、３次元上の計測点の粗密状態を判定基準として用いることで、正確な物体検出処理を必要とせずに障害物領域および危険領域を特定することができる。
【００２１】
本発明に係る周辺表示装置の第６ないし第８の態様によれば、自動車などの自走可能な移動体において、周辺の俯瞰画像を表示する場合に、画像データに基づいて障害物を特定することができれば危険領域の判定は比較的容易に行うことができ、例えばオクルージョン領域などの危険領域を判定して警告を与えることが可能となり、有効な危険回避が可能となる。
【００２２】
本発明に係る周辺表示装置の第９の態様によれば、危険領域の視覚化が可能となる。
【図面の簡単な説明】
【００２３】
【図１】ステレオカメラの配置例を示す図である。
【図２】本発明に係る周辺表示装置の構成を示すブロック図である。
【図３】対応点探索の概念を説明する図である。
【図４】ステレオカメラが、障害物のない路面を撮影する状態を模式的に示す図である。
【図５】路面の２次元画像に計測点を重ねて示した図である。
【図６】視差テーブルと障害物のない路面の計測視差との関係を示す図である。
【図７】ステレオカメラが、障害物のある路面を撮影する状態を模式的に示す図である。
【図８】視差テーブルと障害物のある路面の計測視差との関係を示す図である。
【図９】車両の上方から見た俯瞰図である。
【図１０】視差と計測点の個数（度数）との関係をヒストグラムで表す図である。
【図１１】視差と計測点の個数（度数）との関係をヒストグラムで表す図である。
【図１２】路面上に障害物がない場合の計測点を俯瞰画像上にマッピングした図である。
【図１３】路面上に障害物がある場合の計測点を俯瞰画像上にマッピングした図である。
【図１４】ステレオカメラが、窪みのある路面を撮影する状態を模式的に示す図である。
【図１５】路面上に窪みがある場合の計測点を俯瞰画像上にマッピングした図である。
【発明を実施するための形態】
【００２４】
＜実施の形態＞
＜装置構成＞
図１は、本発明に係る周辺表示装置を搭載した車両ＶＣにおけるステレオカメラの配置例を示す図である。
【００２５】
図１において、車両ＶＣには、前方、左右および後方の画像を取得する４台のステレオカメラと、左斜め前方、左斜め後方、右斜め前方および右斜め後方の画像を取得する４台のステレオカメラとが搭載されている。
【００２６】
すなわち、前方の画像を取得するステレオカメラＳＣ１、前方に対して左側の画像を取得するステレオカメラＳＣ２、後方の画像を取得するステレオカメラＳＣ３および前方に対して右側の画像を取得するステレオカメラＳＣ４と、左斜め前方の画像を取得するステレオカメラＳＣ５、左斜め後方の画像を取得するステレオカメラＳＣ６、右斜め後方の画像を取得するステレオカメラＳＣ７および左斜め前方の画像を取得するステレオカメラＳＣ８を備えている。また、図１では、ステレオカメラＳＣ１〜ＳＣ８のそれぞれでの画角内領域を領域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７およびＲ８で示し、監視範囲を実線で示している。
【００２７】
また、図１では、ステレオカメラＳＣ１〜ＳＣ８のそれぞれに含まれる２台のカメラを、例えばステレオカメラＳＣ１についてはカメラ１ａ、１ｂとして表している。
【００２８】
このようなシステムを用いることで、自車両の周辺の画像データを取得し、それを視点を変えて自車両の上方から見た俯瞰図に変更することが可能となるが、以下の説明では、ステレオカメラＳＣ１で取得した前方画像を使用する場合を例に採って説明する。
【００２９】
なお、各カメラの実際の配置位置は車種によって異なるが、例えば、ステレオカメラＳＣ１はルームミラーの位置に配置され、ステレオカメラＳＣ２およびＳＣ４は、それぞれ、左右のサイドミラーの位置に配置され、ステレオカメラＳＣ４は、リヤバンパーの位置に、ステレオカメラＳＣ５〜ＳＣ８は、何れも車両ＶＣの四隅のバンパーの位置などに配置される。なお、上記配置は一例であり、ステレオカメラの配置はこれに限定されるものではない。
【００３０】
図２は、本発明に係る周辺表示装置１００の構成を示すブロック図である。図２に示すように周辺表示装置１００は、ステレオカメラＳＣ１〜ＳＣ８と、ステレオカメラＳＣ１〜ＳＣ８で得られた画像データの画像処理を行う画像処理装置１０と、画像処理装置１０から出力される処理済みの画像データを表示する表示部２０とを主たる構成として備えている。
【００３１】
画像処理装置１０は、ステレオカメラＳＣ１〜ＳＣ８で得られた画像データを取り込む画像取得部１１と、画像取得部１１で取得した画像データに基づいて３次元情報を計測する３次元情報計測部１２と、画像取得部１１で取得した画像データの視点位置を変更した視点位置変更画像を作成する視点位置変更画像生成部１４と、３次元情報計測部１２で計測された３次元情報に基づいて、視点位置変更画像上の３次元情報から障害物のある領域と推定される障害物領域を判定するとともに、その周辺で３次元情報を取得不能な領域を危険領域と判定する危険領域判定部１３と、危険領域判定部１３での判定結果に基づいて、視点位置変更画像上の危険領域等にマーキングを行う重畳情報画像生成部１５と、各ステレオカメラＳＣ１〜ＳＣ８のそれぞれの画角内領域Ｒ１〜Ｒ８に対応して得られた視点位置変更画像を合成して、車両ＶＣ周辺の俯瞰画像を得る視点位置変更画像合成部１６とを備えている。以下、各部についての説明を行う。
【００３２】
＜画像取得部１＞
ステレオカメラは、２台のカメラで異なる視点から同時に撮影を行うことができ、画像取得部１では、各カメラで得られた画像データを画素単位で取り込む。
【００３３】
＜３次元情報計測部１２＞
３次元情報計測部１２では、ステレオカメラの、２台のカメラでそれぞれ得られた２つの画像の特徴点について相互に対応付けを行う。これは、対応点探索と呼称され、従来的な手法である。
【００３４】
図３は、対応点探索の概念を説明する図であり、ステレオカメラの２台のカメラで撮像された画像の一方を基準画像Ｇａとし、他方を参照画像Ｇｂとして表している。そして、参照画像Ｇｂ上での対応画素（対応点）Ｗｂを探索するための基準画像Ｇａ上で指定される画素をＷａとして設定している。
【００３５】
画素Ｗａの座標が（ｘ，ｙ）で表され、画素Ｗｂの座標が（ｘ’，ｙ’）で表されるならば、両画素の視差ｄは、ｘ−ｘ’で算出される。
【００３６】
なお、対応点探索においては、画像間から勾配法（gradient-based method）により算出する方法や、ＳＡＤ（Sum of Absolute Difference）法と呼ばれる方法が知られている。この方法は、ステレオカメラのように異なる視点から撮影した２つの画像のうち、一方の画像である基準画像上の注目点に対して、この注目点を内包するようなウィンドウを設定するとともに、他方の画像である参照画像上にも同サイズのウィンドウを複数設定し、基準画像上のウィンドウと、参照画像上の各ウィンドウ間で相関値を算出して、最も相関値が高い参照画像上のウィンドウを探索し、そのウィンドウの重心位置を注目点の対応点として求める方法である。
【００３７】
また、位相限定相関法（ＰＯＣ法）を用いた方法もある。この方法は、基準画像上のピクセルレベルの注目点 に対応する参照画像上のピクセルレベルの対応点を算出した後に、注目点に対する対応点のサブピクセルレベルのずれ量を求めるものであり、高精度な対応付けが可能となる。
【００３８】
そして、算出された対応点に対して、平行化、歪補正、３次元再構成の処理を行うことで３次元情報を取得する。
【００３９】
＜危険領域判定部１３＞
危険領域判定部１３では、３次元情報計測部１２から提供される３次元情報に基づいて、障害物領域を判定するとともに危険領域を判定するが、危険領域の判定方法には以下の２通りの方法がある。
【００４０】
＜危険領域の判定方法１＞
３次元情報計測部１２から提供される３次元情報には、ステレオカメラで撮像された画像の視差情報が含まれており、これと、予め保持している路面の画像についての視差情報をテーブル化した視差テーブルとを比較することで、まず障害物領域を特定する。以下、図４〜図９を用いて具体的に説明する。
【００４１】
図４は、車両ＶＣの進行方向（ｚ方向）の前方を撮影するステレオカメラＳＣ１が、路面を撮影する状態を模式的に示しており、ステレオカメラＳＣ１の画角内領域Ｒ１において対応点探索を行う計測点Ｍ１を模式的に示している。
【００４２】
図５は、路面の２次元画像に計測点Ｍ１を重ねて示した図であり、図においてｘ方向が路面を横断する方向であり、ｚ方向が路面の延在する方向である。計測点Ｍ１は、図の手前側ほど多く、遠くになるほど少なくなっている。図６では、路面上に障害物は存在しておらず、視差テーブルと路面の画像についての視差情報（実際の計測視差）とが一致している状態を表している。
【００４３】
図６は、視差テーブルと実際の計測視差との関係を示す図であり、路面の２次元画像における計測点Ｍ１をｚ方向のレベルごとに階層分けして示している。ここで、視差テーブルにおいて、最下層での視差を基準視差αとすると、次のレベルでの視差は基準視差αよりも数値ａの分だけ小さくなった値（α−ａ）として表される。さらに、次のレベルでの視差は基準視差αよりも数値ｂの分だけ小さくなった値（α−ｂ）で表され、さらに、次のレベルでの視差は基準視差αよりも数値ｃの分だけ小さくなった値（α−ｃ）で表される。ここで、数値ａ〜ｃの大小関係は、数値ａが最も小さく、数値ｃが最も大きく（ｃ＞ｂ＞ａ）、カメラから遠いほど視差が小さくなることを表している。
【００４４】
視差テーブルは、路面上に障害物が存在しない状態で撮影した路面の画像から取得したものであるので、路面上に障害物が存在しない場合は、実際の計測視差ｄ（ｉ，ｊ）と視差テーブルの視差とは一致し、最下層ではｄ（ｉ，ｊ）＝α、 次のレベルではｄ（ｉ，ｊ）＝α−ａ、さらに次のレベルではｄ（ｉ，ｊ）＝α−ｂ、さらに次のレベルではｄ（ｉ，ｊ）＝α−ｃとなる。ここで、ｉは画像横方向（ｘ方向）の指定位置を表し、ｊは画像縦方向（ｚ方向）の指定位置を表す。
【００４５】
図７は、路面上に障害物がある場合に、ステレオカメラＳＣ１が、路面を撮影する状態を模式的に示しており、路面上の計測点Ｍ１と、障害物ＯＢ上の計測点Ｍ２とが模式的に示されている。
【００４６】
図７に示されるように、路面上に障害物ＯＢが存在する場合、障害物ＯＢの表面に計測点Ｍ２が設定される一方で、障害物ＯＢの背後の路面上には、計測点Ｍ１が設定されないこととなる。
【００４７】
図８は、路面上に障害物ＯＢが存在する場合の視差テーブルと実際の計測視差との関係を示す図であり、障害物ＯＢは枠線で囲まれた領域として示されている。
【００４８】
障害物ＯＢが図７に示すような立方体である場合、車両ＶＣに対面する表面に計測点Ｍ２が設定され、その表面の位置は、路面の２次元画像における各計測点レベルの何れかに存在することとなる。その表面は、図８ではα−ａのレベルに存在するので、計測点Ｍ２の視差はどこの値であってもα−ａとなる。
【００４９】
従って、障害物ＯＢが存在することで、実際の計測視差ｄ（ｉ，ｊ）と視差テーブルの視差とが一致しない領域が現れることとなる。従って、実際の計測視差ｄ（ｉ，ｊ）と視差テーブルの視差とが一致しない領域が確認された場合、各計測点の座標（ｉ，ｊ）から、当該領域のｘ方向の長さと、ｘ方向における位置を取得し、当該ｘ方向の長さと位置の情報を、車両ＶＣに対面する表面が存在するレベル、ここでは視差α−ａのレベルに当てはめることで障害物領域を特定する。
【００５０】
障害物領域の背後には、ステレオカメラＳＣ１の画角によって決まる、視差を計測不可能な未計測領域が存在することとなり、当該領域は障害物領域ＯＲに隠れて見えない危険領域ＤＲと判断する。
【００５１】
図９は、車両ＶＣの上方から見た３次元の俯瞰図の一例であり、車両ＶＣの前方に、上述した方法で求めた障害物領域ＯＲが示され、その背後には、障害物領域ＯＲに隠れて見えない危険領域ＤＲが示されている。
【００５２】
図９は、図５に示された路面の２次元画像の視点変換を行って作成されるものであり、視点変換を行った結果、計測点Ｍ１は、車両ＶＣから離れるほど間隔が広くなり、危険領域ＤＲは台形状に広がった領域として表されている。
【００５３】
このように、実際の計測視差ｄ（ｉ，ｊ）と視差テーブルの視差との比較を行うことで、容易に障害物領域を特定することができ、障害物領域を特定した後は、ステレオカメラの画角によって決まる、視差を計測不可能な未計測領域を危険領域として特定することで、オクルージョン領域を考慮した表示が可能となる。
【００５４】
ここで、視差テーブルは、予め路面を撮影して取得した視差値を固定値として用いても良いが、定期的（分刻み）に路面を撮影して視差値を取得し、随時更新する構成としても良い。例えば、平坦な路面と坂道とでは路面の状態が変わるので、このような場合には有効である。
【００５５】
また、図５に示したように、計測点Ｍ１は、図の手前側、すなわちカメラに近いほど多く、遠くになるほど少なく、各レベルでは、同じ視差となるので、視差と計測点の個数（度数）との関係をヒストグラムにして表すと図１０に示すようになる。
【００５６】
すなわち、図１０において、カメラから遠い位置では視差は小さく、カメラに近づくにつれて段階的に視差が大きくなるようなヒストグラムとなる。
【００５７】
しかし、障害物が存在する場合、この階段状のヒストグラムが得られず、何れかの視差のみ度数が突出したり、逆に、度数が減少した形状となる。この状態を図１１に示す。
【００５８】
図１１においては、度数が突出した部分にハッチングを付しているが、この視差を有するレベルに障害物が存在するということが判る。また、度数が突出した視差の手前、すなわち障害物が存在するレベルより遠い位置では、度数が減少しており、度数が減少している視差の範囲から、危険領域を特定することができる。
【００５９】
また、３次元情報計測部１２において３次元情報を得るにはカメラパラメータを使用するが、この３次元情報に基づいて得られる３次元上の計測点を路面と想定される平面にマッピングすることで、マッピング結果の計測点の粗密状態から障害物領域および危険領域を特定することができる。
【００６０】
図１２は、路面上に障害物がない場合の計測点Ｍ１を俯瞰画像上にマッピングした図であり、計測点の分布に粗密は見られない。
【００６１】
図１３は、路面上に障害物がある場合の計測点Ｍ１を俯瞰画像上にマッピングした図であり、障害物の表面上には計測点Ｍ２が存在するものの、奥行き方向、すなわちｚ方向では計測点が存在せず、計測点の分布に粗密が発生する。障害物の表面位置を知ることで、障害物領域を特定することができ、計測点が存在しない領域から危険領域を特定することができる。なお、障害物がある場合の計測点Ｍ１の粗密度の判定は、予め取得した路面上に障害物がない場合の計測点Ｍ１のマッピング結果と比較することで行う。
【００６２】
このように、３次元上の計測点の粗密状態を判定基準として用いることで、正確な物体検出処理を必要とせずに障害物領域および危険領域を特定することができる。
【００６３】
なお、この方法を用いることで、路面上に突出する障害物だけでなく、路面の窪みなどの障害物も特定することができる。
【００６４】
図１４は、車両ＶＣの進行方向（ｚ方向）の前方を撮影するステレオカメラＳＣ１が、路面を撮影する状態を模式的に示しており、ステレオカメラＳＣ１の画角内領域Ｒ１において路面に窪みＣＰがある場合を模式的に示している。
【００６５】
図１４において、画角内領域Ｒ１では、窪みＣＰ以外では計測点Ｍ１が存在するが、窪みＣＰでは、計測点Ｍ１が存在せず、窪みの一方の壁面、すなわち車両ＶＣから見える側の壁面にのみ計測点Ｍ２が存在することとなる。
【００６６】
図１５は、路面上に窪みＣＰがある場合の計測点Ｍ１およびＭ２を俯瞰画像上にマッピングした図であり、窪みＣＰの車両ＶＣの進行方向（ｚ方向）の奥側の壁面には計測点Ｍ２が存在するものの、その手前側は計測点Ｍ１もＭ２も存在しない領域となっている。この場合、計測点Ｍ１もＭ２も存在しない領域によって危険領域ＤＲが特定される。
【００６７】
＜危険領域の判定方法２＞
以上説明した危険領域の判定方法１では、視差情報を用いて障害物を検出していたが、障害物の検出方法はこれに限定されるものではなく、従来的な方法を用いて障害物を検出しても良い。
【００６８】
例えば、障害物となる可能性のある物体についてのテンプレートを予め準備しておき、ステレオカメラを構成する２つのカメラの一方で得られた２次元画像にテンプレートを当てはめ、パターンマッチングを行って、マッチングした場合には当該テンプレートに相当する物体があると判断する手法を採っても良い。
【００６９】
また、２次元画像より算出された特徴量に対して、教師データを当てはめ、パターンマッチングを行って、マッチングした場合には当該教師データに相当する物体があると判断する手法を採っても良い。
【００７０】
また、ステレオカメラを用いて取得した３次元情報に基づいて、実空間上の位置を算出し、道路モデルに基づいて、横方向および視差方向（距離方向）において位置的に対応する道路面の高さと比較して、前記位置が道路面より上にある場合には、その位置のデータを立体物を表すデータとして抽出することで、路面上の障害物を検出する手法を採っても良い。この方法については、特開２００６−１３４０３５号公報に開示がある。
【００７１】
なお、検出された障害物に対応する危険領域の判定は、視点位置変更画像生成部１４において生成された視点位置変更後の俯瞰画像における障害物の位置に基づいて判定を行う。この判定では、ステレオカメラＳＣ１の画角と障害物の位置との関係で決まるオクルージョン領域を障害物領域とすることが現実的である。この場合、図２に示す構成において、視点位置変更画像生成部１４において生成された視点位置変更後の俯瞰画像データを危険領域判定部１３に取り込むことになる。
【００７２】
＜視点位置変更画像生成部１４＞
視点位置変更画像生成部１４では、ステレオカメラで撮影された画像を、自車両の上方から見た俯瞰画像にするための視点位置の変更（座標変換）を行う。この処理は公知の技術を用いれば良く、撮影レンズの光軸の向き、撮影レンズの特性などの撮影条件に基づいて予め作成され、ステレオカメラで撮影された画像の各点と、俯瞰画像の各点とを対応付ける変換テーブルを用いて変換を行う方法が一般的である。
【００７３】
＜重畳情報画像生成部１５＞
重畳情報画像生成部１５は、視点位置変更画像生成部１４で生成された俯瞰画像上の障害物領域および危険領域にマーキング画像の重畳を行う。
【００７４】
これは、俯瞰画像上の対象領域にレイヤー画像を重畳して色付けを行う処理であり、運転者が車内モニターを見て判りやすいようにマーキングを行う処理である。
【００７５】
なお、危険領域等にマーキングを行うのではなく、正確な３次元情報を取得でき、安全に走行できる領域にマーキングを行うようにしても良い。
【００７６】
＜視点位置変更画像合成部１６＞
視点位置変更画像合成部１６では、重畳情報画像生成部１５で生成されたマーキング済みの俯瞰画像を含めて、各ステレオカメラで得られた画像を視点位置変更して得られた俯瞰画像を合成して、車両ＶＣ周辺の俯瞰画像を取得する。
【００７７】
＜表示部２０＞
表示部２０は車内モニターに相当し、画像処理装置１０から出力される処理済みの画像データを表示するが、危険領域が多い場合は、警告音や音声ガイダンス等で、運転者の注意を喚起しやすい方法で警告を行うようにしても良い。
【００７８】
＜変形例＞
以上説明した周辺表示装置１００においては、自車両の前方画像を例に採って説明したが、ステレオカメラＳＣ１〜ＳＣ８の何れで撮影された画像についても、障害物領域および危険領域の検出をすることは可能であり、例えば、車庫入れや、幅寄せの際には後方および側方のステレオカメラで撮影された画像について同様の処理を行えば良い。
【符号の説明】
【００７９】
ＳＣ１〜ＳＣ８ ステレオカメラ
ＯＲ 障害物領域
ＤＲ 危険領域
ＯＢ 障害物
ＶＣ 車両
【特許請求の範囲】
【請求項１】
自走可能な移動体における周辺の画像データを取得する画像取得部と、
前記画像データに基づいて３次元情報を計測する３次元情報計測部と、
前記画像データの視点位置を、前記移動体の上方から俯瞰する位置に変更した視点位置変更画像を作成する視点位置変更画像生成部と、
前記３次元情報に基づいて、前記視点位置変更画像上の障害物のある領域と推定される障害物領域を特定するとともに、前記障害物領域の周辺で前記３次元情報を取得不能な領域を危険領域として判定する危険領域判定部と、を備え、
前記危険領域判定部での判定結果を受け、前記障害物領域および前記危険領域が存在する場合には警告を与える、周辺表示装置。
【請求項２】
前記画像データは、ステレオカメラによって取得され、
前記画像取得部は、
前記ステレオカメラで得られた２つの画像の特徴点を相互に対応付けし、その結果得られた視差から画像上の各点の３次元位置を算出することで３次元情報を取得し、
前記危険領域判定部は、
前記３次元情報に含まれる視差情報と、予め保持している路面の画像についての視差情報をテーブル化した視差テーブルとを比較することで、前記障害物領域を特定し、前記障害物領域の背後の、前記３次元情報を取得不能で視差を計測不可能な領域を前記危険領域として判定する、請求項１記載の周辺表示装置。
【請求項３】
前記視差テーブルは、前記路面の画像を更新することで随時更新される、請求項２記載の周辺表示装置。
【請求項４】
前記危険領域判定部は、
前記３次元情報に基づいて得られる３次元空間上の計測点を路面と想定される平面にマッピングした場合に、前記計測点が疎らな領域を前記危険領域として判定し、前記危険領域の近傍であって前記計測点が密集する領域を前記障害物領域として判定する、請求項１記載の周辺表示装置。
【請求項５】
前記危険領域判定部は、
予め取得した前記路面の画像についての前記計測点のマッピングの分布状態との比較により前記計測点の粗密を判定する、請求項４記載の周辺表示装置。
【請求項６】
自走可能な移動体における周辺の画像データを取得する画像取得部と、
前記画像データに基づいて３次元情報を計測する３次元情報計測部と、
前記画像データの視点位置を、前記移動体の上方から俯瞰する位置に変更した視点位置変更画像を作成する視点位置変更画像生成部と、
前記画像データに基づいて障害物を特定するとともに、前記視点位置変更画像における前記障害物の位置に基づいて危険領域を判定する危険領域判定部と、を備え、
前記危険領域判定部での判定結果を受け、前記障害物領域および前記危険領域が存在する場合には警告を与える、周辺表示装置。
【請求項７】
前記危険領域判定部は、
前記視点位置変更画像における前記障害物の存在する位置でのオクルージョン領域を前記障害物領域として判定する、請求項６記載の周辺表示装置。
【請求項８】
前記オクルージョン領域は、前記画像データを取得したカメラの画角と前記障害物の位置との関係に基づいて定められる、請求項７記載の周辺表示装置。
【請求項９】
前記危険領域判定部での判定結果に基づいて、前記視点位置変更画像上の前記危険領域にマーキング画像を重畳する重畳情報画像生成部を備える、請求項１または請求項６記載の周辺表示装置。
【請求項１】
自走可能な移動体における周辺の画像データを取得する画像取得部と、
前記画像データに基づいて３次元情報を計測する３次元情報計測部と、
前記画像データの視点位置を、前記移動体の上方から俯瞰する位置に変更した視点位置変更画像を作成する視点位置変更画像生成部と、
前記３次元情報に基づいて、前記視点位置変更画像上の障害物のある領域と推定される障害物領域を特定するとともに、前記障害物領域の周辺で前記３次元情報を取得不能な領域を危険領域として判定する危険領域判定部と、を備え、
前記危険領域判定部での判定結果を受け、前記障害物領域および前記危険領域が存在する場合には警告を与える、周辺表示装置。
【請求項２】
前記画像データは、ステレオカメラによって取得され、
前記画像取得部は、
前記ステレオカメラで得られた２つの画像の特徴点を相互に対応付けし、その結果得られた視差から画像上の各点の３次元位置を算出することで３次元情報を取得し、
前記危険領域判定部は、
前記３次元情報に含まれる視差情報と、予め保持している路面の画像についての視差情報をテーブル化した視差テーブルとを比較することで、前記障害物領域を特定し、前記障害物領域の背後の、前記３次元情報を取得不能で視差を計測不可能な領域を前記危険領域として判定する、請求項１記載の周辺表示装置。
【請求項３】
前記視差テーブルは、前記路面の画像を更新することで随時更新される、請求項２記載の周辺表示装置。
【請求項４】
前記危険領域判定部は、
前記３次元情報に基づいて得られる３次元空間上の計測点を路面と想定される平面にマッピングした場合に、前記計測点が疎らな領域を前記危険領域として判定し、前記危険領域の近傍であって前記計測点が密集する領域を前記障害物領域として判定する、請求項１記載の周辺表示装置。
【請求項５】
前記危険領域判定部は、
予め取得した前記路面の画像についての前記計測点のマッピングの分布状態との比較により前記計測点の粗密を判定する、請求項４記載の周辺表示装置。
【請求項６】
自走可能な移動体における周辺の画像データを取得する画像取得部と、
前記画像データに基づいて３次元情報を計測する３次元情報計測部と、
前記画像データの視点位置を、前記移動体の上方から俯瞰する位置に変更した視点位置変更画像を作成する視点位置変更画像生成部と、
前記画像データに基づいて障害物を特定するとともに、前記視点位置変更画像における前記障害物の位置に基づいて危険領域を判定する危険領域判定部と、を備え、
前記危険領域判定部での判定結果を受け、前記障害物領域および前記危険領域が存在する場合には警告を与える、周辺表示装置。
【請求項７】
前記危険領域判定部は、
前記視点位置変更画像における前記障害物の存在する位置でのオクルージョン領域を前記障害物領域として判定する、請求項６記載の周辺表示装置。
【請求項８】
前記オクルージョン領域は、前記画像データを取得したカメラの画角と前記障害物の位置との関係に基づいて定められる、請求項７記載の周辺表示装置。
【請求項９】
前記危険領域判定部での判定結果に基づいて、前記視点位置変更画像上の前記危険領域にマーキング画像を重畳する重畳情報画像生成部を備える、請求項１または請求項６記載の周辺表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２８７０２９（Ｐ２０１０−２８７０２９Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１４０１１４（Ｐ２００９−１４０１１４）
【出願日】平成２１年６月１１日（２００９．６．１１）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１１日（２００９．６．１１）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]