周辺表示装置
【課題】１台のステレオカメラで周辺を見る画角を広げることが可能なシステムにおいて、統合処理や画像変換処理の負担を増大させることなく、かつ、対応点探索における対応付け精度を低下させることのない周辺表示装置を提供する。
【解決手段】ステレオカメラＳＣで撮影された画像データが入力される画像入力部１１と、画像入力部１１から出力される画像データに基準点および比較点を設定するポイント設定部と、基準点が設定された基準画像データおよび比較点が設定された比較画像データにウインドウを設定するウインドウ設定部１３と、ウインドウが設定された画像データに対応点探索処理を施す対応点探索処理部１４とを備えている。
【解決手段】ステレオカメラＳＣで撮影された画像データが入力される画像入力部１１と、画像入力部１１から出力される画像データに基準点および比較点を設定するポイント設定部と、基準点が設定された基準画像データおよび比較点が設定された比較画像データにウインドウを設定するウインドウ設定部１３と、ウインドウが設定された画像データに対応点探索処理を施す対応点探索処理部１４とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自走可能な移動体の周辺状況を表示する周辺表示装置に関する。
【背景技術】
【０００２】
近年、自走可能な移動体、例えば自動車において、複数台のカメラを用いて、前方を含めた周辺の画像を撮像し、車載表示装置に表示させる周辺表示装置が開発されている。
【０００３】
このような周辺表示装置において、ステレオカメラを用いて３次元画像を表示させる場合、１台当たりの視野角が重要となる。すなわち、視野角が狭いと、より多くのカメラセットが必要となり、統合処理や画像変換処理の負担が増大することになる。
【０００４】
しかし、一般的な広画角レンズを使用した場合、画像全体に対しての歪みの影響が大きくなる点や、必要とする方向（水平方向）の視野角だけでなく、不要な方向（垂直方向）の視野角も同時に大きくなるため、ステレオカメラとして用いる場合は、対応点探索における対応付け精度の低下に繋がるという点で問題がある。
【０００５】
つまり、垂直方向の画角については広画角である必要はなく、水平方向のみ広画角で画像を取得できる変倍率のレンズ（変倍レンズ）を用いたシステムが望ましい。
【０００６】
変倍率率のレンズを用いて３次元形状や、奥行き情報を非接触に測定するシステムとして、特許文献１には、シリンドリカルレンズを組み合わせることで、視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くして分解能の高い画像を得るシステムが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−１２９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１で開示されるシステムは、移動体に搭載されるシステムではなく、単純に移動体に搭載しても、周辺表示装置に組み込むことはできない。
【０００９】
本発明は上記のような問題点を解消するためになされたもので、自動車などの自走可能な移動体において、ステレオカメラを用いて周辺の画像を３次元表示させる場合、ステレオカメラにアナモフィックレンズなどの変倍率のレンズ（変倍レンズ）を用いることで、１台のステレオカメラで周辺を見る画角を広げることが可能なシステムにおいて、統合処理や画像変換処理の負担を増大させることなく、かつ、対応点探索における対応付け精度を低下させることのない周辺表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る周辺表示装置の第１の態様は、自走可能な移動体における周辺の画像データを取得するステレオカメラと、前記画像データから３次元情報を取得する３次元情報取得部とを備え、前記ステレオカメラは、縦横の倍率が異なる変倍レンズを介して前記画像データを取得し、前記３次元情報取得部は、前記画像データの所定の領域に対してウインドウを設定するウインドウ設定部と、前記画像データに対して対応点探索を実行する対応点探索処理部を有し、前記ウインドウ設定部は、前記対応点探索処理部での対応点探索に使用される前記ウインドウのパラメータを、前記変倍レンズの縦横の倍率比に合わせて変更する。
【００１１】
本発明に係る周辺表示装置の第２の態様は、前記ウインドウの前記パラメータが、前記ウインドウの画素数の縦横比である。
【００１２】
本発明に係る周辺表示装置の第３の態様は、前記ウインドウの前記画素数の縦横比が、前記ウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように設定される。
【００１３】
本発明に係る周辺表示装置の第４の態様は、前記ウインドウの前記パラメータが、前記ウインドウ内に乗算される重み付け関数であって、前記重み付け関数の縦方向および横方向での形状を、前記変倍レンズによる画像の光学的な変形に合わせて変更する。
【００１４】
本発明に係る周辺表示装置の第５の態様は、前記ウインドウの前記パラメータが、前記ウインドウ内の計算対象領域の画素数の縦横比である。
【００１５】
本発明に係る周辺表示装置の第６の態様は、前記変倍レンズとしてアナモフィックレンズを用いる。
【００１６】
本発明に係る周辺表示装置の第７の態様は、前記変倍レンズとして中心窩レンズを用いる。
【００１７】
本発明に係る周辺表示装置の第８の態様は、前記ウインドウ設定部が、前記変倍レンズ上の位置による倍率の変化に合わせて、前記ウインドウのパラメータを変化させ、前記変倍レンズ上の位置による倍率の変化のデータは、前記周辺表示装置内のデータテーブル内に予め格納される。
【００１８】
本発明に係る周辺表示装置の第９の態様は、前記対応点探索に、位相限定相関法を用いる。
【発明の効果】
【００１９】
本発明に係る周辺表示装置の第１の態様によれば、ステレオカメラに変倍レンズを用いることで、統合処理や画像変換処理の負担を増大させることなく、かつ、対応点探索における対応付け精度を低下させることのない周辺表示装置が得られる。
【００２０】
本発明に係る周辺表示装置の第２の態様によれば、ウインドウの画素数の縦横比をウインドウのパラメータとして変倍レンズの縦横の倍率比に合わせて変更することで、対応点探索における対応付け精度を低下させることのない周辺表示装置が得られる。
【００２１】
本発明に係る周辺表示装置の第３の態様によれば、物体面に対して演算の周波数特性が等方となる。
【００２２】
本発明に係る周辺表示装置の第４の態様によれば、重み付け関数の縦方向および横方向での形状を、変倍レンズによる画像の光学的な変形に合わせて変更することで、対応点探索における対応付け精度を低下させることのない周辺表示装置が得られる。
【００２３】
本発明に係る周辺表示装置の第５の態様によれば、ハードウエア構成が複雑化することを防止できる。
【００２４】
本発明に係る周辺表示装置の第６の態様によれば、水平方向のみ広画角で画像を取得できる。
【００２５】
本発明に係る周辺表示装置の第７の態様によれば、端縁部を大幅に圧縮させた画像を取得できる。
【００２６】
本発明に係る周辺表示装置の第８の態様によれば、変倍レンズ上の位置による倍率の変化のデータをデータテーブル内に有するので、レンズが決まれば、自動的に、ウインドウの縦横比を変化させることができる。
【００２７】
本発明に係る周辺表示装置の第９の態様によれば、対応点探索に位相限定相関法を用いるので、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。
【図面の簡単な説明】
【００２８】
【図１】アナモフィックレンズの特性を模式的に示す図である。
【図２】本発明に係る周辺表示装置の構成を示すブロック図である。
【図３】基準点設定部における設定動作を模式的に示す図である。
【図４】基準点設定部における設定動作を説明するフローチャートである。
【図５】基準ウインドウ設定部における設定動作を模式的に示す図である。
【図６】位相限定相関法を用いた対応点探索処理を説明するための図である。
【図７】位相限定相関法を用いた処理結果を示す図である。
【図８】撮影対象となる物体面を表す図である。
【図９】アナモフィックレンズを介して撮影された画像面を表す図である。
【図１０】物体面に対して等方的なウインドウを設定した図である。
【図１１】アナモフィックレンズを介して撮影された画像面に発明に係るウインドウを設定した図である。
【図１２】アナモフィックレンズを介して撮影された画像面に等方的なウインドウを設定した図である。
【図１３】物体面に対して非等方的なウインドウを設定した図である。
【図１４】中心窩レンズの各位置でのウインドウサイズの一例を模式的に示す図である。
【図１５】一般的な窓関数を示す図である。
【図１６】本発明に適用する窓関数を示す図である。
【図１７】本発明に適用する窓関数を示す図である。
【図１８】ウインドウ内の計算対象領域を縦、横で変更する例を模式的に示す図である。
【発明を実施するための形態】
【００２９】
＜実施の形態＞
＜装置構成＞
図１は、アナモフィックレンズの特性を模式的に示す図である。アナモフィックレンズとは変倍率レンズの一種であり、シリンダーレンズ、円柱レンズとも呼称され、シネマスコープなどに用いられる。
【００３０】
構造的には、光軸に沿った前後両面が軸を平行とする２つの円筒形の曲面で形成されており、凸型と凹型とがある。撮影の際にこのレンズを用いることで、円筒の軸と垂直な方向のみを圧縮することが可能である。
【００３１】
図１に示すアナモフィックレンズＡＬは、円筒の軸（Ｙ軸方向）と垂直な方向（Ｘ軸方向）に画像を圧縮するように構成されており、被写体Ａ１をアナモフィックレンズＡＬを通して撮影することで、画面ＰＮ上にはＸ軸方向に圧縮された画像Ａ２が映されることになる。
【００３２】
図２は、本発明に係る周辺表示装置１００の構成を示すブロック図である。図２に示すように周辺表示装置１００は、ステレオカメラＳＣと、ステレオカメラＳＣで得られた画像データの画像処理を行う画像処理装置１０と、画像処理装置１０から出力される処理済みの画像データを表示する表示部２０とを主たる構成として備えている。
【００３３】
ステレオカメラＳＣは、アナモフィックレンズをレンズ系に有し、基準画像を撮影するカメラ１ａと、アナモフィックレンズをレンズ系に有し、参照画像を撮影するカメラ１ｂとで構成され、カメラ１ａで撮影された基準画像の画像データ（基準画像データ）は、画像入力部１１内の基準画像入力部１１ａに画素単位で与えられ、カメラ１ｂで撮影された参照画像の画像データ（参照画像データ）は、画像入力部１１内の参照画像入力部１１ｂに画素単位で与えられる。
【００３４】
基準画像入力部１１ａおよび参照画像入力部１１ｂのそれぞれからは、画像データがポイント設定部１２の基準点設定部１２ａおよび比較点設定部１２ｂに与えられる。基準点設定部１２ａでは、対応点探索を行うための基準点が設定され、比較点設定部１２ｂでは基準点に対応する比較点が設定される。
【００３５】
基準点が設定された基準画像データおよび比較点が設定された比較画像データは、それぞれウインドウ設定部１３の、基準点ウインドウ設定部１３ａおよび比較点ウインドウ設定部１３ｂに与えられて、基準点を中心とするウインドウ、および比較点を中心とするウインドウが設定される。
【００３６】
ウインドウが設定された画像データは、対応点探索処理部１４に与えられて、対応点探索処理が実行される。なお、対応点探索処理については後に説明する。なお、ポイント設定部１２、ウインドウ設定部１３および対応点探索処理部１４は、画像データに基づいて３次元情報を取得するので３次元情報取得部と総称する。
【００３７】
対応点探索処理が終了した後は、算出された対応点に対して、平行化、歪補正、３次元再構成等の処理を行うことで３次元情報を取得し、当該３次元情報に基づいて３次元画像データを算出する。なお、これらの処理を行う構成については従来的ものであれば良く、本願発明との関係が薄いので、図示および説明は省略する。そして、３次元画像データは、表示部２０において３次元画像として表示される。
【００３８】
次に、各構成について以下にさらに説明する。
【００３９】
＜ポイント設定部１２＞
図３は、ポイント設定部１２の基準点設定部１２ａにおける設定動作を模式的に示す図である。
【００４０】
図３において、基準画像データＤ１上の注目画素ＰＸを決め、対応点探索処理を行って対応する参照画像データ上の対応点を求める。そして、対応点が求まると、次の注目画素Ｐ１を設定し、同様に対応点探索処理を行う。なお、注目画素の設定は、画像列を一方の端から他方の端に向けてスキャンするように行い、他方の端に達すると、下段の画素列の一方の端に移動する。このような動作を、基準画像データＤ１上で、注目画素Ｐ２、Ｐ３と設定しながら繰り返して行い、探索対象画素が無くなれば、当該基準画像データＤ１に関する処理が終わる。
【００４１】
上記動作を図４のフローチャートに示す。図４に示すように、処理を開始すると、基準画像データＤ１上をスキャンするように注目画素を設定し（ステップＳ１）、設定した注目画素についての対応点探索演算を実行する（ステップＳ２）。そして、設定した注目画素についての対応点探索演算が終了すると、ステップＳ１に戻って、次の注目画素を設定する。探索対象画素が無くなり、スキャンが終了すると一連の処理が終了する。
【００４２】
比較点設定部１２ｂでは、基準点設定部１２ａで設定された注目画素に対応する画素を探すために、基準点設定部１２ａと同様のスキャン動作により設定を行う。
【００４３】
＜ウインドウ設定部１３＞
図５は、ウインドウ設定部１３の基準ウインドウ設定部１３ａにおける設定動作を模式的に示す図である。
【００４４】
図５において、基準点設定部１２ａで設定された注目画素ＰＸを基準点とし、演算対象領域を規定するウインドウＷＤを設定する。
【００４５】
ここで、当該ウインドウＷＤは、画像データがアナモフィックレンズを介して取得されているので、アナモフィックレンズのパラメータにより決定される。
【００４６】
例えば、垂直方向に対する水平方向の比率（圧縮比）が１／４となるレンズを使用する場合は、ウインドウＷＤの縦（Ｙ軸方向）横（Ｘ軸方向）の比率を４対１となるように設定し、垂直方向に対する水平方向の比率が１／２となるレンズを使用する場合は、ウインドウＷＤの縦横の比率が２対１となるように設定する。
【００４７】
なお、比較点ウインドウ設定部１３ｂにおいては、比較点設定部１２ｂで設定された注目画素を基準点とし、演算対象領域を規定するウインドウを設定するが、ウインドウの設定方法は上記と同様である。
【００４８】
ここで、レンズ特性については、例えば、画像処理装置１０内に、予め種々のカメラ（変倍率率レンズを含んだ）に対するレンズ特性をデータテーブル等に記憶させておき、ステレオカメラＳＣ（図２）と画像処理装置１０とを接続したときに、画像処理装置１０がステレオカメラＳＣを構成するカメラの種類を判別して、上記データテーブルからレンズ特性を読み出してウインドウ設定部１３に情報を与えるようにすれば良い。また、ステレオカメラＳＣを構成するカメラから、レンズ特性を画像処理装置１０に与えるような構成であれば、ウインドウ設定部１３で、その情報を受けるようにすれば良い。
【００４９】
なお、上記のようにアナモフィックレンズの特性が判明している場合は、それに合わせてウインドウの縦横比を設定すれば良いが、特性が判らない場合は、縦方向が長くなるようなウインドウサイズ、例えば縦横の比率を２対１に一律に設定する構成を採れば、精度低下を軽減できる。
【００５０】
＜対応点探索処理部１４＞
図６および図７を用いて、対応点探索処理部１４での対応点探索処理について説明する。対応点探索処理部１４では、対応点探索処理に位相限定相関法（ＰＯＣ：Phase Only Correlation)を用いる。
【００５１】
図６は、位相限定相関法を用いた対応点探索処理を説明するための図である。位相限定相関法を用いた対応点探索処理では、まず基準画像上のウインドウ内の画像と、参照画像上のウインドウ内の画像とが抽出される。これらの画像については、次の数式のように表されるものとする。
【００５２】
【数１】
【００５３】
ここで、上記の数式におけるｆ(ｎ1,ｎ2)およびｇ(ｎ1,ｎ2)は、基準画像上のウインドウ内の画像および参照画像上のウインドウ内の画像を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【００５４】
次に、基準画像および参照画像のウインドウ内の各画像に対し、次の数式に示す演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂを行う。
【００５５】
【数２】
【００５６】
なお、上記の数式のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
【００５７】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像に対しては、次の数式に示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。
【００５８】
【数３】
【００５９】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数式に示す演算式を用いた合成処理Ｔ３が行われる。
【００６０】
【数４】
【００６１】
合成処理Ｔ３とともに、次の数式に示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【００６２】
【数５】
【００６３】
以上の位相限定相関法を用いた処理により、例えば図７に示すような結果が得られる。この図７においては、ウインドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＪｃに対応する参照画像上のウインドウ内の位置が、基準画像上のウインドウの中心点(指定点)に対応した参照画像上の対応点に相当することとなる。
【００６４】
以上のような位相限定相関法を用いた対応点探索処理によれば、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。
【００６５】
なお、本願では、先に説明したように、ウインドウの設定に特徴を有している。
【００６６】
＜ウインドウ設定の具体例＞
次に、図８〜図１３を用いて、ウインドウ設定の具体例について説明する。
【００６７】
図８は、撮影対象となる物体面を表しており、自車両ＭＶの運転席から前方を見た状態を表している。
【００６８】
図９は、図８に示す物体面のうち、枠線で囲まれた領域ＲＩについてアナモフィックレンズを介して撮影された画像面を表しており、水平方向が圧縮されて、垂直方向に伸長していることが判る。
【００６９】
ここで、対応点探索を行うために、図１０に示すように、物体面に対して演算の周波数特性が等方となるように等方的なウインドウＷ１を設定した場合、アナモフィックレンズを介して得られた画像面上では、物体面と同様の周波数特性を含むように演算領域を設定するために、図１１に示すウインドウＷ２のように垂直方向に伸長したウインドウサイズとすることが望ましい。このときに、先に説明したように、ウインドウ設定部１３では、アナモフィックレンズのレンズ特性に基づいてウインドウの縦横比を設定することで、対応付け精度の低下を防止することができる。
【００７０】
一方、図１２に示すように、図１１に示したウインドウＷ２と同じ面積（画素数）を有し、等方的に設定されたウインドウＷ３を画像面上に設定した場合、ウインドウＷ２と同レベルの情報量を含んでいるため、図１１の場合と同精度での対応点探索が可能となるが、画像面上で等方的なウインドウを設定すると、物体面上でのウインドウは図１３に示すウインドウＷ４のように、縦横比が大きく変わり、算出可能な周波数特性が大きく異なることとなる。この結果、対応点算出領域における被写体パターンの姿勢依存性が大きくなることとなり、望ましくはない。
【００７１】
また、図１２に示すウインドウＷ３のように、水平方向に長いウインドウを設定すると、水平方向に圧縮された画像面では、遠近競合が生じ、遠近の判別が難しくなるという問題もある。
【００７２】
＜アナモフィックレンズ以外のレンズへの適用＞
以上の説明においては、変倍率レンズとしてアナモフィックレンズを使用して画像を取得する例について説明したが、変倍率レンズ以外のレンズで、撮像面の中央部と周辺部とで像倍率の変化が小さくなるように歪曲収差を補正している一般的な撮像レンズとは別に、負の歪曲収差を意図的に発生させることにより、中心画像に比べて端縁部の画像を大幅に圧縮させる特性有している中心窩レンズや魚眼レンズを用いる場合にも、上述したウインドウの設定方法は有効である。
【００７３】
このようなレンズを使用する場合、設定されるウインドウのサイズは、画像中心に近いほど等方的なサイズに設定し、中心から離れるに従って、設定されるウインドウのサイズをその部分の圧縮比に合わせて変形させる。
【００７４】
図１４には、中心窩レンズＦＶＬと、中心窩レンズＦＶＬの各位置でのウインドウサイズの一例を模式的に示している。
【００７５】
図１４に示すように、中心窩レンズＦＶＬの中心部分では設定されるウインドウＷ１１は等方的な形状を有しているが、中心から離れるに従って、Ｙ軸方向への伸長度が大きくなる形状となっている。
【００７６】
また、アナモフィックレンズにおいても、円筒面の中心軸から離れるに従って、設定されるウインドウの縦横比を変化させるようにしても良い。
【００７７】
これらの、レンズ面上での位置による倍率の変化のデータは、例えば画像処理装置１０内のテーブル等に、レンズの種類ごとに予め格納しておくことで、レンズが決まれば、自動的に、ウインドウの縦横比を変化させることができる。
【００７８】
＜ウインドウ設定の変形例１＞
位相限定相関法では、対応点探索を行う際に、信頼性の低い高周波成分を除去するために、設定したウインドウ内に、ガウス関数などの重み付け関数（窓関数）を乗算するが、この重み付け関数の形状を縦横で変える構成としても良い。この場合は、ウインドウの形状はレンズの圧縮率に応じて縦横で変える必要はない。このような構成を採ることで、本来のウインドウ設定そのものの形状を変える必要がなく、ハードウエア化を行った際でも複雑な構成にならない。
【００７９】
図１５には、一般的な窓関数を示しており、Ｘ軸には横方向の位置、Ｙ軸には縦方向の位置を示し、Ｚ軸には重み量を示している。
【００８０】
通常、このような窓関数の形状は縦横で同じであるが、図１６および図１７にそれぞれ示さるように、横方向および縦方向で輪郭形状を変えた構成とすることで、ウインドウの縦横比を変えた場合と同様に、対応付け精度の低下を防止することができる。
【００８１】
図１６はウインドウの横方向に適用される関数の形状を表しており、図１７はウインドウの縦方向に適用される関数の形状を表している。図１６と図１７とを比較して、縦方向では、比較的緩やかなカーブを描く関数となっており、横方向では、図１５と同様のガウス関数を表す形状となっている。このように設定することで、レンズによる圧縮を受ける横方向については位置ごとに細かな重み付けが可能となり、圧縮を受けない縦方向については大まかな重み付けで済ませることができる。
【００８２】
なお、窓関数は、図１５に示すガウス関数に限定されるものではなく、ハニング窓やハミング窓などの関数を使用しても良い。
【００８３】
＜ウインドウ設定の変形例２＞
図５を用いて説明したウインドウ設定部１３での設定動作では、ウインドウの縦横比を変えて設定する例を示したが、ウインドウ自身は等方的なウインドウとした状態で、ウインドウ内の計算対象領域を縦、横で変更するという方法を採っても良い。
【００８４】
図１８には、ウインドウ内の計算対象領域を縦、横で変更する例を模式的に示している。図１８において、等方ウインドウＩＷ内において、計算対象領域ＣＲは縦方向に長く、横方向に短い長方形状に設定されている。
【００８５】
対応点探索処理をハードウエアで実現する場合、レンズ特性に応じたウインドウサイズの変更などの処理を加えることは、ハードウエア構成が複雑化する原因となる。そこで、ウインドウ自身は変更せずに、ウインドウ内の対象位置に応じて計算の有無を設定することで、ハードウエア構成が複雑化することを防止できる。
【符号の説明】
【００８６】
１１ 画像入力部
１２ ポイント設定部
１３ ウインドウ設定部
１４ 対応点探索処理部
ＳＣ ステレオカメラ
【技術分野】
【０００１】
本発明は自走可能な移動体の周辺状況を表示する周辺表示装置に関する。
【背景技術】
【０００２】
近年、自走可能な移動体、例えば自動車において、複数台のカメラを用いて、前方を含めた周辺の画像を撮像し、車載表示装置に表示させる周辺表示装置が開発されている。
【０００３】
このような周辺表示装置において、ステレオカメラを用いて３次元画像を表示させる場合、１台当たりの視野角が重要となる。すなわち、視野角が狭いと、より多くのカメラセットが必要となり、統合処理や画像変換処理の負担が増大することになる。
【０００４】
しかし、一般的な広画角レンズを使用した場合、画像全体に対しての歪みの影響が大きくなる点や、必要とする方向（水平方向）の視野角だけでなく、不要な方向（垂直方向）の視野角も同時に大きくなるため、ステレオカメラとして用いる場合は、対応点探索における対応付け精度の低下に繋がるという点で問題がある。
【０００５】
つまり、垂直方向の画角については広画角である必要はなく、水平方向のみ広画角で画像を取得できる変倍率のレンズ（変倍レンズ）を用いたシステムが望ましい。
【０００６】
変倍率率のレンズを用いて３次元形状や、奥行き情報を非接触に測定するシステムとして、特許文献１には、シリンドリカルレンズを組み合わせることで、視差方向に対する結像倍率を視差方向と垂直な方向に対する結像倍率より高くして分解能の高い画像を得るシステムが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−１２９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１で開示されるシステムは、移動体に搭載されるシステムではなく、単純に移動体に搭載しても、周辺表示装置に組み込むことはできない。
【０００９】
本発明は上記のような問題点を解消するためになされたもので、自動車などの自走可能な移動体において、ステレオカメラを用いて周辺の画像を３次元表示させる場合、ステレオカメラにアナモフィックレンズなどの変倍率のレンズ（変倍レンズ）を用いることで、１台のステレオカメラで周辺を見る画角を広げることが可能なシステムにおいて、統合処理や画像変換処理の負担を増大させることなく、かつ、対応点探索における対応付け精度を低下させることのない周辺表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る周辺表示装置の第１の態様は、自走可能な移動体における周辺の画像データを取得するステレオカメラと、前記画像データから３次元情報を取得する３次元情報取得部とを備え、前記ステレオカメラは、縦横の倍率が異なる変倍レンズを介して前記画像データを取得し、前記３次元情報取得部は、前記画像データの所定の領域に対してウインドウを設定するウインドウ設定部と、前記画像データに対して対応点探索を実行する対応点探索処理部を有し、前記ウインドウ設定部は、前記対応点探索処理部での対応点探索に使用される前記ウインドウのパラメータを、前記変倍レンズの縦横の倍率比に合わせて変更する。
【００１１】
本発明に係る周辺表示装置の第２の態様は、前記ウインドウの前記パラメータが、前記ウインドウの画素数の縦横比である。
【００１２】
本発明に係る周辺表示装置の第３の態様は、前記ウインドウの前記画素数の縦横比が、前記ウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように設定される。
【００１３】
本発明に係る周辺表示装置の第４の態様は、前記ウインドウの前記パラメータが、前記ウインドウ内に乗算される重み付け関数であって、前記重み付け関数の縦方向および横方向での形状を、前記変倍レンズによる画像の光学的な変形に合わせて変更する。
【００１４】
本発明に係る周辺表示装置の第５の態様は、前記ウインドウの前記パラメータが、前記ウインドウ内の計算対象領域の画素数の縦横比である。
【００１５】
本発明に係る周辺表示装置の第６の態様は、前記変倍レンズとしてアナモフィックレンズを用いる。
【００１６】
本発明に係る周辺表示装置の第７の態様は、前記変倍レンズとして中心窩レンズを用いる。
【００１７】
本発明に係る周辺表示装置の第８の態様は、前記ウインドウ設定部が、前記変倍レンズ上の位置による倍率の変化に合わせて、前記ウインドウのパラメータを変化させ、前記変倍レンズ上の位置による倍率の変化のデータは、前記周辺表示装置内のデータテーブル内に予め格納される。
【００１８】
本発明に係る周辺表示装置の第９の態様は、前記対応点探索に、位相限定相関法を用いる。
【発明の効果】
【００１９】
本発明に係る周辺表示装置の第１の態様によれば、ステレオカメラに変倍レンズを用いることで、統合処理や画像変換処理の負担を増大させることなく、かつ、対応点探索における対応付け精度を低下させることのない周辺表示装置が得られる。
【００２０】
本発明に係る周辺表示装置の第２の態様によれば、ウインドウの画素数の縦横比をウインドウのパラメータとして変倍レンズの縦横の倍率比に合わせて変更することで、対応点探索における対応付け精度を低下させることのない周辺表示装置が得られる。
【００２１】
本発明に係る周辺表示装置の第３の態様によれば、物体面に対して演算の周波数特性が等方となる。
【００２２】
本発明に係る周辺表示装置の第４の態様によれば、重み付け関数の縦方向および横方向での形状を、変倍レンズによる画像の光学的な変形に合わせて変更することで、対応点探索における対応付け精度を低下させることのない周辺表示装置が得られる。
【００２３】
本発明に係る周辺表示装置の第５の態様によれば、ハードウエア構成が複雑化することを防止できる。
【００２４】
本発明に係る周辺表示装置の第６の態様によれば、水平方向のみ広画角で画像を取得できる。
【００２５】
本発明に係る周辺表示装置の第７の態様によれば、端縁部を大幅に圧縮させた画像を取得できる。
【００２６】
本発明に係る周辺表示装置の第８の態様によれば、変倍レンズ上の位置による倍率の変化のデータをデータテーブル内に有するので、レンズが決まれば、自動的に、ウインドウの縦横比を変化させることができる。
【００２７】
本発明に係る周辺表示装置の第９の態様によれば、対応点探索に位相限定相関法を用いるので、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。
【図面の簡単な説明】
【００２８】
【図１】アナモフィックレンズの特性を模式的に示す図である。
【図２】本発明に係る周辺表示装置の構成を示すブロック図である。
【図３】基準点設定部における設定動作を模式的に示す図である。
【図４】基準点設定部における設定動作を説明するフローチャートである。
【図５】基準ウインドウ設定部における設定動作を模式的に示す図である。
【図６】位相限定相関法を用いた対応点探索処理を説明するための図である。
【図７】位相限定相関法を用いた処理結果を示す図である。
【図８】撮影対象となる物体面を表す図である。
【図９】アナモフィックレンズを介して撮影された画像面を表す図である。
【図１０】物体面に対して等方的なウインドウを設定した図である。
【図１１】アナモフィックレンズを介して撮影された画像面に発明に係るウインドウを設定した図である。
【図１２】アナモフィックレンズを介して撮影された画像面に等方的なウインドウを設定した図である。
【図１３】物体面に対して非等方的なウインドウを設定した図である。
【図１４】中心窩レンズの各位置でのウインドウサイズの一例を模式的に示す図である。
【図１５】一般的な窓関数を示す図である。
【図１６】本発明に適用する窓関数を示す図である。
【図１７】本発明に適用する窓関数を示す図である。
【図１８】ウインドウ内の計算対象領域を縦、横で変更する例を模式的に示す図である。
【発明を実施するための形態】
【００２９】
＜実施の形態＞
＜装置構成＞
図１は、アナモフィックレンズの特性を模式的に示す図である。アナモフィックレンズとは変倍率レンズの一種であり、シリンダーレンズ、円柱レンズとも呼称され、シネマスコープなどに用いられる。
【００３０】
構造的には、光軸に沿った前後両面が軸を平行とする２つの円筒形の曲面で形成されており、凸型と凹型とがある。撮影の際にこのレンズを用いることで、円筒の軸と垂直な方向のみを圧縮することが可能である。
【００３１】
図１に示すアナモフィックレンズＡＬは、円筒の軸（Ｙ軸方向）と垂直な方向（Ｘ軸方向）に画像を圧縮するように構成されており、被写体Ａ１をアナモフィックレンズＡＬを通して撮影することで、画面ＰＮ上にはＸ軸方向に圧縮された画像Ａ２が映されることになる。
【００３２】
図２は、本発明に係る周辺表示装置１００の構成を示すブロック図である。図２に示すように周辺表示装置１００は、ステレオカメラＳＣと、ステレオカメラＳＣで得られた画像データの画像処理を行う画像処理装置１０と、画像処理装置１０から出力される処理済みの画像データを表示する表示部２０とを主たる構成として備えている。
【００３３】
ステレオカメラＳＣは、アナモフィックレンズをレンズ系に有し、基準画像を撮影するカメラ１ａと、アナモフィックレンズをレンズ系に有し、参照画像を撮影するカメラ１ｂとで構成され、カメラ１ａで撮影された基準画像の画像データ（基準画像データ）は、画像入力部１１内の基準画像入力部１１ａに画素単位で与えられ、カメラ１ｂで撮影された参照画像の画像データ（参照画像データ）は、画像入力部１１内の参照画像入力部１１ｂに画素単位で与えられる。
【００３４】
基準画像入力部１１ａおよび参照画像入力部１１ｂのそれぞれからは、画像データがポイント設定部１２の基準点設定部１２ａおよび比較点設定部１２ｂに与えられる。基準点設定部１２ａでは、対応点探索を行うための基準点が設定され、比較点設定部１２ｂでは基準点に対応する比較点が設定される。
【００３５】
基準点が設定された基準画像データおよび比較点が設定された比較画像データは、それぞれウインドウ設定部１３の、基準点ウインドウ設定部１３ａおよび比較点ウインドウ設定部１３ｂに与えられて、基準点を中心とするウインドウ、および比較点を中心とするウインドウが設定される。
【００３６】
ウインドウが設定された画像データは、対応点探索処理部１４に与えられて、対応点探索処理が実行される。なお、対応点探索処理については後に説明する。なお、ポイント設定部１２、ウインドウ設定部１３および対応点探索処理部１４は、画像データに基づいて３次元情報を取得するので３次元情報取得部と総称する。
【００３７】
対応点探索処理が終了した後は、算出された対応点に対して、平行化、歪補正、３次元再構成等の処理を行うことで３次元情報を取得し、当該３次元情報に基づいて３次元画像データを算出する。なお、これらの処理を行う構成については従来的ものであれば良く、本願発明との関係が薄いので、図示および説明は省略する。そして、３次元画像データは、表示部２０において３次元画像として表示される。
【００３８】
次に、各構成について以下にさらに説明する。
【００３９】
＜ポイント設定部１２＞
図３は、ポイント設定部１２の基準点設定部１２ａにおける設定動作を模式的に示す図である。
【００４０】
図３において、基準画像データＤ１上の注目画素ＰＸを決め、対応点探索処理を行って対応する参照画像データ上の対応点を求める。そして、対応点が求まると、次の注目画素Ｐ１を設定し、同様に対応点探索処理を行う。なお、注目画素の設定は、画像列を一方の端から他方の端に向けてスキャンするように行い、他方の端に達すると、下段の画素列の一方の端に移動する。このような動作を、基準画像データＤ１上で、注目画素Ｐ２、Ｐ３と設定しながら繰り返して行い、探索対象画素が無くなれば、当該基準画像データＤ１に関する処理が終わる。
【００４１】
上記動作を図４のフローチャートに示す。図４に示すように、処理を開始すると、基準画像データＤ１上をスキャンするように注目画素を設定し（ステップＳ１）、設定した注目画素についての対応点探索演算を実行する（ステップＳ２）。そして、設定した注目画素についての対応点探索演算が終了すると、ステップＳ１に戻って、次の注目画素を設定する。探索対象画素が無くなり、スキャンが終了すると一連の処理が終了する。
【００４２】
比較点設定部１２ｂでは、基準点設定部１２ａで設定された注目画素に対応する画素を探すために、基準点設定部１２ａと同様のスキャン動作により設定を行う。
【００４３】
＜ウインドウ設定部１３＞
図５は、ウインドウ設定部１３の基準ウインドウ設定部１３ａにおける設定動作を模式的に示す図である。
【００４４】
図５において、基準点設定部１２ａで設定された注目画素ＰＸを基準点とし、演算対象領域を規定するウインドウＷＤを設定する。
【００４５】
ここで、当該ウインドウＷＤは、画像データがアナモフィックレンズを介して取得されているので、アナモフィックレンズのパラメータにより決定される。
【００４６】
例えば、垂直方向に対する水平方向の比率（圧縮比）が１／４となるレンズを使用する場合は、ウインドウＷＤの縦（Ｙ軸方向）横（Ｘ軸方向）の比率を４対１となるように設定し、垂直方向に対する水平方向の比率が１／２となるレンズを使用する場合は、ウインドウＷＤの縦横の比率が２対１となるように設定する。
【００４７】
なお、比較点ウインドウ設定部１３ｂにおいては、比較点設定部１２ｂで設定された注目画素を基準点とし、演算対象領域を規定するウインドウを設定するが、ウインドウの設定方法は上記と同様である。
【００４８】
ここで、レンズ特性については、例えば、画像処理装置１０内に、予め種々のカメラ（変倍率率レンズを含んだ）に対するレンズ特性をデータテーブル等に記憶させておき、ステレオカメラＳＣ（図２）と画像処理装置１０とを接続したときに、画像処理装置１０がステレオカメラＳＣを構成するカメラの種類を判別して、上記データテーブルからレンズ特性を読み出してウインドウ設定部１３に情報を与えるようにすれば良い。また、ステレオカメラＳＣを構成するカメラから、レンズ特性を画像処理装置１０に与えるような構成であれば、ウインドウ設定部１３で、その情報を受けるようにすれば良い。
【００４９】
なお、上記のようにアナモフィックレンズの特性が判明している場合は、それに合わせてウインドウの縦横比を設定すれば良いが、特性が判らない場合は、縦方向が長くなるようなウインドウサイズ、例えば縦横の比率を２対１に一律に設定する構成を採れば、精度低下を軽減できる。
【００５０】
＜対応点探索処理部１４＞
図６および図７を用いて、対応点探索処理部１４での対応点探索処理について説明する。対応点探索処理部１４では、対応点探索処理に位相限定相関法（ＰＯＣ：Phase Only Correlation)を用いる。
【００５１】
図６は、位相限定相関法を用いた対応点探索処理を説明するための図である。位相限定相関法を用いた対応点探索処理では、まず基準画像上のウインドウ内の画像と、参照画像上のウインドウ内の画像とが抽出される。これらの画像については、次の数式のように表されるものとする。
【００５２】
【数１】
【００５３】
ここで、上記の数式におけるｆ(ｎ1,ｎ2)およびｇ(ｎ1,ｎ2)は、基準画像上のウインドウ内の画像および参照画像上のウインドウ内の画像を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【００５４】
次に、基準画像および参照画像のウインドウ内の各画像に対し、次の数式に示す演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂを行う。
【００５５】
【数２】
【００５６】
なお、上記の数式のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
【００５７】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像に対しては、次の数式に示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。
【００５８】
【数３】
【００５９】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数式に示す演算式を用いた合成処理Ｔ３が行われる。
【００６０】
【数４】
【００６１】
合成処理Ｔ３とともに、次の数式に示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【００６２】
【数５】
【００６３】
以上の位相限定相関法を用いた処理により、例えば図７に示すような結果が得られる。この図７においては、ウインドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＪｃに対応する参照画像上のウインドウ内の位置が、基準画像上のウインドウの中心点(指定点)に対応した参照画像上の対応点に相当することとなる。
【００６４】
以上のような位相限定相関法を用いた対応点探索処理によれば、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。
【００６５】
なお、本願では、先に説明したように、ウインドウの設定に特徴を有している。
【００６６】
＜ウインドウ設定の具体例＞
次に、図８〜図１３を用いて、ウインドウ設定の具体例について説明する。
【００６７】
図８は、撮影対象となる物体面を表しており、自車両ＭＶの運転席から前方を見た状態を表している。
【００６８】
図９は、図８に示す物体面のうち、枠線で囲まれた領域ＲＩについてアナモフィックレンズを介して撮影された画像面を表しており、水平方向が圧縮されて、垂直方向に伸長していることが判る。
【００６９】
ここで、対応点探索を行うために、図１０に示すように、物体面に対して演算の周波数特性が等方となるように等方的なウインドウＷ１を設定した場合、アナモフィックレンズを介して得られた画像面上では、物体面と同様の周波数特性を含むように演算領域を設定するために、図１１に示すウインドウＷ２のように垂直方向に伸長したウインドウサイズとすることが望ましい。このときに、先に説明したように、ウインドウ設定部１３では、アナモフィックレンズのレンズ特性に基づいてウインドウの縦横比を設定することで、対応付け精度の低下を防止することができる。
【００７０】
一方、図１２に示すように、図１１に示したウインドウＷ２と同じ面積（画素数）を有し、等方的に設定されたウインドウＷ３を画像面上に設定した場合、ウインドウＷ２と同レベルの情報量を含んでいるため、図１１の場合と同精度での対応点探索が可能となるが、画像面上で等方的なウインドウを設定すると、物体面上でのウインドウは図１３に示すウインドウＷ４のように、縦横比が大きく変わり、算出可能な周波数特性が大きく異なることとなる。この結果、対応点算出領域における被写体パターンの姿勢依存性が大きくなることとなり、望ましくはない。
【００７１】
また、図１２に示すウインドウＷ３のように、水平方向に長いウインドウを設定すると、水平方向に圧縮された画像面では、遠近競合が生じ、遠近の判別が難しくなるという問題もある。
【００７２】
＜アナモフィックレンズ以外のレンズへの適用＞
以上の説明においては、変倍率レンズとしてアナモフィックレンズを使用して画像を取得する例について説明したが、変倍率レンズ以外のレンズで、撮像面の中央部と周辺部とで像倍率の変化が小さくなるように歪曲収差を補正している一般的な撮像レンズとは別に、負の歪曲収差を意図的に発生させることにより、中心画像に比べて端縁部の画像を大幅に圧縮させる特性有している中心窩レンズや魚眼レンズを用いる場合にも、上述したウインドウの設定方法は有効である。
【００７３】
このようなレンズを使用する場合、設定されるウインドウのサイズは、画像中心に近いほど等方的なサイズに設定し、中心から離れるに従って、設定されるウインドウのサイズをその部分の圧縮比に合わせて変形させる。
【００７４】
図１４には、中心窩レンズＦＶＬと、中心窩レンズＦＶＬの各位置でのウインドウサイズの一例を模式的に示している。
【００７５】
図１４に示すように、中心窩レンズＦＶＬの中心部分では設定されるウインドウＷ１１は等方的な形状を有しているが、中心から離れるに従って、Ｙ軸方向への伸長度が大きくなる形状となっている。
【００７６】
また、アナモフィックレンズにおいても、円筒面の中心軸から離れるに従って、設定されるウインドウの縦横比を変化させるようにしても良い。
【００７７】
これらの、レンズ面上での位置による倍率の変化のデータは、例えば画像処理装置１０内のテーブル等に、レンズの種類ごとに予め格納しておくことで、レンズが決まれば、自動的に、ウインドウの縦横比を変化させることができる。
【００７８】
＜ウインドウ設定の変形例１＞
位相限定相関法では、対応点探索を行う際に、信頼性の低い高周波成分を除去するために、設定したウインドウ内に、ガウス関数などの重み付け関数（窓関数）を乗算するが、この重み付け関数の形状を縦横で変える構成としても良い。この場合は、ウインドウの形状はレンズの圧縮率に応じて縦横で変える必要はない。このような構成を採ることで、本来のウインドウ設定そのものの形状を変える必要がなく、ハードウエア化を行った際でも複雑な構成にならない。
【００７９】
図１５には、一般的な窓関数を示しており、Ｘ軸には横方向の位置、Ｙ軸には縦方向の位置を示し、Ｚ軸には重み量を示している。
【００８０】
通常、このような窓関数の形状は縦横で同じであるが、図１６および図１７にそれぞれ示さるように、横方向および縦方向で輪郭形状を変えた構成とすることで、ウインドウの縦横比を変えた場合と同様に、対応付け精度の低下を防止することができる。
【００８１】
図１６はウインドウの横方向に適用される関数の形状を表しており、図１７はウインドウの縦方向に適用される関数の形状を表している。図１６と図１７とを比較して、縦方向では、比較的緩やかなカーブを描く関数となっており、横方向では、図１５と同様のガウス関数を表す形状となっている。このように設定することで、レンズによる圧縮を受ける横方向については位置ごとに細かな重み付けが可能となり、圧縮を受けない縦方向については大まかな重み付けで済ませることができる。
【００８２】
なお、窓関数は、図１５に示すガウス関数に限定されるものではなく、ハニング窓やハミング窓などの関数を使用しても良い。
【００８３】
＜ウインドウ設定の変形例２＞
図５を用いて説明したウインドウ設定部１３での設定動作では、ウインドウの縦横比を変えて設定する例を示したが、ウインドウ自身は等方的なウインドウとした状態で、ウインドウ内の計算対象領域を縦、横で変更するという方法を採っても良い。
【００８４】
図１８には、ウインドウ内の計算対象領域を縦、横で変更する例を模式的に示している。図１８において、等方ウインドウＩＷ内において、計算対象領域ＣＲは縦方向に長く、横方向に短い長方形状に設定されている。
【００８５】
対応点探索処理をハードウエアで実現する場合、レンズ特性に応じたウインドウサイズの変更などの処理を加えることは、ハードウエア構成が複雑化する原因となる。そこで、ウインドウ自身は変更せずに、ウインドウ内の対象位置に応じて計算の有無を設定することで、ハードウエア構成が複雑化することを防止できる。
【符号の説明】
【００８６】
１１ 画像入力部
１２ ポイント設定部
１３ ウインドウ設定部
１４ 対応点探索処理部
ＳＣ ステレオカメラ
【特許請求の範囲】
【請求項１】
自走可能な移動体における周辺の画像データを取得するステレオカメラと、
前記画像データから３次元情報を取得する３次元情報取得部と、を備え、
前記ステレオカメラは、縦横の倍率が異なる変倍レンズを介して前記画像データを取得し、
前記３次元情報取得部は、
前記画像データの所定の領域に対してウインドウを設定するウインドウ設定部と、
前記画像データに対して対応点探索を実行する対応点探索処理部を有し、
前記ウインドウ設定部は、
前記対応点探索処理部での対応点探索に使用される前記ウインドウのパラメータを、前記変倍レンズの縦横の倍率比に合わせて変更することを特徴とする、周辺表示装置。
【請求項２】
前記ウインドウの前記パラメータは、
前記ウインドウの画素数の縦横比である、請求項１記載の周辺表示装置。
【請求項３】
前記ウインドウの前記画素数の縦横比は、前記ウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように設定される、請求項２記載の周辺表示装置。
【請求項４】
前記ウインドウの前記パラメータは、
前記ウインドウ内に乗算される重み付け関数であって、
前記重み付け関数の縦方向および横方向での形状を、前記変倍レンズによる画像の光学的な変形に合わせて変更する、請求項１記載の周辺表示装置。
【請求項５】
前記ウインドウの前記パラメータは、
前記ウインドウ内の計算対象領域の画素数の縦横比である、請求項１記載の周辺表示装置。
【請求項６】
前記変倍レンズとしてアナモフィックレンズを用いる、請求項１記載の周辺表示装置。
【請求項７】
前記変倍レンズとして中心窩レンズを用いる、請求項１記載の周辺表示装置。
【請求項８】
前記ウインドウ設定部は、
前記変倍レンズ上の位置による倍率の変化に合わせて、前記ウインドウのパラメータを変化させ、
前記変倍レンズ上の位置による倍率の変化のデータは、前記周辺表示装置内のデータテーブル内に予め格納される、請求項１記載の周辺表示装置。
【請求項９】
前記対応点探索は、位相限定相関法を用いる、請求項１記載の周辺表示装置。
【請求項１】
自走可能な移動体における周辺の画像データを取得するステレオカメラと、
前記画像データから３次元情報を取得する３次元情報取得部と、を備え、
前記ステレオカメラは、縦横の倍率が異なる変倍レンズを介して前記画像データを取得し、
前記３次元情報取得部は、
前記画像データの所定の領域に対してウインドウを設定するウインドウ設定部と、
前記画像データに対して対応点探索を実行する対応点探索処理部を有し、
前記ウインドウ設定部は、
前記対応点探索処理部での対応点探索に使用される前記ウインドウのパラメータを、前記変倍レンズの縦横の倍率比に合わせて変更することを特徴とする、周辺表示装置。
【請求項２】
前記ウインドウの前記パラメータは、
前記ウインドウの画素数の縦横比である、請求項１記載の周辺表示装置。
【請求項３】
前記ウインドウの前記画素数の縦横比は、前記ウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように設定される、請求項２記載の周辺表示装置。
【請求項４】
前記ウインドウの前記パラメータは、
前記ウインドウ内に乗算される重み付け関数であって、
前記重み付け関数の縦方向および横方向での形状を、前記変倍レンズによる画像の光学的な変形に合わせて変更する、請求項１記載の周辺表示装置。
【請求項５】
前記ウインドウの前記パラメータは、
前記ウインドウ内の計算対象領域の画素数の縦横比である、請求項１記載の周辺表示装置。
【請求項６】
前記変倍レンズとしてアナモフィックレンズを用いる、請求項１記載の周辺表示装置。
【請求項７】
前記変倍レンズとして中心窩レンズを用いる、請求項１記載の周辺表示装置。
【請求項８】
前記ウインドウ設定部は、
前記変倍レンズ上の位置による倍率の変化に合わせて、前記ウインドウのパラメータを変化させ、
前記変倍レンズ上の位置による倍率の変化のデータは、前記周辺表示装置内のデータテーブル内に予め格納される、請求項１記載の周辺表示装置。
【請求項９】
前記対応点探索は、位相限定相関法を用いる、請求項１記載の周辺表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−２７４９６（Ｐ２０１１−２７４９６Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７２０４８（Ｐ２００９−１７２０４８）
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]