逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
【課題】所定の画像に対して視点変換を行う前の画像を取得することを可能とする逆変換テーブル生成方法を提供する。
【解決手段】本逆変換テーブル生成方法は、視点変換画像から当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するための逆変換テーブルＴ１を生成するための方法であって、制御部１１により、視点変換テーブルＴ２のテーブル座標（ａ,ｂ）に格納された変換参照座標Ｐ（ａ,ｂ）と逆変換テーブルＴ１の算出対象のテーブル座標（ｉ,ｊ）との距離Ｌ（ａ,ｂ）を、変換参照座標毎に算出し、視点変換テーブルＴ２のテーブル座標（ａ,ｂ）と、このテーブル座標（ａ,ｂ）に格納された変換参照座標に係る距離Ｌ（ａ,ｂ）と、に基づいて、逆変換テーブルＴ１の算出対象のテーブル座標（ｉ,ｊ）に格納される逆変換参照座標Ａ（ｉ,ｊ）を算出する。
【解決手段】本逆変換テーブル生成方法は、視点変換画像から当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するための逆変換テーブルＴ１を生成するための方法であって、制御部１１により、視点変換テーブルＴ２のテーブル座標（ａ,ｂ）に格納された変換参照座標Ｐ（ａ,ｂ）と逆変換テーブルＴ１の算出対象のテーブル座標（ｉ,ｊ）との距離Ｌ（ａ,ｂ）を、変換参照座標毎に算出し、視点変換テーブルＴ２のテーブル座標（ａ,ｂ）と、このテーブル座標（ａ,ｂ）に格納された変換参照座標に係る距離Ｌ（ａ,ｂ）と、に基づいて、逆変換テーブルＴ１の算出対象のテーブル座標（ｉ,ｊ）に格納される逆変換参照座標Ａ（ｉ,ｊ）を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラムに関する。
【背景技術】
【０００２】
近年、道路交通の安全性向上のために、運転者が前方、後方、左右の死角を車内に設置された車載モニタにて確認できるように、カメラ（撮像装置）を搭載する車が非常に多くなってきている。加えて、カメラによって取得された画像を用いて、人認識、物体認識、白線検知等のセンシングを行い、その結果を元に各種制御を行う運転支援システムが提案されている。この制御には、ハンドル制御、ブレーキ制御、エンジン制御等の車両走行状態の制御や、車載モニタへの出力、音声出力、シートベルト制御等によって運転者への警告を促す制御などがある。
【０００３】
撮影された画像から人認識、物体認識を行う装置として、カメラから得た入力画像を高速フーリエ変換やウェーブレット変換によって周波数展開し、判定対象領域から周波数を閾値として、抽出したい対象物体以外を除去したのち、対象物体と予め保持しておいたテンプレートとを比較し、対象物体を検知する画像認識装置が知られている（例えば、特許文献１参照）。この画像認識装置によれば、歩行者認識を行う場合、歩行者の輪郭を周波数展開したものをテンプレートとすることで、画像をテンプレートとした場合に比べ、比較するために必要なテンプレート量を削減し、処理負荷を軽減して高速化を図ることができる。
【０００４】
また、運転者の利便性の向上のため、カメラの撮像画像を所定の仮想視点から見た視点変換画像に変換し、この視点変換画像を外部機器に出力する車載画像処理装置が知られている（例えば、特許文献２参照）。この車載画像処理装置によれば、仮想視点から見た画像（視点変換画像）の各画素とカメラ画像（撮像画像）の各画素との座標関係を保持した視点変換テーブルを参照して、撮像画像を視点変換画像に変換する演算を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１８１４２２号公報
【特許文献２】特開２００８−０４８２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２の車載画像処理装置では、視点変換画像に、視点変換テーブルに基づいて生成されることに伴う歪み、伸び等が付加されてしまう可能性がある。そのため、撮像画像と視点変換画像との周波数特性が異なっている可能性がある。さらに、画像の各領域で、視点変換により撮像画像に付加される歪み率、伸び率等が異なることで、視点変換による周波数特性も一律でない可能性がある。
【０００７】
特許文献１の画像認識装置では、テンプレート用の画像について周波数展開したものをテンプレートとして保持し、カメラが撮影した画像を周波数展開したものとこのテンプレートとを比較することで、画像認識を行う。ここで、仮に特許文献２の技術で得られる視点変換画像を用いて画像認識を行う場合には、歪み、伸び等を考慮してテンプレートを用意すると、視点変換テーブル毎、且つ、画像の領域毎に必要となり、さらに比較による演算量も大幅に増加してしまう。したがって、画像認識処理には、歪み、伸び等がない視点変換前の画像を用いることが望ましい。
【０００８】
また、画像認識を行う際には、一般的に、画像のエッジ、形状等のある特定の情報を強調して、当該画像の特定の領域を抽出する必要がある。しかしながら、仮に視点変換画像について特定の領域を抽出する場合には、視点変換処理によって加わる伸びと歪みにより、安定的に画像抽出することが困難である。そのため、画像認識を行うために必要な画像抽出処理には、歪み、伸び等がない視点変換前の画像を用いることが望ましい。
【０００９】
ただし、近年では、画像を撮影するカメラが視点変換機能を有しているものがあり、このようなカメラの画像を入力する装置では、カメラが撮像画像に対して視点変換を行う前の画像を単純に得ることはできない。
【００１０】
本発明は、上記事情を鑑みてなされたものであって、所定の画像に対して視点変換を行う前の画像を取得することが可能な逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の逆変換テーブル生成方法は、視点変換画像から当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するための逆変換テーブルを生成するための逆変換テーブル作成方法であって、制御部により、前記視点変換画像を生成するための視点変換テーブルのテーブル座標に格納された変換参照座標と前記逆変換テーブルの算出対象のテーブル座標との距離を、前記変換参照座標毎に算出し、前記視点変換テーブルのテーブル座標と当該テーブル座標に格納された変換参照座標に係る前記距離に基づいて、前記逆変換テーブルの前記算出対象のテーブル座標に格納される逆変換参照座標を算出する。
【００１２】
この方法により、視点変換画像から視点変換処理前の逆変換画像を生成するための逆変換テーブルを容易に生成することができる。
【００１３】
本発明の逆変換テーブル生成方法は、前記制御部により、前記視点変換テーブルにおいて所定範囲外に位置するテーブル座標に格納された変換参照座標を、前記距離の算出に用いる変換参照座標から除外する。
【００１４】
この方法により、逆変換テーブルを生成する際の処理負荷をより軽減することができる。つまり、逆変換参照座標を１つ求めるために対象とする視点変換テーブル上の変換参照座標の個数を、指定する範囲によって変えることができ、算出される逆変換参照座標にあまり影響がない座標を省略することができる。そのため、算出結果の精度の劣化がなく、計算量を抑制することができる。
【００１５】
本発明の逆変換テーブル生成プログラムは、上記の逆変換テーブル生成方法の手順を実行させるためのプログラムである。
【００１６】
このプログラムにより、視点変換画像から視点変換処理前の逆変換画像を生成するための逆変換テーブルを容易に生成することができる。
【００１７】
また、本発明の画像変換装置は、上記の逆変換テーブル生成方法により生成された逆変換テーブルを記憶するメモリと、撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力する画像入力部と、前記逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成する画像変換演算部と、前記画像変換演算部により生成された前記逆変換画像を出力する画像出力部と、を備える。
【００１８】
この構成により、視点変換機能を有する撮像装置から視点変換画像を入力する場合であっても、逆変換画像を容易に生成することができる。また、予め画像変換装置内に逆変換テーブルが保持されていることで、逆変換参照座標の算出時間を必要しないため、演算時間が大幅に削減され、逆変換画像のリアルタイム出力が可能となる。さらに、逆変換画像を外部の検知装置が入力した場合には、当該検知装置によって、逆変換画像を用いて画像認識を容易に行うことが可能となる。
【００１９】
また、本発明の画像変換装置は、前記画像変換演算部が、前記逆変換テーブルが有する前記逆変換参照座標が示す座標の周辺の画素値に基づいて、前記視点変換画像に対して補間処理を行い、前記逆変換画像を生成する。
【００２０】
この構成により、逆変換画像をより滑らかに高画質にすることができる。
【００２１】
また、本発明の画像変換装置は、前記逆変換画像に対して視点変換処理を行うための視点変換テーブルを記憶するメモリを備え、前記画像変換演算部が、前記逆変換画像内の物体認識を行う検知装置からの前記物体認識が完了したことを示す切替信号を受信した場合、前記視点変換テーブルを用いて、前記逆変換画像から前記視点変換画像を生成する。
【００２２】
この構成により、逆変換画像を用いて検知装置により行われた画像認識の認識結果を含めて視点変換し、視点変換画像に反映して表示することができるので、ユーザの利便性が向上する。
【００２３】
また、本発明の画像変換装置は、前記視点変換テーブルが、前記撮像装置に保持されている視点変換テーブルと同一の視点変換テーブルである。
【００２４】
この構成により、逆変換画像を用いて検知装置により行われた画像認識の認識結果を含めて視点変換することで、逆変換処理前の画像と同じ画像にその認識結果を反映して表示することができるので、ユーザの利便性が向上する。
【００２５】
また、本発明の画像変換装置は、前記視点変換テーブルが、前記撮像装置に保持されている視点変換テーブルとは異なる視点変換テーブルである。
【００２６】
この構成により、逆変換画像を用いて検知装置により行われた画像認識の認識結果を含めて視点変換することで、逆変換画像及び逆変換処理前の画像とは異なる第３の画像に、その認識結果を反映して表示することができるので、ユーザの利便性が向上する。
【００２７】
また、本発明の画像変換方法は、撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力するステップと、メモリに記憶された上記の逆変換テーブル生成方法により生成された逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するステップと、前記生成された前記逆変換画像を出力するステップと、を有する。
【００２８】
この方法により、視点変換機能を有する撮像装置から視点変換画像を入力する場合であっても、画像認識を容易かつ高精度に行うことが可能となる。また、予め逆変換テーブルを用意することで、逆変換参照座標の算出時間を必要しないため、演算時間が大幅に削減され、逆変換画像のリアルタイム出力が可能となる。
【００２９】
また、本発明の画像変換プログラムは、上記の画像変換方法の手順を実行させるためのプログラムである。
【００３０】
このプログラムにより、視点変換機能を有する撮像装置から視点変換画像を入力する場合であっても、画像認識を容易かつ高精度に行うことが可能となる。また、予め逆変換テーブルを用意することで、逆変換参照座標の算出時間を必要としないため、演算時間が大幅に削減され、逆変換画像のリアルタイム出力が可能となる。
【発明の効果】
【００３１】
本発明によれば、所定の画像に対して視点変換を行う前の画像を取得することが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施形態における逆変換テーブル生成装置の構成の一例を示すブロック図
【図２】本発明の第１の実施形態における逆変換参照座標を求めるための説明図
【図３】本発明の第１の実施形態における画像変換装置の構成の一例を示すブロック図
【図４】本発明の第１の実施形態における逆変換テーブルを用いて行われる逆変換処理のイメージ図
【図５】本発明の第２の実施形態における画像変換装置の構成の一例を示すブロック図
【図６】本発明の第２の実施形態における画像変換装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態の逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラムについて、図面を用いて説明する。
【００３４】
本実施形態の画像変換装置は、例えば車載用カメラである。
【００３５】
本実施形態では、画像変換装置が、逆変換テーブル生成方法により生成された逆変換テーブルを用いて、視点変換画像から逆変換画像を生成する逆変換処理を行う。逆変換テーブルとは、視点変換画像の座標系から視点変換処理が行われる前の座標系（つまり撮像画像の座標系）へ変換するためのテーブルである。逆変換テーブルには、撮像画像の各画素が視点変換画像におけるどの位置の画素に対応するかを示す情報（以降、逆変換参照座標ともいう）が格納される。また、画像変換装置は、例えば車載用カメラからの画像を入力する装置である。
【００３６】
まず、本実施形態の逆変換テーブルの生成方法について説明する。
図１は、本発明の第１の実施形態に係る逆変換テーブル生成装置の構成の一例を示すブロック図である。逆変換テーブル生成装置は、逆変換テーブル生成方法により、逆変換テーブルを生成する。図１に示す逆変換テーブル生成装置１０は、主に、制御部１１、メモリ１２、入出力部１３を備える。
【００３７】
制御部１１は、ＣＰＵ等により構成され、逆変換テーブル生成装置１０の各構成部１１〜１３における処理を統括する。また、制御部１１は、逆変換テーブルの逆変換参照座標を算出するための演算処理を行う。
【００３８】
メモリ１２は、各種情報を記憶するものであり、例えば撮像画像の座標系から視点変換画像の座標系への視点変換処理に用いられた視点変換テーブルを記憶する。なお、視点変換テーブルには、視点変換画像の各画素が撮像画像におけるどの位置の画素に対応するかを示す情報（以降、変換参照座標ともいう）が格納される。また、メモリ１２は、制御部１１により生成された逆変換テーブルを記憶することもできる。また、メモリ１２は、制御部１１により実行される逆変換テーブルを生成するための逆変換テーブル生成プログラムを記憶することもできる。
【００３９】
入出力部１３は、各種情報の入出力を行うものであり、例えば制御部１１により生成された逆変換テーブルを出力する。この入出力には、図示しない外部装置へ生成された逆変換テーブルの情報を提供するために、外部装置との間で逆変換テーブルの情報の送受信を行うことや、ＣＤ−ＲＯＭ等の記憶媒体に逆変換テーブルの情報を記憶させることを含む。
【００４０】
次に、図２を用いて、逆変換テーブルＴ１の生成方法、つまり、逆変換テーブルＴ１の逆変換参照座標の算出方法について説明する。
【００４１】
まず、逆変換テーブルＴ１上のあるテーブル座標(ｉ，ｊ)に格納される逆変換参照座標Ａ（ｉ，ｊ）のｘ座標をＡｘ、ｙ座標をＡｙとすると、次のように表せる。
【数１】
同様に、撮像装置２５に保持されている視点変換テーブルＴ２上のあるテーブル座標（ａ，ｂ）に格納されている変換参照座標Ｐ（ａ，ｂ）のｘ座標をＰｘ、ｙ座標をＰｙとすると、次のように表せる。
【数２】
【００４２】
制御部１１は、逆変換参照座標を算出する対象となっているテーブル座標（ｉ，ｊ）と視点変換テーブルＴ２に格納されている各変換参照座標Ｐ（ａ，ｂ）（図２ではＰ１（ａ，ｂ）、Ｐ２（ａ，ｂ）の２つが示されている）との各距離Ｌ（ａ，ｂ）（図２ではＬ１、Ｌ２の２つが示されている）を算出する。この距離Ｌ（ａ、ｂ）は、次のように表せる。この距離Ｌ（ａ,ｂ）は、算出対象のテーブル座標について、変換参照座標毎に算出される。
【数３】
【００４３】
ここで、各変換参照座標Ｐ（ａ，ｂ）とは、視点変換テーブルＴ２の探索範囲の全てのテーブル座標に格納された各々の変換参照座標であることを示している。制御部１１は、視点変換テーブルＴ２の探索範囲を、視点変換テーブルＴ２の全体としてもよいし、所定範囲内に制限してもよい。所定範囲内に制限することにより、逆変換テーブル生成時の距離の算出等の演算処理の負荷を軽減することができる。
【００４４】
続いて、制御部１１は、各変換参照座標Ｐ（ａ，ｂ）の重み係数Ｋ（ａ，ｂ）を算出する。この重み係数Ｋ（ａ,ｂ）は、次のように表せる。この重み係数Ｋ（ａ,ｂ）は、変換参照座標毎に算出される。つまり、重み係数Ｋは、距離Ｌ（ａ、ｂ）に基づいて算出される。
【数４】
【００４５】
ここで、Ｒは、逆変換参照座標を算出する対象となっているテーブル座標（ｉ，ｊ）と変換参照座標Ｐ（ａ，ｂ）との最大距離を表しており、精度と計算量に合わせて任意に決定することができる。また、重み係数Ｋが負になる変換参照座標Ｐ（ａ，ｂ）は、対象としない。
【００４６】
続いて、制御部１１は、各重み係数Ｋを用いて、逆変換テーブルＴ１に格納される逆変換参照座標Ａ（ｉ，ｊ）のＡｘ、Ａｙを算出する。この逆変換参照座標Ａ（ｉ，ｊ）のＡｘ、Ａｙは、次のように表せる。
【数５】
【００４７】
このような逆変換テーブルＴ１の逆変換参照座標の算出処理により算出された逆変換参照座標は、逆変換テーブルＴ１に格納される。このようにして、逆変換テーブルＴ１が生成される。
【００４８】
次に、本実施形態の画像変換装置及び画像変換方法について説明する。
【００４９】
本実施形態に係る画像変換装置は、入力された視点変換画像を、短時間で正確に逆変換画像を出力できる。画像変換装置としては、例えば車載用カメラ（撮像装置の一例）の出力画像を入力して変換する逆変換装置が考えられる。
【００５０】
図３は、本発明の第１の実施形態に係る画像変換装置の構成の一例を示すブロック図である。図３に示す画像変換装置２０は、図示しない車両に搭載される。この車両には、画像変換装置２０の他に、主に、撮像装置２５、車両表示部２６、検知装置２７、制御装置２８が搭載される。
【００５１】
撮像装置２５は、車両周辺を撮像し、取得した画像を視点変換テーブルにより変換処理し、視点変換画像を出力する。車両表示部２６は、撮像装置２５から入力された視点変換画像を表示する、車内に設置された車載モニタ等の表示部である。検知装置２７は、画像変換装置２０から入力された画像から人や物体の検知、白線や交通信号機等の状態検知を行い、その検知結果を検知信号として出力する。制御装置２８は、検知装置２７から入力される検知信号に基づいて、ハンドル動作、ブレーキ動作、エンジン動作等を制御する。これらの装置は、電気的に接続される。
【００５２】
尚、画像変換装置２０と接続される撮像装置２５、車両表示部２６、検知装置２７は、車両内に設置された図示しない電子制御ユニット（Electrical Control Unit）を介して接続されていても良い。
【００５３】
画像変換装置２０は、主に、画像入力部２１、画像変換演算部２２、画像出力部２４、を備える。
【００５４】
画像入力部２１は、撮像装置２５から視点変換画像を取得し、フレームメモリに保持させる。なお、このフレームメモリは、画像変換演算部２２により行われる逆変換処理において不規則に読み出し処理がされるため、ランダムアクセス可能なものである。
【００５５】
画像変換演算部２２は、逆変換テーブルを参照して、画像入力部２１から入力される視点変換画像に対して、逆変換処理を行う。この逆変換テーブルＴ１は、先に説明した逆変換テーブル生成方法により生成された逆変換テーブルであり、画像変換装置２０内の図示しないメモリに保持されている。
【００５６】
図４は、逆変換テーブルＴ１を用いて行われる逆変換処理のイメージ図である。図４に示す例では、逆変換テーブルＴ１のテーブル座標（１，１）の位置に、逆変換参照座標として（３，３）が格納されている（図４（ａ）参照）。これは、入力画像４１（視点変換画像）の（３、３）の位置の画素を（図４（ｂ）参照）、出力画像４２（視点変換前の撮像画像）の（１，１）の位置に格納すること（図４（ｃ）参照）を示している。これにより、画像変換装置２０は、視点変換処理がされる前の画像を得ることができる。逆変換処理された結果には、出力画像における各座標の画素値が含まれる。
【００５７】
また、画像変換演算部２２は、逆変換処理を行う際に、視点変換画像に対して補間処理を行ってもよい。補間処理では、画像変換演算部２２は、逆変換テーブルＴ１の逆変換参照座標に整数でないものを含む場合、逆変換参照座標が示す座標の周辺の画素値を、フレームメモリから読み出す。逆変換参照座標が示す座標の周辺とは、例えば逆変換参照座標に隣り合った４つの整数座標である。そして、読み出した各画素値の例えば平均値を補間画素値として算出する。例えば、逆変換テーブルＴ１のテーブル座標（２，２）の位置に、逆変換参照座標として（５．５，５．５）が格納されている場合には、入力画像の（５．５，５．５）の座標周辺である（５，５）、（５，６）、（６，５）、（６，６）の各座標の画素値を平均化し、その結果を補間画素値とする。したがって、この補間画素値を、出力画像の（２，２）の位置に格納する。これにより、画像を滑らかに逆変換することができる。
【００５８】
画像変換演算部２２によって逆変換処理された結果、もしくはあわせて補間処理された結果の情報は、画像出力部２４へ送られる。
【００５９】
画像出力部２４は、画像変換演算部２２により逆変換処理された結果もしくはあわせて補間処理された結果をフレームメモリに保持する。つまり、画像出力部２４は、出力画像の各座標の各画素値を保持する。また、画像出力部２４は、検知装置２７等の外部機器に接続され、逆変換処理等された逆変換画像を出力する。
【００６０】
なお、図示しないメモリには、画像変換装置による画像変換を実行するための画像変換プログラムを記憶することもできる。
【００６１】
このような本実施形態に係る画像変換装置２０によれば、逆変換画像を検知装置２７に出力するので、検知装置２７は撮像装置２５による視点変換前の画像を取得し、物体認識等の処理を高精度に行うことができる。また、逆変換テーブル生成方法によって生成された逆変換テーブルＴ１をあらかじめ画像変換装置２０内に保持しておくことで、画像変換時に逆変換参照座標の算出時間を必要とせず、必要があれば補間処理のみ実施すればよいので、演算時間が大幅に削減され、逆変換画像をリアルタイムで出力することが可能となる。
【００６２】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る画像変換装置の構成の一例を示すブロック図である。図５に示す画像変換装置３０は、図示しない車両に搭載される。この車両には、画像変換装置３０の他に、主に、撮像装置２５、車両表示部２６、検知装置３５、車両表示部３６が搭載される。なお、図５において、図３で説明した構成要素と同一の構成要素については、同一の符号を付し、説明を簡略化または省略する。
【００６３】
検知装置３５は、検知装置２７と同様に、画像変換装置２０から入力された画像から人や物体の検知、白線や交通信号機等の状態検知を行い、その検知結果を検知信号として出力する。また、検知装置３５は、画像変換装置３０の各スイッチ部３３、３４をＯＮにするための切替信号を出力する。また、検知装置３５は、逆変換画像を画像変換装置３０へ出力する。車両表示部３６は、視点変換画像に検知装置３５による物体認識結果を重畳して出力する。これらの装置は、電気的に接続される。
【００６４】
尚、画像変換装置３０と接続される撮像装置２５、車両表示部２６、検知装置３５、車両表示部３６は、車両内に設置された図示しない電子制御ユニット（Electrical Control Unit）を介して接続されていても良い。
【００６５】
画像変換装置３０は、主に、入力切替スイッチ部３３、画像入力部２１、画像変換演算部３１、画像出力部２４、出力切替スイッチ部３４を備える。
【００６６】
画像変換演算部３１は、検知装置３５によって出力された切替信号を受信し、切替信号に基づいて、逆変換テーブル及び視点変換テーブルのいずれかを選択する。そして、逆変換テーブルを選択した場合には、逆変換処理もしくはあわせて補間処理を行い、視点変換テーブルを選択した場合には、視点変換処理を行う。視点変換処理は公知の方法で行うことができる。なお、逆変換テーブルＴ１及び視点変換テーブルＴ２は、図示しないメモリにあらかじめ保持されている。視点変換テーブルＴ２は、撮像装置２５に保持されているものとは異なった視点変換テーブルでもよいし、撮像装置２５に保持されているものと同一の視点変換テーブルでもよい。撮像装置２５の視点変換テーブルと同一の視点変換テーブルＴ２を保持することで、逆変換画像を得る前の画像を取得することができる。また、撮像装置２５の視点変換テーブルとは異なる視点変換テーブルＴ２を保持することで、第３の視点から見た画像を得ることができる。また、第３の視点から見た画像以外であっても、視点変換テーブルＴ２として入力画像の特定の部分を拡大もしくは縮小して出力画像を生成するようなテーブルを保持することで、視点変換画像及び逆変換画像とは異なる第３の画像を得ることもできる。
【００６７】
入力切替スイッチ部３３は、入力側に撮像装置２５と検知装置３５とが接続され、検知装置３５によって出力された切替信号を受信し、画像入力部２１への入力経路を切り替える。また、入力切替スイッチ３３には、撮像装置２５から出力される視点変換画像と、検知装置３５によって出力される検知結果が重畳された検知画像（逆変換画像と検知結果とを含む画像）と、が入力される。入力切替スイッチ部３３は、検知装置３５によって出力された切替信号を受信し、この切替信号に基づいて、画像入力部２１に保持される画像を選択する。
【００６８】
出力切替スイッチ部３４は、入力側に画像出力部２４が接続され、検知装置３５によって出力される切替信号を受信し、画像変換装置３０に接続された検知装置３５及び車両表示部３６のいずれか一方に出力経路を切り替える。つまり、出力切替スイッチ部３４には、画像出力部２４から出力された画像が入力される。そして、出力切替スイッチ部３４は、検知装置３５によって出力された切替信号に応じて、画像変換装置３０に接続されている検知装置３５及び車両表示部３６のいずれか一方に画像を出力する。
【００６９】
次に、本実施形態の画像変換装置３０の動作について説明する。
図６は、画像変換装置３０の動作の一例を示すフローチャートである。
【００７０】
まず、入力切替スイッチ部３３は、撮像装置２５又は検知装置３５と接続され、撮像装置２５からの視点変換画像又は検知装置３５からの検知画像を入力する（ステップＳ１１）。続いて、入力切替スイッチ部３３は、検知装置３５によって出力された切替信号に基づいて、画像入力部２１へ送る画像として撮像装置２５からの視点変換画像又は検知装置３５からの検知画像を選択する（ステップＳ１２）。上記の切替信号には、検知画像の入力タイミングを示す切替信号（以下、Ｙ信号と称する）と、検知画像の入力タイミングではないことを示す切替信号（以下、Ｎ信号と称する）と、がある。つまり、Ｙ信号は、検知装置３５による物体認識が完了していることを示す。
【００７１】
入力切替スイッチ部３３がＮ信号を受信している場合、撮像装置２５と画像入力部２１が接続され、画像入力部２１は、撮像装置２５から出力される視点変換画像を入力する（ステップＳ１３）。一方、入力切替スイッチ部３３がＹ信号を受信している場合、検知装置３５と画像入力部２１が接続され、画像入力部２１は、検知装置３５から出力される検知画像を入力する（ステップＳ１４）。尚、入力切替スイッチ部３３において、１フレーム目の画像が入力される際（すなわち、初期動作時）には、検知装置３５からＮ信号が発信されているものとする。
【００７２】
続いて、画像変換演算部３１は、検知装置３５によって出力された切替信号に基づいて、参照座標を読み出すためのテーブルとして、視点変換テーブル又は逆変換テーブルを選択する（ステップＳ１５）。
【００７３】
ここで、画像変換演算部３１は、Ｎ信号を受信している場合、逆変換テーブルを選択して逆変換参照座標を読み出す（ステップＳ１６）。そして、画像変換演算部３１は、逆変換参照座標に基づいて、画像入力部２１に保持されている視点変換画像から逆変換画像を生成し、画像出力部２４へ出力する（ステップＳ１７）。一方、画像変換演算部３１は、Ｙ信号を受信している場合、視点変換テーブルを選択して変換参照座標を読み出す（ステップＳ１８）。そして、画像変換演算部３１は、変換参照座標に基づいて、画像入力部２１に保持されている検知画像から視点変換画像を生成し、画像出力部２４へ出力する（ステップＳ１９）。
【００７４】
続いて、出力切替スイッチ部３４は、画像出力部２４からの逆変換画像又は視点変換画像を出力する出力先を選択する（ステップＳ２０）。このとき、出力切替スイッチ部３４は、Ｎ信号を受信している場合、検知装置３５に逆変換画像を出力する（ステップＳ２１）。そして、検知装置３５は、入力された逆変換画像を用いて検知画像を生成する（Ｓ２２）。この検知画像は、Ｙ信号と共に、検知装置３５に接続された入力切替スイッチ３３部に送られる。
【００７５】
一方、出力切替スイッチ部３４がＹ信号を受信している場合、車両表示部３６は、視点変換画像を出力する（ステップＳ２３）。この視点変換画像には、検知装置３５により物体等が検知された検知結果が重畳されており、例えば、認識物体を示す枠が視点変換画像とともに表示される。
【００７６】
このような本実施形態に係る画像変換装置３０によれば、逆変換画像を用いて物体検知等を行い、その検知結果を視点変換画像に重畳して表示させることができる。また、画像変換演算部３１が撮像装置２５に保持されているものとは異なった視点変換テーブルを合わせて保持する場合には、撮像装置２５から出力された画像と異なり、検知結果情報を運転者にさらに理解し易い仮想視点で再視点変換された画像を提供することが可能となる。また、本実施形態に係る画像変換装置３０の構成を第１実施形態に係る画像変換装置２０を用いて実現しようとすると、システム構成が拡大化してしまうが、本実施形態の画像変換装置３０によれば、システム構成を単純化することができる。
【００７７】
なお、本実施形態では、視点変換処理及び逆変換処理として、画像を見る視点を変更して異なる視点から見た画像を取得すること、つまり、空間上の様々な投影面に対象物を投影し、これを実際の視点とは異なる仮想視点から見た画像を取得することとして主に説明したが、これに限られない。例えば、画像の一部領域を部分的に拡大もしくは縮小した画像を取得することも、本実施形態での視点変換処理及び逆変換処理に含まれる。
【００７８】
以上に本発明の好適な実施形態を説明した。しかし、本発明は上述の実施形態に限定されず、当業者が本発明の範囲内で上述の実施形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００７９】
本発明は、所定の画像に対して視点変換を行う前の画像を取得することが可能な逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム等に有用である。
【符号の説明】
【００８０】
１０ 逆変換テーブル生成装置
１１ 制御部
１２ メモリ
１３ 入出力部
２０，３０ 画像変換装置
２１ 画像入力部
２２，３１ 画像変換演算部
２４ 画像出力部
２５ 撮像装置
２６，３６ 車両表示部
２７，３５ 検知装置
２８ 制御装置
３３ 入力切替スイッチ部
３４ 出力切替スイッチ部
Ｔ１ 逆変換テーブル
Ｔ２ 視点変換テーブル
【技術分野】
【０００１】
本発明は、逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラムに関する。
【背景技術】
【０００２】
近年、道路交通の安全性向上のために、運転者が前方、後方、左右の死角を車内に設置された車載モニタにて確認できるように、カメラ（撮像装置）を搭載する車が非常に多くなってきている。加えて、カメラによって取得された画像を用いて、人認識、物体認識、白線検知等のセンシングを行い、その結果を元に各種制御を行う運転支援システムが提案されている。この制御には、ハンドル制御、ブレーキ制御、エンジン制御等の車両走行状態の制御や、車載モニタへの出力、音声出力、シートベルト制御等によって運転者への警告を促す制御などがある。
【０００３】
撮影された画像から人認識、物体認識を行う装置として、カメラから得た入力画像を高速フーリエ変換やウェーブレット変換によって周波数展開し、判定対象領域から周波数を閾値として、抽出したい対象物体以外を除去したのち、対象物体と予め保持しておいたテンプレートとを比較し、対象物体を検知する画像認識装置が知られている（例えば、特許文献１参照）。この画像認識装置によれば、歩行者認識を行う場合、歩行者の輪郭を周波数展開したものをテンプレートとすることで、画像をテンプレートとした場合に比べ、比較するために必要なテンプレート量を削減し、処理負荷を軽減して高速化を図ることができる。
【０００４】
また、運転者の利便性の向上のため、カメラの撮像画像を所定の仮想視点から見た視点変換画像に変換し、この視点変換画像を外部機器に出力する車載画像処理装置が知られている（例えば、特許文献２参照）。この車載画像処理装置によれば、仮想視点から見た画像（視点変換画像）の各画素とカメラ画像（撮像画像）の各画素との座標関係を保持した視点変換テーブルを参照して、撮像画像を視点変換画像に変換する演算を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１８１４２２号公報
【特許文献２】特開２００８−０４８２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２の車載画像処理装置では、視点変換画像に、視点変換テーブルに基づいて生成されることに伴う歪み、伸び等が付加されてしまう可能性がある。そのため、撮像画像と視点変換画像との周波数特性が異なっている可能性がある。さらに、画像の各領域で、視点変換により撮像画像に付加される歪み率、伸び率等が異なることで、視点変換による周波数特性も一律でない可能性がある。
【０００７】
特許文献１の画像認識装置では、テンプレート用の画像について周波数展開したものをテンプレートとして保持し、カメラが撮影した画像を周波数展開したものとこのテンプレートとを比較することで、画像認識を行う。ここで、仮に特許文献２の技術で得られる視点変換画像を用いて画像認識を行う場合には、歪み、伸び等を考慮してテンプレートを用意すると、視点変換テーブル毎、且つ、画像の領域毎に必要となり、さらに比較による演算量も大幅に増加してしまう。したがって、画像認識処理には、歪み、伸び等がない視点変換前の画像を用いることが望ましい。
【０００８】
また、画像認識を行う際には、一般的に、画像のエッジ、形状等のある特定の情報を強調して、当該画像の特定の領域を抽出する必要がある。しかしながら、仮に視点変換画像について特定の領域を抽出する場合には、視点変換処理によって加わる伸びと歪みにより、安定的に画像抽出することが困難である。そのため、画像認識を行うために必要な画像抽出処理には、歪み、伸び等がない視点変換前の画像を用いることが望ましい。
【０００９】
ただし、近年では、画像を撮影するカメラが視点変換機能を有しているものがあり、このようなカメラの画像を入力する装置では、カメラが撮像画像に対して視点変換を行う前の画像を単純に得ることはできない。
【００１０】
本発明は、上記事情を鑑みてなされたものであって、所定の画像に対して視点変換を行う前の画像を取得することが可能な逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の逆変換テーブル生成方法は、視点変換画像から当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するための逆変換テーブルを生成するための逆変換テーブル作成方法であって、制御部により、前記視点変換画像を生成するための視点変換テーブルのテーブル座標に格納された変換参照座標と前記逆変換テーブルの算出対象のテーブル座標との距離を、前記変換参照座標毎に算出し、前記視点変換テーブルのテーブル座標と当該テーブル座標に格納された変換参照座標に係る前記距離に基づいて、前記逆変換テーブルの前記算出対象のテーブル座標に格納される逆変換参照座標を算出する。
【００１２】
この方法により、視点変換画像から視点変換処理前の逆変換画像を生成するための逆変換テーブルを容易に生成することができる。
【００１３】
本発明の逆変換テーブル生成方法は、前記制御部により、前記視点変換テーブルにおいて所定範囲外に位置するテーブル座標に格納された変換参照座標を、前記距離の算出に用いる変換参照座標から除外する。
【００１４】
この方法により、逆変換テーブルを生成する際の処理負荷をより軽減することができる。つまり、逆変換参照座標を１つ求めるために対象とする視点変換テーブル上の変換参照座標の個数を、指定する範囲によって変えることができ、算出される逆変換参照座標にあまり影響がない座標を省略することができる。そのため、算出結果の精度の劣化がなく、計算量を抑制することができる。
【００１５】
本発明の逆変換テーブル生成プログラムは、上記の逆変換テーブル生成方法の手順を実行させるためのプログラムである。
【００１６】
このプログラムにより、視点変換画像から視点変換処理前の逆変換画像を生成するための逆変換テーブルを容易に生成することができる。
【００１７】
また、本発明の画像変換装置は、上記の逆変換テーブル生成方法により生成された逆変換テーブルを記憶するメモリと、撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力する画像入力部と、前記逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成する画像変換演算部と、前記画像変換演算部により生成された前記逆変換画像を出力する画像出力部と、を備える。
【００１８】
この構成により、視点変換機能を有する撮像装置から視点変換画像を入力する場合であっても、逆変換画像を容易に生成することができる。また、予め画像変換装置内に逆変換テーブルが保持されていることで、逆変換参照座標の算出時間を必要しないため、演算時間が大幅に削減され、逆変換画像のリアルタイム出力が可能となる。さらに、逆変換画像を外部の検知装置が入力した場合には、当該検知装置によって、逆変換画像を用いて画像認識を容易に行うことが可能となる。
【００１９】
また、本発明の画像変換装置は、前記画像変換演算部が、前記逆変換テーブルが有する前記逆変換参照座標が示す座標の周辺の画素値に基づいて、前記視点変換画像に対して補間処理を行い、前記逆変換画像を生成する。
【００２０】
この構成により、逆変換画像をより滑らかに高画質にすることができる。
【００２１】
また、本発明の画像変換装置は、前記逆変換画像に対して視点変換処理を行うための視点変換テーブルを記憶するメモリを備え、前記画像変換演算部が、前記逆変換画像内の物体認識を行う検知装置からの前記物体認識が完了したことを示す切替信号を受信した場合、前記視点変換テーブルを用いて、前記逆変換画像から前記視点変換画像を生成する。
【００２２】
この構成により、逆変換画像を用いて検知装置により行われた画像認識の認識結果を含めて視点変換し、視点変換画像に反映して表示することができるので、ユーザの利便性が向上する。
【００２３】
また、本発明の画像変換装置は、前記視点変換テーブルが、前記撮像装置に保持されている視点変換テーブルと同一の視点変換テーブルである。
【００２４】
この構成により、逆変換画像を用いて検知装置により行われた画像認識の認識結果を含めて視点変換することで、逆変換処理前の画像と同じ画像にその認識結果を反映して表示することができるので、ユーザの利便性が向上する。
【００２５】
また、本発明の画像変換装置は、前記視点変換テーブルが、前記撮像装置に保持されている視点変換テーブルとは異なる視点変換テーブルである。
【００２６】
この構成により、逆変換画像を用いて検知装置により行われた画像認識の認識結果を含めて視点変換することで、逆変換画像及び逆変換処理前の画像とは異なる第３の画像に、その認識結果を反映して表示することができるので、ユーザの利便性が向上する。
【００２７】
また、本発明の画像変換方法は、撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力するステップと、メモリに記憶された上記の逆変換テーブル生成方法により生成された逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するステップと、前記生成された前記逆変換画像を出力するステップと、を有する。
【００２８】
この方法により、視点変換機能を有する撮像装置から視点変換画像を入力する場合であっても、画像認識を容易かつ高精度に行うことが可能となる。また、予め逆変換テーブルを用意することで、逆変換参照座標の算出時間を必要しないため、演算時間が大幅に削減され、逆変換画像のリアルタイム出力が可能となる。
【００２９】
また、本発明の画像変換プログラムは、上記の画像変換方法の手順を実行させるためのプログラムである。
【００３０】
このプログラムにより、視点変換機能を有する撮像装置から視点変換画像を入力する場合であっても、画像認識を容易かつ高精度に行うことが可能となる。また、予め逆変換テーブルを用意することで、逆変換参照座標の算出時間を必要としないため、演算時間が大幅に削減され、逆変換画像のリアルタイム出力が可能となる。
【発明の効果】
【００３１】
本発明によれば、所定の画像に対して視点変換を行う前の画像を取得することが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施形態における逆変換テーブル生成装置の構成の一例を示すブロック図
【図２】本発明の第１の実施形態における逆変換参照座標を求めるための説明図
【図３】本発明の第１の実施形態における画像変換装置の構成の一例を示すブロック図
【図４】本発明の第１の実施形態における逆変換テーブルを用いて行われる逆変換処理のイメージ図
【図５】本発明の第２の実施形態における画像変換装置の構成の一例を示すブロック図
【図６】本発明の第２の実施形態における画像変換装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態の逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラムについて、図面を用いて説明する。
【００３４】
本実施形態の画像変換装置は、例えば車載用カメラである。
【００３５】
本実施形態では、画像変換装置が、逆変換テーブル生成方法により生成された逆変換テーブルを用いて、視点変換画像から逆変換画像を生成する逆変換処理を行う。逆変換テーブルとは、視点変換画像の座標系から視点変換処理が行われる前の座標系（つまり撮像画像の座標系）へ変換するためのテーブルである。逆変換テーブルには、撮像画像の各画素が視点変換画像におけるどの位置の画素に対応するかを示す情報（以降、逆変換参照座標ともいう）が格納される。また、画像変換装置は、例えば車載用カメラからの画像を入力する装置である。
【００３６】
まず、本実施形態の逆変換テーブルの生成方法について説明する。
図１は、本発明の第１の実施形態に係る逆変換テーブル生成装置の構成の一例を示すブロック図である。逆変換テーブル生成装置は、逆変換テーブル生成方法により、逆変換テーブルを生成する。図１に示す逆変換テーブル生成装置１０は、主に、制御部１１、メモリ１２、入出力部１３を備える。
【００３７】
制御部１１は、ＣＰＵ等により構成され、逆変換テーブル生成装置１０の各構成部１１〜１３における処理を統括する。また、制御部１１は、逆変換テーブルの逆変換参照座標を算出するための演算処理を行う。
【００３８】
メモリ１２は、各種情報を記憶するものであり、例えば撮像画像の座標系から視点変換画像の座標系への視点変換処理に用いられた視点変換テーブルを記憶する。なお、視点変換テーブルには、視点変換画像の各画素が撮像画像におけるどの位置の画素に対応するかを示す情報（以降、変換参照座標ともいう）が格納される。また、メモリ１２は、制御部１１により生成された逆変換テーブルを記憶することもできる。また、メモリ１２は、制御部１１により実行される逆変換テーブルを生成するための逆変換テーブル生成プログラムを記憶することもできる。
【００３９】
入出力部１３は、各種情報の入出力を行うものであり、例えば制御部１１により生成された逆変換テーブルを出力する。この入出力には、図示しない外部装置へ生成された逆変換テーブルの情報を提供するために、外部装置との間で逆変換テーブルの情報の送受信を行うことや、ＣＤ−ＲＯＭ等の記憶媒体に逆変換テーブルの情報を記憶させることを含む。
【００４０】
次に、図２を用いて、逆変換テーブルＴ１の生成方法、つまり、逆変換テーブルＴ１の逆変換参照座標の算出方法について説明する。
【００４１】
まず、逆変換テーブルＴ１上のあるテーブル座標(ｉ，ｊ)に格納される逆変換参照座標Ａ（ｉ，ｊ）のｘ座標をＡｘ、ｙ座標をＡｙとすると、次のように表せる。
【数１】
同様に、撮像装置２５に保持されている視点変換テーブルＴ２上のあるテーブル座標（ａ，ｂ）に格納されている変換参照座標Ｐ（ａ，ｂ）のｘ座標をＰｘ、ｙ座標をＰｙとすると、次のように表せる。
【数２】
【００４２】
制御部１１は、逆変換参照座標を算出する対象となっているテーブル座標（ｉ，ｊ）と視点変換テーブルＴ２に格納されている各変換参照座標Ｐ（ａ，ｂ）（図２ではＰ１（ａ，ｂ）、Ｐ２（ａ，ｂ）の２つが示されている）との各距離Ｌ（ａ，ｂ）（図２ではＬ１、Ｌ２の２つが示されている）を算出する。この距離Ｌ（ａ、ｂ）は、次のように表せる。この距離Ｌ（ａ,ｂ）は、算出対象のテーブル座標について、変換参照座標毎に算出される。
【数３】
【００４３】
ここで、各変換参照座標Ｐ（ａ，ｂ）とは、視点変換テーブルＴ２の探索範囲の全てのテーブル座標に格納された各々の変換参照座標であることを示している。制御部１１は、視点変換テーブルＴ２の探索範囲を、視点変換テーブルＴ２の全体としてもよいし、所定範囲内に制限してもよい。所定範囲内に制限することにより、逆変換テーブル生成時の距離の算出等の演算処理の負荷を軽減することができる。
【００４４】
続いて、制御部１１は、各変換参照座標Ｐ（ａ，ｂ）の重み係数Ｋ（ａ，ｂ）を算出する。この重み係数Ｋ（ａ,ｂ）は、次のように表せる。この重み係数Ｋ（ａ,ｂ）は、変換参照座標毎に算出される。つまり、重み係数Ｋは、距離Ｌ（ａ、ｂ）に基づいて算出される。
【数４】
【００４５】
ここで、Ｒは、逆変換参照座標を算出する対象となっているテーブル座標（ｉ，ｊ）と変換参照座標Ｐ（ａ，ｂ）との最大距離を表しており、精度と計算量に合わせて任意に決定することができる。また、重み係数Ｋが負になる変換参照座標Ｐ（ａ，ｂ）は、対象としない。
【００４６】
続いて、制御部１１は、各重み係数Ｋを用いて、逆変換テーブルＴ１に格納される逆変換参照座標Ａ（ｉ，ｊ）のＡｘ、Ａｙを算出する。この逆変換参照座標Ａ（ｉ，ｊ）のＡｘ、Ａｙは、次のように表せる。
【数５】
【００４７】
このような逆変換テーブルＴ１の逆変換参照座標の算出処理により算出された逆変換参照座標は、逆変換テーブルＴ１に格納される。このようにして、逆変換テーブルＴ１が生成される。
【００４８】
次に、本実施形態の画像変換装置及び画像変換方法について説明する。
【００４９】
本実施形態に係る画像変換装置は、入力された視点変換画像を、短時間で正確に逆変換画像を出力できる。画像変換装置としては、例えば車載用カメラ（撮像装置の一例）の出力画像を入力して変換する逆変換装置が考えられる。
【００５０】
図３は、本発明の第１の実施形態に係る画像変換装置の構成の一例を示すブロック図である。図３に示す画像変換装置２０は、図示しない車両に搭載される。この車両には、画像変換装置２０の他に、主に、撮像装置２５、車両表示部２６、検知装置２７、制御装置２８が搭載される。
【００５１】
撮像装置２５は、車両周辺を撮像し、取得した画像を視点変換テーブルにより変換処理し、視点変換画像を出力する。車両表示部２６は、撮像装置２５から入力された視点変換画像を表示する、車内に設置された車載モニタ等の表示部である。検知装置２７は、画像変換装置２０から入力された画像から人や物体の検知、白線や交通信号機等の状態検知を行い、その検知結果を検知信号として出力する。制御装置２８は、検知装置２７から入力される検知信号に基づいて、ハンドル動作、ブレーキ動作、エンジン動作等を制御する。これらの装置は、電気的に接続される。
【００５２】
尚、画像変換装置２０と接続される撮像装置２５、車両表示部２６、検知装置２７は、車両内に設置された図示しない電子制御ユニット（Electrical Control Unit）を介して接続されていても良い。
【００５３】
画像変換装置２０は、主に、画像入力部２１、画像変換演算部２２、画像出力部２４、を備える。
【００５４】
画像入力部２１は、撮像装置２５から視点変換画像を取得し、フレームメモリに保持させる。なお、このフレームメモリは、画像変換演算部２２により行われる逆変換処理において不規則に読み出し処理がされるため、ランダムアクセス可能なものである。
【００５５】
画像変換演算部２２は、逆変換テーブルを参照して、画像入力部２１から入力される視点変換画像に対して、逆変換処理を行う。この逆変換テーブルＴ１は、先に説明した逆変換テーブル生成方法により生成された逆変換テーブルであり、画像変換装置２０内の図示しないメモリに保持されている。
【００５６】
図４は、逆変換テーブルＴ１を用いて行われる逆変換処理のイメージ図である。図４に示す例では、逆変換テーブルＴ１のテーブル座標（１，１）の位置に、逆変換参照座標として（３，３）が格納されている（図４（ａ）参照）。これは、入力画像４１（視点変換画像）の（３、３）の位置の画素を（図４（ｂ）参照）、出力画像４２（視点変換前の撮像画像）の（１，１）の位置に格納すること（図４（ｃ）参照）を示している。これにより、画像変換装置２０は、視点変換処理がされる前の画像を得ることができる。逆変換処理された結果には、出力画像における各座標の画素値が含まれる。
【００５７】
また、画像変換演算部２２は、逆変換処理を行う際に、視点変換画像に対して補間処理を行ってもよい。補間処理では、画像変換演算部２２は、逆変換テーブルＴ１の逆変換参照座標に整数でないものを含む場合、逆変換参照座標が示す座標の周辺の画素値を、フレームメモリから読み出す。逆変換参照座標が示す座標の周辺とは、例えば逆変換参照座標に隣り合った４つの整数座標である。そして、読み出した各画素値の例えば平均値を補間画素値として算出する。例えば、逆変換テーブルＴ１のテーブル座標（２，２）の位置に、逆変換参照座標として（５．５，５．５）が格納されている場合には、入力画像の（５．５，５．５）の座標周辺である（５，５）、（５，６）、（６，５）、（６，６）の各座標の画素値を平均化し、その結果を補間画素値とする。したがって、この補間画素値を、出力画像の（２，２）の位置に格納する。これにより、画像を滑らかに逆変換することができる。
【００５８】
画像変換演算部２２によって逆変換処理された結果、もしくはあわせて補間処理された結果の情報は、画像出力部２４へ送られる。
【００５９】
画像出力部２４は、画像変換演算部２２により逆変換処理された結果もしくはあわせて補間処理された結果をフレームメモリに保持する。つまり、画像出力部２４は、出力画像の各座標の各画素値を保持する。また、画像出力部２４は、検知装置２７等の外部機器に接続され、逆変換処理等された逆変換画像を出力する。
【００６０】
なお、図示しないメモリには、画像変換装置による画像変換を実行するための画像変換プログラムを記憶することもできる。
【００６１】
このような本実施形態に係る画像変換装置２０によれば、逆変換画像を検知装置２７に出力するので、検知装置２７は撮像装置２５による視点変換前の画像を取得し、物体認識等の処理を高精度に行うことができる。また、逆変換テーブル生成方法によって生成された逆変換テーブルＴ１をあらかじめ画像変換装置２０内に保持しておくことで、画像変換時に逆変換参照座標の算出時間を必要とせず、必要があれば補間処理のみ実施すればよいので、演算時間が大幅に削減され、逆変換画像をリアルタイムで出力することが可能となる。
【００６２】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る画像変換装置の構成の一例を示すブロック図である。図５に示す画像変換装置３０は、図示しない車両に搭載される。この車両には、画像変換装置３０の他に、主に、撮像装置２５、車両表示部２６、検知装置３５、車両表示部３６が搭載される。なお、図５において、図３で説明した構成要素と同一の構成要素については、同一の符号を付し、説明を簡略化または省略する。
【００６３】
検知装置３５は、検知装置２７と同様に、画像変換装置２０から入力された画像から人や物体の検知、白線や交通信号機等の状態検知を行い、その検知結果を検知信号として出力する。また、検知装置３５は、画像変換装置３０の各スイッチ部３３、３４をＯＮにするための切替信号を出力する。また、検知装置３５は、逆変換画像を画像変換装置３０へ出力する。車両表示部３６は、視点変換画像に検知装置３５による物体認識結果を重畳して出力する。これらの装置は、電気的に接続される。
【００６４】
尚、画像変換装置３０と接続される撮像装置２５、車両表示部２６、検知装置３５、車両表示部３６は、車両内に設置された図示しない電子制御ユニット（Electrical Control Unit）を介して接続されていても良い。
【００６５】
画像変換装置３０は、主に、入力切替スイッチ部３３、画像入力部２１、画像変換演算部３１、画像出力部２４、出力切替スイッチ部３４を備える。
【００６６】
画像変換演算部３１は、検知装置３５によって出力された切替信号を受信し、切替信号に基づいて、逆変換テーブル及び視点変換テーブルのいずれかを選択する。そして、逆変換テーブルを選択した場合には、逆変換処理もしくはあわせて補間処理を行い、視点変換テーブルを選択した場合には、視点変換処理を行う。視点変換処理は公知の方法で行うことができる。なお、逆変換テーブルＴ１及び視点変換テーブルＴ２は、図示しないメモリにあらかじめ保持されている。視点変換テーブルＴ２は、撮像装置２５に保持されているものとは異なった視点変換テーブルでもよいし、撮像装置２５に保持されているものと同一の視点変換テーブルでもよい。撮像装置２５の視点変換テーブルと同一の視点変換テーブルＴ２を保持することで、逆変換画像を得る前の画像を取得することができる。また、撮像装置２５の視点変換テーブルとは異なる視点変換テーブルＴ２を保持することで、第３の視点から見た画像を得ることができる。また、第３の視点から見た画像以外であっても、視点変換テーブルＴ２として入力画像の特定の部分を拡大もしくは縮小して出力画像を生成するようなテーブルを保持することで、視点変換画像及び逆変換画像とは異なる第３の画像を得ることもできる。
【００６７】
入力切替スイッチ部３３は、入力側に撮像装置２５と検知装置３５とが接続され、検知装置３５によって出力された切替信号を受信し、画像入力部２１への入力経路を切り替える。また、入力切替スイッチ３３には、撮像装置２５から出力される視点変換画像と、検知装置３５によって出力される検知結果が重畳された検知画像（逆変換画像と検知結果とを含む画像）と、が入力される。入力切替スイッチ部３３は、検知装置３５によって出力された切替信号を受信し、この切替信号に基づいて、画像入力部２１に保持される画像を選択する。
【００６８】
出力切替スイッチ部３４は、入力側に画像出力部２４が接続され、検知装置３５によって出力される切替信号を受信し、画像変換装置３０に接続された検知装置３５及び車両表示部３６のいずれか一方に出力経路を切り替える。つまり、出力切替スイッチ部３４には、画像出力部２４から出力された画像が入力される。そして、出力切替スイッチ部３４は、検知装置３５によって出力された切替信号に応じて、画像変換装置３０に接続されている検知装置３５及び車両表示部３６のいずれか一方に画像を出力する。
【００６９】
次に、本実施形態の画像変換装置３０の動作について説明する。
図６は、画像変換装置３０の動作の一例を示すフローチャートである。
【００７０】
まず、入力切替スイッチ部３３は、撮像装置２５又は検知装置３５と接続され、撮像装置２５からの視点変換画像又は検知装置３５からの検知画像を入力する（ステップＳ１１）。続いて、入力切替スイッチ部３３は、検知装置３５によって出力された切替信号に基づいて、画像入力部２１へ送る画像として撮像装置２５からの視点変換画像又は検知装置３５からの検知画像を選択する（ステップＳ１２）。上記の切替信号には、検知画像の入力タイミングを示す切替信号（以下、Ｙ信号と称する）と、検知画像の入力タイミングではないことを示す切替信号（以下、Ｎ信号と称する）と、がある。つまり、Ｙ信号は、検知装置３５による物体認識が完了していることを示す。
【００７１】
入力切替スイッチ部３３がＮ信号を受信している場合、撮像装置２５と画像入力部２１が接続され、画像入力部２１は、撮像装置２５から出力される視点変換画像を入力する（ステップＳ１３）。一方、入力切替スイッチ部３３がＹ信号を受信している場合、検知装置３５と画像入力部２１が接続され、画像入力部２１は、検知装置３５から出力される検知画像を入力する（ステップＳ１４）。尚、入力切替スイッチ部３３において、１フレーム目の画像が入力される際（すなわち、初期動作時）には、検知装置３５からＮ信号が発信されているものとする。
【００７２】
続いて、画像変換演算部３１は、検知装置３５によって出力された切替信号に基づいて、参照座標を読み出すためのテーブルとして、視点変換テーブル又は逆変換テーブルを選択する（ステップＳ１５）。
【００７３】
ここで、画像変換演算部３１は、Ｎ信号を受信している場合、逆変換テーブルを選択して逆変換参照座標を読み出す（ステップＳ１６）。そして、画像変換演算部３１は、逆変換参照座標に基づいて、画像入力部２１に保持されている視点変換画像から逆変換画像を生成し、画像出力部２４へ出力する（ステップＳ１７）。一方、画像変換演算部３１は、Ｙ信号を受信している場合、視点変換テーブルを選択して変換参照座標を読み出す（ステップＳ１８）。そして、画像変換演算部３１は、変換参照座標に基づいて、画像入力部２１に保持されている検知画像から視点変換画像を生成し、画像出力部２４へ出力する（ステップＳ１９）。
【００７４】
続いて、出力切替スイッチ部３４は、画像出力部２４からの逆変換画像又は視点変換画像を出力する出力先を選択する（ステップＳ２０）。このとき、出力切替スイッチ部３４は、Ｎ信号を受信している場合、検知装置３５に逆変換画像を出力する（ステップＳ２１）。そして、検知装置３５は、入力された逆変換画像を用いて検知画像を生成する（Ｓ２２）。この検知画像は、Ｙ信号と共に、検知装置３５に接続された入力切替スイッチ３３部に送られる。
【００７５】
一方、出力切替スイッチ部３４がＹ信号を受信している場合、車両表示部３６は、視点変換画像を出力する（ステップＳ２３）。この視点変換画像には、検知装置３５により物体等が検知された検知結果が重畳されており、例えば、認識物体を示す枠が視点変換画像とともに表示される。
【００７６】
このような本実施形態に係る画像変換装置３０によれば、逆変換画像を用いて物体検知等を行い、その検知結果を視点変換画像に重畳して表示させることができる。また、画像変換演算部３１が撮像装置２５に保持されているものとは異なった視点変換テーブルを合わせて保持する場合には、撮像装置２５から出力された画像と異なり、検知結果情報を運転者にさらに理解し易い仮想視点で再視点変換された画像を提供することが可能となる。また、本実施形態に係る画像変換装置３０の構成を第１実施形態に係る画像変換装置２０を用いて実現しようとすると、システム構成が拡大化してしまうが、本実施形態の画像変換装置３０によれば、システム構成を単純化することができる。
【００７７】
なお、本実施形態では、視点変換処理及び逆変換処理として、画像を見る視点を変更して異なる視点から見た画像を取得すること、つまり、空間上の様々な投影面に対象物を投影し、これを実際の視点とは異なる仮想視点から見た画像を取得することとして主に説明したが、これに限られない。例えば、画像の一部領域を部分的に拡大もしくは縮小した画像を取得することも、本実施形態での視点変換処理及び逆変換処理に含まれる。
【００７８】
以上に本発明の好適な実施形態を説明した。しかし、本発明は上述の実施形態に限定されず、当業者が本発明の範囲内で上述の実施形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００７９】
本発明は、所定の画像に対して視点変換を行う前の画像を取得することが可能な逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム等に有用である。
【符号の説明】
【００８０】
１０ 逆変換テーブル生成装置
１１ 制御部
１２ メモリ
１３ 入出力部
２０，３０ 画像変換装置
２１ 画像入力部
２２，３１ 画像変換演算部
２４ 画像出力部
２５ 撮像装置
２６，３６ 車両表示部
２７，３５ 検知装置
２８ 制御装置
３３ 入力切替スイッチ部
３４ 出力切替スイッチ部
Ｔ１ 逆変換テーブル
Ｔ２ 視点変換テーブル
【特許請求の範囲】
【請求項１】
視点変換画像から当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するための逆変換テーブルを生成するための逆変換テーブル生成方法であって、
制御部により、
前記視点変換画像を生成するための視点変換テーブルのテーブル座標に格納された変換参照座標と前記逆変換テーブルの算出対象のテーブル座標との距離を、前記変換参照座標毎に算出し、
前記視点変換テーブルのテーブル座標と当該テーブル座標に格納された変換参照座標に係る前記距離に基づいて、前記逆変換テーブルの前記算出対象のテーブル座標に格納される逆変換参照座標を算出する逆変換テーブル生成方法。
【請求項２】
請求項１に記載の逆変換テーブル生成方法であって、
前記制御部により、
前記視点変換テーブルにおいて所定範囲外に位置するテーブル座標に格納された変換参照座標を、前記距離の算出に用いる変換参照座標から除外する逆変換テーブル生成方法。
【請求項３】
請求項１または２に記載の逆変換テーブル生成方法の手順をコンピュータに実行させるための逆変換テーブル生成プログラム。
【請求項４】
請求項１または２に記載の逆変換テーブル生成方法により生成された逆変換テーブルを記憶するメモリと、
撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力する画像入力部と、
前記逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成する画像変換演算部と、
前記画像変換演算部により生成された前記逆変換画像を出力する画像出力部と、
を備える画像変換装置。
【請求項５】
請求項４に記載の画像変換装置であって、
前記画像変換演算部は、前記逆変換テーブルが有する前記逆変換参照座標が示す座標の周辺の画素値に基づいて、前記視点変換画像に対して補間処理を行い、前記逆変換画像を生成する画像変換装置。
【請求項６】
請求項４または５に記載の画像変換装置であって、更に、
前記逆変換画像に対して視点変換処理を行うための視点変換テーブルを記憶するメモリ備え、
前記画像変換演算部は、前記逆変換画像内の物体認識を行う検知装置からの前記物体認識が完了したことを示す切替信号を受信した場合、前記視点変換テーブルを用いて、前記逆変換画像から前記視点変換画像を生成する画像変換装置。
【請求項７】
請求項６に記載の画像変換装置であって、
前記視点変換テーブルは、前記撮像装置に保持されている視点変換テーブルと同一の視点変換テーブルである画像変換装置。
【請求項８】
請求項６に記載の画像変換装置であって、
前記視点変換テーブルは、前記撮像装置に保持されている視点変換テーブルとは異なる視点変換テーブルである画像変換装置。
【請求項９】
撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力するステップと、
メモリに記憶された請求項１または２に記載の逆変換テーブル生成方法により生成された逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するステップと、
前記生成された前記逆変換画像を出力するステップと、
を備える画像変換方法。
【請求項１０】
請求項９に記載の画像変換方法の手順をコンピュータに実行させるための画像変換プログラム。
【請求項１】
視点変換画像から当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するための逆変換テーブルを生成するための逆変換テーブル生成方法であって、
制御部により、
前記視点変換画像を生成するための視点変換テーブルのテーブル座標に格納された変換参照座標と前記逆変換テーブルの算出対象のテーブル座標との距離を、前記変換参照座標毎に算出し、
前記視点変換テーブルのテーブル座標と当該テーブル座標に格納された変換参照座標に係る前記距離に基づいて、前記逆変換テーブルの前記算出対象のテーブル座標に格納される逆変換参照座標を算出する逆変換テーブル生成方法。
【請求項２】
請求項１に記載の逆変換テーブル生成方法であって、
前記制御部により、
前記視点変換テーブルにおいて所定範囲外に位置するテーブル座標に格納された変換参照座標を、前記距離の算出に用いる変換参照座標から除外する逆変換テーブル生成方法。
【請求項３】
請求項１または２に記載の逆変換テーブル生成方法の手順をコンピュータに実行させるための逆変換テーブル生成プログラム。
【請求項４】
請求項１または２に記載の逆変換テーブル生成方法により生成された逆変換テーブルを記憶するメモリと、
撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力する画像入力部と、
前記逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成する画像変換演算部と、
前記画像変換演算部により生成された前記逆変換画像を出力する画像出力部と、
を備える画像変換装置。
【請求項５】
請求項４に記載の画像変換装置であって、
前記画像変換演算部は、前記逆変換テーブルが有する前記逆変換参照座標が示す座標の周辺の画素値に基づいて、前記視点変換画像に対して補間処理を行い、前記逆変換画像を生成する画像変換装置。
【請求項６】
請求項４または５に記載の画像変換装置であって、更に、
前記逆変換画像に対して視点変換処理を行うための視点変換テーブルを記憶するメモリ備え、
前記画像変換演算部は、前記逆変換画像内の物体認識を行う検知装置からの前記物体認識が完了したことを示す切替信号を受信した場合、前記視点変換テーブルを用いて、前記逆変換画像から前記視点変換画像を生成する画像変換装置。
【請求項７】
請求項６に記載の画像変換装置であって、
前記視点変換テーブルは、前記撮像装置に保持されている視点変換テーブルと同一の視点変換テーブルである画像変換装置。
【請求項８】
請求項６に記載の画像変換装置であって、
前記視点変換テーブルは、前記撮像装置に保持されている視点変換テーブルとは異なる視点変換テーブルである画像変換装置。
【請求項９】
撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力するステップと、
メモリに記憶された請求項１または２に記載の逆変換テーブル生成方法により生成された逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するステップと、
前記生成された前記逆変換画像を出力するステップと、
を備える画像変換方法。
【請求項１０】
請求項９に記載の画像変換方法の手順をコンピュータに実行させるための画像変換プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２５７９４０（Ｐ２０１１−２５７９４０Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３１２３７（Ｐ２０１０−１３１２３７）
【出願日】平成２２年６月８日（２０１０．６．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月８日（２０１０．６．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]