車載映像提示装置及び映像提示方法
【課題】車両周囲の状況を撮影した映像の座標系を変換した場合であっても画質が良い映像を提示する。
【解決手段】演算部８が、変換後座標系における入力画素Ｐの分布状態に応じて変換後座標系の映像を生成する際に重み付け加算する入力画素Ｐの範囲を変化させる。このような処理によれば、十分な数の入力画素Ｐを用いて注目点Ｔの画素値を補間することができるので、車両周囲の状況を撮影した映像の座標系を変換した場合であっても画質が良い映像を提示することができる。
【解決手段】演算部８が、変換後座標系における入力画素Ｐの分布状態に応じて変換後座標系の映像を生成する際に重み付け加算する入力画素Ｐの範囲を変化させる。このような処理によれば、十分な数の入力画素Ｐを用いて注目点Ｔの画素値を補間することができるので、車両周囲の状況を撮影した映像の座標系を変換した場合であっても画質が良い映像を提示することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲の状況を撮影した映像の座標系を変換して車両の乗員に提示する車載映像提示装置及び映像提示方法に関する。
【背景技術】
【０００２】
従来より、変換前の座標系における映像の画素値から変換後の座標系における映像の画素値を補間することにより、車両周囲の映像の座標系を運転者が理解しやすい座標系に変換して提示する車載映像提示装置が知られている。
【特許文献１】特開２００５−３３３４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
車両周囲の状況を撮影した映像から車両上方の仮想視点から見下ろした鳥瞰映像や一部分だけを拡大，縮小した映像等を生成する場合、座標系の変換前と変換後とでは画素の分布状態が変化する。しかしながら従来の車載映像提示装置は、このような座標系の変換前後における画素の分布状態の変化を考慮せずに、換言すれば、変換前座標系における映像の各画素が変換後座標系における映像の各画素に影響を与える範囲を考慮せずに、例えば変換後座標系における画素位置を変化前座標系に逆変換した位置を中心とした所定範囲内に含まれる画素値により補間する等して、変換前の座標系において変換後の座標系における映像の画素値を補間している。このため従来の車載映像提示装置によれば、十分な数の画素値を用いて変換後の座標系における映像の画素値が補間されないことによって映像の画質が劣化することがある。
【０００４】
本発明は、このような課題を解決するためになされたものであり、その目的は、車両周囲の状況を撮影した映像の座標系を変換した場合であっても画質が良い映像を提示可能な車載映像提示装置及び映像提示方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る車載映像提示装置及び映像提示方法は、入力画素の変換後座標系における分布状態に応じて、変換後座標系の映像を構成する画素の画素値を算出する際に重み付け加算する入力画素の範囲を画素毎に変化させる。
【発明の効果】
【０００６】
本発明に係る車載映像提示装置及び映像提示方法によれば、車両周囲の状況を撮影した映像の座標系を変換した場合であっても画質が良い映像を提示することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、本発明の実施形態となる車載映像提示装置の構成及びその動作について説明する。
【０００８】
〔車載映像提示装置の構成〕
始めに、図１を参照して、本発明の実施形態となる車載映像提示装置の構成について説明する。
【０００９】
本発明の実施形態となる車載映像提示装置１は、車両に搭載され、図１に示すように、車両の周部（例えばフロントバンパー，リアバンパー，左右サイドミラー等）に設置された撮像方向が異なる複数台のカメラ２と、複数台のカメラ２によって撮影された映像に対し画像処理を施す映像処理ユニット３と、車室内に設けられ、映像処理ユニット３から出力された映像を表示する液晶ディスプレイ装置等のモニタ４とを主な構成要素として備える。なお本実施形態では、車載映像提示装置１は複数台のカメラ２を有することとしたが、カメラ２は１台であっても構わない。
【００１０】
映像処理ユニット３は、各種素子により構成された映像処理回路や半導体チップにより構成されたデジタル画像処理回路等によって構成され、映像入力部５，入力映像フレームメモリ（フレームバッファ）６，映像変換テーブル記憶部７，演算部８，出力映像フレームメモリ９，及び映像出力部１０を備える。映像入力部５は、複数台のカメラ２毎に設けられている。映像入力部５は、カメラ２によって撮影された映像をＡ／Ｄ変換した後にＲＧＢ信号にデコードし、ＲＧＢ信号を撮影映像のフレームを構成するフレームデータとして入力映像フレームメモリ６に入力する。
【００１１】
入力映像フレームメモリ６は、複数の映像入力部５毎に設けられ、映像入力部５から入力されたフレームデータをフレーム単位で一時記憶する。入力映像フレームメモリ６の各アドレス値はフレーム内の各画素と対応付けられ、アドレス値に対応するメモリ領域にはその画素の画素値が記憶されている。またフレーム内の各画素はカメラ２によって撮影された映像の座標系において等間隔に配列されている。映像変換テーブル記憶部７は、入力映像フレームメモリ６のアドレス値と出力映像フレームメモリ９のアドレス値との対応関係を示す映像変換テーブル（図３参照）を記憶する。映像変換テーブルの詳細については後述する。
【００１２】
演算部８は、映像変換テーブル記憶部７に記憶されている映像変換テーブルを参照して、カメラ２によって撮影された映像の座標系（以下、変換前座標系と表記）をモニタ４に表示する映像（例えば俯瞰映像等）の座標系（以下、変換後座標系と表記）に変換し、座標系が変換された映像のフレームデータを出力映像フレームメモリ９に出力する。なお本明細書中では、座標系の交点と入力映像フレームメモリ６及び出力映像フレームメモリ９の各点とが対応し、変換後座標系において定義される単位距離を単位距離と表記する（図３参照）。また本実施形態では、演算部８は、テーブルを参照して映像の座標系を変換したが、入力映像フレームメモリ６のアドレス値と出力映像フレームメモリ９のアドレス値との対応関係を示す関数に従って起動時や出力映像切換時に後述する入力画素の分布状態を演算する処理を実行することにより、映像の座標系を変換するようにしてもよい。
【００１３】
出力映像フレームメモリ９は、演算部８から出力されたフレームデータをフレーム単位で一時記憶する。出力映像フレームメモリ９の各アドレス値はフレーム内の各画素の画素値と対応付けられ、アドレス値に対応するメモリ領域にはその画素の画素値が記憶されている。またフレーム内の各画素は変換後座標系において等間隔に配列されている。映像出力部１０は、出力映像フレームメモリ９に一時記憶されたフレームデータ（ＲＧＢ信号）をコンポジット信号にエンコードした後にＤ／Ａ変換し、アナログ通信線を介して座標変換された映像のアナログ信号をモニタ４に出力する。
【００１４】
〔映像提示処理の流れ〕
このような構成を有する車載映像提示装置１は、以下に示す映像提示処理を実行することにより、モニタ４を介して運転者等の車両の乗員に対し映像を提示する。以下、図２に示すフローチャートを参照して、この映像提示処理を実行する際の車載映像提示装置１の動作について説明する。
【００１５】
図２に示すフローチャートは、車載映像提示装置１の電源がオフ状態からオン状態に切り換えられたタイミング又はモニタ４に表示されている映像が切り換えられたタイミングで開始となり、映像提示処理はステップＳ１の処理に進む。なおこの映像提示処理は、撮影映像のフレーム周期毎に繰り返し実行されるものとする。
【００１６】
ステップＳ１の処理では、複数台のカメラ２が、車両周囲の映像を撮影し、映像入力部５を介して撮影された映像（撮影映像）のフレームデータを対応する入力映像フレームメモリ６に一時保存する。これにより、ステップＳ１の処理は完了し、映像提示処理はステップＳ２の処理に進む。
【００１７】
ステップＳ２の処理では、演算部８が、映像変換テーブル記憶部７から映像変換テーブルを読み出し、読み出された映像変換テーブルに従って入力映像フレームメモリ６からモニタ４に表示する映像を構成するために必要な撮影映像の画素の画素値を取得する。具体的には、映像変換テーブルには図３に示すように出力映像フレームメモリ９のアドレス値に対応する入力映像フレームメモリ５のアドレス値とそのアドレス値が示すメモリ領域に記憶されている画素値の重みが記述されている。
【００１８】
すなわち映像変換テーブルには、モニタ４に表示する映像を構成する各画素と撮影映像を構成する各画素の位置及びその画素値の重みとの対応関係が記述されている。この映像変換テーブルの作成方法については後述する。そこで演算部７は、映像変換テーブルを参照して、出力映像フレームメモリ９のアドレス値毎に対応する入力映像フレームメモリ６のアドレス値に記憶されている画素値を読み出す。これにより、ステップＳ２の処理は完了し、映像提示処理はステップＳ３の処理に進む。
【００１９】
ステップＳ３の処理では、演算部８が、ステップＳ２の処理により読み出された画素値を用いてモニタ４に表示する映像を構成する各画素の画素値を補間処理によって並列的に演算する。具体的には、演算部８は、出力映像フレームメモリ９のアドレス値毎に、ステップＳ２の処理により読み出された画素値に対し対応する重みを乗算し、得られた乗算値を加算する。より具体的には、図４に示すように、変換後座標系におけるある画素（注目点）Ｔが変換前座標系における画素（入力画素）Ｐ１，Ｐ２，Ｐ３，Ｐ４に対応する場合、演算部８は、入力画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素値に対し対応する重み１，２，３，４を乗算し、得られた４つの乗算値を加算する。そして演算部７は、得られた加算値をそのアドレス値に対応する画素値として出力映像フレームメモリ９に一時記憶する。
【００２０】
なお本実施形態では、各入力画素の重みは、変換後座標系における入力画素の位置と注目点間の距離に応じて定められ、この距離が短い程、大きくなるように設定されている。また注目点Ｔの画素値を計算する際には、重み付け加算する入力画素数が多いほど画質が良い映像出力を期待することができる。しかしながら、入力画素数が多くなると演算部８の処理負荷が増加する。従って、重み付け加算する入力画素数は、演算部８の処理能力を考慮して、変換後座標系における入力画素の位置が注目点に近い順、換言すれば、重みの大きさが多い順に選択することが望ましい。これにより、ステップＳ３の処理は完了し、映像提示処理はステップＳ４の処理に進む。
【００２１】
ステップＳ４の処理では、映像出力部１０が、出力映像フレームメモリ９に一時記憶されたフレームデータをコンポジット信号にエンコードした後にＤ／Ａ変換し、アナログ通信線を介して映像信号をモニタ４に出力する。これにより、ステップＳ４の処理は完了し、一連の映像提示処理は終了する。
【００２２】
〔映像変換テーブルの作成方法〕
次に、図５に示すフローチャートを参照して、映像変換テーブルの作成方法について説明する。
【００２３】
映像変換テーブルを作成する際は、始めに、変換前座標系と変換後座標系の対応関係を示す関数を定義し、定義された関数を利用して変換後座標系における入力画素の位置を算出することにより、図６に示すように入力画素Ｐを変換後座標系に分布させる（ステップＳ１１）。
【００２４】
次に図６に示すように、変換後座標系における注目点Ｔを中心位置とした矩形領域Ｒを定義し、矩形領域内における入力画素Ｐの分布密度を計算する（ステップＳ１２）。具体的には、注目点Ｔを中心位置とする縦長さｍ，横長さｎの矩形領域Ｒを定義した場合、この矩形領域Ｒ内に含まれる交点の数は（ｍ＋１）×（ｎ＋１）［個］になる。そこで、この交点の数を分母，矩形領域Ｒ内に含まれる入力画素Ｐの数を分子として入力画素Ｐの分布密度を計算する。
【００２５】
次に、算出された入力画素Ｐの分布密度が１未満であるか否かを判別し（ステップＳ１３）、入力画素Ｐの分布密度が１未満である場合、変換後座標系における新たな単位距離を算出し、算出された単位距離を以後の処理において用いる変換後座標系における単位距離に設定する（ステップＳ１４）。この処理を図７（ａ），（ｂ）を参照してより具体的に説明する。図７（ａ）に示す例では、注目点Ｔを中心とする４×４（単位距離１）の矩形領域Ｒ内には３つの入力画素Ｐが存在し、入力画素Ｐの分布密度が３／２５（１未満）になっている。従ってこの状態で重み付け加算した場合には、十分な数の入力画素Ｐを用いて注目点Ｔの画素値が補間されないために、映像の画質が劣化する恐れがある。
【００２６】
そこで入力画素Ｐの分布密度が１未満である場合、図７（ｂ）に示すように単位距離を拡大する。具体的には、注目点Ｔの周囲に分布する入力画素Ｐのうち、注目点Ｔから近い順に８つの入力画素Ｐを選択し、この８つの入力画素Ｐそれぞれについて注目点Ｔとの間の平均距離を算出する。そして算出された平均距離を変換後座標系における新たな単位距離として用いる。このような処理によれば、平均距離が例えば２．５と算出された場合、新しい４×４（単位距離２．５）の矩形領域Ｒは単位距離を１とした時の１０．０×１０．０の矩形領域Ｒに対応するようになり、より多くの入力画素を矩形領域Ｒ内に含め、十分な数の入力画素Ｐを用いて注目点Ｔの画素値を補間することができる。
【００２７】
なお上記の例では、注目点Ｔに近い８点の入力画素Ｐの注目点Ｔとの間の平均距離を変換後座標系における新たな単位距離としたが、例えば注目点Ｔに近い２５点の入力画素Ｐの画素値が注目点Ｔの画素値として重み付け加算される距離を単位距離として用いるようにしてもよい。またこの説明における入力画素Ｐの数はあくまで一例であり、適宜適当な値に調整することができる。
【００２８】
一方、算出された入力画素Ｐの分布密度が１以上である場合、単位距離を変更しなくても十分な数の入力画素Ｐを用いて注目点Ｔの画素値を補間することができることから、既に設定されている変換後座標系の単位距離（単位距離１）を以後の処理において用いる単位距離に設定する（ステップＳ１５）。なお本実施形態では、入力画素Ｐの分布密度が１以上であるか否かによって以後の処理において用いる単位距離を変化させたが、この閾値１を０．８等のその他の値に設定することもできる。
【００２９】
次に、ステップＳ１４又はステップＳ１５の処理により設定された単位距離に基づいて矩形領域Ｒを設定し、設定された矩形領域Ｒ内に含まれる各入力画素の重みを算出し、算出された重みと入力画素Ｐに対応する入力映像フレームメモリ６のアドレス値を注目点Ｔに対応する出力映像フレームメモリ９のアドレス値と関連付けして映像変換テーブルに記載する（ステップＳ１６）。そしてモニタ４に出力する映像を構成する全ての画素について上記ステップＳ１２〜ステップＳ１６の処理を実行したか否かを確認し（ステップＳ１７）、全ての画素について処理を実行した時点で一連の映像変換テーブルの作成処理は完了する。
【００３０】
なお重みの計算方法としては、種々のものが考えられるが、例えば図８（ａ）及び以下の数式１に示すように−１〜＋１の範囲で値を有し、その他の範囲では値が０になるテントフィルタや以下の数式２に示すようなＢスプラインフィルタを利用する方法を例示できる。但し、フィルタはそれぞれ特徴を有するために、用途に合ったフィルタを選択することが望ましい。またテントフィルタ及びＢスプラインフィルタ以外のフィルタを利用しても構わない。フィルタを利用した重みの計算方法は、本願発明の出願時点で既に公知であるので、その説明は省略する。
【数１】
【数２】
【００３１】
以上の説明から明らかなように、本発明の実施形態となる車載映像提示装置１では、演算部８が、変換後座標系における入力画素Ｐの分布状態に応じて変換後座標系の映像を生成する際に重み付け加算する入力画素Ｐの範囲を変化させる。このような処理によれば、十分な数の入力画素Ｐを用いて注目点Ｔの画素値を補間することができるので、車両周囲の状況を撮影した映像の座標系を変換した場合であっても画質が良い映像を提示することができる。
【００３２】
［具体例］
以下、図９に示すような車両１１上方の仮想視点から見下ろした鳥瞰映像をモニタ４に表示する場合と図１２（ａ），（ｂ）に示すように車両後方映像を車幅方向に圧縮してモニタ４に表示する場合における映像変換テーブルの作成方法について説明する。
【００３３】
〔鳥瞰映像を表示する場合〕
図１０は、車両１１の周部に取り付けられるカメラ２の配置例を示す。この例では、４台のカメラ２がそれぞれ車両１１のフロントバンパー，リアバンパー，及び左右のサイドミラーに取り付けられている。各カメラ２は、１８０°の画角を有し、車両周囲の広い範囲を撮影することができる。いまカメラ２の取付位置（ｘ，ｙ，ｚ）、取付角度（ｙ，ｒ，ｐ）、レンズ画角やレンズ投影方式、焦点距離等のカメラパラメータが全てわかっているとすると、鳥瞰映像を表示する場合には、始めに、モニタ３にどのような映像を表示するかに応じて図１１に示すような仮想的なカメラ（以下、仮想カメラと略記）１２を考え、この仮想カメラ１２の取付位置（ｘ，ｙ，ｚ）、取付角度（ｙ，ｒ，ｐ）、レンズ画角やレンズ投影方式、焦点距離等のカメラパラメータを決定する。次に、仮想カメラ１２のある画素に入射する光線Ｖ１を仮想カメラ１２のカメラパラメータから算出する。次に、仮想カメラ１２への入射光線Ｖ１が基準面（例えば地面）と交わる点Ａとカメラ２とを結ぶベクトルをカメラ２への入射光線Ｖ２とみなし、その入射光線Ｖ２がカメラ２の受光素子のどの位置に入射するかをカメラ２のカメラパラメータから算出する。この結果、カメラ２の座標系（変換前座標系）におけるある画素と仮想カメラ２の座標系（変換後座標系）におけるある画素との対応関係を求めることができる。従って、この対応関係を求める作業を仮想カメラ１２が撮影する映像を構成する全ての画素について行うことにより、映像変換テーブルを作成し、カメラ２により撮影した映像から仮想カメラ１２により撮影した映像（鳥瞰映像）を生成，表示することができる。
【００３４】
〔車両後方映像を車幅方向に圧縮して表示する場合〕
図１２（ａ）に示すような車両後方映像を車幅方向に３分割し、中央部の画像及び左右の画像をそれぞれ拡大，圧縮して表示することにより、図１２（ｂ）に示すように車両後方映像を車幅方向に圧縮してモニタ４に表示する場合を考える。この場合、車幅方向（ｘ方向）では撮影画像は圧縮，縮小されるが、高さ方向（ｙ方向）では撮影画像は圧縮，拡大されないので、変換前座標系におけるｘ座標及びｙ座標と変換後座標系におけるｘ座標及びｙ座標の関係は図１３（ａ），（ｂ）に示すようになる。従って、図１３（ａ），（ｂ）に示す対応関係を利用して入力画素が変換後座標系のどの点に位置するかを算出することにより、映像変換テーブルを作成し、車両後方映像を車幅方向に圧縮した映像を生成，表示することができる。なお映像の圧縮及び拡大の大きさや比率は図１３（ａ），（ｂ）に示す例に限定されることはなく、高さ方向に画像を圧縮，拡大してもよい。また車両後方映像は、広角カメラにより撮影された映像から切り出してものであってもよい。
【００３５】
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態となる車載映像提示装置の構成を示すブロック図である。
【図２】図１に示す車載映像提示装置が実行する映像提示処理の流れを示すフローチャート図である。
【図３】映像変換テーブルの一例を示す図である。
【図４】入力画素の重み付け加算処理を説明するための概念図である。
【図５】本発明の実施形態となる映像変換テーブルの作成処理の流れを示すフローチャート図である。
【図６】変換後座標系に入力画素を分布させた状態を示す図である。
【図７】単位距離の変更方法を説明するための図である。
【図８】（ａ）テントフィルタと（ｂ）Ｂスプラインフィルタの構成を説明するための図である。
【図９】鳥瞰映像の一例を示す図である。
【図１０】カメラの配置位置を説明するための図である。
【図１１】実カメラと仮想カメラの位置関係を説明するための図である。
【図１２】（ａ）車両後方映像を車幅方向に３分割した映像と（ｂ）車両後方映像を車幅方向に圧縮した映像を示す図である。
【図１３】変換前座標系におけるｘ座標及びｙ座標と変換後座標系におけるｘ座標及びｙ座標の対応関係を示す図である。
【符号の説明】
【００３７】
１：車載映像提示装置
２：カメラ
３：映像処理ユニット
４：モニタ
５：映像入力部
６：入力映像フレームメモリ
７：映像変換テーブル記憶部
８：演算部
９：出力映像フレームメモリ
１０：映像出力部
【技術分野】
【０００１】
本発明は、車両周囲の状況を撮影した映像の座標系を変換して車両の乗員に提示する車載映像提示装置及び映像提示方法に関する。
【背景技術】
【０００２】
従来より、変換前の座標系における映像の画素値から変換後の座標系における映像の画素値を補間することにより、車両周囲の映像の座標系を運転者が理解しやすい座標系に変換して提示する車載映像提示装置が知られている。
【特許文献１】特開２００５−３３３４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
車両周囲の状況を撮影した映像から車両上方の仮想視点から見下ろした鳥瞰映像や一部分だけを拡大，縮小した映像等を生成する場合、座標系の変換前と変換後とでは画素の分布状態が変化する。しかしながら従来の車載映像提示装置は、このような座標系の変換前後における画素の分布状態の変化を考慮せずに、換言すれば、変換前座標系における映像の各画素が変換後座標系における映像の各画素に影響を与える範囲を考慮せずに、例えば変換後座標系における画素位置を変化前座標系に逆変換した位置を中心とした所定範囲内に含まれる画素値により補間する等して、変換前の座標系において変換後の座標系における映像の画素値を補間している。このため従来の車載映像提示装置によれば、十分な数の画素値を用いて変換後の座標系における映像の画素値が補間されないことによって映像の画質が劣化することがある。
【０００４】
本発明は、このような課題を解決するためになされたものであり、その目的は、車両周囲の状況を撮影した映像の座標系を変換した場合であっても画質が良い映像を提示可能な車載映像提示装置及び映像提示方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る車載映像提示装置及び映像提示方法は、入力画素の変換後座標系における分布状態に応じて、変換後座標系の映像を構成する画素の画素値を算出する際に重み付け加算する入力画素の範囲を画素毎に変化させる。
【発明の効果】
【０００６】
本発明に係る車載映像提示装置及び映像提示方法によれば、車両周囲の状況を撮影した映像の座標系を変換した場合であっても画質が良い映像を提示することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、本発明の実施形態となる車載映像提示装置の構成及びその動作について説明する。
【０００８】
〔車載映像提示装置の構成〕
始めに、図１を参照して、本発明の実施形態となる車載映像提示装置の構成について説明する。
【０００９】
本発明の実施形態となる車載映像提示装置１は、車両に搭載され、図１に示すように、車両の周部（例えばフロントバンパー，リアバンパー，左右サイドミラー等）に設置された撮像方向が異なる複数台のカメラ２と、複数台のカメラ２によって撮影された映像に対し画像処理を施す映像処理ユニット３と、車室内に設けられ、映像処理ユニット３から出力された映像を表示する液晶ディスプレイ装置等のモニタ４とを主な構成要素として備える。なお本実施形態では、車載映像提示装置１は複数台のカメラ２を有することとしたが、カメラ２は１台であっても構わない。
【００１０】
映像処理ユニット３は、各種素子により構成された映像処理回路や半導体チップにより構成されたデジタル画像処理回路等によって構成され、映像入力部５，入力映像フレームメモリ（フレームバッファ）６，映像変換テーブル記憶部７，演算部８，出力映像フレームメモリ９，及び映像出力部１０を備える。映像入力部５は、複数台のカメラ２毎に設けられている。映像入力部５は、カメラ２によって撮影された映像をＡ／Ｄ変換した後にＲＧＢ信号にデコードし、ＲＧＢ信号を撮影映像のフレームを構成するフレームデータとして入力映像フレームメモリ６に入力する。
【００１１】
入力映像フレームメモリ６は、複数の映像入力部５毎に設けられ、映像入力部５から入力されたフレームデータをフレーム単位で一時記憶する。入力映像フレームメモリ６の各アドレス値はフレーム内の各画素と対応付けられ、アドレス値に対応するメモリ領域にはその画素の画素値が記憶されている。またフレーム内の各画素はカメラ２によって撮影された映像の座標系において等間隔に配列されている。映像変換テーブル記憶部７は、入力映像フレームメモリ６のアドレス値と出力映像フレームメモリ９のアドレス値との対応関係を示す映像変換テーブル（図３参照）を記憶する。映像変換テーブルの詳細については後述する。
【００１２】
演算部８は、映像変換テーブル記憶部７に記憶されている映像変換テーブルを参照して、カメラ２によって撮影された映像の座標系（以下、変換前座標系と表記）をモニタ４に表示する映像（例えば俯瞰映像等）の座標系（以下、変換後座標系と表記）に変換し、座標系が変換された映像のフレームデータを出力映像フレームメモリ９に出力する。なお本明細書中では、座標系の交点と入力映像フレームメモリ６及び出力映像フレームメモリ９の各点とが対応し、変換後座標系において定義される単位距離を単位距離と表記する（図３参照）。また本実施形態では、演算部８は、テーブルを参照して映像の座標系を変換したが、入力映像フレームメモリ６のアドレス値と出力映像フレームメモリ９のアドレス値との対応関係を示す関数に従って起動時や出力映像切換時に後述する入力画素の分布状態を演算する処理を実行することにより、映像の座標系を変換するようにしてもよい。
【００１３】
出力映像フレームメモリ９は、演算部８から出力されたフレームデータをフレーム単位で一時記憶する。出力映像フレームメモリ９の各アドレス値はフレーム内の各画素の画素値と対応付けられ、アドレス値に対応するメモリ領域にはその画素の画素値が記憶されている。またフレーム内の各画素は変換後座標系において等間隔に配列されている。映像出力部１０は、出力映像フレームメモリ９に一時記憶されたフレームデータ（ＲＧＢ信号）をコンポジット信号にエンコードした後にＤ／Ａ変換し、アナログ通信線を介して座標変換された映像のアナログ信号をモニタ４に出力する。
【００１４】
〔映像提示処理の流れ〕
このような構成を有する車載映像提示装置１は、以下に示す映像提示処理を実行することにより、モニタ４を介して運転者等の車両の乗員に対し映像を提示する。以下、図２に示すフローチャートを参照して、この映像提示処理を実行する際の車載映像提示装置１の動作について説明する。
【００１５】
図２に示すフローチャートは、車載映像提示装置１の電源がオフ状態からオン状態に切り換えられたタイミング又はモニタ４に表示されている映像が切り換えられたタイミングで開始となり、映像提示処理はステップＳ１の処理に進む。なおこの映像提示処理は、撮影映像のフレーム周期毎に繰り返し実行されるものとする。
【００１６】
ステップＳ１の処理では、複数台のカメラ２が、車両周囲の映像を撮影し、映像入力部５を介して撮影された映像（撮影映像）のフレームデータを対応する入力映像フレームメモリ６に一時保存する。これにより、ステップＳ１の処理は完了し、映像提示処理はステップＳ２の処理に進む。
【００１７】
ステップＳ２の処理では、演算部８が、映像変換テーブル記憶部７から映像変換テーブルを読み出し、読み出された映像変換テーブルに従って入力映像フレームメモリ６からモニタ４に表示する映像を構成するために必要な撮影映像の画素の画素値を取得する。具体的には、映像変換テーブルには図３に示すように出力映像フレームメモリ９のアドレス値に対応する入力映像フレームメモリ５のアドレス値とそのアドレス値が示すメモリ領域に記憶されている画素値の重みが記述されている。
【００１８】
すなわち映像変換テーブルには、モニタ４に表示する映像を構成する各画素と撮影映像を構成する各画素の位置及びその画素値の重みとの対応関係が記述されている。この映像変換テーブルの作成方法については後述する。そこで演算部７は、映像変換テーブルを参照して、出力映像フレームメモリ９のアドレス値毎に対応する入力映像フレームメモリ６のアドレス値に記憶されている画素値を読み出す。これにより、ステップＳ２の処理は完了し、映像提示処理はステップＳ３の処理に進む。
【００１９】
ステップＳ３の処理では、演算部８が、ステップＳ２の処理により読み出された画素値を用いてモニタ４に表示する映像を構成する各画素の画素値を補間処理によって並列的に演算する。具体的には、演算部８は、出力映像フレームメモリ９のアドレス値毎に、ステップＳ２の処理により読み出された画素値に対し対応する重みを乗算し、得られた乗算値を加算する。より具体的には、図４に示すように、変換後座標系におけるある画素（注目点）Ｔが変換前座標系における画素（入力画素）Ｐ１，Ｐ２，Ｐ３，Ｐ４に対応する場合、演算部８は、入力画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素値に対し対応する重み１，２，３，４を乗算し、得られた４つの乗算値を加算する。そして演算部７は、得られた加算値をそのアドレス値に対応する画素値として出力映像フレームメモリ９に一時記憶する。
【００２０】
なお本実施形態では、各入力画素の重みは、変換後座標系における入力画素の位置と注目点間の距離に応じて定められ、この距離が短い程、大きくなるように設定されている。また注目点Ｔの画素値を計算する際には、重み付け加算する入力画素数が多いほど画質が良い映像出力を期待することができる。しかしながら、入力画素数が多くなると演算部８の処理負荷が増加する。従って、重み付け加算する入力画素数は、演算部８の処理能力を考慮して、変換後座標系における入力画素の位置が注目点に近い順、換言すれば、重みの大きさが多い順に選択することが望ましい。これにより、ステップＳ３の処理は完了し、映像提示処理はステップＳ４の処理に進む。
【００２１】
ステップＳ４の処理では、映像出力部１０が、出力映像フレームメモリ９に一時記憶されたフレームデータをコンポジット信号にエンコードした後にＤ／Ａ変換し、アナログ通信線を介して映像信号をモニタ４に出力する。これにより、ステップＳ４の処理は完了し、一連の映像提示処理は終了する。
【００２２】
〔映像変換テーブルの作成方法〕
次に、図５に示すフローチャートを参照して、映像変換テーブルの作成方法について説明する。
【００２３】
映像変換テーブルを作成する際は、始めに、変換前座標系と変換後座標系の対応関係を示す関数を定義し、定義された関数を利用して変換後座標系における入力画素の位置を算出することにより、図６に示すように入力画素Ｐを変換後座標系に分布させる（ステップＳ１１）。
【００２４】
次に図６に示すように、変換後座標系における注目点Ｔを中心位置とした矩形領域Ｒを定義し、矩形領域内における入力画素Ｐの分布密度を計算する（ステップＳ１２）。具体的には、注目点Ｔを中心位置とする縦長さｍ，横長さｎの矩形領域Ｒを定義した場合、この矩形領域Ｒ内に含まれる交点の数は（ｍ＋１）×（ｎ＋１）［個］になる。そこで、この交点の数を分母，矩形領域Ｒ内に含まれる入力画素Ｐの数を分子として入力画素Ｐの分布密度を計算する。
【００２５】
次に、算出された入力画素Ｐの分布密度が１未満であるか否かを判別し（ステップＳ１３）、入力画素Ｐの分布密度が１未満である場合、変換後座標系における新たな単位距離を算出し、算出された単位距離を以後の処理において用いる変換後座標系における単位距離に設定する（ステップＳ１４）。この処理を図７（ａ），（ｂ）を参照してより具体的に説明する。図７（ａ）に示す例では、注目点Ｔを中心とする４×４（単位距離１）の矩形領域Ｒ内には３つの入力画素Ｐが存在し、入力画素Ｐの分布密度が３／２５（１未満）になっている。従ってこの状態で重み付け加算した場合には、十分な数の入力画素Ｐを用いて注目点Ｔの画素値が補間されないために、映像の画質が劣化する恐れがある。
【００２６】
そこで入力画素Ｐの分布密度が１未満である場合、図７（ｂ）に示すように単位距離を拡大する。具体的には、注目点Ｔの周囲に分布する入力画素Ｐのうち、注目点Ｔから近い順に８つの入力画素Ｐを選択し、この８つの入力画素Ｐそれぞれについて注目点Ｔとの間の平均距離を算出する。そして算出された平均距離を変換後座標系における新たな単位距離として用いる。このような処理によれば、平均距離が例えば２．５と算出された場合、新しい４×４（単位距離２．５）の矩形領域Ｒは単位距離を１とした時の１０．０×１０．０の矩形領域Ｒに対応するようになり、より多くの入力画素を矩形領域Ｒ内に含め、十分な数の入力画素Ｐを用いて注目点Ｔの画素値を補間することができる。
【００２７】
なお上記の例では、注目点Ｔに近い８点の入力画素Ｐの注目点Ｔとの間の平均距離を変換後座標系における新たな単位距離としたが、例えば注目点Ｔに近い２５点の入力画素Ｐの画素値が注目点Ｔの画素値として重み付け加算される距離を単位距離として用いるようにしてもよい。またこの説明における入力画素Ｐの数はあくまで一例であり、適宜適当な値に調整することができる。
【００２８】
一方、算出された入力画素Ｐの分布密度が１以上である場合、単位距離を変更しなくても十分な数の入力画素Ｐを用いて注目点Ｔの画素値を補間することができることから、既に設定されている変換後座標系の単位距離（単位距離１）を以後の処理において用いる単位距離に設定する（ステップＳ１５）。なお本実施形態では、入力画素Ｐの分布密度が１以上であるか否かによって以後の処理において用いる単位距離を変化させたが、この閾値１を０．８等のその他の値に設定することもできる。
【００２９】
次に、ステップＳ１４又はステップＳ１５の処理により設定された単位距離に基づいて矩形領域Ｒを設定し、設定された矩形領域Ｒ内に含まれる各入力画素の重みを算出し、算出された重みと入力画素Ｐに対応する入力映像フレームメモリ６のアドレス値を注目点Ｔに対応する出力映像フレームメモリ９のアドレス値と関連付けして映像変換テーブルに記載する（ステップＳ１６）。そしてモニタ４に出力する映像を構成する全ての画素について上記ステップＳ１２〜ステップＳ１６の処理を実行したか否かを確認し（ステップＳ１７）、全ての画素について処理を実行した時点で一連の映像変換テーブルの作成処理は完了する。
【００３０】
なお重みの計算方法としては、種々のものが考えられるが、例えば図８（ａ）及び以下の数式１に示すように−１〜＋１の範囲で値を有し、その他の範囲では値が０になるテントフィルタや以下の数式２に示すようなＢスプラインフィルタを利用する方法を例示できる。但し、フィルタはそれぞれ特徴を有するために、用途に合ったフィルタを選択することが望ましい。またテントフィルタ及びＢスプラインフィルタ以外のフィルタを利用しても構わない。フィルタを利用した重みの計算方法は、本願発明の出願時点で既に公知であるので、その説明は省略する。
【数１】
【数２】
【００３１】
以上の説明から明らかなように、本発明の実施形態となる車載映像提示装置１では、演算部８が、変換後座標系における入力画素Ｐの分布状態に応じて変換後座標系の映像を生成する際に重み付け加算する入力画素Ｐの範囲を変化させる。このような処理によれば、十分な数の入力画素Ｐを用いて注目点Ｔの画素値を補間することができるので、車両周囲の状況を撮影した映像の座標系を変換した場合であっても画質が良い映像を提示することができる。
【００３２】
［具体例］
以下、図９に示すような車両１１上方の仮想視点から見下ろした鳥瞰映像をモニタ４に表示する場合と図１２（ａ），（ｂ）に示すように車両後方映像を車幅方向に圧縮してモニタ４に表示する場合における映像変換テーブルの作成方法について説明する。
【００３３】
〔鳥瞰映像を表示する場合〕
図１０は、車両１１の周部に取り付けられるカメラ２の配置例を示す。この例では、４台のカメラ２がそれぞれ車両１１のフロントバンパー，リアバンパー，及び左右のサイドミラーに取り付けられている。各カメラ２は、１８０°の画角を有し、車両周囲の広い範囲を撮影することができる。いまカメラ２の取付位置（ｘ，ｙ，ｚ）、取付角度（ｙ，ｒ，ｐ）、レンズ画角やレンズ投影方式、焦点距離等のカメラパラメータが全てわかっているとすると、鳥瞰映像を表示する場合には、始めに、モニタ３にどのような映像を表示するかに応じて図１１に示すような仮想的なカメラ（以下、仮想カメラと略記）１２を考え、この仮想カメラ１２の取付位置（ｘ，ｙ，ｚ）、取付角度（ｙ，ｒ，ｐ）、レンズ画角やレンズ投影方式、焦点距離等のカメラパラメータを決定する。次に、仮想カメラ１２のある画素に入射する光線Ｖ１を仮想カメラ１２のカメラパラメータから算出する。次に、仮想カメラ１２への入射光線Ｖ１が基準面（例えば地面）と交わる点Ａとカメラ２とを結ぶベクトルをカメラ２への入射光線Ｖ２とみなし、その入射光線Ｖ２がカメラ２の受光素子のどの位置に入射するかをカメラ２のカメラパラメータから算出する。この結果、カメラ２の座標系（変換前座標系）におけるある画素と仮想カメラ２の座標系（変換後座標系）におけるある画素との対応関係を求めることができる。従って、この対応関係を求める作業を仮想カメラ１２が撮影する映像を構成する全ての画素について行うことにより、映像変換テーブルを作成し、カメラ２により撮影した映像から仮想カメラ１２により撮影した映像（鳥瞰映像）を生成，表示することができる。
【００３４】
〔車両後方映像を車幅方向に圧縮して表示する場合〕
図１２（ａ）に示すような車両後方映像を車幅方向に３分割し、中央部の画像及び左右の画像をそれぞれ拡大，圧縮して表示することにより、図１２（ｂ）に示すように車両後方映像を車幅方向に圧縮してモニタ４に表示する場合を考える。この場合、車幅方向（ｘ方向）では撮影画像は圧縮，縮小されるが、高さ方向（ｙ方向）では撮影画像は圧縮，拡大されないので、変換前座標系におけるｘ座標及びｙ座標と変換後座標系におけるｘ座標及びｙ座標の関係は図１３（ａ），（ｂ）に示すようになる。従って、図１３（ａ），（ｂ）に示す対応関係を利用して入力画素が変換後座標系のどの点に位置するかを算出することにより、映像変換テーブルを作成し、車両後方映像を車幅方向に圧縮した映像を生成，表示することができる。なお映像の圧縮及び拡大の大きさや比率は図１３（ａ），（ｂ）に示す例に限定されることはなく、高さ方向に画像を圧縮，拡大してもよい。また車両後方映像は、広角カメラにより撮影された映像から切り出してものであってもよい。
【００３５】
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態となる車載映像提示装置の構成を示すブロック図である。
【図２】図１に示す車載映像提示装置が実行する映像提示処理の流れを示すフローチャート図である。
【図３】映像変換テーブルの一例を示す図である。
【図４】入力画素の重み付け加算処理を説明するための概念図である。
【図５】本発明の実施形態となる映像変換テーブルの作成処理の流れを示すフローチャート図である。
【図６】変換後座標系に入力画素を分布させた状態を示す図である。
【図７】単位距離の変更方法を説明するための図である。
【図８】（ａ）テントフィルタと（ｂ）Ｂスプラインフィルタの構成を説明するための図である。
【図９】鳥瞰映像の一例を示す図である。
【図１０】カメラの配置位置を説明するための図である。
【図１１】実カメラと仮想カメラの位置関係を説明するための図である。
【図１２】（ａ）車両後方映像を車幅方向に３分割した映像と（ｂ）車両後方映像を車幅方向に圧縮した映像を示す図である。
【図１３】変換前座標系におけるｘ座標及びｙ座標と変換後座標系におけるｘ座標及びｙ座標の対応関係を示す図である。
【符号の説明】
【００３７】
１：車載映像提示装置
２：カメラ
３：映像処理ユニット
４：モニタ
５：映像入力部
６：入力映像フレームメモリ
７：映像変換テーブル記憶部
８：演算部
９：出力映像フレームメモリ
１０：映像出力部
【特許請求の範囲】
【請求項１】
車両周部に設置された少なくとも１つの撮像手段と、
前記撮像手段により撮影された映像を保持する入力映像フレームメモリと、
第１座標系における位置と第２座標系における位置の対応関係に従って前記入力映像フレームメモリに保持されている映像を構成する画素の第１座標系における位置を第２座標系における位置に変換し、第２座標系における画素を入力画素として入力画素の画素値を重み付け加算することにより、前記撮像手段によって撮影された映像の座標系を第１座標系から第２座標系に変換した映像を生成する演算部と、
前記演算部が生成した映像を保持する出力映像フレームメモリと、
前記出力映像フレームメモリに保持されている映像を表示する表示部とを備え、
前記演算部は、第２座標系における入力画素の分布状態に応じて、第２座標系の映像を構成する画素の画素値を算出する際に重み付け加算する入力画素の範囲を変化させること
を特徴とする車載映像提示装置。
【請求項２】
請求項１に記載の車載映像提示装置において、前記演算部は、第２座標系における入力画素の分布状態に応じて、第２座標系の映像を構成する画素の画素値を算出する際に重み付け加算する入力画素の重みを変化させることを特徴とする車載映像提示装置。
【請求項３】
請求項１又は請求項２に記載の車載映像提示装置において、前記入力画素の分布状態は入力画素の分布密度であり、前記演算部は、当該分布密度が所定値以下である場合、入力画素の範囲及び／又は重みを変化させることを特徴とする車載映像提示装置。
【請求項４】
請求項１乃至請求項３のうち、いずれか１項に記載の車載映像提示装置において、前記演算部は、第２座標系の映像を構成する注目画素に近接する入力画素と注目画素間の平均距離を算出し、算出された平均距離を第２座標系の単位距離とすることを特徴とする車載映像提示装置。
【請求項５】
請求項１乃至請求項３のうち、いずれか１項に記載の車載映像提示装置において、前記演算部は、第２座標系の映像を構成する注目画素を中心とする入力画素が所定数分布する範囲内における入力画素と注目画素間の平均距離を算出し、算出された平均距離を第２座標系の単位距離とすることを特徴とする車載映像提示装置。
【請求項６】
第１座標系における位置と第２座標系における位置の対応関係に従って撮影映像を構成する画素の第１座標系における位置を第２座標系における位置に変換し、第２座標系における画素を入力画素として第２座標系における入力画素の分布状態に応じて重み付け加算する入力画素の範囲を変化させながら入力画素の画素値を重み付け加算することにより撮影映像の座標系を第１座標系から第２座標系に変換した映像を生成、表示することを特徴とする映像提示方法。
【請求項１】
車両周部に設置された少なくとも１つの撮像手段と、
前記撮像手段により撮影された映像を保持する入力映像フレームメモリと、
第１座標系における位置と第２座標系における位置の対応関係に従って前記入力映像フレームメモリに保持されている映像を構成する画素の第１座標系における位置を第２座標系における位置に変換し、第２座標系における画素を入力画素として入力画素の画素値を重み付け加算することにより、前記撮像手段によって撮影された映像の座標系を第１座標系から第２座標系に変換した映像を生成する演算部と、
前記演算部が生成した映像を保持する出力映像フレームメモリと、
前記出力映像フレームメモリに保持されている映像を表示する表示部とを備え、
前記演算部は、第２座標系における入力画素の分布状態に応じて、第２座標系の映像を構成する画素の画素値を算出する際に重み付け加算する入力画素の範囲を変化させること
を特徴とする車載映像提示装置。
【請求項２】
請求項１に記載の車載映像提示装置において、前記演算部は、第２座標系における入力画素の分布状態に応じて、第２座標系の映像を構成する画素の画素値を算出する際に重み付け加算する入力画素の重みを変化させることを特徴とする車載映像提示装置。
【請求項３】
請求項１又は請求項２に記載の車載映像提示装置において、前記入力画素の分布状態は入力画素の分布密度であり、前記演算部は、当該分布密度が所定値以下である場合、入力画素の範囲及び／又は重みを変化させることを特徴とする車載映像提示装置。
【請求項４】
請求項１乃至請求項３のうち、いずれか１項に記載の車載映像提示装置において、前記演算部は、第２座標系の映像を構成する注目画素に近接する入力画素と注目画素間の平均距離を算出し、算出された平均距離を第２座標系の単位距離とすることを特徴とする車載映像提示装置。
【請求項５】
請求項１乃至請求項３のうち、いずれか１項に記載の車載映像提示装置において、前記演算部は、第２座標系の映像を構成する注目画素を中心とする入力画素が所定数分布する範囲内における入力画素と注目画素間の平均距離を算出し、算出された平均距離を第２座標系の単位距離とすることを特徴とする車載映像提示装置。
【請求項６】
第１座標系における位置と第２座標系における位置の対応関係に従って撮影映像を構成する画素の第１座標系における位置を第２座標系における位置に変換し、第２座標系における画素を入力画素として第２座標系における入力画素の分布状態に応じて重み付け加算する入力画素の範囲を変化させながら入力画素の画素値を重み付け加算することにより撮影映像の座標系を第１座標系から第２座標系に変換した映像を生成、表示することを特徴とする映像提示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２１８７３９（Ｐ２００９−２１８７３９Ａ）
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願番号】特願２００８−５８５５７（Ｐ２００８−５８５５７）
【出願日】平成２０年３月７日（２００８．３．７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願日】平成２０年３月７日（２００８．３．７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]