画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
【課題】 合成鳥瞰図画像における視認性を向上させる画像処理方法等を提供する。
【解決手段】 複数の撮像画像の夫々を鳥瞰図画像に変換し、変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出し、抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出し、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力させ、出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する。
【解決手段】 複数の撮像画像の夫々を鳥瞰図画像に変換し、変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出し、抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出し、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力させ、出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム及び画像処理方法に関し、また画像処理システムに用いられる画像処理装置および画像処理プログラムに関する。特に、車両に設置された複数のカメラの撮像画像から鳥瞰図画像を生成し、それら各鳥瞰図画像を合成する技術に関する。
【背景技術】
【０００２】
自動車などの車両の運転者に対して運転時における死角箇所の視界情報を提供する事が考えられてきている。バックするときには車両の後方などに死角が生じるため、運転者にとって後方確認が難しくなる。そこで、死角となりやすい車両の後方を監視する撮像装置たる車載式のカメラ（以下、単にカメラと称す）を車に装備して、その撮像画像をカーナビゲーション装置等の画面に表示するシステムが開発されてきている。
【０００３】
また、カメラが撮像した映像を単に表示するのではなく、画像処理技術を使用して、人間にとって見て理解するのにより無理のない映像を見せるための研究がなされている。その一つに、撮像した映像を幾何学的変換すなわち座標変換を行うことにより、地面の上方などの仮想視点から見たようないわゆる鳥瞰図と呼ばれる画像を生成して表示する技術がある。この鳥瞰図画像を画面に表示することによって、運転者は鳥瞰図画像を見て死角たる車両後方の状況を詳しくかつより無理なく把握することができる。
【０００４】
更に、複数のカメラから得られた画像を上で述べたように座標変換することで得られる各鳥瞰図画像を合成して車両全周の状況を上方から見た映像である合成鳥瞰図画像（以下、全周鳥瞰図画像とも称する）を作成し、この全周鳥瞰図画像を画面に表示させる画像処理システムが開発されている。この画像処理システムでは、車両全周の状況を上方から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくしかも見てより無理なく把握できるという長所がある。ここでいう合成とは、その鳥瞰画像同士が整合性がとれるように、隣り合う各鳥瞰図画像同士を互いに移動、回転させて、隣り合わせて貼り合わせて一つの鳥瞰図とすることを言う。なお、整合性よく隣り合わせる際には各鳥瞰図間に重なる部分が発生する。
【０００５】
特許文献１に、複数の俯瞰画像（鳥瞰画像のこと）を使用し、それらを合成した俯瞰画像を表示する車両周辺監視装置が記載されている。
【特許文献１】特開２００７− ２７９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１に記載の技術によると、鳥瞰図においては撮像された立体的な障害物があたかも地面に平面的に倒れていたものであったかのように見えたりさらにはその障害物の形状が実際とは異なる歪んだ形状であるかのように感じられたりするので、車両を運転する運転者にとって、合成された鳥瞰図を見た際に障害物が何であるかを把握するのに無理あるものとなる場合が多い当該障害物は進行上の障害物である場合が多いので、運転者に対して違和感無く把握されるべき物である。
【０００７】
そこで本発明は、上述のように鳥瞰図画像を合成して合成鳥瞰図画像が得られる際に、障害物が合成鳥瞰図画像において表示される際に運転者にとって違和感のある表示となってしまうといった視認性に関する問題を鑑み、合成鳥瞰図画像における視認性を向上させる“画像処理装置”および“画像処理プログラム”を提供することを目的とする。また、それらを用いた“画像処理システム”及び“画像処理方法”を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部とを備えた画像処理装置であって、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出部と前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えている。
【０００９】
なお、前記障害物情報抽出部は、前記複数台の撮像装置のうちの少なくとも２台の撮像装置である対象撮像装置によって撮像されている前記鳥瞰図画像である対象鳥瞰図画像の重なり合う領域の画像において、前記対象鳥瞰図画像間で差分処理を行うことで前記障害物情報を抽出してよい。
【００１０】
本発明に係る画像処理装置は、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部とを備えた画像処理装置であって、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出部と前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像に関する情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えている。
【００１１】
本発明に係る画像処理プログラムは、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換ステップと、前記視点変換ステップで変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成ステップとを含む、コンピュータを画像処理装置として動作させる画像処理プログラムであって、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出ステップと、前記障害物情報抽出ステップで抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出ステップと、前記障害物情報抽出ステップで抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出ステップと、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理ステップと、前記置換処理ステップから出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成ステップとを含む。
【００１２】
本発明に係る画像処理システムは、上に記載の画像処理装置と、前記複数台の撮像装置、及び、前記表示装置を備えている。
【００１３】
本発明に係る画像処理方法は、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換し、変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像処理方法であって、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出し、抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出し、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力させ、出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する。
【００１４】
撮像装置は、静止画像を撮像するカメラや動画像を撮像するカメラなどが該当する。
【００１５】
障害物とは、路面上や地上などに描かれた平面的な文字や図形等では無く、それら路面上や地上などに存在する立体的な物体のことを表す。従って、障害物としては、例えば、人や植物や動物などの生き物や、車や自動二輪や自転車などの車両、標識や柵やポストなどの人工物が当てはまる。
【００１６】
なお、画像とは、撮像された被写体の姿が可視化された像の意味に限定されるものではなく、本発明においては、視点変換や置換などの画像処理の対象となる画像のデータを含むものと解釈されるものである。
【００１７】
障害物鳥瞰画像は、障害物が写っていれば、全体の画像だけに限られず、部分的な画像であってもよい。
【００１８】
なお、前記複数台の撮像装置によって撮像された画像の夫々が時間的に連続している画像を含んでいる場合に、前記障害物情報抽出部は、オプティカルフローの手法により前記障害物情報を抽出してもよい。
【００１９】
また本発明の画像処理装置は、１台の撮像装置によって撮像された時間的に連続している画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部を備えた画像処理装置であって、オプティカルフローの手法により前記障害物が前記撮像装置によって撮像されている領域の障害物情報を抽出する障害物情報抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記鳥瞰図画像から、前記鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えていてもよい。
【００２０】
また本発明の画像処理装置は、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部とを備えた画像処理装置であって、障害物を検出するセンサからの情報を使用して、前記障害物が前記撮像装置によって撮像されている領域の障害物情報を抽出する障害物情報抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えていてもよい。
【００２１】
また本発明の画像処理装置は、１台の撮像装置によって撮像された時間的に連続している画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部を備えた画像処理装置であって、障害物を検出するセンサからの情報を使用して、前記障害物が前記撮像装置によって撮像されている領域の障害物情報を抽出する障害物情報抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記鳥瞰図画像から、前記鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えていてもよい。
【００２２】
前記障害物情報抽出部は、前記撮像装置によって撮像された画像の夫々から、障害物に関する障害物情報を抽出してもよい。
【発明の効果】
【００２３】
本発明によれば、合成鳥瞰図画像における視認性を向上させる“画像処理装置”および“画像処理プログラム”を提供することができる。また、それらを用いた“画像処理システム”及び“画像処理方法”を提供することができる。
【００２４】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。
【００２５】
ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２６】
以下、本発明係る、画像処理装置および画像処理プログラム、およびそれらを用いた画像処理方法および、画像処理システムの実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明は省略する。
（第１の実施形態）
まず、全周鳥瞰図画像の作成方法について説明する。
［画像処理システムの構成と画像処理装置の動作］
図１に、本実施形態に係る画像処理システムの全体構成図を示す。同図を用いて、画像処理装置およびそれを用いた画像処理システムおよび画像処理システムで使用されている画像処理方法について説明する。本実施形態に係る画像処理システム１０００は、車両１００に取り付けられるカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒと、それら各カメラにて得られる撮像画像から全周鳥瞰図画像を生成しその映像データを表示装置３０００へ出力する画像処理装置２０００と、当該全周鳥瞰図画像の映像データを表示する表示装置３０００と、を備える。
【００２７】
カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒとして、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。
【００２８】
図２は、車両１００へのカメラの設置状況を表し、車両１００を上方から見た平面図である。同図では車両１００は、運転室と運転室より高さのある荷室とから形成されるトラックを例として図示している。同図に示す如く、車両１００の前部（例えば車両１００のフロントミラー上部）、後部（例えば車両１００の後部の最上部）、左側部（例えば車両１００の左側面の最上部に）及び右側部（例えば車両１００の右側面の最上部）に、夫々、撮像装置たるカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている。なお、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは、夫々、前カメラ、後カメラ、左横カメラ及び右横カメラと呼ばれる場合がある。
【００２９】
カメラ１Ｆの光軸が車両１００の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸が車両１００の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸が車両１００の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸が車両１００の右方斜め下向きになるように、各カメラは車両１００に設置される。カメラ１Ｌ及び１Ｒの高さは、カメラ１Ｆの高さよりも高いものとする。また、車両１００は、地面上に位置するものとする。
【００３０】
画像処理装置２０００について述べる。
【００３１】
画像処理装置２０００は、例えば本実施形態における画像処理を実行する集積回路から形成されるハードウエアや、本実施形態における画像処理を実行する画像処理プログラムのソフトウエア処理を行うＣＰＵ（中央処理装置）やメモリなどから成る。表示装置３０００は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、本画像処理システムにおける表示装置３０００として流用しても良い。
【００３２】
画像処理装置２０００において、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒからの撮像画像データを視点変換部２が受けて、各撮像画像データに対応した鳥瞰図画像を作成する。画像合成部３は、各鳥瞰図画像を合成して全周鳥瞰図画像を生成する。
【００３３】
ここで、全周鳥瞰図作成方法に関する視点変換部２および画像合成部３の動作について把握するため、各鳥瞰図画像と全周鳥瞰図画像の関係について述べる。なお、各撮像画像データに対応した鳥瞰図画像の作成方法については最後で説明する。
【００３４】
図３に示す如く、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得られる撮像画像から、夫々、作成された鳥瞰図画像１０Ｆ（座標系ＸＦＹＦ）、１０Ｂ（座標系ＸＢＹＢ）、１０Ｌ（座標系ＸＬＹＬ）及び１０Ｒ（座標系ＸＲＹＲ）が示されている。次に、カメラ１Ｂに対応する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ及び１０Ｒを回転及び／又は平行移動することにより、それら（１０Ｆ、１０Ｌ及び１０Ｒ）を鳥瞰図画像１０Ｂにおける座標系ＸＢＹＢに変換する。これにより、各鳥瞰図画像の座標が、全周鳥瞰図（本発明で言う合成鳥瞰図）画像における座標に変換される。以下、全周鳥瞰図画像における座標を、「全周鳥瞰図座標」とよぶ。
【００３５】
図４に、全周鳥瞰図と座標系ＸＢＹＢ上に表された鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒを示す。全周鳥瞰図は、鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒのうちの少なくとも隣り合う２つから構成されており、同図における全周鳥瞰図では鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒの全ての鳥瞰図画像から構成される。なお、これ以後全周鳥瞰図は鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒの全ての鳥瞰図画像からなる例で説明を行う。全周鳥瞰図座標には、同図に示す如く、２つの隣り合う鳥瞰図画像が重なり合う部分が存在する。同図において、ＣFLの符号が付された斜線領域が、全周鳥瞰図座標上において鳥瞰図画像１０Ｆと１０Ｌが重なり合う部分である。
【００３６】
当該重なり合う部分について説明する。
【００３７】
図５は、車両１００を左斜め前方から見た図である。
【００３８】
同図には、各カメラの撮像空間が模式的に表されている。各カメラは、自身の視野（すなわち撮像空間）内の被写体を撮像した撮像画像を生成する。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの視野を、夫々、１２Ｆ、１２Ｂ、１２Ｌ及び１２Ｒにて表す。尚、視野１２Ｒ及び１２Ｂに関しては、同図において一部しか示されていない。
【００３９】
カメラ１Ｆの視野１２Ｆには、カメラ１Ｆの設置位置を基準とした、車両１００の前方の所定範囲内に位置する障害物及び車両１００の前方の地面が含まれる。この所定範囲はカメラの画角から定まる。
【００４０】
カメラ１Ｂの視野１２Ｂには、カメラ１Ｂの設置位置を基準とした、車両１００の後方の所定範囲内に位置する障害物及び車両１００の後方の地面が含まれる。
【００４１】
カメラ１Ｌの視野１２Ｌには、カメラ１Ｌの設置位置を基準とした、車両１００の左方の所定範囲内に位置する障害物及び車両１００の左方の地面が含まれる。
【００４２】
カメラ１Ｒの視野１２Ｒには、カメラ１Ｌの設置位置を基準とした、車両１００の右方の所定範囲内に位置する障害物及び車両１００の右方の地面が含まれる。
【００４３】
上記のように、各カメラの視点は異なり、すなわち各カメラの視野内に収まる被写体は異なる。なお、障害物とは、人物などの立体的な物体、言い換えると高さのある物体である。地面を形成する路面などは、高さがないため障害物ではない。
【００４４】
さて同図によるとカメラ１Ｆと１Ｌは、車両１００の左斜め前方の所定領域を共通して撮像している。つまり、車両１００の左斜め前方の所定領域にて視野１２Ｆ及び１２Ｌは交わり合って、共通の視野が存在する。この各カメラが共通して撮像した空間である各カメラの視野の共通部分共通視野を以下では、上述の共通撮像空間と呼ぶ。
【００４５】
同様に、車両１００の右斜め前方の所定領域にて視野１２Ｆと１２Ｒは交わり合ってそれらの共通撮像空間が形成され、車両１００の左斜め後方の所定領域にて視野１２Ｂと１２Ｌは交わり合ってそれらの共通撮像空間が形成され、車両１００の右斜め後方の所定領域にて視野１２Ｂと１２Ｒは交わり合ってそれらの共通撮像空間が形成される。
【００４６】
以下では視野１２Ｆと１２Ｌとの間の共通撮像空間１３に着目して説明を行う。共通撮像空間１３以外の共通撮像空間に関しても同様の説明があてはまる。
【００４７】
図５（ｂ）には、共通撮像空間１３が太線を用いて示されている。共通撮像空間１３は、車両１００の左斜め前方の地面を底面とする錐体を形成するような空間となっている。同図には、この共通撮像空間１３内に人などの障害物１４が示されている。
【００４８】
複数の鳥瞰画像間の重なり合う部分、すなわち前出のＣFLは共通撮像空間１３が鳥瞰図上に変換された部分（以下、重なり部と呼ぶ）である。
【００４９】
鳥瞰図画像１０Ｆの、重なり部ＣFLの範囲にはカメラ１Ｆから見た共通撮像空間１３内の被写体（図５（ｂ）の障害物１４等）の画像が現れ、鳥瞰図画像１０Ｌの、重なり部ＣFLの範囲にはカメラ１Ｌから見た共通撮像空間１３内の被写体の画像が現れる。
【００５０】
重なり部に障害物がある場合の処理については後の重なり部における処理の所で述べる。重なり部はＣFL以外に、鳥瞰図画像１０Ｆと１０Ｒが重なり合う重なり部ＣFRと、鳥瞰図画像１０Ｂと１０Ｌが重なり合う重なり部ＣBLと、鳥瞰図画像１０Ｂと１０Ｒが重なり合う重なり部ＣBRとがあるが、共通撮像空間１３に対応する重なり部ＣFLに着目して説明を行う。
【００５１】
尚、図３及び図４において、ＸＦ軸及びＹＦ軸は、鳥瞰図画像１０Ｆの座標系の座標軸であり、それらは、前出のＸau軸及びＹau軸のことである。同様に、ＸＲ軸及びＹＲ軸は、鳥瞰図画像１０Ｒの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸のことである。同様に、ＸＬ軸及びＹＬ軸は、鳥瞰図画像１０Ｌの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸のことである。同様に、ＸＢ軸及びＹＢ軸は、鳥瞰図画像１０Ｂの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸のことである。
【００５２】
また、図３、４では、説明の上から、重なり部ＣFLを矩形で表記しているが、実際には重なり部ＣFLは矩形とはならない。また、各鳥瞰図画像も矩形になるとは限らない。図６に、各鳥瞰図画像が現れる領域及び重なり部ＣFLが矩形とならない場合の一例を示す。同図（ａ）及び（ｂ）には、夫々、全周鳥瞰図座標における鳥瞰図画像１０Ｌ及び１０Ｆが表されており、同図（ｃ）では、それらの重なり部ＣFLが斜線領域にて示されている。なお、同図（ａ）及び（ｃ）において、車両の後部よりの画像の図示を省略している。
【００５３】
図１に戻って説明を続ける。図１の画像処理装置２０００において、障害物情報抽出部４が視点変換部２からの鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する。例えば、視点変換部２からの各撮像画像データに対応した鳥瞰図画像データを受けて、鳥瞰図画像の夫々から、撮像画像の中で障害物が撮像されている部分に対応する前記鳥瞰図画像の中の領域である対応領域に関する位置情報などを含む障害物情報を抽出し、障害物情報を出力する。
【００５４】
位置情報には、例えば、カメラ座標系ＸＹＺの座標、撮像面Ｓの座標系ＸbuＹbuの座標、２次元地面座標系Ｘw Ｚwの座標、世界座標系Ｘw Ｙw Ｚwの座標などその他の座標系の座標といった情報が含まれる。他に障害物情報には、頂点情報が含まれる。頂点情報とは、座標データの示す画素の集合（すなわち画像）における頂点の座標などのことであり、当該頂点の座標が分かる事で、各頂点間を線でつないだ図形を想定することでその画像の範囲、大きさ、領域、といった情報も算出しうる。以後、頂点情報を考えることは、その画像の範囲、大きさ、領域、といった情報等を想定して考えることも含まれるとする。
【００５５】
本実施形態における障害物情報抽出部４は、少なくとも２台のカメラからなる対象撮像装置によって撮像されている鳥瞰図画像である対象鳥瞰図画像において共通して撮像されている重なり部の画像において対象鳥瞰図画像間で差分処理を行うことで障害物を検出でき、当該差分処理の結果を使用して前記障害物情報を抽出する。なお、重なり部は図４のような２枚の鳥瞰図画像が重なり合う部分に限られず３台以上の撮像装置の撮像画像から算出された鳥瞰図画像、すなわち３枚以上の鳥瞰図画像が重なり合う部分であってもよい。
【００５６】
なお、障害物情報抽出部４が複数の撮像装置たるカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒからの撮像画像データを受けて、撮像された画像の夫々から、障害物が撮像されている領域の障害物情報を抽出し、障害物情報を出力してもよい。この場合の画像処理システム１０００を図１６に示す。この場合、上記の鳥瞰図画像間での差分処理に代えて、各カメラからの撮像画像データの各々の共通撮像空間に相当する部分の間において差分処理を行う。
【００５７】
なお、障害物情報抽出部４での障害物情報の抽出の手法については後の重なり部における処理の所で説明する。その際、図４の重なり部ＣFL等を前提に説明する。
【００５８】
障害物情報抽出部４において障害物が検出されなかった場合は、障害物情報抽出部４は障害物情報を抽出せず当該障害物情報を出力しない。以下においては、特に断らない限り障害物情報抽出部４において障害物が検出された前提で説明を続ける。
【００５９】
カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒからの撮像画像データを障害物原画像抽出部５が受けて、障害物情報抽出部４で抽出された障害物情報に基づいて、障害物が含まれている撮像画像から、障害物を含む画像（例えば当該障害物が撮像されている部分を含む画像）である障害物原画像を抽出し、その情報を出力する。なお、障害物情報抽出部４において障害物が検出されなかった場合は、障害物情報抽出部４が障害物情報を抽出せず障害物原画像抽出部５に向けて当該障害物情報を出力しないので、障害物原画像抽出部５は障害物原画像の抽出を行わない。
【００６０】
障害物鳥瞰画像検出部６は、障害物情報抽出部４で抽出された障害物情報に基づいて、全周鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する。例えば、合成鳥瞰図画像の中の上記の対応領域に対応する鳥瞰画像障害物領域（障害物鳥瞰画像のこと）を検出し、それに関する情報を出力する。なお、障害物情報抽出部４において障害物が検出されなかった場合は、障害物情報抽出部４が障害物情報を抽出せず障害物鳥瞰画像検出部６に向けて当該障害物情報を出力しないので、障害物鳥瞰画像検出部６は障害物鳥瞰画像の検出を行わない。
【００６１】
置換処理部７は、障害物鳥瞰画像検出部６からの鳥瞰画像障害物領域に関する情報に基づき、障害物鳥瞰画像検出部６で検出された障害物鳥瞰画像を障害物原画像抽出部５で抽出された障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する。例えば、全周鳥瞰図画像中において、障害物鳥瞰画像検出部６で検出された障害物鳥瞰画像を含む画像に代えて、障害物原画像抽出部５で抽出された障害物原画像を用いて置換し、合成させて新たな全周鳥瞰図画像（以下、置換合成鳥瞰図画像と称する）を生成し、出力する。なお、障害物情報抽出部４において障害物が検出されなかった場合は、障害物原画像抽出部５は障害物原画像の抽出を行わず置換処理部７に向けて障害物原画像の情報を出力しないので、また、障害物鳥瞰画像検出部６は障害物鳥瞰画像の検出を行わず置換処理部７に向けて鳥瞰画像障害物領域の情報を出力しないので、置換処理部７は置換合成鳥瞰図画像を生成せず、画像合成部３からの全周鳥瞰図画像をそのまま出力する。
【００６２】
置換処理部７の動作については、後で述べる。
【００６３】
映像データ生成部８では置換処理部から出力された、全周鳥瞰図画像または置換合成鳥瞰図画像を表示装置９に表示させるための映像データを生成する。すなわち、表示装置９の表示フォーマットや表示規格に合わせたデータ構造や画素情報に変換して出力する。
【００６４】
以上により、全周鳥瞰図画像において障害物が表示される際に運転者にとって違和感のある表示となってしまうといった視認性に関する問題が、置換合成鳥瞰図画像において解決することができ、視認性が向上した全周鳥瞰図画像となっている。この点については、後述する実施例における視認性の説明の所で明らかにする。
［重なり部における処理］
重なり部ＣFLにおけるカメラ１Ｆ、カメラ１Ｌにより撮像された各障害物画像にかかる処理と、障害物情報抽出部４において、差分処理の結果を使用して前記障害物情報を抽出する方法について説明する。
【００６５】
例えば、図５（ｂ）に示されているように、カメラ１Ｆの撮像領域とカメラ１Ｌの撮像領域が重なり合う共通撮像空間１３内に障害物１４が存在している場合、カメラ１Ｆにて障害物１４を撮像した画像から鳥瞰図画像を生成したとき、図７の（ｂ）に示すように、全周鳥瞰図画像の重なり部ＣFLにおいて障害物１４が車両の左方向に倒れた画像１２２となって変換される。一方、カメラ１Ｌにて障害物１４を撮像した画像から鳥瞰図画像を生成した場合、同図（ａ）に示すように、全周鳥瞰図画像の重なり部ＣFLにおいて障害物１４が車両の前方に倒れた画像１２１となって変換される。なお鳥瞰図画像に変換する場合によく見られるように、画像１２２は左方に倒れただけでなく歪んだ様に、および／または撮像方向奥行き方向に伸びた様に変換されており、画像１２１は前方に倒れただけでなく歪んだ様に、および／または撮像方向奥行き方向に伸びた様に変換されており、同図にはそのことが模式的に示されている。障害物鳥瞰画像は、同図のように全体が映っているものに限られず、一部だけが写っていても障害物鳥瞰画像に該当する。これは、部分的な画像であっても、後に障害物原画像で置換するのであるから、置換前の画像が部分的なものであっても問題はないからである。
【００６６】
障害物情報抽出部４では、カメラ１Ｆの撮像画像による鳥瞰図における重なり部ＣFLに相当する部分１１２（同図（ｂ）参照）とカメラ１Ｌの撮像画像による鳥瞰図における重なり部ＣFLに相当する部分１１１（同図（ａ）参照）との差分演算を行う。なお当該重なり部の情報は、図４を作成する時に座標変換した際の回転の角度、平行移動の移動度、および領域１０Ｆ、１０Ｌ、１０Ｒ、１０Ｂの各頂点座標等から求まる。
【００６７】
図８を用いて更に述べる。同図（ａ）における部分１１１と同図（ｂ）における部分１１２との間で差分演算を行う事により、同図（ｃ）に示される部分１２３が抽出される。
【００６８】
同図（ａ）において、カメラ１Ｌの撮像画像による鳥瞰図における重なり部ＣFLに相当する部分１１１の領域１２１ａの部分は画像１２２に対応する部分である。同図（ｂ）において、カメラ１Ｆの撮像画像による鳥瞰図における重なり部ＣFLに相当する部分１１２の領域１２２ａの部分は画像１２１に対応する部分である。通常、部分１１１の画像１２１と領域１２１ａを除いた部分と、部分１１２の画像１２２と領域１２２ａを除いた部分とは、地面を撮像したものの鳥瞰図変換画像であることから、略同じような画像に変換されるので、差分演算により同図（ｃ）に示される画像１２１と画像１２２を併せた画像に対応する部分１２３が抽出される。当該部分１２３としては、例えばその差分値が０では無い領域が抽出される。なお差分演算では、対応する各画素間の画素値（輝度と色差や、赤緑青値など）を引き算し、その絶対値が所定の閾値と比較して零と見做せる場合にはその差を零とする演算方法などが使用される。
【００６９】
当該部分１２３が抽出された事で、共通撮像空間１３に障害物が存在していることを検出でき、当該部分１２３の図４で示した座標系ＸＢＹＢ（全周鳥瞰図画像）における座標やその範囲等が、障害物情報に含まれる座標系ＸＢＹＢにおける位置情報、や頂点情報等の障害物情報となる。なお障害物情報には、障害物原画像を抽出するために、撮像画像（部分１２３の場合は、具体的には当該障害物を含む視野１２Ｆと視野１２Ｌ）における位置情報や頂点情報等も含まれる。この演算は、例えば後の鳥瞰図画像の生成方法で述べる式（７）の逆演算を使用し、合成鳥瞰図における座標系ＸＢＹＢにおける座標から視野１２Ｆや視野１２Ｌにおける座標（後出の撮像面座標系）に変換する。
【００７０】
以上のように、障害物情報には、主に障害物鳥瞰画像検出部６で使用される座標系ＸＢＹＢすなわち鳥瞰図画像における座標と、主に障害物原画像抽出部５で使用される視野１２Ｆや視野１２Ｌにおける座標すなわち撮像画像における座標が含まれ、障害物情報抽出部４から出力される。なお、撮像画像における座標は鳥瞰図画像における座標から算出されるが、元々鳥瞰図画像が撮像画像から変換して求められているので、鳥瞰図における障害物の全座標から撮像画像における障害物の全座標を算出できることは容易に理解できる。
【００７１】
また、部分１２３の形状から画像１２１と画像１２２が撮像された二次元の障害物画像であることも抽出できる。例えば、部分１２３の形状が図８（ｃ）に見られるような画像１２１と画像１２２からなるＶ字状形状である場合に、画像１２１と画像１２２が撮像された二次元の障害物画像であるとすることができる。障害物情報は、例えば、当該部分１２３の方向や位置、頂点情報等をテーブル情報として画像処理装置２０００に記憶させるなどすることにより、得る事ができる。これ以降では、障害物情報は位置情報としての座標である例で説明を行う。
［障害物原画像抽出の方法］
重なり部ＣFLでカメラ１Ｆの撮像画像に対応する鳥瞰図を用いる場合の、全周鳥瞰図画像が置換合成鳥瞰図画像に置換される流れを図９を用いて説明する。
【００７２】
同図（ａ）はカメラ１Ｆが撮像した画像である。当該画像の左端に障害物１４が撮像されている。領域１４ａは、障害物原画像抽出部５で抽出された当該障害物１４が撮像されている領域であり、撮像画像中に写し出された障害物１４である。後出の、カメラ１Ｌが撮像した画像における領域１４ｂは、障害物原画像抽出部５で抽出された当該障害物１４が撮像されている領域であり、撮像画像中に写し出された障害物１４である。
【００７３】
画像１４ｃは、障害物が撮像されている領域１４ａを含む画像（障害物原画像のこと）である。画像１４ｃは、画像１４ａを含んでいればその範囲は任意であるが、例えば画像１４ａの外接楕円や外接矩形、重なり部ＣFL部分全体、または画像１４ａを５０％拡大した形状などが取りうる。図中には、外接楕円を例として記載されている。
【００７４】
当該楕円の算出の仕方の一例について述べる。
【００７５】
障害物原画像抽出部５において、障害物情報に含まれる位置情報（具体的には画像１４ａに含まれる全座標）を使用して、領域１４ａの長方向とそれと直交する短方向の長さを算出し、当該長方向と短方向の長さ長軸、短軸とする楕円を算出する。その後、当該楕円をその中心に対して長軸方向に２〜３倍程度、短軸方向に２倍程度拡大した楕円を算出することで画像１４ｄの楕円を求める。長軸方向の拡大幅を大きく取るのは、画像１４ｃが画像１２１を置換するのでその大きさは画像１４ｃが画像１２１を上回っておらねばならず、鳥瞰図への変換の特性を加味せねばならないためである。鳥瞰図への変換の際、例えば撮像画像の上下方向または撮像画像の中心から放射状に、撮像画像が歪んで伸びる特性があるのでこの点を加味したのである。なお、撮像画像が歪んで伸びる特性は主に障害物の高さとカメラの取り付け高さに依存し、相対的に障害物の高さが高くカメラの取り付け高さが低いとその歪みと伸びは大きい。本実施例では車両１００をトラックを例としているので実験等の知見から、画像が鳥瞰図への変換の際に２〜３倍程度歪んで伸びているとして、上記の拡大値を用いている。
［障害物鳥瞰画像検出の方法］
図９（ｂ）は、同図（ａ）の撮像画像の鳥瞰図画像の重なり部ＣFL部分の拡大図である。障害物１４は、上で述べたように車両の前方に倒れた様に、また実際とは異なり伸びたようにかつ歪んだように変換された画像１２１となっている。
【００７６】
画像１４ｄは、障害物鳥瞰画像検出部６で検出された障害物１４が撮像されている領域（障害物鳥瞰画像のこと）である画像１２１を含む画像である。画像１４ｄは、画像１２１を含んでいればその範囲は任意であるが、例えば画像１２１の外接楕円や外接矩形、重なり部ＣFL部分全体、または画像１２１を１０％拡大した形状などが取りうる。図中には、外接楕円を例として記載されている。
【００７７】
当該楕円の算出の仕方の一例について述べる。
【００７８】
障害物鳥瞰画像検出部６において、障害物情報に含まれる位置情報（具体的には画像１２１に含まれる全座標）を使用して、画像１２１の長方向とそれと直交する短方向の長さを算出し、当該長方向と短方向の長さ長軸、短軸とする楕円を算出する。その後、当該楕円をその中心に対して１０％拡大した楕円を算出することで画像１４ｄの楕円が求まる。
［置換処理部の動作］
図９（ｃ）は、置換処理部７で全周鳥瞰図画像中において、画像１４ｄに代えて画像１４ｃを用いて置換して生成された置換合成鳥瞰図画像の重なり部ＣFL部分の拡大図である。画像１４ｄに代えて画像１４ｃを用いて置換するので、画像１４ｃの形状、大きさ等は画像１４ｄを含むような形状、大きさ等であればよい。本実施形態では、画像１４ｃの大きさが画像１４ｄの大きさよりも大きい場合で説明を行う。
【００７９】
なお、画像１４ｃの形状、大きさ等と画像１４ｄの形状、大きさ等とを一致させる場合には、図１に図示しないデータフローにより、障害物鳥瞰画像検出部６から障害物原画像抽出部５へ画像１４ｄの位置情報、頂点情報等の情報を送出してもよいし、障害物原画像抽出部５から障害物鳥瞰画像検出部６へ画像１４ｃの位置情報、頂点情報等の情報を送出してもよい。この場合、障害物原画像抽出部５は障害物情報及び／又は障害物鳥瞰画像検出部６からの画像１４ｄの位置情報、頂点情報等の情報を用いて障害物原画像の抽出を行う。また、障害物鳥瞰画像検出部６は障害物情報及び／又は障害物原画像抽出部５からの画像１４ｃの位置情報、頂点情報等の情報を用いて障害物鳥瞰画像の検出を行う。
【００８０】
図１０を使用して、画像処理装置や画像処理プログラムが画像１４ｄに代えて画像１４ｃを用いて置換する方法について述べる。
【００８１】
同図には、メモリ空間上の全周鳥瞰図が格納されているメモリ領域Ａと、カメラ１Ｆが撮像した撮像画像が格納されているメモリ領域Ｂとが描かれている。メモリ領域Ａには画像１４ｄ、メモリ領域Ｂには画像１４ｃが格納されている。なお、同図ではメモリに格納されている画像データを模式的にメモリ領域上に描いてある。また同図も、画像１４ｃの形状、大きさ等は画像１４ｄの形状、大きさ等とが一致している場合である。
【００８２】
以下に、画像１４ｄに代えて画像１４ｃを用いて置換する方法について２つ例を挙げる。
【００８３】
第１の例：同図（ａ）では、メモリ領域Ｂから画像１４ｃを読み出して（リード）、メモリ領域Ａの画像１４ｄを塗りつぶすようにメモリ領域Ａへ画像１４ｃを書き込む（ライト）。その後、メモリ領域Ａから生成された全周鳥瞰図画像を読み出すことで、置換合成鳥瞰図画像を出力する事ができる。
【００８４】
第２の例：同図（ｂ）では、メモリ領域Ａから画像１４ｄ以外の全周鳥瞰図画像を読み出し、メモリ領域Ｂから画像１４ｃを読み出している。以上により、置換合成鳥瞰図画像を出力する事ができる。
【００８５】
なお、画像１４ｃの格納先アドレスや画像１４ｄの格納先アドレスは、障害物情報抽出部４から出力された障害物情報に障害物が撮像されている領域の少なくとも位置情報が含まれていることから、当該障害物情報を参照して算出される。
【００８６】
これは、たとえば次のように考える事ができる。１画素を１バイトで表し、かつ８画素×８画素のブロックを１単位として全周鳥瞰図画像を分割して捉えた場合、１ブロックにおける８画素×８画素＝６４画素を連続する６４バイトのデータとなるようにアドレスを付与し、全周鳥瞰図画像を構成するブロックについてラスタスキャン状に順番を与え、その順番で各ブロック毎にアドレスを付与する事で（この場合アドレスは６４毎になる）、全周鳥瞰図画像を構成する各画素に連続してアドレスを付与する事ができる。画像１４ｃや画像１４ｄがどのブロックに含まれているかは、座標系ＸＢＹＢにおける位置情報（すなわち画像の座標等）、頂点情報等（すなわち画像に含まれる領域等）などの障害物情報から、容易に分かるので、これにより、格納先アドレスが判明する。この例に限られず、各画素が一定の規則性を持ってアドレス付与されていれば、座標等の障害物情報から、画像１４ｃや画像１４ｄを構成する画素がどのアドレスなのかは容易に算出する事ができる。
【００８７】
上記アドレスの算出やメモリからの読み出しを置換処理部７が行う事で、置換処理部７において上述の障害物原画像抽出部５の処理を行ってもよい。すなわち、障害物情報中の撮像画像における座標の情報と画像１４ｄに関する情報に基づく式（７）の逆演算により、画像１４ｃの外接楕円の算出は障害物原画像抽出部５の機能を含む置換処理部７で行われていることになる。
【００８８】
なお、画像１４ｃや画像１４ｄが同一形状である場合には、置換処理部７が、障害物鳥瞰画像検出部６で検出された障害物鳥瞰画像に関する情報に基づいて、カメラによって撮像画像から障害物原画像を抽出し、障害物鳥瞰画像検出部６で検出された障害物鳥瞰画像を障害物原画像に置換した画像を置換合成鳥瞰図画像として出力することができる。すなわち、画像１４ｄに関する障害物情報により、画像１４ｃや画像１４ｄが同一形状であることから画像１４cの外接楕円の長軸の長さや短軸の長さが判明し、（式（７）の逆演算から）画像１４ｃの位置情報が分かるので、置換処理部７が障害物原画像抽出部５のように撮像画像から障害物原画像を抽出することができ、障害物鳥瞰画像に代えて当該障害物原画像を用いて置換することができる。
［実施例における視認性］
次に、置換合成鳥瞰図画像において、視認性が向上した全周鳥瞰図画像となっている点について、図９を使用して説明する。
【００８９】
上で述べたように、障害物は鳥瞰図画像に変換される場合には、画像１２１や画像１２２のように倒れたような画像になっており、加えて撮像方向奥行き方向に伸びたように、および／または実際とは異なり歪んだように変換されることがよく見うけられる。
【００９０】
よってこの重なり部ＣFLにおいて、撮像された障害物１４として画像１２２と画像１２１のどちらかを使用する従来の全周鳥瞰図画像では、または、それら両方を加味した画像を使用する従来の全周鳥瞰図画像では、表示装置３０００を見た運転者にとって、障害物１４を表すものとしては、視認性が低下し違和感のあるものとなっている。
【００９１】
しかし、本実施形態のように、鳥瞰図画像に変換された障害物の画像を用いることなく、各カメラで撮像された画像から抽出した障害物の画像を使用する置換合成鳥瞰図画像によって、運転者にとって違和感の無い障害物の画像が表示装置３０００に映し出され、障害物１４を見た運転者の視認性は向上する。
【００９２】
図１１に表示装置３０００の表示部に表示されている重なり部ＣFLの拡大されたものを示す。同図（ａ）または（ｂ）に示されているような鳥瞰図に変換された画像１２１や画像１２２が使用されたものと比べて、同図（ｃ）または（ｄ）に示されているようなカメラで撮像された鳥瞰図に変換される前の障害物画像が使用されたものの（１４ａ、１４ｂ）方が視認性が向上していると言える。なお、同図（ｃ）と（ｄ）のどちらを使用するかは、視認性の点から任意の方法で決定する。例えば、障害物が完全に表示されている点から、同図（ｃ）を選択するなどしてよい。完全に表示されているかどうかは重なり部ＣFLの境界との重なりの度合いなどから判断しうる。これに限らず、同図（ｃ）が完全に表示されておらず部分的な場合であっても、障害物鳥瞰画像が表示されている度合いが大きい方、即ち障害物全体が表示されている画像により近い方を選択すればよい。
【００９３】
上の説明で使用してきた重なり部ＣFL付近は、撮像領域の端の部分であり、撮像画像においてまた鳥瞰図へ変換した後の画像において撮像物が歪みやすい部分であるので、合成鳥瞰図画像における視認性の向上の効果が大きい部分である。
【００９４】
図１２に、カーナビゲーションシステムなどに含まれる液晶ディスプレイパネル等である表示装置３０００に表示される全周鳥瞰図画像の一例を示す。車両１００に相当する図画が中央に表示され、その車両の前方、後方、左側及び右側に当たる部分（すなわち表示画面において各々車両の上方、下方左方、右方部分）に、夫々、映像データ生成部８で生成された、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得た鳥瞰図画像の映像データに従って表示される。
【００９５】
以上により、合成鳥瞰図画像における視認性を向上させる画像処理装置２０００、およびそれを用いた画像処理方法、画像処理システム１０００を提供することができる。
（第２の実施形態）
本実施形態の全体構成は、前述の第１の実施形態と同様に、図８に示されるが、同図中の障害物情報抽出部４の構成あるいは動作が第１の実施形態と異なる。なお、同図において、障害物情報抽出部４以外の構成は、第１の実施形態と同じであるので、その説明を省略している。
［障害物情報抽出部において障害物情報を抽出する方法］
第１の実施形態に対して、本実施形態では、障害物情報抽出部４はオプティカルフローの手法により障害物を検出し、当該オプティカルフローの手法による検出の結果を使用して障害物情報を抽出する。すなわち、２つのカメラの撮像空間の共通撮像空間や、それが鳥瞰図上に変換された重なり部を使用することなく障害物を検出する事ができる。よって、本実施形態の手法の適用範囲は重なり部に限られない。また、障害物を検出するための別機構、別部品等を必要としない。なお、上記複数台のカメラによって撮像された画像の夫々は、時間的に連続している画像を含んでいるものとする。
【００９６】
オプティカルフローの手法では、例えばこの時間毎に撮像された画像において、対応する画素群を特定してその動き量を算出し、撮像対象物を検出する。よって、その動き量からそれが撮像画像における背景とは異なる部分か、更には障害物であるかを検出することができる。例えば、大きく２つの動き量がある場合には、その量がより大きい方が手前にある撮像対象物ということができるので、それを障害物とみなすことができる。
【００９７】
具体的には、オプティカルフローの手法により、あるカメラの撮像画像（動画像）において動きがある場合にはその動きが異なる部分を検出して、その挙動から撮像画像中に障害物が存在していることを検出するなお、当該異なる部分の位置、頂点情報等から障害物情報を抽出することが出来る。障害物情報は、例えば、異なる部分の位置、頂点情報等に対応したテーブル情報を画像処理装置２０００に持たせることなどにより、得る事ができる。
【００９８】
以上により、合成鳥瞰図画像における視認性を向上させる画像処理装置２０００、およびそれを用いた画像処理方法、画像処理システム１０００を提供することができる。
（第３の実施形態）
本実施形態では、第１の実施形態と異なる部分について説明する。なお、第１の実施形態と同じ部分については説明を省略している。
［障害物情報抽出部において障害物情報を抽出する方法］
第１の実施形態、第２の実施形態に対して、本実施形態では、障害物情報抽出部は障害物を検出するセンサからの情報を使用して障害物を検出し、センサからの情報を使用して障害物がカメラによって撮像されている領域の少なくとも位置情報を含む障害物情報を抽出する。すなわち、２つのカメラの撮像空間の共通撮像空間や、それが鳥瞰図上に変換された重なり部を使用することなく障害物を検出する事ができる。よって、本実施形態の手法の適用範囲は重なり部に限られない。
【００９９】
図１３に本実施形態に係る画像処理システムの全体構成図を示す。
【０１００】
図１と異なる点は、センサ４００が追加されている点と、障害物情報抽出部４がセンサ４００からの情報を使用して障害物を検出しセンサからの情報を使用して障害物情報を抽出する障害物情報抽出部４ａとなっている点である。
【０１０１】
具体的には、障害物情報抽出部４ａは、センサ４００の検出結果により障害物の位置、頂点情報等を検出し、共通撮像空間１３に障害物が存在していることを検出する。センサ４００が超音波センサの場合には、例えば超音波を使用した魚群探知機や音響測深機などに使用されるソナー（SONAR：sound navigation ranging）の様に、超音波を反射した物体の位置、頂点情報等を把握する事が可能となる。なお、当該検出結果による位置、頂点情報等から障害物情報を抽出することが出来る。障害物情報は、例えば、異なる部分の位置、頂点情報等に対応したテーブル情報を画像処理装置２０００に持たせることなどにより、得る事ができる。
【０１０２】
以上により、合成鳥瞰図画像における視認性を向上させる画像処理装置２０００、およびそれを用いた画像処理方法、画像処理システム１０００を提供することができる。
【０１０３】
第２の実施形態、第３の実施形態では、全周鳥瞰図を作成する事を前提に説明を行ったが、本発明の内容は車両の全周をカバーする鳥瞰画像に限定されるものではない。例えば、車両の周囲の半周分や周囲４分の３分である鳥瞰図画像にも適用でき、車両の前方のみの鳥瞰図の場合はカメラを前カメラ１台で足りる。
【０１０４】
また、画像の差分演算を用いる第１の実施形態以外では、単眼カメラ１台のみを用いても実現できる。すなわち、単眼カメラを用いる場合には、上記オプティカルフローやセンサ情報を使用して検出された領域の原画像を切り出し、障害物鳥瞰画像を障害物原画像に置換した画像を置換合成鳥瞰図画像として出力することができる。これにより、視認性の高い鳥瞰図画像を表示することができる。
【０１０５】
このように、カメラ１台のみの使用であっても第２の実施形態、第３の実施形態で開示した技術的思想を適用できる。
【０１０６】
なお、本実施の形態における画像処理装置は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩなどで実現できる。また、ソフトウェア的には、メモリにロードされた視界支援機能のあるプログラムなどによって実現される。図１や１３には、ハードウェアおよびソフトウェアによって実現される視界支援機能の機能ブロックが示されている。ただし、これらの機能ブロックが、ハードウェアのみ、ソフトウェアのみ、あるいは、それらの組合せ等、いろいろな形態で実現できることは言うまでもない。図１や１３は、機能部で表されているのでハードウェア的に捉えられがちであるが、当該機能部を機能ステップに置き換えて考えることで容易にソフトウエア的に捉えることができる。
【０１０７】
つまり、画像処理システム１０００において使用される汎用コンピュータを画像処理装置２０００として動作させる画像処理プログラムは、図８や図１２で示されている流れ図の動作を行う。すなわち、図８を参照して、複数台のカメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換ステップを経て、視点変換ステップで変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成ステップを実行する一方、上記カメラによって撮像された画像の夫々から、障害物が撮像されている領域の障害物情報を抽出する障害物情報抽出ステップを実行する。
【０１０８】
当該障害物情報抽出ステップで抽出された障害物情報に基づいて、上記カメラによって撮像された画像から、障害物原画像を抽出する障害物原画像抽出ステップと、障害物情報に基づいて、合成鳥瞰図画像から、障害物鳥瞰画像を検出する障害物鳥瞰画像検出ステップとを実行し、合成鳥瞰図画像中において、障害物鳥瞰画像検出ステップで検出された障害物鳥瞰画像を含む画像に代えて、障害物原画像抽出ステップで抽出された障害物原画像を用いて置換する変更合成ステップを実行して置換合成鳥瞰図画像が出力される。
【０１０９】
変更合成ステップから出力された置換合成鳥瞰図画像は、映像データ生成ステップが実行されることで表示装置に表示させるための映像データが生成される。
【０１１０】
画像処理プログラムは、図８記載の画像処理装置２０００と同じ効果を有していることから、以上により、合成鳥瞰図画像における視認性を向上させる画像処理プログラムを提供することができる。
［鳥瞰図画像の生成方法］
まず、１台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法について説明する。鳥瞰図画像の生成は、視点変換部２で行われる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
【０１１１】
図１４に示すように、車両１００の後部に撮像装置であるカメラ１が、その光軸が後方斜め下向きに配置されている場合を考える。車両１００は、例えばトラックなどである。同図では車両１００は、運転室と運転室より高さのある荷室とから形成されるトラックを例として図示している。水平面とカメラ１の光軸とのなす角は、同図にθで表される角度と、θ2で表される角度との２種類がある。角度θ2は、一般的には、見下ろし角または俯角と呼ばれている。これ以後、角度θを、水平面に対するカメラ１の傾き角度と呼び、このθを用いて説明を行う。なお、９０°＜θ＜１８０°であり、θ＝１８０°−θ2である。
【０１１２】
図１５は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。カメラ座標系ＸＹＺは、互いに直交するＸ軸、Ｙ軸及びＺ軸を座標軸とする同図に表されるような三次元の座標系である。座標系ＸbuＹbuは、互いに直交するＸbu軸及びＹbu軸を座標軸とする同図に表されるような二次元の座標系である。２次元地面座標系Ｘw Ｚwは、互いに直交するＸw軸及びＺw軸を座標軸とする同図に表されるような二次元の座標系である。世界座標系Ｘw ＹwＺwは、Ｘw軸とＺw軸、それら２軸に直交するＹw軸の３軸を座標軸とする三次元の座標系である。
【０１１３】
カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸が、撮像面Ｓの縦方向にＹbu軸がとられている。
【０１１４】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸が、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【０１１５】
Ｘw 軸はＸ軸に対して平行移動した位置にあり、その移動の方向は鉛直線方向で、その平行移動量はｈである。そして、Ｚw 軸とＺ軸との成す鈍角の角度は、傾き角度θと一致する。
【０１１６】
カメラ座標系ＸＹＺにおける座標を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
【０１１７】
世界座標系Ｘw Ｙw Ｚwにおける座標を（ｘw ，ｙw ，ｚw ）と表記する。ｘw 、ｙw
及びｚwは、夫々、世界座標系Ｘw Ｙw Ｚwにおける、Ｘw軸成分、Ｙw軸成分及びＺw軸成分である。
【０１１８】
二次元地面座標系Ｘw Ｚw における座標を（ｘw ，ｚw ）と表記する。ｘw及びｚwは、夫々、二次元地面座標系Ｘw Ｚwにおける、ＸW軸成分及びＺW軸成分であり、それらは世界座標系系Ｘw Ｙw ＺwにおけるＸW軸成分及びＺW軸成分と一致する。
【０１１９】
撮像面Ｓの座標系ＸbuＹbuにおける座標を（ｘbu，ｙbu）と表記する。ｘbu及びｙbuは、夫々、撮像面Ｓの座標系ＸbuＹbuにおける、Ｘbu軸成分及びＹbu軸成分である。
【０１２０】
カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（１）で表される。
【０１２１】
【数１】
ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。
【０１２２】
【数２】
上記式（１）及び（２）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）との間の変換式（３）が得られる。
【０１２３】
【数３】
次に、鳥瞰図画像についての座標系である鳥瞰図座標系ＸauＹauを定義する。鳥瞰図座標系ＸauＹauは、Ｘau軸及びＹau軸を座標軸とする二次元の座標系である。鳥瞰図座標系ＸauＹauにおける座標を（ｘau，ｙau）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標（ｘau，ｙau）によって表される。ｘau及びｙauは、それぞれ鳥瞰図座標系ＸauＹauにおけるＸau軸成分及びＹau軸成分である。
【０１２４】
以下において、鳥瞰図座標系ＸauＹauにおける座標（ｘau，ｙau）が撮像面Ｓの座標系ＸbuＹbuにおける座標（ｘbu，ｙbu）とどのような関係式で表されるかについて説明する。
【０１２５】
鳥瞰図画像は、実際のカメラの撮像画像を仮想視点の位置に存在する仮想的なカメラ（以下、仮想カメラと称する）の視点から見た画像に変換したものである。より具体的には、仮想カメラが地面上方に位置しかつその撮像方向が鉛直下向きであると捉え、鳥瞰図画像は、カメラの実際の撮像画像が地上面を鉛直方向に見下ろした画像に変換されたものである。撮像画像から鳥瞰図画像を生成する際の視点の変換は、一般に、視点変換と呼ばれる。
【０１２６】
二次元地面座標系Ｘw Ｚw から仮想カメラの鳥瞰図座標系ＸauＹauへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。
【０１２７】
【数４】
【０１２８】
【数５】
得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。
【０１２９】
【数６】
上記式（６）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換するための次式（７）が得られる。
【０１３０】
【数７】
撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）は、カメラ１の撮像画像における座標を表すため、上記式（７）を用いることによってカメラ１の撮像画像は鳥瞰図画像に変換される。実際には、カメラ１の撮像画像に対して、適宜、レンズ歪み補正などの画像処理を施し、その画像処理後の撮像画像を上記式（７）を用いて鳥瞰図画像に変換する。
【０１３１】
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【図面の簡単な説明】
【０１３２】
【図１】本発明の実施形態に係る、画像処理システムの全体構成図である。
【図２】本発明の実施形態に係る、車両を上方から見た図である。
【図３】本発明の実施形態に係る、各鳥瞰図画像を表す図である。
【図４】本発明の実施形態に係る、各鳥瞰図画像を全周鳥瞰図画像の座標上に変換した図である。
【図５】本発明の実施形態に係る、車両を左斜め前方から見た図である。
【図６】本発明の実施形態に係る、全周鳥瞰図画像の一部分を説明する図である。
【図７】本発明の実施形態に係る、全周鳥瞰図画像の一部分を説明する図である。
【図８】本発明の実施形態に係る、全周鳥瞰図画像の一部分を説明する図である。
【図９】本発明の実施形態に係る、画像処理方法を説明する図である。
【図１０】本発明の実施形態に係る、画像処理方法におけるメモリアクセス動作を説明する図である。
【図１１】本発明の実施形態に係る、全周鳥瞰図画像の一部分を説明する図である。
【図１２】本発明の実施形態に係る、全周鳥瞰図画像を表す図である。
【図１３】本発明の実施形態に係る、画像処理システムの全体構成図である。
【図１４】本発明の実施形態に係る、車両に搭載されたカメラの設置について説明する図である。
【図１５】本発明の実施形態に係る、カメラ座標系ＸＹＺと、カメラの撮像面の座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw と、の関係を表す図である。
【図１６】本発明の他の形態に係る、画像処理システムの全体構成図である。
【符号の説明】
【０１３３】
１、１Ｆ、１Ｂ、１Ｌ、１Ｒ カメラ
２ 視点変換部
３ 画像合成部
４、４ａ 障害物情報抽出部
５ 障害物原画像抽出部
６ 障害物鳥瞰画像検出部
７ 置換処理部
８ 映像データ生成部
１０００ 画像処理システム
２０００ 画像処理装置
３０００ 表示装置
１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒ 鳥瞰図画像
１２Ｆ、１２Ｂ、１２Ｌ、１２Ｒ 視野
１３ 共通撮像空間
１４ 障害物
１４ａ 障害物が撮像されている領域
１４ｂ 障害物が撮像されている領域
１４ｃ 障害物が撮像されている領域を含む画像
１４ｄ 障害物が鳥瞰図画像において撮像されている領域を含む画像
ＣFL 重なり部
１００ 車両
１２１、１２２ （鳥瞰変換）画像
１２３ 差分領域
４００ センサ
【技術分野】
【０００１】
本発明は、画像処理システム及び画像処理方法に関し、また画像処理システムに用いられる画像処理装置および画像処理プログラムに関する。特に、車両に設置された複数のカメラの撮像画像から鳥瞰図画像を生成し、それら各鳥瞰図画像を合成する技術に関する。
【背景技術】
【０００２】
自動車などの車両の運転者に対して運転時における死角箇所の視界情報を提供する事が考えられてきている。バックするときには車両の後方などに死角が生じるため、運転者にとって後方確認が難しくなる。そこで、死角となりやすい車両の後方を監視する撮像装置たる車載式のカメラ（以下、単にカメラと称す）を車に装備して、その撮像画像をカーナビゲーション装置等の画面に表示するシステムが開発されてきている。
【０００３】
また、カメラが撮像した映像を単に表示するのではなく、画像処理技術を使用して、人間にとって見て理解するのにより無理のない映像を見せるための研究がなされている。その一つに、撮像した映像を幾何学的変換すなわち座標変換を行うことにより、地面の上方などの仮想視点から見たようないわゆる鳥瞰図と呼ばれる画像を生成して表示する技術がある。この鳥瞰図画像を画面に表示することによって、運転者は鳥瞰図画像を見て死角たる車両後方の状況を詳しくかつより無理なく把握することができる。
【０００４】
更に、複数のカメラから得られた画像を上で述べたように座標変換することで得られる各鳥瞰図画像を合成して車両全周の状況を上方から見た映像である合成鳥瞰図画像（以下、全周鳥瞰図画像とも称する）を作成し、この全周鳥瞰図画像を画面に表示させる画像処理システムが開発されている。この画像処理システムでは、車両全周の状況を上方から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくしかも見てより無理なく把握できるという長所がある。ここでいう合成とは、その鳥瞰画像同士が整合性がとれるように、隣り合う各鳥瞰図画像同士を互いに移動、回転させて、隣り合わせて貼り合わせて一つの鳥瞰図とすることを言う。なお、整合性よく隣り合わせる際には各鳥瞰図間に重なる部分が発生する。
【０００５】
特許文献１に、複数の俯瞰画像（鳥瞰画像のこと）を使用し、それらを合成した俯瞰画像を表示する車両周辺監視装置が記載されている。
【特許文献１】特開２００７− ２７９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１に記載の技術によると、鳥瞰図においては撮像された立体的な障害物があたかも地面に平面的に倒れていたものであったかのように見えたりさらにはその障害物の形状が実際とは異なる歪んだ形状であるかのように感じられたりするので、車両を運転する運転者にとって、合成された鳥瞰図を見た際に障害物が何であるかを把握するのに無理あるものとなる場合が多い当該障害物は進行上の障害物である場合が多いので、運転者に対して違和感無く把握されるべき物である。
【０００７】
そこで本発明は、上述のように鳥瞰図画像を合成して合成鳥瞰図画像が得られる際に、障害物が合成鳥瞰図画像において表示される際に運転者にとって違和感のある表示となってしまうといった視認性に関する問題を鑑み、合成鳥瞰図画像における視認性を向上させる“画像処理装置”および“画像処理プログラム”を提供することを目的とする。また、それらを用いた“画像処理システム”及び“画像処理方法”を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部とを備えた画像処理装置であって、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出部と前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えている。
【０００９】
なお、前記障害物情報抽出部は、前記複数台の撮像装置のうちの少なくとも２台の撮像装置である対象撮像装置によって撮像されている前記鳥瞰図画像である対象鳥瞰図画像の重なり合う領域の画像において、前記対象鳥瞰図画像間で差分処理を行うことで前記障害物情報を抽出してよい。
【００１０】
本発明に係る画像処理装置は、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部とを備えた画像処理装置であって、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出部と前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像に関する情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えている。
【００１１】
本発明に係る画像処理プログラムは、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換ステップと、前記視点変換ステップで変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成ステップとを含む、コンピュータを画像処理装置として動作させる画像処理プログラムであって、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出ステップと、前記障害物情報抽出ステップで抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出ステップと、前記障害物情報抽出ステップで抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出ステップと、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理ステップと、前記置換処理ステップから出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成ステップとを含む。
【００１２】
本発明に係る画像処理システムは、上に記載の画像処理装置と、前記複数台の撮像装置、及び、前記表示装置を備えている。
【００１３】
本発明に係る画像処理方法は、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換し、変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像処理方法であって、前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出し、抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出し、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力させ、出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する。
【００１４】
撮像装置は、静止画像を撮像するカメラや動画像を撮像するカメラなどが該当する。
【００１５】
障害物とは、路面上や地上などに描かれた平面的な文字や図形等では無く、それら路面上や地上などに存在する立体的な物体のことを表す。従って、障害物としては、例えば、人や植物や動物などの生き物や、車や自動二輪や自転車などの車両、標識や柵やポストなどの人工物が当てはまる。
【００１６】
なお、画像とは、撮像された被写体の姿が可視化された像の意味に限定されるものではなく、本発明においては、視点変換や置換などの画像処理の対象となる画像のデータを含むものと解釈されるものである。
【００１７】
障害物鳥瞰画像は、障害物が写っていれば、全体の画像だけに限られず、部分的な画像であってもよい。
【００１８】
なお、前記複数台の撮像装置によって撮像された画像の夫々が時間的に連続している画像を含んでいる場合に、前記障害物情報抽出部は、オプティカルフローの手法により前記障害物情報を抽出してもよい。
【００１９】
また本発明の画像処理装置は、１台の撮像装置によって撮像された時間的に連続している画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部を備えた画像処理装置であって、オプティカルフローの手法により前記障害物が前記撮像装置によって撮像されている領域の障害物情報を抽出する障害物情報抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記鳥瞰図画像から、前記鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えていてもよい。
【００２０】
また本発明の画像処理装置は、複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部とを備えた画像処理装置であって、障害物を検出するセンサからの情報を使用して、前記障害物が前記撮像装置によって撮像されている領域の障害物情報を抽出する障害物情報抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えていてもよい。
【００２１】
また本発明の画像処理装置は、１台の撮像装置によって撮像された時間的に連続している画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部を備えた画像処理装置であって、障害物を検出するセンサからの情報を使用して、前記障害物が前記撮像装置によって撮像されている領域の障害物情報を抽出する障害物情報抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記鳥瞰図画像から、前記鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換鳥瞰図画像として出力する置換処理部と、前記置換処理部から出力された前記置換鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部とを備えていてもよい。
【００２２】
前記障害物情報抽出部は、前記撮像装置によって撮像された画像の夫々から、障害物に関する障害物情報を抽出してもよい。
【発明の効果】
【００２３】
本発明によれば、合成鳥瞰図画像における視認性を向上させる“画像処理装置”および“画像処理プログラム”を提供することができる。また、それらを用いた“画像処理システム”及び“画像処理方法”を提供することができる。
【００２４】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。
【００２５】
ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２６】
以下、本発明係る、画像処理装置および画像処理プログラム、およびそれらを用いた画像処理方法および、画像処理システムの実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明は省略する。
（第１の実施形態）
まず、全周鳥瞰図画像の作成方法について説明する。
［画像処理システムの構成と画像処理装置の動作］
図１に、本実施形態に係る画像処理システムの全体構成図を示す。同図を用いて、画像処理装置およびそれを用いた画像処理システムおよび画像処理システムで使用されている画像処理方法について説明する。本実施形態に係る画像処理システム１０００は、車両１００に取り付けられるカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒと、それら各カメラにて得られる撮像画像から全周鳥瞰図画像を生成しその映像データを表示装置３０００へ出力する画像処理装置２０００と、当該全周鳥瞰図画像の映像データを表示する表示装置３０００と、を備える。
【００２７】
カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒとして、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。
【００２８】
図２は、車両１００へのカメラの設置状況を表し、車両１００を上方から見た平面図である。同図では車両１００は、運転室と運転室より高さのある荷室とから形成されるトラックを例として図示している。同図に示す如く、車両１００の前部（例えば車両１００のフロントミラー上部）、後部（例えば車両１００の後部の最上部）、左側部（例えば車両１００の左側面の最上部に）及び右側部（例えば車両１００の右側面の最上部）に、夫々、撮像装置たるカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている。なお、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは、夫々、前カメラ、後カメラ、左横カメラ及び右横カメラと呼ばれる場合がある。
【００２９】
カメラ１Ｆの光軸が車両１００の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸が車両１００の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸が車両１００の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸が車両１００の右方斜め下向きになるように、各カメラは車両１００に設置される。カメラ１Ｌ及び１Ｒの高さは、カメラ１Ｆの高さよりも高いものとする。また、車両１００は、地面上に位置するものとする。
【００３０】
画像処理装置２０００について述べる。
【００３１】
画像処理装置２０００は、例えば本実施形態における画像処理を実行する集積回路から形成されるハードウエアや、本実施形態における画像処理を実行する画像処理プログラムのソフトウエア処理を行うＣＰＵ（中央処理装置）やメモリなどから成る。表示装置３０００は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、本画像処理システムにおける表示装置３０００として流用しても良い。
【００３２】
画像処理装置２０００において、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒからの撮像画像データを視点変換部２が受けて、各撮像画像データに対応した鳥瞰図画像を作成する。画像合成部３は、各鳥瞰図画像を合成して全周鳥瞰図画像を生成する。
【００３３】
ここで、全周鳥瞰図作成方法に関する視点変換部２および画像合成部３の動作について把握するため、各鳥瞰図画像と全周鳥瞰図画像の関係について述べる。なお、各撮像画像データに対応した鳥瞰図画像の作成方法については最後で説明する。
【００３４】
図３に示す如く、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得られる撮像画像から、夫々、作成された鳥瞰図画像１０Ｆ（座標系ＸＦＹＦ）、１０Ｂ（座標系ＸＢＹＢ）、１０Ｌ（座標系ＸＬＹＬ）及び１０Ｒ（座標系ＸＲＹＲ）が示されている。次に、カメラ１Ｂに対応する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ及び１０Ｒを回転及び／又は平行移動することにより、それら（１０Ｆ、１０Ｌ及び１０Ｒ）を鳥瞰図画像１０Ｂにおける座標系ＸＢＹＢに変換する。これにより、各鳥瞰図画像の座標が、全周鳥瞰図（本発明で言う合成鳥瞰図）画像における座標に変換される。以下、全周鳥瞰図画像における座標を、「全周鳥瞰図座標」とよぶ。
【００３５】
図４に、全周鳥瞰図と座標系ＸＢＹＢ上に表された鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒを示す。全周鳥瞰図は、鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒのうちの少なくとも隣り合う２つから構成されており、同図における全周鳥瞰図では鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒの全ての鳥瞰図画像から構成される。なお、これ以後全周鳥瞰図は鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒの全ての鳥瞰図画像からなる例で説明を行う。全周鳥瞰図座標には、同図に示す如く、２つの隣り合う鳥瞰図画像が重なり合う部分が存在する。同図において、ＣFLの符号が付された斜線領域が、全周鳥瞰図座標上において鳥瞰図画像１０Ｆと１０Ｌが重なり合う部分である。
【００３６】
当該重なり合う部分について説明する。
【００３７】
図５は、車両１００を左斜め前方から見た図である。
【００３８】
同図には、各カメラの撮像空間が模式的に表されている。各カメラは、自身の視野（すなわち撮像空間）内の被写体を撮像した撮像画像を生成する。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの視野を、夫々、１２Ｆ、１２Ｂ、１２Ｌ及び１２Ｒにて表す。尚、視野１２Ｒ及び１２Ｂに関しては、同図において一部しか示されていない。
【００３９】
カメラ１Ｆの視野１２Ｆには、カメラ１Ｆの設置位置を基準とした、車両１００の前方の所定範囲内に位置する障害物及び車両１００の前方の地面が含まれる。この所定範囲はカメラの画角から定まる。
【００４０】
カメラ１Ｂの視野１２Ｂには、カメラ１Ｂの設置位置を基準とした、車両１００の後方の所定範囲内に位置する障害物及び車両１００の後方の地面が含まれる。
【００４１】
カメラ１Ｌの視野１２Ｌには、カメラ１Ｌの設置位置を基準とした、車両１００の左方の所定範囲内に位置する障害物及び車両１００の左方の地面が含まれる。
【００４２】
カメラ１Ｒの視野１２Ｒには、カメラ１Ｌの設置位置を基準とした、車両１００の右方の所定範囲内に位置する障害物及び車両１００の右方の地面が含まれる。
【００４３】
上記のように、各カメラの視点は異なり、すなわち各カメラの視野内に収まる被写体は異なる。なお、障害物とは、人物などの立体的な物体、言い換えると高さのある物体である。地面を形成する路面などは、高さがないため障害物ではない。
【００４４】
さて同図によるとカメラ１Ｆと１Ｌは、車両１００の左斜め前方の所定領域を共通して撮像している。つまり、車両１００の左斜め前方の所定領域にて視野１２Ｆ及び１２Ｌは交わり合って、共通の視野が存在する。この各カメラが共通して撮像した空間である各カメラの視野の共通部分共通視野を以下では、上述の共通撮像空間と呼ぶ。
【００４５】
同様に、車両１００の右斜め前方の所定領域にて視野１２Ｆと１２Ｒは交わり合ってそれらの共通撮像空間が形成され、車両１００の左斜め後方の所定領域にて視野１２Ｂと１２Ｌは交わり合ってそれらの共通撮像空間が形成され、車両１００の右斜め後方の所定領域にて視野１２Ｂと１２Ｒは交わり合ってそれらの共通撮像空間が形成される。
【００４６】
以下では視野１２Ｆと１２Ｌとの間の共通撮像空間１３に着目して説明を行う。共通撮像空間１３以外の共通撮像空間に関しても同様の説明があてはまる。
【００４７】
図５（ｂ）には、共通撮像空間１３が太線を用いて示されている。共通撮像空間１３は、車両１００の左斜め前方の地面を底面とする錐体を形成するような空間となっている。同図には、この共通撮像空間１３内に人などの障害物１４が示されている。
【００４８】
複数の鳥瞰画像間の重なり合う部分、すなわち前出のＣFLは共通撮像空間１３が鳥瞰図上に変換された部分（以下、重なり部と呼ぶ）である。
【００４９】
鳥瞰図画像１０Ｆの、重なり部ＣFLの範囲にはカメラ１Ｆから見た共通撮像空間１３内の被写体（図５（ｂ）の障害物１４等）の画像が現れ、鳥瞰図画像１０Ｌの、重なり部ＣFLの範囲にはカメラ１Ｌから見た共通撮像空間１３内の被写体の画像が現れる。
【００５０】
重なり部に障害物がある場合の処理については後の重なり部における処理の所で述べる。重なり部はＣFL以外に、鳥瞰図画像１０Ｆと１０Ｒが重なり合う重なり部ＣFRと、鳥瞰図画像１０Ｂと１０Ｌが重なり合う重なり部ＣBLと、鳥瞰図画像１０Ｂと１０Ｒが重なり合う重なり部ＣBRとがあるが、共通撮像空間１３に対応する重なり部ＣFLに着目して説明を行う。
【００５１】
尚、図３及び図４において、ＸＦ軸及びＹＦ軸は、鳥瞰図画像１０Ｆの座標系の座標軸であり、それらは、前出のＸau軸及びＹau軸のことである。同様に、ＸＲ軸及びＹＲ軸は、鳥瞰図画像１０Ｒの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸のことである。同様に、ＸＬ軸及びＹＬ軸は、鳥瞰図画像１０Ｌの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸のことである。同様に、ＸＢ軸及びＹＢ軸は、鳥瞰図画像１０Ｂの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸のことである。
【００５２】
また、図３、４では、説明の上から、重なり部ＣFLを矩形で表記しているが、実際には重なり部ＣFLは矩形とはならない。また、各鳥瞰図画像も矩形になるとは限らない。図６に、各鳥瞰図画像が現れる領域及び重なり部ＣFLが矩形とならない場合の一例を示す。同図（ａ）及び（ｂ）には、夫々、全周鳥瞰図座標における鳥瞰図画像１０Ｌ及び１０Ｆが表されており、同図（ｃ）では、それらの重なり部ＣFLが斜線領域にて示されている。なお、同図（ａ）及び（ｃ）において、車両の後部よりの画像の図示を省略している。
【００５３】
図１に戻って説明を続ける。図１の画像処理装置２０００において、障害物情報抽出部４が視点変換部２からの鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する。例えば、視点変換部２からの各撮像画像データに対応した鳥瞰図画像データを受けて、鳥瞰図画像の夫々から、撮像画像の中で障害物が撮像されている部分に対応する前記鳥瞰図画像の中の領域である対応領域に関する位置情報などを含む障害物情報を抽出し、障害物情報を出力する。
【００５４】
位置情報には、例えば、カメラ座標系ＸＹＺの座標、撮像面Ｓの座標系ＸbuＹbuの座標、２次元地面座標系Ｘw Ｚwの座標、世界座標系Ｘw Ｙw Ｚwの座標などその他の座標系の座標といった情報が含まれる。他に障害物情報には、頂点情報が含まれる。頂点情報とは、座標データの示す画素の集合（すなわち画像）における頂点の座標などのことであり、当該頂点の座標が分かる事で、各頂点間を線でつないだ図形を想定することでその画像の範囲、大きさ、領域、といった情報も算出しうる。以後、頂点情報を考えることは、その画像の範囲、大きさ、領域、といった情報等を想定して考えることも含まれるとする。
【００５５】
本実施形態における障害物情報抽出部４は、少なくとも２台のカメラからなる対象撮像装置によって撮像されている鳥瞰図画像である対象鳥瞰図画像において共通して撮像されている重なり部の画像において対象鳥瞰図画像間で差分処理を行うことで障害物を検出でき、当該差分処理の結果を使用して前記障害物情報を抽出する。なお、重なり部は図４のような２枚の鳥瞰図画像が重なり合う部分に限られず３台以上の撮像装置の撮像画像から算出された鳥瞰図画像、すなわち３枚以上の鳥瞰図画像が重なり合う部分であってもよい。
【００５６】
なお、障害物情報抽出部４が複数の撮像装置たるカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒからの撮像画像データを受けて、撮像された画像の夫々から、障害物が撮像されている領域の障害物情報を抽出し、障害物情報を出力してもよい。この場合の画像処理システム１０００を図１６に示す。この場合、上記の鳥瞰図画像間での差分処理に代えて、各カメラからの撮像画像データの各々の共通撮像空間に相当する部分の間において差分処理を行う。
【００５７】
なお、障害物情報抽出部４での障害物情報の抽出の手法については後の重なり部における処理の所で説明する。その際、図４の重なり部ＣFL等を前提に説明する。
【００５８】
障害物情報抽出部４において障害物が検出されなかった場合は、障害物情報抽出部４は障害物情報を抽出せず当該障害物情報を出力しない。以下においては、特に断らない限り障害物情報抽出部４において障害物が検出された前提で説明を続ける。
【００５９】
カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒからの撮像画像データを障害物原画像抽出部５が受けて、障害物情報抽出部４で抽出された障害物情報に基づいて、障害物が含まれている撮像画像から、障害物を含む画像（例えば当該障害物が撮像されている部分を含む画像）である障害物原画像を抽出し、その情報を出力する。なお、障害物情報抽出部４において障害物が検出されなかった場合は、障害物情報抽出部４が障害物情報を抽出せず障害物原画像抽出部５に向けて当該障害物情報を出力しないので、障害物原画像抽出部５は障害物原画像の抽出を行わない。
【００６０】
障害物鳥瞰画像検出部６は、障害物情報抽出部４で抽出された障害物情報に基づいて、全周鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する。例えば、合成鳥瞰図画像の中の上記の対応領域に対応する鳥瞰画像障害物領域（障害物鳥瞰画像のこと）を検出し、それに関する情報を出力する。なお、障害物情報抽出部４において障害物が検出されなかった場合は、障害物情報抽出部４が障害物情報を抽出せず障害物鳥瞰画像検出部６に向けて当該障害物情報を出力しないので、障害物鳥瞰画像検出部６は障害物鳥瞰画像の検出を行わない。
【００６１】
置換処理部７は、障害物鳥瞰画像検出部６からの鳥瞰画像障害物領域に関する情報に基づき、障害物鳥瞰画像検出部６で検出された障害物鳥瞰画像を障害物原画像抽出部５で抽出された障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する。例えば、全周鳥瞰図画像中において、障害物鳥瞰画像検出部６で検出された障害物鳥瞰画像を含む画像に代えて、障害物原画像抽出部５で抽出された障害物原画像を用いて置換し、合成させて新たな全周鳥瞰図画像（以下、置換合成鳥瞰図画像と称する）を生成し、出力する。なお、障害物情報抽出部４において障害物が検出されなかった場合は、障害物原画像抽出部５は障害物原画像の抽出を行わず置換処理部７に向けて障害物原画像の情報を出力しないので、また、障害物鳥瞰画像検出部６は障害物鳥瞰画像の検出を行わず置換処理部７に向けて鳥瞰画像障害物領域の情報を出力しないので、置換処理部７は置換合成鳥瞰図画像を生成せず、画像合成部３からの全周鳥瞰図画像をそのまま出力する。
【００６２】
置換処理部７の動作については、後で述べる。
【００６３】
映像データ生成部８では置換処理部から出力された、全周鳥瞰図画像または置換合成鳥瞰図画像を表示装置９に表示させるための映像データを生成する。すなわち、表示装置９の表示フォーマットや表示規格に合わせたデータ構造や画素情報に変換して出力する。
【００６４】
以上により、全周鳥瞰図画像において障害物が表示される際に運転者にとって違和感のある表示となってしまうといった視認性に関する問題が、置換合成鳥瞰図画像において解決することができ、視認性が向上した全周鳥瞰図画像となっている。この点については、後述する実施例における視認性の説明の所で明らかにする。
［重なり部における処理］
重なり部ＣFLにおけるカメラ１Ｆ、カメラ１Ｌにより撮像された各障害物画像にかかる処理と、障害物情報抽出部４において、差分処理の結果を使用して前記障害物情報を抽出する方法について説明する。
【００６５】
例えば、図５（ｂ）に示されているように、カメラ１Ｆの撮像領域とカメラ１Ｌの撮像領域が重なり合う共通撮像空間１３内に障害物１４が存在している場合、カメラ１Ｆにて障害物１４を撮像した画像から鳥瞰図画像を生成したとき、図７の（ｂ）に示すように、全周鳥瞰図画像の重なり部ＣFLにおいて障害物１４が車両の左方向に倒れた画像１２２となって変換される。一方、カメラ１Ｌにて障害物１４を撮像した画像から鳥瞰図画像を生成した場合、同図（ａ）に示すように、全周鳥瞰図画像の重なり部ＣFLにおいて障害物１４が車両の前方に倒れた画像１２１となって変換される。なお鳥瞰図画像に変換する場合によく見られるように、画像１２２は左方に倒れただけでなく歪んだ様に、および／または撮像方向奥行き方向に伸びた様に変換されており、画像１２１は前方に倒れただけでなく歪んだ様に、および／または撮像方向奥行き方向に伸びた様に変換されており、同図にはそのことが模式的に示されている。障害物鳥瞰画像は、同図のように全体が映っているものに限られず、一部だけが写っていても障害物鳥瞰画像に該当する。これは、部分的な画像であっても、後に障害物原画像で置換するのであるから、置換前の画像が部分的なものであっても問題はないからである。
【００６６】
障害物情報抽出部４では、カメラ１Ｆの撮像画像による鳥瞰図における重なり部ＣFLに相当する部分１１２（同図（ｂ）参照）とカメラ１Ｌの撮像画像による鳥瞰図における重なり部ＣFLに相当する部分１１１（同図（ａ）参照）との差分演算を行う。なお当該重なり部の情報は、図４を作成する時に座標変換した際の回転の角度、平行移動の移動度、および領域１０Ｆ、１０Ｌ、１０Ｒ、１０Ｂの各頂点座標等から求まる。
【００６７】
図８を用いて更に述べる。同図（ａ）における部分１１１と同図（ｂ）における部分１１２との間で差分演算を行う事により、同図（ｃ）に示される部分１２３が抽出される。
【００６８】
同図（ａ）において、カメラ１Ｌの撮像画像による鳥瞰図における重なり部ＣFLに相当する部分１１１の領域１２１ａの部分は画像１２２に対応する部分である。同図（ｂ）において、カメラ１Ｆの撮像画像による鳥瞰図における重なり部ＣFLに相当する部分１１２の領域１２２ａの部分は画像１２１に対応する部分である。通常、部分１１１の画像１２１と領域１２１ａを除いた部分と、部分１１２の画像１２２と領域１２２ａを除いた部分とは、地面を撮像したものの鳥瞰図変換画像であることから、略同じような画像に変換されるので、差分演算により同図（ｃ）に示される画像１２１と画像１２２を併せた画像に対応する部分１２３が抽出される。当該部分１２３としては、例えばその差分値が０では無い領域が抽出される。なお差分演算では、対応する各画素間の画素値（輝度と色差や、赤緑青値など）を引き算し、その絶対値が所定の閾値と比較して零と見做せる場合にはその差を零とする演算方法などが使用される。
【００６９】
当該部分１２３が抽出された事で、共通撮像空間１３に障害物が存在していることを検出でき、当該部分１２３の図４で示した座標系ＸＢＹＢ（全周鳥瞰図画像）における座標やその範囲等が、障害物情報に含まれる座標系ＸＢＹＢにおける位置情報、や頂点情報等の障害物情報となる。なお障害物情報には、障害物原画像を抽出するために、撮像画像（部分１２３の場合は、具体的には当該障害物を含む視野１２Ｆと視野１２Ｌ）における位置情報や頂点情報等も含まれる。この演算は、例えば後の鳥瞰図画像の生成方法で述べる式（７）の逆演算を使用し、合成鳥瞰図における座標系ＸＢＹＢにおける座標から視野１２Ｆや視野１２Ｌにおける座標（後出の撮像面座標系）に変換する。
【００７０】
以上のように、障害物情報には、主に障害物鳥瞰画像検出部６で使用される座標系ＸＢＹＢすなわち鳥瞰図画像における座標と、主に障害物原画像抽出部５で使用される視野１２Ｆや視野１２Ｌにおける座標すなわち撮像画像における座標が含まれ、障害物情報抽出部４から出力される。なお、撮像画像における座標は鳥瞰図画像における座標から算出されるが、元々鳥瞰図画像が撮像画像から変換して求められているので、鳥瞰図における障害物の全座標から撮像画像における障害物の全座標を算出できることは容易に理解できる。
【００７１】
また、部分１２３の形状から画像１２１と画像１２２が撮像された二次元の障害物画像であることも抽出できる。例えば、部分１２３の形状が図８（ｃ）に見られるような画像１２１と画像１２２からなるＶ字状形状である場合に、画像１２１と画像１２２が撮像された二次元の障害物画像であるとすることができる。障害物情報は、例えば、当該部分１２３の方向や位置、頂点情報等をテーブル情報として画像処理装置２０００に記憶させるなどすることにより、得る事ができる。これ以降では、障害物情報は位置情報としての座標である例で説明を行う。
［障害物原画像抽出の方法］
重なり部ＣFLでカメラ１Ｆの撮像画像に対応する鳥瞰図を用いる場合の、全周鳥瞰図画像が置換合成鳥瞰図画像に置換される流れを図９を用いて説明する。
【００７２】
同図（ａ）はカメラ１Ｆが撮像した画像である。当該画像の左端に障害物１４が撮像されている。領域１４ａは、障害物原画像抽出部５で抽出された当該障害物１４が撮像されている領域であり、撮像画像中に写し出された障害物１４である。後出の、カメラ１Ｌが撮像した画像における領域１４ｂは、障害物原画像抽出部５で抽出された当該障害物１４が撮像されている領域であり、撮像画像中に写し出された障害物１４である。
【００７３】
画像１４ｃは、障害物が撮像されている領域１４ａを含む画像（障害物原画像のこと）である。画像１４ｃは、画像１４ａを含んでいればその範囲は任意であるが、例えば画像１４ａの外接楕円や外接矩形、重なり部ＣFL部分全体、または画像１４ａを５０％拡大した形状などが取りうる。図中には、外接楕円を例として記載されている。
【００７４】
当該楕円の算出の仕方の一例について述べる。
【００７５】
障害物原画像抽出部５において、障害物情報に含まれる位置情報（具体的には画像１４ａに含まれる全座標）を使用して、領域１４ａの長方向とそれと直交する短方向の長さを算出し、当該長方向と短方向の長さ長軸、短軸とする楕円を算出する。その後、当該楕円をその中心に対して長軸方向に２〜３倍程度、短軸方向に２倍程度拡大した楕円を算出することで画像１４ｄの楕円を求める。長軸方向の拡大幅を大きく取るのは、画像１４ｃが画像１２１を置換するのでその大きさは画像１４ｃが画像１２１を上回っておらねばならず、鳥瞰図への変換の特性を加味せねばならないためである。鳥瞰図への変換の際、例えば撮像画像の上下方向または撮像画像の中心から放射状に、撮像画像が歪んで伸びる特性があるのでこの点を加味したのである。なお、撮像画像が歪んで伸びる特性は主に障害物の高さとカメラの取り付け高さに依存し、相対的に障害物の高さが高くカメラの取り付け高さが低いとその歪みと伸びは大きい。本実施例では車両１００をトラックを例としているので実験等の知見から、画像が鳥瞰図への変換の際に２〜３倍程度歪んで伸びているとして、上記の拡大値を用いている。
［障害物鳥瞰画像検出の方法］
図９（ｂ）は、同図（ａ）の撮像画像の鳥瞰図画像の重なり部ＣFL部分の拡大図である。障害物１４は、上で述べたように車両の前方に倒れた様に、また実際とは異なり伸びたようにかつ歪んだように変換された画像１２１となっている。
【００７６】
画像１４ｄは、障害物鳥瞰画像検出部６で検出された障害物１４が撮像されている領域（障害物鳥瞰画像のこと）である画像１２１を含む画像である。画像１４ｄは、画像１２１を含んでいればその範囲は任意であるが、例えば画像１２１の外接楕円や外接矩形、重なり部ＣFL部分全体、または画像１２１を１０％拡大した形状などが取りうる。図中には、外接楕円を例として記載されている。
【００７７】
当該楕円の算出の仕方の一例について述べる。
【００７８】
障害物鳥瞰画像検出部６において、障害物情報に含まれる位置情報（具体的には画像１２１に含まれる全座標）を使用して、画像１２１の長方向とそれと直交する短方向の長さを算出し、当該長方向と短方向の長さ長軸、短軸とする楕円を算出する。その後、当該楕円をその中心に対して１０％拡大した楕円を算出することで画像１４ｄの楕円が求まる。
［置換処理部の動作］
図９（ｃ）は、置換処理部７で全周鳥瞰図画像中において、画像１４ｄに代えて画像１４ｃを用いて置換して生成された置換合成鳥瞰図画像の重なり部ＣFL部分の拡大図である。画像１４ｄに代えて画像１４ｃを用いて置換するので、画像１４ｃの形状、大きさ等は画像１４ｄを含むような形状、大きさ等であればよい。本実施形態では、画像１４ｃの大きさが画像１４ｄの大きさよりも大きい場合で説明を行う。
【００７９】
なお、画像１４ｃの形状、大きさ等と画像１４ｄの形状、大きさ等とを一致させる場合には、図１に図示しないデータフローにより、障害物鳥瞰画像検出部６から障害物原画像抽出部５へ画像１４ｄの位置情報、頂点情報等の情報を送出してもよいし、障害物原画像抽出部５から障害物鳥瞰画像検出部６へ画像１４ｃの位置情報、頂点情報等の情報を送出してもよい。この場合、障害物原画像抽出部５は障害物情報及び／又は障害物鳥瞰画像検出部６からの画像１４ｄの位置情報、頂点情報等の情報を用いて障害物原画像の抽出を行う。また、障害物鳥瞰画像検出部６は障害物情報及び／又は障害物原画像抽出部５からの画像１４ｃの位置情報、頂点情報等の情報を用いて障害物鳥瞰画像の検出を行う。
【００８０】
図１０を使用して、画像処理装置や画像処理プログラムが画像１４ｄに代えて画像１４ｃを用いて置換する方法について述べる。
【００８１】
同図には、メモリ空間上の全周鳥瞰図が格納されているメモリ領域Ａと、カメラ１Ｆが撮像した撮像画像が格納されているメモリ領域Ｂとが描かれている。メモリ領域Ａには画像１４ｄ、メモリ領域Ｂには画像１４ｃが格納されている。なお、同図ではメモリに格納されている画像データを模式的にメモリ領域上に描いてある。また同図も、画像１４ｃの形状、大きさ等は画像１４ｄの形状、大きさ等とが一致している場合である。
【００８２】
以下に、画像１４ｄに代えて画像１４ｃを用いて置換する方法について２つ例を挙げる。
【００８３】
第１の例：同図（ａ）では、メモリ領域Ｂから画像１４ｃを読み出して（リード）、メモリ領域Ａの画像１４ｄを塗りつぶすようにメモリ領域Ａへ画像１４ｃを書き込む（ライト）。その後、メモリ領域Ａから生成された全周鳥瞰図画像を読み出すことで、置換合成鳥瞰図画像を出力する事ができる。
【００８４】
第２の例：同図（ｂ）では、メモリ領域Ａから画像１４ｄ以外の全周鳥瞰図画像を読み出し、メモリ領域Ｂから画像１４ｃを読み出している。以上により、置換合成鳥瞰図画像を出力する事ができる。
【００８５】
なお、画像１４ｃの格納先アドレスや画像１４ｄの格納先アドレスは、障害物情報抽出部４から出力された障害物情報に障害物が撮像されている領域の少なくとも位置情報が含まれていることから、当該障害物情報を参照して算出される。
【００８６】
これは、たとえば次のように考える事ができる。１画素を１バイトで表し、かつ８画素×８画素のブロックを１単位として全周鳥瞰図画像を分割して捉えた場合、１ブロックにおける８画素×８画素＝６４画素を連続する６４バイトのデータとなるようにアドレスを付与し、全周鳥瞰図画像を構成するブロックについてラスタスキャン状に順番を与え、その順番で各ブロック毎にアドレスを付与する事で（この場合アドレスは６４毎になる）、全周鳥瞰図画像を構成する各画素に連続してアドレスを付与する事ができる。画像１４ｃや画像１４ｄがどのブロックに含まれているかは、座標系ＸＢＹＢにおける位置情報（すなわち画像の座標等）、頂点情報等（すなわち画像に含まれる領域等）などの障害物情報から、容易に分かるので、これにより、格納先アドレスが判明する。この例に限られず、各画素が一定の規則性を持ってアドレス付与されていれば、座標等の障害物情報から、画像１４ｃや画像１４ｄを構成する画素がどのアドレスなのかは容易に算出する事ができる。
【００８７】
上記アドレスの算出やメモリからの読み出しを置換処理部７が行う事で、置換処理部７において上述の障害物原画像抽出部５の処理を行ってもよい。すなわち、障害物情報中の撮像画像における座標の情報と画像１４ｄに関する情報に基づく式（７）の逆演算により、画像１４ｃの外接楕円の算出は障害物原画像抽出部５の機能を含む置換処理部７で行われていることになる。
【００８８】
なお、画像１４ｃや画像１４ｄが同一形状である場合には、置換処理部７が、障害物鳥瞰画像検出部６で検出された障害物鳥瞰画像に関する情報に基づいて、カメラによって撮像画像から障害物原画像を抽出し、障害物鳥瞰画像検出部６で検出された障害物鳥瞰画像を障害物原画像に置換した画像を置換合成鳥瞰図画像として出力することができる。すなわち、画像１４ｄに関する障害物情報により、画像１４ｃや画像１４ｄが同一形状であることから画像１４cの外接楕円の長軸の長さや短軸の長さが判明し、（式（７）の逆演算から）画像１４ｃの位置情報が分かるので、置換処理部７が障害物原画像抽出部５のように撮像画像から障害物原画像を抽出することができ、障害物鳥瞰画像に代えて当該障害物原画像を用いて置換することができる。
［実施例における視認性］
次に、置換合成鳥瞰図画像において、視認性が向上した全周鳥瞰図画像となっている点について、図９を使用して説明する。
【００８９】
上で述べたように、障害物は鳥瞰図画像に変換される場合には、画像１２１や画像１２２のように倒れたような画像になっており、加えて撮像方向奥行き方向に伸びたように、および／または実際とは異なり歪んだように変換されることがよく見うけられる。
【００９０】
よってこの重なり部ＣFLにおいて、撮像された障害物１４として画像１２２と画像１２１のどちらかを使用する従来の全周鳥瞰図画像では、または、それら両方を加味した画像を使用する従来の全周鳥瞰図画像では、表示装置３０００を見た運転者にとって、障害物１４を表すものとしては、視認性が低下し違和感のあるものとなっている。
【００９１】
しかし、本実施形態のように、鳥瞰図画像に変換された障害物の画像を用いることなく、各カメラで撮像された画像から抽出した障害物の画像を使用する置換合成鳥瞰図画像によって、運転者にとって違和感の無い障害物の画像が表示装置３０００に映し出され、障害物１４を見た運転者の視認性は向上する。
【００９２】
図１１に表示装置３０００の表示部に表示されている重なり部ＣFLの拡大されたものを示す。同図（ａ）または（ｂ）に示されているような鳥瞰図に変換された画像１２１や画像１２２が使用されたものと比べて、同図（ｃ）または（ｄ）に示されているようなカメラで撮像された鳥瞰図に変換される前の障害物画像が使用されたものの（１４ａ、１４ｂ）方が視認性が向上していると言える。なお、同図（ｃ）と（ｄ）のどちらを使用するかは、視認性の点から任意の方法で決定する。例えば、障害物が完全に表示されている点から、同図（ｃ）を選択するなどしてよい。完全に表示されているかどうかは重なり部ＣFLの境界との重なりの度合いなどから判断しうる。これに限らず、同図（ｃ）が完全に表示されておらず部分的な場合であっても、障害物鳥瞰画像が表示されている度合いが大きい方、即ち障害物全体が表示されている画像により近い方を選択すればよい。
【００９３】
上の説明で使用してきた重なり部ＣFL付近は、撮像領域の端の部分であり、撮像画像においてまた鳥瞰図へ変換した後の画像において撮像物が歪みやすい部分であるので、合成鳥瞰図画像における視認性の向上の効果が大きい部分である。
【００９４】
図１２に、カーナビゲーションシステムなどに含まれる液晶ディスプレイパネル等である表示装置３０００に表示される全周鳥瞰図画像の一例を示す。車両１００に相当する図画が中央に表示され、その車両の前方、後方、左側及び右側に当たる部分（すなわち表示画面において各々車両の上方、下方左方、右方部分）に、夫々、映像データ生成部８で生成された、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得た鳥瞰図画像の映像データに従って表示される。
【００９５】
以上により、合成鳥瞰図画像における視認性を向上させる画像処理装置２０００、およびそれを用いた画像処理方法、画像処理システム１０００を提供することができる。
（第２の実施形態）
本実施形態の全体構成は、前述の第１の実施形態と同様に、図８に示されるが、同図中の障害物情報抽出部４の構成あるいは動作が第１の実施形態と異なる。なお、同図において、障害物情報抽出部４以外の構成は、第１の実施形態と同じであるので、その説明を省略している。
［障害物情報抽出部において障害物情報を抽出する方法］
第１の実施形態に対して、本実施形態では、障害物情報抽出部４はオプティカルフローの手法により障害物を検出し、当該オプティカルフローの手法による検出の結果を使用して障害物情報を抽出する。すなわち、２つのカメラの撮像空間の共通撮像空間や、それが鳥瞰図上に変換された重なり部を使用することなく障害物を検出する事ができる。よって、本実施形態の手法の適用範囲は重なり部に限られない。また、障害物を検出するための別機構、別部品等を必要としない。なお、上記複数台のカメラによって撮像された画像の夫々は、時間的に連続している画像を含んでいるものとする。
【００９６】
オプティカルフローの手法では、例えばこの時間毎に撮像された画像において、対応する画素群を特定してその動き量を算出し、撮像対象物を検出する。よって、その動き量からそれが撮像画像における背景とは異なる部分か、更には障害物であるかを検出することができる。例えば、大きく２つの動き量がある場合には、その量がより大きい方が手前にある撮像対象物ということができるので、それを障害物とみなすことができる。
【００９７】
具体的には、オプティカルフローの手法により、あるカメラの撮像画像（動画像）において動きがある場合にはその動きが異なる部分を検出して、その挙動から撮像画像中に障害物が存在していることを検出するなお、当該異なる部分の位置、頂点情報等から障害物情報を抽出することが出来る。障害物情報は、例えば、異なる部分の位置、頂点情報等に対応したテーブル情報を画像処理装置２０００に持たせることなどにより、得る事ができる。
【００９８】
以上により、合成鳥瞰図画像における視認性を向上させる画像処理装置２０００、およびそれを用いた画像処理方法、画像処理システム１０００を提供することができる。
（第３の実施形態）
本実施形態では、第１の実施形態と異なる部分について説明する。なお、第１の実施形態と同じ部分については説明を省略している。
［障害物情報抽出部において障害物情報を抽出する方法］
第１の実施形態、第２の実施形態に対して、本実施形態では、障害物情報抽出部は障害物を検出するセンサからの情報を使用して障害物を検出し、センサからの情報を使用して障害物がカメラによって撮像されている領域の少なくとも位置情報を含む障害物情報を抽出する。すなわち、２つのカメラの撮像空間の共通撮像空間や、それが鳥瞰図上に変換された重なり部を使用することなく障害物を検出する事ができる。よって、本実施形態の手法の適用範囲は重なり部に限られない。
【００９９】
図１３に本実施形態に係る画像処理システムの全体構成図を示す。
【０１００】
図１と異なる点は、センサ４００が追加されている点と、障害物情報抽出部４がセンサ４００からの情報を使用して障害物を検出しセンサからの情報を使用して障害物情報を抽出する障害物情報抽出部４ａとなっている点である。
【０１０１】
具体的には、障害物情報抽出部４ａは、センサ４００の検出結果により障害物の位置、頂点情報等を検出し、共通撮像空間１３に障害物が存在していることを検出する。センサ４００が超音波センサの場合には、例えば超音波を使用した魚群探知機や音響測深機などに使用されるソナー（SONAR：sound navigation ranging）の様に、超音波を反射した物体の位置、頂点情報等を把握する事が可能となる。なお、当該検出結果による位置、頂点情報等から障害物情報を抽出することが出来る。障害物情報は、例えば、異なる部分の位置、頂点情報等に対応したテーブル情報を画像処理装置２０００に持たせることなどにより、得る事ができる。
【０１０２】
以上により、合成鳥瞰図画像における視認性を向上させる画像処理装置２０００、およびそれを用いた画像処理方法、画像処理システム１０００を提供することができる。
【０１０３】
第２の実施形態、第３の実施形態では、全周鳥瞰図を作成する事を前提に説明を行ったが、本発明の内容は車両の全周をカバーする鳥瞰画像に限定されるものではない。例えば、車両の周囲の半周分や周囲４分の３分である鳥瞰図画像にも適用でき、車両の前方のみの鳥瞰図の場合はカメラを前カメラ１台で足りる。
【０１０４】
また、画像の差分演算を用いる第１の実施形態以外では、単眼カメラ１台のみを用いても実現できる。すなわち、単眼カメラを用いる場合には、上記オプティカルフローやセンサ情報を使用して検出された領域の原画像を切り出し、障害物鳥瞰画像を障害物原画像に置換した画像を置換合成鳥瞰図画像として出力することができる。これにより、視認性の高い鳥瞰図画像を表示することができる。
【０１０５】
このように、カメラ１台のみの使用であっても第２の実施形態、第３の実施形態で開示した技術的思想を適用できる。
【０１０６】
なお、本実施の形態における画像処理装置は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩなどで実現できる。また、ソフトウェア的には、メモリにロードされた視界支援機能のあるプログラムなどによって実現される。図１や１３には、ハードウェアおよびソフトウェアによって実現される視界支援機能の機能ブロックが示されている。ただし、これらの機能ブロックが、ハードウェアのみ、ソフトウェアのみ、あるいは、それらの組合せ等、いろいろな形態で実現できることは言うまでもない。図１や１３は、機能部で表されているのでハードウェア的に捉えられがちであるが、当該機能部を機能ステップに置き換えて考えることで容易にソフトウエア的に捉えることができる。
【０１０７】
つまり、画像処理システム１０００において使用される汎用コンピュータを画像処理装置２０００として動作させる画像処理プログラムは、図８や図１２で示されている流れ図の動作を行う。すなわち、図８を参照して、複数台のカメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換ステップを経て、視点変換ステップで変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成ステップを実行する一方、上記カメラによって撮像された画像の夫々から、障害物が撮像されている領域の障害物情報を抽出する障害物情報抽出ステップを実行する。
【０１０８】
当該障害物情報抽出ステップで抽出された障害物情報に基づいて、上記カメラによって撮像された画像から、障害物原画像を抽出する障害物原画像抽出ステップと、障害物情報に基づいて、合成鳥瞰図画像から、障害物鳥瞰画像を検出する障害物鳥瞰画像検出ステップとを実行し、合成鳥瞰図画像中において、障害物鳥瞰画像検出ステップで検出された障害物鳥瞰画像を含む画像に代えて、障害物原画像抽出ステップで抽出された障害物原画像を用いて置換する変更合成ステップを実行して置換合成鳥瞰図画像が出力される。
【０１０９】
変更合成ステップから出力された置換合成鳥瞰図画像は、映像データ生成ステップが実行されることで表示装置に表示させるための映像データが生成される。
【０１１０】
画像処理プログラムは、図８記載の画像処理装置２０００と同じ効果を有していることから、以上により、合成鳥瞰図画像における視認性を向上させる画像処理プログラムを提供することができる。
［鳥瞰図画像の生成方法］
まず、１台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法について説明する。鳥瞰図画像の生成は、視点変換部２で行われる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
【０１１１】
図１４に示すように、車両１００の後部に撮像装置であるカメラ１が、その光軸が後方斜め下向きに配置されている場合を考える。車両１００は、例えばトラックなどである。同図では車両１００は、運転室と運転室より高さのある荷室とから形成されるトラックを例として図示している。水平面とカメラ１の光軸とのなす角は、同図にθで表される角度と、θ2で表される角度との２種類がある。角度θ2は、一般的には、見下ろし角または俯角と呼ばれている。これ以後、角度θを、水平面に対するカメラ１の傾き角度と呼び、このθを用いて説明を行う。なお、９０°＜θ＜１８０°であり、θ＝１８０°−θ2である。
【０１１２】
図１５は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。カメラ座標系ＸＹＺは、互いに直交するＸ軸、Ｙ軸及びＺ軸を座標軸とする同図に表されるような三次元の座標系である。座標系ＸbuＹbuは、互いに直交するＸbu軸及びＹbu軸を座標軸とする同図に表されるような二次元の座標系である。２次元地面座標系Ｘw Ｚwは、互いに直交するＸw軸及びＺw軸を座標軸とする同図に表されるような二次元の座標系である。世界座標系Ｘw ＹwＺwは、Ｘw軸とＺw軸、それら２軸に直交するＹw軸の３軸を座標軸とする三次元の座標系である。
【０１１３】
カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸が、撮像面Ｓの縦方向にＹbu軸がとられている。
【０１１４】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸が、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【０１１５】
Ｘw 軸はＸ軸に対して平行移動した位置にあり、その移動の方向は鉛直線方向で、その平行移動量はｈである。そして、Ｚw 軸とＺ軸との成す鈍角の角度は、傾き角度θと一致する。
【０１１６】
カメラ座標系ＸＹＺにおける座標を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
【０１１７】
世界座標系Ｘw Ｙw Ｚwにおける座標を（ｘw ，ｙw ，ｚw ）と表記する。ｘw 、ｙw
及びｚwは、夫々、世界座標系Ｘw Ｙw Ｚwにおける、Ｘw軸成分、Ｙw軸成分及びＺw軸成分である。
【０１１８】
二次元地面座標系Ｘw Ｚw における座標を（ｘw ，ｚw ）と表記する。ｘw及びｚwは、夫々、二次元地面座標系Ｘw Ｚwにおける、ＸW軸成分及びＺW軸成分であり、それらは世界座標系系Ｘw Ｙw ＺwにおけるＸW軸成分及びＺW軸成分と一致する。
【０１１９】
撮像面Ｓの座標系ＸbuＹbuにおける座標を（ｘbu，ｙbu）と表記する。ｘbu及びｙbuは、夫々、撮像面Ｓの座標系ＸbuＹbuにおける、Ｘbu軸成分及びＹbu軸成分である。
【０１２０】
カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（１）で表される。
【０１２１】
【数１】
ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。
【０１２２】
【数２】
上記式（１）及び（２）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）との間の変換式（３）が得られる。
【０１２３】
【数３】
次に、鳥瞰図画像についての座標系である鳥瞰図座標系ＸauＹauを定義する。鳥瞰図座標系ＸauＹauは、Ｘau軸及びＹau軸を座標軸とする二次元の座標系である。鳥瞰図座標系ＸauＹauにおける座標を（ｘau，ｙau）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標（ｘau，ｙau）によって表される。ｘau及びｙauは、それぞれ鳥瞰図座標系ＸauＹauにおけるＸau軸成分及びＹau軸成分である。
【０１２４】
以下において、鳥瞰図座標系ＸauＹauにおける座標（ｘau，ｙau）が撮像面Ｓの座標系ＸbuＹbuにおける座標（ｘbu，ｙbu）とどのような関係式で表されるかについて説明する。
【０１２５】
鳥瞰図画像は、実際のカメラの撮像画像を仮想視点の位置に存在する仮想的なカメラ（以下、仮想カメラと称する）の視点から見た画像に変換したものである。より具体的には、仮想カメラが地面上方に位置しかつその撮像方向が鉛直下向きであると捉え、鳥瞰図画像は、カメラの実際の撮像画像が地上面を鉛直方向に見下ろした画像に変換されたものである。撮像画像から鳥瞰図画像を生成する際の視点の変換は、一般に、視点変換と呼ばれる。
【０１２６】
二次元地面座標系Ｘw Ｚw から仮想カメラの鳥瞰図座標系ＸauＹauへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。
【０１２７】
【数４】
【０１２８】
【数５】
得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。
【０１２９】
【数６】
上記式（６）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換するための次式（７）が得られる。
【０１３０】
【数７】
撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）は、カメラ１の撮像画像における座標を表すため、上記式（７）を用いることによってカメラ１の撮像画像は鳥瞰図画像に変換される。実際には、カメラ１の撮像画像に対して、適宜、レンズ歪み補正などの画像処理を施し、その画像処理後の撮像画像を上記式（７）を用いて鳥瞰図画像に変換する。
【０１３１】
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【図面の簡単な説明】
【０１３２】
【図１】本発明の実施形態に係る、画像処理システムの全体構成図である。
【図２】本発明の実施形態に係る、車両を上方から見た図である。
【図３】本発明の実施形態に係る、各鳥瞰図画像を表す図である。
【図４】本発明の実施形態に係る、各鳥瞰図画像を全周鳥瞰図画像の座標上に変換した図である。
【図５】本発明の実施形態に係る、車両を左斜め前方から見た図である。
【図６】本発明の実施形態に係る、全周鳥瞰図画像の一部分を説明する図である。
【図７】本発明の実施形態に係る、全周鳥瞰図画像の一部分を説明する図である。
【図８】本発明の実施形態に係る、全周鳥瞰図画像の一部分を説明する図である。
【図９】本発明の実施形態に係る、画像処理方法を説明する図である。
【図１０】本発明の実施形態に係る、画像処理方法におけるメモリアクセス動作を説明する図である。
【図１１】本発明の実施形態に係る、全周鳥瞰図画像の一部分を説明する図である。
【図１２】本発明の実施形態に係る、全周鳥瞰図画像を表す図である。
【図１３】本発明の実施形態に係る、画像処理システムの全体構成図である。
【図１４】本発明の実施形態に係る、車両に搭載されたカメラの設置について説明する図である。
【図１５】本発明の実施形態に係る、カメラ座標系ＸＹＺと、カメラの撮像面の座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw と、の関係を表す図である。
【図１６】本発明の他の形態に係る、画像処理システムの全体構成図である。
【符号の説明】
【０１３３】
１、１Ｆ、１Ｂ、１Ｌ、１Ｒ カメラ
２ 視点変換部
３ 画像合成部
４、４ａ 障害物情報抽出部
５ 障害物原画像抽出部
６ 障害物鳥瞰画像検出部
７ 置換処理部
８ 映像データ生成部
１０００ 画像処理システム
２０００ 画像処理装置
３０００ 表示装置
１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒ 鳥瞰図画像
１２Ｆ、１２Ｂ、１２Ｌ、１２Ｒ 視野
１３ 共通撮像空間
１４ 障害物
１４ａ 障害物が撮像されている領域
１４ｂ 障害物が撮像されている領域
１４ｃ 障害物が撮像されている領域を含む画像
１４ｄ 障害物が鳥瞰図画像において撮像されている領域を含む画像
ＣFL 重なり部
１００ 車両
１２１、１２２ （鳥瞰変換）画像
１２３ 差分領域
４００ センサ
【特許請求の範囲】
【請求項１】
複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、
前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部と
を備えた画像処理装置であって、
前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出部と
前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、
前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、
前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、
前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部と
を備えた画像処理装置。
【請求項２】
前記障害物情報抽出部は、
前記複数台の撮像装置のうちの少なくとも２台の撮像装置である対象撮像装置によって撮像されている前記鳥瞰図画像である対象鳥瞰図画像の重なり合う領域の画像において、前記対象鳥瞰図画像間で差分処理を行うことで前記障害物情報を抽出する
請求項１に記載の画像処理装置。
【請求項３】
複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、
前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部と
を備えた画像処理装置であって、
前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出部と
前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、
前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像に関する情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、
前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部と
を備えた画像処理装置。
【請求項４】
複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換ステップと、
前記視点変換ステップで変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成ステップと
を含む、コンピュータを画像処理装置として動作させる画像処理プログラムであって、
前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出ステップと、
前記障害物情報抽出ステップで抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出ステップと、
前記障害物情報抽出ステップで抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出ステップと、
前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理ステップと、
前記置換処理ステップから出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成ステップと
を含む画像処理プログラム。
【請求項５】
請求項１ないし３の何れかに記載の画像処理装置と、
前記複数台の撮像装置、及び、前記表示装置を備えた
画像処理システム。
【請求項６】
複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換し、変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像処理方法であって、
前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出し、
抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、
抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出し、
前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力させ、
出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する
画像処理方法。
【請求項１】
複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、
前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部と
を備えた画像処理装置であって、
前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出部と
前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出部と、
前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、
前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、
前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部と
を備えた画像処理装置。
【請求項２】
前記障害物情報抽出部は、
前記複数台の撮像装置のうちの少なくとも２台の撮像装置である対象撮像装置によって撮像されている前記鳥瞰図画像である対象鳥瞰図画像の重なり合う領域の画像において、前記対象鳥瞰図画像間で差分処理を行うことで前記障害物情報を抽出する
請求項１に記載の画像処理装置。
【請求項３】
複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換部と、
前記視点変換部で変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成部と
を備えた画像処理装置であって、
前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出部と
前記障害物情報抽出部で抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出部と、
前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像に関する情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理部と、
前記置換処理部から出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成部と
を備えた画像処理装置。
【請求項４】
複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換する視点変換ステップと、
前記視点変換ステップで変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成ステップと
を含む、コンピュータを画像処理装置として動作させる画像処理プログラムであって、
前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出する障害物情報抽出ステップと、
前記障害物情報抽出ステップで抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出する障害物原画像抽出ステップと、
前記障害物情報抽出ステップで抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出する障害物鳥瞰画像検出ステップと、
前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力する置換処理ステップと、
前記置換処理ステップから出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する映像データ生成ステップと
を含む画像処理プログラム。
【請求項５】
請求項１ないし３の何れかに記載の画像処理装置と、
前記複数台の撮像装置、及び、前記表示装置を備えた
画像処理システム。
【請求項６】
複数台の撮像装置によって撮像された画像の夫々を、仮想視点から見た鳥瞰図画像に変換し、変換された各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像処理方法であって、
前記鳥瞰図画像に基づいて障害物に関する障害物情報を抽出し、
抽出された前記障害物情報に基づいて、前記撮像装置によって撮像された画像から、前記障害物を含む画像である障害物原画像を抽出し、
抽出された前記障害物情報に基づいて、前記合成鳥瞰図画像から、前記合成鳥瞰図画像の中の前記障害物に対応する障害物鳥瞰画像を検出し、
前記障害物鳥瞰画像検出部で検出された前記障害物鳥瞰画像を前記障害物原画像抽出部で抽出された前記障害物原画像に置換した画像を置換合成鳥瞰図画像として出力させ、
出力された前記置換合成鳥瞰図画像を表示装置に表示させるための映像データを生成する
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−２３９７５４（Ｐ２００９−２３９７５４Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８４９６３（Ｐ２００８−８４９６３）
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]