画像処理方法及び画像処理装置
【課題】複数のカメラからの画像データを合成して得られる車両周辺の画像を表示して、車両周辺の監視を行う画像処理装置を提供する。
【解決手段】複数のカメラが撮影した画像データを記憶可能な画像記憶部と、複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるカメラ画像取得部と、車両の周囲に想定される投影面に関する３次元座標の集合である投影面形状情報を保持する投影面形状保持部を保持する投影面形状保持部と、所定の視線移動ルールに従って投影面に対する視点位置及び視線方向が連続的に遷移するように視線情報を決定する視線移動制御部と、画像記憶部に記憶された画像データを投影面に投影して合成し、合成された画像データを視線移動制御部により決定された視線情報に基づいて２次元画像データに変換する画像変換部と、画像変換部で変換された２次元画像データを表示する表示部と、画像変換部による画像変換処理を稼働させるためのトリガ信号を発生する周期描画トリガ発生部とを含む。
【解決手段】複数のカメラが撮影した画像データを記憶可能な画像記憶部と、複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるカメラ画像取得部と、車両の周囲に想定される投影面に関する３次元座標の集合である投影面形状情報を保持する投影面形状保持部を保持する投影面形状保持部と、所定の視線移動ルールに従って投影面に対する視点位置及び視線方向が連続的に遷移するように視線情報を決定する視線移動制御部と、画像記憶部に記憶された画像データを投影面に投影して合成し、合成された画像データを視線移動制御部により決定された視線情報に基づいて２次元画像データに変換する画像変換部と、画像変換部で変換された２次元画像データを表示する表示部と、画像変換部による画像変換処理を稼働させるためのトリガ信号を発生する周期描画トリガ発生部とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両に搭載された複数のカメラにより撮影された画像データを利用して自車両の周辺を監視するための周辺監視画像を生成する画像生成方法及び画像生成装置に関する。
【背景技術】
【０００２】
自動車などの車体の後方やブラインドコーナーにカメラを取り付けて、運転席から確認することが難しい車両周辺の死角となる箇所の画像をディスプレイに表示する視界支援方式が普及してきている。たとえば、車体の後方に取り付けたカメラからの画像をディスプレイに表示することにより、運転者はディスプレイに表示された画像により後方を振り返ることなく車両の後方を確認することが可能となる。
【０００３】
単に、１つのカメラの画像データを用いるだけでなく、複数のカメラを車体に取り付けて、これら複数のカメラからの画像データを利用する視界支援方式も実用化されてきている。
【０００４】
たとえば、車体の前後左右に４つのカメラを取り付けて、この４つのカメラから得られる映像を用いて、車両の周囲全体を一度に見渡せるような画像データを合成することが提案されている（特許文献１参照）。
【０００５】
特許文献１に記載されているような装置では、視点を車両の真上にしたような俯瞰画像を作成し、運転者の運転操作を適切に支援するように構成している。
【０００６】
特許文献１に記載の装置のように、車両の真上からの俯瞰画像をディスプレイ上に表示することによって、縦列駐車や車庫入れ、縁石への幅寄せなどを行う場面において、運転者が現在の車両位置や移動先への軌跡を容易に確認することが可能となる。
【０００７】
運転者は、車両に乗り込む直前に、車両の周辺状況を目視で確認できるが、運転者が車両に乗り込んだ後で移動物体が急速に接近することも考えられることから、運転席からの死角を含めて周辺の状況を画像により監視することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述の特許文献１に記載されたような装置における俯瞰画像は、表示される範囲が車両近傍の至近距離に限定されており、このような画像を用いて車両の周辺監視を行う場合には、離れたところから接近してくる移動物体などの発見が遅れるという問題がある。
【０００９】
また、視点を車両の真上に設定した俯瞰画像を表示していることから、車体後方の物体の画像は上下が逆に表示される。したがって、運転者が、ディスプレイ上に表示された車体後方の物体についてそれが何であるかを認識し難いという問題も内包している。
【００１０】
本発明は、前述したような従来技術の問題点に鑑みて、複数のカメラからの画像データを合成して得られる車両周辺の画像を表示する際に、視点を移動させることにより、車両周辺の監視を行うことを可能とした周辺監視画像を生成する画像処理方法及び画像処理装置を提供する。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置であって、前記複数のカメラが撮影した画像データを記憶可能な画像記憶部と、前記複数のカメラが撮影した画像データを入力し前記画像記憶部に記憶させるカメラ画像取得部と、前記車両の周囲に想定される投影面に関する３次元座標の集合である投影面形状情報を保持する投影面形状保持部と、所定の視線移動ルールに従って前記投影面に対する視点位置及び視線方向が連続的に遷移するように前記視線情報を決定する視線移動制御部と、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを前記視線移動制御部により決定された視線情報に基づいて２次元画像データに変換する画像変換部と、前記画像変換部で変換された２次元画像データを表示する表示部と、前記画像変換部による画像変換処理を稼働させるためのトリガ信号を発生する周期描画トリガ発生部とを含む。
【００１２】
また、本発明に係る画像処理方法は、車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法であって、前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、前記変換された２次元画像データを表示するステップとを含む。
【００１３】
さらに、本発明に係る画像処理方法のプログラムは、車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法のプログラムであって、前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、前記変換された２次元画像データを表示するステップとを含むプログラムである。
【発明の効果】
【００１４】
本発明では、視点位置及び視線方向を連続的に遷移させることによって、車両のごく近傍だけでなく、様々な方向を監視することを可能とし、遠方から接近する物体を比較的早期に発見することを可能する。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の画像処理装置の機能ブロック図。
【図２】カメラ取付位置とカメラの撮影範囲を示す説明図
【図３】第１実施形態の画像処理装置のハードウェア構成を示すブロック図。
【図４】投影面と視線移動の関係を示す説明図。
【図５】視線移動ルール記憶部の説明図。
【図６】視点位置と視線の到達位置とを結ぶ鉛直断面における視線情報に関する説明図。
【図７】水平面内における視線情報に関する説明図。
【図８】視線情報テーブルに関する説明図。
【図９】画像処理装置のブロック図。
【図１０】画像変換処理のフローチャート。
【図１１】視線移動制御処理を示すフローチャート。
【図１２】視点位置の仰角の最低値を決定する方法に関する説明図。
【図１３】投影面の範囲外が視界に含まれる場合の説明図。
【図１４】視界に投影面の上端縁を含まない場合の説明図。
【図１５】投影面に画像データが存在しない部分を示す説明図。
【図１６】画像範囲外部分が含まれないように視線情報を補正した場合の説明図。
【図１７】水平面角度における最低仰角を決定する場合の説明図。
【図１８】画像データ表示例を示す説明図
【図１９】画像データ表示例を示す説明図。
【図２０】開始視線情報の設定を示す説明図。
【図２１】開始視線情報の設定を示す説明図。
【図２２】車両近傍に障害物を検出した場合の視線情報の遷移の一例を示す説明図。
【図２３】車両の透過率を変化させて障害物を見えやすく表示する例の説明図。
【図２４】第２実施形態の画像処理装置の機能ブロック図。
【図２５】障害物センサによる取得される障害物情報の説明図。
【図２６】障害物テーブルの一例を示す説明図。
【図２７】車両を真上から見た平面図を示す説明図。
【図２８】所定の視点位置から車両を観察する際の遮蔽範囲を示す説明図。
【図２９】障害物情報と遮蔽範囲との関係の説明図。
【図３０】視線移動処理のフローチャート。
【図３１】車両透過率調節部2420による車両透過率決定処理のフローチャート。
【発明を実施するための形態】
【００１６】
本発明の画像処理装置、画像処理方法及び画像処理方法のプログラムについて、図示した実施例に基づいて詳細に説明する。
【００１７】
（第１実施形態）
（概要構成）
図１は、第１実施形態の画像処理装置の機能ブロック図である。
【００１８】
第１実施形態に係る画像処理装置100は、複数のカメラ101〜104、画像記憶部111、カメラ画像取得部110、投影面形状保持部120、視線移動制御部130、画像変換部140、表示部150、周期描画トリガ発生部160を備えている。
【００１９】
第１実施形態では、複数のカメラ101〜104は、例えば、図２に示すように、車両200の前後左右に４つ取り付けた構成とする。実際には、カメラは３つでも５つ以上でもよいが、カメラが少ないと死角が増え、カメラが多すぎると重複する画像範囲が多くなり、画像処理の計算量もカメラの台数に比例して増加する。
【００２０】
図２は、カメラ取付位置とカメラの撮影範囲を示す説明図である。
【００２１】
図２に示す例では、前方カメラ101は、車両200の前部バンパの中央に取り付けられて、車両200の前方を撮影する。後方カメラ104は、車両200の後部バンパの中央に取り付けられて、車両200の後方を撮影する。右側カメラ102は、車両200の右側面の中央に取り付けられて、車両200の右側方を撮影する。左側カメラ103は、車両200の左側面の中央に取り付けられて、車両200の左側方を撮影する。
【００２２】
カメラ101〜104は、それぞれ180度の画角を有する超広角レンズを用いたカメラである。このことから、図２に示すように、前方カメラ101は車両200の前方領域210を撮影し、右側カメラ102は車両200の右側方領域220を撮影し、左側カメラ103は車両200の左側方領域230を撮影し、後方カメラ104は、車両200の後方領域240を撮影する。各カメラ101〜104の撮影する領域は、それぞれ隣接するカメラが撮影する領域と重複するように構成される。
【００２３】
カメラ101〜104は、図示したように、車両200の前面、右側面、左側面、後面のそれぞれ中央に取り付けることが好ましいが、各カメラ101〜104の撮影領域が隣接するカメラの撮影領域と部分的に重複する位置であればよく、各カメラ101〜104の取付位置は特に限定されるものではない。たとえば、右側カメラ102、左側カメラ103は、車両200の左右のドアミラーに取り付けることも可能である。また、各カメラの撮影領域が一部重複し、かつ車両200の周囲360度の範囲を撮影することが可能であればよく、カメラの数は４つに限定されるものではない。
【００２４】
カメラ101〜104は、それぞれCCD（Charge Coupled Device）、CMOS（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて、例えば、１秒当たり30枚の画像フレーム（画像データ）を撮影する。カメラ101〜104によって撮影されたデジタル画像データは、カメラ画像取得部110に入力され、画像記憶部111に記憶される。
【００２５】
画像記憶部111は、カメラ101〜104によって撮影された画像データを順次記憶するフレームバッファで構成される。
【００２６】
カメラ画像取得部110は、カメラ101〜104によって撮影された画像データを所定周期で取り込み、画像記憶部111に記憶させる。
【００２７】
投影面形状保持部120は、車両の周囲に仮想的に構成される３次元の投影面の座標集合を投影面形状情報として記憶するものであり、ハードディスクやフラッシュメモリなどの記録媒体で構成することができる。
【００２８】
視線移動制御部130は、投影面に対する視点位置及び視線方向が連続的に遷移するように所定の視線移動ルールに従って視線情報を決定するものである。
【００２９】
画像変換部140は、画像記憶部111に記憶された画像データを投影面に投影して合成し、合成された画像データを視線移動制御部130により決定された視線情報に基づいて２次元画像データに変換するものである。
【００３０】
表示部150は、画像変換部140で生成された画像データを表示するものであって、たとえば、液晶ディスプレイで構成することができる。この表示部150は、カーナビゲーションシステムに設けられた表示装置を利用することも可能である。
【００３１】
周期描画トリガ発生部160は、画像処理変換部140による画像変換処理を周期的に稼働させるためのトリガ信号を発生するものである。
【００３２】
（ハードウェア構成）
図３は、第１実施形態の画像処理装置のハードウェア構成を示すブロック図である。
【００３３】
この画像処理装置100は、CPU301、ROM302、RAM303、ハードディスクドライブ（HDD）304、画像バッファ305（111）、画像処理部306、カメラインターフェイス307、センサインターフェイス308、モニタインターフェイス310を備えるコンピュータシステムで構成される。これらハードウェア各部はそれぞれバス311を介して接続されている。
【００３４】
CPU301は、ハードウェア各部を制御するものであって、ROM302、HDD304に予め格納されている制御プログラムを読み出して実行することにより、このハードウェアで構成されるコンピュータを画像処理装置として機能させる。
【００３５】
ROM302は、画像処理装置100として動作させるために必要な種々の制御プログラム及び各種パラメータなどを記憶している。RAM303は、SRAM、フラッシュメモリなどで構成される記憶素子であって、CPU301による制御プログラムの実行時に発生する種々のデータを一時的に記憶する。
【００３６】
HDD304は、画像処理装置100として動作させるために必要な制御プログラム、３次元画像変換用データなどを予め格納している。
【００３７】
画像バッファ305は、カメラ101〜104で撮影した画像データを格納するものであって、RAM、フラッシュメモリなどの記憶素子で構成される。
【００３８】
画像処理部306は、カメラ101〜104で撮影され、画像バッファ305に格納された画像データに所定の画像処理を実行して、得られた画像データを表示部150に出力する。画像処理部306は、所定の画像処理を実行した画像データをNTSC（National Television System Committee standard）データなどの表示用データに変換して、得られた表示用データを表示部150に出力する。
【００３９】
カメラインターフェイス307は、各カメラ101〜104と接続され、各カメラ101〜104が撮影した画像データを順次画像バッファ305に記憶させる。
【００４０】
センサインターフェイス308は、車両200に取り付けられたか各種センサ309に接続されており、各種センサ309が検出する検出信号をRAM303の所定領域に格納するか、あるいはCPU301に送信する。
【００４１】
ここで、センサインターフェイス308に接続される各種センサ309として、車速センサ、シフト位置センサ、パーキングブレーキセンサ、GPS（Global Positioning System）センサ、舵角センサ、障害物検出センサなどが用いられる。
【００４２】
車速センサは、車両の走行速度を検出するセンサであり、ホール素子などを用いてシャフトの回転を検出することで車両の走行速度を検出するように構成することができる。シフト位置センサは、シフトレバーの操作位置を検出するセンサであって、トランスミッションケースに内蔵して変速器のシフト位置を検出する。パーキングブレーキセンサは、パーキングブレーキがかかっている状態か否かを検出するものであって、パーキングブレーキレバーの操作によりオン・オフするリレーで構成することができる。舵角センサは、ステアリングの回転軸に設けられて、ステアリング回動角度を検出するものである。
【００４３】
GPSセンサは、複数のGPS衛星から送信されてくる電波（GPS信号）を受信するアンテナを備え、受信したGPS信号に基づいて車両の現在位置を検出するセンサである。なお、GPSセンサは、検出した現在位置を緯度、経度及び標高についてのデータを含む位置情報として取得する。
【００４４】
障害物検出センサは、車両200の前部バンパ、後部バンパなどに埋め込まれて、障害物との距離を検出するものであって、光学センサ、超音波センサなどで構成することができる。
【００４５】
各種センサ309で検出される検出信号は、センサインターフェイス308を介してCPU301に送信され、必要に応じてRAM３０３の所定領域に格納される。
【００４６】
各種センサ309として、上述したセンサの他に、たとえば、アクセスペダルの踏み込み量を検出するためのセンサ、ブレーキペダルの踏み込み量を検出するためのセンサなどを使用することも可能である。
【００４７】
モニタインターフェイス310は、表示部150と接続されており、画像処理部306が所定の画像処理を行った結果生成される画像データを表示部150に出力する。
【００４８】
（視線移動ルール）
画像変換140では、投影面形状保持部120に格納されている投影面形状に基づいて、車両200の周囲に構成される３次元投影面を仮想的に設定し、この３次元投影面にカメラ101〜104からの画像データを投影する。
【００４９】
図４は、投影面と視線移動の関係を示す説明図である。
【００５０】
図４に示すように、車両200を中心にお椀形状の３次元投影面400を想定する。投影面形状保持部120は、このような３次元投影面400を構成するための投影面形状情報として、車両200を中心とした相対的な３次元座標情報を記憶している。
【００５１】
画像変換部140は、カメラ101〜104で撮影されて画像記憶部111に記憶されている２次元画像を、投影面形状保持部120に記憶されている投影面形状情報に基づいて、３次元投影面400に投影した３次元画像を生成する。
【００５２】
画像変換部140は、視線移動制御部130が生成する視線情報に基づいて、視線情報に含まれる視点位置及び視線方向により、３次元投影面400を２次元画像データに変換する。
【００５３】
視線移動制御部130は、所定の視線移動ルールに基づいて、滑らかな視線遷移軌跡410を描くように、視点位置及び視線方向の視線情報を遷移させる。
【００５４】
図５は、視線移動制御部130が視線情報を遷移させるための視線移動ルールを記憶する視線移動ルール記憶部500の説明図である。
【００５５】
視線移動ルール記憶部500は、所定の記憶領域に構成されるものであって、視線移動を開始する際の視点位置及び視線方向に関する開始視線情報501、視線移動を終了する際の視点位置及び視線方向に関する終端視線情報502、開始視線情報501と終端視線情報502の間の視線情報の遷移をどのように補間するかについての視線補間ルール503を備えており、さらに現在の視点位置及び視線方向に関する現在視線情報504を備えている。
【００５６】
図６は、視点位置と視線の到達位置とを結ぶ鉛直断面における視線情報に関する説明図である。
【００５７】
図６に示す視線情報は、視点位置601から車両200の方向を観察する際に、視点位置601と視線到達位置610を結ぶ線を視線中心線602として所定角度の視界の開き具合を示す垂直画角603、視線到達位置610が存在する水平面から視点位置601までの仰角604、視点位置601と視線到達位置610との間の視線距離605で構成される。
【００５８】
図７は、水平面内における視線情報に関する説明図である。
【００５９】
図７に示す視線情報は、視線位置601から車両200の方向を観察する際に、水平面内で視点位置601と視線到達位置610を結ぶ線を視線中心線702として所定角度の視界の開き具合を示す水平画角703、車両200の中心から前方に延長した車両中心線711を０度として車両中心線711から視点位置601までの時計回りの角度を示す水平面角度704で構成される。
【００６０】
図８は、図６，７に示す視線情報に基づいて構成される視線情報テーブルに関する説明図である。
【００６１】
視線情報テーブル800は、視線方向欄810、視線到達位置欄820、視線距離欄830、画角欄840の各項目で構成されている。
【００６２】
視線方向欄810には、図６で示される仰角604、図７で示される水平面角度704を含む視線方向に関する情報が格納される。
【００６３】
視線到達位置欄820には、視点位置601からの観察中心点となる視線到達位置610に関する情報が格納されるものであって、投影面形状保持部120で保持している投影面に対する視線到達点の座標で表すことができる。図６，７で示す例では、視線到達位置610を車両200の中心点としている。
【００６４】
視線距離欄830には、図６に示す視点位置601と視線到達位置610との間の視線距離605が格納される。
【００６５】
画角欄840には、図６の垂直画角603及び図７の水平画角703が格納される。この垂直画角603及び水平画角703は同一の値であってもよく、その場合には画角として１つの値を格納するように構成できる。
【００６６】
このように、視線到達位置610の座標と、仰角604及び水平面角度704で構成される視線方向、視線距離605が決まれば、視点位置601の投影面との相対座標を求めることができ、視点位置と視線方向とを含む視線情報を特定することが可能となる。
【００６７】
したがって、視線移動制御部130により遷移される視線情報は、視線情報テーブル800で表される視線情報に基づいて遷移されるものであって、視線移動ルール記憶部500に格納される開始視線情報501、終端視線情報502についても視線情報テーブル800に基づく視線情報で表すことが可能である。
【００６８】
たとえば、開始視線情報501として、視線方向欄810に格納される仰角604の値が40度、水平面角度704の値が180度、視線到達位置欄820に格納される視線到達位置610の座標が投影面に合成される車両200の中心点、視線距離欄830に格納される視線距離605の値が14ｍ、画角欄840に格納される垂直画角603及び水平画角703の値がともに40度が与えられているものとする。また、終端視線情報502として、視線方向欄810に格納される水平面角度704の値が540度、その他の値は開始視線情報501と同一とする。
【００６９】
また、視線補間ルール503に格納される視線補間ルールは、たとえば、開始視線情報501と終端視線情報502の値についてその差を180等分し、180等分した視線情報を開始視線情報501から終端視線情報502まで順に変更していくように構成することができる。
【００７０】
周期描画トリガ発生部160は、画像変換部140が周期的に画像変換処理を実行するためのトリガ信号を生成するものであって、画像変換部140により生成される画像データの視線が滑らかに遷移できるような間隔でトリガ信号を周期的に生成する。周期描画トリガ発生部160は、たとえば、0.1秒間隔でトリガ信号を発生するように構成することができる。
【００７１】
視線移動制御部130は、前述したような視線移動ルール記憶部500に記憶された開始視線情報501、終端視線情報502、視線補間ルール503に基づいて、視線情報を遷移させることにより、たとえば、図４に示す視線遷移軌跡410上を移動する視点位置と、視点位置に応じた視線方向とを滑らかに移動させることにより、車両200の周囲の画像データを滑らかに移動し、かつ網羅的に表示することが可能となる。
【００７２】
（車両形状画像）
３次元投影面400中に車両200の画像を合成することにより、車両200と周囲の画像データとの関係が明確になる。
【００７３】
図９は、車両200の画像を合成して表示する場合の画像処理装置100のブロック図である。
【００７４】
図１に示す画像処理装置100と同一要素については、同一の符号を付して表示し、その詳細な説明については省略する。
【００７５】
この画像処理装置100は、車両形状記憶部910をさらに備えている。
【００７６】
この車両形状記憶部910は、車両200の３次元形状情報を記憶するものであって、車両の形状に関する座標データとテクスチャーデータとを含む構成とすることができる。
【００７７】
画像変換部140は、投影面形状保持部120に記憶されている投影面形状情報に基づいて画像記憶部111に記憶されている画像データを投影面に投影するとともに、車両形状記憶部910に記憶されている車両の３次元形状情報を投影面と合成する。画像変換部140は、合成された画像データを、視線移動制御部130から得られた視線情報に基づいて２次元画像に変換して表示部150に出力する。
【００７８】
画像変換部140は、透過処理部920をさらに備えている。透過処理部920は、車両形状記憶部910に記憶された車両の３次元形状情報に基づいて、投影面に投影された３次元投影画像に車両の３次元画像を合成する際に、車両の表示方法を変更するものであって、車両の３次元画像の透過率を変更して透過的に表示するか、あるいはワイヤーフレームにより車両の３次元画像を表示するように構成することができる。
【００７９】
（画像変換処理）
図10は、画像処理装置100における画像変換処理のフローチャートである。ここでは、画像変換部140における画像変換処理を中心として説明する。
【００８０】
ステップS1010において、画像変換部140は、周期描画トリガ発生部160が生成する周期的なトリガ信号を受信したか否かを判別する。画像変換部140は、周期描画トリガ発生部160からのトリガ信号を受信するまで待機し、トリガ信号を受信したと判断した場合にはステップS1020に移行する。
【００８１】
ステップS1020において、画像変換部140は、投影面形状保持部120に記憶されている投影面形状情報と、車両形状記憶部910に記憶されている車両の３次元形状情報とを取得する。
【００８２】
ステップS1030において、画像変換部140は、カメラ101〜104が撮影して画像記憶部111に記憶されている画像データを取得し、投影面形状保持部120から取得した投影面形状情報に基づく投影面に各画像データを合成する。
【００８３】
ステップS1040において、画像変換部140は、投影面に投影された画像データに合成する車両の３次元形状情報の透過率を決定する。画像変換部140に含まれる透過処理部920は、車両の３次元形状情報の透過率を0.0（不透明）〜1.0（透明）の間で決定し、透過処理を行った車両の３次元形状情報と３次元投影画像とを合成する。透過率は、たとえば、デフォルト値として0.5が選択されるものとし、障害物と車両との位置関係や操作者の指示に基づいて透過率を変更するように構成することが可能である。
【００８４】
図18は、車両200の３次元形状情報の透過率を半透過（透過率0.5）とした場合の画像データ表示例を示す説明図である。図18に示される画像データ1800は、投影面形状保持部120に記憶された投影面形状情報に基づいて構成される投影面400に、カメラ101〜104により撮影された画像データを投影した３次元画像データと、透過率0.5の透過処理がなされた３次元車両形状情報とを合成したものである。車両200の半透過処理された３次元車両形状情報1810は、車両200の向こう側に位置する物体が半透過状態で観察することが可能であり、障害物などをこの画像データ1800上で確認することが可能となる。
【００８５】
また、車両の３次元形状情報をワイヤフレームによる表示形態に変更することも可能である。この場合、透過処理部920は、車両形状記憶部910に記憶されている車両200の車両形状情報に基づいて、多数のポリゴンで構成される３次元メッシュデータを構成し、これを投影面に投影された３次元投影画像データと合成するように構成する。
【００８６】
図19は、車両200の３次元形状情報をワイヤフレームにより表示した場合の画像データ表示例を示す説明図である。図19に示される画像データ1900は、投影面形状保持部120に記憶された投影面形状情報に基づいて構成される投影面400に、カメラ101〜104により撮影された画像データを投影した３次元画像データと、ワイヤフレーム処理がなされた３次元車両形状情報とを合成したものである。車両200のワイヤフレーム処理された３次元車両形状情報1910は、車両200の向こう側に位置する物体がワイヤフレームを介して観察することが可能であり、障害物などをこの画像データ1900上で確認することが可能となる。
【００８７】
ステップS1050では、画像変換部140は、視線移動制御部130に対して２次元変換画像を生成するための視線情報を要求し、視線移動制御部130から現在の視線情報を取得する。視線移動制御部130は、前述したように、視線移動ルール記憶部500に記憶された開始視線情報501、終端視線情報502、視線補間ルール503に基づいて、視線遷移軌跡410上の現在の視線情報を求めて画像変換部140に送信するとともに、現在視線情報504に算出した視線情報を記憶する。
【００８８】
ステップS1060では、画像変換部140は、取得した視線情報に基づいて、投影面に投影された画像データと車両形状情報とを合成した画像データを２次元画像データに変換する。
【００８９】
ステップS1070では、画像変換部140は、変換された２次元画像データを表示部150に出力する。
【００９０】
ステップS1080では、画像変換部140は、視線情報が終端視線情報に到達したか否かを判別する。画像変換装置140は、視線移動制御部130から視線情報を取得する際に、その視線情報が終端視線情報である場合にはその旨の通知を同時に取得する。画像変換部140は、視線移動制御部130から終端視線情報である旨の通知を受信した場合に、終端視線情報に到達したと判断して処理を終了し、そうでない場合にはステップS1010に移行する。
【００９１】
このような画像変換部140は、OpenGLのようなコンピュータシステム上で動作する３次元描画ライブラリソフトウェアなどで構成することが可能である。
【００９２】
（視線移動制御処理）
視線移動制御部130は、画像変換部140からの視線情報取得要求に応じて、視線遷移軌跡410上の現在の視線情報を生成して画像変換部140に送信する。
【００９３】
図11は、視線移動制御部130による視線移動制御処理を示すフローチャートである。
【００９４】
ステップS1110では、視線移動制御部130は、画像変換部140からの視線情報取得要求が初めてであるか否かを判別する。視線移動制御部130は、画像変換部140からの視線情報取得要求が初めてであると判断した場合にはステップS1120に移行し、そうでない場合にはステップS1160に移行する。
【００９５】
ステップS1120では、視線移動制御部130は、視線移動ルール記憶部500の開始視線情報501と終端視線情報502とを読み込む。
【００９６】
ステップS1130では、視線移動制御部130は、開始視線情報501と終端視線情報502との差に基づいて、１回当たりの視線情報の移動量を算出する。前述したように、開始視線情報501として、視線方向欄810に格納される仰角604の値が40度、水平面角度704の値が180度、視線到達位置欄820に格納される視線到達位置610の座標が投影面に合成される車両200の中心点、視線距離欄830に格納される視線距離605の値が14ｍ、画角欄840に格納される垂直画角603及び水平画角703の値がともに40度が与えられており、終端視線情報502として、視線方向欄810に格納される水平面角度704の値が540度、その他の値は開始視線情報501と同一である場合を想定する。この場合は、開始視線情報501と終端視線情報502とは水平面角度が360度異なるだけであり、その他の値は同一になっている。
【００９７】
たとえば、周期描画トリガ発生部160が発生するトリガ信号が0.1秒の周期で生成されるものとすると、１秒間に10枚程度の画像データを生成して、18秒で車両200の周囲を１周するような画像表示を行うことで、視点が滑らかに連続して遷移するような画像を表示することができると考えられる。このため、前述したように、開始視線情報501と終端視線情報502との水平面角度の差が360度である場合、180分割して１回当たり水平面角度を２度ずつ視点位置が移動するように構成する。
【００９８】
ステップS1140では、視線移動制御部130は開始視線情報501を現在視線情報504に格納する。
【００９９】
ステップS1150では、視線移動制御部130は画像変換部140に開始視線情報501を現在の視線情報として送信する。
【０１００】
ステップS1160では、視線移動制御部130は、現在視線情報504に１回当たりの移動量を加算する。
【０１０１】
ステップS1170では、視線移動制御部130は、１回当たりの移動量を加算した視線情報が、終端視線情報502以上であるか否かを判別する。視線移動制御部130は、１回当たりの移動量を加算した視線情報が、終端視線情報502に満たないと判断した場合には、ステップS1180に移行し、そうでない場合にはステップS1190に移行する。
【０１０２】
ステップS1180では、視線移動制御部130は、１回当たりの移動量を加算した視線情報を現在視線情報504に記憶するとともに、この視線情報を現在の視線情報として画像変換部140に送信する。
【０１０３】
ステップS1190では、視線移動制御部130は、終端視線情報502を現在の視線情報として画像変換部140に送信する。
【０１０４】
視線情報の遷移を繰り返して、画像変換部140による画像変換処理を続行する場合には、視線移動制御部130は、ステップS1190において、開始視線情報501の値を現在視線情報504に記憶するように構成することも可能である。
【０１０５】
（車両の死角に基づく最低仰角の決定方法）
現在の視点位置から車両200を観察する時、車両200の陰となる部分が多くなると、死角が大きくなる。このため、視点位置の仰角を大きくすることが考えられるが、画角内に収まる視界が小さくなるという問題がある。このため、視線情報を決定する際に、死角となる部分と視界範囲とが妥協できる範囲となるように、仰角の最低値を決定することが好ましい。
【０１０６】
図12は、視点位置の仰角の最低値を決定する方法に関する説明図である。
【０１０７】
図12に示されるように、車両200の３次元形状情報を中心として投影面400が構成されるものとする。
【０１０８】
車両200の中心点1201を視線到達位置とする視点位置1210〜1212について考察する。
【０１０９】
車両200の中心点1201を通過する水平面1202に対して、視点位置1210から視点位置1212に移動する程、仰角は大きくなる。
【０１１０】
説明のため、車両200の高さ1240だけを考えることとし、車両200の幅方向の距離を考慮しないものとする。
【０１１１】
視点位置1210から車両200の中心点1201に向けて視線方向がある場合、視点位置1210から車両200の最上部1203を結ぶ延長線1221が投影面400の水平面と接する点と、車両200の中心点1201までの水平距離分が死角となる範囲となる。
【０１１２】
同様に、視点位置1212から車両200の中心点1201に向けて視線方向がある場合、視点位置1212から車両200の最上部1203を結ぶ延長線1223が投影面400の水平面と接する点と、車両200の中心点1201までの水平距離分が死角となる範囲となる。
【０１１３】
車両200の死角となる範囲をどの程度許容できるかを、視点位置から車両200の最上部1203を通過して投影面400の水平面と接する位置の車両200の中心からの距離に基づいて設定し、その時の視点位置の仰角を最低仰角として決定する。
【０１１４】
視線移動制御部130は、決定された最低仰角以下とならないように、視線情報を設定することで、車両200の画像データによる死角を最適にすることができる。
【０１１５】
（投影面形状情報の範囲による最低仰角の決定方法）
画像変換部140では、投影面形状保持部120で記憶している投影面形状情報に対応して、車両200の周囲に仮想的な３次元投影面400を設定し、この投影面400にカメラ101〜104が撮影した画像データを投影するように構成している。画像変換部140が投影面400に投影された画像を２次元画像データに変換する際に、投影面400の範囲外の視界が含まれるような場合には、変換された２次元画像データに画像が存在しない部分ができるおそれがある。
【０１１６】
図13は、投影面の範囲外が視界に含まれる場合の説明図である。
【０１１７】
図13に示されるように、車両200の３次元形状情報を中心として投影面400が構成されるものとする。
【０１１８】
視点位置1310から車両200の中心点を観察する視線方向の中心線が1311とする。この時、視点位置1310から車両200の中心点を結ぶ視線中心線1311を中心に、垂直方向の画角が画角1312であるとする。
【０１１９】
図示した例では、視点位置1310から車両200の中心点を観察する場合に、視界の上端線1313は、投影面400の上端縁1331の上方を通過している。したがって、図13に示すような視点位置1310で図示したような仰角での視線方向を選択すると、画像データが存在しない部分が含まれることとなる。
【０１２０】
このような場合には、視界の上端線1313が投影面400の上端縁1331の下方を通過するように、仰角を大きくする。
【０１２１】
図14は、仰角を大きくすることにより、視界に投影面の上端縁を含まないように構成する場合の説明図である。
【０１２２】
図14に示す視点位置1310は、図13で示す視点位置1310よりも、投影面400に対して高さ方向の座標位置が高くなっている。このことから、垂直方向の画角に基づく視界の上端線1313は、投影面400の上端縁1331の下方を通過することとなる。
【０１２３】
この場合の仰角1410を最低仰角として決定する。
【０１２４】
視線移動制御部130は決定された最低仰角以下とならないように、視線情報を設定することにより、投影面400の画像データが存在しない部分を含まないように、２次元画像データへの変換を行うことが可能となる。
【０１２５】
（画像データ範囲に基づく最低仰角の決定方法）
カメラ101〜104により撮影された画像データを投影面に投影した場合に、各カメラ101〜104の性能や取付位置の誤差などにより、投影面上に画像データが存在しない部分が表れる可能性がある。この場合も、投影面400の上端縁付近に画像データが存在しない部分が表れるおそれがある。
【０１２６】
図15は、カメラが撮影した画像データを投影面に投影した結果、画像データが存在しない部分ができた場合の例を示す説明図である。
【０１２７】
図15に示すように、車両200の３次元形状情報を中心に投影面400が構成されるものとする。
【０１２８】
この例では、図の左上部に画像データが存在しない画像範囲外部分1510が表れている。
【０１２９】
視線移動制御部130は、このような画像範囲外部分1510が２次元画像データに変換されないように最低仰角を決定し、視線移動ルール記憶部500に記憶された視線補間ルール503で選択される視線情報を補正することにより、画像範囲外部分1510が２次元画像データに反映されることがないように構成することができる。
【０１３０】
図16は、画像範囲外部分1510が含まれないように視線情報を補正した場合の画像データを示す説明図である。
【０１３１】
視線移動制御部130は、視線補間ルール503に従って選択される視線情報が、図15に示すような画像範囲外部分1510が含まれるような視線情報となる場合には、仰角が最低仰角以上になるように視線情報を補正する。このことにより、図16に示すように、仰角が大きい視線情報に変更されて、画像範囲外部分1510が含まれない画像データを得ることが可能となる。
【０１３２】
前述の投影面の範囲外を視界から外すことに加えて、各カメラの性能や取付位置のばらつきによって生じる画像範囲外部分1510を視界から外すように構成することにより、変換された２次元画像データに不自然な画像抜けが発生することを防止できる。
【０１３３】
カメラ101〜104は、車両200への取付位置が固定されており、各カメラの特性についても使用中の大きな変動はないものと推測できる。したがって、カメラ101〜104の画像データを投影面400に投影し、画像データの上端縁の位置を確認するように、視線情報の水平面角度を１周させることで、各水平面角度における最低仰角を決定するように構成することができる。
【０１３４】
図17は、水平面角度における最低仰角を決定する場合の説明図である。
【０１３５】
投影面400に投影されるカメラ101〜104の画像データの上端縁1710は、図17に示すように高さにばらつきがあり、一定の仰角を有する視線情報を用いた場合、画像範囲外部分が２次元画像データに変換されるおそれがある。
【０１３６】
したがって、カメラ101〜104で撮影された画像データを投影面400に投影した状態で、視線情報の水平面角度を１周させて、各水平面角度における最低仰角を求めておく。視線移動制御部130は、視線移動ルール記憶部500の視線補間ルール503に基づいて視線情報を選択する場合に、水平面角度に基づいて最低仰角よりも小さい仰角であると判断した場合には、視線情報を補正して仰角が最低仰角より大きくなるように設定する。このことにより、画像変換部140で変換される２次元画像データに画像範囲外部分が含まれることがなくなり、不自然な画像データの抜けが発生することを防止できる。
【０１３７】
（開始視線情報）
図20及び図21は、開始視線情報の設定を示す説明図である。
【０１３８】
車両200が、駐車スペースに前方から駐車した状態で、前方及び両側面に障害物となる壁面2010が存在するものとする。この時に、車両200は障害物センサを搭載しており、前方及び両側面に障害物となる壁面2010を障害物センサで検出することが可能であるものとする。
【０１３９】
この時、運転者は、駐車スペースの開放側（図20の下方）から駐車スペースを見る状態（図20の上方に向けて視線方向がある）から車両200に近づいて、車両200に搭乗することになる。このようことから、運転者が駐車スペースに近づく場面を再現するように、駐車スペースの開放側に位置する視点位置2020から駐車スペース内部を観察する視線方向となるように、開始視線情報501の視点位置及び視線方向の情報を設定しておくことができる。
【０１４０】
図21に示すように、車両200が駐車スペースの開放側に側面を向けるように駐車している場合も、同様の設定を行うことができる。
【０１４１】
たとえば、車両200に搭載された障害物センサにより車両200の前後及び左側方に障害物となる壁面2110を検出する場合には、駐車スペースの開放側である視点位置2120から車両200の右側面を観察する方向が開始視線情報501となるように設定しておく。
【０１４２】
このような構成とすることによって、運転者が車両200に搭乗して車両200の周囲の状況を確認する際に、車両200の外部から車両200に近づいて搭乗し、その後、車両200の中から周囲を確認するような状況を再現することができる。車両200の周囲の状況を運転者に分かり易く表示することで、車両200を駐車スペースから発進させる際の安全確認を確実に行うことが可能となる。
【０１４３】
（障害物監視）
図22は、車両近傍に障害物を検出した場合の視線情報の遷移の一例を示す説明図である。
【０１４４】
車両200は、たとえば、前部バンパの左右両側及び後部バンパの左右両側に障害物センサを備えており、車両200周辺の前後左右に存在する障害物を検出可能な構成であるとする。
【０１４５】
視線移動制御部130が遷移させる視線情報が、視点位置2200上から車両200の中心点を観察する視線方向であるとする。視線移動制御部130は、現在の視点位置からの視界範囲に障害物が含まれると判断される場合に、視線情報を遷移させる移動量を減少させるように構成できる。
【０１４６】
図21に示すように、車両200の障害物センサが、車両200の右側方に位置する第１障害物2210、車両200の左後方に位置する第２障害物2220、車両200の左前方に位置する第３障害物2230を検出したとする。この時、障害物センサは、車両200の中心点からの相対的な方位及び距離を検出することが可能なものであるとする。
【０１４７】
視線移動制御部130による視線情報による画角中に障害物2210、2220、2230が入ると判断されると、視線移動ルール記憶部500の視線補間ルール503に含まれる補間幅を縮小するように構成する。視線移動制御部130が、画像変換部140からの視線情報取得要求毎に、水平面角度を２度ずつ増加させた視線情報を画像変換部に送信している場合には、障害物2210、2220、2230が視界範囲に含まれる場合に、水平面角度を１度ずつ増加するように構成することができる。
【０１４８】
この場合、視線移動制御部130が、障害物の検出位置においてゆっくりと視線を動かすように視線情報を遷移させることとなり、運転者に障害物を確実に認識させ、また障害物が何であるかの確認をさせることが容易となる。
【０１４９】
図23は、車両近傍に障害物を検出した場合、車両200の透過率を変化させて障害物を見えやすく表示する例の説明図である。
【０１５０】
この場合も、車両200には障害物センサが搭載されており、この障害物センサが車両200の近傍にある障害物の車両200からの方位及び距離を検出することが可能であるものとする。
【０１５１】
視線移動制御部130から得られた視線情報に基づいて、画像変換部140は、障害物と視点位置との間に車両200が位置すると判断した場合には、車両200の３次元形状情報を表示する際に、透過処理部920により透過率を増加して透過処理を実行する。
【０１５２】
たとえば、図23に示すように、視点位置2310と障害物センサにより検出された障害物2301との間に車両200の形状情報が挟まれる場合には、車両200の形状情報を表示する際に透過率を増加して投影画像データと合成する。
【０１５３】
このことにより、投影面400に投影された画像データに含まれる障害物の画像データを、透過処理された車両200の形状情報を通して見やすくし、障害物を容易に認識し、また障害物の大きさや形状、それが何であるのかを容易に確認できるように構成できる。
【０１５４】
（第２実施形態）
図24は、第２実施形態の画像処理装置の機能ブロック図である。
【０１５５】
第１実施形態の画像処理装置100と同様の構成要素については、同一の符号を付して、その詳細な説明はここでは省略する。
【０１５６】
この第２実施形態の画像処理装置100では、車両200に搭載され、車両200の近傍に位置する障害物の車両200からの方位及び距離を検出する障害物センサ2410、視線移動制御部130に設けられた車両透過率調節部2420をさらに備えている。
【０１５７】
障害物センサ2410は、車両200の周辺に存在する複数の障害物を検出可能であり、たとえば、車両200の前部バンパの左右両側、後部バンパの左右両側などに埋め込まれた光学式センサ、超音波センサなどのセンサデバイスで構成される。
【０１５８】
図25は、障害物センサによる取得される障害物情報の説明図である。
【０１５９】
図25に示すように、車両200に搭載された障害物センサが、車両200の右前方に位置する障害物2520を検出した場合について考察する。
【０１６０】
車両200の中心点2510を通過して前方方向に向かう中心線2521を０度として、障害物センサ2410は、障害物2520が存在する位置の水平面角度2521と、車両200の中心点2510から障害物2520までの距離2522を検出する。ここで、障害物センサ2410は、障害物を点として検出するものであって、高さ方向の向き（仰角）については検出できないものとし、水平面角度と水平面内における距離を検出するものとする。
【０１６１】
この障害物センサ2410が検出する障害物情報は、障害物テーブルとして所定の記憶領域に格納される。
【０１６２】
図26は、障害物テーブルの一例を示す説明図である。
【０１６３】
障害物テーブル2600は、障害物の方向（水平面角度）2610及び障害物までの距離2620で構成され、複数の障害物のそれぞれについてレコードとして所定の記憶領域に格納される。
【０１６４】
図27は、車両200を真上から見た平面図を示す説明図である。
【０１６５】
車両200は、中心点2510を原点として左右方向の線分をＸ軸とし、前後方向の線分をＹ軸とする場合、車両200の幅ＷはＸ軸に平行な長さであり、車両200の長さＬはＹ軸に平行な長さであり、この幅Ｗ及び長さＬが車両形状情報の一部として車両形状記憶部910に記憶される。
【０１６６】
視線移動制御部130では、画像変換部140からの視線情報取得要求を受けて、視線移動ルール記憶部500に基づいて視線情報を決定するとともに、この視線情報と車両形状記憶部910に記憶された車両形状情報及び障害物センサ2410が検出する障害物情報に基づいて車両形状情報の透過率を算出し、算出した視線情報及び車両透過率を画像変換部140に送信する。
【０１６７】
画像変換部140では、投影面形状保持部120が記憶する投影面形状、画像記憶部111に記憶された画像データ、車両形状記憶部910に記憶される車両の３次元形状情報、視線移動制御部130から受信した車両透過率に基づいて３次元画像データを合成し、視線移動制御部130から受信した視線情報に基づいて２次元画像データに変換する。
【０１６８】
車両透過率調節部2420は、現在の視線情報と車両形状情報とに基づいて、現在の視点位置から車両200の陰になる遮蔽範囲を算出する。この車両透過率調節部2420における遮蔽範囲の算出過程について図28を用いて説明する。
【０１６９】
図28は、所定の視点位置から車両を観察する際の遮蔽範囲を示す説明図である。
【０１７０】
図28において、現在視線情報による水平面内の視点位置が2810であり、視線到達位置820である車両200の中心点2510をＸ−Ｙ座標の原点として、視点位置2810のX-Y座標を（ex,ey）としている。また、視点位置2810から車両200の中心点2510との距離である視線距離830をELとしている。また、車両200の中心点2510を通過して車両200の前方方向（図の上方向）に延長されたＹ軸を０度とした時の、視点位置2810の水平面角度をθとする。
【０１７１】
このときの視点位置2810の座標（ex,ey）は、ex=EL×cos（90°−θ），ey=EL×sin（90°−θ）で表すことができる。
【０１７２】
車両200の４隅のコーナーを、それぞれ右前方コーナーC1（W/2,L/2）、右後方コーナーC2（W/2,-L/2）、左後方コーナーC3（-W/2,-L/2）、左前方コーナーC4（-W/2,L/2）とし、視点位置2810から各コーナーC1〜C4を結ぶ延長線の間を遮蔽角度範囲2820とする。図28の例では、視点位置2810と右後方コーナーC2を結ぶ直線LN2と、視点位置2810と左前方コーナーC4を結ぶ直線LN4との間が遮蔽角度範囲2820であって、このうち右後方コーナーC2と左前方コーナーC4を結ぶ直線LN24より遠い位置が車両200の車両形状情報により遮蔽される遮蔽範囲となる。
【０１７３】
遮蔽角度範囲2820を規定するための直線LN2、LN4は、以下の式で表すことができる。
【０１７４】
LN2：(ey+L/2)X−(ex-W/2)Y−ex×L/2−ey×W/2＝０
LN4：(ey-L/2)X−(ex+W/2)Y＋ex×L/2＋ey×W/2＝０
車両透過率調節部2420は、視点位置2810を含む座標空間において、障害物センサ2410からの障害物情報が遮蔽範囲に含まれるか否かを判別する。障害物情報が遮蔽範囲に含まれるか否かの判別方法について、図29を用いて説明する。
【０１７５】
図29は、障害物情報と遮蔽範囲との関係の説明図である。
【０１７６】
車両透過率調節部2420は、障害物センサ2410から送信されてくる障害物情報により、X-Y座標上の障害物位置Ｈを特定することができる。
【０１７７】
車両透過率調節部2420は、特定された障害物位置Ｈに基づいて、この障害物位置Ｈが遮蔽範囲に含まれるか否かを判別する。
【０１７８】
視点位置2810と車両200の右後方コーナーC2を結ぶ直線LN2、視点位置2810と車両200の左前方コーナーC4を結ぶ直線LN4、車両200の右後方コーナーC2と左前方コーナーC4を結ぶ直線LN24のそれぞれに沿って所定方向の向きを有するベクトルを考える。
【０１７９】
視点位置2810をＥとして、直線LN2については視点位置2810から右後方コーナーC2に向かう第１ベクトル（E,C2）、直線LN4については左前方コーナーC4から視点位置2810に向かう第２ベクトル（C4,E）、直線LN24については左前方コーナーC4から右後方コーナーC2に向かう第３ベクトル（C4,C2）を考える。
【０１８０】
各ベクトルをその向きが上になるようにした場合に、障害物位置Ｈがベクトルの右側に位置する場合に、障害物位置Ｈが視点位置2810から見て車両200の遮蔽範囲に含まれることとなる。したがって、各ベクトルについて、その向きがＸ軸の正方向を向き、Ｘ軸に重なるように座標変換を行い、同じ座標変換で移動された障害物位置ＨのＹ座標が負の値であれば、障害物位置Ｈがそのベクトルの右側に位置すると判別できる。
【０１８１】
車両透過率調節部2420は、第１〜第３ベクトルの各ベクトルについて、このような処理を行い、障害物位置Ｈが各ベクトルに対して右側に位置すると判断した場合には、障害物位置Ｈが車両200の遮蔽範囲に含まれると判断することができる。
【０１８２】
複数の障害物センサ2410が車両200に搭載されている場合は、車両透過率調節部2420は、各障害物センサ2410に障害物情報の取得要求を送信して、図26に示すような障害物情報に関する障害物テーブル2600を作成する。
【０１８３】
車両透過率調節部2420は、障害物テーブル2600に格納されて各障害物情報について、車両200の遮蔽範囲に含まれるか否かを判別する。車両透過率調節部2420は、車両200の遮蔽範囲に含まれる障害物が１つでもあると判断した場合には、車両透過率を通常よりも大きい値に設定し、車両200の遮蔽範囲に障害物が存在しないと判断した場合には車両透過率を通常の値にして、画像変換部140に車両透過率を送信する。車両透過率は、たとえば、通常の値を0.5に設定しておき、車両200の遮蔽範囲に障害物が存在する場合にその値を0.8に設定するように構成できる。
【０１８４】
図30は、視線移動制御130において車両透過率を算出する過程を含む視線移動処理のフローチャートである。図11に示す視線移動処理のフローチャートと部分的に同様であるが、順にその処理を説明する。
【０１８５】
ステップS3010では、視線移動制御部130は、画像変換部140からの視線情報取得要求が初めてであるか否かを判別する。視線移動制御部130は、画像変換部140からの視線情報取得要求が初めてであると判断した場合にはステップS3020に移行し、そうでない場合にはステップS3060に移行する。
【０１８６】
ステップS3020では、視線移動制御部130は、視線移動ルール記憶部500の開始視線情報501と終端視線情報502とを読み込む。
【０１８７】
ステップS3030では、視線移動制御部130は、開始視線情報501と終端視線情報502との差に基づいて、１回当たりの視線情報の移動量を算出する。この移動量の算出方法は前述した通りであり、ここでは省略する。
【０１８８】
ステップS3040では、視線移動制御部130は開始視線情報501を現在視線情報504に格納する。
【０１８９】
ステップS3050では、視線移動制御部130は、画像変換部140に開始視線情報501を現在の視線情報として送信する。
【０１９０】
ステップS3060では、視線移動制御部130は、現在視線情報504に１回当たりの移動量を加算する。
【０１９１】
ステップS3070では、視線移動制御部130は、１回当たりの移動量を加算した視線情報が、終端視線情報502以上であるか否かを判別する。視線移動制御部130は、１回当たりの移動量を加算した視線情報が、終端視線情報502に満たないと判断した場合には、ステップS3080に移行し、そうでない場合にはステップS3090に移行する。
【０１９２】
ステップS3080では、視線移動制御部130は、１回当たりの移動量を加算した視線情報を現在視線情報504に記憶するとともに、この視線情報を現在の視線情報として画像変換部140に送信する。
【０１９３】
ステップS3090では、視線移動制御部130は、終端視線情報502を現在の視線情報として画像変換部140に送信する。
【０１９４】
ステップS3100では、車両透過率調節部2420が車両200の遮蔽範囲に障害物が含まれるか否かを判別し、車両透過率を決定しこれを画像変換部140に送信する。
【０１９５】
図31は、車両透過率調節部2420による車両透過率決定処理のフローチャートである。
【０１９６】
視線移動制御部130は、画像変換部140から視線情報取得要求があった場合には、視線移動ルール記憶部500に基づいて視線情報を決定する。車両透過率調節部2420は、決定された視線情報に基づいて、車両透過率を決定する処理を実行する。
【０１９７】
ステップS3110では、車両透過率調節部2420は、現在視線情報を受け取ると、車両形状記憶部910に記憶されている車両200の幅Ｗと長さＬの値を読み出す。
【０１９８】
ステップS3120では、車両透過率調節部2420は、車両200により遮蔽される遮蔽範囲を算出する。遮蔽範囲の算出方法は前述したように、視点位置と車両200のコーナーとを結ぶ直線式を求めることによって、遮蔽角度範囲2820を特定することが可能となる。
【０１９９】
ステップS3130では、車両透過率調節部2420は、障害物センサ2410から送信される障害物情報に基づく障害物テーブル2600から、１または複数の障害物について障害物情報を取得する。
【０２００】
ステップS3140では、車両透過率調節部2420は、取得した障害物情報について、その障害物位置が車両200の遮蔽範囲に含まれるか否かを判別する。
【０２０１】
前述したように、視点位置及び車両200の各コーナー位置を結ぶ直線上のベクトルと、障害物位置との関係に基づいて、障害物位置が車両200の遮蔽範囲に含まれるか否かを判別することが可能である。また、障害物位置のX-Y座標から、車両200の遮蔽範囲に含まれるか否かを直接判断することも可能であり、その他、障害物位置が車両200の遮蔽範囲に含まれるか否かの判別方法は限定されるものではない。
【０２０２】
また、障害物が複数存在する場合には、各障害物について障害物位置が車両200の遮蔽範囲に含まれるか否かを判別する。
【０２０３】
ステップS3150では、車両透過率調節部2420は、車両200の遮蔽範囲に含まれる障害物が１つでもあるか否かを判断する。車両透過率調節部2420により、車両200の遮蔽範囲に含まれる障害物が１つでも存在すると判断された場合にはステップS3160に移行し、車両200の遮蔽範囲に含まれる障害物が１つもないと判断された場合にはステップS3170に移行する。
【０２０４】
ステップS3160では、車両透過率調節部2420は、車両透過率の値を通常よりも大きい値に設定する。たとえば、通常の車両透過率が0.5であるような場合に、この値より大きい車両透過率である0.8とすることができる。
【０２０５】
ステップS3170では、車両透過率調節部2420は、車両透過率の値を通常の値に設定する。通常の車両透過率の値が0.5である場合には、この値を選択するように構成できる。
【０２０６】
ステップS3180では、車両透過率調節部2420は、決定した車両透過率を画像変換部140に送信する。
【０２０７】
画像変換部140では、車両形状記憶部910に記憶された車両形状情報を、視線移動制御部130から送信されてくる車両透過率に基づいて透過処理し、投影面形状保持部120に記憶された投影面形状情報と、画像記憶部111に記憶された画像データとに基づいて、合成画像を生成し、さらに、視線移動制御部130から送信されてくる視線情報に基づいて２次元画像データに変換する。
【０２０８】
このように、車両200の遮蔽範囲に含まれる障害物が存在する場合には、画像データに合成する車両形状情報の透過率を高くし、障害物が容易に確認できるようにすることで、運転者による障害物の確認を容易とし、障害物との接触を防止することができる。
【０２０９】
（他の実施形態）
（GPSからの方位情報）
車両に搭載されるGPS（Global Positioning System）により、衛星からの電波を受信して車両の位置情報、車両の向いている方位情報、時刻データなどを取得し、現在の太陽光の方向と車両の進行方向を判断して、開始視線情報を変更するように構成することが可能である。
【０２１０】
たとえば、画像変換部140から視線情報取得要求があった場合に、視線移動制御部130は、GPSからの方位情報、時刻情報などに基づいて太陽光の方向と、車両20の進行方向を特定する。
【０２１１】
視線移動制御部130は、開始視線情報501が太陽光の方向に対して180°近傍の水平面角度であると判断した場合には、開始視線情報501を太陽光の方向と同一かほぼ同一になるように変更する。
【０２１２】
投影面に投影される画像データは、カメラ101〜104からの画像データを合成していることから、投影面に対する視線方向が太陽光に対して180°近傍の水平面角度である場合には、直射光により画像データが確認し難い可能性がある。したがって、GPSにより受信した電波により車両200の方位と太陽光の方向とを判断し、画像データの確認が容易な視点位置からの視線情報の遷移を行うことで、運転者による車両周囲の確認が容易となる。
【０２１３】
（運転席位置の判別）
運転席が車両の右側にあるか左側にあるかの運転席情報を所定の記憶領域に記憶させておき、運転席位置の反対側の画像データから視線情報の遷移を開始するように構成することも可能である。
【０２１４】
運転席の反対側が運転者の死角になり易い。したがって、この運転者の死角となりやすい運転席の反対側を開始視線情報501に設定することで、障害物などの確認を容易にすることができる。
【０２１５】
（視線情報の遷移）
視線情報は、運転席に搭乗した運転者の視点位置から周囲を見渡すような設定とすることも可能である。したがって、開始視線情報501を運転席に搭乗した運転者の視点位置とし、運転席から前方、右側方、後方、左側方、前方の順で、視線情報を遷移させるように構成することも可能である。
【０２１６】
また、終端視線情報を車両の外部とすることも可能である。開始視線情報501を運転席に搭乗した運転者の視点位置であって、車両200の外部に所定位置である終端視線情報502まで、滑らかに連続的に視線情報が遷移するように視線補間ルール503を設定することができる。
【０２１７】
この場合、視線情報を滑らかに連続的に遷移させることで、運転者が違和感なく車両200の周囲を確認することができる。
【０２１８】
また、終端視線情報502は、車両200の真上から車両200を見下ろす視点位置とすることができる。
【０２１９】
この場合、車両の駐車時、駐車スペースからの車両の発進時などにおける運転者の操作が容易になるように支援することが可能となる。
【０２２０】
（画像処理の開始トリガ）
以上のように、視線情報を遷移させながら車両200の周囲の画像データを合成し表示する画像処理は、運転者が装置に設けられたスイッチを操作することにより起動するように構成できる。
【０２２１】
また、車両200にカーナビゲーションが搭載されているような場合には、カーナビゲーションが起動した旨の起動信号を受信する起動受信部を設け、起動受信部がカーナビゲーションの起動信号を受信した場合に、周期描画トリガ発生部160からのトリガ信号の生成を開始するように構成できる。
【０２２２】
さらに、車両200のエンジンが始動した旨の始動信号を受信する始動受信部を設け、始動受信部がエンジンが始動した旨の始動信号を受信した場合に、周期描画トリガ発生部160からのトリガ信号の生成を開始するように構成できる。
【０２２３】
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置であって、
前記複数のカメラが撮影した画像データを記憶可能な画像記憶部と、
前記複数のカメラが撮影した画像データを入力し前記画像記憶部に記憶させるカメラ画像取得部と、
前記車両の周囲に想定される投影面に関する３次元座標の集合である投影面形状情報を保持する投影面形状保持部と、
所定の視線移動ルールに従って前記投影面に対する視点位置及び視線方向が連続的に遷移するように前記視線情報を決定する視線移動制御部と、
前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを前記視線移動制御部により決定された視線情報に基づいて２次元画像データに変換する画像変換部と、
前記画像変換部で変換された２次元画像データを表示する表示部と、
前記画像変換部による画像変換処理を稼働させるためのトリガ信号を発生する周期描画トリガ発生部と、
を含むことを特徴とする画像処理装置。
（付記２）
前記視線移動ルールを記憶する視線移動ルール記憶部をさらに備え、
前記視線移動ルール記憶部に記憶される視線移動ルールは、開始視線情報、終端視線情報及び視線補間ルールを含み、前記視線移動制御部は、前記視線移動ルール記憶部に記憶されている開始視線情報、終端視線情報、視線補間ルールに基づいて、前記視線情報を連続的に変更することを特徴とする付記１に記載の画像処理装置。
（付記３）
前記車両の３次元形状情報を記憶する車両形状記憶部をさらに備え、
前記画像変換部は、前記車両形状記憶部から車両の３次元形状情報を読み出し、前記投影面に投影された画像データに前記車両の３次元形状情報を合成した後、２次元画像データに変換することを特徴とする付記１または２に記載の画像処理装置。
（付記４）
前記車両の３次元形状情報を透過的表示またはワイヤフレーム表示に変換する透過処理部をさらに備え、
前記画像変換部は、前記前記透過処理部で透過的表示またはワイヤフレーム表示に変換された車両の３次元形状情報を前記投影面に投影された画像データに合成することを特徴とする付記３に記載の画像処理装置。
（付記５）
前記車両の３次元形状情報を前記投影面に投影された画像データに合成する際に、前記車両の３次元形状情報によって前記画像データが隠れる遮蔽範囲が所定距離以下となるような視線最低仰角を決定しこれを記憶する視線最低仰角記憶部をさらに備え、
前記視線移動制御部は、前記視線最低仰角記憶部に記憶された視線最低仰角に基づいて前記視線情報を補正することを特徴とする、付記３または付記４に記載の画像処理装置。
（付記６）
前記画像変換部は、前記投影面に投影された画像データを２次元画像データに変換する際に、前記投影面のうち画像データが存在しない範囲が２次元画像データに変換されないように、前記視線移動制御部が決定する視線情報を補正するカメラ画像範囲補正部をさらに備えることを特徴とする、付記１乃至付記５のいずれかに記載の画像処置装置。
（付記７）
前記車両は、さらに、前記画像処理装置と連携可能で、少なくとも障害物が存在する方向情報を含む障害物情報を検知する障害物センサを搭載しており、
前記視線移動制御部は、前記障害物情報の入力を受け付け、前記障害物情報に基づいて前記視線移動ルール記憶部に記憶されている開始視線情報を変更する開始視線情報変更部をさらに含むことを特徴とする付記２に記載の画像処理装置。
（付記８）
前記車両は、さらに、前記画像処理装置と連携可能で、障害物が存在する位置に関する障害物情報を検知する障害物センサを搭載しており、
前記視線移動制御部は、前記障害物の入力を受け付け、変換される２次元画像データ上に障害物が含まれるか否かを判別し、前記２次元画像データに障害物が含まれると判断した場合には前記視線補間ルールの補間幅を減少して視線情報の遷移速度を遅くすることを特徴とする付記２に記載の画像処理装置。
（付記９）
車両に取り付けられた障害物センサから障害物が存在する位置に関する障害物情報の入力を受け付け、前記視線移動制御部は、視線方向上にある障害物と視点位置との間に車両が存在するか否かを判別し、前記視線方向上にある障害物と視点位置との間に車両が存在すると判断した場合には、前記透過処理部に対して透過率を上げる旨の指示信号を送信することを特徴とする付記４に記載の画像処理装置。
（付記１０）
前記視線移動ルール記憶部に記憶される開始視線情報及び終端視線情報は、車両の運転席に搭乗した運転者の視点を視点位置として運転席前方を視線方向とする視線情報であり、前記視線補間ルールは、車両の運転席に搭乗した運転者の視点位置を中心に360度回転させるように視線方向を遷移させるものであることを特徴とする付記２に記載の画像処理装置。
（付記１１）
車両の移動経路及び／又は運転者による操作履歴を記憶する履歴記憶部をさらに備え、前記視線移動制御部は、前記履歴記憶部に記憶された移動経路または操作履歴に基づいて、前記視線移動ルール記憶部に記憶された開始視線情報を変更することを特徴とする付記２に記載の画像処理装置。
（付記１２）
前記視線移動制御部は、現在の車両が位置する緯度及び経度、車両が向いている方角、現在の時刻情報などに基づいて、車両に対する太陽光線の相対的方向を特定し、前記視線移動ルール記憶部に記憶された開始視線情報を変更することを特徴とする付記２に記載の画像処理装置。
（付記１３）
前記視線移動ルール記憶部に記憶された終端視線情報は、前記車両の真上を視点位置として車両を見下ろす視線方向であることを特徴とする付記２に記載の画像処理装置。
（付記１４）
前記視線移動ルール記憶部に記憶された視線補間ルールは、前記開始視線情報から終端視線情報までの１または複数の視点位置から、視点位置及び／又は視線方向を変更する中途視線情報を備えることを特徴とする付記２に記載の画像処置装置。
（付記１５）
前記視線移動ルール記憶部に記憶された視線補間ルールは、前記開始視線情報から視線情報の遷移を開始してから所定時間の間、遷移速度を連続的に加速し、前記終端視線情報で視線情報の遷移を終了する前の所定時間の間、遷移速度を連続的に減速することを特徴とする付記２に記載の画像処理装置。
（付記１６）
車両に搭載されたエンジンが始動したことを示す始動信号を受信し、前記始動信号に基づいて前記周期トリガ発生部にトリガ信号を発生させるための指示信号を送信する始動受信部をさらに備えることを特徴とする、付記１に記載の画像処理装置。
（付記１７）
前記画像変換部により変換された２次元画像データが前記投影面に含まれる範囲を検出する視界範囲検出部をさらに備え、前記視界範囲検出部は、前記視線移動制御部により遷移される視線情報が終端視線情報に到達した時に、前記画像変換部により変換された２次元画像データが全方位を網羅しているか否かを判別し、全方位を網羅していないと判断した場合には前記終端視線情報を変更することを特徴とする付記２に記載の画像処理装置。
（付記１８）
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法であって、
前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、
前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、
前記変換された２次元画像データを表示するステップと、
を含む画像処理方法。
（付記１９）
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法のプログラムであって、
前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、
前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、
前記変換された２次元画像データを表示するステップと、
を含む画像処理方法をコンピュータに実行させるためのプログラム。
【産業上の利用可能性】
【０２２４】
運転席から確認可能なモニタ画面を車両内部に設け、車両の周囲の監視を行うための車両周囲監視システムとして用いることができ、車両の内部から周囲を観察する視点位置や車両外部から車両を含む周囲の状況を把握することを容易にする車両用の画像処理装置として適用できる。
【符号の説明】
【０２２５】
100 画像処理装置
101〜104 カメラ
110 カメラ画像取得部
111 画像記憶部
120 投影面形状記憶部
130 視線移動制御部
140 画像変換部
150 表示部
160 周期描画トリガ発生部
【先行技術文献】
【特許文献】
【０２２６】
【特許文献１】特開２００７−１８３８７７号公報
【技術分野】
【０００１】
本発明は、自車両に搭載された複数のカメラにより撮影された画像データを利用して自車両の周辺を監視するための周辺監視画像を生成する画像生成方法及び画像生成装置に関する。
【背景技術】
【０００２】
自動車などの車体の後方やブラインドコーナーにカメラを取り付けて、運転席から確認することが難しい車両周辺の死角となる箇所の画像をディスプレイに表示する視界支援方式が普及してきている。たとえば、車体の後方に取り付けたカメラからの画像をディスプレイに表示することにより、運転者はディスプレイに表示された画像により後方を振り返ることなく車両の後方を確認することが可能となる。
【０００３】
単に、１つのカメラの画像データを用いるだけでなく、複数のカメラを車体に取り付けて、これら複数のカメラからの画像データを利用する視界支援方式も実用化されてきている。
【０００４】
たとえば、車体の前後左右に４つのカメラを取り付けて、この４つのカメラから得られる映像を用いて、車両の周囲全体を一度に見渡せるような画像データを合成することが提案されている（特許文献１参照）。
【０００５】
特許文献１に記載されているような装置では、視点を車両の真上にしたような俯瞰画像を作成し、運転者の運転操作を適切に支援するように構成している。
【０００６】
特許文献１に記載の装置のように、車両の真上からの俯瞰画像をディスプレイ上に表示することによって、縦列駐車や車庫入れ、縁石への幅寄せなどを行う場面において、運転者が現在の車両位置や移動先への軌跡を容易に確認することが可能となる。
【０００７】
運転者は、車両に乗り込む直前に、車両の周辺状況を目視で確認できるが、運転者が車両に乗り込んだ後で移動物体が急速に接近することも考えられることから、運転席からの死角を含めて周辺の状況を画像により監視することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述の特許文献１に記載されたような装置における俯瞰画像は、表示される範囲が車両近傍の至近距離に限定されており、このような画像を用いて車両の周辺監視を行う場合には、離れたところから接近してくる移動物体などの発見が遅れるという問題がある。
【０００９】
また、視点を車両の真上に設定した俯瞰画像を表示していることから、車体後方の物体の画像は上下が逆に表示される。したがって、運転者が、ディスプレイ上に表示された車体後方の物体についてそれが何であるかを認識し難いという問題も内包している。
【００１０】
本発明は、前述したような従来技術の問題点に鑑みて、複数のカメラからの画像データを合成して得られる車両周辺の画像を表示する際に、視点を移動させることにより、車両周辺の監視を行うことを可能とした周辺監視画像を生成する画像処理方法及び画像処理装置を提供する。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置であって、前記複数のカメラが撮影した画像データを記憶可能な画像記憶部と、前記複数のカメラが撮影した画像データを入力し前記画像記憶部に記憶させるカメラ画像取得部と、前記車両の周囲に想定される投影面に関する３次元座標の集合である投影面形状情報を保持する投影面形状保持部と、所定の視線移動ルールに従って前記投影面に対する視点位置及び視線方向が連続的に遷移するように前記視線情報を決定する視線移動制御部と、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを前記視線移動制御部により決定された視線情報に基づいて２次元画像データに変換する画像変換部と、前記画像変換部で変換された２次元画像データを表示する表示部と、前記画像変換部による画像変換処理を稼働させるためのトリガ信号を発生する周期描画トリガ発生部とを含む。
【００１２】
また、本発明に係る画像処理方法は、車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法であって、前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、前記変換された２次元画像データを表示するステップとを含む。
【００１３】
さらに、本発明に係る画像処理方法のプログラムは、車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法のプログラムであって、前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、前記変換された２次元画像データを表示するステップとを含むプログラムである。
【発明の効果】
【００１４】
本発明では、視点位置及び視線方向を連続的に遷移させることによって、車両のごく近傍だけでなく、様々な方向を監視することを可能とし、遠方から接近する物体を比較的早期に発見することを可能する。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の画像処理装置の機能ブロック図。
【図２】カメラ取付位置とカメラの撮影範囲を示す説明図
【図３】第１実施形態の画像処理装置のハードウェア構成を示すブロック図。
【図４】投影面と視線移動の関係を示す説明図。
【図５】視線移動ルール記憶部の説明図。
【図６】視点位置と視線の到達位置とを結ぶ鉛直断面における視線情報に関する説明図。
【図７】水平面内における視線情報に関する説明図。
【図８】視線情報テーブルに関する説明図。
【図９】画像処理装置のブロック図。
【図１０】画像変換処理のフローチャート。
【図１１】視線移動制御処理を示すフローチャート。
【図１２】視点位置の仰角の最低値を決定する方法に関する説明図。
【図１３】投影面の範囲外が視界に含まれる場合の説明図。
【図１４】視界に投影面の上端縁を含まない場合の説明図。
【図１５】投影面に画像データが存在しない部分を示す説明図。
【図１６】画像範囲外部分が含まれないように視線情報を補正した場合の説明図。
【図１７】水平面角度における最低仰角を決定する場合の説明図。
【図１８】画像データ表示例を示す説明図
【図１９】画像データ表示例を示す説明図。
【図２０】開始視線情報の設定を示す説明図。
【図２１】開始視線情報の設定を示す説明図。
【図２２】車両近傍に障害物を検出した場合の視線情報の遷移の一例を示す説明図。
【図２３】車両の透過率を変化させて障害物を見えやすく表示する例の説明図。
【図２４】第２実施形態の画像処理装置の機能ブロック図。
【図２５】障害物センサによる取得される障害物情報の説明図。
【図２６】障害物テーブルの一例を示す説明図。
【図２７】車両を真上から見た平面図を示す説明図。
【図２８】所定の視点位置から車両を観察する際の遮蔽範囲を示す説明図。
【図２９】障害物情報と遮蔽範囲との関係の説明図。
【図３０】視線移動処理のフローチャート。
【図３１】車両透過率調節部2420による車両透過率決定処理のフローチャート。
【発明を実施するための形態】
【００１６】
本発明の画像処理装置、画像処理方法及び画像処理方法のプログラムについて、図示した実施例に基づいて詳細に説明する。
【００１７】
（第１実施形態）
（概要構成）
図１は、第１実施形態の画像処理装置の機能ブロック図である。
【００１８】
第１実施形態に係る画像処理装置100は、複数のカメラ101〜104、画像記憶部111、カメラ画像取得部110、投影面形状保持部120、視線移動制御部130、画像変換部140、表示部150、周期描画トリガ発生部160を備えている。
【００１９】
第１実施形態では、複数のカメラ101〜104は、例えば、図２に示すように、車両200の前後左右に４つ取り付けた構成とする。実際には、カメラは３つでも５つ以上でもよいが、カメラが少ないと死角が増え、カメラが多すぎると重複する画像範囲が多くなり、画像処理の計算量もカメラの台数に比例して増加する。
【００２０】
図２は、カメラ取付位置とカメラの撮影範囲を示す説明図である。
【００２１】
図２に示す例では、前方カメラ101は、車両200の前部バンパの中央に取り付けられて、車両200の前方を撮影する。後方カメラ104は、車両200の後部バンパの中央に取り付けられて、車両200の後方を撮影する。右側カメラ102は、車両200の右側面の中央に取り付けられて、車両200の右側方を撮影する。左側カメラ103は、車両200の左側面の中央に取り付けられて、車両200の左側方を撮影する。
【００２２】
カメラ101〜104は、それぞれ180度の画角を有する超広角レンズを用いたカメラである。このことから、図２に示すように、前方カメラ101は車両200の前方領域210を撮影し、右側カメラ102は車両200の右側方領域220を撮影し、左側カメラ103は車両200の左側方領域230を撮影し、後方カメラ104は、車両200の後方領域240を撮影する。各カメラ101〜104の撮影する領域は、それぞれ隣接するカメラが撮影する領域と重複するように構成される。
【００２３】
カメラ101〜104は、図示したように、車両200の前面、右側面、左側面、後面のそれぞれ中央に取り付けることが好ましいが、各カメラ101〜104の撮影領域が隣接するカメラの撮影領域と部分的に重複する位置であればよく、各カメラ101〜104の取付位置は特に限定されるものではない。たとえば、右側カメラ102、左側カメラ103は、車両200の左右のドアミラーに取り付けることも可能である。また、各カメラの撮影領域が一部重複し、かつ車両200の周囲360度の範囲を撮影することが可能であればよく、カメラの数は４つに限定されるものではない。
【００２４】
カメラ101〜104は、それぞれCCD（Charge Coupled Device）、CMOS（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて、例えば、１秒当たり30枚の画像フレーム（画像データ）を撮影する。カメラ101〜104によって撮影されたデジタル画像データは、カメラ画像取得部110に入力され、画像記憶部111に記憶される。
【００２５】
画像記憶部111は、カメラ101〜104によって撮影された画像データを順次記憶するフレームバッファで構成される。
【００２６】
カメラ画像取得部110は、カメラ101〜104によって撮影された画像データを所定周期で取り込み、画像記憶部111に記憶させる。
【００２７】
投影面形状保持部120は、車両の周囲に仮想的に構成される３次元の投影面の座標集合を投影面形状情報として記憶するものであり、ハードディスクやフラッシュメモリなどの記録媒体で構成することができる。
【００２８】
視線移動制御部130は、投影面に対する視点位置及び視線方向が連続的に遷移するように所定の視線移動ルールに従って視線情報を決定するものである。
【００２９】
画像変換部140は、画像記憶部111に記憶された画像データを投影面に投影して合成し、合成された画像データを視線移動制御部130により決定された視線情報に基づいて２次元画像データに変換するものである。
【００３０】
表示部150は、画像変換部140で生成された画像データを表示するものであって、たとえば、液晶ディスプレイで構成することができる。この表示部150は、カーナビゲーションシステムに設けられた表示装置を利用することも可能である。
【００３１】
周期描画トリガ発生部160は、画像処理変換部140による画像変換処理を周期的に稼働させるためのトリガ信号を発生するものである。
【００３２】
（ハードウェア構成）
図３は、第１実施形態の画像処理装置のハードウェア構成を示すブロック図である。
【００３３】
この画像処理装置100は、CPU301、ROM302、RAM303、ハードディスクドライブ（HDD）304、画像バッファ305（111）、画像処理部306、カメラインターフェイス307、センサインターフェイス308、モニタインターフェイス310を備えるコンピュータシステムで構成される。これらハードウェア各部はそれぞれバス311を介して接続されている。
【００３４】
CPU301は、ハードウェア各部を制御するものであって、ROM302、HDD304に予め格納されている制御プログラムを読み出して実行することにより、このハードウェアで構成されるコンピュータを画像処理装置として機能させる。
【００３５】
ROM302は、画像処理装置100として動作させるために必要な種々の制御プログラム及び各種パラメータなどを記憶している。RAM303は、SRAM、フラッシュメモリなどで構成される記憶素子であって、CPU301による制御プログラムの実行時に発生する種々のデータを一時的に記憶する。
【００３６】
HDD304は、画像処理装置100として動作させるために必要な制御プログラム、３次元画像変換用データなどを予め格納している。
【００３７】
画像バッファ305は、カメラ101〜104で撮影した画像データを格納するものであって、RAM、フラッシュメモリなどの記憶素子で構成される。
【００３８】
画像処理部306は、カメラ101〜104で撮影され、画像バッファ305に格納された画像データに所定の画像処理を実行して、得られた画像データを表示部150に出力する。画像処理部306は、所定の画像処理を実行した画像データをNTSC（National Television System Committee standard）データなどの表示用データに変換して、得られた表示用データを表示部150に出力する。
【００３９】
カメラインターフェイス307は、各カメラ101〜104と接続され、各カメラ101〜104が撮影した画像データを順次画像バッファ305に記憶させる。
【００４０】
センサインターフェイス308は、車両200に取り付けられたか各種センサ309に接続されており、各種センサ309が検出する検出信号をRAM303の所定領域に格納するか、あるいはCPU301に送信する。
【００４１】
ここで、センサインターフェイス308に接続される各種センサ309として、車速センサ、シフト位置センサ、パーキングブレーキセンサ、GPS（Global Positioning System）センサ、舵角センサ、障害物検出センサなどが用いられる。
【００４２】
車速センサは、車両の走行速度を検出するセンサであり、ホール素子などを用いてシャフトの回転を検出することで車両の走行速度を検出するように構成することができる。シフト位置センサは、シフトレバーの操作位置を検出するセンサであって、トランスミッションケースに内蔵して変速器のシフト位置を検出する。パーキングブレーキセンサは、パーキングブレーキがかかっている状態か否かを検出するものであって、パーキングブレーキレバーの操作によりオン・オフするリレーで構成することができる。舵角センサは、ステアリングの回転軸に設けられて、ステアリング回動角度を検出するものである。
【００４３】
GPSセンサは、複数のGPS衛星から送信されてくる電波（GPS信号）を受信するアンテナを備え、受信したGPS信号に基づいて車両の現在位置を検出するセンサである。なお、GPSセンサは、検出した現在位置を緯度、経度及び標高についてのデータを含む位置情報として取得する。
【００４４】
障害物検出センサは、車両200の前部バンパ、後部バンパなどに埋め込まれて、障害物との距離を検出するものであって、光学センサ、超音波センサなどで構成することができる。
【００４５】
各種センサ309で検出される検出信号は、センサインターフェイス308を介してCPU301に送信され、必要に応じてRAM３０３の所定領域に格納される。
【００４６】
各種センサ309として、上述したセンサの他に、たとえば、アクセスペダルの踏み込み量を検出するためのセンサ、ブレーキペダルの踏み込み量を検出するためのセンサなどを使用することも可能である。
【００４７】
モニタインターフェイス310は、表示部150と接続されており、画像処理部306が所定の画像処理を行った結果生成される画像データを表示部150に出力する。
【００４８】
（視線移動ルール）
画像変換140では、投影面形状保持部120に格納されている投影面形状に基づいて、車両200の周囲に構成される３次元投影面を仮想的に設定し、この３次元投影面にカメラ101〜104からの画像データを投影する。
【００４９】
図４は、投影面と視線移動の関係を示す説明図である。
【００５０】
図４に示すように、車両200を中心にお椀形状の３次元投影面400を想定する。投影面形状保持部120は、このような３次元投影面400を構成するための投影面形状情報として、車両200を中心とした相対的な３次元座標情報を記憶している。
【００５１】
画像変換部140は、カメラ101〜104で撮影されて画像記憶部111に記憶されている２次元画像を、投影面形状保持部120に記憶されている投影面形状情報に基づいて、３次元投影面400に投影した３次元画像を生成する。
【００５２】
画像変換部140は、視線移動制御部130が生成する視線情報に基づいて、視線情報に含まれる視点位置及び視線方向により、３次元投影面400を２次元画像データに変換する。
【００５３】
視線移動制御部130は、所定の視線移動ルールに基づいて、滑らかな視線遷移軌跡410を描くように、視点位置及び視線方向の視線情報を遷移させる。
【００５４】
図５は、視線移動制御部130が視線情報を遷移させるための視線移動ルールを記憶する視線移動ルール記憶部500の説明図である。
【００５５】
視線移動ルール記憶部500は、所定の記憶領域に構成されるものであって、視線移動を開始する際の視点位置及び視線方向に関する開始視線情報501、視線移動を終了する際の視点位置及び視線方向に関する終端視線情報502、開始視線情報501と終端視線情報502の間の視線情報の遷移をどのように補間するかについての視線補間ルール503を備えており、さらに現在の視点位置及び視線方向に関する現在視線情報504を備えている。
【００５６】
図６は、視点位置と視線の到達位置とを結ぶ鉛直断面における視線情報に関する説明図である。
【００５７】
図６に示す視線情報は、視点位置601から車両200の方向を観察する際に、視点位置601と視線到達位置610を結ぶ線を視線中心線602として所定角度の視界の開き具合を示す垂直画角603、視線到達位置610が存在する水平面から視点位置601までの仰角604、視点位置601と視線到達位置610との間の視線距離605で構成される。
【００５８】
図７は、水平面内における視線情報に関する説明図である。
【００５９】
図７に示す視線情報は、視線位置601から車両200の方向を観察する際に、水平面内で視点位置601と視線到達位置610を結ぶ線を視線中心線702として所定角度の視界の開き具合を示す水平画角703、車両200の中心から前方に延長した車両中心線711を０度として車両中心線711から視点位置601までの時計回りの角度を示す水平面角度704で構成される。
【００６０】
図８は、図６，７に示す視線情報に基づいて構成される視線情報テーブルに関する説明図である。
【００６１】
視線情報テーブル800は、視線方向欄810、視線到達位置欄820、視線距離欄830、画角欄840の各項目で構成されている。
【００６２】
視線方向欄810には、図６で示される仰角604、図７で示される水平面角度704を含む視線方向に関する情報が格納される。
【００６３】
視線到達位置欄820には、視点位置601からの観察中心点となる視線到達位置610に関する情報が格納されるものであって、投影面形状保持部120で保持している投影面に対する視線到達点の座標で表すことができる。図６，７で示す例では、視線到達位置610を車両200の中心点としている。
【００６４】
視線距離欄830には、図６に示す視点位置601と視線到達位置610との間の視線距離605が格納される。
【００６５】
画角欄840には、図６の垂直画角603及び図７の水平画角703が格納される。この垂直画角603及び水平画角703は同一の値であってもよく、その場合には画角として１つの値を格納するように構成できる。
【００６６】
このように、視線到達位置610の座標と、仰角604及び水平面角度704で構成される視線方向、視線距離605が決まれば、視点位置601の投影面との相対座標を求めることができ、視点位置と視線方向とを含む視線情報を特定することが可能となる。
【００６７】
したがって、視線移動制御部130により遷移される視線情報は、視線情報テーブル800で表される視線情報に基づいて遷移されるものであって、視線移動ルール記憶部500に格納される開始視線情報501、終端視線情報502についても視線情報テーブル800に基づく視線情報で表すことが可能である。
【００６８】
たとえば、開始視線情報501として、視線方向欄810に格納される仰角604の値が40度、水平面角度704の値が180度、視線到達位置欄820に格納される視線到達位置610の座標が投影面に合成される車両200の中心点、視線距離欄830に格納される視線距離605の値が14ｍ、画角欄840に格納される垂直画角603及び水平画角703の値がともに40度が与えられているものとする。また、終端視線情報502として、視線方向欄810に格納される水平面角度704の値が540度、その他の値は開始視線情報501と同一とする。
【００６９】
また、視線補間ルール503に格納される視線補間ルールは、たとえば、開始視線情報501と終端視線情報502の値についてその差を180等分し、180等分した視線情報を開始視線情報501から終端視線情報502まで順に変更していくように構成することができる。
【００７０】
周期描画トリガ発生部160は、画像変換部140が周期的に画像変換処理を実行するためのトリガ信号を生成するものであって、画像変換部140により生成される画像データの視線が滑らかに遷移できるような間隔でトリガ信号を周期的に生成する。周期描画トリガ発生部160は、たとえば、0.1秒間隔でトリガ信号を発生するように構成することができる。
【００７１】
視線移動制御部130は、前述したような視線移動ルール記憶部500に記憶された開始視線情報501、終端視線情報502、視線補間ルール503に基づいて、視線情報を遷移させることにより、たとえば、図４に示す視線遷移軌跡410上を移動する視点位置と、視点位置に応じた視線方向とを滑らかに移動させることにより、車両200の周囲の画像データを滑らかに移動し、かつ網羅的に表示することが可能となる。
【００７２】
（車両形状画像）
３次元投影面400中に車両200の画像を合成することにより、車両200と周囲の画像データとの関係が明確になる。
【００７３】
図９は、車両200の画像を合成して表示する場合の画像処理装置100のブロック図である。
【００７４】
図１に示す画像処理装置100と同一要素については、同一の符号を付して表示し、その詳細な説明については省略する。
【００７５】
この画像処理装置100は、車両形状記憶部910をさらに備えている。
【００７６】
この車両形状記憶部910は、車両200の３次元形状情報を記憶するものであって、車両の形状に関する座標データとテクスチャーデータとを含む構成とすることができる。
【００７７】
画像変換部140は、投影面形状保持部120に記憶されている投影面形状情報に基づいて画像記憶部111に記憶されている画像データを投影面に投影するとともに、車両形状記憶部910に記憶されている車両の３次元形状情報を投影面と合成する。画像変換部140は、合成された画像データを、視線移動制御部130から得られた視線情報に基づいて２次元画像に変換して表示部150に出力する。
【００７８】
画像変換部140は、透過処理部920をさらに備えている。透過処理部920は、車両形状記憶部910に記憶された車両の３次元形状情報に基づいて、投影面に投影された３次元投影画像に車両の３次元画像を合成する際に、車両の表示方法を変更するものであって、車両の３次元画像の透過率を変更して透過的に表示するか、あるいはワイヤーフレームにより車両の３次元画像を表示するように構成することができる。
【００７９】
（画像変換処理）
図10は、画像処理装置100における画像変換処理のフローチャートである。ここでは、画像変換部140における画像変換処理を中心として説明する。
【００８０】
ステップS1010において、画像変換部140は、周期描画トリガ発生部160が生成する周期的なトリガ信号を受信したか否かを判別する。画像変換部140は、周期描画トリガ発生部160からのトリガ信号を受信するまで待機し、トリガ信号を受信したと判断した場合にはステップS1020に移行する。
【００８１】
ステップS1020において、画像変換部140は、投影面形状保持部120に記憶されている投影面形状情報と、車両形状記憶部910に記憶されている車両の３次元形状情報とを取得する。
【００８２】
ステップS1030において、画像変換部140は、カメラ101〜104が撮影して画像記憶部111に記憶されている画像データを取得し、投影面形状保持部120から取得した投影面形状情報に基づく投影面に各画像データを合成する。
【００８３】
ステップS1040において、画像変換部140は、投影面に投影された画像データに合成する車両の３次元形状情報の透過率を決定する。画像変換部140に含まれる透過処理部920は、車両の３次元形状情報の透過率を0.0（不透明）〜1.0（透明）の間で決定し、透過処理を行った車両の３次元形状情報と３次元投影画像とを合成する。透過率は、たとえば、デフォルト値として0.5が選択されるものとし、障害物と車両との位置関係や操作者の指示に基づいて透過率を変更するように構成することが可能である。
【００８４】
図18は、車両200の３次元形状情報の透過率を半透過（透過率0.5）とした場合の画像データ表示例を示す説明図である。図18に示される画像データ1800は、投影面形状保持部120に記憶された投影面形状情報に基づいて構成される投影面400に、カメラ101〜104により撮影された画像データを投影した３次元画像データと、透過率0.5の透過処理がなされた３次元車両形状情報とを合成したものである。車両200の半透過処理された３次元車両形状情報1810は、車両200の向こう側に位置する物体が半透過状態で観察することが可能であり、障害物などをこの画像データ1800上で確認することが可能となる。
【００８５】
また、車両の３次元形状情報をワイヤフレームによる表示形態に変更することも可能である。この場合、透過処理部920は、車両形状記憶部910に記憶されている車両200の車両形状情報に基づいて、多数のポリゴンで構成される３次元メッシュデータを構成し、これを投影面に投影された３次元投影画像データと合成するように構成する。
【００８６】
図19は、車両200の３次元形状情報をワイヤフレームにより表示した場合の画像データ表示例を示す説明図である。図19に示される画像データ1900は、投影面形状保持部120に記憶された投影面形状情報に基づいて構成される投影面400に、カメラ101〜104により撮影された画像データを投影した３次元画像データと、ワイヤフレーム処理がなされた３次元車両形状情報とを合成したものである。車両200のワイヤフレーム処理された３次元車両形状情報1910は、車両200の向こう側に位置する物体がワイヤフレームを介して観察することが可能であり、障害物などをこの画像データ1900上で確認することが可能となる。
【００８７】
ステップS1050では、画像変換部140は、視線移動制御部130に対して２次元変換画像を生成するための視線情報を要求し、視線移動制御部130から現在の視線情報を取得する。視線移動制御部130は、前述したように、視線移動ルール記憶部500に記憶された開始視線情報501、終端視線情報502、視線補間ルール503に基づいて、視線遷移軌跡410上の現在の視線情報を求めて画像変換部140に送信するとともに、現在視線情報504に算出した視線情報を記憶する。
【００８８】
ステップS1060では、画像変換部140は、取得した視線情報に基づいて、投影面に投影された画像データと車両形状情報とを合成した画像データを２次元画像データに変換する。
【００８９】
ステップS1070では、画像変換部140は、変換された２次元画像データを表示部150に出力する。
【００９０】
ステップS1080では、画像変換部140は、視線情報が終端視線情報に到達したか否かを判別する。画像変換装置140は、視線移動制御部130から視線情報を取得する際に、その視線情報が終端視線情報である場合にはその旨の通知を同時に取得する。画像変換部140は、視線移動制御部130から終端視線情報である旨の通知を受信した場合に、終端視線情報に到達したと判断して処理を終了し、そうでない場合にはステップS1010に移行する。
【００９１】
このような画像変換部140は、OpenGLのようなコンピュータシステム上で動作する３次元描画ライブラリソフトウェアなどで構成することが可能である。
【００９２】
（視線移動制御処理）
視線移動制御部130は、画像変換部140からの視線情報取得要求に応じて、視線遷移軌跡410上の現在の視線情報を生成して画像変換部140に送信する。
【００９３】
図11は、視線移動制御部130による視線移動制御処理を示すフローチャートである。
【００９４】
ステップS1110では、視線移動制御部130は、画像変換部140からの視線情報取得要求が初めてであるか否かを判別する。視線移動制御部130は、画像変換部140からの視線情報取得要求が初めてであると判断した場合にはステップS1120に移行し、そうでない場合にはステップS1160に移行する。
【００９５】
ステップS1120では、視線移動制御部130は、視線移動ルール記憶部500の開始視線情報501と終端視線情報502とを読み込む。
【００９６】
ステップS1130では、視線移動制御部130は、開始視線情報501と終端視線情報502との差に基づいて、１回当たりの視線情報の移動量を算出する。前述したように、開始視線情報501として、視線方向欄810に格納される仰角604の値が40度、水平面角度704の値が180度、視線到達位置欄820に格納される視線到達位置610の座標が投影面に合成される車両200の中心点、視線距離欄830に格納される視線距離605の値が14ｍ、画角欄840に格納される垂直画角603及び水平画角703の値がともに40度が与えられており、終端視線情報502として、視線方向欄810に格納される水平面角度704の値が540度、その他の値は開始視線情報501と同一である場合を想定する。この場合は、開始視線情報501と終端視線情報502とは水平面角度が360度異なるだけであり、その他の値は同一になっている。
【００９７】
たとえば、周期描画トリガ発生部160が発生するトリガ信号が0.1秒の周期で生成されるものとすると、１秒間に10枚程度の画像データを生成して、18秒で車両200の周囲を１周するような画像表示を行うことで、視点が滑らかに連続して遷移するような画像を表示することができると考えられる。このため、前述したように、開始視線情報501と終端視線情報502との水平面角度の差が360度である場合、180分割して１回当たり水平面角度を２度ずつ視点位置が移動するように構成する。
【００９８】
ステップS1140では、視線移動制御部130は開始視線情報501を現在視線情報504に格納する。
【００９９】
ステップS1150では、視線移動制御部130は画像変換部140に開始視線情報501を現在の視線情報として送信する。
【０１００】
ステップS1160では、視線移動制御部130は、現在視線情報504に１回当たりの移動量を加算する。
【０１０１】
ステップS1170では、視線移動制御部130は、１回当たりの移動量を加算した視線情報が、終端視線情報502以上であるか否かを判別する。視線移動制御部130は、１回当たりの移動量を加算した視線情報が、終端視線情報502に満たないと判断した場合には、ステップS1180に移行し、そうでない場合にはステップS1190に移行する。
【０１０２】
ステップS1180では、視線移動制御部130は、１回当たりの移動量を加算した視線情報を現在視線情報504に記憶するとともに、この視線情報を現在の視線情報として画像変換部140に送信する。
【０１０３】
ステップS1190では、視線移動制御部130は、終端視線情報502を現在の視線情報として画像変換部140に送信する。
【０１０４】
視線情報の遷移を繰り返して、画像変換部140による画像変換処理を続行する場合には、視線移動制御部130は、ステップS1190において、開始視線情報501の値を現在視線情報504に記憶するように構成することも可能である。
【０１０５】
（車両の死角に基づく最低仰角の決定方法）
現在の視点位置から車両200を観察する時、車両200の陰となる部分が多くなると、死角が大きくなる。このため、視点位置の仰角を大きくすることが考えられるが、画角内に収まる視界が小さくなるという問題がある。このため、視線情報を決定する際に、死角となる部分と視界範囲とが妥協できる範囲となるように、仰角の最低値を決定することが好ましい。
【０１０６】
図12は、視点位置の仰角の最低値を決定する方法に関する説明図である。
【０１０７】
図12に示されるように、車両200の３次元形状情報を中心として投影面400が構成されるものとする。
【０１０８】
車両200の中心点1201を視線到達位置とする視点位置1210〜1212について考察する。
【０１０９】
車両200の中心点1201を通過する水平面1202に対して、視点位置1210から視点位置1212に移動する程、仰角は大きくなる。
【０１１０】
説明のため、車両200の高さ1240だけを考えることとし、車両200の幅方向の距離を考慮しないものとする。
【０１１１】
視点位置1210から車両200の中心点1201に向けて視線方向がある場合、視点位置1210から車両200の最上部1203を結ぶ延長線1221が投影面400の水平面と接する点と、車両200の中心点1201までの水平距離分が死角となる範囲となる。
【０１１２】
同様に、視点位置1212から車両200の中心点1201に向けて視線方向がある場合、視点位置1212から車両200の最上部1203を結ぶ延長線1223が投影面400の水平面と接する点と、車両200の中心点1201までの水平距離分が死角となる範囲となる。
【０１１３】
車両200の死角となる範囲をどの程度許容できるかを、視点位置から車両200の最上部1203を通過して投影面400の水平面と接する位置の車両200の中心からの距離に基づいて設定し、その時の視点位置の仰角を最低仰角として決定する。
【０１１４】
視線移動制御部130は、決定された最低仰角以下とならないように、視線情報を設定することで、車両200の画像データによる死角を最適にすることができる。
【０１１５】
（投影面形状情報の範囲による最低仰角の決定方法）
画像変換部140では、投影面形状保持部120で記憶している投影面形状情報に対応して、車両200の周囲に仮想的な３次元投影面400を設定し、この投影面400にカメラ101〜104が撮影した画像データを投影するように構成している。画像変換部140が投影面400に投影された画像を２次元画像データに変換する際に、投影面400の範囲外の視界が含まれるような場合には、変換された２次元画像データに画像が存在しない部分ができるおそれがある。
【０１１６】
図13は、投影面の範囲外が視界に含まれる場合の説明図である。
【０１１７】
図13に示されるように、車両200の３次元形状情報を中心として投影面400が構成されるものとする。
【０１１８】
視点位置1310から車両200の中心点を観察する視線方向の中心線が1311とする。この時、視点位置1310から車両200の中心点を結ぶ視線中心線1311を中心に、垂直方向の画角が画角1312であるとする。
【０１１９】
図示した例では、視点位置1310から車両200の中心点を観察する場合に、視界の上端線1313は、投影面400の上端縁1331の上方を通過している。したがって、図13に示すような視点位置1310で図示したような仰角での視線方向を選択すると、画像データが存在しない部分が含まれることとなる。
【０１２０】
このような場合には、視界の上端線1313が投影面400の上端縁1331の下方を通過するように、仰角を大きくする。
【０１２１】
図14は、仰角を大きくすることにより、視界に投影面の上端縁を含まないように構成する場合の説明図である。
【０１２２】
図14に示す視点位置1310は、図13で示す視点位置1310よりも、投影面400に対して高さ方向の座標位置が高くなっている。このことから、垂直方向の画角に基づく視界の上端線1313は、投影面400の上端縁1331の下方を通過することとなる。
【０１２３】
この場合の仰角1410を最低仰角として決定する。
【０１２４】
視線移動制御部130は決定された最低仰角以下とならないように、視線情報を設定することにより、投影面400の画像データが存在しない部分を含まないように、２次元画像データへの変換を行うことが可能となる。
【０１２５】
（画像データ範囲に基づく最低仰角の決定方法）
カメラ101〜104により撮影された画像データを投影面に投影した場合に、各カメラ101〜104の性能や取付位置の誤差などにより、投影面上に画像データが存在しない部分が表れる可能性がある。この場合も、投影面400の上端縁付近に画像データが存在しない部分が表れるおそれがある。
【０１２６】
図15は、カメラが撮影した画像データを投影面に投影した結果、画像データが存在しない部分ができた場合の例を示す説明図である。
【０１２７】
図15に示すように、車両200の３次元形状情報を中心に投影面400が構成されるものとする。
【０１２８】
この例では、図の左上部に画像データが存在しない画像範囲外部分1510が表れている。
【０１２９】
視線移動制御部130は、このような画像範囲外部分1510が２次元画像データに変換されないように最低仰角を決定し、視線移動ルール記憶部500に記憶された視線補間ルール503で選択される視線情報を補正することにより、画像範囲外部分1510が２次元画像データに反映されることがないように構成することができる。
【０１３０】
図16は、画像範囲外部分1510が含まれないように視線情報を補正した場合の画像データを示す説明図である。
【０１３１】
視線移動制御部130は、視線補間ルール503に従って選択される視線情報が、図15に示すような画像範囲外部分1510が含まれるような視線情報となる場合には、仰角が最低仰角以上になるように視線情報を補正する。このことにより、図16に示すように、仰角が大きい視線情報に変更されて、画像範囲外部分1510が含まれない画像データを得ることが可能となる。
【０１３２】
前述の投影面の範囲外を視界から外すことに加えて、各カメラの性能や取付位置のばらつきによって生じる画像範囲外部分1510を視界から外すように構成することにより、変換された２次元画像データに不自然な画像抜けが発生することを防止できる。
【０１３３】
カメラ101〜104は、車両200への取付位置が固定されており、各カメラの特性についても使用中の大きな変動はないものと推測できる。したがって、カメラ101〜104の画像データを投影面400に投影し、画像データの上端縁の位置を確認するように、視線情報の水平面角度を１周させることで、各水平面角度における最低仰角を決定するように構成することができる。
【０１３４】
図17は、水平面角度における最低仰角を決定する場合の説明図である。
【０１３５】
投影面400に投影されるカメラ101〜104の画像データの上端縁1710は、図17に示すように高さにばらつきがあり、一定の仰角を有する視線情報を用いた場合、画像範囲外部分が２次元画像データに変換されるおそれがある。
【０１３６】
したがって、カメラ101〜104で撮影された画像データを投影面400に投影した状態で、視線情報の水平面角度を１周させて、各水平面角度における最低仰角を求めておく。視線移動制御部130は、視線移動ルール記憶部500の視線補間ルール503に基づいて視線情報を選択する場合に、水平面角度に基づいて最低仰角よりも小さい仰角であると判断した場合には、視線情報を補正して仰角が最低仰角より大きくなるように設定する。このことにより、画像変換部140で変換される２次元画像データに画像範囲外部分が含まれることがなくなり、不自然な画像データの抜けが発生することを防止できる。
【０１３７】
（開始視線情報）
図20及び図21は、開始視線情報の設定を示す説明図である。
【０１３８】
車両200が、駐車スペースに前方から駐車した状態で、前方及び両側面に障害物となる壁面2010が存在するものとする。この時に、車両200は障害物センサを搭載しており、前方及び両側面に障害物となる壁面2010を障害物センサで検出することが可能であるものとする。
【０１３９】
この時、運転者は、駐車スペースの開放側（図20の下方）から駐車スペースを見る状態（図20の上方に向けて視線方向がある）から車両200に近づいて、車両200に搭乗することになる。このようことから、運転者が駐車スペースに近づく場面を再現するように、駐車スペースの開放側に位置する視点位置2020から駐車スペース内部を観察する視線方向となるように、開始視線情報501の視点位置及び視線方向の情報を設定しておくことができる。
【０１４０】
図21に示すように、車両200が駐車スペースの開放側に側面を向けるように駐車している場合も、同様の設定を行うことができる。
【０１４１】
たとえば、車両200に搭載された障害物センサにより車両200の前後及び左側方に障害物となる壁面2110を検出する場合には、駐車スペースの開放側である視点位置2120から車両200の右側面を観察する方向が開始視線情報501となるように設定しておく。
【０１４２】
このような構成とすることによって、運転者が車両200に搭乗して車両200の周囲の状況を確認する際に、車両200の外部から車両200に近づいて搭乗し、その後、車両200の中から周囲を確認するような状況を再現することができる。車両200の周囲の状況を運転者に分かり易く表示することで、車両200を駐車スペースから発進させる際の安全確認を確実に行うことが可能となる。
【０１４３】
（障害物監視）
図22は、車両近傍に障害物を検出した場合の視線情報の遷移の一例を示す説明図である。
【０１４４】
車両200は、たとえば、前部バンパの左右両側及び後部バンパの左右両側に障害物センサを備えており、車両200周辺の前後左右に存在する障害物を検出可能な構成であるとする。
【０１４５】
視線移動制御部130が遷移させる視線情報が、視点位置2200上から車両200の中心点を観察する視線方向であるとする。視線移動制御部130は、現在の視点位置からの視界範囲に障害物が含まれると判断される場合に、視線情報を遷移させる移動量を減少させるように構成できる。
【０１４６】
図21に示すように、車両200の障害物センサが、車両200の右側方に位置する第１障害物2210、車両200の左後方に位置する第２障害物2220、車両200の左前方に位置する第３障害物2230を検出したとする。この時、障害物センサは、車両200の中心点からの相対的な方位及び距離を検出することが可能なものであるとする。
【０１４７】
視線移動制御部130による視線情報による画角中に障害物2210、2220、2230が入ると判断されると、視線移動ルール記憶部500の視線補間ルール503に含まれる補間幅を縮小するように構成する。視線移動制御部130が、画像変換部140からの視線情報取得要求毎に、水平面角度を２度ずつ増加させた視線情報を画像変換部に送信している場合には、障害物2210、2220、2230が視界範囲に含まれる場合に、水平面角度を１度ずつ増加するように構成することができる。
【０１４８】
この場合、視線移動制御部130が、障害物の検出位置においてゆっくりと視線を動かすように視線情報を遷移させることとなり、運転者に障害物を確実に認識させ、また障害物が何であるかの確認をさせることが容易となる。
【０１４９】
図23は、車両近傍に障害物を検出した場合、車両200の透過率を変化させて障害物を見えやすく表示する例の説明図である。
【０１５０】
この場合も、車両200には障害物センサが搭載されており、この障害物センサが車両200の近傍にある障害物の車両200からの方位及び距離を検出することが可能であるものとする。
【０１５１】
視線移動制御部130から得られた視線情報に基づいて、画像変換部140は、障害物と視点位置との間に車両200が位置すると判断した場合には、車両200の３次元形状情報を表示する際に、透過処理部920により透過率を増加して透過処理を実行する。
【０１５２】
たとえば、図23に示すように、視点位置2310と障害物センサにより検出された障害物2301との間に車両200の形状情報が挟まれる場合には、車両200の形状情報を表示する際に透過率を増加して投影画像データと合成する。
【０１５３】
このことにより、投影面400に投影された画像データに含まれる障害物の画像データを、透過処理された車両200の形状情報を通して見やすくし、障害物を容易に認識し、また障害物の大きさや形状、それが何であるのかを容易に確認できるように構成できる。
【０１５４】
（第２実施形態）
図24は、第２実施形態の画像処理装置の機能ブロック図である。
【０１５５】
第１実施形態の画像処理装置100と同様の構成要素については、同一の符号を付して、その詳細な説明はここでは省略する。
【０１５６】
この第２実施形態の画像処理装置100では、車両200に搭載され、車両200の近傍に位置する障害物の車両200からの方位及び距離を検出する障害物センサ2410、視線移動制御部130に設けられた車両透過率調節部2420をさらに備えている。
【０１５７】
障害物センサ2410は、車両200の周辺に存在する複数の障害物を検出可能であり、たとえば、車両200の前部バンパの左右両側、後部バンパの左右両側などに埋め込まれた光学式センサ、超音波センサなどのセンサデバイスで構成される。
【０１５８】
図25は、障害物センサによる取得される障害物情報の説明図である。
【０１５９】
図25に示すように、車両200に搭載された障害物センサが、車両200の右前方に位置する障害物2520を検出した場合について考察する。
【０１６０】
車両200の中心点2510を通過して前方方向に向かう中心線2521を０度として、障害物センサ2410は、障害物2520が存在する位置の水平面角度2521と、車両200の中心点2510から障害物2520までの距離2522を検出する。ここで、障害物センサ2410は、障害物を点として検出するものであって、高さ方向の向き（仰角）については検出できないものとし、水平面角度と水平面内における距離を検出するものとする。
【０１６１】
この障害物センサ2410が検出する障害物情報は、障害物テーブルとして所定の記憶領域に格納される。
【０１６２】
図26は、障害物テーブルの一例を示す説明図である。
【０１６３】
障害物テーブル2600は、障害物の方向（水平面角度）2610及び障害物までの距離2620で構成され、複数の障害物のそれぞれについてレコードとして所定の記憶領域に格納される。
【０１６４】
図27は、車両200を真上から見た平面図を示す説明図である。
【０１６５】
車両200は、中心点2510を原点として左右方向の線分をＸ軸とし、前後方向の線分をＹ軸とする場合、車両200の幅ＷはＸ軸に平行な長さであり、車両200の長さＬはＹ軸に平行な長さであり、この幅Ｗ及び長さＬが車両形状情報の一部として車両形状記憶部910に記憶される。
【０１６６】
視線移動制御部130では、画像変換部140からの視線情報取得要求を受けて、視線移動ルール記憶部500に基づいて視線情報を決定するとともに、この視線情報と車両形状記憶部910に記憶された車両形状情報及び障害物センサ2410が検出する障害物情報に基づいて車両形状情報の透過率を算出し、算出した視線情報及び車両透過率を画像変換部140に送信する。
【０１６７】
画像変換部140では、投影面形状保持部120が記憶する投影面形状、画像記憶部111に記憶された画像データ、車両形状記憶部910に記憶される車両の３次元形状情報、視線移動制御部130から受信した車両透過率に基づいて３次元画像データを合成し、視線移動制御部130から受信した視線情報に基づいて２次元画像データに変換する。
【０１６８】
車両透過率調節部2420は、現在の視線情報と車両形状情報とに基づいて、現在の視点位置から車両200の陰になる遮蔽範囲を算出する。この車両透過率調節部2420における遮蔽範囲の算出過程について図28を用いて説明する。
【０１６９】
図28は、所定の視点位置から車両を観察する際の遮蔽範囲を示す説明図である。
【０１７０】
図28において、現在視線情報による水平面内の視点位置が2810であり、視線到達位置820である車両200の中心点2510をＸ−Ｙ座標の原点として、視点位置2810のX-Y座標を（ex,ey）としている。また、視点位置2810から車両200の中心点2510との距離である視線距離830をELとしている。また、車両200の中心点2510を通過して車両200の前方方向（図の上方向）に延長されたＹ軸を０度とした時の、視点位置2810の水平面角度をθとする。
【０１７１】
このときの視点位置2810の座標（ex,ey）は、ex=EL×cos（90°−θ），ey=EL×sin（90°−θ）で表すことができる。
【０１７２】
車両200の４隅のコーナーを、それぞれ右前方コーナーC1（W/2,L/2）、右後方コーナーC2（W/2,-L/2）、左後方コーナーC3（-W/2,-L/2）、左前方コーナーC4（-W/2,L/2）とし、視点位置2810から各コーナーC1〜C4を結ぶ延長線の間を遮蔽角度範囲2820とする。図28の例では、視点位置2810と右後方コーナーC2を結ぶ直線LN2と、視点位置2810と左前方コーナーC4を結ぶ直線LN4との間が遮蔽角度範囲2820であって、このうち右後方コーナーC2と左前方コーナーC4を結ぶ直線LN24より遠い位置が車両200の車両形状情報により遮蔽される遮蔽範囲となる。
【０１７３】
遮蔽角度範囲2820を規定するための直線LN2、LN4は、以下の式で表すことができる。
【０１７４】
LN2：(ey+L/2)X−(ex-W/2)Y−ex×L/2−ey×W/2＝０
LN4：(ey-L/2)X−(ex+W/2)Y＋ex×L/2＋ey×W/2＝０
車両透過率調節部2420は、視点位置2810を含む座標空間において、障害物センサ2410からの障害物情報が遮蔽範囲に含まれるか否かを判別する。障害物情報が遮蔽範囲に含まれるか否かの判別方法について、図29を用いて説明する。
【０１７５】
図29は、障害物情報と遮蔽範囲との関係の説明図である。
【０１７６】
車両透過率調節部2420は、障害物センサ2410から送信されてくる障害物情報により、X-Y座標上の障害物位置Ｈを特定することができる。
【０１７７】
車両透過率調節部2420は、特定された障害物位置Ｈに基づいて、この障害物位置Ｈが遮蔽範囲に含まれるか否かを判別する。
【０１７８】
視点位置2810と車両200の右後方コーナーC2を結ぶ直線LN2、視点位置2810と車両200の左前方コーナーC4を結ぶ直線LN4、車両200の右後方コーナーC2と左前方コーナーC4を結ぶ直線LN24のそれぞれに沿って所定方向の向きを有するベクトルを考える。
【０１７９】
視点位置2810をＥとして、直線LN2については視点位置2810から右後方コーナーC2に向かう第１ベクトル（E,C2）、直線LN4については左前方コーナーC4から視点位置2810に向かう第２ベクトル（C4,E）、直線LN24については左前方コーナーC4から右後方コーナーC2に向かう第３ベクトル（C4,C2）を考える。
【０１８０】
各ベクトルをその向きが上になるようにした場合に、障害物位置Ｈがベクトルの右側に位置する場合に、障害物位置Ｈが視点位置2810から見て車両200の遮蔽範囲に含まれることとなる。したがって、各ベクトルについて、その向きがＸ軸の正方向を向き、Ｘ軸に重なるように座標変換を行い、同じ座標変換で移動された障害物位置ＨのＹ座標が負の値であれば、障害物位置Ｈがそのベクトルの右側に位置すると判別できる。
【０１８１】
車両透過率調節部2420は、第１〜第３ベクトルの各ベクトルについて、このような処理を行い、障害物位置Ｈが各ベクトルに対して右側に位置すると判断した場合には、障害物位置Ｈが車両200の遮蔽範囲に含まれると判断することができる。
【０１８２】
複数の障害物センサ2410が車両200に搭載されている場合は、車両透過率調節部2420は、各障害物センサ2410に障害物情報の取得要求を送信して、図26に示すような障害物情報に関する障害物テーブル2600を作成する。
【０１８３】
車両透過率調節部2420は、障害物テーブル2600に格納されて各障害物情報について、車両200の遮蔽範囲に含まれるか否かを判別する。車両透過率調節部2420は、車両200の遮蔽範囲に含まれる障害物が１つでもあると判断した場合には、車両透過率を通常よりも大きい値に設定し、車両200の遮蔽範囲に障害物が存在しないと判断した場合には車両透過率を通常の値にして、画像変換部140に車両透過率を送信する。車両透過率は、たとえば、通常の値を0.5に設定しておき、車両200の遮蔽範囲に障害物が存在する場合にその値を0.8に設定するように構成できる。
【０１８４】
図30は、視線移動制御130において車両透過率を算出する過程を含む視線移動処理のフローチャートである。図11に示す視線移動処理のフローチャートと部分的に同様であるが、順にその処理を説明する。
【０１８５】
ステップS3010では、視線移動制御部130は、画像変換部140からの視線情報取得要求が初めてであるか否かを判別する。視線移動制御部130は、画像変換部140からの視線情報取得要求が初めてであると判断した場合にはステップS3020に移行し、そうでない場合にはステップS3060に移行する。
【０１８６】
ステップS3020では、視線移動制御部130は、視線移動ルール記憶部500の開始視線情報501と終端視線情報502とを読み込む。
【０１８７】
ステップS3030では、視線移動制御部130は、開始視線情報501と終端視線情報502との差に基づいて、１回当たりの視線情報の移動量を算出する。この移動量の算出方法は前述した通りであり、ここでは省略する。
【０１８８】
ステップS3040では、視線移動制御部130は開始視線情報501を現在視線情報504に格納する。
【０１８９】
ステップS3050では、視線移動制御部130は、画像変換部140に開始視線情報501を現在の視線情報として送信する。
【０１９０】
ステップS3060では、視線移動制御部130は、現在視線情報504に１回当たりの移動量を加算する。
【０１９１】
ステップS3070では、視線移動制御部130は、１回当たりの移動量を加算した視線情報が、終端視線情報502以上であるか否かを判別する。視線移動制御部130は、１回当たりの移動量を加算した視線情報が、終端視線情報502に満たないと判断した場合には、ステップS3080に移行し、そうでない場合にはステップS3090に移行する。
【０１９２】
ステップS3080では、視線移動制御部130は、１回当たりの移動量を加算した視線情報を現在視線情報504に記憶するとともに、この視線情報を現在の視線情報として画像変換部140に送信する。
【０１９３】
ステップS3090では、視線移動制御部130は、終端視線情報502を現在の視線情報として画像変換部140に送信する。
【０１９４】
ステップS3100では、車両透過率調節部2420が車両200の遮蔽範囲に障害物が含まれるか否かを判別し、車両透過率を決定しこれを画像変換部140に送信する。
【０１９５】
図31は、車両透過率調節部2420による車両透過率決定処理のフローチャートである。
【０１９６】
視線移動制御部130は、画像変換部140から視線情報取得要求があった場合には、視線移動ルール記憶部500に基づいて視線情報を決定する。車両透過率調節部2420は、決定された視線情報に基づいて、車両透過率を決定する処理を実行する。
【０１９７】
ステップS3110では、車両透過率調節部2420は、現在視線情報を受け取ると、車両形状記憶部910に記憶されている車両200の幅Ｗと長さＬの値を読み出す。
【０１９８】
ステップS3120では、車両透過率調節部2420は、車両200により遮蔽される遮蔽範囲を算出する。遮蔽範囲の算出方法は前述したように、視点位置と車両200のコーナーとを結ぶ直線式を求めることによって、遮蔽角度範囲2820を特定することが可能となる。
【０１９９】
ステップS3130では、車両透過率調節部2420は、障害物センサ2410から送信される障害物情報に基づく障害物テーブル2600から、１または複数の障害物について障害物情報を取得する。
【０２００】
ステップS3140では、車両透過率調節部2420は、取得した障害物情報について、その障害物位置が車両200の遮蔽範囲に含まれるか否かを判別する。
【０２０１】
前述したように、視点位置及び車両200の各コーナー位置を結ぶ直線上のベクトルと、障害物位置との関係に基づいて、障害物位置が車両200の遮蔽範囲に含まれるか否かを判別することが可能である。また、障害物位置のX-Y座標から、車両200の遮蔽範囲に含まれるか否かを直接判断することも可能であり、その他、障害物位置が車両200の遮蔽範囲に含まれるか否かの判別方法は限定されるものではない。
【０２０２】
また、障害物が複数存在する場合には、各障害物について障害物位置が車両200の遮蔽範囲に含まれるか否かを判別する。
【０２０３】
ステップS3150では、車両透過率調節部2420は、車両200の遮蔽範囲に含まれる障害物が１つでもあるか否かを判断する。車両透過率調節部2420により、車両200の遮蔽範囲に含まれる障害物が１つでも存在すると判断された場合にはステップS3160に移行し、車両200の遮蔽範囲に含まれる障害物が１つもないと判断された場合にはステップS3170に移行する。
【０２０４】
ステップS3160では、車両透過率調節部2420は、車両透過率の値を通常よりも大きい値に設定する。たとえば、通常の車両透過率が0.5であるような場合に、この値より大きい車両透過率である0.8とすることができる。
【０２０５】
ステップS3170では、車両透過率調節部2420は、車両透過率の値を通常の値に設定する。通常の車両透過率の値が0.5である場合には、この値を選択するように構成できる。
【０２０６】
ステップS3180では、車両透過率調節部2420は、決定した車両透過率を画像変換部140に送信する。
【０２０７】
画像変換部140では、車両形状記憶部910に記憶された車両形状情報を、視線移動制御部130から送信されてくる車両透過率に基づいて透過処理し、投影面形状保持部120に記憶された投影面形状情報と、画像記憶部111に記憶された画像データとに基づいて、合成画像を生成し、さらに、視線移動制御部130から送信されてくる視線情報に基づいて２次元画像データに変換する。
【０２０８】
このように、車両200の遮蔽範囲に含まれる障害物が存在する場合には、画像データに合成する車両形状情報の透過率を高くし、障害物が容易に確認できるようにすることで、運転者による障害物の確認を容易とし、障害物との接触を防止することができる。
【０２０９】
（他の実施形態）
（GPSからの方位情報）
車両に搭載されるGPS（Global Positioning System）により、衛星からの電波を受信して車両の位置情報、車両の向いている方位情報、時刻データなどを取得し、現在の太陽光の方向と車両の進行方向を判断して、開始視線情報を変更するように構成することが可能である。
【０２１０】
たとえば、画像変換部140から視線情報取得要求があった場合に、視線移動制御部130は、GPSからの方位情報、時刻情報などに基づいて太陽光の方向と、車両20の進行方向を特定する。
【０２１１】
視線移動制御部130は、開始視線情報501が太陽光の方向に対して180°近傍の水平面角度であると判断した場合には、開始視線情報501を太陽光の方向と同一かほぼ同一になるように変更する。
【０２１２】
投影面に投影される画像データは、カメラ101〜104からの画像データを合成していることから、投影面に対する視線方向が太陽光に対して180°近傍の水平面角度である場合には、直射光により画像データが確認し難い可能性がある。したがって、GPSにより受信した電波により車両200の方位と太陽光の方向とを判断し、画像データの確認が容易な視点位置からの視線情報の遷移を行うことで、運転者による車両周囲の確認が容易となる。
【０２１３】
（運転席位置の判別）
運転席が車両の右側にあるか左側にあるかの運転席情報を所定の記憶領域に記憶させておき、運転席位置の反対側の画像データから視線情報の遷移を開始するように構成することも可能である。
【０２１４】
運転席の反対側が運転者の死角になり易い。したがって、この運転者の死角となりやすい運転席の反対側を開始視線情報501に設定することで、障害物などの確認を容易にすることができる。
【０２１５】
（視線情報の遷移）
視線情報は、運転席に搭乗した運転者の視点位置から周囲を見渡すような設定とすることも可能である。したがって、開始視線情報501を運転席に搭乗した運転者の視点位置とし、運転席から前方、右側方、後方、左側方、前方の順で、視線情報を遷移させるように構成することも可能である。
【０２１６】
また、終端視線情報を車両の外部とすることも可能である。開始視線情報501を運転席に搭乗した運転者の視点位置であって、車両200の外部に所定位置である終端視線情報502まで、滑らかに連続的に視線情報が遷移するように視線補間ルール503を設定することができる。
【０２１７】
この場合、視線情報を滑らかに連続的に遷移させることで、運転者が違和感なく車両200の周囲を確認することができる。
【０２１８】
また、終端視線情報502は、車両200の真上から車両200を見下ろす視点位置とすることができる。
【０２１９】
この場合、車両の駐車時、駐車スペースからの車両の発進時などにおける運転者の操作が容易になるように支援することが可能となる。
【０２２０】
（画像処理の開始トリガ）
以上のように、視線情報を遷移させながら車両200の周囲の画像データを合成し表示する画像処理は、運転者が装置に設けられたスイッチを操作することにより起動するように構成できる。
【０２２１】
また、車両200にカーナビゲーションが搭載されているような場合には、カーナビゲーションが起動した旨の起動信号を受信する起動受信部を設け、起動受信部がカーナビゲーションの起動信号を受信した場合に、周期描画トリガ発生部160からのトリガ信号の生成を開始するように構成できる。
【０２２２】
さらに、車両200のエンジンが始動した旨の始動信号を受信する始動受信部を設け、始動受信部がエンジンが始動した旨の始動信号を受信した場合に、周期描画トリガ発生部160からのトリガ信号の生成を開始するように構成できる。
【０２２３】
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置であって、
前記複数のカメラが撮影した画像データを記憶可能な画像記憶部と、
前記複数のカメラが撮影した画像データを入力し前記画像記憶部に記憶させるカメラ画像取得部と、
前記車両の周囲に想定される投影面に関する３次元座標の集合である投影面形状情報を保持する投影面形状保持部と、
所定の視線移動ルールに従って前記投影面に対する視点位置及び視線方向が連続的に遷移するように前記視線情報を決定する視線移動制御部と、
前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを前記視線移動制御部により決定された視線情報に基づいて２次元画像データに変換する画像変換部と、
前記画像変換部で変換された２次元画像データを表示する表示部と、
前記画像変換部による画像変換処理を稼働させるためのトリガ信号を発生する周期描画トリガ発生部と、
を含むことを特徴とする画像処理装置。
（付記２）
前記視線移動ルールを記憶する視線移動ルール記憶部をさらに備え、
前記視線移動ルール記憶部に記憶される視線移動ルールは、開始視線情報、終端視線情報及び視線補間ルールを含み、前記視線移動制御部は、前記視線移動ルール記憶部に記憶されている開始視線情報、終端視線情報、視線補間ルールに基づいて、前記視線情報を連続的に変更することを特徴とする付記１に記載の画像処理装置。
（付記３）
前記車両の３次元形状情報を記憶する車両形状記憶部をさらに備え、
前記画像変換部は、前記車両形状記憶部から車両の３次元形状情報を読み出し、前記投影面に投影された画像データに前記車両の３次元形状情報を合成した後、２次元画像データに変換することを特徴とする付記１または２に記載の画像処理装置。
（付記４）
前記車両の３次元形状情報を透過的表示またはワイヤフレーム表示に変換する透過処理部をさらに備え、
前記画像変換部は、前記前記透過処理部で透過的表示またはワイヤフレーム表示に変換された車両の３次元形状情報を前記投影面に投影された画像データに合成することを特徴とする付記３に記載の画像処理装置。
（付記５）
前記車両の３次元形状情報を前記投影面に投影された画像データに合成する際に、前記車両の３次元形状情報によって前記画像データが隠れる遮蔽範囲が所定距離以下となるような視線最低仰角を決定しこれを記憶する視線最低仰角記憶部をさらに備え、
前記視線移動制御部は、前記視線最低仰角記憶部に記憶された視線最低仰角に基づいて前記視線情報を補正することを特徴とする、付記３または付記４に記載の画像処理装置。
（付記６）
前記画像変換部は、前記投影面に投影された画像データを２次元画像データに変換する際に、前記投影面のうち画像データが存在しない範囲が２次元画像データに変換されないように、前記視線移動制御部が決定する視線情報を補正するカメラ画像範囲補正部をさらに備えることを特徴とする、付記１乃至付記５のいずれかに記載の画像処置装置。
（付記７）
前記車両は、さらに、前記画像処理装置と連携可能で、少なくとも障害物が存在する方向情報を含む障害物情報を検知する障害物センサを搭載しており、
前記視線移動制御部は、前記障害物情報の入力を受け付け、前記障害物情報に基づいて前記視線移動ルール記憶部に記憶されている開始視線情報を変更する開始視線情報変更部をさらに含むことを特徴とする付記２に記載の画像処理装置。
（付記８）
前記車両は、さらに、前記画像処理装置と連携可能で、障害物が存在する位置に関する障害物情報を検知する障害物センサを搭載しており、
前記視線移動制御部は、前記障害物の入力を受け付け、変換される２次元画像データ上に障害物が含まれるか否かを判別し、前記２次元画像データに障害物が含まれると判断した場合には前記視線補間ルールの補間幅を減少して視線情報の遷移速度を遅くすることを特徴とする付記２に記載の画像処理装置。
（付記９）
車両に取り付けられた障害物センサから障害物が存在する位置に関する障害物情報の入力を受け付け、前記視線移動制御部は、視線方向上にある障害物と視点位置との間に車両が存在するか否かを判別し、前記視線方向上にある障害物と視点位置との間に車両が存在すると判断した場合には、前記透過処理部に対して透過率を上げる旨の指示信号を送信することを特徴とする付記４に記載の画像処理装置。
（付記１０）
前記視線移動ルール記憶部に記憶される開始視線情報及び終端視線情報は、車両の運転席に搭乗した運転者の視点を視点位置として運転席前方を視線方向とする視線情報であり、前記視線補間ルールは、車両の運転席に搭乗した運転者の視点位置を中心に360度回転させるように視線方向を遷移させるものであることを特徴とする付記２に記載の画像処理装置。
（付記１１）
車両の移動経路及び／又は運転者による操作履歴を記憶する履歴記憶部をさらに備え、前記視線移動制御部は、前記履歴記憶部に記憶された移動経路または操作履歴に基づいて、前記視線移動ルール記憶部に記憶された開始視線情報を変更することを特徴とする付記２に記載の画像処理装置。
（付記１２）
前記視線移動制御部は、現在の車両が位置する緯度及び経度、車両が向いている方角、現在の時刻情報などに基づいて、車両に対する太陽光線の相対的方向を特定し、前記視線移動ルール記憶部に記憶された開始視線情報を変更することを特徴とする付記２に記載の画像処理装置。
（付記１３）
前記視線移動ルール記憶部に記憶された終端視線情報は、前記車両の真上を視点位置として車両を見下ろす視線方向であることを特徴とする付記２に記載の画像処理装置。
（付記１４）
前記視線移動ルール記憶部に記憶された視線補間ルールは、前記開始視線情報から終端視線情報までの１または複数の視点位置から、視点位置及び／又は視線方向を変更する中途視線情報を備えることを特徴とする付記２に記載の画像処置装置。
（付記１５）
前記視線移動ルール記憶部に記憶された視線補間ルールは、前記開始視線情報から視線情報の遷移を開始してから所定時間の間、遷移速度を連続的に加速し、前記終端視線情報で視線情報の遷移を終了する前の所定時間の間、遷移速度を連続的に減速することを特徴とする付記２に記載の画像処理装置。
（付記１６）
車両に搭載されたエンジンが始動したことを示す始動信号を受信し、前記始動信号に基づいて前記周期トリガ発生部にトリガ信号を発生させるための指示信号を送信する始動受信部をさらに備えることを特徴とする、付記１に記載の画像処理装置。
（付記１７）
前記画像変換部により変換された２次元画像データが前記投影面に含まれる範囲を検出する視界範囲検出部をさらに備え、前記視界範囲検出部は、前記視線移動制御部により遷移される視線情報が終端視線情報に到達した時に、前記画像変換部により変換された２次元画像データが全方位を網羅しているか否かを判別し、全方位を網羅していないと判断した場合には前記終端視線情報を変更することを特徴とする付記２に記載の画像処理装置。
（付記１８）
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法であって、
前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、
前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、
前記変換された２次元画像データを表示するステップと、
を含む画像処理方法。
（付記１９）
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法のプログラムであって、
前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、
前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、
前記変換された２次元画像データを表示するステップと、
を含む画像処理方法をコンピュータに実行させるためのプログラム。
【産業上の利用可能性】
【０２２４】
運転席から確認可能なモニタ画面を車両内部に設け、車両の周囲の監視を行うための車両周囲監視システムとして用いることができ、車両の内部から周囲を観察する視点位置や車両外部から車両を含む周囲の状況を把握することを容易にする車両用の画像処理装置として適用できる。
【符号の説明】
【０２２５】
100 画像処理装置
101〜104 カメラ
110 カメラ画像取得部
111 画像記憶部
120 投影面形状記憶部
130 視線移動制御部
140 画像変換部
150 表示部
160 周期描画トリガ発生部
【先行技術文献】
【特許文献】
【０２２６】
【特許文献１】特開２００７−１８３８７７号公報
【特許請求の範囲】
【請求項１】
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置であって、
前記複数のカメラが撮影した画像データを記憶可能な画像記憶部と、
前記複数のカメラが撮影した画像データを入力し前記画像記憶部に記憶させるカメラ画像取得部と、
前記車両の周囲に想定される投影面に関する３次元座標の集合である投影面形状情報を保持する投影面形状保持部と、
所定の視線移動ルールに従って前記投影面に対する視点位置及び視線方向が連続的に遷移するように前記視線情報を決定する視線移動制御部と、
前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを前記視線移動制御部により決定された視線情報に基づいて２次元画像データに変換する画像変換部と、
前記画像変換部で変換された２次元画像データを表示する表示部と、
前記画像変換部による画像変換処理を稼働させるためのトリガ信号を発生する周期描画トリガ発生部と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記視線移動ルールを記憶する視線移動ルール記憶部をさらに備え、
前記視線移動ルール記憶部に記憶される視線移動ルールは、開始視線情報、終端視線情報及び視線補間ルールを含み、前記視線移動制御部は、前記視線移動ルール記憶部に記憶されている開始視線情報、終端視線情報、視線補間ルールに基づいて、前記視線情報を連続的に変更することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記車両の３次元形状情報を記憶する車両形状記憶部をさらに備え、
前記画像変換部は、前記車両形状記憶部から車両の３次元形状情報を読み出し、前記投影面に投影された画像データに前記車両の３次元形状情報を合成した後、２次元画像データに変換することを特徴とする、請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記車両の３次元形状情報を透過的表示またはワイヤフレーム表示に変換する透過処理部をさらに備え、
前記画像変換部は、前記前記透過処理部で透過的表示またはワイヤフレーム表示に変換された車両の３次元形状情報を前記投影面に投影された画像データに合成する、請求項３に記載の画像処理装置。
【請求項５】
前記車両の３次元形状情報を前記投影面に投影された画像データに合成する際に、前記車両の３次元形状情報によって前記画像データが隠れる遮蔽範囲が所定距離以下となるような視線最低仰角を決定しこれを記憶する視線最低仰角記憶部をさらに備え、
前記視線移動制御部は、前記視線最低仰角記憶部に記憶された視線最低仰角に基づいて前記視線情報を補正することを特徴とする、請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記画像変換部は、前記投影面に投影された画像データを２次元画像データに変換する際に、前記投影面のうち画像データが存在しない範囲が２次元画像データに変換されないように、前記視線移動制御部が決定する視線情報を補正するカメラ画像範囲補正部をさらに備えることを特徴とする、請求項１乃至請求項５のいずれかに記載の画像処置装置。
【請求項７】
前記車両は、さらに、前記画像処理装置と連携可能で、少なくとも障害物が存在する方向情報を含む障害物情報を検知する障害物センサを搭載しており、
前記視線移動制御部は、前記障害物情報の入力を受け付け、前記障害物情報に基づいて前記視線移動ルール記憶部に記憶されている開始視線情報を変更する開始視線情報変更部をさらに含むことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法であって、
前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、
前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、
前記変換された２次元画像データを表示するステップと、
を含む画像処理方法。
【請求項９】
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法のプログラムであって、
前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、
前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、
前記変換された２次元画像データを表示するステップと、
を含む画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１】
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置であって、
前記複数のカメラが撮影した画像データを記憶可能な画像記憶部と、
前記複数のカメラが撮影した画像データを入力し前記画像記憶部に記憶させるカメラ画像取得部と、
前記車両の周囲に想定される投影面に関する３次元座標の集合である投影面形状情報を保持する投影面形状保持部と、
所定の視線移動ルールに従って前記投影面に対する視点位置及び視線方向が連続的に遷移するように前記視線情報を決定する視線移動制御部と、
前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを前記視線移動制御部により決定された視線情報に基づいて２次元画像データに変換する画像変換部と、
前記画像変換部で変換された２次元画像データを表示する表示部と、
前記画像変換部による画像変換処理を稼働させるためのトリガ信号を発生する周期描画トリガ発生部と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記視線移動ルールを記憶する視線移動ルール記憶部をさらに備え、
前記視線移動ルール記憶部に記憶される視線移動ルールは、開始視線情報、終端視線情報及び視線補間ルールを含み、前記視線移動制御部は、前記視線移動ルール記憶部に記憶されている開始視線情報、終端視線情報、視線補間ルールに基づいて、前記視線情報を連続的に変更することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記車両の３次元形状情報を記憶する車両形状記憶部をさらに備え、
前記画像変換部は、前記車両形状記憶部から車両の３次元形状情報を読み出し、前記投影面に投影された画像データに前記車両の３次元形状情報を合成した後、２次元画像データに変換することを特徴とする、請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記車両の３次元形状情報を透過的表示またはワイヤフレーム表示に変換する透過処理部をさらに備え、
前記画像変換部は、前記前記透過処理部で透過的表示またはワイヤフレーム表示に変換された車両の３次元形状情報を前記投影面に投影された画像データに合成する、請求項３に記載の画像処理装置。
【請求項５】
前記車両の３次元形状情報を前記投影面に投影された画像データに合成する際に、前記車両の３次元形状情報によって前記画像データが隠れる遮蔽範囲が所定距離以下となるような視線最低仰角を決定しこれを記憶する視線最低仰角記憶部をさらに備え、
前記視線移動制御部は、前記視線最低仰角記憶部に記憶された視線最低仰角に基づいて前記視線情報を補正することを特徴とする、請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記画像変換部は、前記投影面に投影された画像データを２次元画像データに変換する際に、前記投影面のうち画像データが存在しない範囲が２次元画像データに変換されないように、前記視線移動制御部が決定する視線情報を補正するカメラ画像範囲補正部をさらに備えることを特徴とする、請求項１乃至請求項５のいずれかに記載の画像処置装置。
【請求項７】
前記車両は、さらに、前記画像処理装置と連携可能で、少なくとも障害物が存在する方向情報を含む障害物情報を検知する障害物センサを搭載しており、
前記視線移動制御部は、前記障害物情報の入力を受け付け、前記障害物情報に基づいて前記視線移動ルール記憶部に記憶されている開始視線情報を変更する開始視線情報変更部をさらに含むことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法であって、
前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、
前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、
前記変換された２次元画像データを表示するステップと、
を含む画像処理方法。
【請求項９】
車両に搭載された複数のカメラと連携可能で、車載可能な画像処理装置が実行する画像処理方法のプログラムであって、
前記複数のカメラが撮影した画像データを入力し画像記憶部に記憶させるステップと、
前記車両の周囲に想定される３次元の投影面形状情報を用いて、前記画像記憶部に記憶された画像データを前記投影面に投影して合成し、合成された画像データを所定の視線移動ルールに従って決定された視線情報に基づいて２次元画像データに変換するステップと、
前記変換された２次元画像データを表示するステップと、
を含む画像処理方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１０−２３１２７６（Ｐ２０１０−２３１２７６Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７５１６６（Ｐ２００９−７５１６６）
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]