画像情報提供装置および画像情報提供方法
【課題】提供される画像情報から、ユーザが車両に生じている異常を容易に認識するができるように画像情報を作成する。
【解決手段】カメラ１１ａ〜１１ｄから出力される画像がマッピングされた三次元空間のモデルＳＭを視点変換することにより、車両周囲画像を作成する。視点変換を行う際には、車両Ｃａに生じている異常の検出結果に基づいて、車両周囲画像に車両Ｃａに生じている異常が含まれるように仮想視点の計算を行う。
【解決手段】カメラ１１ａ〜１１ｄから出力される画像がマッピングされた三次元空間のモデルＳＭを視点変換することにより、車両周囲画像を作成する。視点変換を行う際には、車両Ｃａに生じている異常の検出結果に基づいて、車両周囲画像に車両Ｃａに生じている異常が含まれるように仮想視点の計算を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報提供装置およびその方法に関する。
【背景技術】
【０００２】
たとえば、駐車中といったように、車両のユーザが車両から離れているような場合には、車両や車内の物品が盗まれたり、誤って車両を傷つけられまたは衝突されたりといったように、ユーザが認識し得ない種々の異常が車両に生じることがある。
【０００３】
たとえば、特許文献１には、車両から離れているユーザに対して、車両の現況や異常発生状況の確認を行えるようにした車両監視装置が開示されている。この車両監視装置は、一定時間ごとに、車両において衝突や盗難等といった異常が生じているか否かを検出する。車両監視装置は、異常を検出した場合、車両の屋根に取り付けられた複数のカメラによって車両の外観を撮影することにより、複数の画像からなる画像データを取得し、この画像データをユーザの保有する携帯電話機に転送する。これにより、ユーザは携帯電話機の表示画面上で画像データを確認することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３１７１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された手法によれば、複数のカメラから得られた画像のそれぞれがユーザに表示されるため、車両のどこに異常が生じているのかをユーザが素早く認識することが難しいといった不都合がある。
【０００６】
本発明はかかる事情に鑑みてなされたものであり、その目的は、提供される画像情報から、ユーザが車両に生じている異常を容易に認識するができるように画像情報を作成することである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するために、本発明は、画像情報としての車両周囲画像をユーザに提供する手法を提供する。かかる手法は、車両周囲の画像がマッピングされる三次元空間のモデルを視点変換することにより車両周囲画像を作成するものであり、視点変換を行う際には、車両に生じている異常の検出結果に基づいて、車両に生じている異常が車両周囲画像に含まれるように仮想視点の計算を行う。
【発明の効果】
【０００８】
本発明によれば、車両に生じている異常という、ユーザの欲している視点から車両周囲画像が作成されるので、当該車両周囲画像から、車両に生じている異常をユーザが容易に認識することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態にかかる画像情報提供装置の構成を模式的に示す説明図
【図２】本体装置１の構成を模式的に示すブロック図
【図３】カメラ１１ａ〜１１ｄの取り付け位置を示す説明図
【図４】第１の実施形態にかかる外部装置２の構成を模式的に示すブロック図
【図５】車両周囲画像Ｐacの作成概念を説明する説明図
【図６】仮想視点データの計算概念を説明する説明図
【図７】第１の実施形態にかかる車両周囲画像Ｐacの提示方法を示すフローチャート
【図８】第２の実施形態にかかる外部装置２の構成を模式的に示すブロック図
【発明を実施するための形態】
【００１０】
（第１の実施形態）
図１は、本実施形態にかかる画像情報提供装置の構成を模式的に示す説明図である。この画像情報提供システムは、ユーザが車両Ｃａから離れているような場合（例えば、駐車場への駐車中）において、車両Ｃａに異常が生じた際に、ユーザに画像情報としての車両周囲画像Ｐacを提供するシステムである。ここで、車両周囲画像Ｐacは、仮想視点を適切に設定することにより、車両Ｃａに生じている異常を含んた状態で車両Ｃａを眺めたように作成される画像であり、その詳細については後述する。車両Ｃａに生じる異常としては、不審者もしくは不審物が近づいたこと、ドアが無断で開けられたこと、窓ガラスが割られたこと、車内へ侵入されること、車両を傷つけられたこと、衝突されたことといったように、ユーザの了知し得ない車両に対する異常および異常が生じ得る可能性をいう。
【００１１】
画像情報提供装置は、車両Ｃａに搭載される本体装置１を主体に構成されている。本体装置１は、異常を検出する機能、車両周囲画像を作成する機能および車両周囲画像を送信する機能を有している。
【００１２】
本体装置１は、ユーザが保有する外部装置２と通信可能に構成されている。外部装置２は、画像情報を受信する機能およびその画像情報を提示する機能を有しており、例えば、携帯電話や、通信機能付きの携帯情報端末（ＰＡＤ：Personal Digital Assistant）などを用いることができる。本体装置１は、外部装置２との間で情報を直接的に送受信してもよいし、本体装置１と外部装置２との間に通信サーバ３を設けてこの通信サーバ３を介して外部装置２との間で情報を送受信してもよい。
【００１３】
図２は、本体装置１の構成を模式的に示すブロック図である。本体装置１は、車両周囲画像Ｐacを作成し、作成した車両周囲画像Ｐacを外部装置２に送信する。本体装置１は、制御ユニット１０、撮影部１１、異常検出部１２、通信部１３および記憶部１４を主体に構成されている。
【００１４】
制御ユニット１０は、装置全体を統合的に制御する機能を担っており、制御プログラムに従って動作することにより、車両周囲画像Ｐacの作成および送信を行う。制御ユニット１０としては、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。制御ユニット１０には、撮影部１１、異常検出部１２、通信部１３および記憶部１４がそれぞれ接続されている。
【００１５】
撮影部１１は、車両Ｃａからその周囲を撮影することにより画像を出力する撮影手段であり、それぞれが車体の周囲に配置された複数のカメラ１１ａ〜１１ｄによって構成されている。複数のカメラ１１ａ〜１１ｄは、それぞれが１８０°程度の画角を持つ広角カメラであり、それぞれの撮影方向がオフセットするように設定されている。撮影部１１は、これらのカメラ１１ａ〜１１ｄにより得られる画像により、車両周囲の全範囲をカバーする画像を得ることができる。
【００１６】
図３に示すように、個々のカメラ１１ａ〜１１ｄは、例えば、車両Ｃａのリア、左ドアミラー、車両Ｃａのフロント、右ドアミラーの合計４箇所にそれぞれ取り付けられている。車両Ｃａのリアに取り付けられたカメラ１１ａは、車両後方を撮影し、左ドアミラーに取り付けられたカメラ１１ｂは、車両左側方を撮影する。また、車両Ｃａのフロントに取
り付けられたカメラ１１ｃは、車両前方を撮影し、車両Ｃａの右ドアミラーに取り付けられたカメラ１１ｄは、車両右側方を撮影する。
【００１７】
個々のカメラ１１ａ〜１１ｄは、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）やＡ／Ｄ変換器を内蔵している。各カメラ１１ａ〜１１ｄは、制御ユニット２０からの画像の読み込み動作に対応して撮影を行い、撮影された画像に相当する画像データを制御ユニット１０に出力する。
【００１８】
異常検出部１２は、ユーザ不在の状態の車両に生じる異常と、その異常が生じている位置とを検出する（異常検出手段）。この異常検出部１２としては、物体検出センサまたは衝撃検出センサ、あるいは、これらの両方を用いることができる（本実施形態において、異常検出部１２は、物体検出センサおよび衝撃検出センサの双方から構成される）。異常検出部１２による検出結果は、制御ユニット１０に入力される。
【００１９】
物体検出センサは、撮影部１１と同様に、センサ検知範囲が車両周囲の全範囲をカバーするように、車室内または車室外に一つ以上配置されている。物体検出センサは、例えば、車両周囲に不審物（人間や動物など）が所定時間存在することを条件に、車両に異常が生じていること、および、車両に対する異常の位置および方向を検出する。物体検出センサとしては、音波（例えば、超音波）、電波（例えば、ミリ波）、レーザ（例えば、赤外線）を利用する周知のセンサを用いることができる。
【００２０】
衝撃検出センサは、センサ検知範囲が車両周囲の全範囲をカバーするように、車両の側面部、前面部や後面部といった任意の位置に複数取り付けられている。衝撃検出センサは、車両に対する衝撃、具体的には、車両Ｃａへの衝突や、車両Ｃａに傷がつけられたりしたことを条件に、車両に異常が生じていること、および、車両に対する異常の位置を検出する。衝撃検出センサとしては、センサ内部にある接点が衝撃によってスイッチオンとされるタイプ（振り子タイプ）や、一対の極板間に存在する誘電体が衝撃で移動することにより、その静電容量の変化を読み取るタイプ（静電容量タイプ）を用いることができる。
【００２１】
通信部１３は、本体装置１が外部装置２または通信サーバ３と通信する機能を担っている（通信手段）。通信部１３による装置間の通信としては、移動通信機、携帯電話または自動車電話といった公衆通信網を用いる手法を挙げることができる。ただし、これ以外にも、無線ＬＡＮ（Local Area Network）や、狭域通信を利用して手法を単独で、あるいは、組み合わせて利用することができる。
【００２２】
記憶部１４は、制御ユニット１０からの格納指示にともない、車両周囲画像Ｐacを格納する機能を担っている（記憶手段）。格納されている車両周囲画像Ｐacは、制御ユニット１０により読み出されることができる。記憶部１４としては、例えば、装置に対して固定的に設置されるハードディスク（ＨＤ：Hard Disk）装置などを用いることができる。な
お、記憶部１４として、フラッシュメモリといった半導体メモリを搭載した各種リムーバブルメディアなどを用いてもよい。
【００２３】
再び図２を参照するに、制御ユニット１０は、これを機能的に捉えた場合、画像データ処理部１０ａと、異常判断部１０ｂと、マッピング部１０ｃと、仮想視点計算部１０ｄと、視点変換部１０ｅと、合成部１０ｆとを有している。
【００２４】
画像データ処理部１０ａは、撮影部１１を構成する４つのカメラ１１ａ〜１１ｄから画像データをそれぞれ読み込む。画像データ処理部１０ａは、読み込んだ画像データのそれぞれをマッピング部１０ｃに対して出力する。なお、画像データ処理部１０ａは、必要に応じて、読み込んだ画像データのそれぞれに種々の画像処理を施した上で、マッピング部
１０ｃに出力することができる（処理手段）。
【００２５】
異常判断部１０ｂは、異常検出部１２を構成する物体検出センサおよび衝撃検出センサからセンサ信号をそれぞれ読み込む。異常判断部１０ｂは、読み込んだセンサ信号に基づいて、車両Ｃａに異常が発生しているか否かを判断する。車両Ｃａに異常が発生している場合、異常判断部１０ｂは、異常検出部１２による検出結果を仮想視点計算部１０ｄに出力する。
【００２６】
マッピング部１０ｃは、４つのカメラ１１ａ〜１１ｄから得られる画像データのそれぞれを処理対象として、各カメラ１１ａ〜１１ｄの性能（諸元）や取り付けパラメータに基づいて、画像データを構成する画素毎に投影マッピングを行う（マッピング手段）。マッピングされる対象は、車両位置を座標系の基準とする三次元空間のモデル（以下「三次元空間モデルＳＭ」という）である。投影マッピングにより作成された空間データは、視点変換部１０ｅに出力される。
【００２７】
仮想視点計算部１０ｄは、三次元空間における仮想視点の位置および方向を計算する（仮想視点計算手段）。本実施形態における仮想視点の位置および方向は、車両Ｃａに生じている異常（あるいはその一部）が車両周囲画像Ｐacに含まれるように計算される。すなわち、仮想視点計算部１０ｄは、異常検出部１２が検出した異常の位置と、各カメラ１１ａ〜１１ｄの取り付け位置との関係に基づいて上記の計算を行う。計算された仮想視点の位置および方向に相当する仮想視点データは、視点変換部１０ｅに出力される。
【００２８】
視点変換部１０ｅは、仮想視点データに基づいて、空間データを視点変換することにより、車両周囲画像Ｐacを作成する（視点変換手段）。作成された車両周囲画像Ｐacは、仮想視点データによって規定される仮想視点の位置および方向から車両Ｃａおよびその周囲を撮影したような画像となっており、この画像には、車両Ｃａに生じている異常が含まれるようになっている。作成された車両周囲画像Ｐacは、合成部１０ｆに出力される。
【００２９】
合成部１０ｆは、仮想視点データによって規定される仮想視点の位置および方向から車両Ｃａを撮影したような車両の形状モデルＰcaを作成する。車両の形状モデルＰcaは例えばＣＧ（Computer Graphics）であり、その基本となるデータは、例えば、ＲＯＭなどに
予め格納されている。合成部１０ｆは、車両周囲画像Ｐacに、作成された車両の形状モデルＰcaを重畳することにより、最終的な車両周囲画像Ｐacを作成する（合成手段）。作成された車両周囲画像Ｐacは、通信部１３により、外部装置２へと送信される。
【００３０】
図４は、外部装置２の構成を模式的に示すブロック図である。外部装置２は、本体装置１から送信される車両周囲画像Ｐacを受信し、この受信した車両周囲画像Ｐacをユーザに提示（表示）する。外部装置２は、制御ユニット２０と、入力部２１と、表示部２２と、通信部２３と、記憶部２４とを有している。
【００３１】
制御ユニット２０は、装置全体を統合的に制御する機能を担っており、制御プログラムに従って動作することにより、車両周囲画像Ｐacの受信および表示を行う。制御ユニット２０としては、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。制御ユニット２０には、入力部２１、表示部２２、通信部２３および記憶部２４がそれぞれ接続されている。
【００３２】
入力部２１は、例えば、キーボード、表示部２２上に付設されたタッチパネル、スイッチ等、あるいはこれらの組み合わせで構成されている。ユーザは、キーボード、タッチパネル、スイッチの操作を通じて、各種の入力操作や選択操作を行うことができる。例えば、ユーザは、入力部２１を操作することにより、車両周囲画像Ｐacの作成を要求するリク
エスト信号を本体装置１に送信することで、車両周囲画像Ｐacの作成を本体装置１に依頼することができる。この場合、本体装置１により作成された車両周囲画像Ｐacは、外部装置２が受信することでこれを表示部２２に表示してもよいし、必要な場所に格納しておいてもよい。車両周囲画像Ｐacの格納場所としては、本体装置１の記憶部１４であってもよいし、外部装置２の記憶部２４としてもよいし、通信サーバ３であってもよい。これにより、ユーザが自分の希望するタイミングで車両周囲画像Ｐacを取得できたり、事後的に車両周囲画像Ｐacを取得することができる。
【００３３】
表示部２２は、例えば、液晶ディスプレイ等の表示装置であり、制御ユニット２０によって制御され、受信した車両周囲画像Ｐacをユーザに表示する。
【００３４】
通信部２３は、外部装置２が本体装置１または通信サーバ３と通信するため機能を担っている。通信部２３による装置間の通信としては、移動通信機、携帯電話または自動車電話といった公衆通信網を用いた手法を挙げることができる。ただし、これ以外にも、無線ＬＡＮ（Local Area Network）や、狭域通信を利用してもよい。
【００３５】
記憶部２４は、制御ユニット２０からの格納指示にともない、車両周囲画像Ｐacを格納する機能を担っている（記憶手段）。格納されている車両周囲画像Ｐacは、制御ユニット２０により読み出されることができる。記憶部２４としては、例えば、ハードディスク（ＨＤ：Hard Disk）装置などを用いることができる。なお、記憶部２４として、フラッシ
ュメモリといった半導体メモリを搭載した各種リムーバブルメディアなどを用いるようにしてもよい。
【００３６】
図５は、車両周囲画像Ｐacの作成概念を説明する説明図である。同図において、（ａ）は、三次元空間モデルＳＭを、仮想的に示す車両Ｂcaの斜め前方から眺めた図であり、（ｂ）は、三次元空間モデルＳＭを、仮想的に示す車両Ｂcaの前方から眺めた図である。三次元空間モデルＳＭは、お椀のような半球形状の曲面で構成されており、凹面形状にラウンドする底面領域と、概ね垂直面からなる円筒形状の側面領域とで構成されている。三次元空間モデルＳＭの座標系の基準は、仮想的な車両Ｂcaを重畳的に示すように、車両Ｃａの位置と対応する、底面領域の中央部（底部）に設定されている。
【００３７】
三次元空間モデルＳＭは、車両Ｂcaの後方に対応する領域ＳＭａと、車両Ｂcaの左側方に対応する領域ＳＭｂと、車両Ｂcaの前方に対応する領域ＳＭｃと、車両Ｂcaの右側方に対応する領域ＳＭｄとで構成されている。マッピング部１０ｃは、車両Ｃａのリアに取り付けられたカメラ１１ａからの画像データを領域ＳＭａにマッピングし、車両Ｃａの左ドアミラーに取り付けられたカメラ１１ｂからの画像データを領域ＳＭｂにマッピングする。また、マッピング部１０ｃは、車両Ｃａのフロントに取り付けられたカメラ１１ｃからの画像データを領域ＳＭｃにマッピングし、車両Ｃａの右ドアミラーに取り付けられたカメラ１１ｄからの画像データを領域ＳＭｄにマッピングする。
【００３８】
なお、三次元空間モデルＳＭの形状は、曲面形状であることに限らない。三次元空間モデルＳＭは、複数の平面によって構成してもよい、平面と曲面との組み合わせによって構成してもよい。
【００３９】
図５（ｃ）は、車両周囲画像Ｐacの説明図である。同図に示す車両周囲画像Ｐacは、同図（ａ）、（ｂ）の矢印Ａに示すように、車両Ｂcaの右側上方位置から車両Ｂcaを見下ろすように設定された仮想視点と、空間データとに基づいて視点変換部１０ｅが車両周囲画像Ｐacを作成し、この車両周囲画像Ｐacに合成部１０ｆが車両の形状モデルＰcaを合成することにより作成される。矢印Ａのように仮想視点を設定した場合、車両周囲画像Ｐacは、車両Ｃａの左側に対応する画像データを含んで作成される。一方で、矢印Ａのように仮
想視点を設定した場合、車両周囲画像Ｐacには、車両Ｃａの右側に対応する画像データは含まれない。
【００４０】
たとえば、図３に示すように、車両Ｃａの左前方に高さ成分を持つ立体物Ｏｂが存在するとする。この立体物Ｏｂは、図５（ａ），（ｂ）に示すように、三次元空間モデルＳＭにおいて立体物Ｐobで示す位置にマッピングされる。この場合、矢印Ａに示すように仮想視点を設定することにより、立体物Ｐobは、車両周囲画像Ｐacに含まれることとなる。
【００４１】
一方、図５（ｂ）の矢印Ｂに示すように、立体物Ｏｂの存在する位置、すなわち、車両Ｂcaの左側位置から車両Ｂcaを見下ろすように仮想視点を設定した場合には、車両周囲画像Ｐacには立体物Ｐobが含まれない、すなわち、表示されない場合がある。車両Ｃａに異常が生じている場合、作成する車両周囲画像Ｐacには、少なくとも異常の一部が含まれるように仮想視点を設定する必要がある。
【００４２】
図６は、仮想視点の計算概念を説明する説明図である。以下、仮想視点計算部１０ｄによる仮想視点の計算、すなわち、三次元空間における仮想視点の位置および方向の計算方法について説明する。この計算方法には、４つのカメラ１１ａ〜１１ｄのうち一つのカメラ１１ａ〜１１ｄから得られる画像データのみに異常が写り込んでいる場合に適用される第１の手法と、複数のカメラ１１ａ〜１１ｄから得られる画像データに異常が写り込んでいる場合に適用される第２の手法とがある。以下の説明では、車両Ｃａに生じている異常を車両Ｃａの近傍に存在する立体物（例えば、不審者）Ｏｂと想定する。
【００４３】
まず、第１の手法について説明する。仮想視点計算部１０ｄは、異常検出部１２の検出結果に基づいて、車両Ｃａに対する立体物Ｏｂの位置を認識する。例えば、図６（ａ）に示す位置に立体物Ｏｂが存在する場合、この立体物Ｏｂは、車両Ｃａの左ドアミラーに取り付けられたカメラ１１ｂから得られる画像データにしか写り込まない。
【００４４】
立体物Ｏｂの地面座標をＡ、立体物Ｏｂを写すカメラ１１ｂの地面座標をＢとし、地面座標Ａを通過しかつ線分ＡＢと交差する垂線をＣＤとする。演算の前提となる座標は、車両Ｃａを中心に考えている。この場合、仮想視点の方向（ベクトル）は、座標Ｃからほぼ座標Ａに向かうベクトル３０ａから、座標Ｂからほぼ座標Ａに向かうベクトル３０ｃを経由して、座標Ｄからほぼ座標Ａに向かうベクトル３０ｅの範囲で、任意のベクトルを一つ選択することができる。当然、仮想視点のベクトルは、ベクトル３０ａからベクトル３０ｃまでの間に存在し、ほぼ座標Ａに向かうベクトル３０ｂであっもよいし、ベクトル３０ｃからベクトル３０ｅまでの間に存在し、ほぼ座標Ａに向かうベクトル３０ｄであっもよい。換言すれば、仮想視点のベクトルは、垂線ＣＤによって確定される領域のうち座標Ｂを含む領域内のいずれかの地点を始点として座標Ａへと向かう任意のベクトルを選択することができる。
【００４５】
三次元空間モデルＳＭにおいて、立体物Ｏｂは、カメラ１１ａ〜１１ｄの位置から車両外側に向かって放射状にマッピングされる。そのため、前述のような手法で仮想視点のベクトルを設定することにより、車両周囲画像Ｐacを通じて車両Ｃａに生じている異常を把握する上でユーザの理解を容易とする効果がある。
【００４６】
つぎに、第２の手法について説明する。仮想視点計算部１０ｄは、異常検出部１２の検出結果に基づいて、車両Ｃａに対する立体物Ｏｂの位置を認識する。例えば、図６（ｂ）に示す位置に立体物Ｏｂが存在する場合、この立体物Ｏｂは、車両Ｃａの左ドアミラーに取り付けられたカメラ１１ｂおよび車両Ｃａのリアに取り付けられたカメラ１１ａから得られる画像データにそれぞれ写り込む。
【００４７】
まず、立体物Ｏｂの地面座標をＥとし、一方のカメラである左ドアミラーのカメラ１１ｂの地面座標をＦとするとともに、他方のカメラであるリアのカメラ１１ａの地面座標をＩとする。そして、地面座標Ｅを通過しかつ線分ＥＦと交差する垂線をＧＨとする。また、地面座標Ｅを通過しかつ線分ＥＩと交差する垂線をＪＫとする。この場合、仮想視点の方向（ベクトル）は、座標Ｈからほぼ座標Ｅに向かうベクトル４０ａから、座標Ｉからほぼ座標Ｅに向かうベクトル、座標Ｆからほぼ座標Ｅに向かうベクトル４０ｃを経由して、座標Ｊからほぼ座標Ｅに向かうベクトル４０ｄの範囲で、任意のベクトルを一つ選択することができる。当然、仮想視点のベクトルは、ベクトル４０ａから、座標Ｉからほぼ座標Ｅに向かうベクトルまでの間に存在し、ほぼ座標Ｅに向かうベクトル４０ｂであっもよい。換言すれば、仮想視点のベクトルは、垂線ＪＫによって確定される領域のうち座標Ｉを含む領域内であって、かつ垂線ＧＨによって確定される領域のうち座標Ｆを含む領域内のいずれかの地点を始点として座標Ｅへと向かう任意のベクトルを選択することができる。
【００４８】
また、仮想視点の計算において、ベクトル（方向）とともに設定する仮想視点の位置は、作成する車両周囲画像Ｐacに車両の形状モデルＰcaの少なくとも一部が含まれるように設定することが好ましい。このように仮想視点の位置を設定することにより、車両Ｃａと立体物Ｏｂとの位置関係をユーザが把握しやすいという効果を得ることができる。なお、仮想視点の高さ方向の位置については、任意に設定することができる。
【００４９】
なお、異常検出部１２として衝撃検出センサを用いる場合には、車両Ｃａの前方、後方といったように衝撃が与えられた部位を特定することはできるものの、衝撃を与えた立体物Ｏｂの位置を具体的に把握することは困難であることがある。そこで、衝撃検出センサによる検出範囲毎に、車両Ｃａに対する立体物Ｏｂの位置を予め設定しておき、これに基づいて立体物Ｏｂの位置を決定してもよい。例えば、車両Ｃａのフロントに取り付けられた衝撃検出センサによって異常が検出された場合には、立体物Ｏｂの位置を車幅中心線上かつ車両Ｃａから５０ｃｍ離間した位置とするといった如くである。
【００５０】
図７は、第１の実施形態にかかる車両周囲画像Ｐacの提示方法を示すフローチャートである。このフローチャートに示す処理は、本体装置１の制御ユニット１０によって実行される。
【００５１】
まず、ステップ１（Ｓ１）において、画像データ処理部１０ａは、撮影部１１を構成する個々のカメラ１１ａ〜１１ｄから画像データをそれぞれ読み込む。そして、ステップ２（Ｓ２）において、異常判断部１０ｂは、異常検出部１２を構成する物体検出センサおよび衝撃検出センサからセンサ信号を読み込む。
【００５２】
ステップ３（Ｓ３）において、異常判断部１０ｂは、異常検出部１２からのセンサ信号に基づいて、車両Ｃａに異常が生じているか否かを判断する。ステップ３において肯定判定された場合、すなわち、異常が発生している場合には、ステップ４（Ｓ４）に進む。一方、ステップ３において否定判定された場合、すなわち、異常が発生していない場合には、ステップ１の処理に戻る。
【００５３】
ステップ４において、制御ユニット１０が所定の制御信号を通信部１３に出力することにより、通信部１３は、トリガー信号を外部装置２に対して送信する。このトリガー信号は、ユーザに対して車両Ｃａに異常が生じたことを通知するための信号である。外部装置２において、通信部２３がトリガー信号を受信した場合、制御ユニット２０は、例えば、表示部２２を制御することにより、その旨を表示するとともに、車両周囲画像Ｐacの作成を行うか否かの選択を表示する。制御ユニット２０は、入力部２１の操作信号を通じて、車両周囲画像Ｐacの作成を要求することを認識した場合には、所定の制御信号を通信部２３に出力する。そして、通信部２３は、車両周囲画像Ｐacの作成を要求するリクエスト信
号を本体装置１に対して送信する。一方、制御ユニット２０は、入力部２１の操作信号を通じて、車両周囲画像Ｐacの作成を要求しないことを認識した場合、または、ユーザによる入力部２１の操作が所定時間無いことを判断した場合には、リクエスト信号の送信を通信部２３へ指示しない。
【００５４】
ステップ５（Ｓ５）において、制御ユニット１０は、通信部１３が外部装置２からリクエスト信号を受信したか否かを判断する。ステップ５において肯定判定された場合、すなわち、リクエスト信号を受信した場合には、ステップ６（Ｓ６）に進む。一方、ステップ５において否定判定された場合、すなわち、リクエスト信号を受信していない場合には、ステップ１の処理へ戻る。なお、外部装置２からリクエスト信号が応答性よく返信されない場合もあるので、ステップ５における否定判定の回数が所定回数以上となった場合に、ステップ１の処理に戻るようにしてもよい。
【００５５】
ステップ６において、マッピング部１０ｃは、カメラ１１ａ〜１１ｄから得られた個々の画像データに基づいてマッピング処理（投影マッピング）を行うことにより、空間データを作成する。
【００５６】
ステップ７（Ｓ７）において、仮想視点計算部１０ｄは、異常検出部１２の検出結果に基づいて前述の演算を行うことにより、仮想視点の位置および方向を計算し、これにより、仮想視点データを作成する。
【００５７】
ステップ８（Ｓ８）において、視点変換部１０ｅは、空間データと、仮想視点データとに基づいて、車両周囲画像Ｐacを作成する。そして、ステップ９（Ｓ９）において、合成部１０ｆは、車両周囲画像Ｐacに車両の形状モデルＰcaを重畳することにより（重畳処理）、最終的な車両周囲画像Ｐacを作成する。
【００５８】
ステップ１０（Ｓ１０）において、制御ユニット１０は、作成された車両周囲画像Ｐacの送信指示を通信部１３に対して出力する。通信部１３は、当該指示に応じて、車両周囲画像Ｐacを外部装置２に対して送信する。外部装置２において、通信部２３が車両周囲画像Ｐacを受信した場合には、制御ユニット２０は、例えば、表示部２２を制御することにより、車両周囲画像Ｐacを表示する。
【００５９】
このように本実施形態によれば、画像情報提供装置は、カメラ１１ａ〜１１ｄから出力される画像がマッピングされる三次元空間のモデルを視点変換することにより車両周囲画像Ｐacを作成する。ここで、視点変換を行う際には、車両Ｃａに生じている異常の検出結果に基づいて、車両周囲画像Ｐacに車両Ｃａに生じている異常が含まれるように仮想視点の計算を行う。
【００６０】
かかる構成によれば、車両Ｃａに生じている異常という、ユーザの欲している視点から車両周囲画像Ｐacが作成される。これにより、車両周囲画像Ｐacを見た際にユーザが車両Ｃａに生じている異常を容易に認識することができる画像情報を作成することが可能となる。
【００６１】
また、本実施形態において、車両周囲画像Ｐacは、ユーザが保有する外部装置２に送信されている。かかる構成によれば、ユーザにとって理解しやすい状態の画像情報（車両周囲画像Ｐac）が外部装置２に送信されるので、車両Ｃａから離れた場所にいるユーザであっても、外部装置２を通じて車両周囲画像Ｐacを見た際に、車両Ｃａに生じている異常を容易に認識することができる。
【００６２】
また、本実施形態では、検出した異常の位置と、カメラ１１ａ〜１１ｄの車両Ｃａへの
取り付け位置とに基づいて、仮想視点の計算が行われる。かかる構成によれば、車両Ｃａに生じている異常が車両周囲画像Ｐac内に含まれる仮想視点を特定することができる。これにより、ユーザにとって認識し易い車両周囲画像Ｐacの作成が可能となる。
【００６３】
具体的には、例えば、車両Ｃａに生じている異常が複数のカメラ１１ａ〜１１ｄのうち一のカメラ１１ｂのみの撮影範囲に含まれる場合を想定する。この場合には、垂線ＣＤによって確定される領域のうち座標Ｂを含む領域内のいずれかの地点を始点として座標Ａへと向かう任意のベクトルを計算することにより、仮想視点の計算を行う。かかる構成によれば、車両Ｃａに生じている異常が車両周囲画像Ｐac内に含まれる仮想視点を特定することができる。これにより、ユーザにとって認識し易い車両周囲画像Ｐacの作成が可能となる。
【００６４】
また、例えば、車両Ｃａに生じている異常が複数のカメラ１１ａ〜１１ｄのうち二つのカメラ１１ａ，１ｂの撮影範囲のそれぞれに含まれる場合を想定する。この場合、垂線ＪＫによって確定される領域のうち座標Ｉを含む領域内であって、かつ垂線ＧＨによって確定される領域のうち座標Ｆを含む領域内のいずれかの地点を始点として座標Ｅへと向かう任意のベクトルを計算することにより、仮想視点の計算を行う。かかる構成によれば、車両Ｃａに生じている異常が車両周囲画像Ｐac内に含まれる仮想視点を特定することができる。これにより、ユーザにとって認識し易い車両周囲画像Ｐacの作成が可能となる。
【００６５】
また、本実施形態において、異常の検出とタイミング的に対応して、トリガー信号が外部装置２に送信される。かかる構成によれば、異常が生じるたびに車両周囲画像Ｐcaを外部装置２に送信するのではなく、第１次的に、トリガー信号が外部装置２送信される。これにより、車両周囲画像Ｐcaの作成を要求するか否かをユーザに確認することができるので、ユーザの判断で車両周囲画像Ｐcaの送信を決定することができる。これにより、ユーザが希望しないシーンで車両周囲画像Ｐcaが送信されるといった状況を抑制することができ、不要な通信コストの発生を抑制することができる。
【００６６】
また、本実施形態において、マッピング部１０ｃ、仮想視点計算部１０ｄ、視点変換部１０ｅ、合成部１０ｆおよび通信部１３は、外部装置２と独立した本体装置１に含まれている。これにより、本体装置１側にて車両周囲画像Ｐcaを作成することができる。
【００６７】
なお、本実施形態では、車両Ｃａに異常が生じている場合に、本体装置１と外部装置２との間で車両周囲画像Ｐacのやりとりを行っている。しかしながら、外部装置２を通じてユーザが任意のタイミングでリクエスト信号を送信した場合に、本体装置１と外部装置２との間で車両周囲画像Ｐacのやりとりを行ってもよい。この場合、ユーザは、リクエスト信号とともに、あるいは、リクエスト信号そのものとして、仮想視点の位置および方向を任意に指定してもよい。なお、仮想視点の位置および方向をユーザに指定させる場合には、仮想視点の位置および方向の候補を予め複数用意しておき、複数の候補の中からユーザに選択させればよい。これにより、ユーザが車両Ｃａから離れた場所にいる場合であっても、ユーザの希望する仮想視点から作成された車両周囲画像Ｐacを、ユーザの希望するタイミングで提供することが可能となる。
【００６８】
また、本体装置１と、外部装置２とがそれぞれ自己位置を検出する機能を備えている場合には、以下に示す通信形態を採用してもよい。具体的には、本体装置１が外部装置２の位置情報を取得した場合、本体装置１は、外部装置２が狭域通信可能なエリアにいる場合には狭域通信を選択し、一方、外部装置がそのエリアにいない場合には公衆通信網を選択する。このように、本体装置１の通信部１３が、外部装置２との通信経路を複数有して場合には、外部装置２との位置関係に応じて通信経路を選択してもよい。これにより、適切な通信経路を選択することにより、通信コストの低減を図ることができる。
【００６９】
（第２の実施形態）
図８は、第２の実施形態にかかる外部装置２の構成を模式的に示すブロック図である。本実施形態にかかる画像情報提供装置が、第１の実施形態のそれと相違する点は、外部装置２自身が車両周囲画像Ｐacを作成することにある。この場合、本体装置１において、制御ユニット１０は、マッピング部１０ｃから合成部１０ｆまでの各機能を省略することができる。第１の実施形態と共通する点については説明を省略することとし、以下、相違点を中心に説明を行う。
【００７０】
本実施形態において、外部装置２の制御ユニット２０は、これを機能的に捉えた場合、マッピング部２０ａ、仮想視点計算部２０ｂ、視点変換部２０ｃおよび合成部２０ｄを有している。これらの機能は、第１の実施形態に示す本体装置１におけるマッピング部１０ｃ、仮想視点計算部１０ｄ、視点変換部１０ｅおよび合成部１０ｆと同様の機能を担っている。すなわち、制御ユニット２０は、マッピング部１０ｃから合成部１０ｆの各機能により、所定の仮想視点を基準とした車両周囲画像Ｐacを作成することができ、また、自ら作成した車両周囲画像Ｐacを表示部２２に表示することができる。
【００７１】
制御ユニット２０は、ユーザの操作を通じて入力部２１から車両周囲画像Ｐacの作成要求を認識すると、これにともない通信部２３がリクエスト信号を本体装置１に対して送信する。本体装置１において、通信部１３がリクエスト信号を受信すると、制御ユニット１０（画像データ処理部１０ａ）は、個々のカメラ１１ａ〜１１ｄにより撮影された画像データを読み込む。そして、通信部１３は、読み込んだ画像データを外部装置２に対して送信する。そして、外部装置２において、通信部２３が画像データを受信した場合には、制御ユニット２０は画像データのそれぞれに基づいて車両周囲画像Ｐacを作成する。
【００７２】
この場合、車両周囲画像Ｐacを作成する上で必要となる仮想視点は、予め設定された基準方向および基準位置を用いてもよいし、車両周囲画像Ｐacの取得要求を認識した際に、ユーザに仮想視点の位置および方向を指定させてもよい。
【００７３】
また、外部装置２は、受信した画像データをもとに、ユーザによる入力部２１の操作を通じて仮想視点の位置および方向を適宜変更さることにより、車両周囲画像Ｐacの仮想視点を適宜変更してもよい。
【００７４】
一方、本体装置１において、制御ユニット１０が外部装置２からリクエスト信号を受信した場合には、制御ユニット１０（異常判断部１０ｂ）は、異常検出部１２を構成する物体検出センサおよび衝撃検出センサからセンサ信号を読み込んでもよい。この場合、異常判断部１０ｂは、異常検出部１２からのセンサ信号に基づいて、異常が発生しているか否かを判断する。異常判断部１０ｂが車両Ｃａに異常が生じていると判断した場合には、画像データ処理部１０ａは、通信部２３を介して各画像データとともに異常検出部１２の検出結果を外部装置２に送信する。これにより、外部装置２は、異常検出部１２の検出結果および画像データに基づいて、車両Ｃａに生じている異常が含まれるように車両周囲画像Ｐを作成することができる。
【００７５】
このように本実施形態において、通信部１３は、外部装置２と独立した本体装置１に含まれており、マッピング部２０ａ、仮想視点計算部２０ｂ、視点変換部２０ｃおよび合成部１０ｆは、外部装置２に含まれている。この場合、本体装置１は、外部装置２からリクエスト信号を受信した場合に、通信部１３が外部装置２に対してカメラ１１ａ〜１１ｄから出力される画像データのそれぞれを送信する。
【００７６】
かかる構成によれば、画像データを受信さえすれば、本体装置１との通信を必要とする
ことなく、外部装置２により車両周囲画像Ｐacを作成することができる。当然、外部装置２はユーザが保持する装置であるため、車両周囲画像Ｐacの作成においては、入力部２１の操作を通じて、任意に仮想視点を設定することも可能である。これにより、ユーザの希望する仮想視点の車両周囲画像Ｐacを作成することができるので、認識が容易な車両周囲画像Ｐacを提供することができる。
【００７７】
また、本実施形態において、外部装置２からリクエスト信号を受信したタイミングにおいて異常が検出される場合には、カメラ１１ａ〜１１ｄから出力される画像データとともに、異常検出の検出結果が外部装置２に送信される。かかる構成によれば、異常検出の検出結果を参照することにより、外部装置２が、車両Ｃａに生じている異常を含む車両周囲画像Ｐacを作成することが可能となる。これにより、車両周囲画像Ｐacを見た際にユーザが車両Ｃａに生じている異常を容易に認識することができる画像情報を作成することが可能となる。
【００７８】
なお、前述のように、外部装置２自身が本体装置１から送信される画像データに基づいて車両周囲画像Ｐacを作成する場合には、本体装置１は、以下に示す手法にて画像データを送信することもできる。
【００７９】
第１の手法は、異常が写り込んでいる画像データを優先的に送信する手法である。本体装置１において、画像データ処理部１０ａは、異常判断部１０ｂの判断結果に基づいて、各カメラ１１ａ〜１１ｄから得られる画像データのそれぞれを、異常が写り込んでいる画像データと、異常が写り込んでいない画像データとに分類する。つぎに、画像データ処理部１０ｂは画像データの送信を通信部１３に依頼する。この場合、送信部１３は、異常が写り込んでいる画像データを外部装置２に優先的に送信し、その後、残余の画像データである、異常が写り込んでいない画像データを外部装置２に送信する。一方、外部装置２の制御ユニット２０は、通信部２３を介して画像データを受信すると、前述の通り、車両周囲画像Ｐacを作成する。この場合、制御ユニット２０は、車両周囲画像Ｐacの作成の前に、優先的に送られた画像データ、すなわち、異常が写り込んでいる画像データを表示部２２に表示してもよい。これにより、緊急度の高い画像データをいち早くユーザに表示することができる。
【００８０】
第２の手法は、異常が写り込んでいない画像データのデータ容量を、異常が写り込んでいる画像データのデータ容量よりも小さくして送信する手法である。例えば、本体装置１において、画像データ処理部１０ａは、各カメラ１１ａ〜１１ｄから得られる画像データのそれぞれを、異常が写り込んでいる画像データと、異常が写り込んでいない画像データとに分類する。つぎに、画像データ処理部１０ａは、異常が写り込んでいない画像データを処理対象として、例えば、カメラ１１ａ〜１１ｄからの出力データの解像度よりも解像度が低くなるような処理を行い、画像データのデータ容量が小さくする。そして、画像データ処理部１０ａは、異常が写り込んでいない画像データ（データ容量が小さい画像データ）、および、異常が写り込んでいる画像データのそれぞれを通信部１３を介して外部装置２に送信する。これにより、画像データの送信時のデータ容量を低く抑えることができるので、通信コストの低減を図ることができる。
【００８１】
第３の手法は、送信対象となる各画像データのうち、表示時に不鮮明となる画像データについては送信しない手法である。例えば、夜間、車両の周囲に街灯が少ないといったように照度が不足する状況において車両周囲画像Ｐacを作成することを考える。このケースでは、各画像データから得られる画像（表示画像）がそもそも不鮮明となる。そのため、これらの画像データに基づいて車両周囲画像Ｐacを作成したとしても、車両周囲の状況の認識が難しく、車両周囲画像Ｐacからユーザが得られる情報は少ない。そこで、本体装置１において、画像データ処理部１０ａは、各カメラ１１ａ〜１１ｄから出力される画像デ
ータのそれぞれを処理対象として、画像データの鮮明度を判断する。鮮明度の判断手法としては、例えば、画像データを構成する全画素を対象に濃度値のヒストグラムを作成し、このヒストグラムを参考に鮮明度を判断するといった如くである。画像データ処理部１０ａは、予め設定された基準値と鮮明度とを比較し、鮮明度が低い画像データについては、外部装置２への送信候補からはずし、鮮明度が高い画像データのみを外部装置２へ送信する。かかる構成によれば、画像データの送信時のデータ容量を低く抑えることができるので、通信コストの低減を図ることができる。
【００８２】
なお、上述した第１の手法から第３の手法は、それぞれ単独で用いることもできるが、これらを組み合わせて行ってもよい。
【００８３】
また、第２の実施形態に示す手法では、外部装置１が車両周囲画像Ｐacを作成する関係上、本体装置１の制御ユニット１０が車両周囲画像Ｐacを作成する機能（マッピング部１０ｃ〜合成部１０ｆ）を備えていない。しかしながら、車両周囲画像Ｐacを作成する機能を備えない外部装置１との間でも、車両周囲画像Ｐacのやりとりを可能とするため、第１の実施形態と同様に、本体装置１の制御ユニット１０がマッピング部１０ｃ〜合成部１０ｆを備えていてもよい。この場合、本体装置１は、通信相手が車両周囲画像Ｐacを作成する機能を有する外部装置１である場合には、画像データ（必要に応じて異常）を送信し、通信相手が車両周囲画像Ｐacを作成する機能を有しない外部装置１である場合には、車両周囲画像Ｐacを作成し、これを外部装置２に送信するといった如くである。
【００８４】
（第３の実施形態）
第３の実施形態にかかる画像情報提供装置が、第１の実施形態のそれと相違する点は、各画像データのマッピング対象となる三次元空間のモデルを作成することにある。三次元空間モデルＳＭを作成する理由は、高さ成分のある立体物Ｏｂと、三次元空間モデルＳＭとの位置が離れすぎいる場合には、車両周囲画像Ｐacに表現される立体物Ｐobが歪んでしまうといった事態が生じ得るからである。なお、第１の実施形態と共通する点については説明を省略することとし、以下、相違点を中心に説明を行う。
【００８５】
具体的には、マッピング部１０ｃは、異常検出部１２からのセンサ信号を取得し、立体物Ｏｂに関する車両Ｃａからの距離（以下「立体物距離」という）を特定する。そして、マッピング部１０ｃは、車両Ｃａから立体物距離だけ離れた位置のマッピング先が、三次元空間モデルＳＭの側面領域と底面領域との境、あるいは、底面領域側となるように当該三次元空間モデルＳＭを作成する。この場合、三次元空間モデルＳＭは、車両Ｃａの周囲の全域において、立体物距離だけ離れた位置から側面領域が立ち上がるようにしてもよいし、立体物Ｏｂの存在方向についてだけモデルを変形させてもよい。
【００８６】
かかる構成によれば、立体物Ｏｂが三次元空間モデルＳＭにおいて車両から近い位置にマッピングされるので、立体物Ｏｂのゆがみが少ない車両周囲画像Ｐacを作成することができる。これにより、これにより、ユーザにとって認識し易い車両周囲画像Ｐacの作成が可能となる。
【００８７】
なお、本実施形態に示す手法は、第１の実施形態に適用可能のみならず、第２の実施形態に示す外部装置２に適用してもよい。
【００８８】
以上、本発明の実施形態にかかる車両情報提供装置およびその方法について説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能であることはいうまでもない。
【符号の説明】
【００８９】
１ 本体装置
１０ 制御ユニット
１０ａ 画像データ処理部
１０ｂ 異常判断部
１０ｃ マッピング部
１０ｄ 仮想視点計算部
１０ｅ 視点変換部
１０ｆ 合成部
１１ 撮影部
１１ａ〜１１ｄ カメラ
１２ 異常検出部
１３ 通信部
１４ 記憶部
２ 外部装置
２０ 制御ユニット
２０ａ マッピング部
２０ｂ 仮想視点計算部
２０ｃ 視点変換部
２０ｄ 合成部
２１ 入力部
２２ 表示部
２３ 通信部
２４ 記憶部
３ 通信サーバ
【技術分野】
【０００１】
本発明は、画像情報提供装置およびその方法に関する。
【背景技術】
【０００２】
たとえば、駐車中といったように、車両のユーザが車両から離れているような場合には、車両や車内の物品が盗まれたり、誤って車両を傷つけられまたは衝突されたりといったように、ユーザが認識し得ない種々の異常が車両に生じることがある。
【０００３】
たとえば、特許文献１には、車両から離れているユーザに対して、車両の現況や異常発生状況の確認を行えるようにした車両監視装置が開示されている。この車両監視装置は、一定時間ごとに、車両において衝突や盗難等といった異常が生じているか否かを検出する。車両監視装置は、異常を検出した場合、車両の屋根に取り付けられた複数のカメラによって車両の外観を撮影することにより、複数の画像からなる画像データを取得し、この画像データをユーザの保有する携帯電話機に転送する。これにより、ユーザは携帯電話機の表示画面上で画像データを確認することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３１７１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された手法によれば、複数のカメラから得られた画像のそれぞれがユーザに表示されるため、車両のどこに異常が生じているのかをユーザが素早く認識することが難しいといった不都合がある。
【０００６】
本発明はかかる事情に鑑みてなされたものであり、その目的は、提供される画像情報から、ユーザが車両に生じている異常を容易に認識するができるように画像情報を作成することである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するために、本発明は、画像情報としての車両周囲画像をユーザに提供する手法を提供する。かかる手法は、車両周囲の画像がマッピングされる三次元空間のモデルを視点変換することにより車両周囲画像を作成するものであり、視点変換を行う際には、車両に生じている異常の検出結果に基づいて、車両に生じている異常が車両周囲画像に含まれるように仮想視点の計算を行う。
【発明の効果】
【０００８】
本発明によれば、車両に生じている異常という、ユーザの欲している視点から車両周囲画像が作成されるので、当該車両周囲画像から、車両に生じている異常をユーザが容易に認識することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態にかかる画像情報提供装置の構成を模式的に示す説明図
【図２】本体装置１の構成を模式的に示すブロック図
【図３】カメラ１１ａ〜１１ｄの取り付け位置を示す説明図
【図４】第１の実施形態にかかる外部装置２の構成を模式的に示すブロック図
【図５】車両周囲画像Ｐacの作成概念を説明する説明図
【図６】仮想視点データの計算概念を説明する説明図
【図７】第１の実施形態にかかる車両周囲画像Ｐacの提示方法を示すフローチャート
【図８】第２の実施形態にかかる外部装置２の構成を模式的に示すブロック図
【発明を実施するための形態】
【００１０】
（第１の実施形態）
図１は、本実施形態にかかる画像情報提供装置の構成を模式的に示す説明図である。この画像情報提供システムは、ユーザが車両Ｃａから離れているような場合（例えば、駐車場への駐車中）において、車両Ｃａに異常が生じた際に、ユーザに画像情報としての車両周囲画像Ｐacを提供するシステムである。ここで、車両周囲画像Ｐacは、仮想視点を適切に設定することにより、車両Ｃａに生じている異常を含んた状態で車両Ｃａを眺めたように作成される画像であり、その詳細については後述する。車両Ｃａに生じる異常としては、不審者もしくは不審物が近づいたこと、ドアが無断で開けられたこと、窓ガラスが割られたこと、車内へ侵入されること、車両を傷つけられたこと、衝突されたことといったように、ユーザの了知し得ない車両に対する異常および異常が生じ得る可能性をいう。
【００１１】
画像情報提供装置は、車両Ｃａに搭載される本体装置１を主体に構成されている。本体装置１は、異常を検出する機能、車両周囲画像を作成する機能および車両周囲画像を送信する機能を有している。
【００１２】
本体装置１は、ユーザが保有する外部装置２と通信可能に構成されている。外部装置２は、画像情報を受信する機能およびその画像情報を提示する機能を有しており、例えば、携帯電話や、通信機能付きの携帯情報端末（ＰＡＤ：Personal Digital Assistant）などを用いることができる。本体装置１は、外部装置２との間で情報を直接的に送受信してもよいし、本体装置１と外部装置２との間に通信サーバ３を設けてこの通信サーバ３を介して外部装置２との間で情報を送受信してもよい。
【００１３】
図２は、本体装置１の構成を模式的に示すブロック図である。本体装置１は、車両周囲画像Ｐacを作成し、作成した車両周囲画像Ｐacを外部装置２に送信する。本体装置１は、制御ユニット１０、撮影部１１、異常検出部１２、通信部１３および記憶部１４を主体に構成されている。
【００１４】
制御ユニット１０は、装置全体を統合的に制御する機能を担っており、制御プログラムに従って動作することにより、車両周囲画像Ｐacの作成および送信を行う。制御ユニット１０としては、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。制御ユニット１０には、撮影部１１、異常検出部１２、通信部１３および記憶部１４がそれぞれ接続されている。
【００１５】
撮影部１１は、車両Ｃａからその周囲を撮影することにより画像を出力する撮影手段であり、それぞれが車体の周囲に配置された複数のカメラ１１ａ〜１１ｄによって構成されている。複数のカメラ１１ａ〜１１ｄは、それぞれが１８０°程度の画角を持つ広角カメラであり、それぞれの撮影方向がオフセットするように設定されている。撮影部１１は、これらのカメラ１１ａ〜１１ｄにより得られる画像により、車両周囲の全範囲をカバーする画像を得ることができる。
【００１６】
図３に示すように、個々のカメラ１１ａ〜１１ｄは、例えば、車両Ｃａのリア、左ドアミラー、車両Ｃａのフロント、右ドアミラーの合計４箇所にそれぞれ取り付けられている。車両Ｃａのリアに取り付けられたカメラ１１ａは、車両後方を撮影し、左ドアミラーに取り付けられたカメラ１１ｂは、車両左側方を撮影する。また、車両Ｃａのフロントに取
り付けられたカメラ１１ｃは、車両前方を撮影し、車両Ｃａの右ドアミラーに取り付けられたカメラ１１ｄは、車両右側方を撮影する。
【００１７】
個々のカメラ１１ａ〜１１ｄは、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）やＡ／Ｄ変換器を内蔵している。各カメラ１１ａ〜１１ｄは、制御ユニット２０からの画像の読み込み動作に対応して撮影を行い、撮影された画像に相当する画像データを制御ユニット１０に出力する。
【００１８】
異常検出部１２は、ユーザ不在の状態の車両に生じる異常と、その異常が生じている位置とを検出する（異常検出手段）。この異常検出部１２としては、物体検出センサまたは衝撃検出センサ、あるいは、これらの両方を用いることができる（本実施形態において、異常検出部１２は、物体検出センサおよび衝撃検出センサの双方から構成される）。異常検出部１２による検出結果は、制御ユニット１０に入力される。
【００１９】
物体検出センサは、撮影部１１と同様に、センサ検知範囲が車両周囲の全範囲をカバーするように、車室内または車室外に一つ以上配置されている。物体検出センサは、例えば、車両周囲に不審物（人間や動物など）が所定時間存在することを条件に、車両に異常が生じていること、および、車両に対する異常の位置および方向を検出する。物体検出センサとしては、音波（例えば、超音波）、電波（例えば、ミリ波）、レーザ（例えば、赤外線）を利用する周知のセンサを用いることができる。
【００２０】
衝撃検出センサは、センサ検知範囲が車両周囲の全範囲をカバーするように、車両の側面部、前面部や後面部といった任意の位置に複数取り付けられている。衝撃検出センサは、車両に対する衝撃、具体的には、車両Ｃａへの衝突や、車両Ｃａに傷がつけられたりしたことを条件に、車両に異常が生じていること、および、車両に対する異常の位置を検出する。衝撃検出センサとしては、センサ内部にある接点が衝撃によってスイッチオンとされるタイプ（振り子タイプ）や、一対の極板間に存在する誘電体が衝撃で移動することにより、その静電容量の変化を読み取るタイプ（静電容量タイプ）を用いることができる。
【００２１】
通信部１３は、本体装置１が外部装置２または通信サーバ３と通信する機能を担っている（通信手段）。通信部１３による装置間の通信としては、移動通信機、携帯電話または自動車電話といった公衆通信網を用いる手法を挙げることができる。ただし、これ以外にも、無線ＬＡＮ（Local Area Network）や、狭域通信を利用して手法を単独で、あるいは、組み合わせて利用することができる。
【００２２】
記憶部１４は、制御ユニット１０からの格納指示にともない、車両周囲画像Ｐacを格納する機能を担っている（記憶手段）。格納されている車両周囲画像Ｐacは、制御ユニット１０により読み出されることができる。記憶部１４としては、例えば、装置に対して固定的に設置されるハードディスク（ＨＤ：Hard Disk）装置などを用いることができる。な
お、記憶部１４として、フラッシュメモリといった半導体メモリを搭載した各種リムーバブルメディアなどを用いてもよい。
【００２３】
再び図２を参照するに、制御ユニット１０は、これを機能的に捉えた場合、画像データ処理部１０ａと、異常判断部１０ｂと、マッピング部１０ｃと、仮想視点計算部１０ｄと、視点変換部１０ｅと、合成部１０ｆとを有している。
【００２４】
画像データ処理部１０ａは、撮影部１１を構成する４つのカメラ１１ａ〜１１ｄから画像データをそれぞれ読み込む。画像データ処理部１０ａは、読み込んだ画像データのそれぞれをマッピング部１０ｃに対して出力する。なお、画像データ処理部１０ａは、必要に応じて、読み込んだ画像データのそれぞれに種々の画像処理を施した上で、マッピング部
１０ｃに出力することができる（処理手段）。
【００２５】
異常判断部１０ｂは、異常検出部１２を構成する物体検出センサおよび衝撃検出センサからセンサ信号をそれぞれ読み込む。異常判断部１０ｂは、読み込んだセンサ信号に基づいて、車両Ｃａに異常が発生しているか否かを判断する。車両Ｃａに異常が発生している場合、異常判断部１０ｂは、異常検出部１２による検出結果を仮想視点計算部１０ｄに出力する。
【００２６】
マッピング部１０ｃは、４つのカメラ１１ａ〜１１ｄから得られる画像データのそれぞれを処理対象として、各カメラ１１ａ〜１１ｄの性能（諸元）や取り付けパラメータに基づいて、画像データを構成する画素毎に投影マッピングを行う（マッピング手段）。マッピングされる対象は、車両位置を座標系の基準とする三次元空間のモデル（以下「三次元空間モデルＳＭ」という）である。投影マッピングにより作成された空間データは、視点変換部１０ｅに出力される。
【００２７】
仮想視点計算部１０ｄは、三次元空間における仮想視点の位置および方向を計算する（仮想視点計算手段）。本実施形態における仮想視点の位置および方向は、車両Ｃａに生じている異常（あるいはその一部）が車両周囲画像Ｐacに含まれるように計算される。すなわち、仮想視点計算部１０ｄは、異常検出部１２が検出した異常の位置と、各カメラ１１ａ〜１１ｄの取り付け位置との関係に基づいて上記の計算を行う。計算された仮想視点の位置および方向に相当する仮想視点データは、視点変換部１０ｅに出力される。
【００２８】
視点変換部１０ｅは、仮想視点データに基づいて、空間データを視点変換することにより、車両周囲画像Ｐacを作成する（視点変換手段）。作成された車両周囲画像Ｐacは、仮想視点データによって規定される仮想視点の位置および方向から車両Ｃａおよびその周囲を撮影したような画像となっており、この画像には、車両Ｃａに生じている異常が含まれるようになっている。作成された車両周囲画像Ｐacは、合成部１０ｆに出力される。
【００２９】
合成部１０ｆは、仮想視点データによって規定される仮想視点の位置および方向から車両Ｃａを撮影したような車両の形状モデルＰcaを作成する。車両の形状モデルＰcaは例えばＣＧ（Computer Graphics）であり、その基本となるデータは、例えば、ＲＯＭなどに
予め格納されている。合成部１０ｆは、車両周囲画像Ｐacに、作成された車両の形状モデルＰcaを重畳することにより、最終的な車両周囲画像Ｐacを作成する（合成手段）。作成された車両周囲画像Ｐacは、通信部１３により、外部装置２へと送信される。
【００３０】
図４は、外部装置２の構成を模式的に示すブロック図である。外部装置２は、本体装置１から送信される車両周囲画像Ｐacを受信し、この受信した車両周囲画像Ｐacをユーザに提示（表示）する。外部装置２は、制御ユニット２０と、入力部２１と、表示部２２と、通信部２３と、記憶部２４とを有している。
【００３１】
制御ユニット２０は、装置全体を統合的に制御する機能を担っており、制御プログラムに従って動作することにより、車両周囲画像Ｐacの受信および表示を行う。制御ユニット２０としては、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。制御ユニット２０には、入力部２１、表示部２２、通信部２３および記憶部２４がそれぞれ接続されている。
【００３２】
入力部２１は、例えば、キーボード、表示部２２上に付設されたタッチパネル、スイッチ等、あるいはこれらの組み合わせで構成されている。ユーザは、キーボード、タッチパネル、スイッチの操作を通じて、各種の入力操作や選択操作を行うことができる。例えば、ユーザは、入力部２１を操作することにより、車両周囲画像Ｐacの作成を要求するリク
エスト信号を本体装置１に送信することで、車両周囲画像Ｐacの作成を本体装置１に依頼することができる。この場合、本体装置１により作成された車両周囲画像Ｐacは、外部装置２が受信することでこれを表示部２２に表示してもよいし、必要な場所に格納しておいてもよい。車両周囲画像Ｐacの格納場所としては、本体装置１の記憶部１４であってもよいし、外部装置２の記憶部２４としてもよいし、通信サーバ３であってもよい。これにより、ユーザが自分の希望するタイミングで車両周囲画像Ｐacを取得できたり、事後的に車両周囲画像Ｐacを取得することができる。
【００３３】
表示部２２は、例えば、液晶ディスプレイ等の表示装置であり、制御ユニット２０によって制御され、受信した車両周囲画像Ｐacをユーザに表示する。
【００３４】
通信部２３は、外部装置２が本体装置１または通信サーバ３と通信するため機能を担っている。通信部２３による装置間の通信としては、移動通信機、携帯電話または自動車電話といった公衆通信網を用いた手法を挙げることができる。ただし、これ以外にも、無線ＬＡＮ（Local Area Network）や、狭域通信を利用してもよい。
【００３５】
記憶部２４は、制御ユニット２０からの格納指示にともない、車両周囲画像Ｐacを格納する機能を担っている（記憶手段）。格納されている車両周囲画像Ｐacは、制御ユニット２０により読み出されることができる。記憶部２４としては、例えば、ハードディスク（ＨＤ：Hard Disk）装置などを用いることができる。なお、記憶部２４として、フラッシ
ュメモリといった半導体メモリを搭載した各種リムーバブルメディアなどを用いるようにしてもよい。
【００３６】
図５は、車両周囲画像Ｐacの作成概念を説明する説明図である。同図において、（ａ）は、三次元空間モデルＳＭを、仮想的に示す車両Ｂcaの斜め前方から眺めた図であり、（ｂ）は、三次元空間モデルＳＭを、仮想的に示す車両Ｂcaの前方から眺めた図である。三次元空間モデルＳＭは、お椀のような半球形状の曲面で構成されており、凹面形状にラウンドする底面領域と、概ね垂直面からなる円筒形状の側面領域とで構成されている。三次元空間モデルＳＭの座標系の基準は、仮想的な車両Ｂcaを重畳的に示すように、車両Ｃａの位置と対応する、底面領域の中央部（底部）に設定されている。
【００３７】
三次元空間モデルＳＭは、車両Ｂcaの後方に対応する領域ＳＭａと、車両Ｂcaの左側方に対応する領域ＳＭｂと、車両Ｂcaの前方に対応する領域ＳＭｃと、車両Ｂcaの右側方に対応する領域ＳＭｄとで構成されている。マッピング部１０ｃは、車両Ｃａのリアに取り付けられたカメラ１１ａからの画像データを領域ＳＭａにマッピングし、車両Ｃａの左ドアミラーに取り付けられたカメラ１１ｂからの画像データを領域ＳＭｂにマッピングする。また、マッピング部１０ｃは、車両Ｃａのフロントに取り付けられたカメラ１１ｃからの画像データを領域ＳＭｃにマッピングし、車両Ｃａの右ドアミラーに取り付けられたカメラ１１ｄからの画像データを領域ＳＭｄにマッピングする。
【００３８】
なお、三次元空間モデルＳＭの形状は、曲面形状であることに限らない。三次元空間モデルＳＭは、複数の平面によって構成してもよい、平面と曲面との組み合わせによって構成してもよい。
【００３９】
図５（ｃ）は、車両周囲画像Ｐacの説明図である。同図に示す車両周囲画像Ｐacは、同図（ａ）、（ｂ）の矢印Ａに示すように、車両Ｂcaの右側上方位置から車両Ｂcaを見下ろすように設定された仮想視点と、空間データとに基づいて視点変換部１０ｅが車両周囲画像Ｐacを作成し、この車両周囲画像Ｐacに合成部１０ｆが車両の形状モデルＰcaを合成することにより作成される。矢印Ａのように仮想視点を設定した場合、車両周囲画像Ｐacは、車両Ｃａの左側に対応する画像データを含んで作成される。一方で、矢印Ａのように仮
想視点を設定した場合、車両周囲画像Ｐacには、車両Ｃａの右側に対応する画像データは含まれない。
【００４０】
たとえば、図３に示すように、車両Ｃａの左前方に高さ成分を持つ立体物Ｏｂが存在するとする。この立体物Ｏｂは、図５（ａ），（ｂ）に示すように、三次元空間モデルＳＭにおいて立体物Ｐobで示す位置にマッピングされる。この場合、矢印Ａに示すように仮想視点を設定することにより、立体物Ｐobは、車両周囲画像Ｐacに含まれることとなる。
【００４１】
一方、図５（ｂ）の矢印Ｂに示すように、立体物Ｏｂの存在する位置、すなわち、車両Ｂcaの左側位置から車両Ｂcaを見下ろすように仮想視点を設定した場合には、車両周囲画像Ｐacには立体物Ｐobが含まれない、すなわち、表示されない場合がある。車両Ｃａに異常が生じている場合、作成する車両周囲画像Ｐacには、少なくとも異常の一部が含まれるように仮想視点を設定する必要がある。
【００４２】
図６は、仮想視点の計算概念を説明する説明図である。以下、仮想視点計算部１０ｄによる仮想視点の計算、すなわち、三次元空間における仮想視点の位置および方向の計算方法について説明する。この計算方法には、４つのカメラ１１ａ〜１１ｄのうち一つのカメラ１１ａ〜１１ｄから得られる画像データのみに異常が写り込んでいる場合に適用される第１の手法と、複数のカメラ１１ａ〜１１ｄから得られる画像データに異常が写り込んでいる場合に適用される第２の手法とがある。以下の説明では、車両Ｃａに生じている異常を車両Ｃａの近傍に存在する立体物（例えば、不審者）Ｏｂと想定する。
【００４３】
まず、第１の手法について説明する。仮想視点計算部１０ｄは、異常検出部１２の検出結果に基づいて、車両Ｃａに対する立体物Ｏｂの位置を認識する。例えば、図６（ａ）に示す位置に立体物Ｏｂが存在する場合、この立体物Ｏｂは、車両Ｃａの左ドアミラーに取り付けられたカメラ１１ｂから得られる画像データにしか写り込まない。
【００４４】
立体物Ｏｂの地面座標をＡ、立体物Ｏｂを写すカメラ１１ｂの地面座標をＢとし、地面座標Ａを通過しかつ線分ＡＢと交差する垂線をＣＤとする。演算の前提となる座標は、車両Ｃａを中心に考えている。この場合、仮想視点の方向（ベクトル）は、座標Ｃからほぼ座標Ａに向かうベクトル３０ａから、座標Ｂからほぼ座標Ａに向かうベクトル３０ｃを経由して、座標Ｄからほぼ座標Ａに向かうベクトル３０ｅの範囲で、任意のベクトルを一つ選択することができる。当然、仮想視点のベクトルは、ベクトル３０ａからベクトル３０ｃまでの間に存在し、ほぼ座標Ａに向かうベクトル３０ｂであっもよいし、ベクトル３０ｃからベクトル３０ｅまでの間に存在し、ほぼ座標Ａに向かうベクトル３０ｄであっもよい。換言すれば、仮想視点のベクトルは、垂線ＣＤによって確定される領域のうち座標Ｂを含む領域内のいずれかの地点を始点として座標Ａへと向かう任意のベクトルを選択することができる。
【００４５】
三次元空間モデルＳＭにおいて、立体物Ｏｂは、カメラ１１ａ〜１１ｄの位置から車両外側に向かって放射状にマッピングされる。そのため、前述のような手法で仮想視点のベクトルを設定することにより、車両周囲画像Ｐacを通じて車両Ｃａに生じている異常を把握する上でユーザの理解を容易とする効果がある。
【００４６】
つぎに、第２の手法について説明する。仮想視点計算部１０ｄは、異常検出部１２の検出結果に基づいて、車両Ｃａに対する立体物Ｏｂの位置を認識する。例えば、図６（ｂ）に示す位置に立体物Ｏｂが存在する場合、この立体物Ｏｂは、車両Ｃａの左ドアミラーに取り付けられたカメラ１１ｂおよび車両Ｃａのリアに取り付けられたカメラ１１ａから得られる画像データにそれぞれ写り込む。
【００４７】
まず、立体物Ｏｂの地面座標をＥとし、一方のカメラである左ドアミラーのカメラ１１ｂの地面座標をＦとするとともに、他方のカメラであるリアのカメラ１１ａの地面座標をＩとする。そして、地面座標Ｅを通過しかつ線分ＥＦと交差する垂線をＧＨとする。また、地面座標Ｅを通過しかつ線分ＥＩと交差する垂線をＪＫとする。この場合、仮想視点の方向（ベクトル）は、座標Ｈからほぼ座標Ｅに向かうベクトル４０ａから、座標Ｉからほぼ座標Ｅに向かうベクトル、座標Ｆからほぼ座標Ｅに向かうベクトル４０ｃを経由して、座標Ｊからほぼ座標Ｅに向かうベクトル４０ｄの範囲で、任意のベクトルを一つ選択することができる。当然、仮想視点のベクトルは、ベクトル４０ａから、座標Ｉからほぼ座標Ｅに向かうベクトルまでの間に存在し、ほぼ座標Ｅに向かうベクトル４０ｂであっもよい。換言すれば、仮想視点のベクトルは、垂線ＪＫによって確定される領域のうち座標Ｉを含む領域内であって、かつ垂線ＧＨによって確定される領域のうち座標Ｆを含む領域内のいずれかの地点を始点として座標Ｅへと向かう任意のベクトルを選択することができる。
【００４８】
また、仮想視点の計算において、ベクトル（方向）とともに設定する仮想視点の位置は、作成する車両周囲画像Ｐacに車両の形状モデルＰcaの少なくとも一部が含まれるように設定することが好ましい。このように仮想視点の位置を設定することにより、車両Ｃａと立体物Ｏｂとの位置関係をユーザが把握しやすいという効果を得ることができる。なお、仮想視点の高さ方向の位置については、任意に設定することができる。
【００４９】
なお、異常検出部１２として衝撃検出センサを用いる場合には、車両Ｃａの前方、後方といったように衝撃が与えられた部位を特定することはできるものの、衝撃を与えた立体物Ｏｂの位置を具体的に把握することは困難であることがある。そこで、衝撃検出センサによる検出範囲毎に、車両Ｃａに対する立体物Ｏｂの位置を予め設定しておき、これに基づいて立体物Ｏｂの位置を決定してもよい。例えば、車両Ｃａのフロントに取り付けられた衝撃検出センサによって異常が検出された場合には、立体物Ｏｂの位置を車幅中心線上かつ車両Ｃａから５０ｃｍ離間した位置とするといった如くである。
【００５０】
図７は、第１の実施形態にかかる車両周囲画像Ｐacの提示方法を示すフローチャートである。このフローチャートに示す処理は、本体装置１の制御ユニット１０によって実行される。
【００５１】
まず、ステップ１（Ｓ１）において、画像データ処理部１０ａは、撮影部１１を構成する個々のカメラ１１ａ〜１１ｄから画像データをそれぞれ読み込む。そして、ステップ２（Ｓ２）において、異常判断部１０ｂは、異常検出部１２を構成する物体検出センサおよび衝撃検出センサからセンサ信号を読み込む。
【００５２】
ステップ３（Ｓ３）において、異常判断部１０ｂは、異常検出部１２からのセンサ信号に基づいて、車両Ｃａに異常が生じているか否かを判断する。ステップ３において肯定判定された場合、すなわち、異常が発生している場合には、ステップ４（Ｓ４）に進む。一方、ステップ３において否定判定された場合、すなわち、異常が発生していない場合には、ステップ１の処理に戻る。
【００５３】
ステップ４において、制御ユニット１０が所定の制御信号を通信部１３に出力することにより、通信部１３は、トリガー信号を外部装置２に対して送信する。このトリガー信号は、ユーザに対して車両Ｃａに異常が生じたことを通知するための信号である。外部装置２において、通信部２３がトリガー信号を受信した場合、制御ユニット２０は、例えば、表示部２２を制御することにより、その旨を表示するとともに、車両周囲画像Ｐacの作成を行うか否かの選択を表示する。制御ユニット２０は、入力部２１の操作信号を通じて、車両周囲画像Ｐacの作成を要求することを認識した場合には、所定の制御信号を通信部２３に出力する。そして、通信部２３は、車両周囲画像Ｐacの作成を要求するリクエスト信
号を本体装置１に対して送信する。一方、制御ユニット２０は、入力部２１の操作信号を通じて、車両周囲画像Ｐacの作成を要求しないことを認識した場合、または、ユーザによる入力部２１の操作が所定時間無いことを判断した場合には、リクエスト信号の送信を通信部２３へ指示しない。
【００５４】
ステップ５（Ｓ５）において、制御ユニット１０は、通信部１３が外部装置２からリクエスト信号を受信したか否かを判断する。ステップ５において肯定判定された場合、すなわち、リクエスト信号を受信した場合には、ステップ６（Ｓ６）に進む。一方、ステップ５において否定判定された場合、すなわち、リクエスト信号を受信していない場合には、ステップ１の処理へ戻る。なお、外部装置２からリクエスト信号が応答性よく返信されない場合もあるので、ステップ５における否定判定の回数が所定回数以上となった場合に、ステップ１の処理に戻るようにしてもよい。
【００５５】
ステップ６において、マッピング部１０ｃは、カメラ１１ａ〜１１ｄから得られた個々の画像データに基づいてマッピング処理（投影マッピング）を行うことにより、空間データを作成する。
【００５６】
ステップ７（Ｓ７）において、仮想視点計算部１０ｄは、異常検出部１２の検出結果に基づいて前述の演算を行うことにより、仮想視点の位置および方向を計算し、これにより、仮想視点データを作成する。
【００５７】
ステップ８（Ｓ８）において、視点変換部１０ｅは、空間データと、仮想視点データとに基づいて、車両周囲画像Ｐacを作成する。そして、ステップ９（Ｓ９）において、合成部１０ｆは、車両周囲画像Ｐacに車両の形状モデルＰcaを重畳することにより（重畳処理）、最終的な車両周囲画像Ｐacを作成する。
【００５８】
ステップ１０（Ｓ１０）において、制御ユニット１０は、作成された車両周囲画像Ｐacの送信指示を通信部１３に対して出力する。通信部１３は、当該指示に応じて、車両周囲画像Ｐacを外部装置２に対して送信する。外部装置２において、通信部２３が車両周囲画像Ｐacを受信した場合には、制御ユニット２０は、例えば、表示部２２を制御することにより、車両周囲画像Ｐacを表示する。
【００５９】
このように本実施形態によれば、画像情報提供装置は、カメラ１１ａ〜１１ｄから出力される画像がマッピングされる三次元空間のモデルを視点変換することにより車両周囲画像Ｐacを作成する。ここで、視点変換を行う際には、車両Ｃａに生じている異常の検出結果に基づいて、車両周囲画像Ｐacに車両Ｃａに生じている異常が含まれるように仮想視点の計算を行う。
【００６０】
かかる構成によれば、車両Ｃａに生じている異常という、ユーザの欲している視点から車両周囲画像Ｐacが作成される。これにより、車両周囲画像Ｐacを見た際にユーザが車両Ｃａに生じている異常を容易に認識することができる画像情報を作成することが可能となる。
【００６１】
また、本実施形態において、車両周囲画像Ｐacは、ユーザが保有する外部装置２に送信されている。かかる構成によれば、ユーザにとって理解しやすい状態の画像情報（車両周囲画像Ｐac）が外部装置２に送信されるので、車両Ｃａから離れた場所にいるユーザであっても、外部装置２を通じて車両周囲画像Ｐacを見た際に、車両Ｃａに生じている異常を容易に認識することができる。
【００６２】
また、本実施形態では、検出した異常の位置と、カメラ１１ａ〜１１ｄの車両Ｃａへの
取り付け位置とに基づいて、仮想視点の計算が行われる。かかる構成によれば、車両Ｃａに生じている異常が車両周囲画像Ｐac内に含まれる仮想視点を特定することができる。これにより、ユーザにとって認識し易い車両周囲画像Ｐacの作成が可能となる。
【００６３】
具体的には、例えば、車両Ｃａに生じている異常が複数のカメラ１１ａ〜１１ｄのうち一のカメラ１１ｂのみの撮影範囲に含まれる場合を想定する。この場合には、垂線ＣＤによって確定される領域のうち座標Ｂを含む領域内のいずれかの地点を始点として座標Ａへと向かう任意のベクトルを計算することにより、仮想視点の計算を行う。かかる構成によれば、車両Ｃａに生じている異常が車両周囲画像Ｐac内に含まれる仮想視点を特定することができる。これにより、ユーザにとって認識し易い車両周囲画像Ｐacの作成が可能となる。
【００６４】
また、例えば、車両Ｃａに生じている異常が複数のカメラ１１ａ〜１１ｄのうち二つのカメラ１１ａ，１ｂの撮影範囲のそれぞれに含まれる場合を想定する。この場合、垂線ＪＫによって確定される領域のうち座標Ｉを含む領域内であって、かつ垂線ＧＨによって確定される領域のうち座標Ｆを含む領域内のいずれかの地点を始点として座標Ｅへと向かう任意のベクトルを計算することにより、仮想視点の計算を行う。かかる構成によれば、車両Ｃａに生じている異常が車両周囲画像Ｐac内に含まれる仮想視点を特定することができる。これにより、ユーザにとって認識し易い車両周囲画像Ｐacの作成が可能となる。
【００６５】
また、本実施形態において、異常の検出とタイミング的に対応して、トリガー信号が外部装置２に送信される。かかる構成によれば、異常が生じるたびに車両周囲画像Ｐcaを外部装置２に送信するのではなく、第１次的に、トリガー信号が外部装置２送信される。これにより、車両周囲画像Ｐcaの作成を要求するか否かをユーザに確認することができるので、ユーザの判断で車両周囲画像Ｐcaの送信を決定することができる。これにより、ユーザが希望しないシーンで車両周囲画像Ｐcaが送信されるといった状況を抑制することができ、不要な通信コストの発生を抑制することができる。
【００６６】
また、本実施形態において、マッピング部１０ｃ、仮想視点計算部１０ｄ、視点変換部１０ｅ、合成部１０ｆおよび通信部１３は、外部装置２と独立した本体装置１に含まれている。これにより、本体装置１側にて車両周囲画像Ｐcaを作成することができる。
【００６７】
なお、本実施形態では、車両Ｃａに異常が生じている場合に、本体装置１と外部装置２との間で車両周囲画像Ｐacのやりとりを行っている。しかしながら、外部装置２を通じてユーザが任意のタイミングでリクエスト信号を送信した場合に、本体装置１と外部装置２との間で車両周囲画像Ｐacのやりとりを行ってもよい。この場合、ユーザは、リクエスト信号とともに、あるいは、リクエスト信号そのものとして、仮想視点の位置および方向を任意に指定してもよい。なお、仮想視点の位置および方向をユーザに指定させる場合には、仮想視点の位置および方向の候補を予め複数用意しておき、複数の候補の中からユーザに選択させればよい。これにより、ユーザが車両Ｃａから離れた場所にいる場合であっても、ユーザの希望する仮想視点から作成された車両周囲画像Ｐacを、ユーザの希望するタイミングで提供することが可能となる。
【００６８】
また、本体装置１と、外部装置２とがそれぞれ自己位置を検出する機能を備えている場合には、以下に示す通信形態を採用してもよい。具体的には、本体装置１が外部装置２の位置情報を取得した場合、本体装置１は、外部装置２が狭域通信可能なエリアにいる場合には狭域通信を選択し、一方、外部装置がそのエリアにいない場合には公衆通信網を選択する。このように、本体装置１の通信部１３が、外部装置２との通信経路を複数有して場合には、外部装置２との位置関係に応じて通信経路を選択してもよい。これにより、適切な通信経路を選択することにより、通信コストの低減を図ることができる。
【００６９】
（第２の実施形態）
図８は、第２の実施形態にかかる外部装置２の構成を模式的に示すブロック図である。本実施形態にかかる画像情報提供装置が、第１の実施形態のそれと相違する点は、外部装置２自身が車両周囲画像Ｐacを作成することにある。この場合、本体装置１において、制御ユニット１０は、マッピング部１０ｃから合成部１０ｆまでの各機能を省略することができる。第１の実施形態と共通する点については説明を省略することとし、以下、相違点を中心に説明を行う。
【００７０】
本実施形態において、外部装置２の制御ユニット２０は、これを機能的に捉えた場合、マッピング部２０ａ、仮想視点計算部２０ｂ、視点変換部２０ｃおよび合成部２０ｄを有している。これらの機能は、第１の実施形態に示す本体装置１におけるマッピング部１０ｃ、仮想視点計算部１０ｄ、視点変換部１０ｅおよび合成部１０ｆと同様の機能を担っている。すなわち、制御ユニット２０は、マッピング部１０ｃから合成部１０ｆの各機能により、所定の仮想視点を基準とした車両周囲画像Ｐacを作成することができ、また、自ら作成した車両周囲画像Ｐacを表示部２２に表示することができる。
【００７１】
制御ユニット２０は、ユーザの操作を通じて入力部２１から車両周囲画像Ｐacの作成要求を認識すると、これにともない通信部２３がリクエスト信号を本体装置１に対して送信する。本体装置１において、通信部１３がリクエスト信号を受信すると、制御ユニット１０（画像データ処理部１０ａ）は、個々のカメラ１１ａ〜１１ｄにより撮影された画像データを読み込む。そして、通信部１３は、読み込んだ画像データを外部装置２に対して送信する。そして、外部装置２において、通信部２３が画像データを受信した場合には、制御ユニット２０は画像データのそれぞれに基づいて車両周囲画像Ｐacを作成する。
【００７２】
この場合、車両周囲画像Ｐacを作成する上で必要となる仮想視点は、予め設定された基準方向および基準位置を用いてもよいし、車両周囲画像Ｐacの取得要求を認識した際に、ユーザに仮想視点の位置および方向を指定させてもよい。
【００７３】
また、外部装置２は、受信した画像データをもとに、ユーザによる入力部２１の操作を通じて仮想視点の位置および方向を適宜変更さることにより、車両周囲画像Ｐacの仮想視点を適宜変更してもよい。
【００７４】
一方、本体装置１において、制御ユニット１０が外部装置２からリクエスト信号を受信した場合には、制御ユニット１０（異常判断部１０ｂ）は、異常検出部１２を構成する物体検出センサおよび衝撃検出センサからセンサ信号を読み込んでもよい。この場合、異常判断部１０ｂは、異常検出部１２からのセンサ信号に基づいて、異常が発生しているか否かを判断する。異常判断部１０ｂが車両Ｃａに異常が生じていると判断した場合には、画像データ処理部１０ａは、通信部２３を介して各画像データとともに異常検出部１２の検出結果を外部装置２に送信する。これにより、外部装置２は、異常検出部１２の検出結果および画像データに基づいて、車両Ｃａに生じている異常が含まれるように車両周囲画像Ｐを作成することができる。
【００７５】
このように本実施形態において、通信部１３は、外部装置２と独立した本体装置１に含まれており、マッピング部２０ａ、仮想視点計算部２０ｂ、視点変換部２０ｃおよび合成部１０ｆは、外部装置２に含まれている。この場合、本体装置１は、外部装置２からリクエスト信号を受信した場合に、通信部１３が外部装置２に対してカメラ１１ａ〜１１ｄから出力される画像データのそれぞれを送信する。
【００７６】
かかる構成によれば、画像データを受信さえすれば、本体装置１との通信を必要とする
ことなく、外部装置２により車両周囲画像Ｐacを作成することができる。当然、外部装置２はユーザが保持する装置であるため、車両周囲画像Ｐacの作成においては、入力部２１の操作を通じて、任意に仮想視点を設定することも可能である。これにより、ユーザの希望する仮想視点の車両周囲画像Ｐacを作成することができるので、認識が容易な車両周囲画像Ｐacを提供することができる。
【００７７】
また、本実施形態において、外部装置２からリクエスト信号を受信したタイミングにおいて異常が検出される場合には、カメラ１１ａ〜１１ｄから出力される画像データとともに、異常検出の検出結果が外部装置２に送信される。かかる構成によれば、異常検出の検出結果を参照することにより、外部装置２が、車両Ｃａに生じている異常を含む車両周囲画像Ｐacを作成することが可能となる。これにより、車両周囲画像Ｐacを見た際にユーザが車両Ｃａに生じている異常を容易に認識することができる画像情報を作成することが可能となる。
【００７８】
なお、前述のように、外部装置２自身が本体装置１から送信される画像データに基づいて車両周囲画像Ｐacを作成する場合には、本体装置１は、以下に示す手法にて画像データを送信することもできる。
【００７９】
第１の手法は、異常が写り込んでいる画像データを優先的に送信する手法である。本体装置１において、画像データ処理部１０ａは、異常判断部１０ｂの判断結果に基づいて、各カメラ１１ａ〜１１ｄから得られる画像データのそれぞれを、異常が写り込んでいる画像データと、異常が写り込んでいない画像データとに分類する。つぎに、画像データ処理部１０ｂは画像データの送信を通信部１３に依頼する。この場合、送信部１３は、異常が写り込んでいる画像データを外部装置２に優先的に送信し、その後、残余の画像データである、異常が写り込んでいない画像データを外部装置２に送信する。一方、外部装置２の制御ユニット２０は、通信部２３を介して画像データを受信すると、前述の通り、車両周囲画像Ｐacを作成する。この場合、制御ユニット２０は、車両周囲画像Ｐacの作成の前に、優先的に送られた画像データ、すなわち、異常が写り込んでいる画像データを表示部２２に表示してもよい。これにより、緊急度の高い画像データをいち早くユーザに表示することができる。
【００８０】
第２の手法は、異常が写り込んでいない画像データのデータ容量を、異常が写り込んでいる画像データのデータ容量よりも小さくして送信する手法である。例えば、本体装置１において、画像データ処理部１０ａは、各カメラ１１ａ〜１１ｄから得られる画像データのそれぞれを、異常が写り込んでいる画像データと、異常が写り込んでいない画像データとに分類する。つぎに、画像データ処理部１０ａは、異常が写り込んでいない画像データを処理対象として、例えば、カメラ１１ａ〜１１ｄからの出力データの解像度よりも解像度が低くなるような処理を行い、画像データのデータ容量が小さくする。そして、画像データ処理部１０ａは、異常が写り込んでいない画像データ（データ容量が小さい画像データ）、および、異常が写り込んでいる画像データのそれぞれを通信部１３を介して外部装置２に送信する。これにより、画像データの送信時のデータ容量を低く抑えることができるので、通信コストの低減を図ることができる。
【００８１】
第３の手法は、送信対象となる各画像データのうち、表示時に不鮮明となる画像データについては送信しない手法である。例えば、夜間、車両の周囲に街灯が少ないといったように照度が不足する状況において車両周囲画像Ｐacを作成することを考える。このケースでは、各画像データから得られる画像（表示画像）がそもそも不鮮明となる。そのため、これらの画像データに基づいて車両周囲画像Ｐacを作成したとしても、車両周囲の状況の認識が難しく、車両周囲画像Ｐacからユーザが得られる情報は少ない。そこで、本体装置１において、画像データ処理部１０ａは、各カメラ１１ａ〜１１ｄから出力される画像デ
ータのそれぞれを処理対象として、画像データの鮮明度を判断する。鮮明度の判断手法としては、例えば、画像データを構成する全画素を対象に濃度値のヒストグラムを作成し、このヒストグラムを参考に鮮明度を判断するといった如くである。画像データ処理部１０ａは、予め設定された基準値と鮮明度とを比較し、鮮明度が低い画像データについては、外部装置２への送信候補からはずし、鮮明度が高い画像データのみを外部装置２へ送信する。かかる構成によれば、画像データの送信時のデータ容量を低く抑えることができるので、通信コストの低減を図ることができる。
【００８２】
なお、上述した第１の手法から第３の手法は、それぞれ単独で用いることもできるが、これらを組み合わせて行ってもよい。
【００８３】
また、第２の実施形態に示す手法では、外部装置１が車両周囲画像Ｐacを作成する関係上、本体装置１の制御ユニット１０が車両周囲画像Ｐacを作成する機能（マッピング部１０ｃ〜合成部１０ｆ）を備えていない。しかしながら、車両周囲画像Ｐacを作成する機能を備えない外部装置１との間でも、車両周囲画像Ｐacのやりとりを可能とするため、第１の実施形態と同様に、本体装置１の制御ユニット１０がマッピング部１０ｃ〜合成部１０ｆを備えていてもよい。この場合、本体装置１は、通信相手が車両周囲画像Ｐacを作成する機能を有する外部装置１である場合には、画像データ（必要に応じて異常）を送信し、通信相手が車両周囲画像Ｐacを作成する機能を有しない外部装置１である場合には、車両周囲画像Ｐacを作成し、これを外部装置２に送信するといった如くである。
【００８４】
（第３の実施形態）
第３の実施形態にかかる画像情報提供装置が、第１の実施形態のそれと相違する点は、各画像データのマッピング対象となる三次元空間のモデルを作成することにある。三次元空間モデルＳＭを作成する理由は、高さ成分のある立体物Ｏｂと、三次元空間モデルＳＭとの位置が離れすぎいる場合には、車両周囲画像Ｐacに表現される立体物Ｐobが歪んでしまうといった事態が生じ得るからである。なお、第１の実施形態と共通する点については説明を省略することとし、以下、相違点を中心に説明を行う。
【００８５】
具体的には、マッピング部１０ｃは、異常検出部１２からのセンサ信号を取得し、立体物Ｏｂに関する車両Ｃａからの距離（以下「立体物距離」という）を特定する。そして、マッピング部１０ｃは、車両Ｃａから立体物距離だけ離れた位置のマッピング先が、三次元空間モデルＳＭの側面領域と底面領域との境、あるいは、底面領域側となるように当該三次元空間モデルＳＭを作成する。この場合、三次元空間モデルＳＭは、車両Ｃａの周囲の全域において、立体物距離だけ離れた位置から側面領域が立ち上がるようにしてもよいし、立体物Ｏｂの存在方向についてだけモデルを変形させてもよい。
【００８６】
かかる構成によれば、立体物Ｏｂが三次元空間モデルＳＭにおいて車両から近い位置にマッピングされるので、立体物Ｏｂのゆがみが少ない車両周囲画像Ｐacを作成することができる。これにより、これにより、ユーザにとって認識し易い車両周囲画像Ｐacの作成が可能となる。
【００８７】
なお、本実施形態に示す手法は、第１の実施形態に適用可能のみならず、第２の実施形態に示す外部装置２に適用してもよい。
【００８８】
以上、本発明の実施形態にかかる車両情報提供装置およびその方法について説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能であることはいうまでもない。
【符号の説明】
【００８９】
１ 本体装置
１０ 制御ユニット
１０ａ 画像データ処理部
１０ｂ 異常判断部
１０ｃ マッピング部
１０ｄ 仮想視点計算部
１０ｅ 視点変換部
１０ｆ 合成部
１１ 撮影部
１１ａ〜１１ｄ カメラ
１２ 異常検出部
１３ 通信部
１４ 記憶部
２ 外部装置
２０ 制御ユニット
２０ａ マッピング部
２０ｂ 仮想視点計算部
２０ｃ 視点変換部
２０ｄ 合成部
２１ 入力部
２２ 表示部
２３ 通信部
２４ 記憶部
３ 通信サーバ
【特許請求の範囲】
【請求項１】
画像情報をユーザに提供する画像情報提供装置において、
車両から当該車両の周囲を撮影することにより、画像を出力する撮影手段と、
車両に生じている異常を検出する異常検出手段と、
前記撮影手段から出力される画像を、車両位置を座標系の基準とする三次元空間のモデルにマッピングすることにより、空間データを作成するマッピング手段と、
前記三次元空間における仮想視点の位置および方向を計算する仮想視点計算手段と、
前記空間データを視点変換することにより、前記仮想視点計算手段により計算された仮想視点から眺めた画像となる車両周囲画像を作成する視点変換手段と、
前記視点変換手段により作成された車両周囲画像に、前記仮想視点計算手段により計算された仮想視点から眺めた車両の形状モデルを重畳する合成手段とを有し、
前記仮想視点計算手段は、前記異常検出手段による検出結果に基づいて、前記視点変換手段により作成される車両周囲画像に前記車両に生じている異常が含まれるように前記仮想視点の計算を行うことを特徴とする画像情報提供装置。
【請求項２】
前記合成手段により車両の形状モデルが重畳された車両周囲画像を、ユーザが保有する外部装置に送信する通信手段をさらに有することを特徴とする請求項１に記載された画像情報提供装置。
【請求項３】
前記仮想視点計算手段は、前記異常検出手段が検出した異常の位置と、前記撮影手段の車両への取り付け位置とに基づいて、前記仮想視点の計算を行うことを特徴とする請求項１に記載された画像情報提供装置。
【請求項４】
前記撮影手段は、それぞれが異なる方向の車両の周囲を撮影する複数のカメラから構成されており、
前記仮想視点計算手段は、前記車両に生じている異常が前記複数のカメラのうち一のカメラのみの撮影範囲に含まれる場合、前記異常の地面座標である第１の座標と前記一のカメラの地面座標である第２の座標とを結ぶ線分に対する、前記第１の座標を通過する垂線を演算し、前記垂線によって確定される領域のうち前記第２の座標を含む領域内のいずれかの地点を始点として前記第１の座標へと向かう任意のベクトルを計算することにより、前記仮想視点の計算を行うことを特徴とする請求項３に記載された画像情報提供装置。
【請求項５】
前記撮影手段は、それぞれが異なる方向の車両の周囲を撮影する複数のカメラから構成されており、
前記仮想視点計算手段は、前記車両に生じている異常が前記複数のカメラのうち二つのカメラの撮影範囲のそれぞれに含まれる場合、前記異常の地面座標である第１の座標と前記二つのカメラのうちの一方のカメラの地面座標である第２の座標とを結ぶ線分に対する、前記第１の座標を通過する第１の垂線を演算し、前記第１の座標と前記二つのカメラのうちの他方のカメラの地面座標である第３の座標とを結ぶ線分に対する、前記第１の座標を通過する第２の垂線を演算するとともに、前記第１の垂線によって確定される領域のうち前記第２の座標を含む領域内であって、かつ前記第２の垂線によって確定される領域のうち前記第３の座標を含む領域内のいずれかの地点を始点として前記第１の座標へと向かう任意のベクトルを計算することにより、前記仮想視点の計算を行うことを特徴とする請求項３に記載された画像情報提供装置。
【請求項６】
前記通信手段は、前記異常検出手段による異常の検出とタイミング的に対応して、前記異常が生じていることを通知するトリガー信号を前記外部装置に送信することを特徴とする請求項２に記載された画像情報提供装置。
【請求項７】
前記視点変換手段は、前記通信手段が前記外部装置から車両周囲画像の作成を要求するリクエスト信号とともにユーザが指定する仮想視点の位置および方向に関する信号を受信した場合には、ユーザが指定する仮想視点に基づいて車両周囲画像を作成することを特徴とする請求項２に記載された画像情報提供装置。
【請求項８】
前記マッピング手段、前記仮想視点計算手段、前記視点変換手段、前記合成手段および前記通信手段は、前記外部装置と独立した本体装置に含まれることを特徴とする請求項２に記載された画像情報提供装置。
【請求項９】
前記通信手段は、前記外部装置と独立した本体装置に含まれ、
前記マッピング手段、前記仮想視点計算手段、前記視点変換手段および前記合成手段は、前記外部装置に含まれており、
前記通信手段は、前記外部装置から車両周囲画像の作成を要求するリクエスト信号を受信した場合、前記外部装置に対して前記撮影手段から出力される画像を送信することを特徴とする請求項２に記載された画像情報提供装置。
【請求項１０】
前記通信手段は、前記外部装置から前記リクエスト信号を受信したタイミングにおいて前記異常検出手段により異常が検出される場合には、前記撮影手段から出力される画像とともに、前記異常検出手段による検出結果を前記外部装置に送信することを特徴とする請求項９に記載された画像情報提供装置。
【請求項１１】
前記本体装置に含まれており、それぞれが異なる方向の車両の周囲を撮影する複数のカメラから構成される前記撮影手段から得られる画像のそれぞれを処理対象として、異常が写る画像を特定する処理手段をさらに有し、
前記通信手段は、前記処理手段の結果に基づいて、前記撮影手段から得られる複数の画像のうち、異常が写る画像を前記外部装置に対して優先的に送信することを特徴とする請求項９に記載された画像情報提供装置。
【請求項１２】
前記処理手段は、前記撮影手段から得られる複数の画像を処理対象として、異常が写る画像を除く他の画像に関するデータ容量を小さくする処理を行うことを特徴とする請求項１１に記載された画像情報提供装置。
【請求項１３】
前記マッピング手段は、車両から異常までの距離に応じて、前記三次元モデルの形状を設定することを特徴とする請求項１から１２のいずれかに記載された画像情報提供装置。
【請求項１４】
車両周囲画像の作成を要求するリクエスト信号を前記外部装置から受信することにより作成された車両周囲画像を格納する記憶手段をさらに有することを請求項２から１３のいずれかに記載された画像情報提供装置。
【請求項１５】
前記通信手段は、前記外部装置との通信経路を複数有しており、前記外部装置から送信される位置情報に応じて通信経路を選択することを特徴とする請求項２に記載された画像情報提供装置。
【請求項１６】
画像情報をユーザに提供する画像情報提供方法において、
車両の周囲が撮影された画像を、車両位置を座標系の基準とする三次元空間のモデルにマッピングすることにより、空間データを作成する第１のステップと、
前記三次元空間における仮想視点の位置および方向を計算する第２のステップと、
前記空間データを視点変換することにより、前記第２のステップにおいて計算された仮想視点から眺めた画像となる車両周囲画像を作成する第３のステップと、
前記第３のステップにおいて作成された車両周囲画像に、前記第２のステップにおいて
計算された仮想視点から眺めた車両の形状モデルを重畳する第４のステップとを有し、
前記第２のステップは、車両に生じている異常に基づいて、前記車両周囲画像に当該異常が含まれるように前記仮想視点の計算を行うことを特徴とする画像情報提供方法。
【請求項１】
画像情報をユーザに提供する画像情報提供装置において、
車両から当該車両の周囲を撮影することにより、画像を出力する撮影手段と、
車両に生じている異常を検出する異常検出手段と、
前記撮影手段から出力される画像を、車両位置を座標系の基準とする三次元空間のモデルにマッピングすることにより、空間データを作成するマッピング手段と、
前記三次元空間における仮想視点の位置および方向を計算する仮想視点計算手段と、
前記空間データを視点変換することにより、前記仮想視点計算手段により計算された仮想視点から眺めた画像となる車両周囲画像を作成する視点変換手段と、
前記視点変換手段により作成された車両周囲画像に、前記仮想視点計算手段により計算された仮想視点から眺めた車両の形状モデルを重畳する合成手段とを有し、
前記仮想視点計算手段は、前記異常検出手段による検出結果に基づいて、前記視点変換手段により作成される車両周囲画像に前記車両に生じている異常が含まれるように前記仮想視点の計算を行うことを特徴とする画像情報提供装置。
【請求項２】
前記合成手段により車両の形状モデルが重畳された車両周囲画像を、ユーザが保有する外部装置に送信する通信手段をさらに有することを特徴とする請求項１に記載された画像情報提供装置。
【請求項３】
前記仮想視点計算手段は、前記異常検出手段が検出した異常の位置と、前記撮影手段の車両への取り付け位置とに基づいて、前記仮想視点の計算を行うことを特徴とする請求項１に記載された画像情報提供装置。
【請求項４】
前記撮影手段は、それぞれが異なる方向の車両の周囲を撮影する複数のカメラから構成されており、
前記仮想視点計算手段は、前記車両に生じている異常が前記複数のカメラのうち一のカメラのみの撮影範囲に含まれる場合、前記異常の地面座標である第１の座標と前記一のカメラの地面座標である第２の座標とを結ぶ線分に対する、前記第１の座標を通過する垂線を演算し、前記垂線によって確定される領域のうち前記第２の座標を含む領域内のいずれかの地点を始点として前記第１の座標へと向かう任意のベクトルを計算することにより、前記仮想視点の計算を行うことを特徴とする請求項３に記載された画像情報提供装置。
【請求項５】
前記撮影手段は、それぞれが異なる方向の車両の周囲を撮影する複数のカメラから構成されており、
前記仮想視点計算手段は、前記車両に生じている異常が前記複数のカメラのうち二つのカメラの撮影範囲のそれぞれに含まれる場合、前記異常の地面座標である第１の座標と前記二つのカメラのうちの一方のカメラの地面座標である第２の座標とを結ぶ線分に対する、前記第１の座標を通過する第１の垂線を演算し、前記第１の座標と前記二つのカメラのうちの他方のカメラの地面座標である第３の座標とを結ぶ線分に対する、前記第１の座標を通過する第２の垂線を演算するとともに、前記第１の垂線によって確定される領域のうち前記第２の座標を含む領域内であって、かつ前記第２の垂線によって確定される領域のうち前記第３の座標を含む領域内のいずれかの地点を始点として前記第１の座標へと向かう任意のベクトルを計算することにより、前記仮想視点の計算を行うことを特徴とする請求項３に記載された画像情報提供装置。
【請求項６】
前記通信手段は、前記異常検出手段による異常の検出とタイミング的に対応して、前記異常が生じていることを通知するトリガー信号を前記外部装置に送信することを特徴とする請求項２に記載された画像情報提供装置。
【請求項７】
前記視点変換手段は、前記通信手段が前記外部装置から車両周囲画像の作成を要求するリクエスト信号とともにユーザが指定する仮想視点の位置および方向に関する信号を受信した場合には、ユーザが指定する仮想視点に基づいて車両周囲画像を作成することを特徴とする請求項２に記載された画像情報提供装置。
【請求項８】
前記マッピング手段、前記仮想視点計算手段、前記視点変換手段、前記合成手段および前記通信手段は、前記外部装置と独立した本体装置に含まれることを特徴とする請求項２に記載された画像情報提供装置。
【請求項９】
前記通信手段は、前記外部装置と独立した本体装置に含まれ、
前記マッピング手段、前記仮想視点計算手段、前記視点変換手段および前記合成手段は、前記外部装置に含まれており、
前記通信手段は、前記外部装置から車両周囲画像の作成を要求するリクエスト信号を受信した場合、前記外部装置に対して前記撮影手段から出力される画像を送信することを特徴とする請求項２に記載された画像情報提供装置。
【請求項１０】
前記通信手段は、前記外部装置から前記リクエスト信号を受信したタイミングにおいて前記異常検出手段により異常が検出される場合には、前記撮影手段から出力される画像とともに、前記異常検出手段による検出結果を前記外部装置に送信することを特徴とする請求項９に記載された画像情報提供装置。
【請求項１１】
前記本体装置に含まれており、それぞれが異なる方向の車両の周囲を撮影する複数のカメラから構成される前記撮影手段から得られる画像のそれぞれを処理対象として、異常が写る画像を特定する処理手段をさらに有し、
前記通信手段は、前記処理手段の結果に基づいて、前記撮影手段から得られる複数の画像のうち、異常が写る画像を前記外部装置に対して優先的に送信することを特徴とする請求項９に記載された画像情報提供装置。
【請求項１２】
前記処理手段は、前記撮影手段から得られる複数の画像を処理対象として、異常が写る画像を除く他の画像に関するデータ容量を小さくする処理を行うことを特徴とする請求項１１に記載された画像情報提供装置。
【請求項１３】
前記マッピング手段は、車両から異常までの距離に応じて、前記三次元モデルの形状を設定することを特徴とする請求項１から１２のいずれかに記載された画像情報提供装置。
【請求項１４】
車両周囲画像の作成を要求するリクエスト信号を前記外部装置から受信することにより作成された車両周囲画像を格納する記憶手段をさらに有することを請求項２から１３のいずれかに記載された画像情報提供装置。
【請求項１５】
前記通信手段は、前記外部装置との通信経路を複数有しており、前記外部装置から送信される位置情報に応じて通信経路を選択することを特徴とする請求項２に記載された画像情報提供装置。
【請求項１６】
画像情報をユーザに提供する画像情報提供方法において、
車両の周囲が撮影された画像を、車両位置を座標系の基準とする三次元空間のモデルにマッピングすることにより、空間データを作成する第１のステップと、
前記三次元空間における仮想視点の位置および方向を計算する第２のステップと、
前記空間データを視点変換することにより、前記第２のステップにおいて計算された仮想視点から眺めた画像となる車両周囲画像を作成する第３のステップと、
前記第３のステップにおいて作成された車両周囲画像に、前記第２のステップにおいて
計算された仮想視点から眺めた車両の形状モデルを重畳する第４のステップとを有し、
前記第２のステップは、車両に生じている異常に基づいて、前記車両周囲画像に当該異常が含まれるように前記仮想視点の計算を行うことを特徴とする画像情報提供方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２２１６８６（Ｐ２０１１−２２１６８６Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８８４３０（Ｐ２０１０−８８４３０）
【出願日】平成２２年４月７日（２０１０．４．７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月７日（２０１０．４．７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]