画像生成装置
【課題】 多数のカメラなど撮像手段を用いた場合でも配線スペースを小さくすることができるとともに、画像処理を無駄なく迅速に行うことができる画像生成装置を提供する。
【解決手段】 撮像手段配置物体に配置された１または複数の撮像手段と、該撮像手段によって撮影された撮像画像によって視点変換画像を生成する画像生成手段とを前記撮像手段配置物体に備えられたＬＡＮで接続する。前記撮像手段からの撮像画像を前記画像再生手段に対してパケット送信可能とした。
【解決手段】 撮像手段配置物体に配置された１または複数の撮像手段と、該撮像手段によって撮影された撮像画像によって視点変換画像を生成する画像生成手段とを前記撮像手段配置物体に備えられたＬＡＮで接続する。前記撮像手段からの撮像画像を前記画像再生手段に対してパケット送信可能とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成装置に係り、特に複数の撮像手段で撮像した画像を元にして、前記撮像手段とは別の視点からあたかも実際に撮影したかのように視点を変更した画像として合成表示させるための技術に関する。
【背景技術】
【０００２】
一般に、監視カメラ等によって監視する場合、カメラ単位の撮像画像をモニタ上に表示するような構成が採られ、監視領域の所望の箇所に取り付けられたカメラからの撮影画像を監視室に配列された複数モニタにて表示させるようにしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。
【０００３】
しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗いため、表示画像が見にくく、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１に示されているように、複数のカメラ画像を１つのモニタに分割表示するものや、特許文献２に示されているように、複数のカメラを撮影画像の一部が相互に重なるように配置しておき、重なり合う部分で画像を結合して１つの画像に合成するものがある。また、特許文献３に示されているように、複数のカメラによる画像を座標変換して１枚の画像に合成して、任意の視点による合成画像を表示するようにしたものである。
【０００４】
また、特許文献３に開示されている方法では、複数のカメラによる画像のデータを、一元的に取り込み、あらかじめレーザレーダや、ミリ波レーダー、ステレオカメラによる三角測量などにより生成した三次元の空間モデルを生成し、ここに、この取得した画像データをカメラパラメータに基づいて、カメラからの入力画像を構成する各画素の情報を対応付けてマッピングを行い、空間データを作成する。このようにして、独立したすべてのカメラからの画像を１つの三次元空間内の点として対応付けた後に、現実のカメラの視点では無く任意の仮想の視点からみた視点変換画像を生成して表示する。このような視点変換画像表示方法によれば、画像精度を低下させることなく監視領域の全体が１つの任意の視点で表示され、監視したい領域を任意の視点で確認できる利点がある。
【特許文献１】特開平０５−３１００７８号公報
【特許文献２】特開平１０−１６４５６６号公報
【特許文献３】特許３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、カメラからの画像データの入力は画像演算処理部で一括して行うため、配線が長く、かつ多重配線となってしまうため、スペースを有効活用するための障害となっていた。特に、車両の周辺監視を行う場合に適用するときには、車内に張り巡らされたワイヤハーネスの空間を有効活用しようとする場合の障害となっていた。また、特に画像データというデータ量の多い処理を迅速に行う必要があるが、全カメラによる画像データを一括して取り込み、データの全てを三次元空間上の点に対応させる処理を行うため、実際には活用しないデータまで無駄に処理することになるという問題を抱えていた。
【０００６】
本発明は、上記従来の問題点に着目し、多数のカメラなど撮像手段を用いた場合でも配線スペースを小さくすることができるとともに、画像処理を無駄なく迅速に行うことができる画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像生成装置は、撮像手段配置物体に配置された１または複数の撮像手段と、該撮像手段によって撮影された撮像画像によって視点変換画像を生成する画像生成手段とを前記撮像手段配置物体に備えられたＬＡＮで接続し、前記撮像手段からの撮像画像を前記画像再生手段に対してパケット送信可能としたことを特徴としている。
【０００８】
この場合において、前記撮像手段による撮像画像にＩＤを付加するＩＤ付加手段と、生成したＩＤ付き画像をパケット化するパケット生成手段と、前記パケットの連続送信制御手段を備えた構成とすればよい。また、前記撮像手段は、撮像画像にＩＤを付して通信する通信制御手段を備えることが望ましい。
【０００９】
前記ＩＤにはタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つが含まれるようにすればよい。
また、前記視点変換画像における仮想視点の移動に応じて必要な撮像手段からの画像データパケットを優先取得する選択手段を備えるようにすればよい。更に、複数の撮像手段からの撮像画像をＩＤ情報に基づいて時系列に整理する整列手段と、それを時系列に記憶する記憶手段をもたせることができる。
【００１０】
前記視点変換画像において認識された障害物を撮像可能な撮像手段を特定し、当該撮像手段の画像データを優先的に読み出して表示手段への出力をなす制御手段を備えるようにすることができる。
【００１１】
また、本発明は、撮像手段配置物体に配置された撮像手段によって撮像された撮像画像を、三次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データに基づいて、前記三次元空間における任意の仮想視点から見た画像データを生成する視点変換手段と、前記視点変換手段によって生成された画像データに基づいて、前記三次元空間における任意の仮想視点から見た画像を表示する表示手段と、を備えた画像生成装置において、前記空間モデル、又は視点変換画像において認識された障害物を表示可能な撮像手段を特定し、当該撮像手段の撮像画像を優先的に読み出して視点変換画像を生成し、表示手段への出力をなす制御手段を備えていることを特徴とする。
【００１２】
更に、周辺状況を観察する複数台の画像撮影カメラと、前記画像撮影カメラの出力画像を加工するための画像ＣＰＵと、前記複数台のカメラと前記画像ＣＰＵが接続されたデータ伝達手段とから構成される画像生成装置装置において、前記画像ＣＰＵは前記複数のカメラのうち少なくとも１つのカメラの画像出力に基づいて以下の項目（１）〜（１０）のうち少なくとも１つ以上を可変とすることを特徴とする画像生成装置。
（１）採用する撮像手段の指定
（２）画像圧縮の有無
（３）画像圧縮率
（４）撮像手段からの出力画素数
（５）動画フレームレート
（６）仮想視点の位置、姿勢
（７）警告方法
（８）タイムトリガ若しくはイベントトリガの通信方式
（９）タイムトリガの場合の各撮像手段の割り当て時間および順序
（１０）画像以外のデータの伝送許可。
前記撮像手段配置物は、車両、建築物、人物への装着物の少なくともいずれか１つとすればよい。
【発明の効果】
【００１３】
上記構成によれば、走行車両周辺監視や、建築物の屋内各個所の監視などに際して、搭載した複数の撮像手段をＬＡＮで接続しているので、接続ケーブルが簡易化され、複数の撮像手段を用いた場合でも使用ケーブル長は短くなるとともに、多重配線となることもないので、空間を有効活用した画像生成装置とすることができる。また、各撮像手段による撮影画像を画像生成手段にパケット送信する構成となっているので、画像データをパケット単位で選択合成することができ、変換視点に対応する必要な画像データのみを選択抽出して座標変換画像により合成画像を再構築することができる。これにより無駄なデータ処理を行う必要がなくなり、膨大な画像データの活用部分だけ選択使用によるデータ変換が可能となり、処理時間を短くすることができる。特に高速移動体に搭載する場合には、合成画像の表示遅れは致命的となるのに対し、本願発明では処理能力を大幅に向上させることができる。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明に係る画像生成装置の具体的実施の形態を、図面を参照しつつ、詳細に説明する。
図１は実施形態に係る画像生成装置を車両に搭載して、車両運転時の補助のために周辺状況を監視できるように構成した場合の構成ブロック図である。図示のように、撮像手段配置物体としての車両１０の前後部には、撮像手段としてのカメラ１２が複数装備されている。図示の例では、車両１０の前部に前方カメラ群１２Ｆ（１２ＦＲ、１２ＦＣ、１２ＦＬ）が装備され、各カメラは車両前方の右側４５度の向き、中央、左側４５度の向きを撮像するようにしている。また、車両の後部にも、撮像手段としての後方カメラ群１２Ｒ（１２ＲＲ、１２ＲＣ、１２ＲＬ）が装備され、同様に各カメラは車両後方における右側４５度の向き、中央、左側４５度の向きを撮像するようにしている。
【００１５】
車両１０には、前記カメラ１２による撮影画像を、当該カメラ１２による視点とは別の任意の視点から撮影したように画像を合成する視点変換合成画像の生成／表示装置１６が装備されている。この画像生成／表示装置１６には、各カメラ１２から画像データが入力されるが、これは直接入力されるのではなく、各カメラ１２単位に設定されたバッファ装置１４を介して入力させるようにしている。これらバッファ装置１４には各カメラ１２の画像が送信されて一時的に格納されるが、送信される画像データにＩＤを付すようにしている。更に、前述した視点変換合成画像の生成／表示装置１６と前記バッファ装置１４、並びに複数のカメラ１２とはＬＡＮ回線１８により接続され、いわゆるＬＡＮ接続の構成となっている。
【００１６】
このシステムはＬＡＮ回線１８を介して各カメラ１２から撮影画像データをパケット送信するようになっており、このため、図２に示しているように、撮像手段としてのカメラに付帯しているバッファ装置１４は、撮像画像にＩＤを付加するＩＤ付加手段２４と、生成したＩＤ付き画像をパケット化するパケット生成手段２６、並びに、前記パケットの連続送信制御手段２８を備えている。特に、ＩＤ付加手段２４によって撮影画像データ単位に付加されるＩＤには、タイムスタンプ２４１、撮像手段位置姿勢情報２４２、撮像手段内部パラメータ２４３、露出情報２４４の少なくとも１つを含ませるようにしている。これによって、各カメラから送られる画像データにはＩＤが付され、かつタイムスタンプ２４１のほか、撮影情報が含まれた状態でバッファ装置１４，３２に連続的にパケット送信されるのである。
【００１７】
一方、視点変換合成画像の生成／表示装置１６における基本的な処理は、各カメラ１２の視点で撮影された画像を入力し、車両１０が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって規定し、当該規定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。
【００１８】
ところで、本実施形態の視点変換合成画像生成／表示装置１６では、設定される仮想視点によって、取得すべき画像データは一義的に決定するので、撮像手段（カメラ１２）から通信制御装置３０を介して入力される画像データパケットを視点バッファ装置３２に一旦格納し、前記視点変換画像における仮想視点の転換移動に応じて、転換仮想視点に対応する画像データを優先取得する画像選択装置３４を備えている。例えば、車両１０の上方に設定された仮想視点から車両の前方画像を合成する場合、前方カメラ群１２Ｆによる画像データが必要で、後方カメラ群１２Ｒによる画像データは不要である。そこで、仮想視点の設定に合わせて前記画像選択装置３４は画像選択コマンドを発生させ、視点バッファ装置３２から各仮想視点に対応して一時記憶されている複数の変換視点データから指定された変換視点に対応する必要データのみを取得して、空間再構成装置３６に送信するようにしている。同様に、後方表示の合成画像が必要な場合には前方カメラ群１２Ｆの画像データは不要である。この場合は画像選択装置３４によって視点バッファ装置３２から後方表示するように設定された仮想視点に対応する後方カメラ群１２Ｒから入力されているバッファデータを選択してパケット送信させればよい。
【００１９】
また、実施形態では、画像選択装置３４は、プリセットされた仮想視点単位に必要データを一時格納する視点バッファ装置３２からの画像選択とは別に、任意の仮想視点に画像を生成するために必要画像データを選択し得るように、通信制御装置３０を介してカメラ１２から直接画像データを取得できるようにしている。
【００２０】
撮像画像はＩＤ付き画像データ単位でパケット通信によってバッファ装置１４，３２に一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１６は、複数のカメラ１２からの撮像画像をＩＤ情報に基づいて時系列に整理する整列手段３８と、それを時系列に記憶する画像データ記憶装置４０を備えている。また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ２４１、撮像手段位置姿勢情報２４２、撮像手段内部パラメータ２４３、露出情報２４４の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにすればよい。
【００２１】
このようにして選択的に取り込まれた画像データの各画素は、空間再構成装置３６にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置４２に一旦記憶するようにしている。視点変換手段４３は、空間再構成装置３６によって作成された空間データを記憶装置４２から読み出し、指定された仮想視点から見た画像を再構成するのである。これは前記空間再構成装置３６にて行った処理の逆変換処理となる。これによって、新たな変換視点から見た画像が空間データ記憶装置４２から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置４４に格納した後、表示装置４６にて視点変換画像として表示されることになる。この実施形態では、前記視点変換画像における仮想視点の転換移動に応じて必要な撮像手段からの画像データパケットが視点バッファ装置３２若しくはカメラバッファ装置１４から優先取得されるので、余分なデータ処理がなくなり、本実施形態では画像合成処理速度が速くなり、即時性が要求される車両のような移動体への適用に高い効果がある。
【００２２】
車両１０のような移動体では、移動障害物がある場合、これを運転席の表示手段に迅速に表示させて回避動作をさせるよう促す必要が生じてしまうことが多い。車両１０に付帯させた障害物検出装置４８あるいはカメラに搭載した距離センサ機能を利用して障害物が認識された場合、本実施形態では、視点変換合成画像生成／表示装置１６に、優先読み出し制御手段５０を設けておき、視点変換画像において認識された障害物を表示可能な撮像手段としてのカメラ１２を特定し、当該カメラの画像データを優先的に読み出して、表示手段への出力をなすようにしている。
【００２３】
このような画像生成装置によれば、複数のカメラ１２と合成画像生成／表示装置１６とをバッファ装置１４、３２を介在させてＬＡＮ接続し、設定される仮想視点ごとに一義的に決まる必要画像データをバッファ装置１４、３２から取捨選択してパケット送信により迅速に取り込み、画像合成して表示するようにしているため、画像表示速度が速くなり、合成画像の迅速な表示ができるため、極めて優れた画像生成装置とすることができる。
【００２４】
上記構成において、合成画像生成／表示装置１６を構成している合成画像生成部は画像ＣＰＵ５２（図３参照）によって構成できるが、この画像ＣＰＵ５２が前記複数のカメラ１２のうち少なくとも１つのカメラの画像出力に基づいて、（１）採用する撮像手段の指定、（２）画像圧縮の有無、（３）画像圧縮率、（４）撮像手段からの出力画素数、（５）動画フレームレート、（６）仮想視点の位置、姿勢、（７）警告方法、（８）タイムトリガ若しくはイベントトリガの通信方式、（９）タイムトリガの場合における各撮像手段の割り当て時間および順序、（１０）画像以外のデータの伝送許可、等の処理を可変にできるようになっている。
【００２５】
この実施形態を図４を参照して説明する。この実施形態は、フレーム画像をパケット群で送信するようにした事例である。画像ＣＰＵ５２は少なくとも１つの撮像手段であるカメラ１２からの情報により、障害物を撮像している撮像手段の特定、障害物の種類や、運動の測定、認識等を行う。これらの移動体の認識等については、例えば特許文献３に示される空間モデルの生成時の障害物の認識のように、従来技術と同一の技術的手段に基づいて画像中からの物体認識の手段を用いればよい。
【００２６】
これらの認識結果（例えば、先行の車両を示す空間モデルの１部分）を撮像するカメラを、カメラパラメータから算出し、選択して、その取得画像を表示するように調整し、必要に応じて視点変換処理を行えばよい。
【００２７】
図５に他の実施形態に係るシステムブロック図を示している。このシステムは、基本的に前記実施形態と同様であるが、空間モデル生成装置やキャリブレーション装置を設けたシステム構成としている点が異なる。
【００２８】
まず、各カメラ１２による撮影画像データ単位にＩＤを付加し、タイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませるようにしている。これによって、各カメラ１２から送られる画像データにはＩＤが付され、かつタイムスタンプ、その他の撮影情報が含まれた状態でバッファ装置から視点変換合成画像生成／表示装置１６に連続的にパケット送信されるようになっている。
【００２９】
画像データ等が送られてくる視点変換画像生成／表示装置１６においては、撮像カメラ切替手段となる画像選択装置３４によって、視点変換に応じて複数のカメラ１２の切替えを行う。上述したカメラ撮像画像はＩＤ付き画像データ単位でパケット通信によってカメラバッファ１４に一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１６は、複数のカメラ１２からの撮像画像を整列手段３８によりＩＤ情報に基づいて時系列に整理して、それを時系列に記憶する実写画像データ記憶装置（画像データ記憶装置）４０を備えている。また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにしている。
【００３０】
また、当該実施形態に係るシステムを搭載した車両１０には、移動障害物までの距離を測定する測距装置６０を設けている。この測距装置６０はレーザレーダやミリ波レーダなどによる測距と、ステレオ撮像による測距とを併用した構成としても良い。レーダによる計測は送信信号と反射信号との時間差により計測する通常システムを用いれば良い。また、ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一点の対応を求め、三角測量の原理によって被写体までの距離を算出するようにすればよい。例えば、ステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像データが生成され、記憶装置６２に格納される。
【００３１】
さらに、視点変換画像生成／表示装置１６には、空間モデル生成装置６４が設けられている。空間モデル生成装置６４は、画像データ、測距装置６０による距離画像データ、キャリブレーションデータを用いて空間モデルを生成するようにしている。
【００３２】
キャリブレーション装置６６は三次元の実世界に配置された撮像手段（ステレオカメラユニット１２）についての、その三次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとして記憶装置６８に格納される。
【００３３】
したがって、前記空間モデル生成装置６４は、画像データ、距離画像データ、並びにキャリブレーションデータを用いて空間モデルを生成する。生成した空間モデルはその記憶装置７０に格納される。
選択的に取り込まれた画像データの各画素は、空間再構成装置３６にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置４２に一旦記憶するようにしている。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。
【００３４】
視点変換手段となる視点変換装置４３は、空間再構成装置３６の空間データ記憶装置４２の画像データを任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記三次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。これによって、新たな変換視点から見た画像が空間データ記憶装置４２から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置４４に格納した後、表示装置４６にて視点変換画像として表示されることになる。
【００３５】
なお、視点変換画像生成／表示装置１６には、自車モデルを記憶格納している撮像装置配置物体モデル記憶装置７２が設けられ、空間再構成する場合に自車モデルを同時に表示できるようにしている。また、視点選択装置７４が設けられており、予め規定されている設定仮想視点に対応する画像データを記憶装置７６に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置４４に送信し、画像選択装置３４にて選択コマンドが出力され、選択された仮想視点に対応する変換画像を表示させるようにしている。
【００３６】
上述の構成に加え、当該システムは物体の認識装置７８を有し、この物体認識装置７８は空間モデル（生成された三次元空間の座標データ）、撮像装置配置物体モデル７２（カメラパラメータを含む）、視点変換画像データ、距離画像データ、実写画像データなどから物体を認識し、ラベリングを施し、撮像の優先順位づけを例えば、障害物との相対ベクトルからより高速に近接していることを算出し、衝突予測度として設定し、この値を元に、撮影すべき仮想視点を選択し、画像選択装置に指示を出し、通信制御装置３０により、優先的にパケットを送信させる撮像装置を選択するようにしても良い。
【００３７】
このように、図５では装置による実現手段を開示したが、当然、これらをＣＰＵなどを用いたコンピュータ上で処理するように構成しても良く、認識された障害物の優先度を設定し、障害物撮影に採用する撮像手段を決定し、そのパケット送信の頻度を増加させるより多くの画像を送信できるようにする命令を画像ＣＰＵ５２（図１参照）は通信制御装置３０に送信する。逆に、障害物が無い画像に関しては、パケットの送信頻度を低く抑えても良い。つまり、障害物の優先度により、画像ＣＰＵ５２から指示するパケットの送信数がカメラ１２ごとに可変制御される。
【００３８】
次いで、図６に示したシステム構成について説明する。このシステムは、図５に示した構成に加え、物体認識装置７８により得られた、衝突危険度などによる障害物のラベルから、障害物のある画像を撮像している撮像装置と、障害物の無い画像を撮像している画像を判別し、通信制御装置３０に対して、画像圧縮率制御装置８０から、各撮像手段１２から出力する画像の圧縮の有無を設定する。また、上記実施例と同様ＣＰＵなどで構成されたコンピュータのプログラムとして、認識すべき障害物がない画像に関しては、画像は圧縮してパケット群として送信し、障害物がある部分に関しては、圧縮しない画像をパケット群に分割して送信する指示を画像ＣＰＵ５２は通信制御装置３０に対し送信する。つまり、圧縮の有無により、パケット数が可変制御される。
【００３９】
ところで、障害物の無い領域に関しては、圧縮率を上げて１画像を送信するのに必要なパケット数を減少させ、障害物がある部分の画像に関しては、より詳細な処理ができるよう、画像の圧縮率を低く抑え、多くのパケットを送信する指示を画像ＣＰＵ５２は通信制御装置３０に対し送信する。これにより、圧縮率の高低により、パケット数の割り当てがカメラごとに可変制御される。
【００４０】
図７に示した実施形態は、図６の構成の画像圧縮率制御装置８０を画像解像度制御装置８２に置換したものである。障害物の有無により、撮像装置ごとに、障害物が検知されている撮像装置の解像度は高く、障害物が含まれていない撮像装置は解像度を低くして、実写画像データの容量を制御し、パケット数を節約する。また、前記実施例と同様画像ＣＰＵ５２などから構成されるコンピュータのプログラムとして、障害物の有無や重要度、進行方向などにより、画像ＣＰＵ５２は画像の解像度を変えるように各カメラ１２に指示し、これにより、送信に必要となるパケット数が可変制御される。
【００４１】
第５に、図８を用いて説明する。図６の構成の画像圧縮率制御装置８２を画像フレームレート制御装置８４に置換したものである。障害物の有無により、撮像装置ごとに、障害物が検知されている撮像装置の撮像のフレームレートを高く、障害物が含まれていない撮像装置は撮像のフレームレートを低くして、実写画像データの容量を制御し、パケット数を節約する。また、前記実施例と同様ＣＰＵなどから構成されるコンピュータのプログラムとして、カメラ１２の動画フレームレートの設定を画像ＣＰＵ５２により各カメラ１２に指示し、通信に割り当てるパケットを増減させる。
【００４２】
上記説明では、主に障害物の有無で通信パケットの増減にかかわるパラメータを変更したが、障害物の相対速度、すなわち、より近接してくる度合いが強い障害物が含まれるカメラを優先するようにパケット送信の割り当てを制御しても良いし、車両の進行方向の前方カメラ群１２Ｆを優先する、ウインカや、ハンドル舵角によりカメラへのパケット数の割り当てを増加させても良い。
【００４３】
また、注目する障害物などの位置や運転状況を画像ＣＰＵ５２で認識し、仮想視点の位置、姿勢を、より、それらの障害物の位置にあった位置に変更するように指示するようにする。
【００４４】
少なくとも１つのカメラ１２の画像から判断した障害物の種類や、経路予測を画像ＣＰＵ５２が実施し、その結果を元に、衝突警報を出すのか、近接警告を出すのか、警告を出さないのかなどの指示を表示装置４６に提示するためのパケット情報の送信頻度を制御する。
【００４５】
少なくとも１つのカメラ１２から得られた画像により、そのカメラからの画像の送信を、定期的にパケット群として画像を送信するモード（タイムトリガ）とするのか、カメラ１２の画像に変化が生じたことを検出し、その検出に応じて送信するモード（イベントトリガ）とするのかの切替を実施する。
前記タイムトリガの場合に、そのカメラへの送信パケット数の割り当てを増減、パケットの送信許可を切り替えるように画像ＣＰＵ５２から指示を出す。
【００４６】
車載ＬＡＮにはカメラ情報以外にも、車両の運転制御に関する情報や、エアコンや防曇装置の制御、カーオーディオの制御情報や、ストリーミング情報、画像以外のセンサからの入力情報などがパケットとして流れている。これらの情報のパケット送信の許可情報を、例えば、障害物が検出されていない場合は、オーディオのストリーミングを送信しても良いが、運転状況が危険な状況になったときには、障害物を捕らえているカメラのパケットの送信を優先するように切り替えるなどの指示を画像ＣＰＵ５２から、各種ＬＡＮ接続された運転制御装置５４、空調制御装置５６などの車載機器の通信制御装置に送信し、パケットの送信を制御する（図１参照）。
【００４７】
これらのように、車載ＬＡＮにながすパケット量を画像ＣＰＵ５２の指示により増減させることで、パケットの緊急度や、全体のトラフィックとのバランスを考慮してより効率的な情報の伝達ができるように制御する。
これらのＬＡＮ回線に流す情報量、すなわち本実施の形態ではパケット量、装置ごとのパケット数の割り当てをカメラ１２からの情報を元に変更する。
例えば、図４に示すように、カメラ群１２ＦがＬＡＮ回線１８に接続されているとすると、障害物５８を捕らえているカメラ１２ＦＣからのパケットを優先して送信するようにする。
【００４８】
図４では、１つのカメラからのパケットを増やすように記載しているが、もちろん、複数のカメラ画像から仮想視点画像を生成する場合には、必要なカメラを複数選択し、それらからのパケット量を同等に加減するように制御するようにする。これにより、省配線のＬＡＮ回線１８に対して、効率的に、情報の伝達を割り振って必要な情報を優先して視点変換画像生成装置に送信することが可能となる。
【００４９】
なお、上記実施形態においては、車両１０への適用例を説明したが、これは建築物内部の監視空間、例えば店舗の監視、不在室内の監視、路上の監視などのために建築物に設備することも可能である。更に、車椅子などへの適用、あるいは人の衣服その他の装着物へ装備して移動空間周辺の監視に利用することも可能である。
【産業上の利用可能性】
【００５０】
本発明に係る画像生成方法および装置は、車両の運転席に装備した表示装置に車両外部の周辺情報をカメラ視点とは異なった仮想の視点から見た画像として表示させることができ、また安全警備のための監視装置として利用することができる。
【図面の簡単な説明】
【００５１】
【図１】実施形態に係る画像生成装置を車両に装備した場合の構成ブロック図である。
【図２】撮像手段としてのカメラ構成のブロック図である。
【図３】画像生成／表示装置のブロック図である。
【図４】第２実施形態に係る画像生成装置の作用の説明図である。
【図５】第３実施形態に係る画像生成装置のシステムブロック図である。
【図６】第４実施形態に係る画像生成装置のシステムブロック図である。
【図７】第５実施形態に係る画像生成装置のシステムブロック図である。
【図８】第６実施形態に係る画像生成装置のシステムブロック図である。
【符号の説明】
【００５２】
１０………車両、１２………カメラ、１２Ｆ………前方カメラ群、１２Ｒ………後方カメラ群、１４………カメラバッファ装置、１６………合成画像生成／表示装置、１８………ＬＡＮ回線、２４………ＩＤ付加手段、２４１………タイムスタンプ、２４２………撮像手段位置姿勢情報、２４３………撮像手段内部パラメータ、２４４………露出情報、２６………パケット生成手段、２８………連続送信制御手段、３０………通信制御装置、３２………視点バッファ装置、３４………画像選択装置、３６………空間再構成装置、３８………整列手段、４０………画像データ記憶装置、４２………空間データ記憶装置、４３………視点変換手段、４４………視点変換画像データ記憶装置、４６………表示装置、４８………障害物検出手段、５０………優先読み出し制御手段、５２………画像ＣＰＵ、５４………運転制御装置、５６………空調制御装置、５８………障害物、６０………測距装置、６２………距離画像データ記憶装置、６４………空間モデル生成装置、６６………キャリブレーション装置、６８………キャリブレーションデータ記憶装置、７０………空間モデル記憶装置、７２………撮像装置配置物体モデル、７４………視点選択装置、７６………仮想視点データ記憶装置、７８………物体認識装置、８０………画像圧縮率制御装置、８２………画像解像度圧縮装置、８４………画像フレームレート制御装置。
【技術分野】
【０００１】
本発明は画像生成装置に係り、特に複数の撮像手段で撮像した画像を元にして、前記撮像手段とは別の視点からあたかも実際に撮影したかのように視点を変更した画像として合成表示させるための技術に関する。
【背景技術】
【０００２】
一般に、監視カメラ等によって監視する場合、カメラ単位の撮像画像をモニタ上に表示するような構成が採られ、監視領域の所望の箇所に取り付けられたカメラからの撮影画像を監視室に配列された複数モニタにて表示させるようにしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。
【０００３】
しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗いため、表示画像が見にくく、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１に示されているように、複数のカメラ画像を１つのモニタに分割表示するものや、特許文献２に示されているように、複数のカメラを撮影画像の一部が相互に重なるように配置しておき、重なり合う部分で画像を結合して１つの画像に合成するものがある。また、特許文献３に示されているように、複数のカメラによる画像を座標変換して１枚の画像に合成して、任意の視点による合成画像を表示するようにしたものである。
【０００４】
また、特許文献３に開示されている方法では、複数のカメラによる画像のデータを、一元的に取り込み、あらかじめレーザレーダや、ミリ波レーダー、ステレオカメラによる三角測量などにより生成した三次元の空間モデルを生成し、ここに、この取得した画像データをカメラパラメータに基づいて、カメラからの入力画像を構成する各画素の情報を対応付けてマッピングを行い、空間データを作成する。このようにして、独立したすべてのカメラからの画像を１つの三次元空間内の点として対応付けた後に、現実のカメラの視点では無く任意の仮想の視点からみた視点変換画像を生成して表示する。このような視点変換画像表示方法によれば、画像精度を低下させることなく監視領域の全体が１つの任意の視点で表示され、監視したい領域を任意の視点で確認できる利点がある。
【特許文献１】特開平０５−３１００７８号公報
【特許文献２】特開平１０−１６４５６６号公報
【特許文献３】特許３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、カメラからの画像データの入力は画像演算処理部で一括して行うため、配線が長く、かつ多重配線となってしまうため、スペースを有効活用するための障害となっていた。特に、車両の周辺監視を行う場合に適用するときには、車内に張り巡らされたワイヤハーネスの空間を有効活用しようとする場合の障害となっていた。また、特に画像データというデータ量の多い処理を迅速に行う必要があるが、全カメラによる画像データを一括して取り込み、データの全てを三次元空間上の点に対応させる処理を行うため、実際には活用しないデータまで無駄に処理することになるという問題を抱えていた。
【０００６】
本発明は、上記従来の問題点に着目し、多数のカメラなど撮像手段を用いた場合でも配線スペースを小さくすることができるとともに、画像処理を無駄なく迅速に行うことができる画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像生成装置は、撮像手段配置物体に配置された１または複数の撮像手段と、該撮像手段によって撮影された撮像画像によって視点変換画像を生成する画像生成手段とを前記撮像手段配置物体に備えられたＬＡＮで接続し、前記撮像手段からの撮像画像を前記画像再生手段に対してパケット送信可能としたことを特徴としている。
【０００８】
この場合において、前記撮像手段による撮像画像にＩＤを付加するＩＤ付加手段と、生成したＩＤ付き画像をパケット化するパケット生成手段と、前記パケットの連続送信制御手段を備えた構成とすればよい。また、前記撮像手段は、撮像画像にＩＤを付して通信する通信制御手段を備えることが望ましい。
【０００９】
前記ＩＤにはタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つが含まれるようにすればよい。
また、前記視点変換画像における仮想視点の移動に応じて必要な撮像手段からの画像データパケットを優先取得する選択手段を備えるようにすればよい。更に、複数の撮像手段からの撮像画像をＩＤ情報に基づいて時系列に整理する整列手段と、それを時系列に記憶する記憶手段をもたせることができる。
【００１０】
前記視点変換画像において認識された障害物を撮像可能な撮像手段を特定し、当該撮像手段の画像データを優先的に読み出して表示手段への出力をなす制御手段を備えるようにすることができる。
【００１１】
また、本発明は、撮像手段配置物体に配置された撮像手段によって撮像された撮像画像を、三次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データに基づいて、前記三次元空間における任意の仮想視点から見た画像データを生成する視点変換手段と、前記視点変換手段によって生成された画像データに基づいて、前記三次元空間における任意の仮想視点から見た画像を表示する表示手段と、を備えた画像生成装置において、前記空間モデル、又は視点変換画像において認識された障害物を表示可能な撮像手段を特定し、当該撮像手段の撮像画像を優先的に読み出して視点変換画像を生成し、表示手段への出力をなす制御手段を備えていることを特徴とする。
【００１２】
更に、周辺状況を観察する複数台の画像撮影カメラと、前記画像撮影カメラの出力画像を加工するための画像ＣＰＵと、前記複数台のカメラと前記画像ＣＰＵが接続されたデータ伝達手段とから構成される画像生成装置装置において、前記画像ＣＰＵは前記複数のカメラのうち少なくとも１つのカメラの画像出力に基づいて以下の項目（１）〜（１０）のうち少なくとも１つ以上を可変とすることを特徴とする画像生成装置。
（１）採用する撮像手段の指定
（２）画像圧縮の有無
（３）画像圧縮率
（４）撮像手段からの出力画素数
（５）動画フレームレート
（６）仮想視点の位置、姿勢
（７）警告方法
（８）タイムトリガ若しくはイベントトリガの通信方式
（９）タイムトリガの場合の各撮像手段の割り当て時間および順序
（１０）画像以外のデータの伝送許可。
前記撮像手段配置物は、車両、建築物、人物への装着物の少なくともいずれか１つとすればよい。
【発明の効果】
【００１３】
上記構成によれば、走行車両周辺監視や、建築物の屋内各個所の監視などに際して、搭載した複数の撮像手段をＬＡＮで接続しているので、接続ケーブルが簡易化され、複数の撮像手段を用いた場合でも使用ケーブル長は短くなるとともに、多重配線となることもないので、空間を有効活用した画像生成装置とすることができる。また、各撮像手段による撮影画像を画像生成手段にパケット送信する構成となっているので、画像データをパケット単位で選択合成することができ、変換視点に対応する必要な画像データのみを選択抽出して座標変換画像により合成画像を再構築することができる。これにより無駄なデータ処理を行う必要がなくなり、膨大な画像データの活用部分だけ選択使用によるデータ変換が可能となり、処理時間を短くすることができる。特に高速移動体に搭載する場合には、合成画像の表示遅れは致命的となるのに対し、本願発明では処理能力を大幅に向上させることができる。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明に係る画像生成装置の具体的実施の形態を、図面を参照しつつ、詳細に説明する。
図１は実施形態に係る画像生成装置を車両に搭載して、車両運転時の補助のために周辺状況を監視できるように構成した場合の構成ブロック図である。図示のように、撮像手段配置物体としての車両１０の前後部には、撮像手段としてのカメラ１２が複数装備されている。図示の例では、車両１０の前部に前方カメラ群１２Ｆ（１２ＦＲ、１２ＦＣ、１２ＦＬ）が装備され、各カメラは車両前方の右側４５度の向き、中央、左側４５度の向きを撮像するようにしている。また、車両の後部にも、撮像手段としての後方カメラ群１２Ｒ（１２ＲＲ、１２ＲＣ、１２ＲＬ）が装備され、同様に各カメラは車両後方における右側４５度の向き、中央、左側４５度の向きを撮像するようにしている。
【００１５】
車両１０には、前記カメラ１２による撮影画像を、当該カメラ１２による視点とは別の任意の視点から撮影したように画像を合成する視点変換合成画像の生成／表示装置１６が装備されている。この画像生成／表示装置１６には、各カメラ１２から画像データが入力されるが、これは直接入力されるのではなく、各カメラ１２単位に設定されたバッファ装置１４を介して入力させるようにしている。これらバッファ装置１４には各カメラ１２の画像が送信されて一時的に格納されるが、送信される画像データにＩＤを付すようにしている。更に、前述した視点変換合成画像の生成／表示装置１６と前記バッファ装置１４、並びに複数のカメラ１２とはＬＡＮ回線１８により接続され、いわゆるＬＡＮ接続の構成となっている。
【００１６】
このシステムはＬＡＮ回線１８を介して各カメラ１２から撮影画像データをパケット送信するようになっており、このため、図２に示しているように、撮像手段としてのカメラに付帯しているバッファ装置１４は、撮像画像にＩＤを付加するＩＤ付加手段２４と、生成したＩＤ付き画像をパケット化するパケット生成手段２６、並びに、前記パケットの連続送信制御手段２８を備えている。特に、ＩＤ付加手段２４によって撮影画像データ単位に付加されるＩＤには、タイムスタンプ２４１、撮像手段位置姿勢情報２４２、撮像手段内部パラメータ２４３、露出情報２４４の少なくとも１つを含ませるようにしている。これによって、各カメラから送られる画像データにはＩＤが付され、かつタイムスタンプ２４１のほか、撮影情報が含まれた状態でバッファ装置１４，３２に連続的にパケット送信されるのである。
【００１７】
一方、視点変換合成画像の生成／表示装置１６における基本的な処理は、各カメラ１２の視点で撮影された画像を入力し、車両１０が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって規定し、当該規定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。
【００１８】
ところで、本実施形態の視点変換合成画像生成／表示装置１６では、設定される仮想視点によって、取得すべき画像データは一義的に決定するので、撮像手段（カメラ１２）から通信制御装置３０を介して入力される画像データパケットを視点バッファ装置３２に一旦格納し、前記視点変換画像における仮想視点の転換移動に応じて、転換仮想視点に対応する画像データを優先取得する画像選択装置３４を備えている。例えば、車両１０の上方に設定された仮想視点から車両の前方画像を合成する場合、前方カメラ群１２Ｆによる画像データが必要で、後方カメラ群１２Ｒによる画像データは不要である。そこで、仮想視点の設定に合わせて前記画像選択装置３４は画像選択コマンドを発生させ、視点バッファ装置３２から各仮想視点に対応して一時記憶されている複数の変換視点データから指定された変換視点に対応する必要データのみを取得して、空間再構成装置３６に送信するようにしている。同様に、後方表示の合成画像が必要な場合には前方カメラ群１２Ｆの画像データは不要である。この場合は画像選択装置３４によって視点バッファ装置３２から後方表示するように設定された仮想視点に対応する後方カメラ群１２Ｒから入力されているバッファデータを選択してパケット送信させればよい。
【００１９】
また、実施形態では、画像選択装置３４は、プリセットされた仮想視点単位に必要データを一時格納する視点バッファ装置３２からの画像選択とは別に、任意の仮想視点に画像を生成するために必要画像データを選択し得るように、通信制御装置３０を介してカメラ１２から直接画像データを取得できるようにしている。
【００２０】
撮像画像はＩＤ付き画像データ単位でパケット通信によってバッファ装置１４，３２に一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１６は、複数のカメラ１２からの撮像画像をＩＤ情報に基づいて時系列に整理する整列手段３８と、それを時系列に記憶する画像データ記憶装置４０を備えている。また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ２４１、撮像手段位置姿勢情報２４２、撮像手段内部パラメータ２４３、露出情報２４４の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにすればよい。
【００２１】
このようにして選択的に取り込まれた画像データの各画素は、空間再構成装置３６にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置４２に一旦記憶するようにしている。視点変換手段４３は、空間再構成装置３６によって作成された空間データを記憶装置４２から読み出し、指定された仮想視点から見た画像を再構成するのである。これは前記空間再構成装置３６にて行った処理の逆変換処理となる。これによって、新たな変換視点から見た画像が空間データ記憶装置４２から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置４４に格納した後、表示装置４６にて視点変換画像として表示されることになる。この実施形態では、前記視点変換画像における仮想視点の転換移動に応じて必要な撮像手段からの画像データパケットが視点バッファ装置３２若しくはカメラバッファ装置１４から優先取得されるので、余分なデータ処理がなくなり、本実施形態では画像合成処理速度が速くなり、即時性が要求される車両のような移動体への適用に高い効果がある。
【００２２】
車両１０のような移動体では、移動障害物がある場合、これを運転席の表示手段に迅速に表示させて回避動作をさせるよう促す必要が生じてしまうことが多い。車両１０に付帯させた障害物検出装置４８あるいはカメラに搭載した距離センサ機能を利用して障害物が認識された場合、本実施形態では、視点変換合成画像生成／表示装置１６に、優先読み出し制御手段５０を設けておき、視点変換画像において認識された障害物を表示可能な撮像手段としてのカメラ１２を特定し、当該カメラの画像データを優先的に読み出して、表示手段への出力をなすようにしている。
【００２３】
このような画像生成装置によれば、複数のカメラ１２と合成画像生成／表示装置１６とをバッファ装置１４、３２を介在させてＬＡＮ接続し、設定される仮想視点ごとに一義的に決まる必要画像データをバッファ装置１４、３２から取捨選択してパケット送信により迅速に取り込み、画像合成して表示するようにしているため、画像表示速度が速くなり、合成画像の迅速な表示ができるため、極めて優れた画像生成装置とすることができる。
【００２４】
上記構成において、合成画像生成／表示装置１６を構成している合成画像生成部は画像ＣＰＵ５２（図３参照）によって構成できるが、この画像ＣＰＵ５２が前記複数のカメラ１２のうち少なくとも１つのカメラの画像出力に基づいて、（１）採用する撮像手段の指定、（２）画像圧縮の有無、（３）画像圧縮率、（４）撮像手段からの出力画素数、（５）動画フレームレート、（６）仮想視点の位置、姿勢、（７）警告方法、（８）タイムトリガ若しくはイベントトリガの通信方式、（９）タイムトリガの場合における各撮像手段の割り当て時間および順序、（１０）画像以外のデータの伝送許可、等の処理を可変にできるようになっている。
【００２５】
この実施形態を図４を参照して説明する。この実施形態は、フレーム画像をパケット群で送信するようにした事例である。画像ＣＰＵ５２は少なくとも１つの撮像手段であるカメラ１２からの情報により、障害物を撮像している撮像手段の特定、障害物の種類や、運動の測定、認識等を行う。これらの移動体の認識等については、例えば特許文献３に示される空間モデルの生成時の障害物の認識のように、従来技術と同一の技術的手段に基づいて画像中からの物体認識の手段を用いればよい。
【００２６】
これらの認識結果（例えば、先行の車両を示す空間モデルの１部分）を撮像するカメラを、カメラパラメータから算出し、選択して、その取得画像を表示するように調整し、必要に応じて視点変換処理を行えばよい。
【００２７】
図５に他の実施形態に係るシステムブロック図を示している。このシステムは、基本的に前記実施形態と同様であるが、空間モデル生成装置やキャリブレーション装置を設けたシステム構成としている点が異なる。
【００２８】
まず、各カメラ１２による撮影画像データ単位にＩＤを付加し、タイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませるようにしている。これによって、各カメラ１２から送られる画像データにはＩＤが付され、かつタイムスタンプ、その他の撮影情報が含まれた状態でバッファ装置から視点変換合成画像生成／表示装置１６に連続的にパケット送信されるようになっている。
【００２９】
画像データ等が送られてくる視点変換画像生成／表示装置１６においては、撮像カメラ切替手段となる画像選択装置３４によって、視点変換に応じて複数のカメラ１２の切替えを行う。上述したカメラ撮像画像はＩＤ付き画像データ単位でパケット通信によってカメラバッファ１４に一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１６は、複数のカメラ１２からの撮像画像を整列手段３８によりＩＤ情報に基づいて時系列に整理して、それを時系列に記憶する実写画像データ記憶装置（画像データ記憶装置）４０を備えている。また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにしている。
【００３０】
また、当該実施形態に係るシステムを搭載した車両１０には、移動障害物までの距離を測定する測距装置６０を設けている。この測距装置６０はレーザレーダやミリ波レーダなどによる測距と、ステレオ撮像による測距とを併用した構成としても良い。レーダによる計測は送信信号と反射信号との時間差により計測する通常システムを用いれば良い。また、ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一点の対応を求め、三角測量の原理によって被写体までの距離を算出するようにすればよい。例えば、ステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像データが生成され、記憶装置６２に格納される。
【００３１】
さらに、視点変換画像生成／表示装置１６には、空間モデル生成装置６４が設けられている。空間モデル生成装置６４は、画像データ、測距装置６０による距離画像データ、キャリブレーションデータを用いて空間モデルを生成するようにしている。
【００３２】
キャリブレーション装置６６は三次元の実世界に配置された撮像手段（ステレオカメラユニット１２）についての、その三次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとして記憶装置６８に格納される。
【００３３】
したがって、前記空間モデル生成装置６４は、画像データ、距離画像データ、並びにキャリブレーションデータを用いて空間モデルを生成する。生成した空間モデルはその記憶装置７０に格納される。
選択的に取り込まれた画像データの各画素は、空間再構成装置３６にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置４２に一旦記憶するようにしている。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。
【００３４】
視点変換手段となる視点変換装置４３は、空間再構成装置３６の空間データ記憶装置４２の画像データを任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記三次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。これによって、新たな変換視点から見た画像が空間データ記憶装置４２から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置４４に格納した後、表示装置４６にて視点変換画像として表示されることになる。
【００３５】
なお、視点変換画像生成／表示装置１６には、自車モデルを記憶格納している撮像装置配置物体モデル記憶装置７２が設けられ、空間再構成する場合に自車モデルを同時に表示できるようにしている。また、視点選択装置７４が設けられており、予め規定されている設定仮想視点に対応する画像データを記憶装置７６に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置４４に送信し、画像選択装置３４にて選択コマンドが出力され、選択された仮想視点に対応する変換画像を表示させるようにしている。
【００３６】
上述の構成に加え、当該システムは物体の認識装置７８を有し、この物体認識装置７８は空間モデル（生成された三次元空間の座標データ）、撮像装置配置物体モデル７２（カメラパラメータを含む）、視点変換画像データ、距離画像データ、実写画像データなどから物体を認識し、ラベリングを施し、撮像の優先順位づけを例えば、障害物との相対ベクトルからより高速に近接していることを算出し、衝突予測度として設定し、この値を元に、撮影すべき仮想視点を選択し、画像選択装置に指示を出し、通信制御装置３０により、優先的にパケットを送信させる撮像装置を選択するようにしても良い。
【００３７】
このように、図５では装置による実現手段を開示したが、当然、これらをＣＰＵなどを用いたコンピュータ上で処理するように構成しても良く、認識された障害物の優先度を設定し、障害物撮影に採用する撮像手段を決定し、そのパケット送信の頻度を増加させるより多くの画像を送信できるようにする命令を画像ＣＰＵ５２（図１参照）は通信制御装置３０に送信する。逆に、障害物が無い画像に関しては、パケットの送信頻度を低く抑えても良い。つまり、障害物の優先度により、画像ＣＰＵ５２から指示するパケットの送信数がカメラ１２ごとに可変制御される。
【００３８】
次いで、図６に示したシステム構成について説明する。このシステムは、図５に示した構成に加え、物体認識装置７８により得られた、衝突危険度などによる障害物のラベルから、障害物のある画像を撮像している撮像装置と、障害物の無い画像を撮像している画像を判別し、通信制御装置３０に対して、画像圧縮率制御装置８０から、各撮像手段１２から出力する画像の圧縮の有無を設定する。また、上記実施例と同様ＣＰＵなどで構成されたコンピュータのプログラムとして、認識すべき障害物がない画像に関しては、画像は圧縮してパケット群として送信し、障害物がある部分に関しては、圧縮しない画像をパケット群に分割して送信する指示を画像ＣＰＵ５２は通信制御装置３０に対し送信する。つまり、圧縮の有無により、パケット数が可変制御される。
【００３９】
ところで、障害物の無い領域に関しては、圧縮率を上げて１画像を送信するのに必要なパケット数を減少させ、障害物がある部分の画像に関しては、より詳細な処理ができるよう、画像の圧縮率を低く抑え、多くのパケットを送信する指示を画像ＣＰＵ５２は通信制御装置３０に対し送信する。これにより、圧縮率の高低により、パケット数の割り当てがカメラごとに可変制御される。
【００４０】
図７に示した実施形態は、図６の構成の画像圧縮率制御装置８０を画像解像度制御装置８２に置換したものである。障害物の有無により、撮像装置ごとに、障害物が検知されている撮像装置の解像度は高く、障害物が含まれていない撮像装置は解像度を低くして、実写画像データの容量を制御し、パケット数を節約する。また、前記実施例と同様画像ＣＰＵ５２などから構成されるコンピュータのプログラムとして、障害物の有無や重要度、進行方向などにより、画像ＣＰＵ５２は画像の解像度を変えるように各カメラ１２に指示し、これにより、送信に必要となるパケット数が可変制御される。
【００４１】
第５に、図８を用いて説明する。図６の構成の画像圧縮率制御装置８２を画像フレームレート制御装置８４に置換したものである。障害物の有無により、撮像装置ごとに、障害物が検知されている撮像装置の撮像のフレームレートを高く、障害物が含まれていない撮像装置は撮像のフレームレートを低くして、実写画像データの容量を制御し、パケット数を節約する。また、前記実施例と同様ＣＰＵなどから構成されるコンピュータのプログラムとして、カメラ１２の動画フレームレートの設定を画像ＣＰＵ５２により各カメラ１２に指示し、通信に割り当てるパケットを増減させる。
【００４２】
上記説明では、主に障害物の有無で通信パケットの増減にかかわるパラメータを変更したが、障害物の相対速度、すなわち、より近接してくる度合いが強い障害物が含まれるカメラを優先するようにパケット送信の割り当てを制御しても良いし、車両の進行方向の前方カメラ群１２Ｆを優先する、ウインカや、ハンドル舵角によりカメラへのパケット数の割り当てを増加させても良い。
【００４３】
また、注目する障害物などの位置や運転状況を画像ＣＰＵ５２で認識し、仮想視点の位置、姿勢を、より、それらの障害物の位置にあった位置に変更するように指示するようにする。
【００４４】
少なくとも１つのカメラ１２の画像から判断した障害物の種類や、経路予測を画像ＣＰＵ５２が実施し、その結果を元に、衝突警報を出すのか、近接警告を出すのか、警告を出さないのかなどの指示を表示装置４６に提示するためのパケット情報の送信頻度を制御する。
【００４５】
少なくとも１つのカメラ１２から得られた画像により、そのカメラからの画像の送信を、定期的にパケット群として画像を送信するモード（タイムトリガ）とするのか、カメラ１２の画像に変化が生じたことを検出し、その検出に応じて送信するモード（イベントトリガ）とするのかの切替を実施する。
前記タイムトリガの場合に、そのカメラへの送信パケット数の割り当てを増減、パケットの送信許可を切り替えるように画像ＣＰＵ５２から指示を出す。
【００４６】
車載ＬＡＮにはカメラ情報以外にも、車両の運転制御に関する情報や、エアコンや防曇装置の制御、カーオーディオの制御情報や、ストリーミング情報、画像以外のセンサからの入力情報などがパケットとして流れている。これらの情報のパケット送信の許可情報を、例えば、障害物が検出されていない場合は、オーディオのストリーミングを送信しても良いが、運転状況が危険な状況になったときには、障害物を捕らえているカメラのパケットの送信を優先するように切り替えるなどの指示を画像ＣＰＵ５２から、各種ＬＡＮ接続された運転制御装置５４、空調制御装置５６などの車載機器の通信制御装置に送信し、パケットの送信を制御する（図１参照）。
【００４７】
これらのように、車載ＬＡＮにながすパケット量を画像ＣＰＵ５２の指示により増減させることで、パケットの緊急度や、全体のトラフィックとのバランスを考慮してより効率的な情報の伝達ができるように制御する。
これらのＬＡＮ回線に流す情報量、すなわち本実施の形態ではパケット量、装置ごとのパケット数の割り当てをカメラ１２からの情報を元に変更する。
例えば、図４に示すように、カメラ群１２ＦがＬＡＮ回線１８に接続されているとすると、障害物５８を捕らえているカメラ１２ＦＣからのパケットを優先して送信するようにする。
【００４８】
図４では、１つのカメラからのパケットを増やすように記載しているが、もちろん、複数のカメラ画像から仮想視点画像を生成する場合には、必要なカメラを複数選択し、それらからのパケット量を同等に加減するように制御するようにする。これにより、省配線のＬＡＮ回線１８に対して、効率的に、情報の伝達を割り振って必要な情報を優先して視点変換画像生成装置に送信することが可能となる。
【００４９】
なお、上記実施形態においては、車両１０への適用例を説明したが、これは建築物内部の監視空間、例えば店舗の監視、不在室内の監視、路上の監視などのために建築物に設備することも可能である。更に、車椅子などへの適用、あるいは人の衣服その他の装着物へ装備して移動空間周辺の監視に利用することも可能である。
【産業上の利用可能性】
【００５０】
本発明に係る画像生成方法および装置は、車両の運転席に装備した表示装置に車両外部の周辺情報をカメラ視点とは異なった仮想の視点から見た画像として表示させることができ、また安全警備のための監視装置として利用することができる。
【図面の簡単な説明】
【００５１】
【図１】実施形態に係る画像生成装置を車両に装備した場合の構成ブロック図である。
【図２】撮像手段としてのカメラ構成のブロック図である。
【図３】画像生成／表示装置のブロック図である。
【図４】第２実施形態に係る画像生成装置の作用の説明図である。
【図５】第３実施形態に係る画像生成装置のシステムブロック図である。
【図６】第４実施形態に係る画像生成装置のシステムブロック図である。
【図７】第５実施形態に係る画像生成装置のシステムブロック図である。
【図８】第６実施形態に係る画像生成装置のシステムブロック図である。
【符号の説明】
【００５２】
１０………車両、１２………カメラ、１２Ｆ………前方カメラ群、１２Ｒ………後方カメラ群、１４………カメラバッファ装置、１６………合成画像生成／表示装置、１８………ＬＡＮ回線、２４………ＩＤ付加手段、２４１………タイムスタンプ、２４２………撮像手段位置姿勢情報、２４３………撮像手段内部パラメータ、２４４………露出情報、２６………パケット生成手段、２８………連続送信制御手段、３０………通信制御装置、３２………視点バッファ装置、３４………画像選択装置、３６………空間再構成装置、３８………整列手段、４０………画像データ記憶装置、４２………空間データ記憶装置、４３………視点変換手段、４４………視点変換画像データ記憶装置、４６………表示装置、４８………障害物検出手段、５０………優先読み出し制御手段、５２………画像ＣＰＵ、５４………運転制御装置、５６………空調制御装置、５８………障害物、６０………測距装置、６２………距離画像データ記憶装置、６４………空間モデル生成装置、６６………キャリブレーション装置、６８………キャリブレーションデータ記憶装置、７０………空間モデル記憶装置、７２………撮像装置配置物体モデル、７４………視点選択装置、７６………仮想視点データ記憶装置、７８………物体認識装置、８０………画像圧縮率制御装置、８２………画像解像度圧縮装置、８４………画像フレームレート制御装置。
【特許請求の範囲】
【請求項１】
撮像手段配置物体に配置された１または複数の撮像手段と、該撮像手段によって撮影された撮像画像によって視点変換画像を生成する画像生成手段とを前記撮像手段配置物体に備えられたＬＡＮで接続し、前記撮像手段からの撮像画像を前記画像再生手段に対してパケット送信可能としたことを特徴とする画像生成装置。
【請求項２】
前記撮像手段による撮像画像にＩＤを付加するＩＤ付加手段と、生成したＩＤ付き画像をパケット化するパケット生成手段と、前記パケットの連続送信制御手段を備えてなることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記撮像手段は、撮像画像にＩＤを付して通信する通信制御手段を備えてなることを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記ＩＤにはタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つが含まれていることを特徴とする請求項２又は３に記載の画像生成装置。
【請求項５】
前記視点変換画像における仮想視点の移動に応じて必要な撮像手段からの画像データパケットを優先取得する選択手段を備えてなることを特徴とする請求項１に記載の画像生成装置。
【請求項６】
複数の撮像手段からの撮像画像をＩＤ情報に基づいて時系列に整理する整列手段と、それを時系列に記憶する記憶手段をもつことを特徴とする請求項１に記載の画像生成装置。
【請求項７】
前記視点変換画像において認識された障害物を撮像可能な撮像手段を特定し、当該撮像手段の画像データを優先的に読み出して表示手段への出力をなす制御手段を備えていることを特徴とする請求項１に記載の画像生成装置。
【請求項８】
撮像手段配置物体に配置された撮像手段によって撮像された撮像画像を、三次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データに基づいて、前記三次元空間における任意の仮想視点から見た画像データを生成する視点変換手段と、前記視点変換手段によって生成された画像データに基づいて、前記三次元空間における任意の仮想視点から見た画像を表示する表示手段と、を備えた画像生成装置において、
前記空間モデル、又は視点変換画像において認識された障害物を表示可能な撮像手段を特定し、当該撮像手段の撮像画像を優先的に読み出して視点変換画像を生成し、表示手段への出力をなす制御手段を備えていることを特徴とする画像生成装置。
【請求項９】
周辺状況を観察する複数台の画像撮影カメラと、前記画像撮影カメラの出力画像を加工するための画像ＣＰＵと、前記複数台のカメラと前記画像ＣＰＵが接続されたデータ伝達手段とから構成される画像生成装置において、前記画像ＣＰＵは前記複数のカメラのうち少なくとも１つのカメラの画像出力に基づいて以下の項目のうち少なくとも１つ以上を可変とすることを特徴とする画像生成装置。
（１）採用する撮像手段の指定
（２）画像圧縮の有無
（３）画像圧縮率
（４）撮像手段からの出力画素数
（５）動画フレームレート
（６）仮想視点の位置、姿勢
（７）警告方法
（８）タイムトリガ若しくはイベントトリガの通信方式
（９）タイムトリガの場合の各撮像手段の割り当て時間および順序
（１０）画像以外のデータの伝送許可。
【請求項１０】
前記撮像手段配置物は、車両、建築物、人物への装着物の少なくともいずれか１つであることを特徴とする請求項１または８に記載の画像生成装置。
【請求項１】
撮像手段配置物体に配置された１または複数の撮像手段と、該撮像手段によって撮影された撮像画像によって視点変換画像を生成する画像生成手段とを前記撮像手段配置物体に備えられたＬＡＮで接続し、前記撮像手段からの撮像画像を前記画像再生手段に対してパケット送信可能としたことを特徴とする画像生成装置。
【請求項２】
前記撮像手段による撮像画像にＩＤを付加するＩＤ付加手段と、生成したＩＤ付き画像をパケット化するパケット生成手段と、前記パケットの連続送信制御手段を備えてなることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記撮像手段は、撮像画像にＩＤを付して通信する通信制御手段を備えてなることを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記ＩＤにはタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つが含まれていることを特徴とする請求項２又は３に記載の画像生成装置。
【請求項５】
前記視点変換画像における仮想視点の移動に応じて必要な撮像手段からの画像データパケットを優先取得する選択手段を備えてなることを特徴とする請求項１に記載の画像生成装置。
【請求項６】
複数の撮像手段からの撮像画像をＩＤ情報に基づいて時系列に整理する整列手段と、それを時系列に記憶する記憶手段をもつことを特徴とする請求項１に記載の画像生成装置。
【請求項７】
前記視点変換画像において認識された障害物を撮像可能な撮像手段を特定し、当該撮像手段の画像データを優先的に読み出して表示手段への出力をなす制御手段を備えていることを特徴とする請求項１に記載の画像生成装置。
【請求項８】
撮像手段配置物体に配置された撮像手段によって撮像された撮像画像を、三次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データに基づいて、前記三次元空間における任意の仮想視点から見た画像データを生成する視点変換手段と、前記視点変換手段によって生成された画像データに基づいて、前記三次元空間における任意の仮想視点から見た画像を表示する表示手段と、を備えた画像生成装置において、
前記空間モデル、又は視点変換画像において認識された障害物を表示可能な撮像手段を特定し、当該撮像手段の撮像画像を優先的に読み出して視点変換画像を生成し、表示手段への出力をなす制御手段を備えていることを特徴とする画像生成装置。
【請求項９】
周辺状況を観察する複数台の画像撮影カメラと、前記画像撮影カメラの出力画像を加工するための画像ＣＰＵと、前記複数台のカメラと前記画像ＣＰＵが接続されたデータ伝達手段とから構成される画像生成装置において、前記画像ＣＰＵは前記複数のカメラのうち少なくとも１つのカメラの画像出力に基づいて以下の項目のうち少なくとも１つ以上を可変とすることを特徴とする画像生成装置。
（１）採用する撮像手段の指定
（２）画像圧縮の有無
（３）画像圧縮率
（４）撮像手段からの出力画素数
（５）動画フレームレート
（６）仮想視点の位置、姿勢
（７）警告方法
（８）タイムトリガ若しくはイベントトリガの通信方式
（９）タイムトリガの場合の各撮像手段の割り当て時間および順序
（１０）画像以外のデータの伝送許可。
【請求項１０】
前記撮像手段配置物は、車両、建築物、人物への装着物の少なくともいずれか１つであることを特徴とする請求項１または８に記載の画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１４８３２７（Ｐ２００６−１４８３２７Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００４−３３３２０６（Ｐ２００４−３３３２０６）
【出願日】平成１６年１１月１７日（２００４．１１．１７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願日】平成１６年１１月１７日（２００４．１１．１７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]