映像合成表示装置
【課題】複数のカメラにより撮影されている映像中の物体を関連付けて表示して、滑らかで見やすい映像を提供することができる映像合成表示装置を得ることを目的とする。
【解決手段】カメラ１，２の映像間の変換パラメータを算出する変換パラメータ算出部１２と、変換パラメータ算出部１２により算出された変換パラメータを用いて、カメラ２の映像を変換して、カメラ１，２の映像を合成する映像変換合成部１４とを設け、映像表示部１５が映像変換合成部１４により合成された映像を表示する。
【解決手段】カメラ１，２の映像間の変換パラメータを算出する変換パラメータ算出部１２と、変換パラメータ算出部１２により算出された変換パラメータを用いて、カメラ２の映像を変換して、カメラ１，２の映像を合成する映像変換合成部１４とを設け、映像表示部１５が映像変換合成部１４により合成された映像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のカメラにより撮影された映像を合成して表示する映像合成表示装置に関するものである。
【背景技術】
【０００２】
複数のカメラを用いて、映像を監視する監視装置のカメラ映像表示方法では、複数の映像を並べて表示したり、指定された映像を拡大して表示したりすることが一般的である（例えば、特許文献１を参照）。
複数のカメラにより撮影された映像を並べて表示する際、１台の表示装置の画面を分割して、複数の映像を各分割画面に割り当てることがあるが、この場合、複数の映像が別々の映像として表示されるため、監視員が一度に複数の映像を同時に確認することが困難である。
例えば、監視員が、あるカメラにより撮影された映像を注視して、動く物体を監視しているとき、そのカメラから見えない障害物の裏側などに、動く物体が移動した場合、その障害物の裏側を撮影している別のカメラの映像を見る必要があるが、どのカメラが障害物の裏側を撮影しているのか直ちに把握することができず、動く物体の監視が困難になることがある。
【０００３】
これに対して、複数のカメラにより撮影された映像の特定色の部分を透明化して、他の映像と重ねあわせ、複数のカメラ映像を１つの映像に合成するクロマキー処理を実施する映像合成表示装置が開発されている（例えば、特許文献２を参照）。
ただし、クロマキー処理を実施して、複数の映像を１つの映像に重ね合わせて合成する場合、単純に特定の色をキーにして、映像を切り出して重ね合わせているだけであり、複数の映像間の位置合わせなどを実施していないため、複数のカメラ間の関連性がなく、複数のカメラにより撮影されている映像中の物体を関連付けて表示することができない。
【０００４】
【特許文献１】特開２０００−９２４８３号公報（段落番号［００１１］から［００１２］、図１）
【特許文献２】特開２００６−２７０８８７号公報（段落番号［００１８］から［００２０］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の映像合成表示装置は以上のように構成されているので、複数のカメラにより撮影された映像を１つの映像に合成して表示することができる。しかし、複数の映像間の位置合わせなどが実施されないため、複数のカメラ間の関連性がなく、複数のカメラにより撮影されている映像中の物体を関連付けて表示することができない。このため、合成映像が不自然で見づらい映像になってしまうなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、複数のカメラにより撮影されている映像中の物体を関連付けて表示して、滑らかで見やすい映像を提供することができる映像合成表示装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る映像合成表示装置は、映像取得手段により取得された映像間の変換パラメータを算出する変換パラメータ算出手段と、変換パラメータ算出手段により算出された変換パラメータを用いて、映像取得手段により取得された映像を変換して、複数の映像を合成する映像変換合成手段とを設け、映像表示手段が映像変換合成手段により合成された映像を表示するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、映像取得手段により取得された映像間の変換パラメータを算出する変換パラメータ算出手段と、変換パラメータ算出手段により算出された変換パラメータを用いて、映像取得手段により取得された映像を変換して、複数の映像を合成する映像変換合成手段とを設け、映像表示手段が映像変換合成手段により合成された映像を表示するように構成したので、複数のカメラにより撮影されている映像中の物体を関連付けて表示することができるようになり、その結果、滑らかで見やすい映像を提供することができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１による映像合成表示装置を示す構成図であり、図において、カメラ１は映像を撮影するビデオカメラであり、その映像を映像取得部１１に出力する。
カメラ２はカメラ１と異なる位置に設置されて、カメラ１と異なる撮影視野を有するビデオカメラであり、撮影した映像を映像取得部１１に出力する。
図１では、説明の簡単化のため、２台のカメラが設置されている例を示しているが、これは一例に過ぎず、３台以上のカメラが設置されていてもよい。
【００１０】
映像取得部１１はカメラ１，２により撮影された映像を取得し、複数の映像を一時的に内部メモリに格納する処理を実施する。なお、映像取得部１１は映像取得手段を構成している。
変換パラメータ算出部１２は映像取得部１１の内部メモリに格納されたカメラ１，２の映像間の変換パラメータを算出する処理を実施する。
変換パラメータ記憶部１３は変換パラメータ算出部１２により算出された変換パラメータを記憶するメモリである。
なお、変換パラメータ算出部１２及び変換パラメータ記憶部１３から変換パラメータ算出手段が構成されている。
【００１１】
映像変換合成部１４は変換パラメータ記憶部１３に記憶されている変換パラメータを用いて、映像取得部１１の内部メモリに格納されたカメラ２の映像を変換して、カメラ１，２の映像を合成する処理を実施する。なお、映像変換合成部１４は映像変換合成手段を構成している。
映像表示部１５は例えば液晶ディスプレイなどの表示装置であり、映像変換合成部１４により合成された映像を表示する処理を実施する。なお、映像表示部１５は映像表示手段を構成している。
【００１２】
図１では、映像合成表示装置の構成要素である映像取得部１１、変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５のそれぞれが専用のハードウェア（例えば、ＭＰＵを実装している半導体集積回路）で構成されているものを想定しているが、例えば、映像合成表示装置がコンピュータで構成される場合、映像取得部１１、変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００１３】
図２はこの発明の実施の形態１による映像合成表示装置の変換パラメータ算出部１２の処理内容を示すフローチャートである。
また、図３はこの発明の実施の形態１による映像合成表示装置の映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【００１４】
次に動作について説明する。
図４はカメラ１，２の配置を上方からみたカメラ配置図である。
図４において、ＶＦ１はカメラ１の撮影視野であり、撮影視野ＶＦ１内には不透明な物体Ａ，Ｂ，Ｃが存在している。
ＶＦ２はカメラ２の撮影視野であり、撮影視野ＶＦ２内には不透明な物体Ｂ，Ｃが存在している。
なお、図４の例では、物体Ａの背後を撮影する位置にカメラ２が設置されている。
【００１５】
図５はカメラ１，２により撮影された映像の一例を示す説明図である。
図５の例では、カメラ１の映像には物体Ａ，Ｂが写っているが、物体Ｃは物体Ａの奥に位置しているため、カメラ１の映像には物体Ｃが写っていない。
一方、カメラ２の映像には物体Ｂ，Ｃが写っている。
なお、カメラ１，２の映像には床Ｆと壁Ｗも写っている。
【００１６】
映像取得部１１は、カメラ１，２が映像を撮影すると、カメラ１，２の映像を取得して、カメラ１，２の映像を一時的に内部メモリに格納する。
変換パラメータ算出部１２は、映像取得部１１がカメラ１，２の映像を内部メモリに格納すると、その内部メモリに格納されたカメラ１，２の映像間の変換パラメータを算出する。
以下、変換パラメータ算出部１２における変換パラメータの算出処理を具体的に説明する。
【００１７】
まず、変換パラメータ算出部１２は、映像取得部１１の内部メモリからカメラ１，２の映像を取得する（ステップＳＴ１）。
変換パラメータ算出部１２は、カメラ１，２の映像を取得すると、カメラ１，２の映像を比較して、カメラ１の映像には写っているが、カメラ２の映像には写っていない物体を障害物に設定する（ステップＳＴ２）。
図５の例では、物体Ｃが物体Ａの奥に位置しており、カメラ２の映像には物体Ａが写っていないので、物体Ａを障害物に設定する。
【００１８】
ここでは、変換パラメータ算出部１２がカメラ１，２の映像を比較して障害物を設定するものについて示したが、これに限るものではなく、例えば、距離センサなどの物体の３次元位置を測定するセンサを利用して、カメラ１から距離の近い物体Ａを検出し、距離の近い物体Ａを障害物として設定するようにしてもよい。
また、変換パラメータ算出部１２がマウスやディスプレイなどのマンマシンインタフェースを備えることにより、ユーザがカメラ１，２の映像を見て、手動で物体Ａを障害物として設定するようにしてもよい。
【００１９】
変換パラメータ算出部１２は、物体Ａを障害物に設定すると、障害物である物体Ａのエッジの後ろに位置している物体Ｂと、物体Ａの頂点に着目して、物体Ａのエッジを分割する（ステップＳＴ３）。
以下、物体Ａのエッジの分割処理を具体的に説明する。
【００２０】
図６は物体Ａのエッジの分割を説明する説明図である。
図６において、分割点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７は物体Ａのエッジを分割する際に基準となる点である。
特に、分割点Ｐ１，Ｐ２は、物体Ａのエッジと物体Ｂが重なる点であり、分割点Ｐ３，Ｐ４，Ｐ６，Ｐ７は物体Ａの頂点である。
また、分割点Ｐ５は、床Ｆと壁Ｗの境界に位置する点である。
【００２１】
エッジＥ１は分割点Ｐ１と分割点Ｐ２を両端に有するエッジである。
エッジＥ２は分割点Ｐ２を始点として、分割点Ｐ３，Ｐ４を通って、分割点Ｐ５を終点とするエッジである。
エッジＥ３は分割点Ｐ５を始点として、分割点Ｐ６，Ｐ７を通って、分割点Ｐ１を終点とするエッジである。
【００２２】
変換パラメータ算出部１２は、物体Ａのエッジの背景に着目し、背景が同じ平面にある区間に分けて、物体Ａのエッジを分割する。
図６の例では、障害物である物体Ａのエッジのうち、物体Ｂと接しているエッジ（カメラ１の映像上で、物体Ｂと接している物体Ａのエッジ）は、分割点Ｐ１と分割点Ｐ２を結ぶエッジであり、そのエッジは１つの平面であるため、分割点Ｐ１と分割点Ｐ２を結ぶエッジがエッジＥ１として分割される。
また、床Ｆは１つの平面であるため、床Ｆの平面にある区間のエッジがエッジＥ２として分割される。
また、壁Ｗは１つの平面であるため、壁Ｗの平面にある区間のエッジがエッジＥ３として分割される。
【００２３】
図６の例では、すべての背景が平面で構成されているものについて示しているが、背景が曲面で構成されているものであってもよい。
この場合は、曲面を平面とみなせる領域に分割することで、本手法を利用することが可能となる。
なお、背景の平面検出は、距離センサを用いて検出するようにしてもよいし、ユーザが検出して指定するようにしてもよい。
【００２４】
また、背景の平面は、カメラ１，２の映像について画像処理を行うことでも検出することができる。
カメラ１，２の映像において、カメラ１の映像内の同じ平面上にある座標は、ある１つの平面射影変換という座標変換を用いて、カメラ２の映像の座標に変換できることが知られている。
つまり、同じ平面射影変換で座標変換可能な点は、同じ平面上にあることがわかる。
したがって、カメラ１，２の映像から位置を示す特徴点を抽出し、それらの特徴点を平面射影変換毎に分けることで、平面の検出が可能である。
【００２５】
変換パラメータ算出部１２は、物体Ａのエッジを分割すると、物体Ａのエッジの座標をカメラ１の映像における座標からカメラ２の映像における座標に変換する（ステップＳＴ４）。
ここで、図７は物体Ａのエッジの変換例を示す説明図である。
図７（ａ）において、視野ＶＦ１−Ａは、カメラ１の撮影視野ＶＦ１のうち、物体Ａが占める部分である。
交点Ｉ１は視野ＶＦ１−Ａが物体Ｂと交わる点、交点Ｉ２，Ｉ３は視野ＶＦ１−Ａが壁Ｗと交わる点である。
また、視野ＶＦ２−Ｉは、カメラ２の撮影視野ＶＦ２のうち、交点Ｉ１，Ｉ２，Ｉ３を通る直線を示している。
図７（ｂ）において、点Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６，Ｎ７，Ｎ８，Ｎ９，Ｎ１０は変換の結果、新たに生成された点であり、エッジＥ１’はエッジＥ１から変換されたエッジ、エッジＥ２’はエッジＥ２から変換されたエッジ、エッジＥ３’はエッジＥ３から変換されたエッジである。
【００２６】
カメラ１，２の映像において、同じ平面上にある点は、平面射影変換によって、カメラ１の映像上の点から、カメラ２の映像上の点に変換することができる。
したがって、この実施の形態１の例では、３つの平面（エッジＥ１の背面物体である物体Ｂの平面、床Ｆの平面、壁Ｗの平面）に対する平面射影変換を求めれば、カメラ１の映像上の点から、カメラ２の映像上の点に変換することができる。
【００２７】
ここで、平面射影変換の求め方については、特に限定するものではないが、例えば、平面上の４点以上の点があれば、平面射影変換を求めることができるため、物体Ｂの平面上において、カメラ１，２の映像で共通している４点を抽出すれば、物体Ｂの平面に関する平面射影変換を求めることができる。
床Ｆ、壁Ｗに関しても、床Ｆ、壁Ｗの平面上において、カメラ１，２の映像で共通している４点を抽出すれば、床Ｆ、壁Ｗの平面に関する平面射影変換を求めることができる。
【００２８】
変換パラメータ算出部１２は、上記のようにして、平面射影変換を求めると、その平面射影変換を用いて、エッジＥ１，Ｅ２，Ｅ３上の点を変換する。
例えば、分割点Ｐ１は、物体Ｂ上の交点Ｉ１と、壁Ｗ上の交点Ｉ２との２つの平面上にあるとみなせるため、分割点Ｐ１については、物体Ｂの平面射影変換を用いれば点Ｎ２に変換され、壁Ｗの平面射影変換を用いれば点Ｎ１に変換される。
【００２９】
以下、同様にして、分割点Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７を平面射影変換すると、変換点が点Ｎ３，Ｎ５，Ｎ６，Ｎ８，Ｎ９，Ｎ１０となる。
ただし、変換された点Ｎ５，Ｎ６については、カメラ２の映像の範囲の外になってしまうため、点Ｎ３と点Ｎ５を結んだ線分と、カメラ２の映像のエッジとの交点Ｎ４を求め、以降、点Ｎ５の代わりに点Ｎ４を使用する。
また、点Ｎ８と点Ｎ６を結んだ線分と、カメラ２の映像のエッジとの交点Ｎ７を求め、以降、点Ｎ６の代わりに点Ｎ７を使用する。
【００３０】
変換パラメータ算出部１２は、分割点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７を点Ｎ２，Ｎ３，Ｎ４，Ｎ７，Ｎ８，Ｎ９，Ｎ１０に変換すると、エッジＥ１を変換したエッジＥ１’として、点Ｎ２と点Ｎ３を結ぶ線分を求める。
また、エッジＥ２を変換したエッジＥ２’として、点Ｎ３，Ｎ４，Ｎ７，Ｎ８を結ぶ線分を求める。
また、エッジＥ３を変換したエッジＥ３’として、点Ｎ８，Ｎ９，Ｎ１０，Ｎ１１，Ｎ１１を結ぶ線分を求める。
【００３１】
変換パラメータ算出部１２は、上記のようにして、エッジＥ１’，Ｅ２’，Ｅ３’を求めると、変換前のエッジＥ１，Ｅ２，Ｅ３と変換後のエッジＥ１’，Ｅ２’，Ｅ３’を用いて、カメラ１，２の映像間の変換パラメータを算出する（ステップＳＴ５）。
ここで、図８は変換パラメータの算出を説明する説明図である。
以下、変換パラメータの算出を具体的に説明する。
【００３２】
まず、変換パラメータ算出部１２は、変換前のエッジＥ１，Ｅ２，Ｅ３上の点の数と、変換後のエッジＥ１’，Ｅ２’，Ｅ３’上の点の数とを同じにするため、変換前のエッジＥ１，Ｅ２，Ｅ３上に新たに点を挿入する。
即ち、変換パラメータ算出部１２は、１つの分割点Ｐ１から２つの点Ｎ１，Ｎ２を生成しており、変換後のエッジＥ１’，Ｅ２’，Ｅ３’上の点の数の方が１つ多いので、図８（ａ）の例では、分割点Ｐ１の両側に新たな点Ｎ２１，Ｎ２２を挿入して、分割点Ｐ１を削除している。
次に、変換パラメータ算出部１２は、変換前のエッジＥ１，Ｅ２，Ｅ３に囲まれた図形の重心Ｇ１と、変換後のエッジＥ１’，Ｅ２’，Ｅ３’に囲まれた図形の重心Ｇ２とを求める。
【００３３】
次に、変換パラメータ算出部１２は、図形の重心Ｇ１と変換前のエッジＥ１，Ｅ２，Ｅ３上の各点とを結ぶ三角形を求める。
また、図形の重心Ｇ２と変換後のエッジＥ１’，Ｅ２’，Ｅ３’上の各点とを結ぶ三角形を求める。
図８に示すように、変換前のエッジＥ１，Ｅ２，Ｅ３上の点の数と、変換後のエッジＥ１’，Ｅ２’，Ｅ３’上の点の数とを同じにしているため、同じ数の三角形（８個の三角形）が求まる。
【００３４】
変換パラメータ算出部１２は、同じ数の三角形を求めると、対応関係がある三角形を特定する。
例えば、重心Ｇ１と分割点Ｐ６，Ｐ７からなる三角形と、重心Ｇ２と点Ｎ９，Ｎ１０からなる三角形とは対応関係があり、また、重心Ｇ１と分割点Ｐ５，Ｐ６からなる三角形と、重心Ｇ２と点Ｎ８，Ｎ９からなる三角形とは対応関係がある。
図９は対応関係がある三角形を示す説明図である。
【００３５】
変換パラメータ算出部１２は、三角形間の対応関係を特定すると、対応関係がある三角形間の変換パラメータ（カメラ１，２の映像間の変換パラメータ）を算出する。
即ち、変換パラメータ算出部１２は、一方の三角形の形状を他方の三角形の形状に変形するため、三角形の内部点の座標変換パラメータとして、三角形間の変換パラメータを算出する。
三角形間の変換パラメータの算出は、幾何学分野において公知の技術であるため詳細な説明を省略するが、例えば、対応関係がある２つの三角形の重心を基準にして、２つの三角形の合同性から変換パラメータを算出すればよい。
ここで、図１０は変換パラメータを用いて、エッジＥ１’，Ｅ２’，Ｅ３’に囲まれた図形（図８（ｂ）のカメラ２の映像を参照）をエッジＥ１，Ｅ２，Ｅ３に囲まれた図形（図８（ａ）のカメラ１の映像を参照）上に変換している例を示す説明図である。
変換パラメータ算出部１２は、上記のようにして、カメラ１，２の映像間の変換パラメータを算出すると、その変換パラメータを変換パラメータ記憶部１３に格納する。
【００３６】
映像変換合成部１４は、変換パラメータ算出部１２が変換パラメータを変換パラメータ記憶部１３に格納すると、その変換パラメータを用いて、映像取得部１１の内部メモリに格納されたカメラ２の映像を変換して、カメラ１，２の映像を合成する。
以下、映像変換合成部１４の処理内容を具体的に説明する。
【００３７】
映像変換合成部１４は、変換パラメータ算出部１２が変換パラメータを変換パラメータ記憶部１３に格納すると、その変換パラメータ記憶部１３から変換パラメータの読み込みを行う（ステップＳＴ１１）。
次に、映像変換合成部１４は、映像取得部１１の内部メモリに格納されたカメラ１，２の映像を取得する（ステップＳＴ１２）。
ただし、映像変換合成部１４が取得するカメラ１，２の映像は、変換パラメータ算出部１２により取得されたカメラ１，２の映像と同じであり、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２が変更されていないものとする。
【００３８】
次に、映像変換合成部１４は、図１０に示すように、読み込んだ変換パラメータを用いて、カメラ２の映像を変換し（ステップＳＴ１３）、カメラ１の映像に対して、変換後のカメラ２の映像を半透明に重ね合わせて、２つの映像の合成を行う（ステップＳＴ１４）。
図１１は合成後の映像の一例を示す説明図である。
映像表示部１５は、映像変換合成部１４がカメラ２の映像を変換して、カメラ１，２の映像を合成すると、合成後の映像を表示する（ステップＳＴ１５）。
【００３９】
以上で明らかなように、この実施の形態１によれば、カメラ１，２の映像間の変換パラメータを算出する変換パラメータ算出部１２と、変換パラメータ算出部１２により算出された変換パラメータを用いて、カメラ２の映像を変換して、カメラ１，２の映像を合成する映像変換合成部１４とを設け、映像表示部１５が映像変換合成部１４により合成された映像を表示するように構成したので、カメラ１，２により撮影されている映像中の物体を関連付けて表示することができるようになり、その結果、滑らかで見やすい映像を提供することができる効果を奏する。
即ち、異なる視点のカメラ１，２の映像をある映像の視点に合わせて変形して表示するため、カメラ１，２間の位置関係を容易に把握することができる。また、障害物の裏を透過的に表示するため、ユーザはカメラ１，２を切り替えることなく、移動する物体を監視することができる。
【００４０】
実施の形態２．
上記実施の形態１では、変換パラメータ算出部１２が三角形間の対応関係を特定し、対応関係がある三角形間の変換パラメータを算出するものについて示したが、図１２に示すように、カメラ１の映像における各画素の座標（ｘ１，ｙ１）と、カメラ２の映像における各画素の座標（ｘ２，ｙ２）との対応関係を特定し、対応関係がある各画素の座標（ｘ１，ｙ１），（ｘ２，ｙ２）を変換パラメータとしてテーブル化するようにしてもよい。
この場合、カメラ１，２の映像間の変換パラメータを画素単位で記述しているので、任意の映像変換手法（例えば、ユーザが映像を見ながら変形を行う変形手法や、モーフィングで用いられている変形手法）を、カメラ２の映像の変換に適用することができる。
【００４１】
実施の形態３．
上記実施の形態１，２では、変換パラメータ算出部１２がカメラ１，２の映像間の変換パラメータを算出すると、映像変換合成部１４が変換パラメータ算出部１２により算出された変換パラメータを用いて、カメラ２の映像を変換するものについて示したが、映像変換合成部１４の繰り返し処理は、図３のステップＳＴ１２〜ＳＴ１５の範囲であり、新たなカメラ１，２の映像を取得しても、同じ変換パラメータを用いるようにしている。
この場合、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２が変更されず、物体Ａ，Ｂ，Ｃの位置や姿勢に変化がなければ、カメラ１，２の映像をズレなく合成することができるが、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２、あるいは、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じると、カメラ１，２の映像にズレが生じる。
【００４２】
そこで、この実施の形態３では、図１３に示すように、変換パラメータ算出部１２についても、新たなカメラ１，２の映像を取得して、繰り返し変換パラメータを算出し、映像変換合成部１４が変換パラメータ算出部１２により算出された最新の変換パラメータを用いて、カメラ２の映像を変換するようにする。
この場合、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２に変更が生じたり、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じたりしても、カメラ１，２の映像をズレなく合成することができる。
【００４３】
実施の形態４．
上記実施の形態３では、変換パラメータ算出部１２がカメラ１，２の映像を取得する毎に、繰り返し変換パラメータを算出するものについて示したが、映像取得部１１により取得されたカメラ１，２の映像に変化がある場合に限り、変換パラメータ算出部１２が変換パラメータを算出するようにしてもよい。
具体的には、以下の通りである。
図１４はこの発明の実施の形態４による映像合成表示装置の変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【００４４】
変換パラメータ算出部１２は、映像取得部１１からカメラ１，２の映像を取得すると（ステップＳＴ１）、例えば、今回のカメラ１，２の映像と、前回のカメラ１，２の映像とを比較して、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２に変更が生じているか否かを判定する。また、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じているか否かを判定する（ステップＳＴ２１）。
変換パラメータ算出部１２は、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２に変更が生じている場合、あるいは、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じている場合には、上記実施の形態１と同様にして、カメラ１，２の映像間の変換パラメータを算出する。
この場合、映像変換合成部１４は、変換パラメータ算出部１２により算出された最新の変換パラメータを用いて、カメラ２の映像を変換するようになる。
【００４５】
変換パラメータ算出部１２は、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２に変更が生じておらず、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じていない場合には、カメラ１，２の映像間の変換パラメータを算出する処理を省略する。
この場合、映像変換合成部１４は、前回の変換に用いた変換パラメータと同じ変換パラメータを用いて、カメラ２の映像を変換するようになる。
【００４６】
以上で明らかなように、この実施の形態４によれば、映像取得部１１により取得されたカメラ１，２の映像に変化がある場合に限り、変換パラメータ算出部１２が変換パラメータを算出するように構成したので、変換パラメータを変更する必要がない場合には変換パラメータの算出処理を省略することができるようになり、装置の速度性能を高めることができる効果を奏する。
【００４７】
なお、上記実施の形態１〜４では、カメラ２の映像を変換して、カメラ１，２の映像を合成するものについて示したが、カメラ１の映像を変換して、カメラ１，２の映像を合成するようにしてもよいし、カメラ１，２の映像を変換して、カメラ１，２の映像を合成するようにしてもよい。
【図面の簡単な説明】
【００４８】
【図１】この発明の実施の形態１による映像合成表示装置を示す構成図である。
【図２】この発明の実施の形態１による映像合成表示装置の変換パラメータ算出部１２の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による映像合成表示装置の映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【図４】カメラ１，２の配置を上方からみたカメラ配置図である。
【図５】カメラ１，２により撮影された映像の一例を示す説明図である。
【図６】物体Ａのエッジの分割を説明する説明図である。
【図７】物体Ａのエッジの変換例を示す説明図である。
【図８】変換パラメータの算出を説明する説明図である。
【図９】対応関係がある三角形を示す説明図である。
【図１０】変換パラメータを用いて、エッジＥ１’，Ｅ２’，Ｅ３’に囲まれた図形をエッジＥ１，Ｅ２，Ｅ３に囲まれた図形上に変換している例を示す説明図である。
【図１１】合成後の映像の一例を示す説明図である。
【図１２】カメラ１，２の映像間の変換パラメータの算出方法を示す説明図である。
【図１３】この発明の実施の形態３による映像合成表示装置の変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【図１４】この発明の実施の形態４による映像合成表示装置の変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【符号の説明】
【００４９】
１ カメラ、２ カメラ、１１ 映像取得部（映像取得手段）、１２ 変換パラメータ算出部（変換パラメータ算出手段）、１３ 変換パラメータ記憶部（変換パラメータ算出手段）、１４ 映像変換合成部（映像変換合成手段）、１５ 映像表示部（映像表示手段）。
【技術分野】
【０００１】
この発明は、複数のカメラにより撮影された映像を合成して表示する映像合成表示装置に関するものである。
【背景技術】
【０００２】
複数のカメラを用いて、映像を監視する監視装置のカメラ映像表示方法では、複数の映像を並べて表示したり、指定された映像を拡大して表示したりすることが一般的である（例えば、特許文献１を参照）。
複数のカメラにより撮影された映像を並べて表示する際、１台の表示装置の画面を分割して、複数の映像を各分割画面に割り当てることがあるが、この場合、複数の映像が別々の映像として表示されるため、監視員が一度に複数の映像を同時に確認することが困難である。
例えば、監視員が、あるカメラにより撮影された映像を注視して、動く物体を監視しているとき、そのカメラから見えない障害物の裏側などに、動く物体が移動した場合、その障害物の裏側を撮影している別のカメラの映像を見る必要があるが、どのカメラが障害物の裏側を撮影しているのか直ちに把握することができず、動く物体の監視が困難になることがある。
【０００３】
これに対して、複数のカメラにより撮影された映像の特定色の部分を透明化して、他の映像と重ねあわせ、複数のカメラ映像を１つの映像に合成するクロマキー処理を実施する映像合成表示装置が開発されている（例えば、特許文献２を参照）。
ただし、クロマキー処理を実施して、複数の映像を１つの映像に重ね合わせて合成する場合、単純に特定の色をキーにして、映像を切り出して重ね合わせているだけであり、複数の映像間の位置合わせなどを実施していないため、複数のカメラ間の関連性がなく、複数のカメラにより撮影されている映像中の物体を関連付けて表示することができない。
【０００４】
【特許文献１】特開２０００−９２４８３号公報（段落番号［００１１］から［００１２］、図１）
【特許文献２】特開２００６−２７０８８７号公報（段落番号［００１８］から［００２０］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の映像合成表示装置は以上のように構成されているので、複数のカメラにより撮影された映像を１つの映像に合成して表示することができる。しかし、複数の映像間の位置合わせなどが実施されないため、複数のカメラ間の関連性がなく、複数のカメラにより撮影されている映像中の物体を関連付けて表示することができない。このため、合成映像が不自然で見づらい映像になってしまうなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、複数のカメラにより撮影されている映像中の物体を関連付けて表示して、滑らかで見やすい映像を提供することができる映像合成表示装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る映像合成表示装置は、映像取得手段により取得された映像間の変換パラメータを算出する変換パラメータ算出手段と、変換パラメータ算出手段により算出された変換パラメータを用いて、映像取得手段により取得された映像を変換して、複数の映像を合成する映像変換合成手段とを設け、映像表示手段が映像変換合成手段により合成された映像を表示するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、映像取得手段により取得された映像間の変換パラメータを算出する変換パラメータ算出手段と、変換パラメータ算出手段により算出された変換パラメータを用いて、映像取得手段により取得された映像を変換して、複数の映像を合成する映像変換合成手段とを設け、映像表示手段が映像変換合成手段により合成された映像を表示するように構成したので、複数のカメラにより撮影されている映像中の物体を関連付けて表示することができるようになり、その結果、滑らかで見やすい映像を提供することができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１による映像合成表示装置を示す構成図であり、図において、カメラ１は映像を撮影するビデオカメラであり、その映像を映像取得部１１に出力する。
カメラ２はカメラ１と異なる位置に設置されて、カメラ１と異なる撮影視野を有するビデオカメラであり、撮影した映像を映像取得部１１に出力する。
図１では、説明の簡単化のため、２台のカメラが設置されている例を示しているが、これは一例に過ぎず、３台以上のカメラが設置されていてもよい。
【００１０】
映像取得部１１はカメラ１，２により撮影された映像を取得し、複数の映像を一時的に内部メモリに格納する処理を実施する。なお、映像取得部１１は映像取得手段を構成している。
変換パラメータ算出部１２は映像取得部１１の内部メモリに格納されたカメラ１，２の映像間の変換パラメータを算出する処理を実施する。
変換パラメータ記憶部１３は変換パラメータ算出部１２により算出された変換パラメータを記憶するメモリである。
なお、変換パラメータ算出部１２及び変換パラメータ記憶部１３から変換パラメータ算出手段が構成されている。
【００１１】
映像変換合成部１４は変換パラメータ記憶部１３に記憶されている変換パラメータを用いて、映像取得部１１の内部メモリに格納されたカメラ２の映像を変換して、カメラ１，２の映像を合成する処理を実施する。なお、映像変換合成部１４は映像変換合成手段を構成している。
映像表示部１５は例えば液晶ディスプレイなどの表示装置であり、映像変換合成部１４により合成された映像を表示する処理を実施する。なお、映像表示部１５は映像表示手段を構成している。
【００１２】
図１では、映像合成表示装置の構成要素である映像取得部１１、変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５のそれぞれが専用のハードウェア（例えば、ＭＰＵを実装している半導体集積回路）で構成されているものを想定しているが、例えば、映像合成表示装置がコンピュータで構成される場合、映像取得部１１、変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００１３】
図２はこの発明の実施の形態１による映像合成表示装置の変換パラメータ算出部１２の処理内容を示すフローチャートである。
また、図３はこの発明の実施の形態１による映像合成表示装置の映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【００１４】
次に動作について説明する。
図４はカメラ１，２の配置を上方からみたカメラ配置図である。
図４において、ＶＦ１はカメラ１の撮影視野であり、撮影視野ＶＦ１内には不透明な物体Ａ，Ｂ，Ｃが存在している。
ＶＦ２はカメラ２の撮影視野であり、撮影視野ＶＦ２内には不透明な物体Ｂ，Ｃが存在している。
なお、図４の例では、物体Ａの背後を撮影する位置にカメラ２が設置されている。
【００１５】
図５はカメラ１，２により撮影された映像の一例を示す説明図である。
図５の例では、カメラ１の映像には物体Ａ，Ｂが写っているが、物体Ｃは物体Ａの奥に位置しているため、カメラ１の映像には物体Ｃが写っていない。
一方、カメラ２の映像には物体Ｂ，Ｃが写っている。
なお、カメラ１，２の映像には床Ｆと壁Ｗも写っている。
【００１６】
映像取得部１１は、カメラ１，２が映像を撮影すると、カメラ１，２の映像を取得して、カメラ１，２の映像を一時的に内部メモリに格納する。
変換パラメータ算出部１２は、映像取得部１１がカメラ１，２の映像を内部メモリに格納すると、その内部メモリに格納されたカメラ１，２の映像間の変換パラメータを算出する。
以下、変換パラメータ算出部１２における変換パラメータの算出処理を具体的に説明する。
【００１７】
まず、変換パラメータ算出部１２は、映像取得部１１の内部メモリからカメラ１，２の映像を取得する（ステップＳＴ１）。
変換パラメータ算出部１２は、カメラ１，２の映像を取得すると、カメラ１，２の映像を比較して、カメラ１の映像には写っているが、カメラ２の映像には写っていない物体を障害物に設定する（ステップＳＴ２）。
図５の例では、物体Ｃが物体Ａの奥に位置しており、カメラ２の映像には物体Ａが写っていないので、物体Ａを障害物に設定する。
【００１８】
ここでは、変換パラメータ算出部１２がカメラ１，２の映像を比較して障害物を設定するものについて示したが、これに限るものではなく、例えば、距離センサなどの物体の３次元位置を測定するセンサを利用して、カメラ１から距離の近い物体Ａを検出し、距離の近い物体Ａを障害物として設定するようにしてもよい。
また、変換パラメータ算出部１２がマウスやディスプレイなどのマンマシンインタフェースを備えることにより、ユーザがカメラ１，２の映像を見て、手動で物体Ａを障害物として設定するようにしてもよい。
【００１９】
変換パラメータ算出部１２は、物体Ａを障害物に設定すると、障害物である物体Ａのエッジの後ろに位置している物体Ｂと、物体Ａの頂点に着目して、物体Ａのエッジを分割する（ステップＳＴ３）。
以下、物体Ａのエッジの分割処理を具体的に説明する。
【００２０】
図６は物体Ａのエッジの分割を説明する説明図である。
図６において、分割点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７は物体Ａのエッジを分割する際に基準となる点である。
特に、分割点Ｐ１，Ｐ２は、物体Ａのエッジと物体Ｂが重なる点であり、分割点Ｐ３，Ｐ４，Ｐ６，Ｐ７は物体Ａの頂点である。
また、分割点Ｐ５は、床Ｆと壁Ｗの境界に位置する点である。
【００２１】
エッジＥ１は分割点Ｐ１と分割点Ｐ２を両端に有するエッジである。
エッジＥ２は分割点Ｐ２を始点として、分割点Ｐ３，Ｐ４を通って、分割点Ｐ５を終点とするエッジである。
エッジＥ３は分割点Ｐ５を始点として、分割点Ｐ６，Ｐ７を通って、分割点Ｐ１を終点とするエッジである。
【００２２】
変換パラメータ算出部１２は、物体Ａのエッジの背景に着目し、背景が同じ平面にある区間に分けて、物体Ａのエッジを分割する。
図６の例では、障害物である物体Ａのエッジのうち、物体Ｂと接しているエッジ（カメラ１の映像上で、物体Ｂと接している物体Ａのエッジ）は、分割点Ｐ１と分割点Ｐ２を結ぶエッジであり、そのエッジは１つの平面であるため、分割点Ｐ１と分割点Ｐ２を結ぶエッジがエッジＥ１として分割される。
また、床Ｆは１つの平面であるため、床Ｆの平面にある区間のエッジがエッジＥ２として分割される。
また、壁Ｗは１つの平面であるため、壁Ｗの平面にある区間のエッジがエッジＥ３として分割される。
【００２３】
図６の例では、すべての背景が平面で構成されているものについて示しているが、背景が曲面で構成されているものであってもよい。
この場合は、曲面を平面とみなせる領域に分割することで、本手法を利用することが可能となる。
なお、背景の平面検出は、距離センサを用いて検出するようにしてもよいし、ユーザが検出して指定するようにしてもよい。
【００２４】
また、背景の平面は、カメラ１，２の映像について画像処理を行うことでも検出することができる。
カメラ１，２の映像において、カメラ１の映像内の同じ平面上にある座標は、ある１つの平面射影変換という座標変換を用いて、カメラ２の映像の座標に変換できることが知られている。
つまり、同じ平面射影変換で座標変換可能な点は、同じ平面上にあることがわかる。
したがって、カメラ１，２の映像から位置を示す特徴点を抽出し、それらの特徴点を平面射影変換毎に分けることで、平面の検出が可能である。
【００２５】
変換パラメータ算出部１２は、物体Ａのエッジを分割すると、物体Ａのエッジの座標をカメラ１の映像における座標からカメラ２の映像における座標に変換する（ステップＳＴ４）。
ここで、図７は物体Ａのエッジの変換例を示す説明図である。
図７（ａ）において、視野ＶＦ１−Ａは、カメラ１の撮影視野ＶＦ１のうち、物体Ａが占める部分である。
交点Ｉ１は視野ＶＦ１−Ａが物体Ｂと交わる点、交点Ｉ２，Ｉ３は視野ＶＦ１−Ａが壁Ｗと交わる点である。
また、視野ＶＦ２−Ｉは、カメラ２の撮影視野ＶＦ２のうち、交点Ｉ１，Ｉ２，Ｉ３を通る直線を示している。
図７（ｂ）において、点Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６，Ｎ７，Ｎ８，Ｎ９，Ｎ１０は変換の結果、新たに生成された点であり、エッジＥ１’はエッジＥ１から変換されたエッジ、エッジＥ２’はエッジＥ２から変換されたエッジ、エッジＥ３’はエッジＥ３から変換されたエッジである。
【００２６】
カメラ１，２の映像において、同じ平面上にある点は、平面射影変換によって、カメラ１の映像上の点から、カメラ２の映像上の点に変換することができる。
したがって、この実施の形態１の例では、３つの平面（エッジＥ１の背面物体である物体Ｂの平面、床Ｆの平面、壁Ｗの平面）に対する平面射影変換を求めれば、カメラ１の映像上の点から、カメラ２の映像上の点に変換することができる。
【００２７】
ここで、平面射影変換の求め方については、特に限定するものではないが、例えば、平面上の４点以上の点があれば、平面射影変換を求めることができるため、物体Ｂの平面上において、カメラ１，２の映像で共通している４点を抽出すれば、物体Ｂの平面に関する平面射影変換を求めることができる。
床Ｆ、壁Ｗに関しても、床Ｆ、壁Ｗの平面上において、カメラ１，２の映像で共通している４点を抽出すれば、床Ｆ、壁Ｗの平面に関する平面射影変換を求めることができる。
【００２８】
変換パラメータ算出部１２は、上記のようにして、平面射影変換を求めると、その平面射影変換を用いて、エッジＥ１，Ｅ２，Ｅ３上の点を変換する。
例えば、分割点Ｐ１は、物体Ｂ上の交点Ｉ１と、壁Ｗ上の交点Ｉ２との２つの平面上にあるとみなせるため、分割点Ｐ１については、物体Ｂの平面射影変換を用いれば点Ｎ２に変換され、壁Ｗの平面射影変換を用いれば点Ｎ１に変換される。
【００２９】
以下、同様にして、分割点Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７を平面射影変換すると、変換点が点Ｎ３，Ｎ５，Ｎ６，Ｎ８，Ｎ９，Ｎ１０となる。
ただし、変換された点Ｎ５，Ｎ６については、カメラ２の映像の範囲の外になってしまうため、点Ｎ３と点Ｎ５を結んだ線分と、カメラ２の映像のエッジとの交点Ｎ４を求め、以降、点Ｎ５の代わりに点Ｎ４を使用する。
また、点Ｎ８と点Ｎ６を結んだ線分と、カメラ２の映像のエッジとの交点Ｎ７を求め、以降、点Ｎ６の代わりに点Ｎ７を使用する。
【００３０】
変換パラメータ算出部１２は、分割点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７を点Ｎ２，Ｎ３，Ｎ４，Ｎ７，Ｎ８，Ｎ９，Ｎ１０に変換すると、エッジＥ１を変換したエッジＥ１’として、点Ｎ２と点Ｎ３を結ぶ線分を求める。
また、エッジＥ２を変換したエッジＥ２’として、点Ｎ３，Ｎ４，Ｎ７，Ｎ８を結ぶ線分を求める。
また、エッジＥ３を変換したエッジＥ３’として、点Ｎ８，Ｎ９，Ｎ１０，Ｎ１１，Ｎ１１を結ぶ線分を求める。
【００３１】
変換パラメータ算出部１２は、上記のようにして、エッジＥ１’，Ｅ２’，Ｅ３’を求めると、変換前のエッジＥ１，Ｅ２，Ｅ３と変換後のエッジＥ１’，Ｅ２’，Ｅ３’を用いて、カメラ１，２の映像間の変換パラメータを算出する（ステップＳＴ５）。
ここで、図８は変換パラメータの算出を説明する説明図である。
以下、変換パラメータの算出を具体的に説明する。
【００３２】
まず、変換パラメータ算出部１２は、変換前のエッジＥ１，Ｅ２，Ｅ３上の点の数と、変換後のエッジＥ１’，Ｅ２’，Ｅ３’上の点の数とを同じにするため、変換前のエッジＥ１，Ｅ２，Ｅ３上に新たに点を挿入する。
即ち、変換パラメータ算出部１２は、１つの分割点Ｐ１から２つの点Ｎ１，Ｎ２を生成しており、変換後のエッジＥ１’，Ｅ２’，Ｅ３’上の点の数の方が１つ多いので、図８（ａ）の例では、分割点Ｐ１の両側に新たな点Ｎ２１，Ｎ２２を挿入して、分割点Ｐ１を削除している。
次に、変換パラメータ算出部１２は、変換前のエッジＥ１，Ｅ２，Ｅ３に囲まれた図形の重心Ｇ１と、変換後のエッジＥ１’，Ｅ２’，Ｅ３’に囲まれた図形の重心Ｇ２とを求める。
【００３３】
次に、変換パラメータ算出部１２は、図形の重心Ｇ１と変換前のエッジＥ１，Ｅ２，Ｅ３上の各点とを結ぶ三角形を求める。
また、図形の重心Ｇ２と変換後のエッジＥ１’，Ｅ２’，Ｅ３’上の各点とを結ぶ三角形を求める。
図８に示すように、変換前のエッジＥ１，Ｅ２，Ｅ３上の点の数と、変換後のエッジＥ１’，Ｅ２’，Ｅ３’上の点の数とを同じにしているため、同じ数の三角形（８個の三角形）が求まる。
【００３４】
変換パラメータ算出部１２は、同じ数の三角形を求めると、対応関係がある三角形を特定する。
例えば、重心Ｇ１と分割点Ｐ６，Ｐ７からなる三角形と、重心Ｇ２と点Ｎ９，Ｎ１０からなる三角形とは対応関係があり、また、重心Ｇ１と分割点Ｐ５，Ｐ６からなる三角形と、重心Ｇ２と点Ｎ８，Ｎ９からなる三角形とは対応関係がある。
図９は対応関係がある三角形を示す説明図である。
【００３５】
変換パラメータ算出部１２は、三角形間の対応関係を特定すると、対応関係がある三角形間の変換パラメータ（カメラ１，２の映像間の変換パラメータ）を算出する。
即ち、変換パラメータ算出部１２は、一方の三角形の形状を他方の三角形の形状に変形するため、三角形の内部点の座標変換パラメータとして、三角形間の変換パラメータを算出する。
三角形間の変換パラメータの算出は、幾何学分野において公知の技術であるため詳細な説明を省略するが、例えば、対応関係がある２つの三角形の重心を基準にして、２つの三角形の合同性から変換パラメータを算出すればよい。
ここで、図１０は変換パラメータを用いて、エッジＥ１’，Ｅ２’，Ｅ３’に囲まれた図形（図８（ｂ）のカメラ２の映像を参照）をエッジＥ１，Ｅ２，Ｅ３に囲まれた図形（図８（ａ）のカメラ１の映像を参照）上に変換している例を示す説明図である。
変換パラメータ算出部１２は、上記のようにして、カメラ１，２の映像間の変換パラメータを算出すると、その変換パラメータを変換パラメータ記憶部１３に格納する。
【００３６】
映像変換合成部１４は、変換パラメータ算出部１２が変換パラメータを変換パラメータ記憶部１３に格納すると、その変換パラメータを用いて、映像取得部１１の内部メモリに格納されたカメラ２の映像を変換して、カメラ１，２の映像を合成する。
以下、映像変換合成部１４の処理内容を具体的に説明する。
【００３７】
映像変換合成部１４は、変換パラメータ算出部１２が変換パラメータを変換パラメータ記憶部１３に格納すると、その変換パラメータ記憶部１３から変換パラメータの読み込みを行う（ステップＳＴ１１）。
次に、映像変換合成部１４は、映像取得部１１の内部メモリに格納されたカメラ１，２の映像を取得する（ステップＳＴ１２）。
ただし、映像変換合成部１４が取得するカメラ１，２の映像は、変換パラメータ算出部１２により取得されたカメラ１，２の映像と同じであり、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２が変更されていないものとする。
【００３８】
次に、映像変換合成部１４は、図１０に示すように、読み込んだ変換パラメータを用いて、カメラ２の映像を変換し（ステップＳＴ１３）、カメラ１の映像に対して、変換後のカメラ２の映像を半透明に重ね合わせて、２つの映像の合成を行う（ステップＳＴ１４）。
図１１は合成後の映像の一例を示す説明図である。
映像表示部１５は、映像変換合成部１４がカメラ２の映像を変換して、カメラ１，２の映像を合成すると、合成後の映像を表示する（ステップＳＴ１５）。
【００３９】
以上で明らかなように、この実施の形態１によれば、カメラ１，２の映像間の変換パラメータを算出する変換パラメータ算出部１２と、変換パラメータ算出部１２により算出された変換パラメータを用いて、カメラ２の映像を変換して、カメラ１，２の映像を合成する映像変換合成部１４とを設け、映像表示部１５が映像変換合成部１４により合成された映像を表示するように構成したので、カメラ１，２により撮影されている映像中の物体を関連付けて表示することができるようになり、その結果、滑らかで見やすい映像を提供することができる効果を奏する。
即ち、異なる視点のカメラ１，２の映像をある映像の視点に合わせて変形して表示するため、カメラ１，２間の位置関係を容易に把握することができる。また、障害物の裏を透過的に表示するため、ユーザはカメラ１，２を切り替えることなく、移動する物体を監視することができる。
【００４０】
実施の形態２．
上記実施の形態１では、変換パラメータ算出部１２が三角形間の対応関係を特定し、対応関係がある三角形間の変換パラメータを算出するものについて示したが、図１２に示すように、カメラ１の映像における各画素の座標（ｘ１，ｙ１）と、カメラ２の映像における各画素の座標（ｘ２，ｙ２）との対応関係を特定し、対応関係がある各画素の座標（ｘ１，ｙ１），（ｘ２，ｙ２）を変換パラメータとしてテーブル化するようにしてもよい。
この場合、カメラ１，２の映像間の変換パラメータを画素単位で記述しているので、任意の映像変換手法（例えば、ユーザが映像を見ながら変形を行う変形手法や、モーフィングで用いられている変形手法）を、カメラ２の映像の変換に適用することができる。
【００４１】
実施の形態３．
上記実施の形態１，２では、変換パラメータ算出部１２がカメラ１，２の映像間の変換パラメータを算出すると、映像変換合成部１４が変換パラメータ算出部１２により算出された変換パラメータを用いて、カメラ２の映像を変換するものについて示したが、映像変換合成部１４の繰り返し処理は、図３のステップＳＴ１２〜ＳＴ１５の範囲であり、新たなカメラ１，２の映像を取得しても、同じ変換パラメータを用いるようにしている。
この場合、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２が変更されず、物体Ａ，Ｂ，Ｃの位置や姿勢に変化がなければ、カメラ１，２の映像をズレなく合成することができるが、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２、あるいは、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じると、カメラ１，２の映像にズレが生じる。
【００４２】
そこで、この実施の形態３では、図１３に示すように、変換パラメータ算出部１２についても、新たなカメラ１，２の映像を取得して、繰り返し変換パラメータを算出し、映像変換合成部１４が変換パラメータ算出部１２により算出された最新の変換パラメータを用いて、カメラ２の映像を変換するようにする。
この場合、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２に変更が生じたり、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じたりしても、カメラ１，２の映像をズレなく合成することができる。
【００４３】
実施の形態４．
上記実施の形態３では、変換パラメータ算出部１２がカメラ１，２の映像を取得する毎に、繰り返し変換パラメータを算出するものについて示したが、映像取得部１１により取得されたカメラ１，２の映像に変化がある場合に限り、変換パラメータ算出部１２が変換パラメータを算出するようにしてもよい。
具体的には、以下の通りである。
図１４はこの発明の実施の形態４による映像合成表示装置の変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【００４４】
変換パラメータ算出部１２は、映像取得部１１からカメラ１，２の映像を取得すると（ステップＳＴ１）、例えば、今回のカメラ１，２の映像と、前回のカメラ１，２の映像とを比較して、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２に変更が生じているか否かを判定する。また、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じているか否かを判定する（ステップＳＴ２１）。
変換パラメータ算出部１２は、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２に変更が生じている場合、あるいは、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じている場合には、上記実施の形態１と同様にして、カメラ１，２の映像間の変換パラメータを算出する。
この場合、映像変換合成部１４は、変換パラメータ算出部１２により算出された最新の変換パラメータを用いて、カメラ２の映像を変換するようになる。
【００４５】
変換パラメータ算出部１２は、カメラ１，２の位置や撮影視野ＶＦ１，ＶＦ２に変更が生じておらず、物体Ａ，Ｂ，Ｃの位置や姿勢に変化が生じていない場合には、カメラ１，２の映像間の変換パラメータを算出する処理を省略する。
この場合、映像変換合成部１４は、前回の変換に用いた変換パラメータと同じ変換パラメータを用いて、カメラ２の映像を変換するようになる。
【００４６】
以上で明らかなように、この実施の形態４によれば、映像取得部１１により取得されたカメラ１，２の映像に変化がある場合に限り、変換パラメータ算出部１２が変換パラメータを算出するように構成したので、変換パラメータを変更する必要がない場合には変換パラメータの算出処理を省略することができるようになり、装置の速度性能を高めることができる効果を奏する。
【００４７】
なお、上記実施の形態１〜４では、カメラ２の映像を変換して、カメラ１，２の映像を合成するものについて示したが、カメラ１の映像を変換して、カメラ１，２の映像を合成するようにしてもよいし、カメラ１，２の映像を変換して、カメラ１，２の映像を合成するようにしてもよい。
【図面の簡単な説明】
【００４８】
【図１】この発明の実施の形態１による映像合成表示装置を示す構成図である。
【図２】この発明の実施の形態１による映像合成表示装置の変換パラメータ算出部１２の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による映像合成表示装置の映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【図４】カメラ１，２の配置を上方からみたカメラ配置図である。
【図５】カメラ１，２により撮影された映像の一例を示す説明図である。
【図６】物体Ａのエッジの分割を説明する説明図である。
【図７】物体Ａのエッジの変換例を示す説明図である。
【図８】変換パラメータの算出を説明する説明図である。
【図９】対応関係がある三角形を示す説明図である。
【図１０】変換パラメータを用いて、エッジＥ１’，Ｅ２’，Ｅ３’に囲まれた図形をエッジＥ１，Ｅ２，Ｅ３に囲まれた図形上に変換している例を示す説明図である。
【図１１】合成後の映像の一例を示す説明図である。
【図１２】カメラ１，２の映像間の変換パラメータの算出方法を示す説明図である。
【図１３】この発明の実施の形態３による映像合成表示装置の変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【図１４】この発明の実施の形態４による映像合成表示装置の変換パラメータ算出部１２、映像変換合成部１４及び映像表示部１５の処理内容を示すフローチャートである。
【符号の説明】
【００４９】
１ カメラ、２ カメラ、１１ 映像取得部（映像取得手段）、１２ 変換パラメータ算出部（変換パラメータ算出手段）、１３ 変換パラメータ記憶部（変換パラメータ算出手段）、１４ 映像変換合成部（映像変換合成手段）、１５ 映像表示部（映像表示手段）。
【特許請求の範囲】
【請求項１】
複数のカメラにより撮影された映像を取得する映像取得手段と、上記映像取得手段により取得された映像間の変換パラメータを算出する変換パラメータ算出手段と、上記変換パラメータ算出手段により算出された変換パラメータを用いて、上記映像取得手段により取得された映像を変換して、複数の映像を合成する映像変換合成手段と、上記映像変換合成手段により合成された映像を表示する映像表示手段とを備えた映像合成表示装置。
【請求項２】
映像変換合成手段は、変換パラメータ算出手段により算出された変換パラメータを用いて、障害物の背後が写されている映像を変換し、変換後の映像を上記障害物が写されている映像に合成することを特徴とする請求項１記載の映像合成表示装置。
【請求項３】
変換パラメータ算出手段は、映像に写されている障害物のエッジを上記エッジの背後にある平面毎に分割して、分割後のエッジを上記障害物の背後が写されている映像上に変換し、変換前のエッジと変換後のエッジから変換パラメータを算出することを特徴とする請求項１または請求項２記載の映像合成表示装置。
【請求項４】
変換パラメータ算出手段は、映像取得手段が映像を取得する毎に、上記映像取得手段により取得された映像間の変換パラメータを算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像合成表示装置。
【請求項５】
変換パラメータ算出手段は、映像取得手段により取得された映像に変化がある場合、上記映像取得手段により取得された映像間の変換パラメータを算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像合成表示装置。
【請求項１】
複数のカメラにより撮影された映像を取得する映像取得手段と、上記映像取得手段により取得された映像間の変換パラメータを算出する変換パラメータ算出手段と、上記変換パラメータ算出手段により算出された変換パラメータを用いて、上記映像取得手段により取得された映像を変換して、複数の映像を合成する映像変換合成手段と、上記映像変換合成手段により合成された映像を表示する映像表示手段とを備えた映像合成表示装置。
【請求項２】
映像変換合成手段は、変換パラメータ算出手段により算出された変換パラメータを用いて、障害物の背後が写されている映像を変換し、変換後の映像を上記障害物が写されている映像に合成することを特徴とする請求項１記載の映像合成表示装置。
【請求項３】
変換パラメータ算出手段は、映像に写されている障害物のエッジを上記エッジの背後にある平面毎に分割して、分割後のエッジを上記障害物の背後が写されている映像上に変換し、変換前のエッジと変換後のエッジから変換パラメータを算出することを特徴とする請求項１または請求項２記載の映像合成表示装置。
【請求項４】
変換パラメータ算出手段は、映像取得手段が映像を取得する毎に、上記映像取得手段により取得された映像間の変換パラメータを算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像合成表示装置。
【請求項５】
変換パラメータ算出手段は、映像取得手段により取得された映像に変化がある場合、上記映像取得手段により取得された映像間の変換パラメータを算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像合成表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−５５３３２（Ｐ２００９−５５３３２Ａ）
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願番号】特願２００７−２１９９７４（Ｐ２００７−２１９９７４）
【出願日】平成１９年８月２７日（２００７．８．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願日】平成１９年８月２７日（２００７．８．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]