映像合成装置、及び映像合成プログラム
【課題】複数のカメラ映像から１つの俯瞰映像を合成する装置において、使用するカメラの数が増えても、映像の解像度が低下しないように、自動的に最適な俯瞰映像が表示されるようにする。
【解決手段】俯瞰映像を合成して表示する映像合成装置であって、入力情報を受付ける入力情報受付部と、受付けた入力情報に基づいて俯瞰映像の表示範囲を決定する表示範囲決定部と、決定した俯瞰映像の表示範囲に基づき、当該表示範囲の俯瞰映像の合成に用いる映像を撮影する所定数のカメラを選択して決定するカメラ選択決定部と、決定した所定数のカメラの映像における重複部分について、いずれのカメラの映像を割り当てるかを決定するカメラ映像割り当て決定部と、割り当てに基づいて、決定した所定数のカメラによって撮影された映像を用いて、俯瞰映像を合成して表示する映像合成部とを備える。
【解決手段】俯瞰映像を合成して表示する映像合成装置であって、入力情報を受付ける入力情報受付部と、受付けた入力情報に基づいて俯瞰映像の表示範囲を決定する表示範囲決定部と、決定した俯瞰映像の表示範囲に基づき、当該表示範囲の俯瞰映像の合成に用いる映像を撮影する所定数のカメラを選択して決定するカメラ選択決定部と、決定した所定数のカメラの映像における重複部分について、いずれのカメラの映像を割り当てるかを決定するカメラ映像割り当て決定部と、割り当てに基づいて、決定した所定数のカメラによって撮影された映像を用いて、俯瞰映像を合成して表示する映像合成部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、俯瞰映像を合成して表示する技術に関する。
【背景技術】
【０００２】
従来より、１台の自動車に搭載した複数台のカメラ映像から、その自動車周辺を含む１つの俯瞰映像を合成し、それを自動車の運転席に設置したディスプレイに表示するシステムが存在する。
【０００３】
典型的には、乗用車の前後左右に搭載した４台のカメラで車両周囲を撮影した映像から、自車両周囲を含む１つの俯瞰映像を合成し、車載ディスプレイに表示するシステムである（例えば、特許文献１参照）。この従来技術においては、俯瞰映像を合成するのに用いる車載カメラは、例えば、予め定めた４つのカメラを固定的に用いている。
【０００４】
例えば、大型トラックやバスのように長尺の車両の場合、車両全体、及びその周囲を含む俯瞰映像を１つの画面に表示すると、俯瞰映像の縮小されて映像が小さくなり、車両周囲が小さく映るため、画面上で車両周辺状況が確認しづらい。
【０００５】
車両周辺状況が確認しづらいことの対策として、俯瞰映像の一部を、利用者指示に基づき、又は車両情報等に基づき自動でズームアップして表示することが考えられる（例えば、特許文献２参照）。しかし、その場合、使用するカメラ数が少ないと、特にカメラから遠い場所については、映像の解像度が低下する。
【０００６】
そこで、さらに映像の解像度が低下することの対策として、俯瞰映像を表示すべき対象領域を、至近距離から撮影した映像で全てカバーできるよう、カメラの台数を増やすことが考えられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２３５０３６号公報
【特許文献２】特許第３３００３３４号公報（国際出願番号ＰＣＴ／ＪＰ００／０２４７４）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来技術では、１つの俯瞰映像の合成に利用するカメラ映像の数が増えると、映像合成のために必要な回路規模の増大や、演算処理量の増大を招くという問題がある。
【０００９】
そこで、本発明では、複数のカメラ映像から１つの俯瞰映像を合成する装置において、使用するカメラの数が増えても、映像の解像度が低下しないように、自動的に最適な映像が表示されるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、以下に開示する映像合成装置は、複数のカメラの映像から１つの俯瞰映像を合成する映像合成装置であって、入力情報を受付ける入力情報受付部と、前記入力情報受付部が受付けた入力情報に基づいて俯瞰映像の表示範囲を決定する表示範囲決定部と、前記表示範囲決定部が決定した俯瞰映像の表示範囲に基づき、当該表示範囲の俯瞰映像の合成に用いる映像を撮影する所定数のカメラを選択して決定するカメラ選択決定部と、前記カメラ選択決定部が決定した所定数のカメラの映像における重複部分について、いずれのカメラの映像を割り当てるかを決定するカメラ映像割り当て決定部と、前記カメラ映像割り当て決定部の割り当てに基づいて、前記カメラ選択決定部が決定した所定数のカメラによって撮影された映像を用いて、前記俯瞰映像を合成して表示する映像合成部とを備える。
【発明の効果】
【００１１】
上記の構成によれば、複数のカメラ映像から１つの俯瞰映像を合成する装置において、俯瞰映像の合成に使用するカメラの映像を効率よく割り当てることにより、使用するカメラの数が増えても、映像の解像度が低下しないように、自動的に最適な俯瞰映像が合成されて、表示装置に出力されるようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明のシステム構成
【図２】俯瞰映像領域、車両、及びカメラの関係とカメラの視野
【図３】メッシュ状に分割された俯瞰映像領域
【図４】表示モードごとの各カメラの適合度マップを定義するテーブルの例
【図５】本発明の全体処理フローチャート
【図６】カメラ選択決定処理のフローチャート
【図７】カメラ割当決定処理のフローチャート
【図８】表示範囲とカメラ割当の例
【図９】表示範囲とカメラ割当の例
【発明を実施するための形態】
【００１３】
[実施形態]
図１は、本発明の実施形態に係る映像合成装置１００の全体構成を示すブロック図である。図１において、映像合成装置１００は、入力情報受付部１１０、表示範囲決定部１２０、カメラ選択決定部１３０、適合度マップ記憶部１４０、カメラ映像割り当て決定部１５０、入力映像選択部１６０、及び映像合成部１７０を備える。ここでは、一例として映像合成装置１００が車載システムに組み込まれる場合について説明する。
【００１４】
入力情報受付部１１０は、車両情報及びユーザからの入力情報を受付ける。車両情報は、例えば車両の制御部から送られる車両の直進、右折、左折、後退等の状態を示す情報である。また、入力情報は、例えばユーザから入力ボタン、マイク等を介して指定された俯瞰映像の表示範囲等の情報である。
【００１５】
表示範囲決定部１２０は、入力情報受付部１１０で受付けた車両情報等の情報と、利用者指示入力情報に基づき、俯瞰映像として表示する範囲（以下、俯瞰映像の表示範囲とする）、及び表示モードを予め定めた手順にしたがって決定する。表示モードは、例えば様々な場合に適切な俯瞰映像表示を行うために予め設定された複数の表示形式であり、例えば車両の直進、右折、左折、後退等の状態に応じて切り替わるモードでも、ユーザの指定により切り替わるモードであってもよい。
【００１６】
カメラ選択決定部１３０は、表示範囲決定部１２０で決定された俯瞰映像の表示範囲、及び表示モードに基づき、映像合成に用いるカメラの組を選択して決定する。
【００１７】
カメラ映像割り当て決定部１５０は、表示範囲決定部１２０で決定された俯瞰映像の表示範囲、及び表示モードに基づき、適合度マップ記憶部１４０から各カメラの適合度マップを参照し、俯瞰映像の各部分を合成するために、カメラ選択決定部１３０で選択されたカメラの映像の重複部分について、いずれのカメラの映像を用いるかの割り当てを決定する。
【００１８】
入力映像選択部１６０は、映像合成装置１００に接続されたカメラＣ１〜カメラＣｍの映像のうち、カメラ選択決定部１３０で映像合成に使用すると決定したカメラの組の映像を選択して映像合成部１７０に渡す。
【００１９】
映像合成部１７０は、決定された俯瞰映像の表示範囲、表示モード、カメラ選択情報、及びカメラ映像割当情報に基づき、入力映像選択部１６０から受け取ったカメラ映像を用いて俯瞰映像を合成し、映像合成装置１００に接続された表示部１８０に渡して表示する。なお、映像合成装置１００の構成は図１に示した例に限られない。例えば、カメラＣ１〜Ｃｍ、表示部１８０は、映像合成装置１００が備えるように構成されていてもよい。また、適合度マップ記憶部１４０は、映像合成装置１００からアクセス可能な外部ストレージに設けられてもよい。
【００２０】
上記のカメラ選択決定部１３０、及びカメラ映像割り当て決定部１５０の処理においては、適合度マップ記憶部１４０から各カメラの適合度マップが読み出して用いられる。適合度マップは、カメラ適合度データの一例であり、合成する俯瞰映像の各部分ごとに、どのカメラを用いるのが良いかの度合いを適合度値で定義したマップとして構成できる。ここで、合成される俯瞰映像の表示範囲は、例えば図２（ａ）に示すように、車両の周囲に定義される。なお、このときのカメラの視野は、例えば図２（ｂ）に示す通りである。図２（ｂ）に示す例では、各カメラの視野は隣接するカメラの視野と一部重なっている。そのため、各カメラの映像は隣接するカメラの映像と一部重なる領域を有することになる。
【００２１】
表示範囲決定部は、入力情報に基づいて表示モードを決定し、カメラ適合度データは、表示モード毎にデータを有することが好ましい。カメラ選択決定部１３０は、表示範囲決定部が決定した表示モードに対応するカメラ適合度データを用いてカメラを選択して決定できる。また、カメラ映像割り当て決定部１５０は、表示範囲決定部１２０が決定した表示モードに対応するカメラ適合度データを用いて俯瞰映像の合成に割り当てることができる。
【００２２】
これにより、カメラ適合度データを用いることにより、俯瞰映像の合成に適したカメラを選択できると共に、俯瞰映像の合成に適したカメラ映像を割り当てることができる。
【００２３】
適合度データは、例えば、カメラの位置、方向、視野角などに基づき、合成する俯瞰映像の各部分を当該カメラの映像を用いて合成した場合の解像度、歪み、死角などが、当該表示モードの目的を満たすための要件に適合するように考慮して予め決定し、記憶しておく。なお、適合度データの値は、カメラの位置、方向、視野角等から自動的に計算されてもよいし、人手によるチューニングが可能であってもよい。
【００２４】
図３は、俯瞰映像を合成する領域をメッシュ状に分割し、分割された各部分をセグメントと定義し、各セグメントにセグメント名（Ｓ１１、Ｓ１２、・・・Ｓ１ｎ、Ｓ２１、Ｓ２２、・・・、Ｓ２ｎ、・・・、Ｓｍ１、・・・Ｓｍｎ）を割り当てた例である。
【００２５】
このときの適合度マップの定義例を図４に示す。各カメラ（ここでは、Ｃ１〜Ｃ８）について、適合度マップを定義するテーブルがリンクされている。（ただし、一部図を省略。）各テーブルでは、表示モード（Ｍ１、Ｍ３、・・・）ごとの適合度マップを定義している。具体的には、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）についての適合度値が定義されている。適合度値が高いものほど、その表示モードにおいて、そのセグメントを表示するのに、そのカメラの映像を使うことが適していることを示す。
【００２６】
例えば、図４の例では、カメラＣ２の適合度値は、直進モード（Ｍ１）では、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）について、（８０、８０、７０、６０、５０、４０・・・）と定義されている。また、カメラＣ３の適合度値は、直進モード（Ｍ１）では、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）について、（５０、７０、１００、１００、１００、１００・・・）と定義されている。カメラＣ４の適合度値は、直進モード（Ｍ１）では、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）について、（２０、３０、４０、５０、６０、７０・・・）と定義されている。また、カメラＣ８の適合度値は、直進モード（Ｍ１）では、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）について、（０、０、０、０、０、０・・・）と定義されている。すなわち、図４の例では、直進モード（Ｍ１）では、セグメントＳ１１はカメラＣ２、セグメントＳ１２はカメラＣ２、セグメントＳ１３はカメラＣ３、セグメントＳ１４はカメラＣ３、セグメントＳ１５はカメラＣ３、セグメントＳ１６はカメラＣ３の映像を使うことが適していることを示している。なお、図４の適合度マップは一例である。
【００２７】
カメラ適合度データは、表示モード毎にデータを有し、第１の表示モードから第２の表示モードへ切り替わる中間的な第３の表示モードが決定された場合、第１の表示モードの適合度値に重み付けした値と第２の表示モードの適合度値に重み付けした値との平均値を中間的な第３の表示モードの適合度値として新たな適合度データが作成されてもよい。これにより、中間的なモードであっても対応可能となる。
【００２８】
すなわち、図４は、表示モードごとに適合度マップを定義している例であるが、実際に適合度マップを利用する際には、複数の表示モードの適合度マップを重み付け合成して新たな適合度マップを作成し、それを利用してもよい。例えば、第１のモードから第２のモードへ切り替わる中間的な第３のモードが表示範囲決定部１２０で決定された場合、第１のモードの適合度値に重み付けした値と第２のモードの適合度値に重み付けした値との平均値を中間的な第３のモードの適合度値として新たな適合度マップを作成して利用してもよい。
【００２９】
具体例として、直進モードから左折モードへと切り替わる過程のモード（中間的なモード）の場合、例えば直進モード（Ｍ１）の適合度値に０．６の重み付けをした値と左折モード（Ｍ３）の適合度値に０．４の重み付けをした値との平均値を中間的なモードの適合度値とし、中間的なモードの適合度マップを作成して利用してもよい。
【００３０】
以下、本発明の実施形態に係る映像合成装置１００の動作について、図５のフローチャートに従って説明する。
【００３１】
まず、表示範囲決定部１２０は、入力情報受付部１１０で受付けた車両情報等の情報と、利用者指示入力情報に基づき、俯瞰映像の表示範囲、及び表示モードを予め定めた手順にしたがって決定する（ステップＳ５０１）。例えば、入力情報受付部１１０は、ドライバによるウインカ、シフト、ハンドル、アクセル、ブレーキなどの操作情報や、車両制御システムやカーナビゲーションシステム等からの情報に基づく車両情報として、直進、左折、右折、後退等の車両の進む方向を示す情報を受け取り、表示範囲決定部１２０は、前記方向に対応する表示モード（直進モード、左折モード、右折モード、後退モードのいずれか１つ）を決定することができる。
【００３２】
車両情報と表示モードを対応付けるデータを予め記録しておき、表示範囲決定部１２０は、このデータを用いて表示モードを決定することができる。例えば、表示範囲の候補を予め複数用意しておき、各表示範囲の候補について、その表示範囲が選択されるために車両情報が満たすべき条件を対応付けるデータを予め記録しておくことにより、表示範囲決定部１２０は、このデータを用いて表示範囲を決定することができる。更に、表示範囲決定部１２０は、入力情報受付部１１０で受付けた、画面上でのタッチパネル操作などによる利用者指示入力に基づき、表示範囲を任意に変更（移動、拡大、縮小など）できるように構成してもよい。
【００３３】
次に、カメラ選択決定部１３０は、表示範囲決定部１２０で決定された俯瞰映像の表示範囲、及び表示モードに基づき、映像合成に用いる所定数のカメラの組を選択して決定する（ステップＳ５０２）。このカメラ選択決定処理の詳細については後述する。
【００３４】
次に、カメラ映像割り当て決定部１５０は、表示範囲決定部１２０で決定された俯瞰映像の表示範囲、及び表示モードに基づき、適合度マップ記憶部１４０から各カメラの適合度マップを参照し、俯瞰映像を合成するために、カメラ選択決定部１３０で選択されたカメラの映像の重複部分について、いずれのカメラの映像を用いるかの割り当てを決定する（ステップＳ５０３）。このカメラ映像割り当て決定処理の詳細については後述する。
【００３５】
次に、入力映像選択部１６０は、映像合成装置１００に接続されたカメラＣ１〜カメラＣｍの映像のうち、カメラ選択決定部１３０で映像合成に使用すると決定したカメラの組の映像を選択して映像合成部１７０に渡す（ステップＳ５０４）。
【００３６】
次に、映像合成部１７０は、決定された俯瞰映像の表示範囲、表示モード、カメラ選択情報、及びカメラ映像割当情報に基づき、入力映像選択部１６０から受け取ったカメラ映像を用いて俯瞰映像を合成し、映像合成装置１００に接続された表示部１９０に渡して表示する（ステップＳ５０５）。俯瞰映像は、例えば、車載システムが備えるディスプレイに表示される。
【００３７】
次に、映像合成部１７０は、処理を継続するかどうか判断し（ステップＳ５０６）、継続する場合はステップＳ５０１に戻って処理を繰り返す。
【００３８】
以上の処理を繰り返すことにより、利用者の指示入力、及び車両状態の入力情報に基づいて決定された俯瞰映像の表示範囲、及び表示モードに従って、適切なカメラからの入力映像が選択され、その入力映像に基づいて俯瞰映像が合成され、表示される。
（カメラ選択決定処理）
本実施形態では、カメラ選択決定部１３０は、カメラの映像の利用が適している度合いである適合度値を俯瞰映像の各部分毎に各カメラについて定めたカメラ適合度データを記憶するカメラ適合度データ記憶部にアクセス可能である。カメラ選択決定部１３０は、俯瞰映像の表示範囲における各部分の適合度値を、カメラ適合度データ記憶部から読み出して各カメラ毎に表示範囲における適合度値を計算し、計算して得られる表示範囲における適合度値が高いカメラから順に所定数のカメラを、俯瞰映像の合成に使用するカメラとして選択して決定することができる。
【００３９】
これにより、適合度値の加算値を用いてカメラを選択するため、俯瞰映像の合成に使用するカメラをより最適に選択できる。
【００４０】
次に、俯瞰映像の合成に使用するカメラの組の選択を決定するカメラ選択決定処理（ステップＳ５０２）の詳細について、図６のフローチャートに従って説明する。
【００４１】
予め、全てのカメラについて、それぞれの「表示範囲における適合度値」を一時的に記録するためのバッファを用意しておく。
【００４２】
まず、カメラ選択決定部１３０は、選択候補とするカメラを１つ選択する（ステップＳ６０１）。
【００４３】
次に、カメラ選択決定部１３０は、選択したカメラについて、適合度マップを用意する（ステップＳ６０２）。
【００４４】
次に、カメラ選択決定部１３０は、用意した適合度マップの俯瞰映像の表示範囲に含まれる部分の当該選択したカメラについての適合度値を全て加算し、得られた適合度値の合計値を前記バッファに記録する（ステップＳ６０３）。
【００４５】
次に、カメラ選択決定部１３０は、ステップＳ６０１〜Ｓ６０３の処理を全てのカメラについて順次繰り返し、当該ステップＳ６０１〜Ｓ６０３の処理が未処理のカメラが残っているか否か判定する（ステップＳ６０４）。
【００４６】
ステップＳ６０４において、未処理のカメラが残っていると判定された場合は、カメラ選択決定部１３０は、ステップ６０１に処理を戻して新たなカメラを選択してステップＳ６０１〜Ｓ６０３の処理を繰り返す。
【００４７】
ステップＳ６０４において、全てのカメラについて処理が終了したと判定された場合、カメラ選択決定部１３０は、前記バッファに記録された適合度値の加算値が高いものから順にカメラＣ１〜Ｃｍから、既定のカメラ台数以下となるように、映像合成に使用する所定数のカメラの組を選択して決定する（ステップＳ６０５）。ここでは、一例として図８（ａ）に示す表示範囲Ｓについて、カメラＣ２、カメラＣ３、カメラＣ４、カメラＣ８のカメラの組が選択され、決定されたとする。
【００４８】
なお、図６に示す例では、「表示範囲における適合度値」として、俯瞰映像の表示範囲に含まれる部分の適合度値の合計値を用いているが、表示範囲における適合度値はこれに限定されない。例えば、表示範囲に含まれる部分の適合度値の平均値、最大値、最小値、あるいは、あらかじめ定めた閾値を超える部分の面積もしくはセグメント数などを、表示範囲におけるカメラの適合度として用いることができる。
（カメラ映像割り当て決定処理）
本実施形態では、カメラ映像割り当て決定部１５０は、カメラの映像の利用が適している度合いである適合度値を俯瞰映像の各部分毎に各カメラについて定めたカメラ適合度データを記憶するカメラ適合度データ記憶部にアクセス可能である。カメラ映像割り当て決定部１５０は、カメラ選択決定部が決定した所定数のカメラの映像のうち、前記俯瞰映像における各カメラの映像の重複部分についての適合度値の値が最も高いカメラの映像を、その重複部分の俯瞰映像の合成に割り当てることができる。
【００４９】
これにより、適合度値の最も高いカメラの映像を割り当てるため、効率よくカメラを使用して最適な俯瞰映像を合成することができる。
【００５０】
次に、カメラ映像割当決定処理（ステップＳ５０３）の詳細について、図７のフローチャートに従って説明する。
【００５１】
まず、カメラ映像割り当て決定部１５０は、俯瞰映像の表示範囲Ｓに含まれる各セグメント（Ｓ１１〜Ｓｍｎ）について、映像を用いるカメラとその適合度値を記録できるバッファを用意し、内容をクリアしておく（ステップＳ７０１）。本例では、選択されたカメラＣ２、カメラＣ３、カメラＣ４、カメラＣ８のカメラについて、各セグメントのバッファが用意される。
【００５２】
次に、カメラ映像割り当て決定部１５０は、セグメントを１つ選択する（ステップＳ７０２）。ここでは、まずセグメントＳ１１が選択されたとする。
【００５３】
次に、カメラ映像割り当て決定部１５０は、カメラ選択決定部１３０が決定したカメラのうち、１つのカメラを選択する（ステップＳ７０３）。ここでは、まずカメラＣ２が選択されたとする。
【００５４】
カメラ映像割り当て決定部１５０は、ステップＳ７０２において選択したセグメントについて、ステップ７０１で用意したバッファに記録されているカメラの適合度値よりも、現在選択したカメラの適合度マップにおける当該セグメントについての適合度値が高いか否かを判定する（ステップＳ７０４）。ここでは、まずセグメントＳ１１について判定される。なお、バッファがクリアされている場合は、そのカメラとその適合度値がそのまま記録される。
【００５５】
ステップＳ７０４において、適合度値が高い場合、カメラ映像割り当て決定部１５０は、当該カメラ名とその適合度値を当該セグメントのバッファに記録する（ステップＳ７０５）。ここでは、まずセグメントＳ１１のバッファにカメラＣ２とその適合度値「８０」が記録される。一方、ステップＳ７０４において、適合度値が高くない場合、カメラ映像割り当て決定部１５０は、ステップＳ７０６に処理を進める。
【００５６】
カメラ映像割り当て決定部１５０は、ステップＳ７０６において、選択決定された全てのカメラについて処理が終わっていない場合はステップＳ７０３に処理を戻し、終わっている場合は次のステップＳ７０７に処理を進める。
【００５７】
カメラ映像割り当て決定部１５０は、ステップＳ７０７では、全てのセグメントについて処理が終わっていない場合はステップＳ７０２に処理を戻して、セグメントＳ１１の次のセグメントを１つ選択して処理を繰り返し、終わっている場合は次のステップＳ７０８に処理を進める。
【００５８】
すなわち、セグメントＳ１１から順次セグメントＳｍｎまでのそれぞれのセグメントについて、図４に示すカメラ適合度マップからカメラＣ２、カメラＣ３、カメラＣ４、カメラＣ８の適合度値が順次読出されて、それらが比較された結果、適合度値が高いカメラとその適合度値がそれぞれのセグメントのバッファに更新記録される。
【００５９】
例えば、図４の例では、セグメントＳ１３について、直進モード（Ｍ１）のとき、まず、カメラＣ２と適合度値「７０」がバッファに記録される。次に、カメラＣ３の適合度値「１００」が読み出され、カメラＣ２の適合度値「７０」とカメラＣ３の適合度値「１００」とではカメラＣ３の適合度値の方が高いため、カメラＣ３と適合度値「１００」がバッファに更新記録される。次に、カメラＣ４の適合度値「４０」が読み出され、カメラＣ３の適合度値「１００」とカメラＣ４の適合度値「４０」とでは、カメラＣ３の適合度値の方が高いため、更新されない。最後に、カメラＣ３の適合度値「１００」とカメラＣ８の適合度値「０」とでは、カメラＣ３の適合度値の方が高いため、更新されない。すなわち、セグメントＣ１３のバッファには、カメラＣ３と適合度値「１００」が記録される。
【００６０】
カメラ映像割り当て決定部１５０は、ステップ７０８の時点で、バッファに記録されている各セグメントのバッファに記録された適合度値が最も高いカメラの映像を、当該セグメントの合成に使用するカメラの映像の割当として決定する。
【００６１】
以上により、俯瞰映像表示領域の各セグメントを合成するために、どのカメラの映像を使うかを、自動的かつ適切に決定することができる。
【００６２】
すなわち、上記のような手順によれば、図４のような適合度マップが定義されており、映像合成に用いるカメラ台数は最大４台と決められており、図８（ａ）のように表示範囲が決定され、表示モードが左折モード（Ｍ３）の場合、カメラＣ２、Ｃ３、Ｃ４、Ｃ８が俯瞰映像合成に使用するカメラとして選択され、図８（ｂ）のようにカメラ映像割当が決定される。
【００６３】
なお、例えば図９（ａ）のように表示範囲が決定され、表示モードが直進モード（Ｍ１）の場合は、例えばカメラＣ１、Ｃ３、Ｃ５、Ｃ７が俯瞰映像の合成に使用するカメラとして選択され、それぞれのセグメントの適合度値が最も高いカメラが図９（ｂ）のようにカメラ映像割当として決定される場合もある。
【００６４】
以上説明したように、本発明によれば、複数のカメラ映像から１つの俯瞰映像を合成する装置において、俯瞰映像の合成に使用するカメラの映像を効率よく割り当てることにより、使用するカメラの数が増えても、映像の解像度が低下しないように、自動的に最適な俯瞰映像が表示されるようにすることができる。
【００６５】
上記実施形態で説明した構成は、単に具体例を示すものであり、本発明の技術的範囲を制限するものではない。本発明の効果を奏する範囲において、任意の構成を採用することが可能である。例えば、カメラ選択決定部１３０が適合度マップを使わずにカメラを選択決定してもよい。また、カメラ映像割り当て決定部１５０が適合度マップを使わずに割り当てを決定してもよい。
【００６６】
例えば、適合度マップをあらかじめ用意するかわりに、各カメラの設置位置および方向、視野角などから、合成する俯瞰映像の各部分もしくは各画素における当該カメラの適合度値を随時計算し、その値をカメラ選択決定、もしくはカメラ映像割当決定に用いてもよい。この場合、適合度マップをあらかじめ用意する必要が無くなり、カメラ位置や方向の変更に対応しやすくなる反面、適合度マップを使う方法と比較して、処理量が多くなったり、表示モードごとの詳細なチューニングが難しくなる可能性がある。
【００６７】
なお、本実施形態では車載システムに適用した例を説明したが、例えば、航空機や船舶などへの搭載システム、建物などの監視システムのほか、複数のカメラ映像（実時間映像または録画映像）を入力として映像を合成し、表示や記録を行う様々なシステムに適用することができる。
【００６８】
なお、本発明の実施形態は、上述した実施形態を実現するソフトウェアのプログラム（実施の形態では図に示すフロー図に対応したプログラム）が装置に供給され、その装置のコンピュータが、供給されたプログラムを読出して、実行することによっても達成せれる場合を含む。したがって、本実施形態で説明した機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラム自体も本発明の一実施形態である。つまり、本発明の機能処理を実現させるためのプログラムも、実施形態の一側面に含まれる。また、当該プログラムを記録した媒体も、実施形態の一側面に含まれる。
【符号の説明】
【００６９】
１００ 映像合成装置
１１０ 入力情報受付部
１２０ 表示範囲決定部
１３０ カメラ選択決定部
１４０ 適合度マップ記憶部
１５０ カメラ映像割り当て決定部
１６０ 入力映像選択部１６０
１７０ 映像合成部１７０
１８０ 表示部
Ｃ１〜Ｃｍ カメラ
【技術分野】
【０００１】
本発明は、俯瞰映像を合成して表示する技術に関する。
【背景技術】
【０００２】
従来より、１台の自動車に搭載した複数台のカメラ映像から、その自動車周辺を含む１つの俯瞰映像を合成し、それを自動車の運転席に設置したディスプレイに表示するシステムが存在する。
【０００３】
典型的には、乗用車の前後左右に搭載した４台のカメラで車両周囲を撮影した映像から、自車両周囲を含む１つの俯瞰映像を合成し、車載ディスプレイに表示するシステムである（例えば、特許文献１参照）。この従来技術においては、俯瞰映像を合成するのに用いる車載カメラは、例えば、予め定めた４つのカメラを固定的に用いている。
【０００４】
例えば、大型トラックやバスのように長尺の車両の場合、車両全体、及びその周囲を含む俯瞰映像を１つの画面に表示すると、俯瞰映像の縮小されて映像が小さくなり、車両周囲が小さく映るため、画面上で車両周辺状況が確認しづらい。
【０００５】
車両周辺状況が確認しづらいことの対策として、俯瞰映像の一部を、利用者指示に基づき、又は車両情報等に基づき自動でズームアップして表示することが考えられる（例えば、特許文献２参照）。しかし、その場合、使用するカメラ数が少ないと、特にカメラから遠い場所については、映像の解像度が低下する。
【０００６】
そこで、さらに映像の解像度が低下することの対策として、俯瞰映像を表示すべき対象領域を、至近距離から撮影した映像で全てカバーできるよう、カメラの台数を増やすことが考えられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２３５０３６号公報
【特許文献２】特許第３３００３３４号公報（国際出願番号ＰＣＴ／ＪＰ００／０２４７４）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来技術では、１つの俯瞰映像の合成に利用するカメラ映像の数が増えると、映像合成のために必要な回路規模の増大や、演算処理量の増大を招くという問題がある。
【０００９】
そこで、本発明では、複数のカメラ映像から１つの俯瞰映像を合成する装置において、使用するカメラの数が増えても、映像の解像度が低下しないように、自動的に最適な映像が表示されるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、以下に開示する映像合成装置は、複数のカメラの映像から１つの俯瞰映像を合成する映像合成装置であって、入力情報を受付ける入力情報受付部と、前記入力情報受付部が受付けた入力情報に基づいて俯瞰映像の表示範囲を決定する表示範囲決定部と、前記表示範囲決定部が決定した俯瞰映像の表示範囲に基づき、当該表示範囲の俯瞰映像の合成に用いる映像を撮影する所定数のカメラを選択して決定するカメラ選択決定部と、前記カメラ選択決定部が決定した所定数のカメラの映像における重複部分について、いずれのカメラの映像を割り当てるかを決定するカメラ映像割り当て決定部と、前記カメラ映像割り当て決定部の割り当てに基づいて、前記カメラ選択決定部が決定した所定数のカメラによって撮影された映像を用いて、前記俯瞰映像を合成して表示する映像合成部とを備える。
【発明の効果】
【００１１】
上記の構成によれば、複数のカメラ映像から１つの俯瞰映像を合成する装置において、俯瞰映像の合成に使用するカメラの映像を効率よく割り当てることにより、使用するカメラの数が増えても、映像の解像度が低下しないように、自動的に最適な俯瞰映像が合成されて、表示装置に出力されるようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明のシステム構成
【図２】俯瞰映像領域、車両、及びカメラの関係とカメラの視野
【図３】メッシュ状に分割された俯瞰映像領域
【図４】表示モードごとの各カメラの適合度マップを定義するテーブルの例
【図５】本発明の全体処理フローチャート
【図６】カメラ選択決定処理のフローチャート
【図７】カメラ割当決定処理のフローチャート
【図８】表示範囲とカメラ割当の例
【図９】表示範囲とカメラ割当の例
【発明を実施するための形態】
【００１３】
[実施形態]
図１は、本発明の実施形態に係る映像合成装置１００の全体構成を示すブロック図である。図１において、映像合成装置１００は、入力情報受付部１１０、表示範囲決定部１２０、カメラ選択決定部１３０、適合度マップ記憶部１４０、カメラ映像割り当て決定部１５０、入力映像選択部１６０、及び映像合成部１７０を備える。ここでは、一例として映像合成装置１００が車載システムに組み込まれる場合について説明する。
【００１４】
入力情報受付部１１０は、車両情報及びユーザからの入力情報を受付ける。車両情報は、例えば車両の制御部から送られる車両の直進、右折、左折、後退等の状態を示す情報である。また、入力情報は、例えばユーザから入力ボタン、マイク等を介して指定された俯瞰映像の表示範囲等の情報である。
【００１５】
表示範囲決定部１２０は、入力情報受付部１１０で受付けた車両情報等の情報と、利用者指示入力情報に基づき、俯瞰映像として表示する範囲（以下、俯瞰映像の表示範囲とする）、及び表示モードを予め定めた手順にしたがって決定する。表示モードは、例えば様々な場合に適切な俯瞰映像表示を行うために予め設定された複数の表示形式であり、例えば車両の直進、右折、左折、後退等の状態に応じて切り替わるモードでも、ユーザの指定により切り替わるモードであってもよい。
【００１６】
カメラ選択決定部１３０は、表示範囲決定部１２０で決定された俯瞰映像の表示範囲、及び表示モードに基づき、映像合成に用いるカメラの組を選択して決定する。
【００１７】
カメラ映像割り当て決定部１５０は、表示範囲決定部１２０で決定された俯瞰映像の表示範囲、及び表示モードに基づき、適合度マップ記憶部１４０から各カメラの適合度マップを参照し、俯瞰映像の各部分を合成するために、カメラ選択決定部１３０で選択されたカメラの映像の重複部分について、いずれのカメラの映像を用いるかの割り当てを決定する。
【００１８】
入力映像選択部１６０は、映像合成装置１００に接続されたカメラＣ１〜カメラＣｍの映像のうち、カメラ選択決定部１３０で映像合成に使用すると決定したカメラの組の映像を選択して映像合成部１７０に渡す。
【００１９】
映像合成部１７０は、決定された俯瞰映像の表示範囲、表示モード、カメラ選択情報、及びカメラ映像割当情報に基づき、入力映像選択部１６０から受け取ったカメラ映像を用いて俯瞰映像を合成し、映像合成装置１００に接続された表示部１８０に渡して表示する。なお、映像合成装置１００の構成は図１に示した例に限られない。例えば、カメラＣ１〜Ｃｍ、表示部１８０は、映像合成装置１００が備えるように構成されていてもよい。また、適合度マップ記憶部１４０は、映像合成装置１００からアクセス可能な外部ストレージに設けられてもよい。
【００２０】
上記のカメラ選択決定部１３０、及びカメラ映像割り当て決定部１５０の処理においては、適合度マップ記憶部１４０から各カメラの適合度マップが読み出して用いられる。適合度マップは、カメラ適合度データの一例であり、合成する俯瞰映像の各部分ごとに、どのカメラを用いるのが良いかの度合いを適合度値で定義したマップとして構成できる。ここで、合成される俯瞰映像の表示範囲は、例えば図２（ａ）に示すように、車両の周囲に定義される。なお、このときのカメラの視野は、例えば図２（ｂ）に示す通りである。図２（ｂ）に示す例では、各カメラの視野は隣接するカメラの視野と一部重なっている。そのため、各カメラの映像は隣接するカメラの映像と一部重なる領域を有することになる。
【００２１】
表示範囲決定部は、入力情報に基づいて表示モードを決定し、カメラ適合度データは、表示モード毎にデータを有することが好ましい。カメラ選択決定部１３０は、表示範囲決定部が決定した表示モードに対応するカメラ適合度データを用いてカメラを選択して決定できる。また、カメラ映像割り当て決定部１５０は、表示範囲決定部１２０が決定した表示モードに対応するカメラ適合度データを用いて俯瞰映像の合成に割り当てることができる。
【００２２】
これにより、カメラ適合度データを用いることにより、俯瞰映像の合成に適したカメラを選択できると共に、俯瞰映像の合成に適したカメラ映像を割り当てることができる。
【００２３】
適合度データは、例えば、カメラの位置、方向、視野角などに基づき、合成する俯瞰映像の各部分を当該カメラの映像を用いて合成した場合の解像度、歪み、死角などが、当該表示モードの目的を満たすための要件に適合するように考慮して予め決定し、記憶しておく。なお、適合度データの値は、カメラの位置、方向、視野角等から自動的に計算されてもよいし、人手によるチューニングが可能であってもよい。
【００２４】
図３は、俯瞰映像を合成する領域をメッシュ状に分割し、分割された各部分をセグメントと定義し、各セグメントにセグメント名（Ｓ１１、Ｓ１２、・・・Ｓ１ｎ、Ｓ２１、Ｓ２２、・・・、Ｓ２ｎ、・・・、Ｓｍ１、・・・Ｓｍｎ）を割り当てた例である。
【００２５】
このときの適合度マップの定義例を図４に示す。各カメラ（ここでは、Ｃ１〜Ｃ８）について、適合度マップを定義するテーブルがリンクされている。（ただし、一部図を省略。）各テーブルでは、表示モード（Ｍ１、Ｍ３、・・・）ごとの適合度マップを定義している。具体的には、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）についての適合度値が定義されている。適合度値が高いものほど、その表示モードにおいて、そのセグメントを表示するのに、そのカメラの映像を使うことが適していることを示す。
【００２６】
例えば、図４の例では、カメラＣ２の適合度値は、直進モード（Ｍ１）では、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）について、（８０、８０、７０、６０、５０、４０・・・）と定義されている。また、カメラＣ３の適合度値は、直進モード（Ｍ１）では、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）について、（５０、７０、１００、１００、１００、１００・・・）と定義されている。カメラＣ４の適合度値は、直進モード（Ｍ１）では、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）について、（２０、３０、４０、５０、６０、７０・・・）と定義されている。また、カメラＣ８の適合度値は、直進モード（Ｍ１）では、各セグメント（Ｓ１１、Ｓ１２、・・・、Ｓｍｎ）について、（０、０、０、０、０、０・・・）と定義されている。すなわち、図４の例では、直進モード（Ｍ１）では、セグメントＳ１１はカメラＣ２、セグメントＳ１２はカメラＣ２、セグメントＳ１３はカメラＣ３、セグメントＳ１４はカメラＣ３、セグメントＳ１５はカメラＣ３、セグメントＳ１６はカメラＣ３の映像を使うことが適していることを示している。なお、図４の適合度マップは一例である。
【００２７】
カメラ適合度データは、表示モード毎にデータを有し、第１の表示モードから第２の表示モードへ切り替わる中間的な第３の表示モードが決定された場合、第１の表示モードの適合度値に重み付けした値と第２の表示モードの適合度値に重み付けした値との平均値を中間的な第３の表示モードの適合度値として新たな適合度データが作成されてもよい。これにより、中間的なモードであっても対応可能となる。
【００２８】
すなわち、図４は、表示モードごとに適合度マップを定義している例であるが、実際に適合度マップを利用する際には、複数の表示モードの適合度マップを重み付け合成して新たな適合度マップを作成し、それを利用してもよい。例えば、第１のモードから第２のモードへ切り替わる中間的な第３のモードが表示範囲決定部１２０で決定された場合、第１のモードの適合度値に重み付けした値と第２のモードの適合度値に重み付けした値との平均値を中間的な第３のモードの適合度値として新たな適合度マップを作成して利用してもよい。
【００２９】
具体例として、直進モードから左折モードへと切り替わる過程のモード（中間的なモード）の場合、例えば直進モード（Ｍ１）の適合度値に０．６の重み付けをした値と左折モード（Ｍ３）の適合度値に０．４の重み付けをした値との平均値を中間的なモードの適合度値とし、中間的なモードの適合度マップを作成して利用してもよい。
【００３０】
以下、本発明の実施形態に係る映像合成装置１００の動作について、図５のフローチャートに従って説明する。
【００３１】
まず、表示範囲決定部１２０は、入力情報受付部１１０で受付けた車両情報等の情報と、利用者指示入力情報に基づき、俯瞰映像の表示範囲、及び表示モードを予め定めた手順にしたがって決定する（ステップＳ５０１）。例えば、入力情報受付部１１０は、ドライバによるウインカ、シフト、ハンドル、アクセル、ブレーキなどの操作情報や、車両制御システムやカーナビゲーションシステム等からの情報に基づく車両情報として、直進、左折、右折、後退等の車両の進む方向を示す情報を受け取り、表示範囲決定部１２０は、前記方向に対応する表示モード（直進モード、左折モード、右折モード、後退モードのいずれか１つ）を決定することができる。
【００３２】
車両情報と表示モードを対応付けるデータを予め記録しておき、表示範囲決定部１２０は、このデータを用いて表示モードを決定することができる。例えば、表示範囲の候補を予め複数用意しておき、各表示範囲の候補について、その表示範囲が選択されるために車両情報が満たすべき条件を対応付けるデータを予め記録しておくことにより、表示範囲決定部１２０は、このデータを用いて表示範囲を決定することができる。更に、表示範囲決定部１２０は、入力情報受付部１１０で受付けた、画面上でのタッチパネル操作などによる利用者指示入力に基づき、表示範囲を任意に変更（移動、拡大、縮小など）できるように構成してもよい。
【００３３】
次に、カメラ選択決定部１３０は、表示範囲決定部１２０で決定された俯瞰映像の表示範囲、及び表示モードに基づき、映像合成に用いる所定数のカメラの組を選択して決定する（ステップＳ５０２）。このカメラ選択決定処理の詳細については後述する。
【００３４】
次に、カメラ映像割り当て決定部１５０は、表示範囲決定部１２０で決定された俯瞰映像の表示範囲、及び表示モードに基づき、適合度マップ記憶部１４０から各カメラの適合度マップを参照し、俯瞰映像を合成するために、カメラ選択決定部１３０で選択されたカメラの映像の重複部分について、いずれのカメラの映像を用いるかの割り当てを決定する（ステップＳ５０３）。このカメラ映像割り当て決定処理の詳細については後述する。
【００３５】
次に、入力映像選択部１６０は、映像合成装置１００に接続されたカメラＣ１〜カメラＣｍの映像のうち、カメラ選択決定部１３０で映像合成に使用すると決定したカメラの組の映像を選択して映像合成部１７０に渡す（ステップＳ５０４）。
【００３６】
次に、映像合成部１７０は、決定された俯瞰映像の表示範囲、表示モード、カメラ選択情報、及びカメラ映像割当情報に基づき、入力映像選択部１６０から受け取ったカメラ映像を用いて俯瞰映像を合成し、映像合成装置１００に接続された表示部１９０に渡して表示する（ステップＳ５０５）。俯瞰映像は、例えば、車載システムが備えるディスプレイに表示される。
【００３７】
次に、映像合成部１７０は、処理を継続するかどうか判断し（ステップＳ５０６）、継続する場合はステップＳ５０１に戻って処理を繰り返す。
【００３８】
以上の処理を繰り返すことにより、利用者の指示入力、及び車両状態の入力情報に基づいて決定された俯瞰映像の表示範囲、及び表示モードに従って、適切なカメラからの入力映像が選択され、その入力映像に基づいて俯瞰映像が合成され、表示される。
（カメラ選択決定処理）
本実施形態では、カメラ選択決定部１３０は、カメラの映像の利用が適している度合いである適合度値を俯瞰映像の各部分毎に各カメラについて定めたカメラ適合度データを記憶するカメラ適合度データ記憶部にアクセス可能である。カメラ選択決定部１３０は、俯瞰映像の表示範囲における各部分の適合度値を、カメラ適合度データ記憶部から読み出して各カメラ毎に表示範囲における適合度値を計算し、計算して得られる表示範囲における適合度値が高いカメラから順に所定数のカメラを、俯瞰映像の合成に使用するカメラとして選択して決定することができる。
【００３９】
これにより、適合度値の加算値を用いてカメラを選択するため、俯瞰映像の合成に使用するカメラをより最適に選択できる。
【００４０】
次に、俯瞰映像の合成に使用するカメラの組の選択を決定するカメラ選択決定処理（ステップＳ５０２）の詳細について、図６のフローチャートに従って説明する。
【００４１】
予め、全てのカメラについて、それぞれの「表示範囲における適合度値」を一時的に記録するためのバッファを用意しておく。
【００４２】
まず、カメラ選択決定部１３０は、選択候補とするカメラを１つ選択する（ステップＳ６０１）。
【００４３】
次に、カメラ選択決定部１３０は、選択したカメラについて、適合度マップを用意する（ステップＳ６０２）。
【００４４】
次に、カメラ選択決定部１３０は、用意した適合度マップの俯瞰映像の表示範囲に含まれる部分の当該選択したカメラについての適合度値を全て加算し、得られた適合度値の合計値を前記バッファに記録する（ステップＳ６０３）。
【００４５】
次に、カメラ選択決定部１３０は、ステップＳ６０１〜Ｓ６０３の処理を全てのカメラについて順次繰り返し、当該ステップＳ６０１〜Ｓ６０３の処理が未処理のカメラが残っているか否か判定する（ステップＳ６０４）。
【００４６】
ステップＳ６０４において、未処理のカメラが残っていると判定された場合は、カメラ選択決定部１３０は、ステップ６０１に処理を戻して新たなカメラを選択してステップＳ６０１〜Ｓ６０３の処理を繰り返す。
【００４７】
ステップＳ６０４において、全てのカメラについて処理が終了したと判定された場合、カメラ選択決定部１３０は、前記バッファに記録された適合度値の加算値が高いものから順にカメラＣ１〜Ｃｍから、既定のカメラ台数以下となるように、映像合成に使用する所定数のカメラの組を選択して決定する（ステップＳ６０５）。ここでは、一例として図８（ａ）に示す表示範囲Ｓについて、カメラＣ２、カメラＣ３、カメラＣ４、カメラＣ８のカメラの組が選択され、決定されたとする。
【００４８】
なお、図６に示す例では、「表示範囲における適合度値」として、俯瞰映像の表示範囲に含まれる部分の適合度値の合計値を用いているが、表示範囲における適合度値はこれに限定されない。例えば、表示範囲に含まれる部分の適合度値の平均値、最大値、最小値、あるいは、あらかじめ定めた閾値を超える部分の面積もしくはセグメント数などを、表示範囲におけるカメラの適合度として用いることができる。
（カメラ映像割り当て決定処理）
本実施形態では、カメラ映像割り当て決定部１５０は、カメラの映像の利用が適している度合いである適合度値を俯瞰映像の各部分毎に各カメラについて定めたカメラ適合度データを記憶するカメラ適合度データ記憶部にアクセス可能である。カメラ映像割り当て決定部１５０は、カメラ選択決定部が決定した所定数のカメラの映像のうち、前記俯瞰映像における各カメラの映像の重複部分についての適合度値の値が最も高いカメラの映像を、その重複部分の俯瞰映像の合成に割り当てることができる。
【００４９】
これにより、適合度値の最も高いカメラの映像を割り当てるため、効率よくカメラを使用して最適な俯瞰映像を合成することができる。
【００５０】
次に、カメラ映像割当決定処理（ステップＳ５０３）の詳細について、図７のフローチャートに従って説明する。
【００５１】
まず、カメラ映像割り当て決定部１５０は、俯瞰映像の表示範囲Ｓに含まれる各セグメント（Ｓ１１〜Ｓｍｎ）について、映像を用いるカメラとその適合度値を記録できるバッファを用意し、内容をクリアしておく（ステップＳ７０１）。本例では、選択されたカメラＣ２、カメラＣ３、カメラＣ４、カメラＣ８のカメラについて、各セグメントのバッファが用意される。
【００５２】
次に、カメラ映像割り当て決定部１５０は、セグメントを１つ選択する（ステップＳ７０２）。ここでは、まずセグメントＳ１１が選択されたとする。
【００５３】
次に、カメラ映像割り当て決定部１５０は、カメラ選択決定部１３０が決定したカメラのうち、１つのカメラを選択する（ステップＳ７０３）。ここでは、まずカメラＣ２が選択されたとする。
【００５４】
カメラ映像割り当て決定部１５０は、ステップＳ７０２において選択したセグメントについて、ステップ７０１で用意したバッファに記録されているカメラの適合度値よりも、現在選択したカメラの適合度マップにおける当該セグメントについての適合度値が高いか否かを判定する（ステップＳ７０４）。ここでは、まずセグメントＳ１１について判定される。なお、バッファがクリアされている場合は、そのカメラとその適合度値がそのまま記録される。
【００５５】
ステップＳ７０４において、適合度値が高い場合、カメラ映像割り当て決定部１５０は、当該カメラ名とその適合度値を当該セグメントのバッファに記録する（ステップＳ７０５）。ここでは、まずセグメントＳ１１のバッファにカメラＣ２とその適合度値「８０」が記録される。一方、ステップＳ７０４において、適合度値が高くない場合、カメラ映像割り当て決定部１５０は、ステップＳ７０６に処理を進める。
【００５６】
カメラ映像割り当て決定部１５０は、ステップＳ７０６において、選択決定された全てのカメラについて処理が終わっていない場合はステップＳ７０３に処理を戻し、終わっている場合は次のステップＳ７０７に処理を進める。
【００５７】
カメラ映像割り当て決定部１５０は、ステップＳ７０７では、全てのセグメントについて処理が終わっていない場合はステップＳ７０２に処理を戻して、セグメントＳ１１の次のセグメントを１つ選択して処理を繰り返し、終わっている場合は次のステップＳ７０８に処理を進める。
【００５８】
すなわち、セグメントＳ１１から順次セグメントＳｍｎまでのそれぞれのセグメントについて、図４に示すカメラ適合度マップからカメラＣ２、カメラＣ３、カメラＣ４、カメラＣ８の適合度値が順次読出されて、それらが比較された結果、適合度値が高いカメラとその適合度値がそれぞれのセグメントのバッファに更新記録される。
【００５９】
例えば、図４の例では、セグメントＳ１３について、直進モード（Ｍ１）のとき、まず、カメラＣ２と適合度値「７０」がバッファに記録される。次に、カメラＣ３の適合度値「１００」が読み出され、カメラＣ２の適合度値「７０」とカメラＣ３の適合度値「１００」とではカメラＣ３の適合度値の方が高いため、カメラＣ３と適合度値「１００」がバッファに更新記録される。次に、カメラＣ４の適合度値「４０」が読み出され、カメラＣ３の適合度値「１００」とカメラＣ４の適合度値「４０」とでは、カメラＣ３の適合度値の方が高いため、更新されない。最後に、カメラＣ３の適合度値「１００」とカメラＣ８の適合度値「０」とでは、カメラＣ３の適合度値の方が高いため、更新されない。すなわち、セグメントＣ１３のバッファには、カメラＣ３と適合度値「１００」が記録される。
【００６０】
カメラ映像割り当て決定部１５０は、ステップ７０８の時点で、バッファに記録されている各セグメントのバッファに記録された適合度値が最も高いカメラの映像を、当該セグメントの合成に使用するカメラの映像の割当として決定する。
【００６１】
以上により、俯瞰映像表示領域の各セグメントを合成するために、どのカメラの映像を使うかを、自動的かつ適切に決定することができる。
【００６２】
すなわち、上記のような手順によれば、図４のような適合度マップが定義されており、映像合成に用いるカメラ台数は最大４台と決められており、図８（ａ）のように表示範囲が決定され、表示モードが左折モード（Ｍ３）の場合、カメラＣ２、Ｃ３、Ｃ４、Ｃ８が俯瞰映像合成に使用するカメラとして選択され、図８（ｂ）のようにカメラ映像割当が決定される。
【００６３】
なお、例えば図９（ａ）のように表示範囲が決定され、表示モードが直進モード（Ｍ１）の場合は、例えばカメラＣ１、Ｃ３、Ｃ５、Ｃ７が俯瞰映像の合成に使用するカメラとして選択され、それぞれのセグメントの適合度値が最も高いカメラが図９（ｂ）のようにカメラ映像割当として決定される場合もある。
【００６４】
以上説明したように、本発明によれば、複数のカメラ映像から１つの俯瞰映像を合成する装置において、俯瞰映像の合成に使用するカメラの映像を効率よく割り当てることにより、使用するカメラの数が増えても、映像の解像度が低下しないように、自動的に最適な俯瞰映像が表示されるようにすることができる。
【００６５】
上記実施形態で説明した構成は、単に具体例を示すものであり、本発明の技術的範囲を制限するものではない。本発明の効果を奏する範囲において、任意の構成を採用することが可能である。例えば、カメラ選択決定部１３０が適合度マップを使わずにカメラを選択決定してもよい。また、カメラ映像割り当て決定部１５０が適合度マップを使わずに割り当てを決定してもよい。
【００６６】
例えば、適合度マップをあらかじめ用意するかわりに、各カメラの設置位置および方向、視野角などから、合成する俯瞰映像の各部分もしくは各画素における当該カメラの適合度値を随時計算し、その値をカメラ選択決定、もしくはカメラ映像割当決定に用いてもよい。この場合、適合度マップをあらかじめ用意する必要が無くなり、カメラ位置や方向の変更に対応しやすくなる反面、適合度マップを使う方法と比較して、処理量が多くなったり、表示モードごとの詳細なチューニングが難しくなる可能性がある。
【００６７】
なお、本実施形態では車載システムに適用した例を説明したが、例えば、航空機や船舶などへの搭載システム、建物などの監視システムのほか、複数のカメラ映像（実時間映像または録画映像）を入力として映像を合成し、表示や記録を行う様々なシステムに適用することができる。
【００６８】
なお、本発明の実施形態は、上述した実施形態を実現するソフトウェアのプログラム（実施の形態では図に示すフロー図に対応したプログラム）が装置に供給され、その装置のコンピュータが、供給されたプログラムを読出して、実行することによっても達成せれる場合を含む。したがって、本実施形態で説明した機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラム自体も本発明の一実施形態である。つまり、本発明の機能処理を実現させるためのプログラムも、実施形態の一側面に含まれる。また、当該プログラムを記録した媒体も、実施形態の一側面に含まれる。
【符号の説明】
【００６９】
１００ 映像合成装置
１１０ 入力情報受付部
１２０ 表示範囲決定部
１３０ カメラ選択決定部
１４０ 適合度マップ記憶部
１５０ カメラ映像割り当て決定部
１６０ 入力映像選択部１６０
１７０ 映像合成部１７０
１８０ 表示部
Ｃ１〜Ｃｍ カメラ
【特許請求の範囲】
【請求項１】
複数のカメラの映像から１つの俯瞰映像を合成する映像合成装置であって、
入力情報を受付ける入力情報受付部と、
前記入力情報受付部が受付けた入力情報に基づいて俯瞰映像の表示範囲を決定する表示範囲決定部と、
前記表示範囲決定部が決定した俯瞰映像の表示範囲に基づき、当該表示範囲の俯瞰映像の合成に用いる映像を撮影する所定数のカメラを選択して決定するカメラ選択決定部と、
前記カメラ選択決定部が決定した所定数のカメラの映像における重複部分について、いずれのカメラの映像を割り当てるかを決定するカメラ映像割り当て決定部と、
前記カメラ映像割り当て決定部の割り当てに基づいて、前記カメラ選択決定部が決定した所定数のカメラによって撮影された映像を用いて、前記俯瞰映像を合成して出力する映像合成部とを備えることを特徴とする、映像合成装置。
【請求項２】
前記カメラ選択決定部は、
カメラの映像の利用が適している度合いである適合度値を前記俯瞰映像の各部分毎に各カメラについて定めたカメラ適合度データを記憶するカメラ適合度データ記憶部にアクセス可能であり、
前記俯瞰映像の表示範囲における各部分の適合度値を、前記カメラ適合度データ記憶部から読み出して各カメラ毎に表示範囲における適合度値を計算し、計算して得られる、表示範囲における適合度値が高いカメラから順に所定数のカメラを、前記俯瞰映像の合成に使用するカメラとして選択して決定する、請求項１に記載の映像合成装置。
【請求項３】
前記カメラ映像割り当て決定部は、
カメラの映像の利用が適している度合いである適合度値を前記俯瞰映像の各部分毎に各カメラについて定めたカメラ適合度データを記憶するカメラ適合度データ記憶部にアクセス可能であり、
前記カメラ選択決定部が決定した所定数のカメラの映像のうち、前記俯瞰映像における各カメラの映像の重複部分についての適合度値の値が最も高いカメラの映像の重複部分を、その重複部分の俯瞰映像の合成に割り当てる、請求項１に記載の映像合成装置。
【請求項４】
前記表示範囲決定部は、
前記入力情報受付部が受付けた入力情報に基づいて、表示モードを決定し、
前記カメラ適合度データは、表示モード毎にデータを有し、
前記カメラ選択決定部は、前記表示範囲決定部が決定した表示モードに対応するカメラ適合度データを用いてカメラを選択して決定し、又は前記カメラ映像割り当て決定部は、前記表示範囲決定部が決定した表示モードに対応するカメラ適合度データを用いて俯瞰映像の合成に割り当てる、請求項２又は３に記載の映像合成装置。
【請求項５】
前記カメラ適合度データは、表示モード毎にデータを有し、第１の表示モードから第２の表示モードへ切り替わる中間的な第３の表示モードが存在する場合、前記第１の表示モードの適合度値に重み付けした値と前記第２の表示モードの適合度値に重み付けした値との平均値を中間的な第３の表示モードの適合度値として新たな適合度データが作成される、請求項４に記載の映像合成装置。
【請求項６】
複数のカメラの映像から１つの俯瞰映像を合成する映像合成プログラムであって、
コンピュータに、
入力情報を受付ける入力情報受付ステップと、
前記入力情報受付ステップで受付けた入力情報に基づいて俯瞰映像の表示範囲を決定する表示範囲決定ステップと、
前記表示範囲決定ステップで決定した俯瞰映像の表示範囲に基づき、当該表示範囲の俯瞰映像の合成に用いる映像を撮影する所定数のカメラを選択して決定するカメラ選択決定ステップと、
前記カメラ選択決定ステップで決定した所定数のカメラの映像における重複部分について、いずれのカメラの映像を割り当てるかを決定するカメラ映像割り当て決定ステップと、
前記カメラ映像割り当てステップでの割り当てに基づいて、前記カメラ選択決定ステップで決定した所定数のカメラによって撮影された映像を用いて、前記俯瞰映像を合成して表示する映像合成ステップとを実行させることを特徴とする、映像合成プログラム。
【請求項１】
複数のカメラの映像から１つの俯瞰映像を合成する映像合成装置であって、
入力情報を受付ける入力情報受付部と、
前記入力情報受付部が受付けた入力情報に基づいて俯瞰映像の表示範囲を決定する表示範囲決定部と、
前記表示範囲決定部が決定した俯瞰映像の表示範囲に基づき、当該表示範囲の俯瞰映像の合成に用いる映像を撮影する所定数のカメラを選択して決定するカメラ選択決定部と、
前記カメラ選択決定部が決定した所定数のカメラの映像における重複部分について、いずれのカメラの映像を割り当てるかを決定するカメラ映像割り当て決定部と、
前記カメラ映像割り当て決定部の割り当てに基づいて、前記カメラ選択決定部が決定した所定数のカメラによって撮影された映像を用いて、前記俯瞰映像を合成して出力する映像合成部とを備えることを特徴とする、映像合成装置。
【請求項２】
前記カメラ選択決定部は、
カメラの映像の利用が適している度合いである適合度値を前記俯瞰映像の各部分毎に各カメラについて定めたカメラ適合度データを記憶するカメラ適合度データ記憶部にアクセス可能であり、
前記俯瞰映像の表示範囲における各部分の適合度値を、前記カメラ適合度データ記憶部から読み出して各カメラ毎に表示範囲における適合度値を計算し、計算して得られる、表示範囲における適合度値が高いカメラから順に所定数のカメラを、前記俯瞰映像の合成に使用するカメラとして選択して決定する、請求項１に記載の映像合成装置。
【請求項３】
前記カメラ映像割り当て決定部は、
カメラの映像の利用が適している度合いである適合度値を前記俯瞰映像の各部分毎に各カメラについて定めたカメラ適合度データを記憶するカメラ適合度データ記憶部にアクセス可能であり、
前記カメラ選択決定部が決定した所定数のカメラの映像のうち、前記俯瞰映像における各カメラの映像の重複部分についての適合度値の値が最も高いカメラの映像の重複部分を、その重複部分の俯瞰映像の合成に割り当てる、請求項１に記載の映像合成装置。
【請求項４】
前記表示範囲決定部は、
前記入力情報受付部が受付けた入力情報に基づいて、表示モードを決定し、
前記カメラ適合度データは、表示モード毎にデータを有し、
前記カメラ選択決定部は、前記表示範囲決定部が決定した表示モードに対応するカメラ適合度データを用いてカメラを選択して決定し、又は前記カメラ映像割り当て決定部は、前記表示範囲決定部が決定した表示モードに対応するカメラ適合度データを用いて俯瞰映像の合成に割り当てる、請求項２又は３に記載の映像合成装置。
【請求項５】
前記カメラ適合度データは、表示モード毎にデータを有し、第１の表示モードから第２の表示モードへ切り替わる中間的な第３の表示モードが存在する場合、前記第１の表示モードの適合度値に重み付けした値と前記第２の表示モードの適合度値に重み付けした値との平均値を中間的な第３の表示モードの適合度値として新たな適合度データが作成される、請求項４に記載の映像合成装置。
【請求項６】
複数のカメラの映像から１つの俯瞰映像を合成する映像合成プログラムであって、
コンピュータに、
入力情報を受付ける入力情報受付ステップと、
前記入力情報受付ステップで受付けた入力情報に基づいて俯瞰映像の表示範囲を決定する表示範囲決定ステップと、
前記表示範囲決定ステップで決定した俯瞰映像の表示範囲に基づき、当該表示範囲の俯瞰映像の合成に用いる映像を撮影する所定数のカメラを選択して決定するカメラ選択決定ステップと、
前記カメラ選択決定ステップで決定した所定数のカメラの映像における重複部分について、いずれのカメラの映像を割り当てるかを決定するカメラ映像割り当て決定ステップと、
前記カメラ映像割り当てステップでの割り当てに基づいて、前記カメラ選択決定ステップで決定した所定数のカメラによって撮影された映像を用いて、前記俯瞰映像を合成して表示する映像合成ステップとを実行させることを特徴とする、映像合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１６６３５１（Ｐ２０１１−１６６３５１Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２５４０１（Ｐ２０１０−２５４０１）
【出願日】平成２２年２月８日（２０１０．２．８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月８日（２０１０．２．８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]