説明

ビデオ合成装置及び方法

【課題】グラフィック画像とレーダ画像の表示の重要度に応じて画像合成を行う。特に、レーダ情報の更新ごとの動的変化を過去に遡るほど輝度を低くして多色塗りつぶしグラフィック表示上に表示する。
【解決手段】比較処理部109は、優先度判定部106から通知された画素の優先度と、輝度生成部A107と輝度生成部B108とから通知された輝度とに基づいて、画素の表示優先順位を定める。高優先度画素である場合は、最優先に選択される。中優先度画素である場合は、グラフィック情報の輝度Aと、レーダ情報の輝度Bとを比較しA≧Bのときはグラフィック情報(表示信号1)を、A<Bのときはレーダ情報(表示信号2)を選択する。低優先度画素である場合、輝度Bが0のときは画素データAを選択するが、輝度Bが0でないときは画素データBを選択する。選択された画素が合成画面となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ合成装置及び方法に関し、特に、航空管制などの分野においてレーダビデオ表示をグラフィック表示と合成して表示するビデオ合成装置及び方法に関する。
【背景技術】
【0002】
従来、特許文献1には、複数の画像を1つの表示装置上で合成するため、一方の種類の画像の1フレーム(若しくはフィールド)又は1走査線を表示させ、続いて他方の画像の1フレーム(若しくはフィールド)又は1走査線を表示することが開示されている。
【0003】
また、特許文献2には、複数の画像を画素単位で合成することが開示されている。レーダ画像と、図形や文字のシンボル画像とを、画素単位で論理和により合成すると、合成結果の色が、どちらか一方の画像と同色となるか、又は、どちらとも異なった色となる。そのため、合成結果の色具合によっては、シンボル画像(又はレーダ画像)が虫食い状態となる。そこで、シンボル画像特許文献2では、レーダ画像とシンボル画像の輝度レベルを比較し、輝度レベルの高い方の画像部分を表示装置に出力し、低い部分は出力しない。
【0004】
【特許文献1】実開昭59−168787号公報(第1図、第5ページ)
【特許文献2】特開平2−196979号公報(第1図、第4ページ)
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、シンボル、マップ、背景などのグラフィック画面の中に、レーダビデオやプロットなどのレーダ画像を合成するとき、グラフィック画像の中には、レーダ画像の輝度に関わらず、常に表示すべきシンボルなどもある。また、グラフィック画像の中には、レーダ画像の輝度に応じて、いずれかを優先表示させたいもの、例えば、マップなどがある。また、レーダ画像が低輝度であっても、背景などのグラフィック画像より、レーダ画像を表示したい場合もある。このように、グラフィック画像とレーダ画像の表示の重要度は、重畳する画像部分に応じて異なる。
【0006】
これに対して、特許文献1では、グラフィック画像とレーダ画像の画素毎の表示の重要度に応じたビデオ合成を行うことができない。
【0007】
また、航空管制においては、レーダ情報の更新ごとの動的変化を識別できるようにするために、その表示輝度を一定の割合で下げて更新数回前までの情報を表示する機能を持たせることが好ましいが、そのためには、低輝度のレーダ情報であっても表示し、しかも、過度に目立つ表示となってはならない。
【0008】
これに対して、特許文献1では、グラフィック画像とレーダ画像の輝度を一律に比較するだけであるため、低輝度情報は選択されず、上述したようなレーダ情報の動的変化をディスプレイ上で識別することはできない。
【0009】
そこで、本発明は、グラフィック画像とレーダ画像の表示の重要度に応じて画像合成を行うことを目的とする。特に、本発明は、レーダ情報の更新ごとの動的変化を多色塗りつぶしグラフィック表示上に表示することを目的とする。
【課題を解決するための手段】
【0010】
前述の課題を解決するため本発明のビデオ合成装置及び方法は次のような特徴的な構成を採用している。
【0011】
(1)実時間映像表示信号と、画素毎に表示優先度を有するグラフィック表示信号とを合成するビデオ合成装置において、
前記グラフィック信号の画素毎に前記表示優先度を抽出する表示優先度判別部と、
前記グラフィック信号の画素毎に輝度を計算するグラフィック輝度生成部と、
前記実時間映像表示信号の画素毎に輝度を計算する実時間映像輝度生成部と、
前記表示優先度判別部、前記グラフィック輝度生成部及び実時間映像輝度生成部の出力を入力して、前記画素の表示優先順位を決定する比較処理部とを備えるビデオ合成装置。
【0012】
(2)前記グラフィック表示信号と、前記実時間映像表示信号と、前記比較処理部が出力する前記表示優先順位とを入力する画素選択部とをさらに備え、
前記表示優先順位に基づいて、前記グラフィック表示信号の画素か、前記実時間映像表示信号の画素か、いずれかを選択し、選択した画素を出力する上記(1)のビデオ合成装置。
【0013】
(3)前記グラフィック表示信号に前記表示優先度を付与する表示優先度付与部をさらに備え、
前記グラフィック表示信号が表示すべき文字若しくは図形又はこれらの組み合わせに対応する画素に対して予め定めた表示優先度を付与する上記(1)のビデオ合成装置。
【0014】
(4)前記画素は赤、緑、青色の所定ビットのデータを含み、
前記青色の所定下位ビットに対して、前記表示優先度を付与する上記(3)のビデオ合成装置。
【0015】
(5)前記実時間映像表示信号に動的変化を付与する動的変化付与部をさらに備え、
前記動的変化付与部は、当該実時間映像中の特定の被写体の軌跡に対して、過去に遡るほど、当該被写体の輝度を低くする上記(1)のビデオ合成装置。
【0016】
(6)前記被写体は、航空機である上記(1)のビデオ合成装置。
【0017】
(7)前記実時間映像は、レーダに捕らえられた航空機の映像である上記(1)乃至(6)のいずれかに記載されたビデオ合成装置。
【0018】
(8)画素毎に表示優先度を有するグラフィック表示信号と、実時間映像表示信号とを合成するビデオ合成方法において、
前記グラフィック表示信号の画素毎に、前記グラフィック表示信号が表示すべき文字若しくは図形又はこれらの組み合わせに対応する画素に対して所定段階の表示優先度を付与するステップと、
前記表示優先度と輝度とに基づいて、画素の表示優先順位を決定するステップと、
前記決定に基づいて表示すべき画素を選択するステップとを含むビデオ合成方法。
【0019】
(9)前記表示優先度は、高表示優先度、中表示優先度及び低表示優先度であり、
前記グラフィック表示信号の画素毎の前記表示優先度及び輝度と、前記実時間映像表示信号の画素毎の輝度とに基づいて、表示すべき画素を選択する上記(8)のビデオ合成方法。
【0020】
(10)前記グラフィック表示信号の画素の表示優先度が高表示優先度である場合には、
前記実時間映像の輝度に関わらず、前記グラフィック表示信号の画素を選択する上記(9)のビデオ合成方法。
【0021】
(11)前記グラフィック表示信号の画素の表示優先度が中表示優先度である場合には、
前記グラフィック表示信号の画素の輝度Aと、前記実時間映像表示信号の画素の輝度Bとを比較し、
前記輝度Bの方が前記輝度A以下である場合はグラフィック表示信号の画素を選択する一方、
前記輝度Bが前記輝度Aを越える場合は前記実時間映像表示信号の画素を選択する上記(9)のビデオ合成方法。
【0022】
(12)前記グラフィック表示信号の画素の表示優先度が低表示優先度である場合には、
前記実時間映像の画素の輝度がゼロであるならばグラフィク表示信号の画素を選択する一方、
前記実時間映像の画素の輝度がゼロでないならば実時間映像表示信号の画素を選択する上記(9)のビデオ合成方法。
【発明の効果】
【0023】
本発明によれば、グラフィック画像とレーダ画像の表示の重要度に応じて画像合成を行うことができる。特に、本発明によれば、レーダ情報の更新ごとの動的変化を、過去に遡るほどレーダ情報を低輝度にして多色塗りつぶしグラフィック画面上に表示することができる。
【0024】
具体的には、マンセル表色系などに基づく単純クロマキー方式のビデオ合成では従来実現不可能であった2入力の重み付けを考慮したビデオ合成機能を実現することができる。
【0025】
また、レーダビデオデータを合成表示する表示装置は従来専用ハードウェアで構成され高価な装置であったが、合成機能だけを専用ハードウェアとし、その入出力インタフェース規格をPC(パーソナルコンピュータ)などの世界で標準的なDVI(digital visual interface)などとすることで、画像生成部分はコンシューマ品のPCを採用することが可能となり、安価に表示装置を実現することができ、OS(オペレーティングシステム)の種類に左右されることもない。
【0026】
更に、表示オブジェクトが多数あり、更新頻度が高いなどの理由により、表示負荷が重いが、これに対応するため、2台の別々のPC等で並列処理を行う構成が可能となる。
さらに、入力I/F端子を増設するだけで3以上の表示信号を入力し、3台以上のPCなどからの表示信号を合成することが同期制御により可能であるため、合成表示処理能力を容易に拡張することができる。
【実施例】
【0027】
本発明の実施例では、グラフィック情報の内容に応じて優先度を付与し、さらに、グラフィック画像とレーダ画像の内容に応じてビデオ信号輝度を比較し、優先度と輝度比較結果の双方に基づいて、各内容に表示優先順位を決定し、ビデオ合成を行う。具体的には、高位表示優先順位のグラフィック信号が低位表示順位のレーダビデオ信号に重畳するときは、レーダ画像を表示しないようにする。さらに、背景などのグラフィック画像を必ずしも表示する必要がないときは、低輝度レーダ画像を表示する。特に、レーダ情報の更新ごとの動的変化を認識しやすくするために、過去に遡るほどレーダ情報を低輝度にして多色塗りつぶしグラフィック画面上に表示する。但し、レーダ情報がないときは、背景などのグラフィック情報を表示する。
【0028】
図1は、本発明の一実施例を示すビデオ合成装置のブロック図である。
ビデオ合成装置1は、グラフィックを表示するための表示信号1を入力する入力I/F102と、入力I/F102の出力を入力するフレームメモリA103と、フレームメモリA103の出力に基づいて表示信号1の表示の優先度を判定する優先度判定部106と、フレームメモリAの出力に基づいて表示信号1の輝度を算出する輝度生成部A107とを含む。
【0029】
一方、レーダビデオ信号である表示信号2を入力する入力I/F112と、入力I/F112の出力を入力するフレームメモリB104と、フレームメモリB104の出力に基づいて表示信号2の輝度を算出する輝度生成部B108とを含む。
【0030】
優先度判定部106、輝度生成部A107、輝度生成部B108の出力は、比較処理部109に入力され、これらの入力に基づいて表示優先順位が決定される。比較処理部109の出力、フレームメモリA103の出力、フレームメモリB104の出力は、画素選択部110に入力され、出力I/F111を介して合成表示信号3として出力される。
【0031】
このように、比較処理部109は、優先度判定部106が出力する優先度(グラフィック表示における画素を表示する優先度)、輝度生成部A107、輝度生成部B108が、それぞれ出力する、グラフィック表示及びレーダビデオ表示の輝度とに基づいて、2つの表示信号1、2のどちらかを選択して、出力する。
【0032】
次に、各構成要素について説明する。
入力I/F102、112は、別々のPC(パーソナルコンピュータ)などから出力さDVI(digital visual interface)規格などによる表示信号1、2を受け、内部処理に適した形に変換を行う。DVIは、デジタルディスプレイとPC(パーソナルコンピュータ)をインタフェースする規格であり、DDWG(digital
display working group)荷よる国際標準規格である。入力I/F102、112の出力は、メモリ制御部105の制御を受けたフレームメモリA103及びB104にそれぞれ書き込まれる。また、入力I/F102は表示信号1、2から、同期信号1、2を抽出しメモリ制御部105へ出力する。
【0033】
メモリ制御部105は、フレームメモリA103及びフレームメモリB104の書き込み及び読み出し制御を行う。読み出しにおいてメモリ制御部105は、同期信号1、2、及びメモリ制御部105内部で生成した同期信号のうち、予め設定された同期信号に同期して、フレームメモリA103及びフレームメモリB104から同時に読み出しを行う。
【0034】
フレームメモリA103及びフレームメモリB104は、書き込みと読み出しが独立したタイミングで実施できるようにし、また、このときメモリ制御部105は、フレームメモリへの書込みにおいて、ダブルバッファ構成のうちの読み出されていないもう片方のバッファに書込みを行うようフレームメモリを制御する。
【0035】
優先度判定部106は、表示信号1の画素データを高、中、低の3つの優先度情報として判別する。ここに、優先度は、前記グラフィック表示信号が表示すべき文字若しくは図形またはこれらの組み合わせに応じて予め定めておく。
【0036】
高優先度情報は合成表示において表示信号2の画素データに関わらずに常に表示される画素である。中優先度情報は表示信号2の画素データと輝度比較して優先度を決める対象となる画素である。低優先度情報は合成表示において最下位となる画素である。優先度は、表示信号1の画素データのうち予め設定した数ビットに書き込んでおき、優先度判定部106は、フレームメモリA103から読み出された画素データから該当ビットを抽出し、比較処理部109に通知する。
【0037】
輝度生成部A107は、フレームメモリA103から読み出された画素データから、赤R、緑G、青Bの各色データから輝度を計算し、比較処理部109へ通知する。
【0038】
輝度生成部B108は、フレームメモリB104から読み出された画素データから、上記と同様に輝度を生成し、比較処理部109へ通知する。
【0039】
比較処理部109は、優先度判定部106から通知された情報に基づき、輝度生成部A107と輝度生成部B108が出力する輝度を比較して、画素選択部110に対してフレームメモリA103かフレームメモリB104かのどちらのフレームメモリから読み出された画素データを選択出力するか通知する。
【0040】
選択出力については、高優先度情報の場合は、最優先にフレームメモリA103の画素データを選択する。中優先度情報の場合は、輝度生成部A107が生成した輝度Aと、輝度生成部B108が生成した輝度Bとを比較しA≧BのときはA側の表示信号1を、A<BのときはB側の表示信号2の画素データを選択する。低優先度情報の場合は、輝度Bが0でなければB側、0のときはA側の画素データを選択する。なお、選択処理は、同期された2つの表示信号の画素毎に行われる。
【0041】
出力I/F111は画素選択部110から選択出力される画素データをDVI信号に変換して、合成表示信号3を出力する。
【0042】
さらに、動的変化付与部113は、例えば、表示信号1中の航空機などの被写体の軌跡に対して、過去に遡るほど、当該被写体の輝度を低くするような処理を行う。また、優先度付与部101は、所定の基準に従って表示信号1への優先度の付与を行う。
【0043】
図2は、本発明の実施例における表示信号の処理を示すタイムシーケンス図である。
表示信号1は、シンボル、マップなどグラフィック表示が描画されたグラフィック情報とし、表示信号2はレーダビデオ、プロットなどが描画されたレーダ情報とする。
【0044】
先ず、ビデオ合成装置は、優先度判定処理として、入力された表示信号1の画素データを高、中、低の3つの優先度情報として分類する。この優先度情報はグラフィック情報の各グラフィック要素に対して付与されるものであり、優先度判定部106は、表示情報1の画素データの中から優先度情報を表すビットを抽出し、比較処理部109に通知する。優先度については、例えば、シンボルなどに高優先度を付与し、マップなどに中優先度を付与し、背景などに低優先度を付与する。
【0045】
次に、輝度比較処理として、中優先度や低優先度のグラフィック情報の輝度、レーダビデオやプロットなどのレーダ情報の輝度を順位付けする。順位付けは、例えば、高位のものから順に、レーダビデオの一部、プロットの一部を高輝度情報とし、マップなど中優先度情報を中輝度情報とし、レーダビデオの残部、プロットの残部を低輝度情報として分類してもよい。
【0046】
更に、優先度及び輝度順位に基づいて、各表示画素の表示優先順位が比較処理部109により決定される。表示順位の決定についは、高位のものから順に、例えば、シンボルなどの高優先度情報、レーダビデオの一部やプロットの一部などの高輝度情報、マップなど中優先度情報の中輝度情報、レーダビデオの残部やプロットの残部を低輝度情報としてもよい。
【0047】
ここで、優先度情報について説明すると、表示信号1には予め設定した数ビット、例えば画素データである赤、緑、青色の各8ビットのうち輝度への影響度が緑や赤に対して低い青色の下位2ビットに対して、描画データの優先度情報が書き込まれるように画素データを描画生成しておく。
【0048】
表示信号1への優先度の付与は優先度付与部101が行う。優先度判定部106は、この優先度情報をデコードし、フレームメモリA103から読み出された画素データの優先度を比較処理部109に通知する。
【0049】
また、輝度情報について説明すると、輝度生成部A107及びB108はそれぞれ、フレームメモリA103またはフレームメモリB104から読み出された画素データから輝度を計算し、比較処理部109へ通知する。輝度Eyの計算は、例えばNTSC(national television system committee) によって規定されている下式、
Ey=0.30Er+0.59Eg+0.11Eb
(Ey:輝度値の電圧、Er:赤色信号の電圧、Eg:緑色信号の電圧、Eb:青色信号の電圧)に基づく。
【0050】
図3は、本発明の実施例における比較処理部109における表示優先順位決定処理のフローチャートである。
【0051】
先ず、優先度判定部106から出力された優先度が高優先度である場合(ステップS1)、フレームメモリB104から読み出された画素データBに関わらず、フレームメモリAから読み出された画素データAを選択する(ステップS2)。
【0052】
優先度が中優先度である場合(ステップS3)、画素データAから計算された輝度Aと、画素データBから計算された輝度Bとを比較し(ステップS4)、輝度Bの方が小さい場合(A≧B)は画素データBを目立たせないようにするため、画素データAを選択する(ステップS5)。これにより、画素Bは表示されない。一方、輝度Bの方が大きい場合(A<B)は画素データBを表示させるために選択する(ステップS6)。
【0053】
優先度が低優先度である場合(高優先度でも、中優先度でもない場合)、輝度Bが0のとき(画素データBのデータがないとき)は画素データAを選択する(ステップS8)。一方、輝度Bが0でないとき、即ち画素データBのデータが存在するときは画素データBを選択する(ステップS9)。
【0054】
以上、レーダ情報を例としたビデオ合成について説明したが、本発明はこれに限定されるものではない。カメラで撮影する車両の交通状況や船舶の航行状況、その他の実時間映像をグラフィック情報上に合成することにも、本発明を適用することができる。
【図面の簡単な説明】
【0055】
【図1】本発明の実施例によるビデオ合成装置のブロック図である。
【図2】本発明の実施例における表示信号の優先度、輝度順位に基づいて、表示優先順位を決定するタイムシーケンスである。
【図3】本発明の実施例におけるビデオ合成方法のフローチャートである。
【符号の説明】
【0056】
101 優先度付与部
102、112 入力I/F
103 フレームメモリA(グラフィック情報用)
104 フレームメモリB(レーダ情報用)
105 メモリ制御部
106 優先度判定部
107 輝度生成部A
108 輝度生成部B
109 比較処理部
110 画素選択部
111 出力I/F
113 動的変化付与部

【特許請求の範囲】
【請求項1】
実時間映像表示信号と、画素毎に表示優先度を有するグラフィック表示信号とを合成するビデオ合成装置において、
前記グラフィック信号の画素毎に前記表示優先度を抽出する表示優先度判別部と、
前記グラフィック信号の画素毎に輝度を計算するグラフィック輝度生成部と、
前記実時間映像表示信号の画素毎に輝度を計算する実時間映像輝度生成部と、
前記表示優先度判別部、前記グラフィック輝度生成部及び実時間映像輝度生成部の出力を入力して、前記画素の表示優先順位を決定する比較処理部とを備えることを特徴とするビデオ合成装置。
【請求項2】
前記グラフィック表示信号と、前記実時間映像表示信号と、前記比較処理部が出力する前記表示優先順位とを入力する画素選択部とをさらに備え、
前記表示優先順位に基づいて、前記グラフィック表示信号の画素か、前記実時間映像表示信号の画素か、いずれかを選択し、選択した画素を出力することを特徴とする請求項1に記載のビデオ合成装置。
【請求項3】
前記グラフィック表示信号に前記表示優先度を付与する表示優先度付与部をさらに備え、
前記グラフィック表示信号が表示すべき文字若しくは図形又はこれらの組み合わせに対応する画素に対して予め定めた表示優先度を付与することを特徴とする請求項1に記載のビデオ合成装置。
【請求項4】
前記画素は赤、緑、青色の所定ビットのデータを含み、
前記青色の所定下位ビットに対して、前記表示優先度を付与することを特徴とする請求項3に記載のビデオ合成装置。
【請求項5】
前記実時間映像表示信号に動的変化を付与する動的変化付与部をさらに備え、
前記動的変化付与部は、当該実時間映像中の特定の被写体の軌跡に対して、過去に遡るほど、当該被写体の輝度を低くすることを特徴とする請求項1に記載のビデオ合成装置。
【請求項6】
前記被写体は、航空機であることを特徴とする請求項1に記載のビデオ合成装置。
【請求項7】
前記実時間映像は、レーダに捕らえられた航空機の映像であることを特徴とする請求項1乃至6のいずれかに記載されたビデオ合成装置。
【請求項8】
画素毎に表示優先度を有するグラフィック表示信号と、実時間映像表示信号とを合成するビデオ合成方法において、
前記グラフィック表示信号の画素毎に、前記グラフィック表示信号が表示すべき文字若しくは図形又はこれらの組み合わせに対応する画素に対して所定段階の表示優先度を付与するステップと、
前記表示優先度と輝度とに基づいて、画素の表示優先順位を決定するステップと、
前記決定に基づいて表示すべき画素を選択するステップとを含むことを特徴とするビデオ合成方法。
【請求項9】
前記表示優先度は、高表示優先度、中表示優先度及び低表示優先度であり、
前記グラフィック表示信号の画素毎の前記表示優先度及び輝度と、前記実時間映像表示信号の画素毎の輝度とに基づいて、表示すべき画素を選択することを特徴とする請求項8に記載のビデオ合成方法。
【請求項10】
前記グラフィック表示信号の画素の表示優先度が高表示優先度である場合には、
前記実時間映像の輝度に関わらず、前記グラフィック表示信号の画素を選択することを特徴とする請求項9に記載のビデオ合成方法。
【請求項11】
前記グラフィック表示信号の画素の表示優先度が中表示優先度である場合には、
前記グラフィック表示信号の画素の輝度Aと、前記実時間映像表示信号の画素の輝度Bとを比較し、
前記輝度Bの方が前記輝度A以下である場合はグラフィック表示信号の画素を選択する一方、
前記輝度Bが前記輝度Aを越える場合は前記実時間映像表示信号の画素を選択することを特徴とする請求項9に記載のビデオ合成方法。
【請求項12】
前記グラフィック表示信号の画素の表示優先度が低表示優先度である場合には、
前記実時間映像の画素の輝度がゼロであるならばグラフィク表示信号の画素を選択する一方、
前記実時間映像の画素の輝度がゼロでないならば実時間映像表示信号の画素を選択することを特徴とする請求項9に記載のビデオ合成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2006−118868(P2006−118868A)
【公開日】平成18年5月11日(2006.5.11)
【国際特許分類】
【出願番号】特願2004−304024(P2004−304024)
【出願日】平成16年10月19日(2004.10.19)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】