映像処理装置、映像処理方法、及びコンピュータプログラム
【課題】汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像を正しく合成する。
【解決手段】複数の領域に空間分割された基準映像入力信号と合成対象の映像入力信号のそれぞれの境界部分の輝度値と評価係数とを用いて、当該一方の映像入力信号と他方の映像入力信号との境界の連続性を評価するための評価値を算出する。この評価値に基づき、基準映像入力信号の境界と連続している合成対象の映像入力信号を決定し、これらを合成して表示する。
【解決手段】複数の領域に空間分割された基準映像入力信号と合成対象の映像入力信号のそれぞれの境界部分の輝度値と評価係数とを用いて、当該一方の映像入力信号と他方の映像入力信号との境界の連続性を評価するための評価値を算出する。この評価値に基づき、基準映像入力信号の境界と連続している合成対象の映像入力信号を決定し、これらを合成して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理方法、及びコンピュータプログラムに関し、特に、空間分割された映像信号を合成するために用いて好適なものである。
【背景技術】
【０００２】
近年、ＬＣＤやＰＤＰに代表される表示パネルの高解像度化が進み、現在普及しているＦＨＤ（１９２０×１０８０）を超える４ｋ２ｋ（３８４０×２１６０）の解像度を持つ高解像度表示パネルが製品化されている。このような高解像度表示パネルへの映像信号の入力は、ＦＨＤの映像信号を伝送することが可能な映像入力インタフェイスを複数本用いて実現されている。このような映像入力インタフェイスの代表的なものとしては、HD-SDI（High Definition Serial Digital Interface）やＤＶＩ（Digital Visual Interface）がある。各映像入力インタフェイスは、空間分割された映像領域の１領域の映像伝送を担っている。このように複数本の映像入力インタフェイスを用いて高解像度映像を伝送する場合、映像入力インタフェイスごとに遅延時間が異なる場合がある。このように高解像度表示パネルへ映像信号を伝送する際に伝送路の遅延時間が異なっても、空間分割された映像が正しく合成され出力される技術が開示されている。特許文献１によると、入力映像にフレーム番号を付与し、合成時に同じフレーム番号の映像を合成して表示パネルに出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２９９０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、空間分割された映像に付与されたフレーム番号を基に映像を合成する場合、送信側にフレーム番号を入れる機能が必須となる。したがって、フレーム番号を挿入する機能を持たない映像送信装置を用いると、各映像入力インタフェイスの遅延時間が大きい場合、空間分割されたフレームを、当該フレームと合成すべきフレームとは異なる（空間分割された）フレームと合成してしまう虞がある。そうすると、出力される映像が乱れる。
本発明は、このような問題点に鑑みてなされたものであり、汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像を正しく合成することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の映像処理装置は、複数の領域に空間分割された映像信号をそれぞれ受信する複数の映像信号入力手段と、前記複数の映像信号入力手段から入力された複数の映像信号を蓄積する蓄積手段と、前記複数の映像信号の、境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を、当該複数の映像信号の組み合わせを異ならせてそれぞれ算出し、算出した評価値を用いて、合成して表示される複数の映像信号を決定する決定手段と、前記決定手段により決定された複数の映像信号を前記蓄積手段から読み出す読み出し手段と、前記読み出し手段により読み出された複数の映像信号を出力する映像出力手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、空間分割された映像信号の境界部分の連続性を評価するための評価値を用いて、合成して表示される複数の映像信号を決定するようにした。よって、汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像を正しく合成することができる。
【図面の簡単な説明】
【０００７】
【図１】映像処理装置の構成の第１の例を示す図である。
【図２】映像信号の入出力のタイミングを示す図である。
【図３】映像処理装置で入出力される映像信号の内容を示す図である。
【図４】境界比較部の処理手順を説明するフローチャートである。
【図５】評価係数と映像入力信号の各画素の輝度値を示す図である。
【図６】映像処理装置の構成の第２の例を示す図である。
【発明を実施するための形態】
【０００８】
以下に、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、映像処理装置１００の構成の一例を示す図である。
映像処理装置１００は、第１、第２の映像信号入力部１０１、１０２と、データ蓄積部１０３と、第１、第２の同期映像読み出し部１０４、１０５と、境界比較部１０６と、第１、第２の映像信号出力部１０７、１０８とを備えて構成される。また、映像処理装置１００は、第１、第２の映像信号出力部１０７、１０８を介して映像表示部１１０に接続される。映像表示部１１０は、映像処理装置１００から出力された映像を表示する。
【０００９】
第１、第２の映像信号入力部１０１、１０２は、ビデオ入力インタフェイスであり、外部から映像信号を入力する。第１、第２の映像信号入力部１０１、１０２は、例えば、ＨＤＭＩやＤＶＩ等のデジタルビデオ信号規格のインタフェイスで構成され、各種の映像コンテンツを入力する。本実施形態では、空間分割された２つの映像信号が、それぞれ第１、第２の映像信号入力部１０１、１０２に入力されるものとする。
データ蓄積部１０３は、第１、第２の映像信号入力部１０１、１０２から入力された映像信号を蓄積する。データ蓄積部１０３は、例えば、ＳＤＲＡＭ等のメモリで構成されるフレームメモリである。
【００１０】
第１、第２の同期映像読み出し部１０４、１０５は、境界比較部１０６から指定されたフレームをデータ蓄積部１０３から読み出し、第１、第２の映像信号出力部１０７、１０８に出力する。第１、第２の同期映像読み出し部１０４、１０５は、例えば、境界比較部１０６から指定されたアドレスのデータの読み出しを行うＤＭＡコントローラである。
境界比較部１０６は、データ蓄積部１０３に蓄積されている空間分割された映像信号の境界部分の連続性の算出と比較を行い、第１、第２の同期映像読み出し部１０４、１０５に、読み出すフレームを指定する。境界比較部１０６は、例えば、ＣＰＵがＲＯＭに記憶されたコンピュータプログラムを実行することにより実現することができる。
【００１１】
第１、第２の映像信号出力部１０７、１０８は、第１、第２の同期映像読み出し部１０４、１０５によって読み出された映像信号を表示パネルに出力するインタフェイスである。第１、第２の映像信号出力部１０７、１０８は、例えば、ＬＶＤＳ（Low Voltage Differential Signaling）に代表される表示パネルへの標準画像インタフェイスである。
映像表示部１１０は、空間分割された映像信号をそれぞれの表示領域に出力して映像を表示する。映像表示部１１０は、例えば、ＬＣＤ（液晶ディスプレイ）やＰＤＰ（プラズマディスプレイパネル）等に代表される表示パネルである。
【００１２】
図２は、映像処理装置１００に入力される映像信号と、映像処理装置１００から出力される映像信号の入出力のタイミングの一例を示す図である。具体的に図２（ａ）は、正しく合成される場合の各映像信号の入出力のタイミングの一例を示す図であり、図２（ｂ）は、誤って合成される場合の各映像信号の入出力のタイミングの一例を示す図である。また、図３は、映像処理装置１００で入出力される映像信号の内容の一例を示す図である。具体的に図３（ａ）は、映像処理装置１００に入力される１フレーム目の映像信号の一例を示す図であり、図３（ｂ）は、映像処理装置１００に入力される２フレーム目の映像信号の一例を示す図である。図３（ｃ）は、正しく映像処理装置１００から出力される２フレーム目の映像信号の一例を示す図であり、図３（ｄ）は、誤って映像処理装置１００から出力される２フレーム目の映像信号の一例を示す図である。
【００１３】
前述したように、本実施形態では、２つの領域に空間分割された映像信号が映像処理装置１００に入力される。尚、空間分割される領域の個数に限定はなく３つ以上であってもよい。この場合、映像信号入力部、同期映像読み出し部、及び映像信号出力部を、空間分割される領域の数と同数、映像処理装置１００に設けるようにするのが好ましい。
【００１４】
図２に示す例では、２つの領域に空間分割された映像の映像信号である「第１、第２の映像入力信号」として、３フレーム分の映像信号が映像処理装置１００で受信されていることを示す。
図２において、２１１、２１２、２１３は、それぞれ第１の映像入力信号の第１、第２、第３のフレームである。また、２２１、２２２、２２３は、それぞれ第２の映像入力信号の第１、第２、第３のフレームである。また、２１５、２２５は、それぞれ第１、第２の映像入力信号に対する垂直同期信号を示す。
一方、２３１、２３２、２３３は、それぞれ第１の映像出力信号の第１、第２、第３のフレームである。また、２４１、２４２、２４３は、それぞれ第２の映像出力信号の第１、第２、第３のフレームである。また、２３５、２４５は、それぞれ第１、第２の映像出力信号に対する垂直同期信号を示す。
【００１５】
図３（ａ）において、３００は、第１、第２の映像入力信号の第１のフレームの内容を示す映像である。図３（ｂ）において、３１０は、第１、第２の映像入力信号の第２のフレームの内容を示す映像である。映像の中央で空間分割され、図に向かって左側が、第１の映像入力信号に基づく画像であり、右側が、第２の映像入力信号に基づく映像である。
また、図２に示すように、第１の映像入力信号と第２の映像入力信号は、外部の映像信号伝送路等の影響により、映像信号入力スキュー（skew）Ｔの期間を持って映像処理装置１００に入力される。映像信号入力スキューＴは、第１、第２の映像信号入力部１０１、１０２が、第１、第２の映像入力信号を入力するタイミングの時間差に対応するものである。
【００１６】
この映像入力スキューＴが、１フレームの垂直同期信号の期間の半分を超えていない場合、図２（ａ）に示すように、垂直同期信号が近いフレームを同期させて映像を出力すると、入力時に空間分割されたフレームと同じフレームと同期して映像が出力される。このため、図３（ｃ）に示す映像３２０のように、各領域の映像が正しく合成され、映像が乱れずに表示される。
一方、この映像入力スキューＴが、１フレームの垂直同期信号の期間の半分を超えてしまった場合、図２（ｂ）に示すように、第２の映像入力信号の第１のフレーム２２１と、第１の映像入力信号の第２のフレーム２１２の垂直同期信号が接近する。このような場合に垂直同期信号が近いフレームを同期させて映像を出力すると、入力時に空間分割されたフレームとは異なったフレームと同期して映像が出力される。このため、図３（ｄ）に示す映像３３０のように、各領域の画像が誤って合成され、映像が乱れて表示されてしまう場合がある。
【００１７】
本実施形態では、このような場合においても、図３（ｃ）に示すように、同一の映像入力信号のフレームから空間分割されたフレームを読み出し、それらを同期して表示することができるようにする。そのために、本実施形態では、境界比較部１０６が、空間分割された映像信号の境界の連続性を評価する。このようにするための処理手順の一例を以下に詳細に示す。
【００１８】
図４は、境界比較部１０６の処理手順の一例を説明するフローチャートである。また、図５は、境界領域の連続性の評価するための評価係数（図５（ａ））と、映像入力信号の各画素の輝度値（図５（ｂ）、（ｃ））の一例を示す図である。図５（ｂ）、（ｃ）では、各画素の輝度値を量子化し、０〜９の値にして示している。尚、図５では、説明を簡単にするために、量子化した輝度値を用いて、空間分割された映像の境界領域の連続性の評価する場合を例に挙げて示す。しかしながら、空間分割された映像の境界領域の連続性の評価するための用いる情報は、これらに限定されるものではない。空間分割された映像領域の連続性を映像信号から判断できるデータであれば、どのような情報を用いて、空間分割された映像の境界領域の連続性を評価してもよい。例えば、ＲＧＢ各色の値を用いて境界領域の連続性を評価してもよい。
【００１９】
図４のフローチャートと、図５の各画素の輝度値（の量子化値）とを用いて、空間分割された映像の境界領域の連続性を評価する方法の一例を説明する。また、以下の説明では、第１、第２の映像信号入力部１０１、１０２は、すでに２フレーム分の映像信号を受信しており、データ蓄積部１０３には、空間分割された映像信号が２フレーム分ある状態（図２（ａ）の時刻ｔの状態）であるものとする。
【００２０】
図４のステップＳ４０１において、境界比較部１０６は、基準映像入力信号の境界領域の映像データ（境界領域にあたる基準映像入力信号）の読み出しを行う。基準映像入力信号とは、複数の領域に空間分割された映像入力信号のうちの１つを指す。本実施形態では、２つの領域に空間分割された映像に対応する、第１、第２の映像入力信号が映像処理装置１００に入力されている。したがって、これら第１、第２の映像入力信号の何れかが基準映像入力信号となる。ここでは、第１の映像入力信号が基準映像入力信号であるとする。さらに、時刻ｔでは、基準映像入力信号である第１の映像入力信号の第２のフレーム２１２（２フレーム目）を処理対象とする。
【００２１】
ここでは、境界比較部１０６は、図５に示す境界５１０から当該境界５１０に垂直な方向（水平方向）に２画素分の領域５２０の映像データを、基準映像入力信号である第１の映像入力信号の第２のフレーム２１２から読み出すものとする。前述したように、本実施形態では、この映像データは、輝度値を量子化した値である。
次に、ステップＳ４０２において、境界比較部１０６は、合成対象の映像入力信号のフレームの境界領域の映像データ（境界領域にあたる合成対象の映像入力信号）のうち、未だ読み出していないフレームの映像データの読み出しを行う。合成対象の映像入力信号とは、基準映像入力信号以外の映像入力信号であり、本実施形態では、第２の映像入力信号である。
【００２２】
本実施形態では、境界比較部１０６は、合成対象である第２の映像入力信号のフレームの映像入力スキューＴに依存した数だけ複数のフレームの比較を行う。ここでは、境界比較部１０６は、合成対象の候補である第２の映像入力信号の第１のフレーム２２１の境界領域のデータの読み出しを行うものとする。また、境界比較部１０６は、図５（ｂ）に示す境界５１０から当該境界５１０に垂直な方向（水平方向）に２画素分の領域５２２の映像データを読み出すものとする。
【００２３】
次に、ステップＳ４０３において、境界比較部１０６は、基準映像入力信号と合成対象の映像入力信号との境界領域の連続性の評価を行う。本実施形態では、この境界領域の連続性の評価に、図５（ａ）に示す評価係数５００を用いる。評価係数５００は、ステップＳ４０２、Ｓ４０３で読み出した映像データの「境界５１０に垂直な方向（水平方向）の画素」のそれぞれに対応する係数を有する。具体的に、評価係数５００は、境界５１０を境に一方の領域の映像データの「境界５１０に垂直な方向（水平方向）の画素」に対応する値を正の係数とし、他方の領域の映像データの「境界５１０に垂直な方向（水平方向）の画素」に対応する値を負の係数とする。さらに、評価係数５００の絶対値は、境界５１０に隣接している画素に対応する係数である程、大きな値を有している。
【００２４】
境界比較部１０６は、ステップＳ４０１、Ｓ４０２で読み出した映像データと、当該映像データに対応する評価係数５００の値とを乗算した値の和の絶対値を、境界５１０に垂直な方向のライン（水平ライン）毎に求め、求めた絶対値の和を評価値とする。例えば、境界５１０に隣接する左右２画素の映像データの値が全て同じだった場合には、評価値は０となる。また、境界５１０を境に左右どちらかの領域の映像データの値が高く、他方の映像データの値が０に近い場合、評価値は大きな値となる。すなわち、ラプラシアンフィルタ等を用いてエッジ（画像の中の領域の境界）を検出する計算と同様の処理を行う。よって、評価値が０に近い方がより連続した領域であると判定される。
ステップＳ４０１とステップＳ４０２において読み出した境界領域の映像データ５２０、５２２に、当該映像データ５２０、５２２に対応する評価係数５００の値を乗算した結果を以下に示す。境界領域の映像データ５２０の１ライン目の値は０と０である。同じく境界領域の映像データ５２２の１ライン目の値は０と０となる。よって、評価係数５００を用いた評価値の演算により、（式１）に示される値が得られる。
【００２５】
｜（−３×０）＋（−５×０）＋（５×０）＋（３×０）｜＝０ ・・・（式１）
【００２６】
同様に、境界領域の映像データ５２０の２ライン目の値は０と９である。一方、境界領域の映像データ５２２の２ライン目の値は０と０である。よって、評価係数５００を用いた評価値の演算により、（式２）に示される値が得られる。
【００２７】
｜（−３×０）＋（−５×９）＋（５×０）＋（３×０）｜＝４５ ・・・（式２）
【００２８】
境界比較部１０６は、これらの演算を全てのラインに対して行って得られた全ての評価値を加算する。１ライン目の評価値は０となり、２ライン目の評価値は４５となり、３ライン目の評価値は２７となり全てのラインの評価値の和は１４２となる。
【００２９】
次に、ステップＳ４０４において、境界比較部１０６は、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数が、評価対象のフレームの数に達したか否かを判定する。評価対象のフレーム数は、映像入力スキューＴに依存するものであり、基準映像入力信号のフレームと、合成対象の映像入力信号の複数のフレームとの比較が行われる。映像入力スキューＴが長いほど、評価対象のフレーム数は多くなる。本実施形態では、評価対象のフレームの数は２であるとする。尚、評価対象のフレーム数は２に限定されることなく２以上の数であればよい。これまでの説明では、ステップＳ４０２とステップＳ４０３において、映像データの読み出しと連続性の評価とを行ったのは１フレームである（評価値を算出するために使用された「合成対象の映像入力信号のフレーム」は、フレーム２２１だけである）。よって、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数は、評価対象のフレームの数に達していないので、ステップＳ４０２に戻る。
【００３０】
ステップＳ４０２に戻ると、境界比較部１０６は、合成対象の映像入力信号のフレームの境界領域の映像データのうち、未だ読み出していないフレームの映像データの読み出しを行う。前回のステップＳ４０２では、合成対象の映像入力信号のフレームの候補である「第２の映像入力信号の第１のフレーム２２１」の境界領域の映像データの読み出しを行った。そこで、本ステップでは、境界比較部１０６は、第２の映像入力信号の第２のフレーム２２２の境界領域の映像データの読み出しを行う。ここでは、境界比較部１０６は、図５（ｃ）に示す境界５１０から当該境界５１０に垂直な方向（水平方向）に２画素分の領域５２１の映像データを読み出す。
【００３１】
次に、ステップＳ４０３において、境界比較部１０６は、基準映像入力信号と合成対象の映像入力信号との境界領域の連続性の評価を行う。前述したように、ここでは、ステップＳ４０２、Ｓ４０３で読み出した映像データと、当該映像データに対応する評価係数５００の値とを乗算した値の和の絶対値を、境界５１０に垂直な方向のライン（水平ライン）毎に求め、求めた絶対値の和を評価値とする。１ライン目の評価値は０となり、２ライン目の評価値は０となり、３ライン目の評価値は１５となり、全てのラインの評価値の和は５５となる。
【００３２】
次に、ステップＳ４０４において、境界比較部１０６は、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数が、評価対象のフレームの数に達したか否かを判定する。前述したように、本実施形態では、評価対象のフレーム数は２であり、すでに２フレーム分の評価を行っている。よって、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数が、評価対象のフレームの数に達したと判定され、ステップＳ４０５に進む。
【００３３】
ステップ４０５に進むと、境界比較部１０６は、基準映像入力信号のフレームの境界部分との連続性の高いフレームを合成対象の映像入力信号のフレームの中から選択する。前述したように、ステップＳ４０４で演算された評価値が０に近い「合成対象の映像入力信号のフレーム」が基準映像信号のフレームの境界部分との連続性が高いと判断される。ステップＳ４０４で演算された「合成対象の映像入力信号の評価値」は、第１のフレーム２２１で「１４２」、第２のフレーム２２２で「５５」である。したがって、合成対象の映像入力信号の第２のフレーム２２２の評価値の方が、第１のフレーム２２１の評価値よりも０に近い。よって、合成対象の映像入力信号の第２のフレーム２２２が、基準映像入力信号のフレームの境界部分との連続性が高いフレームとして選択される。
【００３４】
次に、ステップ４０６において、境界比較部１０６は、選択したフレームの番号（フレーム番号）を第１、第２同期映像読み出し部１０４、１０５に通知する。ここでは、境界比較部１０６は、基準映像入力信号である第１の映像入力信号の第２のフレーム２１２の番号を第１の同期映像信号読み出し部１０４に出力する。そして、第１の同期映像信号読み出し部１０４は、第１の映像入力信号の第２のフレーム２１２の映像データをデータ蓄積部１０３から読み出す。また、境界比較部１０６は、合成対象の映像入力信号である第２の映像入力信号の第２のフレーム２２２の番号を第２の同期映像信号読み出し部１０５に出力する。そして、第２の同期映像信号読み出し部１０５は、第２の映像入力信号の第２のフレーム２２２の映像データをデータ蓄積部１０３から読み出す。
第１、第２同期映像信号読み出し部１０４、１０５で読み出された映像データは、それぞれ第１、第２の映像信号出力部１０７、１０８を介して映像表示部１１０に出力される。その結果、映像表示部１１０は、図３に示す映像３２０を表示する。
【００３５】
次に、再びステップＳ４０１に戻り、境界比較部１０６は、基準映像入力信号の境界領域の映像データの読み出しを行う。境界比較部１０６は、前回、ステップＳ４０１で読み出したフレームの次のフレームの読み出しを行う。前回は、第２のフレーム２１１の映像データが読み出されたので、本ステップでは、第３のフレーム２１３の映像データの読み出しが行われる。その後、境界比較部１０６は、ステップＳ４０２〜Ｓ４０６の処理を繰り返し、基準映像入力信号の各フレームに対応するフレームを、合成対象の映像入力信号から決定する。
【００３６】
以上のように本実施形態では、複数の領域に空間分割された基準映像入力信号と合成対象の映像入力信号の夫々の境界部分の輝度値と評価係数５００とを用いて、当該一方の映像入力信号と他方の映像入力信号との境界の連続性を評価するための評価値を算出する。この評価値に基づき、基準映像入力信号の境界と連続している合成対象の映像入力信号を決定し、これらを合成して表示する。したがって、空間分割された映像データのフレームにフレーム番号を付与する等の特殊な機能を持たない映像送信装置によって送信された映像信号であっても、空間分割された映像データを正しく合成して表示することができる。よって、汎用的な映像送信装置を用いても、映像処理装置１００は、高解像度の映像を提供することが可能である。
【００３７】
尚、合成対象の映像入力信号のフレームを特定する処理は、映像入力スキューＴが安定していれば、基準映像入力信号のフレームが出力されるたびに行わなくてもよい。この場合、例えば、第１、第２同期映像読み出し部１０４、１０５は、境界比較部１０６で特定された「合成対象の映像入力信号のフレーム番号」を記録し、インクリメントして読み出すようにすることができる。このようにすれば、合成対象の映像入力信号のフレームを特定する処理を、最初の１回しか行わないようにしてもよい。
また、評価値を算出するための評価係数は、図５（ａ）に示した評価係数５００に限定されるものではない。例えば、単に境界に隣接している画素同士を比較し、その結果として得られる値を評価値としてもよい。このようにして得られる評価値は、評価係数５００の値を「０、１、−１、０」とした場合の評価値に包含される。
【００３８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、境界比較部１０６が、データ蓄積部１０３に蓄積された第１、第２の映像入力信号の境界領域を読み出す場合を例に挙げて説明した。これに対し、本実施形態では、境界比較部６０６が、第１、第２の映像信号入力部６０１、６０２から、第１、第２の映像入力信号の境界領域を直接取得するようにする。このように、第１の実施形態と本実施形態では、境界比較部６０６による、第１、第２の映像入力信号の取得方法が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００３９】
図６は、本実施形態の映像処理装置６００の構成の一例を示す図である。
本実施形態の映像処理装置６００の境界比較部６０６は、第１、第２の映像信号入力部６０１、６０２から映像入力信号を受信している。第１、第２の映像信号出力部１０７、１０８及び境界比較部１０６のその他の処理は、第１の実施形態と同じである。また、データ蓄積部１０３、及び第１、第２の同期映像読み出し部１０４、１０５も第１の実施形態と同じである。
【００４０】
第１、第２の映像信号入力部６０１、６０２は、入力された映像入力信号をデータ蓄積部１０３に出力すると同時に、当該映像入力信号の境界領域の映像データ（境界領域にあたる映像入力信号）を境界比較部６０６に出力する。境界比較部６０６は、第１、第２の映像信号入力部６０１、６０２から入力された「境界領域にあたる映像信号入力信号」を蓄積（保持）する機能を有する。または、第１、第２の映像信号入力部６０１、６０２は、入力された映像入力信号の全てを境界比較部６０６に出力し、境界比較部６０６が、当該映像入力信号の境界領域の映像データのみを蓄積しても良い。
【００４１】
境界比較部６０６の処理手順としては、第１の実施形態とほぼ同様であるので、図４のフローチャートを用いて説明を行う。まず、本実施形態では、ステップＳ４０１とステップＳ４０２のデータ蓄積部１０３からの境界領域の映像データの読み出しが不要になる。その代りに、境界領域の内部に蓄積している境界領域の映像データを演算に用いる。基準映像入力信号の各フレームに対応するフレームを、合成対象の映像入力信号から決定する方法は第１の実施形態と同じである。
【００４２】
以上のように本実施形態では、境界比較部６０６は、第１、第２の映像信号入力部６０１、６０２から直接、境界領域の映像データを取得して、出力するフレームの選択を行う。したがって、第１の実施の形態と同様に、同一の映像入力信号のフレームから空間分割されたフレームを読み出し、それらを同期して表示することができる。
【００４３】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００４４】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００４５】
１００ 映像処理装置、１０６ 境界比較部、１１０ 映像表示部
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理方法、及びコンピュータプログラムに関し、特に、空間分割された映像信号を合成するために用いて好適なものである。
【背景技術】
【０００２】
近年、ＬＣＤやＰＤＰに代表される表示パネルの高解像度化が進み、現在普及しているＦＨＤ（１９２０×１０８０）を超える４ｋ２ｋ（３８４０×２１６０）の解像度を持つ高解像度表示パネルが製品化されている。このような高解像度表示パネルへの映像信号の入力は、ＦＨＤの映像信号を伝送することが可能な映像入力インタフェイスを複数本用いて実現されている。このような映像入力インタフェイスの代表的なものとしては、HD-SDI（High Definition Serial Digital Interface）やＤＶＩ（Digital Visual Interface）がある。各映像入力インタフェイスは、空間分割された映像領域の１領域の映像伝送を担っている。このように複数本の映像入力インタフェイスを用いて高解像度映像を伝送する場合、映像入力インタフェイスごとに遅延時間が異なる場合がある。このように高解像度表示パネルへ映像信号を伝送する際に伝送路の遅延時間が異なっても、空間分割された映像が正しく合成され出力される技術が開示されている。特許文献１によると、入力映像にフレーム番号を付与し、合成時に同じフレーム番号の映像を合成して表示パネルに出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２９９０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、空間分割された映像に付与されたフレーム番号を基に映像を合成する場合、送信側にフレーム番号を入れる機能が必須となる。したがって、フレーム番号を挿入する機能を持たない映像送信装置を用いると、各映像入力インタフェイスの遅延時間が大きい場合、空間分割されたフレームを、当該フレームと合成すべきフレームとは異なる（空間分割された）フレームと合成してしまう虞がある。そうすると、出力される映像が乱れる。
本発明は、このような問題点に鑑みてなされたものであり、汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像を正しく合成することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の映像処理装置は、複数の領域に空間分割された映像信号をそれぞれ受信する複数の映像信号入力手段と、前記複数の映像信号入力手段から入力された複数の映像信号を蓄積する蓄積手段と、前記複数の映像信号の、境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を、当該複数の映像信号の組み合わせを異ならせてそれぞれ算出し、算出した評価値を用いて、合成して表示される複数の映像信号を決定する決定手段と、前記決定手段により決定された複数の映像信号を前記蓄積手段から読み出す読み出し手段と、前記読み出し手段により読み出された複数の映像信号を出力する映像出力手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、空間分割された映像信号の境界部分の連続性を評価するための評価値を用いて、合成して表示される複数の映像信号を決定するようにした。よって、汎用的な映像送信装置を用いても、映像送信装置からの空間分割された映像を正しく合成することができる。
【図面の簡単な説明】
【０００７】
【図１】映像処理装置の構成の第１の例を示す図である。
【図２】映像信号の入出力のタイミングを示す図である。
【図３】映像処理装置で入出力される映像信号の内容を示す図である。
【図４】境界比較部の処理手順を説明するフローチャートである。
【図５】評価係数と映像入力信号の各画素の輝度値を示す図である。
【図６】映像処理装置の構成の第２の例を示す図である。
【発明を実施するための形態】
【０００８】
以下に、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、映像処理装置１００の構成の一例を示す図である。
映像処理装置１００は、第１、第２の映像信号入力部１０１、１０２と、データ蓄積部１０３と、第１、第２の同期映像読み出し部１０４、１０５と、境界比較部１０６と、第１、第２の映像信号出力部１０７、１０８とを備えて構成される。また、映像処理装置１００は、第１、第２の映像信号出力部１０７、１０８を介して映像表示部１１０に接続される。映像表示部１１０は、映像処理装置１００から出力された映像を表示する。
【０００９】
第１、第２の映像信号入力部１０１、１０２は、ビデオ入力インタフェイスであり、外部から映像信号を入力する。第１、第２の映像信号入力部１０１、１０２は、例えば、ＨＤＭＩやＤＶＩ等のデジタルビデオ信号規格のインタフェイスで構成され、各種の映像コンテンツを入力する。本実施形態では、空間分割された２つの映像信号が、それぞれ第１、第２の映像信号入力部１０１、１０２に入力されるものとする。
データ蓄積部１０３は、第１、第２の映像信号入力部１０１、１０２から入力された映像信号を蓄積する。データ蓄積部１０３は、例えば、ＳＤＲＡＭ等のメモリで構成されるフレームメモリである。
【００１０】
第１、第２の同期映像読み出し部１０４、１０５は、境界比較部１０６から指定されたフレームをデータ蓄積部１０３から読み出し、第１、第２の映像信号出力部１０７、１０８に出力する。第１、第２の同期映像読み出し部１０４、１０５は、例えば、境界比較部１０６から指定されたアドレスのデータの読み出しを行うＤＭＡコントローラである。
境界比較部１０６は、データ蓄積部１０３に蓄積されている空間分割された映像信号の境界部分の連続性の算出と比較を行い、第１、第２の同期映像読み出し部１０４、１０５に、読み出すフレームを指定する。境界比較部１０６は、例えば、ＣＰＵがＲＯＭに記憶されたコンピュータプログラムを実行することにより実現することができる。
【００１１】
第１、第２の映像信号出力部１０７、１０８は、第１、第２の同期映像読み出し部１０４、１０５によって読み出された映像信号を表示パネルに出力するインタフェイスである。第１、第２の映像信号出力部１０７、１０８は、例えば、ＬＶＤＳ（Low Voltage Differential Signaling）に代表される表示パネルへの標準画像インタフェイスである。
映像表示部１１０は、空間分割された映像信号をそれぞれの表示領域に出力して映像を表示する。映像表示部１１０は、例えば、ＬＣＤ（液晶ディスプレイ）やＰＤＰ（プラズマディスプレイパネル）等に代表される表示パネルである。
【００１２】
図２は、映像処理装置１００に入力される映像信号と、映像処理装置１００から出力される映像信号の入出力のタイミングの一例を示す図である。具体的に図２（ａ）は、正しく合成される場合の各映像信号の入出力のタイミングの一例を示す図であり、図２（ｂ）は、誤って合成される場合の各映像信号の入出力のタイミングの一例を示す図である。また、図３は、映像処理装置１００で入出力される映像信号の内容の一例を示す図である。具体的に図３（ａ）は、映像処理装置１００に入力される１フレーム目の映像信号の一例を示す図であり、図３（ｂ）は、映像処理装置１００に入力される２フレーム目の映像信号の一例を示す図である。図３（ｃ）は、正しく映像処理装置１００から出力される２フレーム目の映像信号の一例を示す図であり、図３（ｄ）は、誤って映像処理装置１００から出力される２フレーム目の映像信号の一例を示す図である。
【００１３】
前述したように、本実施形態では、２つの領域に空間分割された映像信号が映像処理装置１００に入力される。尚、空間分割される領域の個数に限定はなく３つ以上であってもよい。この場合、映像信号入力部、同期映像読み出し部、及び映像信号出力部を、空間分割される領域の数と同数、映像処理装置１００に設けるようにするのが好ましい。
【００１４】
図２に示す例では、２つの領域に空間分割された映像の映像信号である「第１、第２の映像入力信号」として、３フレーム分の映像信号が映像処理装置１００で受信されていることを示す。
図２において、２１１、２１２、２１３は、それぞれ第１の映像入力信号の第１、第２、第３のフレームである。また、２２１、２２２、２２３は、それぞれ第２の映像入力信号の第１、第２、第３のフレームである。また、２１５、２２５は、それぞれ第１、第２の映像入力信号に対する垂直同期信号を示す。
一方、２３１、２３２、２３３は、それぞれ第１の映像出力信号の第１、第２、第３のフレームである。また、２４１、２４２、２４３は、それぞれ第２の映像出力信号の第１、第２、第３のフレームである。また、２３５、２４５は、それぞれ第１、第２の映像出力信号に対する垂直同期信号を示す。
【００１５】
図３（ａ）において、３００は、第１、第２の映像入力信号の第１のフレームの内容を示す映像である。図３（ｂ）において、３１０は、第１、第２の映像入力信号の第２のフレームの内容を示す映像である。映像の中央で空間分割され、図に向かって左側が、第１の映像入力信号に基づく画像であり、右側が、第２の映像入力信号に基づく映像である。
また、図２に示すように、第１の映像入力信号と第２の映像入力信号は、外部の映像信号伝送路等の影響により、映像信号入力スキュー（skew）Ｔの期間を持って映像処理装置１００に入力される。映像信号入力スキューＴは、第１、第２の映像信号入力部１０１、１０２が、第１、第２の映像入力信号を入力するタイミングの時間差に対応するものである。
【００１６】
この映像入力スキューＴが、１フレームの垂直同期信号の期間の半分を超えていない場合、図２（ａ）に示すように、垂直同期信号が近いフレームを同期させて映像を出力すると、入力時に空間分割されたフレームと同じフレームと同期して映像が出力される。このため、図３（ｃ）に示す映像３２０のように、各領域の映像が正しく合成され、映像が乱れずに表示される。
一方、この映像入力スキューＴが、１フレームの垂直同期信号の期間の半分を超えてしまった場合、図２（ｂ）に示すように、第２の映像入力信号の第１のフレーム２２１と、第１の映像入力信号の第２のフレーム２１２の垂直同期信号が接近する。このような場合に垂直同期信号が近いフレームを同期させて映像を出力すると、入力時に空間分割されたフレームとは異なったフレームと同期して映像が出力される。このため、図３（ｄ）に示す映像３３０のように、各領域の画像が誤って合成され、映像が乱れて表示されてしまう場合がある。
【００１７】
本実施形態では、このような場合においても、図３（ｃ）に示すように、同一の映像入力信号のフレームから空間分割されたフレームを読み出し、それらを同期して表示することができるようにする。そのために、本実施形態では、境界比較部１０６が、空間分割された映像信号の境界の連続性を評価する。このようにするための処理手順の一例を以下に詳細に示す。
【００１８】
図４は、境界比較部１０６の処理手順の一例を説明するフローチャートである。また、図５は、境界領域の連続性の評価するための評価係数（図５（ａ））と、映像入力信号の各画素の輝度値（図５（ｂ）、（ｃ））の一例を示す図である。図５（ｂ）、（ｃ）では、各画素の輝度値を量子化し、０〜９の値にして示している。尚、図５では、説明を簡単にするために、量子化した輝度値を用いて、空間分割された映像の境界領域の連続性の評価する場合を例に挙げて示す。しかしながら、空間分割された映像の境界領域の連続性の評価するための用いる情報は、これらに限定されるものではない。空間分割された映像領域の連続性を映像信号から判断できるデータであれば、どのような情報を用いて、空間分割された映像の境界領域の連続性を評価してもよい。例えば、ＲＧＢ各色の値を用いて境界領域の連続性を評価してもよい。
【００１９】
図４のフローチャートと、図５の各画素の輝度値（の量子化値）とを用いて、空間分割された映像の境界領域の連続性を評価する方法の一例を説明する。また、以下の説明では、第１、第２の映像信号入力部１０１、１０２は、すでに２フレーム分の映像信号を受信しており、データ蓄積部１０３には、空間分割された映像信号が２フレーム分ある状態（図２（ａ）の時刻ｔの状態）であるものとする。
【００２０】
図４のステップＳ４０１において、境界比較部１０６は、基準映像入力信号の境界領域の映像データ（境界領域にあたる基準映像入力信号）の読み出しを行う。基準映像入力信号とは、複数の領域に空間分割された映像入力信号のうちの１つを指す。本実施形態では、２つの領域に空間分割された映像に対応する、第１、第２の映像入力信号が映像処理装置１００に入力されている。したがって、これら第１、第２の映像入力信号の何れかが基準映像入力信号となる。ここでは、第１の映像入力信号が基準映像入力信号であるとする。さらに、時刻ｔでは、基準映像入力信号である第１の映像入力信号の第２のフレーム２１２（２フレーム目）を処理対象とする。
【００２１】
ここでは、境界比較部１０６は、図５に示す境界５１０から当該境界５１０に垂直な方向（水平方向）に２画素分の領域５２０の映像データを、基準映像入力信号である第１の映像入力信号の第２のフレーム２１２から読み出すものとする。前述したように、本実施形態では、この映像データは、輝度値を量子化した値である。
次に、ステップＳ４０２において、境界比較部１０６は、合成対象の映像入力信号のフレームの境界領域の映像データ（境界領域にあたる合成対象の映像入力信号）のうち、未だ読み出していないフレームの映像データの読み出しを行う。合成対象の映像入力信号とは、基準映像入力信号以外の映像入力信号であり、本実施形態では、第２の映像入力信号である。
【００２２】
本実施形態では、境界比較部１０６は、合成対象である第２の映像入力信号のフレームの映像入力スキューＴに依存した数だけ複数のフレームの比較を行う。ここでは、境界比較部１０６は、合成対象の候補である第２の映像入力信号の第１のフレーム２２１の境界領域のデータの読み出しを行うものとする。また、境界比較部１０６は、図５（ｂ）に示す境界５１０から当該境界５１０に垂直な方向（水平方向）に２画素分の領域５２２の映像データを読み出すものとする。
【００２３】
次に、ステップＳ４０３において、境界比較部１０６は、基準映像入力信号と合成対象の映像入力信号との境界領域の連続性の評価を行う。本実施形態では、この境界領域の連続性の評価に、図５（ａ）に示す評価係数５００を用いる。評価係数５００は、ステップＳ４０２、Ｓ４０３で読み出した映像データの「境界５１０に垂直な方向（水平方向）の画素」のそれぞれに対応する係数を有する。具体的に、評価係数５００は、境界５１０を境に一方の領域の映像データの「境界５１０に垂直な方向（水平方向）の画素」に対応する値を正の係数とし、他方の領域の映像データの「境界５１０に垂直な方向（水平方向）の画素」に対応する値を負の係数とする。さらに、評価係数５００の絶対値は、境界５１０に隣接している画素に対応する係数である程、大きな値を有している。
【００２４】
境界比較部１０６は、ステップＳ４０１、Ｓ４０２で読み出した映像データと、当該映像データに対応する評価係数５００の値とを乗算した値の和の絶対値を、境界５１０に垂直な方向のライン（水平ライン）毎に求め、求めた絶対値の和を評価値とする。例えば、境界５１０に隣接する左右２画素の映像データの値が全て同じだった場合には、評価値は０となる。また、境界５１０を境に左右どちらかの領域の映像データの値が高く、他方の映像データの値が０に近い場合、評価値は大きな値となる。すなわち、ラプラシアンフィルタ等を用いてエッジ（画像の中の領域の境界）を検出する計算と同様の処理を行う。よって、評価値が０に近い方がより連続した領域であると判定される。
ステップＳ４０１とステップＳ４０２において読み出した境界領域の映像データ５２０、５２２に、当該映像データ５２０、５２２に対応する評価係数５００の値を乗算した結果を以下に示す。境界領域の映像データ５２０の１ライン目の値は０と０である。同じく境界領域の映像データ５２２の１ライン目の値は０と０となる。よって、評価係数５００を用いた評価値の演算により、（式１）に示される値が得られる。
【００２５】
｜（−３×０）＋（−５×０）＋（５×０）＋（３×０）｜＝０ ・・・（式１）
【００２６】
同様に、境界領域の映像データ５２０の２ライン目の値は０と９である。一方、境界領域の映像データ５２２の２ライン目の値は０と０である。よって、評価係数５００を用いた評価値の演算により、（式２）に示される値が得られる。
【００２７】
｜（−３×０）＋（−５×９）＋（５×０）＋（３×０）｜＝４５ ・・・（式２）
【００２８】
境界比較部１０６は、これらの演算を全てのラインに対して行って得られた全ての評価値を加算する。１ライン目の評価値は０となり、２ライン目の評価値は４５となり、３ライン目の評価値は２７となり全てのラインの評価値の和は１４２となる。
【００２９】
次に、ステップＳ４０４において、境界比較部１０６は、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数が、評価対象のフレームの数に達したか否かを判定する。評価対象のフレーム数は、映像入力スキューＴに依存するものであり、基準映像入力信号のフレームと、合成対象の映像入力信号の複数のフレームとの比較が行われる。映像入力スキューＴが長いほど、評価対象のフレーム数は多くなる。本実施形態では、評価対象のフレームの数は２であるとする。尚、評価対象のフレーム数は２に限定されることなく２以上の数であればよい。これまでの説明では、ステップＳ４０２とステップＳ４０３において、映像データの読み出しと連続性の評価とを行ったのは１フレームである（評価値を算出するために使用された「合成対象の映像入力信号のフレーム」は、フレーム２２１だけである）。よって、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数は、評価対象のフレームの数に達していないので、ステップＳ４０２に戻る。
【００３０】
ステップＳ４０２に戻ると、境界比較部１０６は、合成対象の映像入力信号のフレームの境界領域の映像データのうち、未だ読み出していないフレームの映像データの読み出しを行う。前回のステップＳ４０２では、合成対象の映像入力信号のフレームの候補である「第２の映像入力信号の第１のフレーム２２１」の境界領域の映像データの読み出しを行った。そこで、本ステップでは、境界比較部１０６は、第２の映像入力信号の第２のフレーム２２２の境界領域の映像データの読み出しを行う。ここでは、境界比較部１０６は、図５（ｃ）に示す境界５１０から当該境界５１０に垂直な方向（水平方向）に２画素分の領域５２１の映像データを読み出す。
【００３１】
次に、ステップＳ４０３において、境界比較部１０６は、基準映像入力信号と合成対象の映像入力信号との境界領域の連続性の評価を行う。前述したように、ここでは、ステップＳ４０２、Ｓ４０３で読み出した映像データと、当該映像データに対応する評価係数５００の値とを乗算した値の和の絶対値を、境界５１０に垂直な方向のライン（水平ライン）毎に求め、求めた絶対値の和を評価値とする。１ライン目の評価値は０となり、２ライン目の評価値は０となり、３ライン目の評価値は１５となり、全てのラインの評価値の和は５５となる。
【００３２】
次に、ステップＳ４０４において、境界比較部１０６は、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数が、評価対象のフレームの数に達したか否かを判定する。前述したように、本実施形態では、評価対象のフレーム数は２であり、すでに２フレーム分の評価を行っている。よって、評価値を算出するために使用された「合成対象の映像入力信号のフレーム」の数が、評価対象のフレームの数に達したと判定され、ステップＳ４０５に進む。
【００３３】
ステップ４０５に進むと、境界比較部１０６は、基準映像入力信号のフレームの境界部分との連続性の高いフレームを合成対象の映像入力信号のフレームの中から選択する。前述したように、ステップＳ４０４で演算された評価値が０に近い「合成対象の映像入力信号のフレーム」が基準映像信号のフレームの境界部分との連続性が高いと判断される。ステップＳ４０４で演算された「合成対象の映像入力信号の評価値」は、第１のフレーム２２１で「１４２」、第２のフレーム２２２で「５５」である。したがって、合成対象の映像入力信号の第２のフレーム２２２の評価値の方が、第１のフレーム２２１の評価値よりも０に近い。よって、合成対象の映像入力信号の第２のフレーム２２２が、基準映像入力信号のフレームの境界部分との連続性が高いフレームとして選択される。
【００３４】
次に、ステップ４０６において、境界比較部１０６は、選択したフレームの番号（フレーム番号）を第１、第２同期映像読み出し部１０４、１０５に通知する。ここでは、境界比較部１０６は、基準映像入力信号である第１の映像入力信号の第２のフレーム２１２の番号を第１の同期映像信号読み出し部１０４に出力する。そして、第１の同期映像信号読み出し部１０４は、第１の映像入力信号の第２のフレーム２１２の映像データをデータ蓄積部１０３から読み出す。また、境界比較部１０６は、合成対象の映像入力信号である第２の映像入力信号の第２のフレーム２２２の番号を第２の同期映像信号読み出し部１０５に出力する。そして、第２の同期映像信号読み出し部１０５は、第２の映像入力信号の第２のフレーム２２２の映像データをデータ蓄積部１０３から読み出す。
第１、第２同期映像信号読み出し部１０４、１０５で読み出された映像データは、それぞれ第１、第２の映像信号出力部１０７、１０８を介して映像表示部１１０に出力される。その結果、映像表示部１１０は、図３に示す映像３２０を表示する。
【００３５】
次に、再びステップＳ４０１に戻り、境界比較部１０６は、基準映像入力信号の境界領域の映像データの読み出しを行う。境界比較部１０６は、前回、ステップＳ４０１で読み出したフレームの次のフレームの読み出しを行う。前回は、第２のフレーム２１１の映像データが読み出されたので、本ステップでは、第３のフレーム２１３の映像データの読み出しが行われる。その後、境界比較部１０６は、ステップＳ４０２〜Ｓ４０６の処理を繰り返し、基準映像入力信号の各フレームに対応するフレームを、合成対象の映像入力信号から決定する。
【００３６】
以上のように本実施形態では、複数の領域に空間分割された基準映像入力信号と合成対象の映像入力信号の夫々の境界部分の輝度値と評価係数５００とを用いて、当該一方の映像入力信号と他方の映像入力信号との境界の連続性を評価するための評価値を算出する。この評価値に基づき、基準映像入力信号の境界と連続している合成対象の映像入力信号を決定し、これらを合成して表示する。したがって、空間分割された映像データのフレームにフレーム番号を付与する等の特殊な機能を持たない映像送信装置によって送信された映像信号であっても、空間分割された映像データを正しく合成して表示することができる。よって、汎用的な映像送信装置を用いても、映像処理装置１００は、高解像度の映像を提供することが可能である。
【００３７】
尚、合成対象の映像入力信号のフレームを特定する処理は、映像入力スキューＴが安定していれば、基準映像入力信号のフレームが出力されるたびに行わなくてもよい。この場合、例えば、第１、第２同期映像読み出し部１０４、１０５は、境界比較部１０６で特定された「合成対象の映像入力信号のフレーム番号」を記録し、インクリメントして読み出すようにすることができる。このようにすれば、合成対象の映像入力信号のフレームを特定する処理を、最初の１回しか行わないようにしてもよい。
また、評価値を算出するための評価係数は、図５（ａ）に示した評価係数５００に限定されるものではない。例えば、単に境界に隣接している画素同士を比較し、その結果として得られる値を評価値としてもよい。このようにして得られる評価値は、評価係数５００の値を「０、１、−１、０」とした場合の評価値に包含される。
【００３８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、境界比較部１０６が、データ蓄積部１０３に蓄積された第１、第２の映像入力信号の境界領域を読み出す場合を例に挙げて説明した。これに対し、本実施形態では、境界比較部６０６が、第１、第２の映像信号入力部６０１、６０２から、第１、第２の映像入力信号の境界領域を直接取得するようにする。このように、第１の実施形態と本実施形態では、境界比較部６０６による、第１、第２の映像入力信号の取得方法が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００３９】
図６は、本実施形態の映像処理装置６００の構成の一例を示す図である。
本実施形態の映像処理装置６００の境界比較部６０６は、第１、第２の映像信号入力部６０１、６０２から映像入力信号を受信している。第１、第２の映像信号出力部１０７、１０８及び境界比較部１０６のその他の処理は、第１の実施形態と同じである。また、データ蓄積部１０３、及び第１、第２の同期映像読み出し部１０４、１０５も第１の実施形態と同じである。
【００４０】
第１、第２の映像信号入力部６０１、６０２は、入力された映像入力信号をデータ蓄積部１０３に出力すると同時に、当該映像入力信号の境界領域の映像データ（境界領域にあたる映像入力信号）を境界比較部６０６に出力する。境界比較部６０６は、第１、第２の映像信号入力部６０１、６０２から入力された「境界領域にあたる映像信号入力信号」を蓄積（保持）する機能を有する。または、第１、第２の映像信号入力部６０１、６０２は、入力された映像入力信号の全てを境界比較部６０６に出力し、境界比較部６０６が、当該映像入力信号の境界領域の映像データのみを蓄積しても良い。
【００４１】
境界比較部６０６の処理手順としては、第１の実施形態とほぼ同様であるので、図４のフローチャートを用いて説明を行う。まず、本実施形態では、ステップＳ４０１とステップＳ４０２のデータ蓄積部１０３からの境界領域の映像データの読み出しが不要になる。その代りに、境界領域の内部に蓄積している境界領域の映像データを演算に用いる。基準映像入力信号の各フレームに対応するフレームを、合成対象の映像入力信号から決定する方法は第１の実施形態と同じである。
【００４２】
以上のように本実施形態では、境界比較部６０６は、第１、第２の映像信号入力部６０１、６０２から直接、境界領域の映像データを取得して、出力するフレームの選択を行う。したがって、第１の実施の形態と同様に、同一の映像入力信号のフレームから空間分割されたフレームを読み出し、それらを同期して表示することができる。
【００４３】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００４４】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００４５】
１００ 映像処理装置、１０６ 境界比較部、１１０ 映像表示部
【特許請求の範囲】
【請求項１】
複数の領域に空間分割された映像信号をそれぞれ受信する複数の映像信号入力手段と、
前記複数の映像信号入力手段から入力された複数の映像信号を蓄積する蓄積手段と、
前記複数の映像信号の、境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を、当該複数の映像信号の組み合わせを異ならせてそれぞれ算出し、算出した評価値を用いて、合成して表示される複数の映像信号を決定する決定手段と、
前記決定手段により決定された複数の映像信号を前記蓄積手段から読み出す読み出し手段と、
前記読み出し手段により読み出された複数の映像信号を出力する映像出力手段と、を有することを特徴とする映像処理装置。
【請求項２】
前記決定手段は、前記境界領域のエッジを検出する計算を行って、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記決定手段は、前記複数の映像信号の境界にある画素の値を比較することによって、前記境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記決定手段は、前記境界領域のエッジを、ラプラシアンフィルタを用いて検出する計算を行って、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項２に記載の映像処理装置。
【請求項５】
前記決定手段は、前記複数の映像信号の、境界領域にあたる映像信号を、前記蓄積手段から取得することを特徴とする請求項１〜４の何れか１項に記載の映像処理装置。
【請求項６】
前記映像信号入力手段は、入力された映像信号のうち、境界領域にあたる映像信号を前記決定手段に出力し、
前記決定手段は、前記映像信号入力手段から入力された、前記境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１〜４の何れか１項に記載の映像処理装置。
【請求項７】
前記決定手段は、前記映像信号入力手段から入力された複数の映像信号のうち、境界領域にあたる映像信号のみを保持し、当該境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１〜６の何れか１項に記載の映像処理装置。
【請求項８】
前記決定手段は、前記複数の映像入力手段が前記映像信号を入力するタイミングの時間差に依存した数だけ、前記境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１〜７の何れか１項に記載の映像処理装置。
【請求項９】
複数の領域に空間分割された映像信号を複数の映像信号入力手段でそれぞれ受信する映像信号入力工程と、
前記映像信号入力工程で入力された複数の映像信号を蓄積する蓄積工程と、
前記複数の映像信号の、境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を、当該複数の映像信号の組み合わせを異ならせてそれぞれ算出し、算出した評価値を用いて、合成して表示される複数の映像信号を決定する決定工程と、
前記決定工程により決定された複数の映像信号を前記蓄積工程から読み出す読み出し工程と、
前記読み出し工程により読み出された複数の映像信号を出力する映像出力工程と、を有することを特徴とする映像処理方法。
【請求項１０】
前記決定工程は、前記境界領域のエッジを検出する計算を行って、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９に記載の映像処理方法。
【請求項１１】
前記決定工程は、前記複数の映像信号の境界にある画素の値を比較することによって、前記境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９に記載の映像処理方法。
【請求項１２】
前記決定工程は、前記境界領域のエッジを、ラプラシアンフィルタを用いて検出する計算を行って、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１０に記載の映像処理方法。
【請求項１３】
前記決定工程は、前記複数の映像信号の、境界領域にあたる映像信号を、前記蓄積工程から取得することを特徴とする請求項９〜１２の何れか１項に記載の映像処理方法。
【請求項１４】
前記映像信号入力工程は、入力された映像信号のうち、境界領域にあたる映像信号を前記決定工程に出力し、
前記決定工程は、前記映像信号入力工程から入力された、前記境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９〜１２の何れか１項に記載の映像処理方法。
【請求項１５】
前記決定工程は、前記映像信号入力工程から入力された複数の映像信号のうち、境界領域にあたる映像信号のみを保持し、当該境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９〜１４の何れか１項に記載の映像処理方法。
【請求項１６】
前記決定工程は、前記複数の映像入力工程が前記映像信号を入力するタイミングの時間差に依存した数だけ、前記境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９〜１５の何れか１項に記載の映像処理方法。
【請求項１７】
複数の領域に空間分割された映像信号を複数の映像信号入力手段でそれぞれ受信する映像信号入力工程と、
前記映像信号入力工程で入力された複数の映像信号を蓄積する蓄積工程と、
前記複数の映像信号の、境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を、当該複数の映像信号の組み合わせを異ならせてそれぞれ算出し、算出した評価値を用いて、合成して表示される複数の映像信号を決定する決定工程と、
前記決定工程により決定された複数の映像信号を前記蓄積工程から読み出す読み出し工程と、
前記読み出し工程により読み出された複数の映像信号を出力する映像出力工程と、をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１】
複数の領域に空間分割された映像信号をそれぞれ受信する複数の映像信号入力手段と、
前記複数の映像信号入力手段から入力された複数の映像信号を蓄積する蓄積手段と、
前記複数の映像信号の、境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を、当該複数の映像信号の組み合わせを異ならせてそれぞれ算出し、算出した評価値を用いて、合成して表示される複数の映像信号を決定する決定手段と、
前記決定手段により決定された複数の映像信号を前記蓄積手段から読み出す読み出し手段と、
前記読み出し手段により読み出された複数の映像信号を出力する映像出力手段と、を有することを特徴とする映像処理装置。
【請求項２】
前記決定手段は、前記境界領域のエッジを検出する計算を行って、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記決定手段は、前記複数の映像信号の境界にある画素の値を比較することによって、前記境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記決定手段は、前記境界領域のエッジを、ラプラシアンフィルタを用いて検出する計算を行って、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項２に記載の映像処理装置。
【請求項５】
前記決定手段は、前記複数の映像信号の、境界領域にあたる映像信号を、前記蓄積手段から取得することを特徴とする請求項１〜４の何れか１項に記載の映像処理装置。
【請求項６】
前記映像信号入力手段は、入力された映像信号のうち、境界領域にあたる映像信号を前記決定手段に出力し、
前記決定手段は、前記映像信号入力手段から入力された、前記境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１〜４の何れか１項に記載の映像処理装置。
【請求項７】
前記決定手段は、前記映像信号入力手段から入力された複数の映像信号のうち、境界領域にあたる映像信号のみを保持し、当該境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１〜６の何れか１項に記載の映像処理装置。
【請求項８】
前記決定手段は、前記複数の映像入力手段が前記映像信号を入力するタイミングの時間差に依存した数だけ、前記境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１〜７の何れか１項に記載の映像処理装置。
【請求項９】
複数の領域に空間分割された映像信号を複数の映像信号入力手段でそれぞれ受信する映像信号入力工程と、
前記映像信号入力工程で入力された複数の映像信号を蓄積する蓄積工程と、
前記複数の映像信号の、境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を、当該複数の映像信号の組み合わせを異ならせてそれぞれ算出し、算出した評価値を用いて、合成して表示される複数の映像信号を決定する決定工程と、
前記決定工程により決定された複数の映像信号を前記蓄積工程から読み出す読み出し工程と、
前記読み出し工程により読み出された複数の映像信号を出力する映像出力工程と、を有することを特徴とする映像処理方法。
【請求項１０】
前記決定工程は、前記境界領域のエッジを検出する計算を行って、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９に記載の映像処理方法。
【請求項１１】
前記決定工程は、前記複数の映像信号の境界にある画素の値を比較することによって、前記境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９に記載の映像処理方法。
【請求項１２】
前記決定工程は、前記境界領域のエッジを、ラプラシアンフィルタを用いて検出する計算を行って、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項１０に記載の映像処理方法。
【請求項１３】
前記決定工程は、前記複数の映像信号の、境界領域にあたる映像信号を、前記蓄積工程から取得することを特徴とする請求項９〜１２の何れか１項に記載の映像処理方法。
【請求項１４】
前記映像信号入力工程は、入力された映像信号のうち、境界領域にあたる映像信号を前記決定工程に出力し、
前記決定工程は、前記映像信号入力工程から入力された、前記境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９〜１２の何れか１項に記載の映像処理方法。
【請求項１５】
前記決定工程は、前記映像信号入力工程から入力された複数の映像信号のうち、境界領域にあたる映像信号のみを保持し、当該境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９〜１４の何れか１項に記載の映像処理方法。
【請求項１６】
前記決定工程は、前記複数の映像入力工程が前記映像信号を入力するタイミングの時間差に依存した数だけ、前記境界領域の映像の連続性を評価するための評価値を算出することを特徴とする請求項９〜１５の何れか１項に記載の映像処理方法。
【請求項１７】
複数の領域に空間分割された映像信号を複数の映像信号入力手段でそれぞれ受信する映像信号入力工程と、
前記映像信号入力工程で入力された複数の映像信号を蓄積する蓄積工程と、
前記複数の映像信号の、境界領域にあたる映像信号を用いて、当該境界領域の映像の連続性を評価するための評価値を、当該複数の映像信号の組み合わせを異ならせてそれぞれ算出し、算出した評価値を用いて、合成して表示される複数の映像信号を決定する決定工程と、
前記決定工程により決定された複数の映像信号を前記蓄積工程から読み出す読み出し工程と、
前記読み出し工程により読み出された複数の映像信号を出力する映像出力工程と、をコンピュータに実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−３８７０６（Ｐ２０１３−３８７０６Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７５１５０（Ｐ２０１１−１７５１５０）
【出願日】平成２３年８月１０日（２０１１．８．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月１０日（２０１１．８．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]