画像伝送表示システム
【課題】1枚の画像を分割して伝送された複数の画像を受信する側で画像処理を行っても、境界部分の画質劣化を生じないシームレスの画像を得ることを目的とする。
【解決手段】第1分割画像のブランキング期間に書き込める画像データ容量の範囲内で、ブランキング期間に隣接する第1分割画像の端画像を第1分割画像ブロックとしてコピーし、ブランキング期間に隣接する第2分割画像の端画像を第1分割画像ブロックに隣接させて第2分割画像ブロックとしてコピーするコピー手段11と、第1、第2分割画像を圧縮し圧縮分割画像を得る圧縮手段18と圧縮分割画像を伝送する伝送手段12と、圧縮分割画像を複数の投映面に投映した際にブランキング期間にコピーされた第1、第2分割画像のそれぞれ劣化していない中央部の画像を取り出して第1、第2分割画像の劣化した部分に置き換える置換手段15とを有するものである。
【解決手段】第1分割画像のブランキング期間に書き込める画像データ容量の範囲内で、ブランキング期間に隣接する第1分割画像の端画像を第1分割画像ブロックとしてコピーし、ブランキング期間に隣接する第2分割画像の端画像を第1分割画像ブロックに隣接させて第2分割画像ブロックとしてコピーするコピー手段11と、第1、第2分割画像を圧縮し圧縮分割画像を得る圧縮手段18と圧縮分割画像を伝送する伝送手段12と、圧縮分割画像を複数の投映面に投映した際にブランキング期間にコピーされた第1、第2分割画像のそれぞれ劣化していない中央部の画像を取り出して第1、第2分割画像の劣化した部分に置き換える置換手段15とを有するものである。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、2002年ワールドサッカーにおいて、競技する選手の背番号を把握するために、試験的に用いられたハイビジョン方式(以下HDTVと称する)の3倍の画素数を持つ画像を、専用回線で特殊会場に伝送し表示していた画像表示システムの専用回線による画像伝送部分を、BS放送等を用いることにより、これを受信した多くの会場で合成表示してHDTVの整数倍の画像による高画質画像を表示する画像伝送表示システム等に関するものである。
【背景技術】
【0002】
図13は従来の画像伝送表示システムの概要ブロックを示す図であり、この従来の画像伝送表示システムを用いてHDTVの約3倍の画素数を有する画像信号を専用回線で伝送し、光学的に連続した1画面に合成表示して用いていた。
【0003】
図13に示す従来の画像伝送表示システムにおいては、図6(A)の上部に示すように、水平方向にHDTVの3倍の画素数(5760)を持つ第1の画像を有する撮像素子を用いた撮像手段10から得られる第1の画像の映像信号S0を分割手段29に入力し、第1の画像をこの分割手段29において3分割したHDTVの画素数(1920)からなる第2の画像(A0,B0,C0)に分割し映像信号S5a,S5b,S5cを得る。そして分割手段29から得られる第2の画像による映像信号S5a,S5b,S5cを既存の信号フォーマットとして例えばARIB規格BTA S-004B(以下HD-SDIと称する)に変換し伝送路2に伝送信号S6a,S6b,S6cとして送信手段12から送出する。
【0004】
そして、受信手段30は3つに分割された第2の画像の伝送信号S6a,S6b,S6cを伝送路2から受信して映像信号S7a,S7b,S7cに戻し、表示手段16に加える。表示手段16では3つに分割された第2の画像を第1の画像と同じ配置になるように配置して図示していないスクリーン等の表示部に合成表示する。
【0005】
上述した従来のシステムによれば、図6(A)の上部に示すように撮像手段10によって得られた第1の画像をこの第1の画像より小さな既存の規格からなる第2の画像(A0,B0,C0)として伝送し、画像表示装置6においては伝送された第2の画像を第1の画像と同じ配置に合成表示することで、既存規格の画像信号より大きな第1の画像として表示することが出来る。また、特許文献1によれば、さらに画素数の多いHDTVの4倍に相当する画素数の画像伝送表示システムが記載されている。
【0006】
このように、上述した従来の画像伝送表示システムにおいては、専用の特殊な伝送方法による画像伝送しか行われておらず、分割した画像の劣化もないため表示手段16で輪郭強調処理等の画像処理を行う必要がなかったが、例えばHDTVの放送枠として各民放局が使用しているBS3chを用いてHDTVの3倍の画像を伝送し表示しようとすると、伝送時に画像の劣化を生じたり、あるいは伝送時の圧縮によりさらに隣接画像の境界部分の画像処理が適正でなくなったりすると言う現象を生じていた。
【0007】
このため、3つに分割された第2の画像を、そのまま画像処理して分割前の第1の画像と同じ配置で合成表示すると、境界部分の画質に劣化を生じていた。
【特許文献1】特開2002−135662号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
このように、上述した従来の画像伝送表示システムにおいては、ハイビジョン方式(以下HDTVと称する)の3倍の画素数を持つ第1の画像を複数に分割した第2の画像を、複数の伝送路を設定して並列に略同時に送信し、次にこれを受信して表示しようとすると送信時の伝送や圧縮による劣化や表示する際における画像の輪郭強調のために複数に分割した第2の画像においてそれぞれの境界部分の連続性が無くなり第1の画像となるよう合成表示する際に画質劣化を生ずると言う問題点があった。
【0009】
そこで本発明は、上述した問題点を解決して、複数に分割して伝送された画像を受信して合成表示する際に、境界部分の画質劣化を生じない画像伝送表示システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本願発明は、1つの画像から一方向に順番に垂直分割された複数の分割画像を圧縮して伝送し、前記圧縮された複数の分割画像を前記複数の分割画像と同数の水平方向に配置された拡大投映面にそれぞれ投映して、全体として前記1つの画像を得る際、前記複数個の投映面の境界部をシームレスにする画像伝送表示システムにおいて、
前記拡大投映面上での前記分割画像の水平走査方向に隣接した同士の前記分割画像を順番に第1分割画像、第2分割画像とする組が組み合されて前記複数の分割画像が構成されるとするとき、前記第1分割画像の一水平期間のブランキング期間に書き込める画像データ容量の範囲内で前記ブランキング期間内に、前記第1分割画像の端画像を第1分割画像ブロックとしてコピーすると共に前記第2分割画像の端画像を前記第1分割画像ブロックに隣接させて第2分割画像ブロックとしてコピーするコピー手段と、前記第1分割画像の一水平期間のブランキング期間にコピーされた前記第1、第2分割画像ブロックと共に前記第1、第2分割画像を圧縮することにより、第1、第2圧縮分割画像及び第1、第2圧縮分割画像ブロックを得る圧縮手段と、第1、第2圧縮分割画像及び第1、第2圧縮分割画像ブロックを伝送する伝送手段と、前記第1、第2圧縮分割画像を前記複数の投映面に投映した際に、互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じている場合のみ、前記ブランキング期間にコピーされた前記第1、第2分割画像ブロックのそれぞれ劣化していない中央部の画像ブロックを取り出して前記第1、第2圧縮分割画像の劣化した端画像部分に置き換える置換手段と、前記互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じている場合には、前記置換手段で端画像部分が前記第1、第2分割画像ブロックのそれぞれ劣化していない中央部の画像ブロックで置換された前記第1、第2圧縮分割画像を表示し、前記互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じない場合には、そのまま表示する表示手段と、を有することを特徴とする画像伝送表示システムを提供するものである。
【発明の効果】
【0011】
本発明によれば、1つの画像から一方向に順番に垂直分割された複数の分割画像を圧縮して伝送し、圧縮された複数の分割画像を複数の分割画像と同数の水平方向に配置された拡大投映面にそれぞれ投映して、全体として前記1つの画像を得る際、複数個の投映面の境界部をシームレスにすることができる。
【発明を実施するための最良の形態】
【0012】
以下に本発明の各実施形態係る画像伝送システムについて、図1〜図12を用いて説明する。
図1は本発明の実施形態におけるHDTVの3倍の画素数を有する画像の画像伝送システムの概要図を示す図である。
図2は画像発生装置1における画像処理状態を示す図であり、(A)は上部が第1の画像を示す図であり下部が分割した第2の画像を示す図であり、(B)は第2の画像における境界画像の構成を示す図であり、(C)は伝送時における分割画像のそれぞれの配置を示す図である。
図3は画像表示装置3における画像処理状態を示す図であり、(A)は受信する伝送画像のそれぞれの配置を示す図であり、(B)は画像処理時に境界画像が劣化する個所を示す図であり、(C)は境界画像を入れ替える位置を示す図であり、(D)は画像処理後の画像を示す図である。
図4はHDTV信号のブランキング期間に画像処理を行う重畳画像のデータを挿入した場合を示す図であり、(A)はHDTVの規格に基づくブランキング付近のデータ配列を示す図であり、(B)はブランキング期間の有効データブロックにA0画像の右端画像データとB0画像の左端画像データとを合成して挿入した図を示し、(C)は(B)を画像処理した場合のデータ劣化部分を示す図であり、(D)は画像処理後に劣化していない画像のデータをもとの画像位置に戻す状態を示す図である。
図5はHDTVの映像データブロックの領域内において、画像処理を行う場合を示す図であり、(A)はHDTVの規格に基づくブランキング付近のデータ配列を示す図であり、(B)はA1画像の右端画像データを移動してB1画像の左端画像データをA1画像の右端に合成した挿入した状態を示す図であり、(C)は(B)を画像処理した場合のデータ劣化部分を示す図であり、(D)は画像処理後に劣化していない画像のみを用いる状態を示す図である。
図6は1枚の画像と分割した画像の配列を示す図であり、(A)は図2に示すブランキング期間に画像処理をする画像データを挿入した場合の画素配列を示す図であり、(B)は図3に示す映像データブロック内に画像処理をする画像データを挿入した場合の画素配列を示す図である。
図7は水平、垂直方向にそれぞれ複数分割した場合の配列を示す図であり、図8は図7の4分割画像を4並列伝送する場合を示す図であり、図9は分割手段の構成を示す図であり、図10は画像処理手段の構成を示す図であり、図11は画像が重畳する部分の画像データを示す図であり、図12は重畳量判定手段を示す図である。
【0013】
まず、図1に示すように、本発明の実施形態に係る画像伝送システムは、1つの画像から一方向に順番に垂直分割された複数の分割画像を圧縮して伝送し、圧縮された複数の分割画像を複数の分割画像と同数の水平方向に配置された拡大投映面にそれぞれ投映して、全体として1つの画像を得る際、複数個の投映面の境界部をシームレスにする画像伝送表示システムにおいて、拡大投映面上での分割画像の水平走査方向を一方向とし、圧縮される前の一方向に隣接した同士の分割画像を順番に第1分割画像、第2分割画像とするとき、第1分割画像の一水平期間のブランキング期間に書き込める画像データ容量の範囲内でブランキング期間内に、ブランキング期間に隣接する第1分割画像の端画像を第1分割画像ブロックとしてコピーすると共にブランキング期間に隣接する第2分割画像の端画像を第1分割画像ブロックに隣接させて第2分割画像ブロックとしてコピーするコピー手段(分割手段11)と、第1分割画像の一水平期間のブランキング期間にコピーされた第1、第2分割画像ブロックと共に第1、第2分割画像を圧縮することにより、分割画像の圧縮分割画像を得る圧縮手段18と、圧縮分割画像を伝送する伝送手段(送信手段12)と、圧縮分割画像を複数の投映面に投映した際に、互いに隣接する第1、第2分割画像の境界部に不連続が生じている場合には、ブランキング期間にコピーされた第1、第2分割画像のそれぞれ劣化していない中央部の画像を取り出して第1、第2分割画像の劣化した部分に置き換える置換手段(画像処理手段15)と、を有するものである。
【0014】
具体的には図1に示す画像発生装置位置1では、図2(A)に示す第1の画像UH0を第2の画像A0,B0,C0に分割して、図2(B)に示すように第2の画像におけるA0の右端の境界画像Aと画像B0の左端における境界画像Baをそれぞれの境界部を隣り合わせにした境界部の画像として境界画像ABaを、同様にして第2の画像におけるB0の左端における境界画像Bcと画像C0の右端における境界画像Cをそれぞれの境界部を隣り合わせにした境界部の画像として境界部画像BcCを作成する。
【0015】
そして、分割した第2の画像A0,B0,C0はそれぞれHDTV信号のフォーマットの映像データブロックに画像信号として挿入されて略同時に伝送路2へ並列伝送する。この時図2(C)に示すようにA0のHDTV信号のブランキング部分には境界部画像ABaを、C0のHDTV信号のブランキング部分には境界部画像BcCを挿入する。
【0016】
次に伝送路2を経由して画像表示装置3に入力された図3(A)に示すHDTV信号のフォーマットによる第2の画像A0,B0,C0を、送信手段12によるデータ圧縮、伝送路2による信号劣化、受信手段14によるデータ伸張、表示手段16への画質向上処理等に対応したそれぞれの画像処理をして合成表示すると図3(B)に示すように境界部分に画像のシームレス化を妨げる連続性のない画像が生じる(境界画像劣化部ABa、境界画像劣化部BcC)。
【0017】
この時同様の画像処理を行ったそれぞれの境界部分の画像における境界部画像ABaと境界部画像BcCの劣化のない部分を抽出して境界画像劣化部ABa、境界画像劣化部BcCの劣化を生じている部分とを図3(C)に示すように入れ替える。このようにすれば図3(D)に示すように境界部分の連続性のある画像が得られ第1の画像と同様のシームレス画像を実現出来る。
【0018】
すなわち、1つの画像を複数の画像に分割して伝送する際に境界部分の画像を繋ぎ合わせてブランキング部分に付加して伝送することにより、これを受信した表示装置側で境界部分の画像処理により複数の画像の合成表示時に連続性が無くなっても、ブランキング部分に付加された境界部分の繋ぎ合わされた画像を用いて入れ替えることにより、境界部分の画像に連続性の有るシームレスの画像が得られる。
【0019】
本発明の実施形態に係る画像伝送システムに用いる境界部分の画像の設定位置としては、図4に示すHDTV信号のブランキング部分に挿入するものと、図5に示すHDTV信号の映像データブロック部分に挿入するものとがある。
境界部分の画像の設定位置は重畳量設定手段13により、最初は重畳する画像を図6(B)に示すようにA0,B0,C0となるように選択しておき、分割された画像が合成表示される時に境界部を確認してシームレスにならなければ図6(B)に示すようにA1,B1,C1を選択する。
【0020】
図4に示す画像の位置は、分割された画像の境界部の劣化が少ない画像の伝送時に用いるもので、分割前の第1の画像と分割後に合成表示した第2の画像の画素構成は同じである。
この画像の画素数を削減しないようにするために、ARIB規格BTA S-005Bに基づく補助データを利用して、図4(A)に示すようにデジタルラインブランキング期間の中の有効データブロックに位置する補助データ部分に境界部分の画像を背中合わせにして付加する。
HDTV映像信号のデータ配列は図4(A)に示すように、映像データブロックは1928T、デジタルラインブランキングは280T、有効データブロックは272Tと規定されている。(Tは1クロック:1画素に相当)
【0021】
まず、図4において、HDTV信号のブランキング部分に挿入する画像データは図2(A)に示すA0とB0を用いるものとする。
そして、図4(B)に示すように、画像A0の右端Laの位置にある画像Y0をHDTV信号のブランキング部分の有効データブロック内Y1へ挿入する。次に画像B0の左端Lbの位置にある画像Z0を図2(B)に示すようにHDTV信号のブランキング部分の有効データブロック内Z1に挿入する。Y1とZ1は境界部分を背中合わせにして連続性を持たせる。有効データブロックは272Tの範囲に定められているからLa+Lbを272T以内に設定する。
すなわち境界部分の画素数としては片側136画素が最大値となる。そしてこの略半分が伝送時に劣化しない最大画素数68となる。
【0022】
そして、図4(B)に示す画像A0と画像B0の画像信号が画像発生装置1から伝送路2経由で画像表示装置3に伝送され、画像表示装置3の画像処理手段15で所定の画像処理をされると図4(C)のデータ劣化部分に示すように境界部のない画像データは劣化するからこれを削除してデータ劣化しなかった画像データのみを図4(D)に示すようにブランキング部分から映像データブロック内のデータ劣化した画像データと入れ替える。
【0023】
このようにして画像処理手段15で処理をした画像A0と画像B0の画像データを、表示手段16で表示すれば画像A0と画像B0間で境界部分の劣化のない画像が得られる。同様にして画像B0と画像C0の画像データの処理を画像処理手段15で行えば、画像B0と画像C0間で境界部分の劣化のない画像が得られるから、画像A0,画像B0,画像C0が境界部分の劣化のないシームレス画像として表示出来る。
【0024】
次に、図5に示す画像の位置は、画像の伝送時に分割された画像の境界部の劣化が多い場合に用いるものである。有効データブロックは272Tの範囲に定められているからLa+Lbを272T以内に設定するが、例えば画像の伝送量を減らすためや録画装置に記憶するために画像に圧縮をかけると境界部の劣化が多くなり272T以上となるとブランキング部分の有効データブロックには挿入出来なくなる。
従って、境界部分の画素数としては片側136画素が最大値であるからこの略半分が伝送時に劣化しない最大画素数68なので68画素以上の画像圧縮画行われる場合には、ブランキング部分の有効データブロック範囲では画像データ数が不足するので、より広い画像データ範囲を持つ映像データブロック内に境界部分の画像データを挿入する。従って、分割後の境界部分両端画像の一部分は削除されるが、境界部分の劣化のないシームレス画像は実現できる。
【0025】
図5(B)では図6(B)の下部に示すように画像A1と画像B1を重畳させる。すなわち画像B1の左端のLx範囲における画像F1を、画像A1の右端におけるLx範囲の画像F0とする。
そして、図5(B)に示すHDTV信号が画像処理手段15まで伝送され所定の画像処理をされると図5(C)のデータ劣化部分に示すように境界部のない画像データは劣化するから、図5(D)に示すようにデータ劣化した画像データを映像データブロックから削除する。
【0026】
このようにして、画像A1と画像B1の境界部分表示を行えば、図5(D)に示す画像A1の1/2F0と画像B1の1/2F1の境界部分は一致する。そして、図6(B)に示す画像B1と画像C1も同様にLyの範囲で重畳させ、同様の処理を行えば、画像A1,画像B1,画像C1の境界部分劣化のないシームレスの境界部分画像が得られる。
ただし、この場合はブランキングの有効データに境界部分の画像データを挿入する場合とは異なり、映像データブロック内に境界部分の画像データを挿入するため、挿入した画像範囲の一部の画像は境界部となるから劣化し削除される。
【0027】
以上のようにして境界部の画質劣化が少ない場合は、ブランキング部分に境界部分の画像を挿入して第1の画像と等しい画素数の第2の画像によるシームレスの境界部分画像を得る事が出来る。
そして境界部の画質劣化が多い場合は映像データブロック内に境界部分の画像データを挿入して第1の画像とより少ない画素数の第2の画像であるがシームレスの画像を得る事が出来る。
【0028】
一般に境界部分の連続性が無くなるのは録画再生による画像信号の圧縮伸張の影響がもっとも大きく、ついで多重化を行う場合の伝送時の圧縮による影響があり、さらには表示装置の輪郭強調によるもの、伝送ケーブルの長距離使用による高周波数帯域の信号レベル低下の補償によるもの等があげられる。
このためこれらの要因が組み合わさって境界部分の画質劣化が多くなるから、境界部の画質劣化を抽出してブランキング部分か映像データブロックのいずれに境界部の画像信号を挿入するかを画像表示装置3で判断して画像入力装置1に送る。
【0029】
次に本発明の実施形態につきより詳細に説明する。この図1に示す画像発生装置1は、撮像手段10、分割手段11、送信手段12、重畳量設定手段13により構成し、伝送路2はHDTVの3chの放送電波等により構成し、画像表示装置3は受信手段14、画像処理手段15、表示手段16により構成する。記憶装置4は送信手段12と受信手段14との間に設置する。
そして、画像発生装置1は撮像手段10により図示しない被写体光像を撮像し図6(A)の上方に示す第1の画像UH0(横5760画素x縦1080画素)を画像信号S0に変換する。
【0030】
この画像信号S0を分割手段11において図6(A)の下方に示す第2の画像A0,B0,C0(横1920x3組)か、図6(B)の下方に示すA1,B1,C1(横1920−Lx、1920,1920−Ly)を重畳量設定信号W2により選択し、図9に示す分割手段11の重畳部分設定部28により重畳量設定信号W2を波形整形して分割読み出しアドレス発生部27に送る。例えば重畳量設定信号W2=0の時に、画像A0,B0,C0を、重畳量設定信号W2=1の時に画像A1,B1,C1を選択してそれぞれの分割アドレスDadda,Daddb,Daddcを設定して1画面記憶手段26に記憶されている第1の画像による画像信号S0を第2の画像の画像信号S1a,S1b,S1cとして分割して出力する。ブランキング或いは映像データブロックにコピーする(挿入する)境界部分の画像信号のアドレスCopyadは分割読み出しアドレス発生部27で重畳量設定信号により設定され画像A0,B0,C0の境界部分の画像信号をブランキング或いは映像データブロックにコピーする(挿入する)。
【0031】
重畳量設定手段13ではHDTV信号のブランキング部分に画像を重畳するか、映像データブロックに重畳するかを選択して重畳量設定信号W2を分割手段11に送る。重畳量設定手段13では、画像表示装置3で受信して表示再生した画像が正常か否かを判定した判定信号W1を入手することにより、重畳量設定信号W2を修正する。そして、重畳量の設定情報Ctl1を送信手段手段12に送る。
【0032】
次に送信手段12に分割した画像信号S1a,S1b,S1cを送り、送信手段12では入力した画像信号S1a,S1b,S1cをHD-SDIのフォーマットに変換した後重畳量の設定情報Ctl1も付加して伝送信号S2a,S2b,S2cを生成して伝送路2に出力し、画像表示装置3へ送る。或いは記憶装置4へ送り、録画した後再び伝送路2へ送る。送信手段12で画像信号を伝送信号に変換する際に伝送路2の伝送量に応じて圧縮を圧縮手段18により掛けて伝送量に応じた伝送信号を生成する。
【0033】
画像表示装置3は、受信手段14、画像処理手段15、表示手段16、重畳量判定手段17より構成し、まず、受信手段14で伝送路2を介して伝送信号S2a,S2b,S2cを受信した後、画像信号S3a,S3b,S3cに復調しこれを画像処理手段15に出力する。
伝送信号S2a,S2b,S2cを受信して画像信号S3a,S3b,S3cに復調する際に、有効データブロックに挿入してある重畳量の設定情報Ctl1を取り出して設定情報Ctl2として重畳量判定手段17に送る。
【0034】
重畳量判定手段17では設定情報Ctl2から、制御データ抽出回路24により重畳位置P1と重畳範囲Vaとを抽出し、画像処理手段15用に再構成した設定情報Ctl3を画像処理手段15に送る。
【0035】
画像処理手段15では設定情報Ctl3により画像信号S3a,S3b,S3cを制御して、それぞれ画質向上のための画像処理(例えば輪郭強調処理)を行う。
設定情報Ctl3が重畳量設定信号W2=0を示す時、図4(D)に示すように、例えば画像A0では有効データブロックに挿入されて画像処理された画像1/2Y1を画像A0の右端の画像と入れ替える。そして各境界部分を削除し、かつA0、B0の画像が重ならないよう表示する領域を設定する。画像B0では有効データブロックに挿入されて画像処理された画像1/2Z1を画像B0の左端の画像と入れ替える。図示していないが画像C0についても同様の処理を行う。
【0036】
また、設定情報Ctl3が重畳量設定信号W2=1を示す時、図3(D)に示すように、例えば画像A1では映像データブロックに挿入されて画像処理された画像F0とF1の境界部分を1/2ずつ削除する。図示していないが画像C1についても同様の処理を行う。
【0037】
この画像処理手段15では、図10に示すように記憶装置20、読み出しアドレス発生回路21、画像処理回路22、画像重畳部分比較回路23から構成され、画像処理を行う際に重畳した画像の劣化状態を検出して設定情報Ctl3による画像の重畳量が適正であるかを画像重畳部分比較回路23で判断し、判断信号W0を出力して重畳量判定手段17に送る。これは、伝送路2の経路が替わったり撮像手段10による画像が記憶装置4に替わったりした時の画像の劣化状態を把握するためである。
【0038】
画像の劣化状態は、データ劣化部分と入れ替える挿入データ部分の端部で比較して把握する。画像の境界部から離れている部分はデータ劣化部分であっても挿入データと同じなので、例えば、図11に図4の一部を取り出して示すように、図4(D)において画像A0のデータ劣化部分に1/2Y1の画像データが挿入されるが、図4(C)のA0における映像ブロック右端のデータ劣化部分の画像データをD0,D1,D2,D3,D4,...,Dnとした左端の一部と、挿入する1/2Y1の画像データをE0,E1,E2,E3,E4,...,Enとした左端の一部とを図9の画像重畳部分比較回路23で比較する。(図中のAx,Bx,Cxは図4もしくは図5の画像データを示す。)
この場合、比較データT0=D0−E0,T1=D1−E1,T2=D2−E2,T3=D3−E3を算出し、この比較データの合計Total=T0+T1+T2+T3が略ゼロであれば画像の重畳量は適していると判断し判断信号W0=0を出力し、合計Totalが略ゼロでなければ画像の重畳量は適していないと判断して判断信号W0=1とする。そしてこの判断信号W0を重畳量判定手段17に送る。
【0039】
重畳位置設定手段17では、図12に示すように制御データ抽出回路24、画像処理結果確認回路25から構成され、判断信号W0と重畳位置P1、重畳範囲V1とから、画像の重畳範囲が適正か否かを確認し、確認結果の判定信号W0を画像発生装置1の重畳量設定手段13に送る。重畳範囲選択手段13では判定信号W0により、画像の重畳量設定を修正する。
【0040】
以上のように、本発明の実施形態によれば、1つの画像を複数の画像に分割する際に分割画像の端部をそれぞれ重畳した画像信号を作成して伝送し、この伝送された画像信号を表示装置で画像処理を行い、合成表示することにより、それぞれの画像の境界部分に画質劣化を生じない良好な画像を表示する画像伝送表示システムを得る事が出来る。
【0041】
また、本実施形態として、重畳する画像信号には各領域の片側の端部を用いたが、これに限らず、両端部の画像信号であってもよい。また、右端部と左端部両方の画像信号をブランキング部分の有効データブロックに挿入してもよい。
さらに、本実施形態では、画像発生装置1として撮像手段10を設けた所謂「カメラ」を説明したが、画像発生装置1は、光学的に連続した第1の画像領域を、N個の第2の画像領域に分割し、N個の映像信号として出力する画像発生装置1であればよく、スキャナー、VTR、DVD等の画像記憶装置等でも良い。
【0042】
また、図7に示すように、1つの画像を水平、垂直方向においても複数の画像に分割する際に分割画像の端部をそれぞれ重畳した画像信号を作成すれば、表示装置側で輪郭強調処理のような画像処理を行っても、境界部分に画質劣化を生じないシームレスの表示画像が得られる画像伝送表示システムを構成出来る。図7上部は水平、垂直方向に各HDTVの2倍画素を有する画像であり、図7の下方は4分割してHDTV信号とする構成を示す。
【0043】
1つの画像を水平、垂直方向に分割して伝送する場合は、図8に示すように水平境界部分画像ab,cdは水平ブランキング(Hブランキング)に、垂直境界部分画像ac,bdは垂直ブランキング(V部ランキング)に挿入して伝送する。図8の上部の画像における中央に示す各境界部分の背中合わせ部分の境界部分画像abcdは図8の下部の画像に示すように垂直ブランキング部分に挿入する。
【0044】
以上述べてきたように、本発明の実施形態を用い、HDTVの放送枠として各民放局が使用しているBS3ch分でHDTVの3倍の画像を伝送すれば、多くの場所でHDTVの画素数以上の画像を良好に合成表示することが出来る。また、2局分を用いてHDTVの6倍に相当する画素数の画像とすることも容易に出来る。
【図面の簡単な説明】
【0045】
【図1】本発明の実施形態におけるHDTVの3倍の画素数を有する画像の画像伝送システムの概要図を示す図である。
【図2】画像発生装置1における画像処理状態を示す図であり、(A)は上部が第1の画像を示す図であり下部が分割した第2の画像を示す図であり、(B)は第2の画像における境界画像の構成を示す図であり、(C)は伝送時における分割画像のそれぞれの配置を示す図である。
【図3】画像表示装置3における画像処理状態を示す図であり、(A)は受信する伝送画像のそれぞれの配置を示す図であり、(B)は画像処理時に境界画像が劣化する個所を示す図であり、(C)は境界画像を入れ替える位置を示す図であり、(D)は画像処理後の画像を示す図である。
【図4】HDTV信号のブランキング期間に画像処理を行う重畳画像のデータを挿入した場合を示す図であり、(A)はHDTVの規格に基づくブランキング付近のデータ配列を示す図であり、(B)はブランキング期間の有効データブロックにA0画像の右端画像データとB0画像の左端画像データとを合成して挿入した図を示し、(C)は(B)を画像処理した場合のデータ劣化部分を示す図であり、(D)は画像処理後に劣化していない画像のデータをもとの画像位置に戻す状態を示す図である。
【図5】HDTVの映像データブロックの領域内において、画像処理を行う場合を示す図であり、(A)はHDTVの規格に基づくブランキング付近のデータ配列を示す図であり、(B)はA1画像の右端画像データを移動してB1画像の左端画像データをA1画像の右端に合成した挿入した状態を示す図であり、(C)は(B)を画像処理した場合のデータ劣化部分を示す図であり、(D)は画像処理後に劣化していない画像のみを用いる状態を示す図である。
【図6】1枚の画像と分割した画像の配列を示す図であり、(A)は図2に示すブランキング期間に画像処理をする画像データを挿入した場合の画素配列を示す図であり、(B)は図3に示す映像データブロック内に画像処理をする画像データを挿入した場合の画素配列を示す図である。
【図7】水平、垂直方向にそれぞれ複数分割した場合の配列を示す図である。
【図8】図7の4分割画像を4並列伝送する場合を示す図である。
【図9】分割手段の構成を示す図である。
【図10】画像処理手段の構成を示す図である。
【図11】画像が重畳する部分の画像データを示す図である。
【図12】重畳量判定手段を示す図である。
【図13】従来の画像伝送システムの概要図を示す図である
【符号の説明】
【0046】
1・・・画像発生装置、2・・・伝送路、3・・・画像表示装置、4,・・・記憶装置、5・・・画像発生装置、6・・・画像表示装置、10・・・撮像装置、11・・・分割手段、12・・・送信手段、13・・・重畳量設定手段、14・・・受信手段、15・・・画像処理手段、16・・・表示手段、17・・・重畳量判定手段、18・・・圧縮手段20・・・記憶装置、21・・・読み出しアドレス発生回路、22・・・画像処理回路、23・・・画像重畳部分比較回路、24・・・制御データ抽出回路、25・・・画像処理結果確認回路、26・・・1画面記憶手段、27・・・分割読み出しアドレス発生部、28・・・重畳部分設定部、29・・・分割手段、30・・・受信手段
【技術分野】
【0001】
本発明は、例えば、2002年ワールドサッカーにおいて、競技する選手の背番号を把握するために、試験的に用いられたハイビジョン方式(以下HDTVと称する)の3倍の画素数を持つ画像を、専用回線で特殊会場に伝送し表示していた画像表示システムの専用回線による画像伝送部分を、BS放送等を用いることにより、これを受信した多くの会場で合成表示してHDTVの整数倍の画像による高画質画像を表示する画像伝送表示システム等に関するものである。
【背景技術】
【0002】
図13は従来の画像伝送表示システムの概要ブロックを示す図であり、この従来の画像伝送表示システムを用いてHDTVの約3倍の画素数を有する画像信号を専用回線で伝送し、光学的に連続した1画面に合成表示して用いていた。
【0003】
図13に示す従来の画像伝送表示システムにおいては、図6(A)の上部に示すように、水平方向にHDTVの3倍の画素数(5760)を持つ第1の画像を有する撮像素子を用いた撮像手段10から得られる第1の画像の映像信号S0を分割手段29に入力し、第1の画像をこの分割手段29において3分割したHDTVの画素数(1920)からなる第2の画像(A0,B0,C0)に分割し映像信号S5a,S5b,S5cを得る。そして分割手段29から得られる第2の画像による映像信号S5a,S5b,S5cを既存の信号フォーマットとして例えばARIB規格BTA S-004B(以下HD-SDIと称する)に変換し伝送路2に伝送信号S6a,S6b,S6cとして送信手段12から送出する。
【0004】
そして、受信手段30は3つに分割された第2の画像の伝送信号S6a,S6b,S6cを伝送路2から受信して映像信号S7a,S7b,S7cに戻し、表示手段16に加える。表示手段16では3つに分割された第2の画像を第1の画像と同じ配置になるように配置して図示していないスクリーン等の表示部に合成表示する。
【0005】
上述した従来のシステムによれば、図6(A)の上部に示すように撮像手段10によって得られた第1の画像をこの第1の画像より小さな既存の規格からなる第2の画像(A0,B0,C0)として伝送し、画像表示装置6においては伝送された第2の画像を第1の画像と同じ配置に合成表示することで、既存規格の画像信号より大きな第1の画像として表示することが出来る。また、特許文献1によれば、さらに画素数の多いHDTVの4倍に相当する画素数の画像伝送表示システムが記載されている。
【0006】
このように、上述した従来の画像伝送表示システムにおいては、専用の特殊な伝送方法による画像伝送しか行われておらず、分割した画像の劣化もないため表示手段16で輪郭強調処理等の画像処理を行う必要がなかったが、例えばHDTVの放送枠として各民放局が使用しているBS3chを用いてHDTVの3倍の画像を伝送し表示しようとすると、伝送時に画像の劣化を生じたり、あるいは伝送時の圧縮によりさらに隣接画像の境界部分の画像処理が適正でなくなったりすると言う現象を生じていた。
【0007】
このため、3つに分割された第2の画像を、そのまま画像処理して分割前の第1の画像と同じ配置で合成表示すると、境界部分の画質に劣化を生じていた。
【特許文献1】特開2002−135662号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
このように、上述した従来の画像伝送表示システムにおいては、ハイビジョン方式(以下HDTVと称する)の3倍の画素数を持つ第1の画像を複数に分割した第2の画像を、複数の伝送路を設定して並列に略同時に送信し、次にこれを受信して表示しようとすると送信時の伝送や圧縮による劣化や表示する際における画像の輪郭強調のために複数に分割した第2の画像においてそれぞれの境界部分の連続性が無くなり第1の画像となるよう合成表示する際に画質劣化を生ずると言う問題点があった。
【0009】
そこで本発明は、上述した問題点を解決して、複数に分割して伝送された画像を受信して合成表示する際に、境界部分の画質劣化を生じない画像伝送表示システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本願発明は、1つの画像から一方向に順番に垂直分割された複数の分割画像を圧縮して伝送し、前記圧縮された複数の分割画像を前記複数の分割画像と同数の水平方向に配置された拡大投映面にそれぞれ投映して、全体として前記1つの画像を得る際、前記複数個の投映面の境界部をシームレスにする画像伝送表示システムにおいて、
前記拡大投映面上での前記分割画像の水平走査方向に隣接した同士の前記分割画像を順番に第1分割画像、第2分割画像とする組が組み合されて前記複数の分割画像が構成されるとするとき、前記第1分割画像の一水平期間のブランキング期間に書き込める画像データ容量の範囲内で前記ブランキング期間内に、前記第1分割画像の端画像を第1分割画像ブロックとしてコピーすると共に前記第2分割画像の端画像を前記第1分割画像ブロックに隣接させて第2分割画像ブロックとしてコピーするコピー手段と、前記第1分割画像の一水平期間のブランキング期間にコピーされた前記第1、第2分割画像ブロックと共に前記第1、第2分割画像を圧縮することにより、第1、第2圧縮分割画像及び第1、第2圧縮分割画像ブロックを得る圧縮手段と、第1、第2圧縮分割画像及び第1、第2圧縮分割画像ブロックを伝送する伝送手段と、前記第1、第2圧縮分割画像を前記複数の投映面に投映した際に、互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じている場合のみ、前記ブランキング期間にコピーされた前記第1、第2分割画像ブロックのそれぞれ劣化していない中央部の画像ブロックを取り出して前記第1、第2圧縮分割画像の劣化した端画像部分に置き換える置換手段と、前記互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じている場合には、前記置換手段で端画像部分が前記第1、第2分割画像ブロックのそれぞれ劣化していない中央部の画像ブロックで置換された前記第1、第2圧縮分割画像を表示し、前記互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じない場合には、そのまま表示する表示手段と、を有することを特徴とする画像伝送表示システムを提供するものである。
【発明の効果】
【0011】
本発明によれば、1つの画像から一方向に順番に垂直分割された複数の分割画像を圧縮して伝送し、圧縮された複数の分割画像を複数の分割画像と同数の水平方向に配置された拡大投映面にそれぞれ投映して、全体として前記1つの画像を得る際、複数個の投映面の境界部をシームレスにすることができる。
【発明を実施するための最良の形態】
【0012】
以下に本発明の各実施形態係る画像伝送システムについて、図1〜図12を用いて説明する。
図1は本発明の実施形態におけるHDTVの3倍の画素数を有する画像の画像伝送システムの概要図を示す図である。
図2は画像発生装置1における画像処理状態を示す図であり、(A)は上部が第1の画像を示す図であり下部が分割した第2の画像を示す図であり、(B)は第2の画像における境界画像の構成を示す図であり、(C)は伝送時における分割画像のそれぞれの配置を示す図である。
図3は画像表示装置3における画像処理状態を示す図であり、(A)は受信する伝送画像のそれぞれの配置を示す図であり、(B)は画像処理時に境界画像が劣化する個所を示す図であり、(C)は境界画像を入れ替える位置を示す図であり、(D)は画像処理後の画像を示す図である。
図4はHDTV信号のブランキング期間に画像処理を行う重畳画像のデータを挿入した場合を示す図であり、(A)はHDTVの規格に基づくブランキング付近のデータ配列を示す図であり、(B)はブランキング期間の有効データブロックにA0画像の右端画像データとB0画像の左端画像データとを合成して挿入した図を示し、(C)は(B)を画像処理した場合のデータ劣化部分を示す図であり、(D)は画像処理後に劣化していない画像のデータをもとの画像位置に戻す状態を示す図である。
図5はHDTVの映像データブロックの領域内において、画像処理を行う場合を示す図であり、(A)はHDTVの規格に基づくブランキング付近のデータ配列を示す図であり、(B)はA1画像の右端画像データを移動してB1画像の左端画像データをA1画像の右端に合成した挿入した状態を示す図であり、(C)は(B)を画像処理した場合のデータ劣化部分を示す図であり、(D)は画像処理後に劣化していない画像のみを用いる状態を示す図である。
図6は1枚の画像と分割した画像の配列を示す図であり、(A)は図2に示すブランキング期間に画像処理をする画像データを挿入した場合の画素配列を示す図であり、(B)は図3に示す映像データブロック内に画像処理をする画像データを挿入した場合の画素配列を示す図である。
図7は水平、垂直方向にそれぞれ複数分割した場合の配列を示す図であり、図8は図7の4分割画像を4並列伝送する場合を示す図であり、図9は分割手段の構成を示す図であり、図10は画像処理手段の構成を示す図であり、図11は画像が重畳する部分の画像データを示す図であり、図12は重畳量判定手段を示す図である。
【0013】
まず、図1に示すように、本発明の実施形態に係る画像伝送システムは、1つの画像から一方向に順番に垂直分割された複数の分割画像を圧縮して伝送し、圧縮された複数の分割画像を複数の分割画像と同数の水平方向に配置された拡大投映面にそれぞれ投映して、全体として1つの画像を得る際、複数個の投映面の境界部をシームレスにする画像伝送表示システムにおいて、拡大投映面上での分割画像の水平走査方向を一方向とし、圧縮される前の一方向に隣接した同士の分割画像を順番に第1分割画像、第2分割画像とするとき、第1分割画像の一水平期間のブランキング期間に書き込める画像データ容量の範囲内でブランキング期間内に、ブランキング期間に隣接する第1分割画像の端画像を第1分割画像ブロックとしてコピーすると共にブランキング期間に隣接する第2分割画像の端画像を第1分割画像ブロックに隣接させて第2分割画像ブロックとしてコピーするコピー手段(分割手段11)と、第1分割画像の一水平期間のブランキング期間にコピーされた第1、第2分割画像ブロックと共に第1、第2分割画像を圧縮することにより、分割画像の圧縮分割画像を得る圧縮手段18と、圧縮分割画像を伝送する伝送手段(送信手段12)と、圧縮分割画像を複数の投映面に投映した際に、互いに隣接する第1、第2分割画像の境界部に不連続が生じている場合には、ブランキング期間にコピーされた第1、第2分割画像のそれぞれ劣化していない中央部の画像を取り出して第1、第2分割画像の劣化した部分に置き換える置換手段(画像処理手段15)と、を有するものである。
【0014】
具体的には図1に示す画像発生装置位置1では、図2(A)に示す第1の画像UH0を第2の画像A0,B0,C0に分割して、図2(B)に示すように第2の画像におけるA0の右端の境界画像Aと画像B0の左端における境界画像Baをそれぞれの境界部を隣り合わせにした境界部の画像として境界画像ABaを、同様にして第2の画像におけるB0の左端における境界画像Bcと画像C0の右端における境界画像Cをそれぞれの境界部を隣り合わせにした境界部の画像として境界部画像BcCを作成する。
【0015】
そして、分割した第2の画像A0,B0,C0はそれぞれHDTV信号のフォーマットの映像データブロックに画像信号として挿入されて略同時に伝送路2へ並列伝送する。この時図2(C)に示すようにA0のHDTV信号のブランキング部分には境界部画像ABaを、C0のHDTV信号のブランキング部分には境界部画像BcCを挿入する。
【0016】
次に伝送路2を経由して画像表示装置3に入力された図3(A)に示すHDTV信号のフォーマットによる第2の画像A0,B0,C0を、送信手段12によるデータ圧縮、伝送路2による信号劣化、受信手段14によるデータ伸張、表示手段16への画質向上処理等に対応したそれぞれの画像処理をして合成表示すると図3(B)に示すように境界部分に画像のシームレス化を妨げる連続性のない画像が生じる(境界画像劣化部ABa、境界画像劣化部BcC)。
【0017】
この時同様の画像処理を行ったそれぞれの境界部分の画像における境界部画像ABaと境界部画像BcCの劣化のない部分を抽出して境界画像劣化部ABa、境界画像劣化部BcCの劣化を生じている部分とを図3(C)に示すように入れ替える。このようにすれば図3(D)に示すように境界部分の連続性のある画像が得られ第1の画像と同様のシームレス画像を実現出来る。
【0018】
すなわち、1つの画像を複数の画像に分割して伝送する際に境界部分の画像を繋ぎ合わせてブランキング部分に付加して伝送することにより、これを受信した表示装置側で境界部分の画像処理により複数の画像の合成表示時に連続性が無くなっても、ブランキング部分に付加された境界部分の繋ぎ合わされた画像を用いて入れ替えることにより、境界部分の画像に連続性の有るシームレスの画像が得られる。
【0019】
本発明の実施形態に係る画像伝送システムに用いる境界部分の画像の設定位置としては、図4に示すHDTV信号のブランキング部分に挿入するものと、図5に示すHDTV信号の映像データブロック部分に挿入するものとがある。
境界部分の画像の設定位置は重畳量設定手段13により、最初は重畳する画像を図6(B)に示すようにA0,B0,C0となるように選択しておき、分割された画像が合成表示される時に境界部を確認してシームレスにならなければ図6(B)に示すようにA1,B1,C1を選択する。
【0020】
図4に示す画像の位置は、分割された画像の境界部の劣化が少ない画像の伝送時に用いるもので、分割前の第1の画像と分割後に合成表示した第2の画像の画素構成は同じである。
この画像の画素数を削減しないようにするために、ARIB規格BTA S-005Bに基づく補助データを利用して、図4(A)に示すようにデジタルラインブランキング期間の中の有効データブロックに位置する補助データ部分に境界部分の画像を背中合わせにして付加する。
HDTV映像信号のデータ配列は図4(A)に示すように、映像データブロックは1928T、デジタルラインブランキングは280T、有効データブロックは272Tと規定されている。(Tは1クロック:1画素に相当)
【0021】
まず、図4において、HDTV信号のブランキング部分に挿入する画像データは図2(A)に示すA0とB0を用いるものとする。
そして、図4(B)に示すように、画像A0の右端Laの位置にある画像Y0をHDTV信号のブランキング部分の有効データブロック内Y1へ挿入する。次に画像B0の左端Lbの位置にある画像Z0を図2(B)に示すようにHDTV信号のブランキング部分の有効データブロック内Z1に挿入する。Y1とZ1は境界部分を背中合わせにして連続性を持たせる。有効データブロックは272Tの範囲に定められているからLa+Lbを272T以内に設定する。
すなわち境界部分の画素数としては片側136画素が最大値となる。そしてこの略半分が伝送時に劣化しない最大画素数68となる。
【0022】
そして、図4(B)に示す画像A0と画像B0の画像信号が画像発生装置1から伝送路2経由で画像表示装置3に伝送され、画像表示装置3の画像処理手段15で所定の画像処理をされると図4(C)のデータ劣化部分に示すように境界部のない画像データは劣化するからこれを削除してデータ劣化しなかった画像データのみを図4(D)に示すようにブランキング部分から映像データブロック内のデータ劣化した画像データと入れ替える。
【0023】
このようにして画像処理手段15で処理をした画像A0と画像B0の画像データを、表示手段16で表示すれば画像A0と画像B0間で境界部分の劣化のない画像が得られる。同様にして画像B0と画像C0の画像データの処理を画像処理手段15で行えば、画像B0と画像C0間で境界部分の劣化のない画像が得られるから、画像A0,画像B0,画像C0が境界部分の劣化のないシームレス画像として表示出来る。
【0024】
次に、図5に示す画像の位置は、画像の伝送時に分割された画像の境界部の劣化が多い場合に用いるものである。有効データブロックは272Tの範囲に定められているからLa+Lbを272T以内に設定するが、例えば画像の伝送量を減らすためや録画装置に記憶するために画像に圧縮をかけると境界部の劣化が多くなり272T以上となるとブランキング部分の有効データブロックには挿入出来なくなる。
従って、境界部分の画素数としては片側136画素が最大値であるからこの略半分が伝送時に劣化しない最大画素数68なので68画素以上の画像圧縮画行われる場合には、ブランキング部分の有効データブロック範囲では画像データ数が不足するので、より広い画像データ範囲を持つ映像データブロック内に境界部分の画像データを挿入する。従って、分割後の境界部分両端画像の一部分は削除されるが、境界部分の劣化のないシームレス画像は実現できる。
【0025】
図5(B)では図6(B)の下部に示すように画像A1と画像B1を重畳させる。すなわち画像B1の左端のLx範囲における画像F1を、画像A1の右端におけるLx範囲の画像F0とする。
そして、図5(B)に示すHDTV信号が画像処理手段15まで伝送され所定の画像処理をされると図5(C)のデータ劣化部分に示すように境界部のない画像データは劣化するから、図5(D)に示すようにデータ劣化した画像データを映像データブロックから削除する。
【0026】
このようにして、画像A1と画像B1の境界部分表示を行えば、図5(D)に示す画像A1の1/2F0と画像B1の1/2F1の境界部分は一致する。そして、図6(B)に示す画像B1と画像C1も同様にLyの範囲で重畳させ、同様の処理を行えば、画像A1,画像B1,画像C1の境界部分劣化のないシームレスの境界部分画像が得られる。
ただし、この場合はブランキングの有効データに境界部分の画像データを挿入する場合とは異なり、映像データブロック内に境界部分の画像データを挿入するため、挿入した画像範囲の一部の画像は境界部となるから劣化し削除される。
【0027】
以上のようにして境界部の画質劣化が少ない場合は、ブランキング部分に境界部分の画像を挿入して第1の画像と等しい画素数の第2の画像によるシームレスの境界部分画像を得る事が出来る。
そして境界部の画質劣化が多い場合は映像データブロック内に境界部分の画像データを挿入して第1の画像とより少ない画素数の第2の画像であるがシームレスの画像を得る事が出来る。
【0028】
一般に境界部分の連続性が無くなるのは録画再生による画像信号の圧縮伸張の影響がもっとも大きく、ついで多重化を行う場合の伝送時の圧縮による影響があり、さらには表示装置の輪郭強調によるもの、伝送ケーブルの長距離使用による高周波数帯域の信号レベル低下の補償によるもの等があげられる。
このためこれらの要因が組み合わさって境界部分の画質劣化が多くなるから、境界部の画質劣化を抽出してブランキング部分か映像データブロックのいずれに境界部の画像信号を挿入するかを画像表示装置3で判断して画像入力装置1に送る。
【0029】
次に本発明の実施形態につきより詳細に説明する。この図1に示す画像発生装置1は、撮像手段10、分割手段11、送信手段12、重畳量設定手段13により構成し、伝送路2はHDTVの3chの放送電波等により構成し、画像表示装置3は受信手段14、画像処理手段15、表示手段16により構成する。記憶装置4は送信手段12と受信手段14との間に設置する。
そして、画像発生装置1は撮像手段10により図示しない被写体光像を撮像し図6(A)の上方に示す第1の画像UH0(横5760画素x縦1080画素)を画像信号S0に変換する。
【0030】
この画像信号S0を分割手段11において図6(A)の下方に示す第2の画像A0,B0,C0(横1920x3組)か、図6(B)の下方に示すA1,B1,C1(横1920−Lx、1920,1920−Ly)を重畳量設定信号W2により選択し、図9に示す分割手段11の重畳部分設定部28により重畳量設定信号W2を波形整形して分割読み出しアドレス発生部27に送る。例えば重畳量設定信号W2=0の時に、画像A0,B0,C0を、重畳量設定信号W2=1の時に画像A1,B1,C1を選択してそれぞれの分割アドレスDadda,Daddb,Daddcを設定して1画面記憶手段26に記憶されている第1の画像による画像信号S0を第2の画像の画像信号S1a,S1b,S1cとして分割して出力する。ブランキング或いは映像データブロックにコピーする(挿入する)境界部分の画像信号のアドレスCopyadは分割読み出しアドレス発生部27で重畳量設定信号により設定され画像A0,B0,C0の境界部分の画像信号をブランキング或いは映像データブロックにコピーする(挿入する)。
【0031】
重畳量設定手段13ではHDTV信号のブランキング部分に画像を重畳するか、映像データブロックに重畳するかを選択して重畳量設定信号W2を分割手段11に送る。重畳量設定手段13では、画像表示装置3で受信して表示再生した画像が正常か否かを判定した判定信号W1を入手することにより、重畳量設定信号W2を修正する。そして、重畳量の設定情報Ctl1を送信手段手段12に送る。
【0032】
次に送信手段12に分割した画像信号S1a,S1b,S1cを送り、送信手段12では入力した画像信号S1a,S1b,S1cをHD-SDIのフォーマットに変換した後重畳量の設定情報Ctl1も付加して伝送信号S2a,S2b,S2cを生成して伝送路2に出力し、画像表示装置3へ送る。或いは記憶装置4へ送り、録画した後再び伝送路2へ送る。送信手段12で画像信号を伝送信号に変換する際に伝送路2の伝送量に応じて圧縮を圧縮手段18により掛けて伝送量に応じた伝送信号を生成する。
【0033】
画像表示装置3は、受信手段14、画像処理手段15、表示手段16、重畳量判定手段17より構成し、まず、受信手段14で伝送路2を介して伝送信号S2a,S2b,S2cを受信した後、画像信号S3a,S3b,S3cに復調しこれを画像処理手段15に出力する。
伝送信号S2a,S2b,S2cを受信して画像信号S3a,S3b,S3cに復調する際に、有効データブロックに挿入してある重畳量の設定情報Ctl1を取り出して設定情報Ctl2として重畳量判定手段17に送る。
【0034】
重畳量判定手段17では設定情報Ctl2から、制御データ抽出回路24により重畳位置P1と重畳範囲Vaとを抽出し、画像処理手段15用に再構成した設定情報Ctl3を画像処理手段15に送る。
【0035】
画像処理手段15では設定情報Ctl3により画像信号S3a,S3b,S3cを制御して、それぞれ画質向上のための画像処理(例えば輪郭強調処理)を行う。
設定情報Ctl3が重畳量設定信号W2=0を示す時、図4(D)に示すように、例えば画像A0では有効データブロックに挿入されて画像処理された画像1/2Y1を画像A0の右端の画像と入れ替える。そして各境界部分を削除し、かつA0、B0の画像が重ならないよう表示する領域を設定する。画像B0では有効データブロックに挿入されて画像処理された画像1/2Z1を画像B0の左端の画像と入れ替える。図示していないが画像C0についても同様の処理を行う。
【0036】
また、設定情報Ctl3が重畳量設定信号W2=1を示す時、図3(D)に示すように、例えば画像A1では映像データブロックに挿入されて画像処理された画像F0とF1の境界部分を1/2ずつ削除する。図示していないが画像C1についても同様の処理を行う。
【0037】
この画像処理手段15では、図10に示すように記憶装置20、読み出しアドレス発生回路21、画像処理回路22、画像重畳部分比較回路23から構成され、画像処理を行う際に重畳した画像の劣化状態を検出して設定情報Ctl3による画像の重畳量が適正であるかを画像重畳部分比較回路23で判断し、判断信号W0を出力して重畳量判定手段17に送る。これは、伝送路2の経路が替わったり撮像手段10による画像が記憶装置4に替わったりした時の画像の劣化状態を把握するためである。
【0038】
画像の劣化状態は、データ劣化部分と入れ替える挿入データ部分の端部で比較して把握する。画像の境界部から離れている部分はデータ劣化部分であっても挿入データと同じなので、例えば、図11に図4の一部を取り出して示すように、図4(D)において画像A0のデータ劣化部分に1/2Y1の画像データが挿入されるが、図4(C)のA0における映像ブロック右端のデータ劣化部分の画像データをD0,D1,D2,D3,D4,...,Dnとした左端の一部と、挿入する1/2Y1の画像データをE0,E1,E2,E3,E4,...,Enとした左端の一部とを図9の画像重畳部分比較回路23で比較する。(図中のAx,Bx,Cxは図4もしくは図5の画像データを示す。)
この場合、比較データT0=D0−E0,T1=D1−E1,T2=D2−E2,T3=D3−E3を算出し、この比較データの合計Total=T0+T1+T2+T3が略ゼロであれば画像の重畳量は適していると判断し判断信号W0=0を出力し、合計Totalが略ゼロでなければ画像の重畳量は適していないと判断して判断信号W0=1とする。そしてこの判断信号W0を重畳量判定手段17に送る。
【0039】
重畳位置設定手段17では、図12に示すように制御データ抽出回路24、画像処理結果確認回路25から構成され、判断信号W0と重畳位置P1、重畳範囲V1とから、画像の重畳範囲が適正か否かを確認し、確認結果の判定信号W0を画像発生装置1の重畳量設定手段13に送る。重畳範囲選択手段13では判定信号W0により、画像の重畳量設定を修正する。
【0040】
以上のように、本発明の実施形態によれば、1つの画像を複数の画像に分割する際に分割画像の端部をそれぞれ重畳した画像信号を作成して伝送し、この伝送された画像信号を表示装置で画像処理を行い、合成表示することにより、それぞれの画像の境界部分に画質劣化を生じない良好な画像を表示する画像伝送表示システムを得る事が出来る。
【0041】
また、本実施形態として、重畳する画像信号には各領域の片側の端部を用いたが、これに限らず、両端部の画像信号であってもよい。また、右端部と左端部両方の画像信号をブランキング部分の有効データブロックに挿入してもよい。
さらに、本実施形態では、画像発生装置1として撮像手段10を設けた所謂「カメラ」を説明したが、画像発生装置1は、光学的に連続した第1の画像領域を、N個の第2の画像領域に分割し、N個の映像信号として出力する画像発生装置1であればよく、スキャナー、VTR、DVD等の画像記憶装置等でも良い。
【0042】
また、図7に示すように、1つの画像を水平、垂直方向においても複数の画像に分割する際に分割画像の端部をそれぞれ重畳した画像信号を作成すれば、表示装置側で輪郭強調処理のような画像処理を行っても、境界部分に画質劣化を生じないシームレスの表示画像が得られる画像伝送表示システムを構成出来る。図7上部は水平、垂直方向に各HDTVの2倍画素を有する画像であり、図7の下方は4分割してHDTV信号とする構成を示す。
【0043】
1つの画像を水平、垂直方向に分割して伝送する場合は、図8に示すように水平境界部分画像ab,cdは水平ブランキング(Hブランキング)に、垂直境界部分画像ac,bdは垂直ブランキング(V部ランキング)に挿入して伝送する。図8の上部の画像における中央に示す各境界部分の背中合わせ部分の境界部分画像abcdは図8の下部の画像に示すように垂直ブランキング部分に挿入する。
【0044】
以上述べてきたように、本発明の実施形態を用い、HDTVの放送枠として各民放局が使用しているBS3ch分でHDTVの3倍の画像を伝送すれば、多くの場所でHDTVの画素数以上の画像を良好に合成表示することが出来る。また、2局分を用いてHDTVの6倍に相当する画素数の画像とすることも容易に出来る。
【図面の簡単な説明】
【0045】
【図1】本発明の実施形態におけるHDTVの3倍の画素数を有する画像の画像伝送システムの概要図を示す図である。
【図2】画像発生装置1における画像処理状態を示す図であり、(A)は上部が第1の画像を示す図であり下部が分割した第2の画像を示す図であり、(B)は第2の画像における境界画像の構成を示す図であり、(C)は伝送時における分割画像のそれぞれの配置を示す図である。
【図3】画像表示装置3における画像処理状態を示す図であり、(A)は受信する伝送画像のそれぞれの配置を示す図であり、(B)は画像処理時に境界画像が劣化する個所を示す図であり、(C)は境界画像を入れ替える位置を示す図であり、(D)は画像処理後の画像を示す図である。
【図4】HDTV信号のブランキング期間に画像処理を行う重畳画像のデータを挿入した場合を示す図であり、(A)はHDTVの規格に基づくブランキング付近のデータ配列を示す図であり、(B)はブランキング期間の有効データブロックにA0画像の右端画像データとB0画像の左端画像データとを合成して挿入した図を示し、(C)は(B)を画像処理した場合のデータ劣化部分を示す図であり、(D)は画像処理後に劣化していない画像のデータをもとの画像位置に戻す状態を示す図である。
【図5】HDTVの映像データブロックの領域内において、画像処理を行う場合を示す図であり、(A)はHDTVの規格に基づくブランキング付近のデータ配列を示す図であり、(B)はA1画像の右端画像データを移動してB1画像の左端画像データをA1画像の右端に合成した挿入した状態を示す図であり、(C)は(B)を画像処理した場合のデータ劣化部分を示す図であり、(D)は画像処理後に劣化していない画像のみを用いる状態を示す図である。
【図6】1枚の画像と分割した画像の配列を示す図であり、(A)は図2に示すブランキング期間に画像処理をする画像データを挿入した場合の画素配列を示す図であり、(B)は図3に示す映像データブロック内に画像処理をする画像データを挿入した場合の画素配列を示す図である。
【図7】水平、垂直方向にそれぞれ複数分割した場合の配列を示す図である。
【図8】図7の4分割画像を4並列伝送する場合を示す図である。
【図9】分割手段の構成を示す図である。
【図10】画像処理手段の構成を示す図である。
【図11】画像が重畳する部分の画像データを示す図である。
【図12】重畳量判定手段を示す図である。
【図13】従来の画像伝送システムの概要図を示す図である
【符号の説明】
【0046】
1・・・画像発生装置、2・・・伝送路、3・・・画像表示装置、4,・・・記憶装置、5・・・画像発生装置、6・・・画像表示装置、10・・・撮像装置、11・・・分割手段、12・・・送信手段、13・・・重畳量設定手段、14・・・受信手段、15・・・画像処理手段、16・・・表示手段、17・・・重畳量判定手段、18・・・圧縮手段20・・・記憶装置、21・・・読み出しアドレス発生回路、22・・・画像処理回路、23・・・画像重畳部分比較回路、24・・・制御データ抽出回路、25・・・画像処理結果確認回路、26・・・1画面記憶手段、27・・・分割読み出しアドレス発生部、28・・・重畳部分設定部、29・・・分割手段、30・・・受信手段
【特許請求の範囲】
【請求項1】
1つの画像から一方向に順番に垂直分割された複数の分割画像を圧縮して伝送し、前記圧縮された複数の分割画像を前記複数の分割画像と同数の水平方向に配置された拡大投映面にそれぞれ投映して、全体として前記1つの画像を得る際、前記複数個の投映面の境界部をシームレスにする画像伝送表示システムにおいて、
前記拡大投映面上での前記分割画像の水平走査方向に隣接した同士の前記分割画像を順番に第1分割画像、第2分割画像とする組が組み合されて前記複数の分割画像が構成されるとするとき、
前記第1分割画像の一水平期間のブランキング期間に書き込める画像データ容量の範囲内で前記ブランキング期間内に、前記第1分割画像の端画像を第1分割画像ブロックとしてコピーすると共に前記第2分割画像の端画像を前記第1分割画像ブロックに隣接させて第2分割画像ブロックとしてコピーするコピー手段と、
前記第1分割画像の一水平期間のブランキング期間にコピーされた前記第1、第2分割画像ブロックと共に前記第1、第2分割画像を圧縮することにより、第1、第2圧縮分割画像及び第1、第2圧縮分割画像ブロックを得る圧縮手段と、
第1、第2圧縮分割画像及び第1、第2圧縮分割画像ブロックを伝送する伝送手段と、
前記第1、第2圧縮分割画像を前記複数の投映面に投映した際に、互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じている場合のみ、前記ブランキング期間にコピーされた前記第1、第2分割画像ブロックのそれぞれ劣化していない中央部の画像ブロックを取り出して前記第1、第2圧縮分割画像の劣化した端画像部分に置き換える置換手段と、
前記互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じている場合には、前記置換手段で端画像部分が前記第1、第2分割画像ブロックのそれぞれ劣化していない中央部の画像ブロックで置換された前記第1、第2圧縮分割画像を表示し、前記互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じない場合には、そのまま表示する表示手段と、
を有することを特徴とする画像伝送表示システム。
【請求項1】
1つの画像から一方向に順番に垂直分割された複数の分割画像を圧縮して伝送し、前記圧縮された複数の分割画像を前記複数の分割画像と同数の水平方向に配置された拡大投映面にそれぞれ投映して、全体として前記1つの画像を得る際、前記複数個の投映面の境界部をシームレスにする画像伝送表示システムにおいて、
前記拡大投映面上での前記分割画像の水平走査方向に隣接した同士の前記分割画像を順番に第1分割画像、第2分割画像とする組が組み合されて前記複数の分割画像が構成されるとするとき、
前記第1分割画像の一水平期間のブランキング期間に書き込める画像データ容量の範囲内で前記ブランキング期間内に、前記第1分割画像の端画像を第1分割画像ブロックとしてコピーすると共に前記第2分割画像の端画像を前記第1分割画像ブロックに隣接させて第2分割画像ブロックとしてコピーするコピー手段と、
前記第1分割画像の一水平期間のブランキング期間にコピーされた前記第1、第2分割画像ブロックと共に前記第1、第2分割画像を圧縮することにより、第1、第2圧縮分割画像及び第1、第2圧縮分割画像ブロックを得る圧縮手段と、
第1、第2圧縮分割画像及び第1、第2圧縮分割画像ブロックを伝送する伝送手段と、
前記第1、第2圧縮分割画像を前記複数の投映面に投映した際に、互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じている場合のみ、前記ブランキング期間にコピーされた前記第1、第2分割画像ブロックのそれぞれ劣化していない中央部の画像ブロックを取り出して前記第1、第2圧縮分割画像の劣化した端画像部分に置き換える置換手段と、
前記互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じている場合には、前記置換手段で端画像部分が前記第1、第2分割画像ブロックのそれぞれ劣化していない中央部の画像ブロックで置換された前記第1、第2圧縮分割画像を表示し、前記互いに隣接する前記第1、第2圧縮分割画像の境界部に不連続が生じない場合には、そのまま表示する表示手段と、
を有することを特徴とする画像伝送表示システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2006−19805(P2006−19805A)
【公開日】平成18年1月19日(2006.1.19)
【国際特許分類】
【出願番号】特願2004−192925(P2004−192925)
【出願日】平成16年6月30日(2004.6.30)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】
【公開日】平成18年1月19日(2006.1.19)
【国際特許分類】
【出願日】平成16年6月30日(2004.6.30)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】
[ Back to top ]