映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
【課題】 例えば放送された映像の空間をより広げて認識することができる映像を合成することができる映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システムを提供する。
【解決手段】 映像処理装置１は、テレビジョン画像信号が供給される画像取得部２と、画像取得部２により取得された入力画像の第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出し、画枠からはみ出すはみ出し部分を推定するカメラ動き推定部３と、はみ出し部分を記憶する画像蓄積メモリ４と、第１のフレーム画像において画枠外となるはみ出し部分を第１のフレーム画像に合成して画像を創造する画像合成部５と、はみ出し部分が合成されて得られた合成画像を出力する画像出力部６と、これらを制御する制御部７とから構成されている。
【解決手段】 映像処理装置１は、テレビジョン画像信号が供給される画像取得部２と、画像取得部２により取得された入力画像の第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出し、画枠からはみ出すはみ出し部分を推定するカメラ動き推定部３と、はみ出し部分を記憶する画像蓄積メモリ４と、第１のフレーム画像において画枠外となるはみ出し部分を第１のフレーム画像に合成して画像を創造する画像合成部５と、はみ出し部分が合成されて得られた合成画像を出力する画像出力部６と、これらを制御する制御部７とから構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン放映された映像等から画像を合成する映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システムに関する。
【背景技術】
【０００２】
従来、同一シーンを空間的に分割して撮影することにより得られた複数のテレビジョン画像信号を連続した大画面画像信号に再構成する大画面画像合成処理装置が特開平１０−３２７５５号公報（特許文献１）に開示されている。
【０００３】
この公報に記載の技術においては、大画面画像を構成する各部分画像を連続的にパン、チルトしながら撮像するテレビジョンカメラと、このカメラの振り角度とこのカメラによる撮像画像の画角とを任意のビデオフィールド又はビデオフレーム毎に検出するカメラデータ検出部と、検出した振り角度及び画角に基づいて、任意のビデオフィールド又はビデオフレーム毎に撮像した複数の撮像画像を夫々透視変換する画像変換回路と、透視変換した複数の画像を透視変換で決定される所定のアドレスに記憶する大画面メモリとを少なくとも具えてなるものである。
【０００４】
このように構成された上記公報に記載の技術によれば、大画面画像を生成する際、互いに接する画像同士で幾何学上のマッチングを取る必要がなく、カメラの検出角度及び撮像画像の画角のみから透視変換のパラメータを算出して画像の変換を行うのみで大画面画像を合成することができる。
【０００５】
従来技術として、特許文献１の他、特許文献２〜４が知られている。
【０００６】
【特許文献１】特開平１０−３２７５５号公報
【特許文献２】特表２００２−５１４３５９号公報
【特許文献３】特開平９−２２２８７７号公報
【特許文献４】特開平８−１６０９２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の技術においては、カメラデータ検出部がカメラの雲台からパン、チルト情報を受信して、カメラの振り角度及び撮像画像の画角を検出する必要があり、パン、チルト情報が得られないような映像を合成することができない。このように、通常のテレビジョン放映された映像等においては、カメラの振り角度及び撮像画像の画角等の情報を得ることができない。従って、このような情報を使用せずに、通常の映像から視野角が広い大画面の映像が合成できれば、視聴者にとって新たな視聴環境が得られて便利である。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、例えば放送された映像の空間をより広げて認識することができる映像を合成することができる映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本発明は、フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出手段と、上記動き検出手段で求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成手段と、上記合成手段により合成された画像を出力する出力手段とを有する。
【００１０】
また、本発明は、フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出工程と、上記動き検出工程にて求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成工程と、上記合成工程により合成された画像を出力する出力工程とを有する。
【００１１】
また、本発明に係るプログラムは、上述した映像処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００１２】
本発明に係る映像処理システムは、複数の表示装置と、フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出手段と、上記動き検出手段で求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成手段と、上記合成手段により合成された画像を出力する出力手段とを有する映像処理装置とを具備し、上記表示装置は、上記映像を表示するメイン表示装置と、上記はみ出し部分を表示する１以上の周辺表示装置とを有する。
【発明の効果】
【００１３】
本発明においては、現フレームにおいて後フレームからはみ出すはみ出し部分を抽出し、通常は画枠からはみ出して表示されなくなってしまうはみ出し部分を出力することができ、このはみ出し部分を、通常の映像が表示される領域とは別の別領域に、通常の映像と同時に表示すれば、より広がりのある映像を視聴することができる。
【００１４】
本発明においては、通常は画枠からはみ出して表示されなくなるはみ出し部分を抽出し、このはみ出し部分と、通常の映像とを別々の表示装置に表示することができ、視聴者は通常の映像よりも広がりのある映像を複数台の表示装置を使用して視聴することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、カメラを動かして撮影された画像を元に、過去に放送され現在において放送されていない部分を再現し、複数台の表示装置を用いて表示することにより、広がりをもった映像の表示を行う映像処理装置に適用したものである。
【００１６】
図１は、本発明の実施の形態に係る映像処理装置を示すブロック図である。本実施の形態の映像処理装置１は、図１に示すように、例えばテレビジョン画像信号が供給される画像取得部２と、画像取得部２により取得された入力画像からカメラの操作（動き）を検出し、画枠からはみ出すと推定されるはみ出し部分を推定するカメラ操作推定部３と、はみ出し部分を記憶する画像蓄積メモリ４と、複数のはみ出し部分を合成して画像を創造する画像合成部５と、はみ出し部分が合成されて得られた合成画像（創造画像）を出力する画像出力部６と、これらを制御する制御部７とから構成されている。
【００１７】
テレビジョン放送されている映像では、空間の広がりを表現するため、カメラを動かして撮影されている。本実施の形態においては、このように、動きがある映像において、現在のフレームから、その時間的に連続する後フレームでは画枠からはみ出すと推定されるはみ出し部分を抽出して画像蓄積メモリ４に保存することで、過去に表示され現在の瞬間には表示されていない空間の画像を利用することができ、このはみ出し部分を現在放映中の映像と共に、例えばもう１台別に設けた表示装置等の他の領域に表示することにより、視聴者は通常の映像に比して、より広がりをもった映像として認識することができる。
【００１８】
また、こうして取得しておいた画像を用いて、複数台設置した表示装置を用いて広がりのある画像を鑑賞したり、パノラマ画像を作成したりすることができるものである。
【００１９】
そこで、カメラ操作推定部３は、供給される入力画像の動きベクトルを検出し、入力画像から、例えば、水平方向にパンされたカメラの動き、又は垂直方向にチルトされたカメラの動き、又はズーム・イン、ズーム・アウトされたカメラの動き等をその動きベクトルから推定する。カメラ操作の検出方法としては、例えば、勾配法やブロックマッチング等がある。ここで、カメラがほぼ静止状態であって、被写体のみが移動する場合においても動きベクトルは検出されるが、本実施の形態においては、画像内の動きベクトルの多くが同じ方向である場合、又は画像内の動きベクトルが放射状に分布している場合のみを検出することにより、被写体の動きとは区別して、カメラ操作がある場合のみを検出することができる。
【００２０】
図２（ａ）乃至（ｄ）は、カメラ操作があった場合の動きベクトルを示す模式図である。被写体のみが動いた場合ではなく、カメラ操作があった場合の映像は、例えば、図２（ａ）及び図２（ｂ）に示すように、夫々水平方向及び垂直方向等の同様の方向に同様な大きさの動きベクトルが存在する場合、又は図２（ｃ）及び図２（ｄ）に示すように、カメラの焦点が夫々ズーム・イン及びズーム・アウトされて、放射状で且つ同様な大きさの動きベクトル（わき出し、吸い込み）が存在する場合等がある。具体的には、図２（ａ）及び図２（ｂ）の場合は、例えば最頻値のベクトルの割合が所定の閾値以上であることを検出するか、又は最頻値のベクトルを有する画像が全画面に分布していること等を検出すればよい。また、図２（ｃ）及び図２（ｄ）の場合は、画像を所定サイズのブロック毎に分割し、検出した動きベクトルが、その位置に応じた向きを有するか否かを判定する等して検出することができる。
【００２１】
本実施の形態においては、自然画像を例にとり、画面全体の動きを示す動きベクトルからカメラ操作を推定するものとして説明するが、自然画像に限定されるものではなく、アニメーション等の人工画像についても、仮想的なカメラを想定することで同様に適用可能である。
【００２２】
図１に戻って、現フレームにおいてこれに時間的に連続する後フレームからはみ出すと推定したはみ出し部分が抽出され、この抽出されたはみ出し部分が画像蓄積メモリ４に随時記憶される。そして、画像合成部５は、画像蓄積メモリ４に蓄積されているはみ出し部分の画像を読み込み、合成して合成画像を生成し、画像出力部６を介して所定の表示装置（図示せず）に供給する。
【００２３】
はみ出し部分の合成方法としては、現フレームにおいて、後フレームからはみ出すと推定されるはみ出し部分を保存し、これを合成する第１の方法と、検出した動きベクトルに応じて、はみ出し部分のズーム補償の処理を行った後、合成する第２の方法とがある。
【００２４】
図３（ａ）及び（ｂ）は、夫々ズーム補償を行わない第１の合成方法及びズーム補償を行う第２の合成方法を示す模式図である。図３（ａ）及び（ｂ）には、右側にテレビジョン放映された実際の映像から得られる受信画像、左側にはみ出し部分を合成した合成画像を示し、受信画像において、時刻Ｔ＝ｔ−１と時刻Ｔ＝ｔとにおけるフレーム画像から得られた動きベクトルＶを有する画素Ｐ１を時刻Ｔ＝ｔ＋１において、合成画像として表示する場合を示すものである。動きベクトルＶは、水平成分Ｖ１と、垂直成分Ｖ２を有し、合成画像は、受信画像の画枠の左端からはみ出るはみ出し部分が合成され表示されるものとする。図３（ａ）に示すように、ズーム補償を行わない第１の方法においては、画素Ｐ１は、合成画像上に、水平成分Ｖ１だけ移動されて表示される。一方、図３（ｂ）に示すように、ズーム補償を行う第２の方法においては、画素Ｐ１は、合成画像上においても、ベクトルＶ、即ち、水平成分Ｖ１及び垂直成分Ｖ２移動されて表示される。
【００２５】
図４は、上記第１の方法により、はみ出し部分を合成しながら周辺に配置された表示装置に表示する操作を説明する模式図である。図４では、表示装置は、例えばテレビジョン放映された映像を表示する中央に配置されたメイン表示装置２０ｂと、その左右に配置され合成画像を表示する周辺表示装置２０ａ，２０ｃとが用意されている例を示す。図４（ａ）に示すように、メイン表示装置２０ｂに表示される時刻ＴにおけるＴフレームにおいて、先ず全画面の動きベクトルＶを検出し、この動きベクトルＶからカメラの動きを推定する。
【００２６】
カメラの動きがパン・チルトの場合には、画枠からはみ出すと推定されるはみ出し部分の画素を抽出して画像蓄積メモリ４に保存すると共に、周辺表示装置２０ａ，２０ｃに表示する。ここでは、メイン表示装置２０ｂに表示されるＴフレーム画像の動きベクトルの方向が水平方向左向きであり、メイン表示装置２０ｂの画枠の左端からはみ出すと推定されるはみ出し画像を抽出し、左側に配置される周辺表示装置２０ａに表示した例を示す。時刻Ｔにおいて、左側に配置されている周辺表示装置２０ａには、（Ｔ−１）フレームにおいて抽出されたはみ出し部分２１が表示されている。
【００２７】
このように、左側にはみ出すと推定されるはみ出し画像を左側の周辺表示装置２０ａに、右側にはみ出すと推定されるはみ出し画像を右側の周辺表示装置２０ｃに表示するようにすれば、メイン表示装置２０ｂに表示される通常の映像と、周辺表示装置２０ａ，２０ｃに表示される合成画像とからなる映像がより自然な動きに見える。
【００２８】
そして、図４（ｂ）に示すように、時刻Ｔ＋１におけるＴ＋１フレームにおいて、Ｔフレームにて推定されたはみ出し部分２２を左側の表示装置２０ａに表示するため、既に抽出されているはみ出し部分２１と合成し、この合成画像を表示装置２０ａに表示する。そして、メイン表示装置２０ｂにおいて、Ｔ＋２フレームにおいてはみ出すと推定されるはみ出し部分２３を抽出する。このような処理を繰り返すことによって、通常の映像が表示されるメイン表示装置２０ｂの中央画面のみならず、周辺の表示装置２０ａ，２０ｂの左画面，右画面に画像を表示することができ、これら３台の表示装置により、広がりのある映像空間を表現することができる。
【００２９】
図５（ａ）は、はみ出し部分が合成された合成画像を示す模式図であり、図５（ｂ）は実際の映像を示す模式図である。図５（ａ）及び（ｂ）に示すように、実際の映像と共に合成画像を表示することにより、より映像の空間的な広がりを認識しやすいものとなる。
【００３０】
次に、上述した図３（ｂ）に示すような、ズーム又は斜め方向の動きがあった場合に好適な、ズーム補償をする場合の第２の合成方法について説明する。パン、チルト等の場合は、カメラの動きのベクトルを垂直又は水平の一方向のみで処理することができるが、ズーム又は斜め方向の動きがある場合は、垂直及び水平の２方向の動きベクトルを検出する。そして、画素毎に適切な位置を推定して、画素を配置するものとする。このとき、画素が配置されない位置には周辺の画像からの補間処理を行い画素を創造する。また、複数の画素が合成画像上で同一の位置に配置された場合には平均処理を行う。
【００３１】
図６（ａ）及び（ｂ）は、夫々ズーム補償を行わない場合及びズーム処理を行う場合の結果を示す模式図である。本発明は、受信画像（映像）の情報のみから、はみ出し部を合成して周辺表示装置に表示する合成画像を生成する。ここでは、カメラをズーム・インしながら、即ち焦点を絞りながら且つカメラを右に動かしている場合（画面内のオブジェクトが左に移動する場合）の受信画像から合成画像を合成する場合について説明する。図６（ａ）及び（ｂ）において、右側に示すのが、時刻Ｔ＝ｔ〜ｔ＋３における受信画像を示す模式図である。
【００３２】
図６（ａ）に示すように、ズーム補償をしないと、合成されるはみ出し部分のズームの大きさが異なるため、合成結果において、同一の被写体にも拘わらずその大きさが異なってしまい、画像が不連続なものとなる。一方、図６（ｂ）に示すように、各フレームにおいて異なるズームの大きさを有する受信画像からはみ出す部分を、最新のはみ出し部分と同一のズームの大きさになるように、合成画像のズーム補償をすることにより、合成画像が連続なものとなる。
【００３３】
次に、上述の図６の場合におけるズーム補償の具体的な方法について説明する。図７（ａ）及び（ｂ）は、夫々時刻Ｔ＝ｔ及び時刻Ｔ＝ｔ＋１におけるはみ出し部分を合成した合成画像及び受信画像を示す模式図である。ここでは、周辺表示装置に表示される合成画像上で、同一水平ライン上にある画素Ｐ１及び画素Ｐ２を、メイン表示装置に表示される受信画像上で、画素Ｐ１，Ｐ２と同一水平ライン上にあり、且つ左端近傍の端部画素Ｐ３を使用してズーム補償する場合について説明する。
【００３４】
先ず、図７（ａ）に示すように、受信画像のＴ＝ｔの画像と、Ｔ＝ｔ−１の画像とを使用して、受信画像上の端部画素Ｐ３の動きベクトルＶを求める。求められた動きベクトルＶに基づいて、図７（ｂ）に示すように、Ｔ＝ｔ＋１の時刻の合成画像を合成する。即ち、合成画像上の画素Ｐ１，Ｐ２は、受信映像上で同一水平ライン上にある画素Ｐ３の動きベクトルの分だけ移動した位置にとなる。このようにして、合成画像上の画素Ｐ１と画素Ｐ２とを結ぶ線上の画素は、全て、時刻Ｔ＝ｔとＴ＝ｔ−１とから算出した画素Ｐ３の動きベクトルＶだけ移動した位置に配置する。また、画素Ｐ３は、時刻Ｔにおいて検出された動きベクトルＶから、時刻Ｔ＝ｔ＋１において、受信画像からはみ出すことが推定され、動きベクトルＶに基づいて合成画像上に移動させる。
【００３５】
このように、受信画像上で、ズーム補償するための動きベクトルを検出する画素は、画枠からはみ出すと推定されるはみ出し部分における画素とすることができる。例えば、受信画像において、ズームしながらカメラを垂直方向上向きに移動させる場合、即ち、被写体が拡大されながら画面上で下方に移動する場合に、受信画像を表示するメイン表示装置の上方に配置された周辺表示装置に合成画像を表示する場合、受信画像上の上端近傍の画素であって、同一垂直ライン上の画素とすることができる。
【００３６】
また、動きベクトルを計算する端部画素は、例えば図６においては、受信画像の左端において垂直方向に並ぶ画素全てについて求めることが好ましいが、多少間引いて計算し、その結果を補間することができる。
【００３７】
図８は、垂直ライン上の画素を間引きして動きベクトルを求める方法を示す模式図である。図８には、受信画像上の最左端の垂直ライン上に、距離Ｌを隔てて並ぶ４つの画素Ｐ０〜Ｐ４（図示せず）を示す。ここで、時間的に連続するフレームから画素Ｐ０及び画素Ｐ３の夫々動きベクトルＶ０及びＶ３を算出し、動きベクトルＶ０及びＶ３のみが既知の動きベクトルとしたとき、画素Ｐ１及び画素Ｐ２の夫々動きベクトルＶ１及びＶ２を求める式は、下記式（１）及び（２）のように示される。
【００３８】
【数１】
【００３９】
【数２】
【００４０】
こうして、上記式（１），（２）を使用することにより、垂直ライン上の全ての画素の動きベクトルを求める必要がなくなり、処理が高速化する。
【００４１】
次に、本実施の形態の映像処理方法について説明する。図９は、ズーム補償する場合の映像処理方法を示すフローチャートである。図９に示すように、先ず、供給される映像信号の各フレーム画像内の動きベクトルを計算する。具体的には、Ｔ＝ｔ−１からＴ＝ｔにおける動きベクトルＶを算出する（ステップＳ１）。そして、算出した動きベクトルの方向及び大きさから、画面内で同様の動きであるか否かを判断し（ステップＳ２）、更に同様の動きでない場合は、放射状となっているか否か判断する（ステップＳ３）。
【００４２】
ステップＳ２で同様の動きベクトルが検出された場合、及びステップＳ３で放射状の動きが検出された場合は、次の処理に進む。即ち、得られた動きベクトルから次のフレームではみ出すはみ出し部分を推定する（ステップＳ４）。そして、推定したはみ出し部分、例えば画枠の左端からはみ出すと推定される各画素を抽出すると共に画像蓄積メモリ４に保存する（ステップＳ５）。
【００４３】
次に、画像蓄積メモリ４から過去に記憶されたはみ出し部分を読み込み（ステップＳ６）、新しく抽出したはみ出し部分を動きベクトルＶを外挿した位置に書き込む（ステップＳ７）。更に、過去の合成結果を動きベクトルＶを外挿した位置に書き込む（ステップＳ８）。そして、画素の不足及び重複部分があるか否かを検出し（ステップＳ９）、不足画素又は重複画素がある場合は補償処理を行い（ステップＳ１０）、合成した画像を出力して（ステップＳ１１）、処理を終了する。
【００４４】
ここで、ステップＳ１において、動きベクトルが同様の動きをしているか否かは、最頻値のベクトルの割合が閾値以上の場合、最頻値のベクトルをもつ画素が全画面に分布している場合、又は画像をブロック分割し、ブロック毎に最頻のベクトルを求め、それが全てのブロックで同じ場合等を検出することにより判定することができる。
【００４５】
また、ステップＳ３において、動きベクトルが沸き出しているか否かの判定は、画像をブロックに分割し、その位置に応じた向をベクトルがもっているか等により判定することができる。
【００４６】
更に、ステップＳ９において、補償処理は、同じ位置に複数の画素が配置された場合、即ち重複画素となった場合と、１画素も配置されない位置がある場合に行う。複数の画素が配置された場合には、これらを平均したものをその位置の新しい画素値とする。１画素も配置されない場合には、周辺の画素から補間する。
【００４７】
また、本実施の形態においては、ズーム補償しない場合及びズーム補償する場合においても、動きベクトルからはみ出し部分推定するものとして説明したが、現フレームより時間的に前の前フレーム画像を保存し、現フレーム画像との差分からはみ出し部分を抽出するようにしてもよい。
【００４８】
次に、このような映像処理装置により合成され創造された合成画像を表示するための映像処理システムについて説明する。本実施の形態の映像処理システムは、映像信号が供給され合成画像を合成する上述の図１に示す映像処理装置と、通常の映像又は創造された画像を表示する複数台の表示装置とから構成される。ここで、映像処理装置は、各表示装置毎に用意しても、１台の画像処理装置から創造した画像又は通常の映像を、各表示装置に供給するものとしてもよい。
【００４９】
以下、各表示装置毎に映像処理装置を設ける場合を分散型と称し、１台の映像処理装置により複数の表示装置に映像を供給する場合を統合型と称して説明する。図１０及び図１１は、本発明の実施の形態に係る分散型映像処理システムを示す夫々模式図及びブロック図である。また、図１２及び図１３は、総合型映像処理システムを示す夫々模式図及びブロック図である。
【００５０】
図１０及び図１１に示すように、分散型の映像処理システム１００は、各表示装置２０ａ〜２０ｃに一つずつ、入力映像から合成画像を合成する映像処理装置１０ａ〜１０ｃが接続されたものである。この分散型の場合には、各映像処理装置１０ａ〜１０ｃが独立に配置される。そのため、映像処理装置１０ａ〜１０ｃには、設定時に手動又は各映像処理装置１０ａ〜１０ｃ間で通信する等して自動で、その相対的な位置を検出して記憶する位置記憶部３０ａ〜３０ｃを各映像処理部１１ａ〜１１ｃの前段に設けるものとする。そして、この結果を使用して、各映像処理装置１０ａ〜１０ｃの映像処理部１１ａ〜１１ｃがどのような画像を作成するかを決定することができる。ここで、映像処理部１１ａ〜１１ｃは、上述の図１に示す映像処理装置１と同様の構成を有し、現フレームにおいて、これに時間的に連続する後フレームにおいてはみ出すと推定されるはみ出し部分を抽出し、このはみ出し部分を合成して合成画像を生成するものである。
【００５１】
このような映像処理システム１００においては、例えば、合成画像を表示する周辺表示装置を２台用意し、通常の映像を表示するメイン表示装置２０ｂの左右両側に配置する場合、左右の周辺表示装置２０ａ，２０ｃにて、夫々左端及び右端からはみ出すはみ出し部分から合成されて創造される合成画像を表示するよう設定することができる。
【００５２】
また、図１２及び図１３に示すように、統合型の映像処理システム２００は、映像信号から複数の合成画像を合成する映像処理部１１と、表示装置２０ａ〜２０ｃと、映像処理部１１と各表示装置２０ａ〜２０ｃに対応して設けられた出力ポート５０ａ〜５０ｃとから構成される。映像処理部１１は、上述の図１に示す映像処理装置１と同様に、現フレームにおいて、これに時間的に連続する後フレームでは画枠からはみ出すと推定されるはみ出し部分を抽出し、このはみ出し部分を合成して合成画像を生成するものであり、映像の動きベクトルの違い等により、複数の合成画像を生成し、この結果を各表示装置２０ａ〜２０ｃに表示するよう出力ポート５０ａ〜５０ｃに出力する。統合型の場合には、出力のポート５０ａ〜５０ｃをどの表示装置２０ａ〜２０ｃに接続するかによって、各表示装置２０ａ〜２０ｃで適切な表示を行うことができる。
【００５３】
このような本実施の形態においては、映像処理装置が放送された映像から、動きベクトルを検出し、カメラの操作を推定することにより、前フレームにおいて、これに時間的に連続する後フレームでは画枠からはみ出すと推定されるはみ出し部分を抽出し、このはみ出し部分を合成した合成画像を生成し、本来の映像とは別に本来の映像の周辺の画像を創造して複数の表示装置にて表示することにより、画像による表現可能な空間をより広げて認識することができる。
【００５４】
また、図１０及び図１２に示す例では、周辺表示装置２０ａ，２０ｃは、メイン表示装置２０ｂの左右に配置された２台としたが、上下方向等にも表示装置を配置すれば、更に広がりのある映像を視聴することができる。
【００５５】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、制御部にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００５６】
以上詳細に説明したように、本発明に係る映像処理装置及び方法の実施の形態では、フレーム単位の画像からなる映像における現フレーム画像においてその時間的に後の後フレーム画像の画枠からはみ出すはみ出し部分を該現フレーム画像から抽出し、抽出されたはみ出し部分を出力するため、現フレームより後の後フレームでは画枠からはみ出すはみ出し部分、即ち通常は画枠からはみ出して表示されなくなってしまうはみ出し部分を現フレームから抽出することで、カメラを動かして撮影された画像を元に、過去に放送され、現在において放送されていない部分を再現することができ、これを映像が表示される領域とは別領域に、通常の映像と共に表示すれば、より広がりのある映像を視聴することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施の形態に係る映像処理装置を示すブロック図である。
【図２】（ａ）乃至（ｄ）は、カメラ操作があった場合の動きベクトルを示す模式図である。
【図３】（ａ）及び（ｂ）は、夫々ズーム補償を行わない第１の合成方法及びズーム補償を行う第２の合成方法を示す模式図である。
【図４】はみ出し部分を周辺に配置された表示装置に表示する操作を説明する模式図である。
【図５】（ａ）は、合成画像を示す模式図であり、（ｂ）実際の映像を示す模式図である。
【図６】（ａ）及び（ｂ）は、夫々ズーム補償を行う場合及び行わない場合の結果を示す模式図である。
【図７】（ａ）及び（ｂ）は、夫々時刻Ｔ＝ｔ及び時刻Ｔ＝ｔ＋１における合成画像及び受信画像を示す模式図である。
【図８】垂直ライン上の画素を間引きして動きベクトルを求める方法を示す模式図である。
【図９】本発明の実施の形態における映像処理方法を示すフローチャートである。
【図１０】本発明の実施の形態に係る分散型映像処理システムを示す模式図である。
【図１１】本発明の実施の形態に係る分散型映像処理システムを示すブロック図である。
【図１２】本発明の実施の形態に係る総合型映像処理システムを示す模式図である。
【図１３】本発明の実施の形態に係る総合型映像処理システムを示すブロック図である。
【符号の説明】
【００５８】
１，１０ａ，１０ｂ，１０ｃ 映像処理装置、２ 画像取得部、３ カメラ動き推定部、４ 画像蓄積メモリ、５ 画像合成部、６ 画像出力部、７ 制御部、２０ａ，２０ｂ，２０ｃ 表示装置、１１，１１ａ，１１ｂ，１１ｃ 映像処理部、１００，２００ 映像処理システム、３０ａ，３０ｂ，３０ｃ 位置記憶部、５０Ａ，５０Ｂ，５０Ｃ 出力ポート、１００，２００ 映像処理システム
【技術分野】
【０００１】
本発明は、テレビジョン放映された映像等から画像を合成する映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システムに関する。
【背景技術】
【０００２】
従来、同一シーンを空間的に分割して撮影することにより得られた複数のテレビジョン画像信号を連続した大画面画像信号に再構成する大画面画像合成処理装置が特開平１０−３２７５５号公報（特許文献１）に開示されている。
【０００３】
この公報に記載の技術においては、大画面画像を構成する各部分画像を連続的にパン、チルトしながら撮像するテレビジョンカメラと、このカメラの振り角度とこのカメラによる撮像画像の画角とを任意のビデオフィールド又はビデオフレーム毎に検出するカメラデータ検出部と、検出した振り角度及び画角に基づいて、任意のビデオフィールド又はビデオフレーム毎に撮像した複数の撮像画像を夫々透視変換する画像変換回路と、透視変換した複数の画像を透視変換で決定される所定のアドレスに記憶する大画面メモリとを少なくとも具えてなるものである。
【０００４】
このように構成された上記公報に記載の技術によれば、大画面画像を生成する際、互いに接する画像同士で幾何学上のマッチングを取る必要がなく、カメラの検出角度及び撮像画像の画角のみから透視変換のパラメータを算出して画像の変換を行うのみで大画面画像を合成することができる。
【０００５】
従来技術として、特許文献１の他、特許文献２〜４が知られている。
【０００６】
【特許文献１】特開平１０−３２７５５号公報
【特許文献２】特表２００２−５１４３５９号公報
【特許文献３】特開平９−２２２８７７号公報
【特許文献４】特開平８−１６０９２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の技術においては、カメラデータ検出部がカメラの雲台からパン、チルト情報を受信して、カメラの振り角度及び撮像画像の画角を検出する必要があり、パン、チルト情報が得られないような映像を合成することができない。このように、通常のテレビジョン放映された映像等においては、カメラの振り角度及び撮像画像の画角等の情報を得ることができない。従って、このような情報を使用せずに、通常の映像から視野角が広い大画面の映像が合成できれば、視聴者にとって新たな視聴環境が得られて便利である。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、例えば放送された映像の空間をより広げて認識することができる映像を合成することができる映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本発明は、フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出手段と、上記動き検出手段で求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成手段と、上記合成手段により合成された画像を出力する出力手段とを有する。
【００１０】
また、本発明は、フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出工程と、上記動き検出工程にて求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成工程と、上記合成工程により合成された画像を出力する出力工程とを有する。
【００１１】
また、本発明に係るプログラムは、上述した映像処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００１２】
本発明に係る映像処理システムは、複数の表示装置と、フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出手段と、上記動き検出手段で求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成手段と、上記合成手段により合成された画像を出力する出力手段とを有する映像処理装置とを具備し、上記表示装置は、上記映像を表示するメイン表示装置と、上記はみ出し部分を表示する１以上の周辺表示装置とを有する。
【発明の効果】
【００１３】
本発明においては、現フレームにおいて後フレームからはみ出すはみ出し部分を抽出し、通常は画枠からはみ出して表示されなくなってしまうはみ出し部分を出力することができ、このはみ出し部分を、通常の映像が表示される領域とは別の別領域に、通常の映像と同時に表示すれば、より広がりのある映像を視聴することができる。
【００１４】
本発明においては、通常は画枠からはみ出して表示されなくなるはみ出し部分を抽出し、このはみ出し部分と、通常の映像とを別々の表示装置に表示することができ、視聴者は通常の映像よりも広がりのある映像を複数台の表示装置を使用して視聴することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、カメラを動かして撮影された画像を元に、過去に放送され現在において放送されていない部分を再現し、複数台の表示装置を用いて表示することにより、広がりをもった映像の表示を行う映像処理装置に適用したものである。
【００１６】
図１は、本発明の実施の形態に係る映像処理装置を示すブロック図である。本実施の形態の映像処理装置１は、図１に示すように、例えばテレビジョン画像信号が供給される画像取得部２と、画像取得部２により取得された入力画像からカメラの操作（動き）を検出し、画枠からはみ出すと推定されるはみ出し部分を推定するカメラ操作推定部３と、はみ出し部分を記憶する画像蓄積メモリ４と、複数のはみ出し部分を合成して画像を創造する画像合成部５と、はみ出し部分が合成されて得られた合成画像（創造画像）を出力する画像出力部６と、これらを制御する制御部７とから構成されている。
【００１７】
テレビジョン放送されている映像では、空間の広がりを表現するため、カメラを動かして撮影されている。本実施の形態においては、このように、動きがある映像において、現在のフレームから、その時間的に連続する後フレームでは画枠からはみ出すと推定されるはみ出し部分を抽出して画像蓄積メモリ４に保存することで、過去に表示され現在の瞬間には表示されていない空間の画像を利用することができ、このはみ出し部分を現在放映中の映像と共に、例えばもう１台別に設けた表示装置等の他の領域に表示することにより、視聴者は通常の映像に比して、より広がりをもった映像として認識することができる。
【００１８】
また、こうして取得しておいた画像を用いて、複数台設置した表示装置を用いて広がりのある画像を鑑賞したり、パノラマ画像を作成したりすることができるものである。
【００１９】
そこで、カメラ操作推定部３は、供給される入力画像の動きベクトルを検出し、入力画像から、例えば、水平方向にパンされたカメラの動き、又は垂直方向にチルトされたカメラの動き、又はズーム・イン、ズーム・アウトされたカメラの動き等をその動きベクトルから推定する。カメラ操作の検出方法としては、例えば、勾配法やブロックマッチング等がある。ここで、カメラがほぼ静止状態であって、被写体のみが移動する場合においても動きベクトルは検出されるが、本実施の形態においては、画像内の動きベクトルの多くが同じ方向である場合、又は画像内の動きベクトルが放射状に分布している場合のみを検出することにより、被写体の動きとは区別して、カメラ操作がある場合のみを検出することができる。
【００２０】
図２（ａ）乃至（ｄ）は、カメラ操作があった場合の動きベクトルを示す模式図である。被写体のみが動いた場合ではなく、カメラ操作があった場合の映像は、例えば、図２（ａ）及び図２（ｂ）に示すように、夫々水平方向及び垂直方向等の同様の方向に同様な大きさの動きベクトルが存在する場合、又は図２（ｃ）及び図２（ｄ）に示すように、カメラの焦点が夫々ズーム・イン及びズーム・アウトされて、放射状で且つ同様な大きさの動きベクトル（わき出し、吸い込み）が存在する場合等がある。具体的には、図２（ａ）及び図２（ｂ）の場合は、例えば最頻値のベクトルの割合が所定の閾値以上であることを検出するか、又は最頻値のベクトルを有する画像が全画面に分布していること等を検出すればよい。また、図２（ｃ）及び図２（ｄ）の場合は、画像を所定サイズのブロック毎に分割し、検出した動きベクトルが、その位置に応じた向きを有するか否かを判定する等して検出することができる。
【００２１】
本実施の形態においては、自然画像を例にとり、画面全体の動きを示す動きベクトルからカメラ操作を推定するものとして説明するが、自然画像に限定されるものではなく、アニメーション等の人工画像についても、仮想的なカメラを想定することで同様に適用可能である。
【００２２】
図１に戻って、現フレームにおいてこれに時間的に連続する後フレームからはみ出すと推定したはみ出し部分が抽出され、この抽出されたはみ出し部分が画像蓄積メモリ４に随時記憶される。そして、画像合成部５は、画像蓄積メモリ４に蓄積されているはみ出し部分の画像を読み込み、合成して合成画像を生成し、画像出力部６を介して所定の表示装置（図示せず）に供給する。
【００２３】
はみ出し部分の合成方法としては、現フレームにおいて、後フレームからはみ出すと推定されるはみ出し部分を保存し、これを合成する第１の方法と、検出した動きベクトルに応じて、はみ出し部分のズーム補償の処理を行った後、合成する第２の方法とがある。
【００２４】
図３（ａ）及び（ｂ）は、夫々ズーム補償を行わない第１の合成方法及びズーム補償を行う第２の合成方法を示す模式図である。図３（ａ）及び（ｂ）には、右側にテレビジョン放映された実際の映像から得られる受信画像、左側にはみ出し部分を合成した合成画像を示し、受信画像において、時刻Ｔ＝ｔ−１と時刻Ｔ＝ｔとにおけるフレーム画像から得られた動きベクトルＶを有する画素Ｐ１を時刻Ｔ＝ｔ＋１において、合成画像として表示する場合を示すものである。動きベクトルＶは、水平成分Ｖ１と、垂直成分Ｖ２を有し、合成画像は、受信画像の画枠の左端からはみ出るはみ出し部分が合成され表示されるものとする。図３（ａ）に示すように、ズーム補償を行わない第１の方法においては、画素Ｐ１は、合成画像上に、水平成分Ｖ１だけ移動されて表示される。一方、図３（ｂ）に示すように、ズーム補償を行う第２の方法においては、画素Ｐ１は、合成画像上においても、ベクトルＶ、即ち、水平成分Ｖ１及び垂直成分Ｖ２移動されて表示される。
【００２５】
図４は、上記第１の方法により、はみ出し部分を合成しながら周辺に配置された表示装置に表示する操作を説明する模式図である。図４では、表示装置は、例えばテレビジョン放映された映像を表示する中央に配置されたメイン表示装置２０ｂと、その左右に配置され合成画像を表示する周辺表示装置２０ａ，２０ｃとが用意されている例を示す。図４（ａ）に示すように、メイン表示装置２０ｂに表示される時刻ＴにおけるＴフレームにおいて、先ず全画面の動きベクトルＶを検出し、この動きベクトルＶからカメラの動きを推定する。
【００２６】
カメラの動きがパン・チルトの場合には、画枠からはみ出すと推定されるはみ出し部分の画素を抽出して画像蓄積メモリ４に保存すると共に、周辺表示装置２０ａ，２０ｃに表示する。ここでは、メイン表示装置２０ｂに表示されるＴフレーム画像の動きベクトルの方向が水平方向左向きであり、メイン表示装置２０ｂの画枠の左端からはみ出すと推定されるはみ出し画像を抽出し、左側に配置される周辺表示装置２０ａに表示した例を示す。時刻Ｔにおいて、左側に配置されている周辺表示装置２０ａには、（Ｔ−１）フレームにおいて抽出されたはみ出し部分２１が表示されている。
【００２７】
このように、左側にはみ出すと推定されるはみ出し画像を左側の周辺表示装置２０ａに、右側にはみ出すと推定されるはみ出し画像を右側の周辺表示装置２０ｃに表示するようにすれば、メイン表示装置２０ｂに表示される通常の映像と、周辺表示装置２０ａ，２０ｃに表示される合成画像とからなる映像がより自然な動きに見える。
【００２８】
そして、図４（ｂ）に示すように、時刻Ｔ＋１におけるＴ＋１フレームにおいて、Ｔフレームにて推定されたはみ出し部分２２を左側の表示装置２０ａに表示するため、既に抽出されているはみ出し部分２１と合成し、この合成画像を表示装置２０ａに表示する。そして、メイン表示装置２０ｂにおいて、Ｔ＋２フレームにおいてはみ出すと推定されるはみ出し部分２３を抽出する。このような処理を繰り返すことによって、通常の映像が表示されるメイン表示装置２０ｂの中央画面のみならず、周辺の表示装置２０ａ，２０ｂの左画面，右画面に画像を表示することができ、これら３台の表示装置により、広がりのある映像空間を表現することができる。
【００２９】
図５（ａ）は、はみ出し部分が合成された合成画像を示す模式図であり、図５（ｂ）は実際の映像を示す模式図である。図５（ａ）及び（ｂ）に示すように、実際の映像と共に合成画像を表示することにより、より映像の空間的な広がりを認識しやすいものとなる。
【００３０】
次に、上述した図３（ｂ）に示すような、ズーム又は斜め方向の動きがあった場合に好適な、ズーム補償をする場合の第２の合成方法について説明する。パン、チルト等の場合は、カメラの動きのベクトルを垂直又は水平の一方向のみで処理することができるが、ズーム又は斜め方向の動きがある場合は、垂直及び水平の２方向の動きベクトルを検出する。そして、画素毎に適切な位置を推定して、画素を配置するものとする。このとき、画素が配置されない位置には周辺の画像からの補間処理を行い画素を創造する。また、複数の画素が合成画像上で同一の位置に配置された場合には平均処理を行う。
【００３１】
図６（ａ）及び（ｂ）は、夫々ズーム補償を行わない場合及びズーム処理を行う場合の結果を示す模式図である。本発明は、受信画像（映像）の情報のみから、はみ出し部を合成して周辺表示装置に表示する合成画像を生成する。ここでは、カメラをズーム・インしながら、即ち焦点を絞りながら且つカメラを右に動かしている場合（画面内のオブジェクトが左に移動する場合）の受信画像から合成画像を合成する場合について説明する。図６（ａ）及び（ｂ）において、右側に示すのが、時刻Ｔ＝ｔ〜ｔ＋３における受信画像を示す模式図である。
【００３２】
図６（ａ）に示すように、ズーム補償をしないと、合成されるはみ出し部分のズームの大きさが異なるため、合成結果において、同一の被写体にも拘わらずその大きさが異なってしまい、画像が不連続なものとなる。一方、図６（ｂ）に示すように、各フレームにおいて異なるズームの大きさを有する受信画像からはみ出す部分を、最新のはみ出し部分と同一のズームの大きさになるように、合成画像のズーム補償をすることにより、合成画像が連続なものとなる。
【００３３】
次に、上述の図６の場合におけるズーム補償の具体的な方法について説明する。図７（ａ）及び（ｂ）は、夫々時刻Ｔ＝ｔ及び時刻Ｔ＝ｔ＋１におけるはみ出し部分を合成した合成画像及び受信画像を示す模式図である。ここでは、周辺表示装置に表示される合成画像上で、同一水平ライン上にある画素Ｐ１及び画素Ｐ２を、メイン表示装置に表示される受信画像上で、画素Ｐ１，Ｐ２と同一水平ライン上にあり、且つ左端近傍の端部画素Ｐ３を使用してズーム補償する場合について説明する。
【００３４】
先ず、図７（ａ）に示すように、受信画像のＴ＝ｔの画像と、Ｔ＝ｔ−１の画像とを使用して、受信画像上の端部画素Ｐ３の動きベクトルＶを求める。求められた動きベクトルＶに基づいて、図７（ｂ）に示すように、Ｔ＝ｔ＋１の時刻の合成画像を合成する。即ち、合成画像上の画素Ｐ１，Ｐ２は、受信映像上で同一水平ライン上にある画素Ｐ３の動きベクトルの分だけ移動した位置にとなる。このようにして、合成画像上の画素Ｐ１と画素Ｐ２とを結ぶ線上の画素は、全て、時刻Ｔ＝ｔとＴ＝ｔ−１とから算出した画素Ｐ３の動きベクトルＶだけ移動した位置に配置する。また、画素Ｐ３は、時刻Ｔにおいて検出された動きベクトルＶから、時刻Ｔ＝ｔ＋１において、受信画像からはみ出すことが推定され、動きベクトルＶに基づいて合成画像上に移動させる。
【００３５】
このように、受信画像上で、ズーム補償するための動きベクトルを検出する画素は、画枠からはみ出すと推定されるはみ出し部分における画素とすることができる。例えば、受信画像において、ズームしながらカメラを垂直方向上向きに移動させる場合、即ち、被写体が拡大されながら画面上で下方に移動する場合に、受信画像を表示するメイン表示装置の上方に配置された周辺表示装置に合成画像を表示する場合、受信画像上の上端近傍の画素であって、同一垂直ライン上の画素とすることができる。
【００３６】
また、動きベクトルを計算する端部画素は、例えば図６においては、受信画像の左端において垂直方向に並ぶ画素全てについて求めることが好ましいが、多少間引いて計算し、その結果を補間することができる。
【００３７】
図８は、垂直ライン上の画素を間引きして動きベクトルを求める方法を示す模式図である。図８には、受信画像上の最左端の垂直ライン上に、距離Ｌを隔てて並ぶ４つの画素Ｐ０〜Ｐ４（図示せず）を示す。ここで、時間的に連続するフレームから画素Ｐ０及び画素Ｐ３の夫々動きベクトルＶ０及びＶ３を算出し、動きベクトルＶ０及びＶ３のみが既知の動きベクトルとしたとき、画素Ｐ１及び画素Ｐ２の夫々動きベクトルＶ１及びＶ２を求める式は、下記式（１）及び（２）のように示される。
【００３８】
【数１】
【００３９】
【数２】
【００４０】
こうして、上記式（１），（２）を使用することにより、垂直ライン上の全ての画素の動きベクトルを求める必要がなくなり、処理が高速化する。
【００４１】
次に、本実施の形態の映像処理方法について説明する。図９は、ズーム補償する場合の映像処理方法を示すフローチャートである。図９に示すように、先ず、供給される映像信号の各フレーム画像内の動きベクトルを計算する。具体的には、Ｔ＝ｔ−１からＴ＝ｔにおける動きベクトルＶを算出する（ステップＳ１）。そして、算出した動きベクトルの方向及び大きさから、画面内で同様の動きであるか否かを判断し（ステップＳ２）、更に同様の動きでない場合は、放射状となっているか否か判断する（ステップＳ３）。
【００４２】
ステップＳ２で同様の動きベクトルが検出された場合、及びステップＳ３で放射状の動きが検出された場合は、次の処理に進む。即ち、得られた動きベクトルから次のフレームではみ出すはみ出し部分を推定する（ステップＳ４）。そして、推定したはみ出し部分、例えば画枠の左端からはみ出すと推定される各画素を抽出すると共に画像蓄積メモリ４に保存する（ステップＳ５）。
【００４３】
次に、画像蓄積メモリ４から過去に記憶されたはみ出し部分を読み込み（ステップＳ６）、新しく抽出したはみ出し部分を動きベクトルＶを外挿した位置に書き込む（ステップＳ７）。更に、過去の合成結果を動きベクトルＶを外挿した位置に書き込む（ステップＳ８）。そして、画素の不足及び重複部分があるか否かを検出し（ステップＳ９）、不足画素又は重複画素がある場合は補償処理を行い（ステップＳ１０）、合成した画像を出力して（ステップＳ１１）、処理を終了する。
【００４４】
ここで、ステップＳ１において、動きベクトルが同様の動きをしているか否かは、最頻値のベクトルの割合が閾値以上の場合、最頻値のベクトルをもつ画素が全画面に分布している場合、又は画像をブロック分割し、ブロック毎に最頻のベクトルを求め、それが全てのブロックで同じ場合等を検出することにより判定することができる。
【００４５】
また、ステップＳ３において、動きベクトルが沸き出しているか否かの判定は、画像をブロックに分割し、その位置に応じた向をベクトルがもっているか等により判定することができる。
【００４６】
更に、ステップＳ９において、補償処理は、同じ位置に複数の画素が配置された場合、即ち重複画素となった場合と、１画素も配置されない位置がある場合に行う。複数の画素が配置された場合には、これらを平均したものをその位置の新しい画素値とする。１画素も配置されない場合には、周辺の画素から補間する。
【００４７】
また、本実施の形態においては、ズーム補償しない場合及びズーム補償する場合においても、動きベクトルからはみ出し部分推定するものとして説明したが、現フレームより時間的に前の前フレーム画像を保存し、現フレーム画像との差分からはみ出し部分を抽出するようにしてもよい。
【００４８】
次に、このような映像処理装置により合成され創造された合成画像を表示するための映像処理システムについて説明する。本実施の形態の映像処理システムは、映像信号が供給され合成画像を合成する上述の図１に示す映像処理装置と、通常の映像又は創造された画像を表示する複数台の表示装置とから構成される。ここで、映像処理装置は、各表示装置毎に用意しても、１台の画像処理装置から創造した画像又は通常の映像を、各表示装置に供給するものとしてもよい。
【００４９】
以下、各表示装置毎に映像処理装置を設ける場合を分散型と称し、１台の映像処理装置により複数の表示装置に映像を供給する場合を統合型と称して説明する。図１０及び図１１は、本発明の実施の形態に係る分散型映像処理システムを示す夫々模式図及びブロック図である。また、図１２及び図１３は、総合型映像処理システムを示す夫々模式図及びブロック図である。
【００５０】
図１０及び図１１に示すように、分散型の映像処理システム１００は、各表示装置２０ａ〜２０ｃに一つずつ、入力映像から合成画像を合成する映像処理装置１０ａ〜１０ｃが接続されたものである。この分散型の場合には、各映像処理装置１０ａ〜１０ｃが独立に配置される。そのため、映像処理装置１０ａ〜１０ｃには、設定時に手動又は各映像処理装置１０ａ〜１０ｃ間で通信する等して自動で、その相対的な位置を検出して記憶する位置記憶部３０ａ〜３０ｃを各映像処理部１１ａ〜１１ｃの前段に設けるものとする。そして、この結果を使用して、各映像処理装置１０ａ〜１０ｃの映像処理部１１ａ〜１１ｃがどのような画像を作成するかを決定することができる。ここで、映像処理部１１ａ〜１１ｃは、上述の図１に示す映像処理装置１と同様の構成を有し、現フレームにおいて、これに時間的に連続する後フレームにおいてはみ出すと推定されるはみ出し部分を抽出し、このはみ出し部分を合成して合成画像を生成するものである。
【００５１】
このような映像処理システム１００においては、例えば、合成画像を表示する周辺表示装置を２台用意し、通常の映像を表示するメイン表示装置２０ｂの左右両側に配置する場合、左右の周辺表示装置２０ａ，２０ｃにて、夫々左端及び右端からはみ出すはみ出し部分から合成されて創造される合成画像を表示するよう設定することができる。
【００５２】
また、図１２及び図１３に示すように、統合型の映像処理システム２００は、映像信号から複数の合成画像を合成する映像処理部１１と、表示装置２０ａ〜２０ｃと、映像処理部１１と各表示装置２０ａ〜２０ｃに対応して設けられた出力ポート５０ａ〜５０ｃとから構成される。映像処理部１１は、上述の図１に示す映像処理装置１と同様に、現フレームにおいて、これに時間的に連続する後フレームでは画枠からはみ出すと推定されるはみ出し部分を抽出し、このはみ出し部分を合成して合成画像を生成するものであり、映像の動きベクトルの違い等により、複数の合成画像を生成し、この結果を各表示装置２０ａ〜２０ｃに表示するよう出力ポート５０ａ〜５０ｃに出力する。統合型の場合には、出力のポート５０ａ〜５０ｃをどの表示装置２０ａ〜２０ｃに接続するかによって、各表示装置２０ａ〜２０ｃで適切な表示を行うことができる。
【００５３】
このような本実施の形態においては、映像処理装置が放送された映像から、動きベクトルを検出し、カメラの操作を推定することにより、前フレームにおいて、これに時間的に連続する後フレームでは画枠からはみ出すと推定されるはみ出し部分を抽出し、このはみ出し部分を合成した合成画像を生成し、本来の映像とは別に本来の映像の周辺の画像を創造して複数の表示装置にて表示することにより、画像による表現可能な空間をより広げて認識することができる。
【００５４】
また、図１０及び図１２に示す例では、周辺表示装置２０ａ，２０ｃは、メイン表示装置２０ｂの左右に配置された２台としたが、上下方向等にも表示装置を配置すれば、更に広がりのある映像を視聴することができる。
【００５５】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、制御部にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００５６】
以上詳細に説明したように、本発明に係る映像処理装置及び方法の実施の形態では、フレーム単位の画像からなる映像における現フレーム画像においてその時間的に後の後フレーム画像の画枠からはみ出すはみ出し部分を該現フレーム画像から抽出し、抽出されたはみ出し部分を出力するため、現フレームより後の後フレームでは画枠からはみ出すはみ出し部分、即ち通常は画枠からはみ出して表示されなくなってしまうはみ出し部分を現フレームから抽出することで、カメラを動かして撮影された画像を元に、過去に放送され、現在において放送されていない部分を再現することができ、これを映像が表示される領域とは別領域に、通常の映像と共に表示すれば、より広がりのある映像を視聴することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施の形態に係る映像処理装置を示すブロック図である。
【図２】（ａ）乃至（ｄ）は、カメラ操作があった場合の動きベクトルを示す模式図である。
【図３】（ａ）及び（ｂ）は、夫々ズーム補償を行わない第１の合成方法及びズーム補償を行う第２の合成方法を示す模式図である。
【図４】はみ出し部分を周辺に配置された表示装置に表示する操作を説明する模式図である。
【図５】（ａ）は、合成画像を示す模式図であり、（ｂ）実際の映像を示す模式図である。
【図６】（ａ）及び（ｂ）は、夫々ズーム補償を行う場合及び行わない場合の結果を示す模式図である。
【図７】（ａ）及び（ｂ）は、夫々時刻Ｔ＝ｔ及び時刻Ｔ＝ｔ＋１における合成画像及び受信画像を示す模式図である。
【図８】垂直ライン上の画素を間引きして動きベクトルを求める方法を示す模式図である。
【図９】本発明の実施の形態における映像処理方法を示すフローチャートである。
【図１０】本発明の実施の形態に係る分散型映像処理システムを示す模式図である。
【図１１】本発明の実施の形態に係る分散型映像処理システムを示すブロック図である。
【図１２】本発明の実施の形態に係る総合型映像処理システムを示す模式図である。
【図１３】本発明の実施の形態に係る総合型映像処理システムを示すブロック図である。
【符号の説明】
【００５８】
１，１０ａ，１０ｂ，１０ｃ 映像処理装置、２ 画像取得部、３ カメラ動き推定部、４ 画像蓄積メモリ、５ 画像合成部、６ 画像出力部、７ 制御部、２０ａ，２０ｂ，２０ｃ 表示装置、１１，１１ａ，１１ｂ，１１ｃ 映像処理部、１００，２００ 映像処理システム、３０ａ，３０ｂ，３０ｃ 位置記憶部、５０Ａ，５０Ｂ，５０Ｃ 出力ポート、１００，２００ 映像処理システム
【特許請求の範囲】
【請求項１】
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出手段と、
上記動き検出手段で求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成手段と、
上記合成手段により合成された画像を出力する出力手段と
を有する映像処理装置。
【請求項２】
上記動き検出手段で検出された動きに基づいて各画素の合成位置を調整する補償手段を備え、
上記画像合成手段は、上記補償手段に基づいて合成位置を補償した後合成する
請求項１記載の映像処理装置。
【請求項３】
上記動き検出手段は、上記第１のフレーム画像の動きを、該第１のフレーム画像上の複数の位置において検出し、
上記補償手段は、上記動き検出手段で求められた複数の位置における動き検出結果に基づいて各画素の合成位置を調整する
請求項２記載の映像処理装置。
【請求項４】
上記合成手段は、フレーム画像が入力される毎に当該フレームと過去に合成された合成画像とを合成し、
上記出力手段は、フレーム画像が入力される毎に上記合成画像を出力する
請求項２記載の映像処理装置。
【請求項５】
上記補償手段は、上記検出手段で検出された動きに基づいて当該フレーム画像または過去に合成された合成画像の各画素の合成位置を調整する
請求項３記載の映像処理装置。
【請求項６】
上記はみ出し画像を表示する表示手段を備え、
該表示手段は、上記映像が表示される領域よりも大きい表示領域を有する
請求項１記載の映像処理装置。
【請求項７】
上記第２のフレーム画像より時間的に前のフレームにおける、少なくとも上記画枠外となる部分を記憶する記憶手段とを有し、
上記合成手段は、上記第１のフレーム画像と、上記記憶手段に記憶された上記画枠外となる部分を合成する
請求項１記載の映像処理装置。
【請求項８】
上記表示手段に表示される画像の表示位置は、上記動き検出手段で求められた動きに基づいて定められる
請求項６記載の映像処理装置。
【請求項９】
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出工程と、
上記動き検出工程にて求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成工程と、
上記合成工程により合成された画像を出力する出力工程と
を有する映像処理方法。
【請求項１０】
所定の動作をコンピュータに実行させるためのプログラムであって、
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出工程と、
上記動き検出工程にて求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成工程と、
上記合成工程により合成された画像を出力する出力工程と
を有するプログラム。
【請求項１１】
所定の動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出工程と、
上記動き検出工程にて求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成工程と、
上記合成工程により合成された画像を出力する出力工程と
を有するプログラムが記録された記録媒体。
【請求項１２】
複数の表示装置と、
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出手段と、上記動き検出手段で求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成手段と、上記合成手段により合成された画像を出力する出力手段とを有する映像処理装置とを具備し、
上記表示装置は、上記映像を表示するメイン表示装置と、上記はみ出し部分を表示する１以上の周辺表示装置とを有する
映像処理システム。
【請求項１】
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出手段と、
上記動き検出手段で求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成手段と、
上記合成手段により合成された画像を出力する出力手段と
を有する映像処理装置。
【請求項２】
上記動き検出手段で検出された動きに基づいて各画素の合成位置を調整する補償手段を備え、
上記画像合成手段は、上記補償手段に基づいて合成位置を補償した後合成する
請求項１記載の映像処理装置。
【請求項３】
上記動き検出手段は、上記第１のフレーム画像の動きを、該第１のフレーム画像上の複数の位置において検出し、
上記補償手段は、上記動き検出手段で求められた複数の位置における動き検出結果に基づいて各画素の合成位置を調整する
請求項２記載の映像処理装置。
【請求項４】
上記合成手段は、フレーム画像が入力される毎に当該フレームと過去に合成された合成画像とを合成し、
上記出力手段は、フレーム画像が入力される毎に上記合成画像を出力する
請求項２記載の映像処理装置。
【請求項５】
上記補償手段は、上記検出手段で検出された動きに基づいて当該フレーム画像または過去に合成された合成画像の各画素の合成位置を調整する
請求項３記載の映像処理装置。
【請求項６】
上記はみ出し画像を表示する表示手段を備え、
該表示手段は、上記映像が表示される領域よりも大きい表示領域を有する
請求項１記載の映像処理装置。
【請求項７】
上記第２のフレーム画像より時間的に前のフレームにおける、少なくとも上記画枠外となる部分を記憶する記憶手段とを有し、
上記合成手段は、上記第１のフレーム画像と、上記記憶手段に記憶された上記画枠外となる部分を合成する
請求項１記載の映像処理装置。
【請求項８】
上記表示手段に表示される画像の表示位置は、上記動き検出手段で求められた動きに基づいて定められる
請求項６記載の映像処理装置。
【請求項９】
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出工程と、
上記動き検出工程にて求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成工程と、
上記合成工程により合成された画像を出力する出力工程と
を有する映像処理方法。
【請求項１０】
所定の動作をコンピュータに実行させるためのプログラムであって、
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出工程と、
上記動き検出工程にて求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成工程と、
上記合成工程により合成された画像を出力する出力工程と
を有するプログラム。
【請求項１１】
所定の動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出工程と、
上記動き検出工程にて求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成工程と、
上記合成工程により合成された画像を出力する出力工程と
を有するプログラムが記録された記録媒体。
【請求項１２】
複数の表示装置と、
フレーム単位の画像からなる映像が供給され、第１のフレーム画像と、該第１のフレーム画像と時間的に前のフレームである第２のフレーム画像とに基づいて当該第１のフレーム画像の動きを検出する動き検出手段と、上記動き検出手段で求められた動きに基づいて、上記第２のフレーム画像から、上記第１のフレーム画像において画枠外となる部分を当該第１のフレーム画像に合成する合成手段と、上記合成手段により合成された画像を出力する出力手段とを有する映像処理装置とを具備し、
上記表示装置は、上記映像を表示するメイン表示装置と、上記はみ出し部分を表示する１以上の周辺表示装置とを有する
映像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−２８３６９５（Ｐ２００８−２８３６９５Ａ）
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願番号】特願２００８−１５１１０４（Ｐ２００８−１５１１０４）
【出願日】平成２０年６月９日（２００８．６．９）
【分割の表示】特願２００２−２４７４３７（Ｐ２００２−２４７４３７）の分割
【原出願日】平成１４年８月２７日（２００２．８．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１１月２０日（２００８．１１．２０）
【国際特許分類】
【出願日】平成２０年６月９日（２００８．６．９）
【分割の表示】特願２００２−２４７４３７（Ｐ２００２−２４７４３７）の分割
【原出願日】平成１４年８月２７日（２００２．８．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]